AI摘要

本文详细介绍了在Windows系统中安装和配置Ollama的步骤,包括访问官网下载、环境变量配置、运行Ollama、验证安装成功以及取消开机自启的方法。Ollama是一个大型语言模型运行器,用户可以通过命令行启动Ollama,并通过环境变量配置模型文件存储位置、服务监听地址和端口等参数。文章还提供了如何验证Ollama是否成功安装和运行的方法,以及如何从Ollama模型库中下载并使用模型的示例。
本文详细介绍了在W

Ollama 安装与配置 - Windows 系统篇

简介

本节学习如何在 Windows 系统中完成 Ollama 的安装与配置,主要分为以下几个部分:

  • 访问官网直接完成下载
  • 环境变量配置
  • 运行 Ollama
  • 验证安装成功

一、访问官网直接完成下载

  1. 访问官网主页

    Ollama 下载:https://ollama.com/download

    Ollama 官方主页:https://ollama.com

    Ollama 官方 GitHub 源代码仓库:https://github.com/ollama/ollama/

    2025-02-04T17:10:43.png

  2. 等待浏览器下载文件 OllamaSetup.exe,完成后双击该文件,出现如下弹窗,点击 Install 等待下载完成即可。

    2025-02-04T17:10:54.png

  3. 安装完成后,可以看到 Ollama 已经默认运行了。可以通过底部的导航栏找到 Ollama 标志,并右键后点击 Quit Ollama 退出Ollama或者查看 logs

    2025-02-04T17:11:04.png

二、环境变量配置

Ollma可以像其他软件一样在电脑上完成一键安装,不同的是,建议按照实际需求配置下系统环境变量参数
参数标识与配置
OLLAMA_MODELS表示模型文件的存放目录,默认目录为当前用户目录即  C:\Users%username%.ollama\models
Windows 系统 建议不要放在C盘,可放在其他盘(如 E:\ollama\models
OLLAMA_HOST表示ollama 服务监听的网络地址,默认为127.0.0.1 
如果想要允许其他电脑访问 Ollama(如局域网中的其他电脑),建议设置0.0.0.0 
OLLAMA_PORT表示ollama 服务监听的默认端口,默认为11434 
如果端口有冲突,可以修改设置成其他端口(如8080等)
OLLAMA_ORIGINS表示HTTP 客户端的请求来源,使用半角逗号分隔列表
如果本地使用不受限制,可以设置成星号 *
OLLAMA_KEEP_ALIVE表示大模型加载到内存中后的存活时间,默认为5m即 5 分钟
(如纯数字300 代表 300 秒,0 代表处理请求响应后立即卸载模型,任何负数则表示一直存活)
建议设置成 24h ,即模型在内存中保持 24 小时,提高访问速度
OLLAMA_NUM_PARALLEL表示请求处理的并发数量,默认为1 (即单并发串行处理请求)
建议按照实际需求进行调整
OLLAMA_MAX_QUEUE表示请求队列长度,默认值为512
建议按照实际需求进行调整,超过队列长度的请求会被抛弃
OLLAMA_DEBUG表示输出 Debug 日志,应用研发阶段可以设置成1 (即输出详细日志信息,便于排查问题)
OLLAMA_MAX_LOADED_MODELS表示最多同时加载到内存中模型的数量,默认为1 (即只能有 1 个模型在内存中)
默认的模型保存路径在C盘,我们把路径更改到有更多可用空间的分区或目录,可以更好地管理存储空间。
  • 添加 OLLAMA_MODELS 环境变量改变模型存储的位置。例如 E:\ollama\models
  • 设置完成后重启 ollamaPowerShell,即可完成更改。

三、运行Ollama

  • 命令行语句启动
ollama serve

启动 Ollama 时会报错如下,因为 Windows 系统安装 Ollama 时会默认开机启动Ollama 服务默认是 http://127.0.0.1:11434

Error: listen tcp 127.0.0.1:11434: bind: Only one usage of each socket address (protocol/network address/port) is normally permitted.

  • 解决方法:
  1. 快捷键 Win+X 打开任务管理器,点击 启动,禁用 Ollama,并在进程中结束 Ollama 的任务。

    2025-02-04T17:11:34.png

  2. 再次使用 ollama serve打开 Ollama。
  • 验证成功启动:
  1. 快捷键 Win+R,输入 cmd,打开命令行终端。
  2. 输入 netstat -aon|findstr 11434 查看占用端口11434的进程。
netstat -aon|findstr 11434

输出: TCP 127.0.0.1:11434 0.0.0.0:0 LISTENING 17556

显示11434端口被17556进程占用

  1. 查看该进程运行的情况,发现 Ollama 已经启动。
tasklist|findstr "17556"
输出如下:ollama.exe 17556 Console 1 31,856 K

四、验证安装成功

  • 终端输入:
ollama -h

输出如下:即表示安装成功


Large language model runner

Usage:
  ollama [flags]
  ollama [command]

Available Commands:
  serve       Start ollama
  create      Create a model from a Modelfile
  show        Show information for a model
  run         Run a model
  pull        Pull a model from a registry
  push        Push a model to a registry
  list        List models
  ps          List running models
  cp          Copy a model
  rm          Remove a model
  help        Help about any command

Flags:
  -h, --help      help for ollama
  -v, --version   Show version information
  • 终端使用Ollama :
library (ollama.com) 这里是ollama的模型库,搜索你想要的模型,然后直接启动!
ollama run llama3
下载速度取决于你的带宽,下载完毕即可使用,记得使用 control + D 退出聊天

2025-02-04T17:12:00.png

五、如何取消开机自启

(截至2024-08-19)目前 Ollama 在 Windows 系统下默认开机自启,如果不需要开机自启,可以通过以下步骤取消。

打开任务管理器,点击 启动应用,找到 ollama.exe ,右键点击 禁用 即可。

2025-02-04T17:12:08.png

参考链接

文章来源

https://github.com/datawhalechina/handy-ollama/blob/main/docs/C2/2.%20Ollama%20%E5%9C%A8%20Windows%20%E4%B8%8B%E7%9A%84%E5%AE%89%E8%A3%85%E4%B8%8E%E9%85%8D%E7%BD%AE.md



最后修改:2025 年 02 月 05 日
点赞的人是最酷的