在windows下安装配置Ollama大语言模型部署工具

Step 0 前往官网下载安装包

在Ollama官网下载适用于Windows系统的安装包，下载完成后打开。
Ollama的安装过程并没有什么需要特别注意的地方，打开安装包后点击Install即可进行安装。

Step 1 配置环境变量

安装完毕后，Ollama会自动运行服务，同时在通知栏显示一个可爱的小羊驼标志。此时我们还需要对其进行一些设置，所以找到可爱小羊驼后右键打开菜单，点击“Quit Ollama”将其关闭。
关闭服务后，右键桌面上的“此电脑”，选择“属性”，在弹出的设置页面中找到“高级系统设置”，在弹出的窗口中选择“高级”选项卡，下方有“环境变量...”按钮，点击，新建若干系统变量。（也可以打开“开始菜单”，搜索“编辑系统环境变量”直接打开环境变量设置页面。）
需要添加的环境变量有如下几项：

• OLLAMA_MODELS：变量值为默认下载模型的配置目录，默认在C盘，一般模型都十分的庞大，如果存放在C盘中容易引起C盘容量不足，可以选择一个存储空间较为充足的分区，新建一个目录作为存放模型的位置。
• OLLAMA_HOST：Ollama服务启动后监听的地址，Ollama使用网络API形式提供服务，默认仅监听127.0.0.1（本地地址），如果局域网内有其他设备需要直接访问Ollama，则需要将此项改为0.0.0.0，即允许任何ip来源地址访问本机的Ollama服务。警告：如果部署服务的机器可以从公网访问，则不建议将监听0.0.0.0，这样会造成极大的安全隐患！
• OLLAMA_PORT：服务监听的端口号，Ollama默认监听11434端口，可以将其修改成其他端口。

设置完毕后，即可重新启动服务，准备开启大语言模型之旅。

Step 2 下载与部署模型

ollama使用命令行进行管理，所以我们需要使用cmd或者powershell来进行接下来的操作，运行以下命令以下载模型：

ollama run qwen2.5:0.5b

此处我们选择下载了Qwen2.5的0.5b模型进行使用，该模型仅有0.5b参数量，配置需求极低，适合测试环境是否部署正常。
如果是第一次run这个模型，那么Ollama会自动下载模型后运行，需要时间较长，请保持可靠的互联网连接，此后将无需再进行下载操作。如果需要下载运行其他模型，可以前往Ollama模型库搜索感兴趣的模型以获取对应的模型名称。
在运行此命令并正常，cmd窗口会变成等待输入的状态，代表命令行窗口开始接收信息，你可以直接在cmd窗口中与大模型进行对话，也可以使用API方式访问正在运行的模型。
此时可以Ctrl+C退出对话窗口，并继续阅读本文以学习其他可能会用到的命令：
获取当前模型运行状态：

ollama ps

获取所有已下载的模型：

ollama list

删除某个已下载的模型：

ollama rm [模型名称]

只下载但不运行模型：

ollama pull [模型名称]

Step 3 接入HTTP API服务

Ollama提供了一个很方便的统一接口，通过HTTP请求即可轻松完成模型的访问使用，具体API文档：官方API文档
至此一个简单的Ollama服务已经建立，接下来还要研究如何导入外部离线模型以及对模型的Fine-Tuning，将会在不久的将来进行更新。