Ollama

Ollama 是一个用于在本地运行大型语言模型的工具。你可以直接下载 Ollama 并将其安装到本地计算机上。安装完成后，你可以打开终端窗口并使用 Ollama CLI 命令 ollama 来操作它。

Ollama 提供了许多可用的模型，请访问 Ollama 的模型 页面查看完整列表。

我们可以使用 ollama pull 来拉取模型。这里我们使用 Qwen3。

拉取模型

ollama pull qwen3:0.6b

qwen3:0.6b 的大小仅为 523 MB。它非常适合本地开发和测试。

模型拉取完成后，可以使用 ollama run 命令运行它。

运行模型

ollama run qwen3:0.6b

信息

ollama run 命令会自动拉取本地不存在的模型。

ollama run 会启动与 LLM 的命令行会话。你可以直接输入任何文本，LLM 会提供相应的响应。