ChatGPT、Claude 好用,但要么收费,要么聊天记录都在别人服务器上。其实有个完全免费开源的办法:用 Ollama 把大模型装到自己电脑上跑,不用订阅,不用联网也能聊,数据不出本机。

这篇就是一份从零开始的 Ollama 安装和使用教程,Windows、Mac、Linux 都能用。

先说结论:本地跑大模型到底划不划算

划算,但别指望它替代顶级付费模型。本地模型的长处是免费、私密、离线可用,适合写文章、翻译、总结资料、写代码、整理笔记。短处是聪明程度比不上 GPT-5、Claude 这些云端大模型,复杂推理和长文写作要弱一些。

一句话:当个免费的私人写作助手和翻译,完全够用;当全能大脑,别抱太高期望。

电脑要什么配置

Ollama 对配置的要求不高,但模型越大越吃内存:

  • 轻量模型(3B 左右):4GB 以上内存就能跑,普通办公电脑没问题
  • 主流模型(7B 左右):建议 8GB 以上内存
  • 更大模型(13B 以上):建议 16GB 以上内存

有独立显卡会快很多,NVIDIA 显卡走 CUDA 加速,苹果电脑走 Metal 加速。没有显卡也能跑,就是回答速度慢一点,纯 CPU 跑 7B 模型大概每秒几个字,写短文够用,长文要等。

第一步:安装 Ollama

Ollama 官网是 ollama.com,完全免费,安装包不大:

  • Windows:官网下载 Windows 安装包,一路下一步装好就行,需要 Windows 10 或更新版本
  • Mac:官网下载 Mac 安装包,Apple 芯片和 Intel 芯片都支持
  • Linux:终端里运行一行命令安装:
curl -fsSL https://ollama.com/install.sh | sh

装好后 Ollama 会在后台运行,不用你手动启动。

第二步:下载并运行第一个模型

装好 Ollama,打开终端(Windows 用 PowerShell 或 CMD),输入:

ollama run qwen2.5:7b

第一次运行会自动从网上下载模型,7B 模型大概 4GB 多,下载完就能直接在终端里聊天了。输入问题按回车,模型就开始回答;想退出就输入 /bye。

模型推荐:新手先装这几个

模型不是越大越好,先从适合自己电脑的开始:

模型

大小

适合谁

qwen2.5:7b

7B

中文最好,写文章、翻译、问答都行,新手首选

llama3.2:3b

3B

配置低的电脑,轻量够用

deepseek-r1:7b

7B

推理、数学、写代码强,但回答慢一些

gemma3:4b

4B

支持看图,轻量多模态

换模型很简单,比如想试试轻量的 Llama:

ollama run llama3.2:3b

下载过的模型都存在本地,换模型不用重新下载。

常用命令速查

命令

作用

ollama list

看本地已经下载了哪些模型

ollama pull 模型名

只下载模型,不运行

ollama rm 模型名

删除不用的模型,腾空间

ollama ps

看当前正在运行的模型

进阶:装个图形界面更好用

只在黑乎乎的终端里聊天,体验一般。想用网页版聊天界面,可以装 Open WebUI,免费开源:

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

装好后浏览器打开 http://localhost:3000 就能用,界面和 ChatGPT 差不多,还能上传文件让模型读、保存多轮对话。需要先装 Docker,不会装 Docker 的话先用终端版也够用。

本地大模型能用来干什么

  • 写文章、写邮件、改文案,先让它出草稿你再改
  • 翻译和总结:扔一篇英文文章进去,让它翻成中文、提炼要点
  • 整理资料:把会议记录、笔记贴进去,让它归纳成条理
  • 写代码:写函数、解释报错、补注释
  • 学东西:让它用大白话讲一个你不懂的概念

注意:本地模型偶尔会一本正经地胡说八道,重要内容(比如数字、法规、医学)一定要自己再核对一遍,别直接照搬。

常见问题

问:Ollama 真的免费吗?有没有隐藏收费?

免费开源,没有订阅和次数限制。模型文件也是免费下载的。

问:断网能用吗?

模型下载好之后可以离线用,聊天不需要联网。

问:我的电脑配置低,能跑吗?

可以,先装 3B 的小模型,比如 llama3.2:3b,4GB 内存就能跑,回答慢一点而已。

问:和 ChatGPT 比差多少?

日常写作、翻译、问答差距不大;复杂推理、超长文章、专业领域还是云端大模型更强。本地胜在免费和私密。


免费下载:Ollama 新手速查包

光看教程不够用,配套的速查包已经整理好了,下载下来照着用就行,包含三样东西:

  • Ollama 常用命令速查表:安装之后最常用的 7 条命令
  • 模型推荐清单:5 个新手模型,按配置选,附下载命令
  • 20 个实用提示词模板:写文章、翻译总结、学习工作、写代码、日常,复制就能用
声明:本站所有文章,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。