ChatGPT、Claude 好用,但要么收费,要么聊天记录都在别人服务器上。其实有个完全免费开源的办法:用 Ollama 把大模型装到自己电脑上跑,不用订阅,不用联网也能聊,数据不出本机。
这篇就是一份从零开始的 Ollama 安装和使用教程,Windows、Mac、Linux 都能用。
先说结论:本地跑大模型到底划不划算
划算,但别指望它替代顶级付费模型。本地模型的长处是免费、私密、离线可用,适合写文章、翻译、总结资料、写代码、整理笔记。短处是聪明程度比不上 GPT-5、Claude 这些云端大模型,复杂推理和长文写作要弱一些。
一句话:当个免费的私人写作助手和翻译,完全够用;当全能大脑,别抱太高期望。
电脑要什么配置
Ollama 对配置的要求不高,但模型越大越吃内存:
- 轻量模型(3B 左右):4GB 以上内存就能跑,普通办公电脑没问题
- 主流模型(7B 左右):建议 8GB 以上内存
- 更大模型(13B 以上):建议 16GB 以上内存
有独立显卡会快很多,NVIDIA 显卡走 CUDA 加速,苹果电脑走 Metal 加速。没有显卡也能跑,就是回答速度慢一点,纯 CPU 跑 7B 模型大概每秒几个字,写短文够用,长文要等。
第一步:安装 Ollama
Ollama 官网是 ollama.com,完全免费,安装包不大:
- Windows:官网下载 Windows 安装包,一路下一步装好就行,需要 Windows 10 或更新版本
- Mac:官网下载 Mac 安装包,Apple 芯片和 Intel 芯片都支持
- Linux:终端里运行一行命令安装:
curl -fsSL https://ollama.com/install.sh | sh
装好后 Ollama 会在后台运行,不用你手动启动。
第二步:下载并运行第一个模型
装好 Ollama,打开终端(Windows 用 PowerShell 或 CMD),输入:
ollama run qwen2.5:7b
第一次运行会自动从网上下载模型,7B 模型大概 4GB 多,下载完就能直接在终端里聊天了。输入问题按回车,模型就开始回答;想退出就输入 /bye。
模型推荐:新手先装这几个
模型不是越大越好,先从适合自己电脑的开始:
|
模型 |
大小 |
适合谁 |
|---|---|---|
|
qwen2.5:7b |
7B |
中文最好,写文章、翻译、问答都行,新手首选 |
|
llama3.2:3b |
3B |
配置低的电脑,轻量够用 |
|
deepseek-r1:7b |
7B |
推理、数学、写代码强,但回答慢一些 |
|
gemma3:4b |
4B |
支持看图,轻量多模态 |
换模型很简单,比如想试试轻量的 Llama:
ollama run llama3.2:3b
下载过的模型都存在本地,换模型不用重新下载。
常用命令速查
|
命令 |
作用 |
|---|---|
|
ollama list |
看本地已经下载了哪些模型 |
|
ollama pull 模型名 |
只下载模型,不运行 |
|
ollama rm 模型名 |
删除不用的模型,腾空间 |
|
ollama ps |
看当前正在运行的模型 |
进阶:装个图形界面更好用
只在黑乎乎的终端里聊天,体验一般。想用网页版聊天界面,可以装 Open WebUI,免费开源:
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
装好后浏览器打开 http://localhost:3000 就能用,界面和 ChatGPT 差不多,还能上传文件让模型读、保存多轮对话。需要先装 Docker,不会装 Docker 的话先用终端版也够用。
本地大模型能用来干什么
- 写文章、写邮件、改文案,先让它出草稿你再改
- 翻译和总结:扔一篇英文文章进去,让它翻成中文、提炼要点
- 整理资料:把会议记录、笔记贴进去,让它归纳成条理
- 写代码:写函数、解释报错、补注释
- 学东西:让它用大白话讲一个你不懂的概念
注意:本地模型偶尔会一本正经地胡说八道,重要内容(比如数字、法规、医学)一定要自己再核对一遍,别直接照搬。
常见问题
问:Ollama 真的免费吗?有没有隐藏收费?
免费开源,没有订阅和次数限制。模型文件也是免费下载的。
问:断网能用吗?
模型下载好之后可以离线用,聊天不需要联网。
问:我的电脑配置低,能跑吗?
可以,先装 3B 的小模型,比如 llama3.2:3b,4GB 内存就能跑,回答慢一点而已。
问:和 ChatGPT 比差多少?
日常写作、翻译、问答差距不大;复杂推理、超长文章、专业领域还是云端大模型更强。本地胜在免费和私密。
免费下载:Ollama 新手速查包
光看教程不够用,配套的速查包已经整理好了,下载下来照着用就行,包含三样东西:
- Ollama 常用命令速查表:安装之后最常用的 7 条命令
- 模型推荐清单:5 个新手模型,按配置选,附下载命令
- 20 个实用提示词模板:写文章、翻译总结、学习工作、写代码、日常,复制就能用

评论(2)