本地部署大模型？看这篇就够了，Ollama 部署和实战

写在前面

有小伙伴问，如果我想在本地搞个大模型玩玩，有什么解决方案？

Ollama，它来了，专为在本地机器便捷部署和运行大模型而设计。

也许是目前最便捷的大模型部署和运行工具，配合Open WebUI，人人都可以拥有大模型自由。

今天，就带着大家实操一番，从 0 到 1 玩转 Ollama。

1. 部署

1.1 Mac & Windows

相对简单，根据你电脑的不同操作系统，下载对应的客户端软件，并安装：

• macOS：https://ollama.com/download/Ollama-darwin.zip

• Windows：https://ollama.com/download/OllamaSetup.exe

1.2 Linux

推荐大家使用 Linux 服务器进行部署，毕竟大模型的对机器配置还是有一定要求。

裸机部署

step 1: 下载 & 安装

命令行一键下载和安装：

curl -fsSL https://ollama.com/install.sh | sh   

如果没有报错，它会提示你 ollama 的默认配置文件地址：

Created symlink /etc/systemd/system/default.target.wants/ollama.service → /etc/systemd/system/ollama.service.   

接下来，我们采用如下命令查看下服务状态， running 就没问题了：

systemctl status ollama   

查看是否安装成功，出现版本号说明安装成功：

ollama -v   

step 2: 服务启动

http://your_ip:11434/Ollama is running

step 3: 修改配置（可选）如果有个性化需求，需要修改默认配置：

/etc/systemd/system/ollama.servicevim

1. 默认只能本地访问，如果需要局域网内其他机器也能访问（比如嵌入式设别要访问本地电脑），需要对 HOST 进行配置，开启监听任何来源IP

[Service]   Environment=&34;OLLAMA_HOST=0.0.0.0&34;   

2. 如果需要更改模型存放位置，方便管理，需要对 OLLAMA_MODELS 进行配置：

[Service]   Environment=&34;OLLAMA_MODELS=/data/ollama/models&34;   

不同操作系统，模型默认存放在：

macOS: ~/.ollama/models   Linux: /usr/share/ollama/.ollama/models   Windows: C:\Users\xxx\.ollama\models   

3. 如果有多张 GPU，可以对 CUDA_VISIBLE_DEVICES 配置，指定运行的 GPU，默认使用多卡。

Environment=&34;CUDA_VISIBLE_DEVICES=0,1&34;   

4.配置修改后，需要重启 ollama

systemctl daemon-reload   systemctl restart ollama   

systemctl daemon-reload

Docker 部署

我们也介绍下 Docker 部署，无需配置各种环境，相对小白来说，更加友好。

step 1: 一键安装

如果是一台没有 GPU 的轻量级服务器：

docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama --restart always ollama/ollama   

简单介绍下这个命令的参数：

• docker run：用于创建并启动一个新的 Docker 容器。

• -d：表示以分离模式（后台）运行容器。

• -v ollama:/root/.ollama：将宿主机上的 ollama 目录挂载到容器内的 /root/.ollama 目录，便于数据持久化。

• -p 11434:11434：将宿主机的 11434 端口映射到容器的 11434 端口，使外部可以访问容器服务。

• –name ollama：为新创建的容器指定一个名称为 ollama，便于后续管理。

• –restart always：容器在退出时自动重启，无论是因为错误还是手动停止。

• ollama/ollama：指定要使用的 Docker 镜像，这里是 ollama 镜像。

/var/lib/docker/volumes/

[root@instance-20250702-1632 ~] docker volume ls   DRIVER    VOLUME NAME   local     dockers_postgres-data   local     ollama   local     open-webui   [root@instance-20250702-1632 ~] ls /var/lib/docker/volumes/   backingFsBlockDev  dockers_postgres-data  metadata.db  ollama  open-webui   

如果拥有 Nvidia-GPU：

docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama   

http://your_ip:11434/Ollama is running

step 2: 进入容器

如何进入容器中执行指令呢？

docker exec -it ollama /bin/bash   

参数说明：

• exec：在运行中的容器中执行命令。

• -it：表示以交互模式运行，并分配一个伪终端。

• ollama：容器的名称。

• /bin/bash：要执行的命令，这里是打开一个 Bash shell。

执行后，你将进入容器的命令行，和你本地机器上使用没有任何区别。

如果不想进入容器，当然也可以参考如下指令，一键运行容器中的模型：

docker exec -it ollama ollama run qwen2:0.5b   

如果一段时间内没有请求，模型会自动下线。

2. 使用

2.1 Ollama 常用命令

Ollama 都有哪些指令？

ollama

Usage:     ollama [flags]     ollama [command]      Available Commands:     serve       Start ollama     create      Create a model from a Modelfile     show        Show information for a model     run         Run a model     pull        Pull a model from a registry     push        Push a model to a registry     list        List models     ps          List running models     cp          Copy a model     rm          Remove a model     help        Help about any command      Flags:     -h, --help      help for ollama     -v, --version   Show version information      Use &34;ollama [command] --help&34; for more information about a command.   

我们翻译过来，和 docker 命令非常类似：

ollama serve  启动ollama   ollama create  从模型文件创建模型   ollama show   显示模型信息   ollama run   运行模型，会先自动下载模型   ollama pull   从注册仓库中拉取模型   ollama push   将模型推送到注册仓库   ollama list   列出已下载模型   ollama ps   列出正在运行的模型   ollama cp   复制模型   ollama rm   删除模型   

2.2 Ollama 模型库

类似 Docker 托管镜像的 Docker Hub，Ollama 也有个 Library 托管支持的大模型。

传送门：https://ollama.com/library

从0.5B 到 236B，各种模型应有尽有，大家可以根据自己的机器配置，选用合适的模型。

同时，官方也贴心地给出了不同 RAM 推荐的模型大小，以及命令：

注：至少确保，8GB的 RAM 用于运行 7B 模型，16GB 用于运行 13B 模型，32GB 用于运行 33B 模型。这些模型需经过量化。

因为我的是一台没有 GPU 的轻量级服务器，所以跑一个 0.5B 的 qwen 模型，给大家做下演示：

root@535ec4243693:/ ollama run qwen2:0.5b   pulling manifest    pulling 8de95da68dc4... 100% ▕████████████████████████████████████▏ 352 MB                            pulling 62fbfd9ed093... 100% ▕████████████████████████████████████▏  182 B                            pulling c156170b718e... 100% ▕████████████████████████████████████▏  11 KB                            pulling f02dd72bb242... 100% ▕████████████████████████████████████▏   59 B                            pulling 2184ab82477b... 100% ▕████████████████████████████████████▏  488 B                            verifying sha256 digest    writing manifest    removing any unused layers    success    >>> 你是谁   我是来自阿里云的超大规模语言模型——通义千问。我能够理解、生产、传播各种语言和文字，可以回答您在任   何语言或任何问题的问题。      >>> Send a message (/? for help)   

2.3 自定义模型

如果要使用的模型不在 Ollama 模型库怎么办？

GGUF (GPT-Generated Unified Format)模型

GGUF 是由 llama.cpp 定义的一种高效存储和交换大模型预训练结果的二进制格式。

Ollama 支持采用 Modelfile 文件中导入 GGUF 模型。

下面我们以本地的 llama3 举例，详细介绍下实操流程：

step 1: 新建一个文件名为 Modelfile 的文件，然后在其中指定 llama3 模型路径：

FROM /root/models/xxx/Llama3-FP16.gguf   

step 2: 创建模型

ollama create llama3 -f Modelfile   

step 3: 运行模型

ollama run llama3   

>>

下面是几个常用案例：

• 多行输入：用&34;&34;&34;包裹

>>> &34;&34;&34;Hello,   ... world!   ... &34;&34;&34;   I&39;m a basic program that prints the famous &34;Hello, world!&34; message to the console.   

• 多模态模型：文本 + 图片地址

>>> What&39;s in this image? /Users/jmorgan/Desktop/smile.png   The image features a yellow smiley face, which is likely the central focus of the picture.   

• 将提示作为参数传递

`$ ollama run llama3 &34;Summarize this file: $(cat README.md)&34;    Ollama is a lightweight, extensible framework for building and running language models on the local machine.` 

PyTorch or Safetensors 模型

llama.cpp

llama.cpp

main：模型推理   quantize：模型量化，包括1.5位、2位、3位、4位、5位、6位和8位整数量化   server：提供模型API服务   

convert.py

pip install -r requirements.txt   python convert.py  /root/xxx/Llama3-Chinese-8B-Instruct/ --outtype f16 --vocab-type bpe --outfile ./models/Llama3-FP16.gguf   

提示词实现模型定制

刚才我们介绍了 Modelfile，其中我们还可以自定义提示词，实现更个性化的智能体。

假设现在你从模型库下载了一个 llama3:

ollama pull llama3   

然后我们新建一个 Modelfile，其中输入：

FROM llama3       设置温度参数   PARAMETER temperature 0.7       设置SYSTEM 消息   SYSTEM &34;&34;&34;   你是猴哥的 AI 智能助手，将基于猴哥发表的所有文章内容回答问题，拒绝回答任何无关内容。   &34;&34;&34;   

Ollama 实现模型量化

Ollama 原生支持 FP16 or FP32 模型的进一步量化，支持的量化方法包括：

Q4_0 Q4_1 Q5_0 Q5_1 Q8_0      K-means Quantizations：   Q3_K_S Q3_K_M Q3_K_L Q4_K_S Q4_K_M Q5_K_S Q5_K_M Q6_K   

-q

FROM /path/to/my/gemma/f16/model   

ollama create -q Q4_K_M mymodel -f Modelfile   

2.3 API 服务

除了本地运行模型以外，还可以把模型部署成 API 服务。

执行下述指令，可以一键启动 REST API 服务：

ollama serve   

下面介绍两个常用示例：

1、生成回复

curl http://129.150.63.xxx:11434/api/generate -d &39;{     &34;model&34;: &34;qwen2:0.5b&34;,     &34;prompt&34;:&34;Why is the sky blue?&34;,     &34;stream&34;:false   }&39;   

2、模型对话

curl http://localhost:11434/api/chat -d &39;{     &34;model&34;: &34;qwen2:0.5b&34;,     &34;messages&34;: [       { &34;role&34;: &34;user&34;, &34;content&34;: &34;why is the sky blue?&34; }     ],     &34;stream&34;:false   }&39;   

更多参数和使用，可参考 API 文档：https://github.com/ollama/ollama/blob/main/docs/api.md

2.4 OneAPI 集成

前段时间，我们已经完成了 OneAPI 的部署

OneAPI 也支持 Ollama 模型，我们只需在 OneAPI 中为 Ollama 添加一个渠道。

测试

2.5 Open WebUI 界面搭建

Open WebUI 是一个可扩展的自托管 WebUI，前身就是 Ollama WebUI，为 Ollama 提供一个可视化界面，可以完全离线运行，支持 Ollama 和兼容 OpenAI 的 API。

🚀 一键直达：https://github.com/open-webui/open-webui

Open WebUI 部署

我们直接采用 docker 部署 Open WebUI：

因为我们已经部署了 Ollama，故采用如下命令：

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main   

--add-host=host.docker.internal:host-gateway

假设你之前没有安装过 Ollama，也可以采用如下镜像（打包安装Ollama + Open WebUI）：

docker run -d -p 3000:8080 -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama   

Open WebUI 使用

http://your_ip:3000/

qwen2:0.5b

右上角这里可以设置系统提示词，以及模型参数等等：

在个人设置这里，可以看到内置的 TTS 服务：

管理员面板这里，有更多探索性功能，比如图像生成，如果你部署了 StableDiffusion，这里同样支持调用：

零基础如何学习AI大模型

领取方式在文末

为什么要学习大模型？

学习大模型课程的重要性在于它能够极大地促进个人在人工智能领域的专业发展。大模型技术，如自然语言处理和图像识别，正在推动着人工智能的新发展阶段。通过学习大模型课程，可以掌握设计和实现基于大模型的应用系统所需的基本原理和技术，从而提升自己在数据处理、分析和决策制定方面的能力。此外，大模型技术在多个行业中的应用日益增加，掌握这一技术将有助于提高就业竞争力，并为未来的创新创业提供坚实的基础。

大模型典型应用场景

①AI+教育：智能教学助手和自动评分系统使个性化教育成为可能。通过AI分析学生的学习数据，提供量身定制的学习方案，提高学习效果。
②AI+医疗：智能诊断系统和个性化医疗方案让医疗服务更加精准高效。AI可以分析医学影像，辅助医生进行早期诊断，同时根据患者数据制定个性化治疗方案。
③AI+金融：智能投顾和风险管理系统帮助投资者做出更明智的决策，并实时监控金融市场，识别潜在风险。
④AI+制造：智能制造和自动化工厂提高了生产效率和质量。通过AI技术，工厂可以实现设备预测性维护，减少停机时间。
…
这些案例表明，学习大模型课程不仅能够提升个人技能，还能为企业带来实际效益，推动行业创新发展。

学习资料领取

如果你对大模型感兴趣，可以看看我整合并且整理成了一份AI大模型资料包，需要的小伙伴文末免费领取哦，无偿分享！！！
vx扫描下方二维码即可
加上后会一个个给大家发

部分资料展示

一、 AI大模型学习路线图

整个学习分为7个阶段

二、AI大模型实战案例

涵盖AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，皆可用。

三、视频和书籍PDF合集

从入门到进阶这里都有，跟着老师学习事半功倍。

四、LLM面试题

五、AI产品经理面试题

😝朋友们如果有需要的话，可以V扫描下方二维码联系领取~