目录
1. 前言
2. 解决方案
2.1. 纳米AI搜索（第三方平台）
2.2. Github（第三方平台）
2.3. 硅基流动（第三方API）
3. 本地部署详细步骤
3.1. 运行配置需求
3.2. 部署教程
4. DeepSeek资料获取
5. 结语
1. 前言
2023年ChatGPT掀起的AI飓风中，一家中国AI公司正以惊人的速度改写行业格局——DeepSeek智能推理平台上线首月用户突破百万，日均API调用量超10亿次，其自研的MoE混合专家模型在中文语境下的推理速度较主流方案提升300%。这场技术狂欢背后，折射出AI产业发展的新图景：大模型应用正从"云端漫步"转向"地面竞速"，推理效率成为决定AI服务成败的关键胜负手。
DeepSeek的爆红绝非偶然，其技术突破精准击中了AI落地的三大痛点。通过动态负载均衡算法，平台在10毫秒内完成计算资源调度；独创的语义缓存机制使重复请求响应速度达到纳秒级；更关键的是其混合精度量化技术，在保持98%模型精度的前提下，将推理能耗降低60%。这些创新让企业客户在电商推荐、金融风控等场景中真正体验到"无感级"AI服务。
但是不知道大家发现没有Deepseek总是遇到下图问题，网上的解释为因为全球大量流量的涌入，再加上 DeepSeek 遭 X 国 IP 暴力攻击，所以，目前官版的 DeepSeek 响应比较慢。
2. 解决方案
目前网上能搜罗的解决方案无非就是第三方平台和第三方API，我这里列举几
个。
2.1. 纳米AI搜索（第三方平台）
App：
下图中满血版R1模型提问要20纳米一次，要不要用，怎么用就看自己取舍了（说实话我觉得豆包就挺好用的了，我手机上相关的APP就一个豆包，过年下载了DeepSeek由于总是服务器繁忙已经卸载了）。
网页版本：纳米AI
2.2. Github（第三方平台）
界面如下所示，需要手动拉满Max Tokens：
在此页面上，你可以找到以下资源：
-
源代码：DeepSeek R1模型的实现代码，包括模型架构、训练代码和推理代码。
-
模型权重：预训练的模型权重文件，方便你直接加载模型进行推理或微调。
-
技术文档：详细的文档，介绍模型的设计理念、训练过程和使用方法。
-
示例代码：提供了如何在不同环境下使用DeepSeek R1模型的示例，帮助你·快速上手。
此外，GitHub页面还包含了“Issues”部分，你可以在这里查看和提交与DeepSeek R1模型相关的问题和建议。例如，有用户询问如何在PC或移动设备上部署DeepSeek R1/V3精简版，以及API是否可以调用本地知识库等问题。
2.3. 硅基流动（第三方API）
硅基流动（SiliconCloud）是一家知名的AI技术公司，曾为用户推荐过ComfyUI BizyAir插件。近期，他们与华为云合作，推出了基于昇腾云服务的DeepSeek R1模型API服务。这一服务旨在为开发者提供高效、稳定的AI模型推理能力，满足大规模生产环境的需求。
通过SiliconCloud的API，开发者可以轻松接入DeepSeek R1模型，享受零部署门槛的便利。此外，SiliconCloud还提供了详细的API文档，帮助开发者快速上手，接下来就给大家演示怎么基于第三方API使用DeepSeek：
1. 登录硅基流动注册账号
首先，访问SiliconCloud的官方网站，点击注册按钮，按照提示完成注册流程。
2. 提取API key
登录后，进入用户中心，找到API密钥选项，点击新建API秘钥。生成后，请妥善保存该密钥。
3. 安装客户端软件
如果你要在客户端应用中体验 DeepSeek R1 模型，你可以选择以下产品：
大模型客户端应用：
- ChatBox
- Cherry Studio
- OneAPI
- NextChat
代码生成应用：
- Cursor
- Windsurf
- Cline
大模型应用开发平台：
- Dify
AI知识库：
- Obsidian AI
- FastGPT
翻译插件：
- 沉浸式翻译：
- 欧路词典：
以Cherry Studio为例，你可以访问其官网（Cherry Studio - 全能的AI助手），按照步骤下载安装对应版本的客户端。
4. 配置API
运行客户端软件后，进入设置界面，找到SiliconCloud的API配置项。在API密钥字段中输入你在SiliconCloud获取的API密钥。然后，选择DeepSeek R1模型，保存设置。完成后，你即可开始使用DeepSeek R1模型进行交互。
3. 本地部署详细步骤
本地部署开源大模型具有以下优势：
-
更稳定、更快的响应速度：本地部署减少了对网络连接的依赖，避免了因网络延迟导致的响应速度下降。
-
模型可控性：根据自身需求对模型进行定制和优化，提高模型的适用性和性能。
-
数据安全：在本地环境中处理数据，避免了将敏感信息上传至云端，降低了数据泄露的风险。
-
成本控制：无限使用，无需支付云服务的订阅费用，可降低使用成本。
-
灵活性：可以自由选择和切换不同的模型，满足多样化的应用需求。
-
离线运行：在本地部署后，即使没有网络连接，也可以使用模型。
3.1. 运行配置需求
如果电脑的显存不够用，可以通过量化来减少对显存的需求。量化就是把模型的参数从较高的精度（比如32位）转换为较低的精度（比如8位），这样可以节省显存空间，让你的电脑能够运行更大的模型。举个例子，如果你的电脑显存是8GB，而你想使用7b参数的模型，但显存不足，那么通过量化处理后，你就可以在不增加硬件的情况下，使用这个大模型。
简而言之，量化可以帮助你在显存有限的情况下运行更强大的模型，是优化显存使用的有效方法。如果你不确定自己是否需要量化，可以参考下面的显卡显存列表来判断自己电脑的显存是否足够运行所需的模型。
| 显存大小 | 显卡型号 |
|---|---|
| 3GB | GTX 1060 3GB |
| 4GB | GTX 1050 Ti |
| 6GB | GTX 1060 6GB, RTX 2060 6GB, RTX 3050 (6GB) |
| 8GB | GTX 1080, GTX 1070 Ti, RTX 2080 SUPER, RTX 2080, RTX 2070 SUPER, RTX 2070, RTX 2060, RTX 2060 SUPER, RTX 3070, RTX 3070 Ti, RTX 3060 Ti, RTX 3060 (8GB), RTX 3050 (8GB), RTX 4080, RTX 4060 Ti, RTX 4060, RTX 5070 |
| 11GB | GTX 1080 Ti, RTX 2080 Ti |
| 12GB | RTX 2060 12GB, RTX 3060 (12GB), RTX 4070 Ti SUPER, RTX 4070, RTX 5070 Ti |
| 16GB | RTX 4060 Ti 16GB, RTX 5080 |
| 24GB | RTX 3090 Ti, RTX 3090, RTX 4080, RTX 4090 |
| 32GB | RTX 5090 |
根据电脑配置选择合适的模型下载，下面列出了不同大小的DeepSeek模型对应的显存和内存需求。请根据你的显卡配置和MacOS系统的内存选择合适的模型。
模型大小 | 显存需求（FP16 推理） | 显存需求（INT8 推理） | 推荐显卡 | MacOS 需要的 RAM |
1.5b | 3GB | 2GB | RTX 2060/MacGPU 可运行 | 8GB |
7b | 14GB | 10GB | RTX 3060 12GB/4070 Ti | 16GB |
8b | 16GB | 12GB | RTX 4070/MacGPU 高效运行 | 16GB |
14b | 28GB | 20GB | RTX 4090/A100-40G | 32GB |
32b | 64GB | 48GB | A100-80G/2xRTX4090 | 64GB |
如何看显存，可以自行百度，我演示一下我的电脑是怎么看的，打开NVIDIA控制面板的系统信息：
从图片中显示的信息来看，我的显卡是Quadro P620，显存为4GB GDDR5（4GB） ，我能用的模型大小为1.5b（。。。今年努力买个4090）
3.2. 部署教程
本地部署教程分为需要设置环境版本（Ollama）和不需要设置环境（针对显存不足）（LM Studio），我这里只讲不需要设置环境怎么部署(Ollama的教程可以去网上自己找一下）。
1. 进入官网下载 LM Studio
这里可以看到是支持「DeepSeek」大模型的，当然也支持其他的开源大模型，原理是一样的，后续小伙伴想测试其他的模型，这篇学会了，其他也就通了。
2. 安装LM Studio
安装过程很简单，这里不展开讲。
- 设置中文
点击右下角设置按钮，将软件语言设置为中文。
4. 修改模型文件夹
点击我的模型，修改模型存放目录
我改到了F盘：
5. 下载模型
打开「魔搭社区」下载，网站是阿里的。
进入你想下载的模型：
点击模型文件 ，在这些GGUF量化模型的文件名中，Q后面的数字（如Q3、Q4、Q6、Q8）代表模型的量化位数，用于指示模型权重的量化精度。
-
较低位数（如Q3、Q4）：
- 模型文件较小，占用的存储空间和内存更少。
- 推理速度更快，适合在资源有限的设备（如移动端、嵌入式设备）上运行。
- 但由于量化损失较大，模型的精度可能会有所下降。
-
较高位数（如Q6、Q8）：
- 精度接近原始未量化模型，推理效果更好。
- 文件大小较大，推理速度相对较慢。
如果你需要尽可能小且运行速度更快的模型（例如在低端GPU或CPU上运行），可以选择Q3或Q4。如果你更注重推理效果，并希望接近FP16（浮点模型）的精度，可以选择Q6或Q8。根据需求选择合适的量化位数，然后直接点击下载即可。
6. 配置模型
将下载好的模型放置到模型目录中：
7. 使用
回到聊天界面，选择刚刚下载的大模型加载
点击对应模型会弹出参数页面，根据自己需要调整即可：
加载完成后，选择右上角烧杯的图标，我们可以设置提示词，类似智能体
现在来提问一下：
4. DeepSeek资料获取
如果你需要获取关于DeepSeek的相关资料，文末获取
5. 结语
在使用DeepSeek模型时，无论是选择第三方API还是进行本地部署，都需要根据自己的实际硬件配置做出最合适的决策。如果你的电脑配置较低，显存不足，可以选择通过第三方平台或API来避免复杂的部署过程，快速享受到AI推理服务。而对于那些硬件条件较好的用户，本地部署则提供了更多的控制权和灵活性，不仅可以节省长期的云服务费用，还能让你完全掌控数据和模型的运行。
对于我个人而言，由于硬件配置的限制，目前使用的是第三方API，但对于有更强大硬件资源的开发者，本地部署无疑是一个更具吸引力的选项。无论如何，AI技术的进步已经开始改变我们的工作和生活方式，未来会有更多的可能性等着大家去探索。
关于AI大模型技术储备
学好 AI大模型 不论是就业还是在工作技能提升上都不错，但要学会 AI大模型 还是要有一个学习规划。最后大家分享一份全套的 AI大模型 学习资料，给那些想学习 AI大模型 的小伙伴们一点帮助！
感兴趣的小伙伴，赠送全套AI大模型学习资料和安装工具，包含Agent行业报告、精品AI大模型学习书籍手册、视频教程、最新实战学习等录播视频，具体看下方。
需要的可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
如何学习大模型 AI ？
🔥AI取代的不是人类，而是不会用AI的人！麦肯锡最新报告显示：掌握AI工具的从业者生产效率提升47%，薪资溢价达34%！🚀
由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。
但是具体到个人，只能说是：
“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。
这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。
我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
1️⃣ 提示词工程：把ChatGPT从玩具变成生产工具
2️⃣ RAG系统：让大模型精准输出行业知识
3️⃣ 智能体开发：用AutoGPT打造24小时数字员工
📦熬了三个大夜整理的《AI进化工具包》送你：
✔️ 大厂内部LLM落地手册（含58个真实案例）
✔️ 提示词设计模板库（覆盖12大应用场景）
✔️ 私藏学习路径图（0基础到项目实战仅需90天）
第一阶段（10天）：初阶应用
该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。
- 大模型 AI 能干什么？
- 大模型是怎样获得「智能」的？
- 用好 AI 的核心心法
- 大模型应用业务架构
- 大模型应用技术架构
- 代码示例：向 GPT-3.5 灌入新知识
- 提示工程的意义和核心思想
- Prompt 典型构成
- 指令调优方法论
- 思维链和思维树
- Prompt 攻击和防范
- …
第二阶段（30天）：高阶应用
- 为什么要做 RAG
- 搭建一个简单的 ChatPDF
- 检索的基础概念
- 什么是向量表示（Embeddings）
- 向量数据库与向量检索
- 基于向量检索的 RAG
- 搭建 RAG 系统的扩展知识
- 混合检索与 RAG-Fusion 简介
- 向量模型本地部署
- …
第三阶段（30天）：模型训练
恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。
到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？
- 为什么要做 RAG
- 什么是模型
- 什么是模型训练
- 求解器 & 损失函数简介
- 小实验2：手写一个简单的神经网络并训练它
- 什么是训练/预训练/微调/轻量化微调
- Transformer结构简介
- 轻量化微调
- 实验数据集的构建
- …
第四阶段（20天）：商业闭环
对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。
- 硬件选型
- 带你了解全球大模型
- 使用国产大模型服务
- 搭建 OpenAI 代理
- 热身：基于阿里云 PAI 部署 Stable Diffusion
- 在本地计算机运行大模型
- 大模型的私有化部署
- 基于 vLLM 部署大模型
- 案例：如何优雅地在阿里云私有部署开源大模型
- 部署一套开源 LLM 项目
- 内容安全
- 互联网信息服务算法备案
- …
学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。
这份完整版的学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
