随着人工智能的发展,AI与我们的工作与生活变得越来越紧密。AI大模型主要分为开源和不开源两类。现如今开源模型变得越来越好,甚至超过了很多不开源的大模型。

前不久谷歌发布了gemma2模型的2B版本(20亿参数),让我们能够在性能十分有限的电脑上也能流畅运行本地大模型。在我的小破笔记本上都可以流畅出色运行,而且效果很赞!

不要小看gemma2,在大模型竞技场 LMSYS Chatbot Arena 中,Gemma 2B得分高于 GPT-3.5-Turbo,在我的实际测试下来感觉效果还是非常不错的,平时作为自己的AI助理处理文件写写代码都非常好用。

本期教大家如何在自己的本地电脑部署gemma2模型,让自己的个人电脑在不需要网络的情况下也能使用AI。部署方法非常简单,相信你一定可以成功。

部署步骤

1. 下载安装Ollama服务软件并进行配置

https://ollama.com/

下载完成后双击安装即可!

注意,现在你还没有下载任何模型,接下来我们需要下载模型到本地。


在此之前你需要知道,如果你什么都不设置的话,模型会默认安装到C盘,如果你想把模型安装到其他硬盘可以按照下面的操作来配置环境变量。

WIn+I
OLLAMA_MODELSF:\AI_MODELS

完成之后就可以确保你接下来的步骤中模型下载安装到你设置的目录中去了。

2. 下载一个本地AI模型

请先打开你安装好的OLLAMA软件,这时候在任务栏中应该会出现一个羊驼图标,表示服务正在运行。

关于部署AI模型,这里贴心地写了两个方法,任选其一即。如果你只是想快速部署好这个模型使用,可以看小白版;有更多的好奇心可以看详细版。强烈建议两个版本教程都看完后在进行安装。

小白版

我们下载一个简单的本地模型使用软件——LLOCAL来安装和使用本地模型。

https://www.llocal.in/

然后下载适合自己系统的软件并安装打开。

教你在本地部署AI大模型,效果很赞!非常详细收藏我这一篇就够了!Settinggemma2:2b

是不是非常简单呢?

详细版
ollama run gemma2:2b
WIN+Rcmd

下载完成之后你可以在这个窗口直接与之对话了。

你可能发现GEMMA2的9B版本也才5.4G,它的效果会不会更好呢?确实9B版本(90亿参数)对话效果肯定要比2B版本好很多,你可以用同样的方法来安装使用9B版本,但是9B版本对电脑的要求要高一些,实际测试下来使用9B版本对话时内存占用量高达9G,所以你的电脑运行内存至少要达到12GB以上才能运行这个模型。

性能说明

得益于GEMMA2:2B版本的出现,才让我在自己这台小破笔记本上也能运行比较实用的本地AI模型,那运行本地AI模型到底吃什么配置呢?可不可以选择其他的模型。

AI模型的计算速度主要取决于你的CPU和显卡。

OLLAMA支持的显卡列表如下:

如果你有这些显卡,可以使用显卡性能进行计算,如果同时你的运行内存大于16GB,那么你可以流畅地运行9B版本,个人感觉这个版本地使用体验要超过GPT-4o。如果没有列表中的显卡,那么就会调用CPU来进行计算了,使用9B版本运行起来可能会略微有些慢。

以上就是本期内容了。以后有机会向大家分享更多进阶的AI玩法。

AI大模型学习路线

如果你对AI大模型入门感兴趣,那么你需要的话可以点击这里大模型重磅福利:入门进阶全套104G学习资源包免费分享!

扫描下方csdn官方合作二维码获取哦!

这是一份大模型从零基础到进阶的学习路线大纲全览,小伙伴们记得点个收藏!


第一阶段: 从大模型系统设计入手,讲解大模型的主要方法;

第二阶段: 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用;

第三阶段: 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统;

第四阶段: 大模型知识库应用开发以LangChain框架为例,构建物流行业咨询智能问答系统;

第五阶段: 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型;

第六阶段: 以SD多模态大模型为主,搭建了文生图小程序案例;

第七阶段: 以大模型平台应用与开发为主,通过星火大模型,文心大模型等成熟大模型构建大模型行业应用。

100套AI大模型商业化落地方案

大模型全套视频教程

200本大模型PDF书籍

👉学会后的收获:👈

• 基于大模型全栈工程实现(前端、后端、产品经理、设计、数据分析等),通过这门课可获得不同能力;

• 能够利用大模型解决相关实际项目需求: 大数据时代,越来越多的企业和机构需要处理海量数据,利用大模型技术可以更好地处理这些数据,提高数据分析和决策的准确性。因此,掌握大模型应用开发技能,可以让程序员更好地应对实际项目需求;

• 基于大模型和企业数据AI应用开发,实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能, 学会Fine-tuning垂直训练大模型(数据准备、数据蒸馏、大模型部署)一站式掌握;

• 能够完成时下热门大模型垂直领域模型训练能力,提高程序员的编码能力: 大模型应用开发需要掌握机器学习算法、深度学习框架等技术,这些技术的掌握可以提高程序员的编码能力和分析能力,让程序员更加熟练地编写高质量的代码。

LLM面试题合集

大模型产品经理资源合集

大模型项目实战合集

👉获取方式:
😝有需要的小伙伴,可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓