AI ai AI 大模型免费节点 cloudflare CF vless VPN

【AI开源大模型】Llama3.1一键本地部署最强开源大模型！支持Windows、Mac并可以可离线使用

AM科技2024-09-022024-10-03

[点击观看视频教程]
【YouTube频道】 | 【Telegram频道】 | 【GitHub仓库】
《部署教程说明》

一、需要准备的前提资料

1.本地电脑安装的硬件要求：

Windows：3060以上显卡+8G以上显存+16G内存，硬盘空间至少20G

Mac：M1、M2、M3芯片 16G内存，20G以上硬盘空间

2. Llama 3.1 安装所需Ollama客户端

我们需要安装Ollama客户端来进行本地部署Llama3.1大模型
点击进入下载地址
下载完成后解压文件,(win)然后双击安装 ,(mac)把Ollama.app文件拉到Applications里就可以完成安装

3. 获取SSH连接工具

请加下群AM科技｜分享交流群发送关键字: ssh

二、开始安装

win打开powershell
Mac打开终端工具(如iterm2)
ai-Llama3.1

1.安装命令：

安装llama3.1-8b，至少需要8G的显存，安装命令就是
1
ollama run llama3.1:8b
安装llama3.1-70b，至少需要大约 70-75 GB 显存，适合企业用户，安装命令就是
1
ollama run llama3.1:78b
安装llama3.1-405b，这是一个极其庞大的模型，安装和运行它在本地需要非常高的显存和硬件资源，至少需要大约 400-450 GB 显存，适合顶级大企业用户，安装命令就是
1
ollama run llama3.1:405b

2.退出聊天输入/bye然后回车就可以：

/bye

3.再次进入AI模型聊天就还是之前安装命令就可以,这次就不会再安装模型,直接进入聊天窗口了

1	ollama run llama3.1:8b

三、如何卸载删除？

Windows：默认的安装目录是：C:\Users\你的用户名\.ollama
直接在你的安装目录下，删除ollama文件夹即可, 所有下载的数据和大模型文件都在里面

Mac：默认的安装目录是：~/Applications/Ollama

1、卸载llama3.1:8b模型命令：
1
ollama rm llama3.1:8b
2、在~/Applications/目录下删除 Ollama文件就可以

四、Llama3.1大模型免费在线平台

Huggingface平台已经托管了Llama3.1大模型，现在完全免费使用！

点击进入

➖➖➖➖➖➖➖➖➖➖➖➖➖
▶️ 新人YouTube 需要您的支持，请务必帮我点赞、关注、打开小铃铛，十分感谢！！！ ✅

🎁 不要只是下载或Fork。请 follow 我的GitHub、给我所有项目一个 Star 星星（拜托了）！你的支持是我不断前进的动力！ 💖