随着AI的飞速发展,各种大模型越来越多,但大多需要联网,需要付费。
有没有永久免费,而且离线可用,无需担心安全问题的选择?
那其实,已经有非常多的开源大模型,比如Mistral、谷歌Gemma、LLama,阿里的Qwen系列甚至能位于大模型榜单的前列:
这些开源模型的很多版本,都能直接在你的电脑本地运行!
三顿三顿,那部署起来一定很麻烦吧,我不懂代码能用上嘛?有请文章的主角:LM Studio
这款工具主打的就是一个简单傻瓜,零基础的小白也能快速用上各种开源AI大模型。
没错,打开软件,它会自动识别电脑配置,列出可以在你电脑上运行的模型:
那再接着,只需要点击下载按钮,下载安装完毕后即可在聊天界面,顺畅的使用:
无需联网、安全性拉满。智能程度虽然比不上GPT4、Claude这些顶尖的AI大模型,但三顿觉得日常也还够用。
比如三顿这里安装的这个阿里的Qwen-7B版本,陷阱问题都能识别:
数学问题也不在话下:
你看,简单几步,小白也能上手使用。那除此之外,它还提供了丰富的自定义功能,调整内置提示词、以及温度等参数:
安装软件、下载模型、进行对话,你看,其实AI离你真的很近。当然,在过程中可能也会遇到一些问题,在这里,三顿也给大家写个使用指南。
如何下载开源AI模型?
工具支持的是AI大模型经过量化后的GGUF格式版本,简单来说就是更轻量,更易于在你的家用电脑运行的版本。
如果你有合适的网络环境,可以直接在工具中下载,也可以在HuggingFace这个 全球最大的开源大模型社区网站上进行下载。
那如果你不知道如何访问,三顿更推荐的是阿里巴巴出品的这个叫做魔搭社区的网站:
▼ https://modelscope.cn/models
这个网站三顿其实也给大家推荐过很多次,在里面你可以找到各种开源的AI大模型。
你可以直接搜索,找到它们的GGUF版本:
那三顿比较推荐的是Qwen-7B,适合在家用电脑运行:
▼ https://www.modelscope.cn/models/qwen/Qwen1.5-7B-Chat-GGUF/summary
接着你只需要点击模型文件-下载模型,即可把它搬进你的电脑:
如何在软件中运行呢,同样非常简单,把下载好的文件搬进它指定的文件夹(如果没有,可以按三顿图中的路径创建):
完成后在聊天界面加载运行即可:
有哪些好用的开源模型?
目前已经有非常多的开源大模型,那其中其实也会有更适合写代码的、更适合读长文,如何选择这些开源大模型呢?
方便大家访问,我比较推荐的是这个国内权威的大模型评测榜单:
▼ https://rank.opencompass.org.cn/home
你可以在里面找到开源版本:
那么当然,你也可以选择查看HuggingFace的这个大模型榜单,同样找到模型后搜索GGUF格式即可。
▼ https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
适合新手小白、永久免费、本地运行足够安全,请收好三顿今日份的种草:
最后特别提醒大家,模型运行对电脑性能、电脑显卡有较高的要求,一般7B参数以下的模型都能运行,但如果是日常办公用的电脑就请勿尝试了。
我把工具和提到的Qwen-7B的模型也做了打包,可以在三顿的导航网站上直接下载:
依然提醒大家,三顿分享的都属于“非必装软件”,千万不要一股脑下载,更建议你根据自己的需要,下载使用其中的软件。























