简介

GPT4ALL 是一款本地离线运行的GPT(Generative Pre-trained Transformer)应用，相比以往GPT类应用调用共享的api,或者使用Chatgpt账号的API key,做到了“真”本地运行。无需docker,python类应用,只须下载GUI和训练好的模型，即开即用。
优缺点很明显：
优点：无需网络，离线运行，回答速度与精度完全取决于用户机器性能和预训练模型的数据集大小。也可联网接入GPT4的API。
缺点：模型已经定型，知识储备不会再更新；依赖CPU和GPU的性能，GPT-3系列模型取消了对GPU的支持,回复速率慢，不如联网版本。

教程

1.下载地址：https://gpt4all.io/index.html
含有windows,macos,ubuntu三个版本,网页首页下载GUI，往下拉可以下载不同配置的模型。
2.使用方法：安装GUI后会弹出下载模型的选项,可以根据自己的配置下载对应的模型。注意这里RAM是指显存的大小,模型越小,输出越快。
推荐下载的模型：
mistral-7b-openorca.Q4_0.gguf 3.83GB RAM:8GB 综合性能较好
nous-hermes-llama2-13b.Q4_0.gguf 6.86GB RAM:16GB 含有精选的指令，回答效果较好
推荐用网页下载，本地GUI下载会时不时卡住,取消下载后自动暂停,恢复后下载速度才正常。模型下载位置可以在设置中任选。
下载完毕后加载相应的模型就可以使用了，模型越大，加载速度和回答速度越慢
以我的配置为例：

mistral的回答速度约为6token/s，而hermes就只有平均不到3 tokens/s了，可谓是非常之慢了。我询问它为什么设置中没有GPU选项,它是这样回答我的：

所以现阶段它还有很多不足,达不到媲美GTP4的程度，稍逊于GPT3.5,玩一玩还是不错的，GUI里面也是可以设置上传应用数据的,不缺流量的话可以试试，为这个免费项目做一份贡献。希望GPT4ALL能越来越好。