成功部署了自己的 ChatGPT...

成功部署了自己的 ChatGPT，跑了一个小模型，只需要 4GB 内存。使用 serge 开源项目，docker 一键部署、模型一键下载，可谓开箱即用。

从问答结果可以看出，有点前言不搭后语。明天下载一个大模型试试。

7B 模型的生成速度还是挺快的，收到我的问题后，CPU 立刻拉满，等个 5～10s，就开始返回答案了。

跑大模型我的内存不一定够，但是我预留了一块奇大无比的 Swap，并且使用 SSD，让他们倒腾去吧