用CPU本地运行LLM
- 量子位
- 2024-10-19 10:45:14
用CPU本地运行LLM Rust语言实现
没有GPU，也能运行LLM吗？
当然可以！这里有一个用CPU就可以在本地运行LLM的工具库，用Rust语言编写。
在下面的demo中，本地浏览器上就可以流畅运行LLM，它不仅可以解释代码，在你无聊的时候也可以给你讲笑话。
目前支持的模型包括Gemma2、Llama3.2和Phi-3.5中的一些小参数模型，日常任务肯定够用。（图3）
作者还表示开发这个项目是受到了大神karpathy的纯c语言llm的启发，llm的玩法真是越来越多了。
地址：
网页链接
没有GPU，也能运行LLM吗？
当然可以！这里有一个用CPU就可以在本地运行LLM的工具库，用Rust语言编写。
在下面的demo中，本地浏览器上就可以流畅运行LLM，它不仅可以解释代码，在你无聊的时候也可以给你讲笑话。
目前支持的模型包括Gemma2、Llama3.2和Phi-3.5中的一些小参数模型，日常任务肯定够用。（图3）
作者还表示开发这个项目是受到了大神karpathy的纯c语言llm的启发，llm的玩法真是越来越多了。
地址：
网页链接
