“lm.rs”的项目，一个用Rust语言...

“lm.rs”的项目，一个用Rust语言编写的极简语言模型（LLM）推理工具。
地址： github.com/samuel-vitorino/lm.rs
它能够在没有机器学习库的情况下，在CPU上进行完整的语言模型推理。项目支持多模态功能，包括PHI-3.5视觉模型和PHI-3.5-mini文本模型。在 16-core AMD Epyc 上的推理速度如图2.