Block Sparse Attention:支持混合稀疏模式的稀疏注意力核心库,主要用于优化大型语言模型的计算性能,有效降低推理成本 爱可可-爱生活 2024-10-21 04:59:18 【Block Sparse Attention:支持混合稀疏模式的稀疏注意力核心库,主要用于优化大型语言模型的计算性能,有效降低推理成本】'mit-han-lab/Block-Sparse-Attention: A sparse attention kernel supporting mix sparse patterns' GitHub: github.com/mit-han-lab/Block-Sparse-Attention 人工智能 机器学习 语言模型