Block Sparse Attention:支持混合稀疏模式的稀疏注意力核心库,主要用于优化大型语言模型的计算性能,有效降低推理成本

  • 爱可可-爱生活
  • 2024-10-21 04:59:18
【Block Sparse Attention:支持混合稀疏模式的稀疏注意力核心库,主要用于优化大型语言模型的计算性能,有效降低推理成本】'mit-han-lab/Block-Sparse-Attention: A sparse attention kernel supporting mix sparse patterns' GitHub: github.com/mit-han-lab/Block-Sparse-Attention 人工智能 机器学习 语言模型
Block Sparse Attention:支持混合稀疏模式的稀疏注意力核心库,主要用于优化大型语言模型的计算性能,有效降低推理成本Block Sparse Attention:支持混合稀疏模式的稀疏注意力核心库,主要用于优化大型语言模型的计算性能,有效降低推理成本