北大学者将Transformer模型带入单细胞分析领域，能给出多层次的生物学解释，软件包与指导手册均已开源

【北大学者将Transformer模型带入单细胞分析领域，能给出多层次的生物学解释，软件包与指导手册均已开源】

2017 年，谷歌 公司推出 Transformer 模型，这是是一种采用自注意力机制的深度学习模型，并促成了当下大火的 GPT 等预训练模型 的发展。

自诞生以来，Transformer 已被用于多个领域，生命科学 领域当然也不例外。前不久，北京大学 定量生物学中心/生命科学联合中心韩敬东教授将 Transformer 引入单细胞转录组分析领域中，解决了领域内长期以来缺乏可解释性的难题。

研究中，他们研发出一款名为 TOSICA 的模型，数十分钟即可完成百万级数据的细胞类型注释，它能在不提供批次信息的前提下，准确且快速地学习并参考数据集中的分类标准，从而针对新数据自动地进行细胞类型标注，并能提供一个弱批次效应的、可解释的隐变量低维空间，以及建立高分辨率的细胞低维表示。

论文评审专家表示：“（作者们）在一个已经相对拥挤的领域仍然做出了改进。其所采用的注意力机制相当有趣，且提供了多数深度学习模型不能提供的可解释性。”并认为这款模型“将 Transformer 带入了单细胞分析领域，（是一个）非常有雄心并且意义重大的研究”。

日前，相关论文以《基于 Transformer 的一站式可解释的细胞类型注释器》（Transformer for one stop interpretable cell type annotation）为题发在 Nature Communications 上。

戳链接查看详情：北大学者将Transformer模型带入单细胞分析领域，能给出多层次的生物学解释，软件包与指导手册均已开源