Transformer模型搜索能力缺陷研究

OneFlow
2024-12-12 07:36:10

大模型日报 ai前沿动态

【Transformer模型搜索能力缺陷研究】

链接：网页链接
论文概述：本文通过图连通性问题，揭示了Transformer模型在搜索任务上的能力局限，并通过机制可解释性技术发现了模型采用指数路径合并算法，但该算法难以扩展到更大规模的图，这突显了训练数据设计和模型架构改进的重要性。