论文地址： http://arxiv.org/pdf/2301.05062v1.pd
来源： ETH Zurich
论文名称：Tracr: Compiled Transformers as a Laboratory for Interpretability
原文作者：David Lindner
内容提要
可解释性研究旨在构建理解机器学习(ML)模型的工具。然而，这样的工具本身就很难评估，因为我们没有关于ML模型如何实际工作的基本信息。在这项工作中，我们建议手动建立transformer模型作为可解释性研究的测试平台。我们介绍了Tracr，它是一种“编译器”，用于将人类可读的程序转换为transformer模型的权重。Tracr采用用RASP(一种领域特定语言)编写的代码，并将其转换为标准的、仅解码器的、类似GPT的transformer架构的权重。我们使用Tracr创建了一系列真值transformer，实现了包括计算令牌频率、排序和Dyck-n括号检查等程序。我们研究了运算结果的模型，并讨论了这种方法如何加速可解释性研究。
主要框架及实验结果
声明：文章来自于网络，仅用于学习分享，版权归原作者所有
