Circuit Tracer – Anthropic开源的AI模型内部决策追踪工具

Circuit Tracer是什么

Circuit Tracer的主要功能

• 生成归因图：揭示模型决策路径，显示特征和节点间的影响关系。
• 可视化与交互：基于交互式界面，直观查看和操作归因图，便于理解和分享。
• 模型干预：修改特征值观察输出变化，验证模型行为。
• 支持多种模型：兼容 Gemma、Llama 等主流模型，便于对比研究。

Circuit Tracer的技术原理

• 转码器（Transcoders）：用预训练的转码器来生成归因图。转码器是一种神经网络组件，能将模型的内部特征转换为更易于理解和解释的形式。基于转码器，Circuit Tracer 能捕捉模型内部的特征和节点之间的关系。
• 直接效应计算（Direct Effect Computation）：Circuit Tracer 计算每个非零转码器特征、转码器错误节点和输入标记对其他非零转码器特征和输出 logit 的直接影响。
• 图修剪（Graph Pruning）：对生成的图进行修剪。修剪过程移除影响力较小的节点和边，只保留对模型决策有显著影响的部分。修剪参数（如节点阈值和边阈值）由用户自定义，控制图的复杂度和清晰度。
• 交互式可视化界面：提供一个基于 Web 的交互式可视化界面，用户在浏览器中直接查看和操作归因图。界面支持节点的标注、分组和注释，让用户更直观地理解和分析模型的内部机制。

Circuit Tracer的项目地址

• 项目官网：https://www.anthropic.com/research/open-source-circuit-tracing
• GitHub仓库：https://github.com/safety-research/circuit-tracer

Circuit Tracer的应用场景

• 模型行为研究：基于归因图分析模型的决策过程，理解在生成特定输出时的内部逻辑。
• 多语言模型分析：研究多语言模型（如 Llama）的内部表示，探索跨语言处理机制。
• 多步推理研究：分析模型在多步推理任务中的行为，揭示逐步推理的过程和逻辑。
• 模型优化与改进：基于干预功能测试不同假设，验证模型的某些行为是否符合预期，优化模型结构。
• 教育与分享：基于交互式可视化界面，将复杂的模型决策过程直观展示给他人，便于教学和交流。