|
人工智能的"黑盒子"要被破解了?
昨天(5月30日),AI圈爆了个新鲜事——明星公司Anthropic冷不丁发布一款开源工具Circuit Tracer(思维追踪器)!这玩意儿可不简单,它能直接把大模型思考时的"脑回路"画成图谱,让AI原理不再玄乎难懂。
打开Anthropic的官方社交媒体,他们高调宣告:"我们的可解释性团队研发了一套追踪大模型思维的方法,现在正式开源!研究人员都能用它制作'归因图谱',像我们论文里那样互动探索啦!"
原来今年三月,Anthropic就用自家聊天机器人Claude做了场"开颅实验"(构建思维路径追踪图),硬核分析了AI如何回答问题,甚至找到了生成幻觉的原理。如今基于这篇研究开发出可视化神器,能把开源权重模型的思维活动变成一张动态图谱。
Circuit Tracer由Anthropic安全研究奖学金团队联手专业机构Decode Research共同研发,如今已免费上架GitHub。只需简单操作,用户就能给指定模型做个"脑部CT扫描",自动生成思维图谱。
光看静态图不过瘾?别急!解码研究团队搞了个更炫的在线平台Neuronpedia。现在登录官网,就能实时把玩谷歌家的Gemma-2-2B和Anthropic的轻量版Haiku模型(当前支持型号),点击节点就能看见神经元如何被点亮。
举个典型操作场景:研究员想验证某个功能的作用,只需在工具里微调数值参数,图谱立刻实时反馈输出变化,跟玩VR实验似的。还能给特定神经节点贴标签写注释,随手生成分享链接开学术茶话会。
"当前人类对AI内部运作的理解,压根追不上AI能力的进化速度。"Anthropic团队诚恳表示。此番大尺度开源,就是指望全球开发者群策群力——你既能用工具探索模型行为,更能动手升级工具本身,把理解大模型的进程狠狠加速。
截至现在,该工具已在GitHub获上千星标。想象一下:未来输入问题时,你手机屏幕不仅显示AI答案,旁边还展开一张璀璨的思维流程图——就像看导航时同时拥有上帝视角,知道这条路线为什么最合理。当大模型的决策过程不再神秘莫测,人类才能真正踏出人机协作的关键一步。
|
本帖子中包含更多资源
您需要 登录 才可以下载或查看,没有账号?立即注册
x
|