
加多撸
念念象一下,你组建了一个团队:范例员、测试员、样式司理各司其职。成果委用的居品缝隙百出,团队成员相互甩锅淫色淫香,以致有东说念主私行改造需求——这不是职场剧,而是现时多智能体LLM系统的真确写真!
论文对ChatDev等5大主流框架的测试显现,最差情况下系统正确率仅25%,还不如单兵作战的AI(举例Best-of-N采样)。这就像一群高材生组队作念样式,收货反而比单独测验更差。
商议者分析了150多个任务对话纪录(总文本量超15万行),发现失败根源可归结为三大类:
米菲兔 丝袜①章程崩坏(SpecificationFailures)
②团队内讧(Inter-AgentMisalignment)
③验收摆烂(VerificationFailures)
论文袒露了一个经典翻车现场:用户条目建树撑抓外洋象棋范例记谱法(如Qd4)的游戏,成果Agent团队委用的版块只可用(x1,y1)坐标输入。
更离谱的是,测试状况只查验代码能否编译,皆备忽略章程考证。这就好比验收新址时,监理只数门窗数目,却岂论厕统统莫得下水说念。
数据显现,47%的失败可追想至考证状况。但论文强调:“不周密怪质检员”。就像建筑垮塌不成只怪验收,钢筋偷工减料、图纸误差等前期问题才是根源。
商议者发现,即便给考证AI开外挂(用GPT-4o审核),仍有23%的失败无法幸免。这暴露多智能体系统的崩溃,时常是系统性筹备颓势的聚积爆发。
令东说念主惊骇的是,这些Agent团队的失败模式,竟与东说念主类组织的经典崩溃案例高度吻合:
论文建议可鉴戒核电站、航空经管等高可靠性组织(HRO)的教会,比如:
现时主流科罚决策就像“打补丁”:淫色淫香