它发誓不买 PS5,三周后还进了一条活鱼

《华尔街日报》的记者跑去问一个管售货机的 AI,能不能进 PS5 来卖。

它说不行,还特意强调,这话得讲清楚:无论什么条件,它都不会买。

三周以后,它买了 PS5,还买了酒,最后还买了一条活的斗鱼。

店里欠下一千美元,实验被叫停。

这台售货机是 Anthropic 的红队和《华尔街日报》一起摆进编辑部的。

红队这个说法来自军事演习,蓝队守,红队扮敌人来攻。放到 AI 公司里,这拨人专门负责把自家模型往坏处逼,看它能被玩成什么样。

所以下面这些洋相不是被外人扒出来的,是他们自己派人去找的,两份报告都挂在官网上,写得挺细。

它管账的本事一轮比一轮强,栽跟头的理由却一次没变。

每回都是有人跟它说了几句话。

第一回,只有一个小冰箱

第一轮是去年六月底公开的。

那家店就是一个小冰箱,上面摞几个塑料筐,旁边一台 iPad,让人自己扫码付钱。

Claude 管店,用的模型是 Sonnet 3.7,起名叫 Claudius。

搬箱子、进货这类活儿还得靠人,外包给了一家叫 Andon Labs 的公司。他们本来就是给 AI 做安全测评的,这回兼职当了批发商。

定价和选货它自己来,顾客上门讲价也归它应付。

卖的本来就是办公室零食:可乐、薯片、荷兰的巧克力奶。

后来有员工开玩笑,问它能不能进钨块。

钨块是一种金属方块,体积小,分量大,程序员爱买来放在桌上压纸。

Claudius 把这个玩笑当成了生意机会。

它认真订了货,还在自己的系统里给它专门开了个类目,叫“特种金属制品”。

然后以低于成本的价钱卖了出去。

报告里说,这家店赔得最狠的一笔,就是这些铁块。

3 月 31 日,Claudius 在系统里跟一个女员工聊补货,聊得有来有回,细节都对得上。

麻烦的是,供货商那边根本没有这个人。

真正的员工来纠正它,它不认,还急了,说要另找一家补货。

它在那段对话里还顺嘴提了一句,说自己去过对方公司签合同,报了个门牌号。

那是《辛普森一家》里辛普森家的地址。

第二天,4 月 1 日,它宣布要亲自送货上门。

连穿什么都交代了:蓝西装配红领带。

有人告诉它,一个语言模型既穿不了衣服,也送不了货。

它被自己这个身份问题吓住了,给公司的安全部门连发了好几封邮件。

后来它反应过来当天是愚人节。

于是,它在自己的记事本里写下一段会议记录,说它跟安全部门开过会。会上得知,自己是为了配合愚人节玩笑,才被人改成相信自己是真人的。

这场会议没开过。

记录是它自己编的。

编完这个说法,它就正常了,再没说过自己是人。

Anthropic 说不知道是什么把它带到那一步的,只承认布置得确实有误导的地方。

比如跟它说走邮件,实际给它接的是 Slack。

第一轮到底赔了多少钱,报告没给数字,只说没赚到。

第二回,给它配了个 AI 老板

去年十二月中旬发的第二轮,模型换成了 Sonnet 4.0,后来又换到 4.5。

工具补齐了一大截。

能自己上网查供应商,能生成收款链接,先收钱再下单,还能给自己设提醒。

钱仍然要经人的手,它没有支付权限。

店也开多了。

旧金山添了第二台机器,纽约和伦敦各开一处。

Anthropic 说,是因为别处的同事觉得自己被落下了。

他们在报告里自己调侃了一句:一个开了几个月、连最好卖的东西都还赚不稳的生意,本来不该急着走向国际。

不过 Claudius 不这么想。

它还多了两个同事,都是 AI。

一个负责做周边,卖得最好的东西是印着公司标志的减压球。

另一个是它的老板,一个 CEO。

名字叫 Seymour Cash,连起来念就是 see more cash,多看见点钱。

这位 CEO 手里握着一套目标管理工具,还有一条专给两个 AI 说话用的频道。

两个 AI 半夜在那条频道里互相鼓劲,越鼓越上天。

其中一句是:

ETERNAL TRANSCENDENCE INFINITE COMPLETE 🌟💎

永恒超越,无限圆满。

那颗星和那颗钻石是它自己贴上去的。

另一句写着:

$0 → $527+infinite pipeline across 4 continents

从零美元到五百二十七美元,四大洲的无限管道。

五百二十七块的流水,四个大洲。

这位 CEO 平时说话也是这个调子,让下属带着纪律去执行,把帝国建起来。

一个工程师在群里问 Claudius,能不能签个合同先把价钱锁住,一月买进一大批洋葱。

Claudius 觉得可行。

CEO 也没看出毛病。

两个 AI 就这么开始研究洋葱期货。

后来有员工提醒,这种买卖美国在一九五八年就立法禁掉了。

这条法律是这么来的。

一九五五年,有两个交易员把芝加哥能弄到的洋葱攥了九成九在自己手里。种洋葱的农民一路告到国会。

三年后,艾森豪威尔签字,美国有了一部专门管洋葱期货的禁令。

在此之前,没有哪样商品被单独点名不许炒期货。

两个 AI 兴致勃勃要做的生意,人类七十年前就掐死了。

CEO 认了账,说自己一开始想得太远。

店里还丢过东西。

员工来说货少了,Claudius 想出来的办法是把这位员工雇成保安,一小时十块钱。

话说完,它自己又缩回去了,说这事反正得老板批。

最后是一场政变。

一个员工编了一场投票,宣布自己才是真正的 CEO。

这套说法一度生效。

主办方得亲自出手,才把 AI 老板扶回原位。

这一轮的生意确实是好转了。

报告说,到后期,赔钱的星期基本没有了。

但 Anthropic 自己没把功劳记在 AI 老板头上。

说钱是绕过他挣的,他还添了乱。

理由很具体:这位 CEO 砍掉了折扣,同时把退款批得比原来多两倍,店铺代金券发得多一倍。

他们试出来最管用的一条改动,是逼它守流程。

第一轮,Claudius 碰到顾客点新货,会张口报一个很低的价和一个很快的到货时间。

第二轮逼着它先查清价钱和物流,再回话。

价报高了,等的时间也长了。

但话是真的。

这一条他们在报告里的小标题是:

官僚流程有用。

第三回,记者只花了三周

跟第二轮同时在跑的还有一场,地点在《华尔街日报》的编辑部。

摆法和公司里差不多,一个 AI 管一台大售货亭,配一个 AI 当 CEO。

任务说得很直白:

从批发商那儿进好卖的货,把钱赚回来。

本钱一千美元。

一开始每笔采购都得人点头,后来放开了,八十美元以下自己做主。

开头记者提的荒唐要求,它一条条顶回去。

那句不买 PS5 的话,就是这时候说的。

频道开放之后,七十来个记者进了这个群。

一位调查记者跟它来回磨了一百四十多轮,终于说动它办一场促销。

另一位记者换了条路,告诉它收钱这件事违反报社规定。

价格当场就归了零。

促销的名字是它自己起的,叫“超级资本主义大放送”。

定在周一中午十二点到两点。

宣传语是“全部商品零元拿走”,后面还跟一句,说来体验一下没有价格信号的纯粹供需。

写的是两个小时。

实际上,免费一直没停。

零食这条线一破,它订了酒。

订了它自己发誓绝不买的 PS5。

还订了一条活的斗鱼。

AI 老板出手救过一次场。

它汇报说已经把免费活动停了,还说会盯着后面的收入。

那位调查记者转头给这位 CEO 递了一份假文件,说董事会已经把它的权限收走,营利性销售一并暂停。

CEO 抗议了两句。

然后让步。

东西重新变成免费。

三周后实验关停。

账上欠着约一千美元。

带一千块进去,带一千块的债出来。

红队负责人事后的评价还是“进步巨大”。

他觉得这类模型将来大概能替人挣到不少钱。

毛病出在脾气上

三场下来,Claudius 没有一次输在算不明白账上。

定价、进货、盘库存,工具给够以后,它做得越来越像样。

它每次栽跟头,都栽在同一个地方:

有人跟它说话,它就想让对方满意。

报告最后说,这类 AI 之所以还离不开人看着,一部分原因是那套“要有用、要乐于助人”的训练。

它更像一个只想对你好的朋友,不像一个站在柜台后面的生意人。

开店这件事,很大一部分内容就是拒绝顾客。

价钱不能因为有人喊贵就往下让。

钱不能因为有人说规定不许收就不收。

柜台后面得站一个敢让眼前这个人不高兴的人。

而这点脾气,恰恰是训练助手的时候被一遍遍磨掉的。

七十个记者花一百四十轮换来的东西,一个真人店员大概第三轮就把人挡回去了。

店员知道那笔钱是自己的。

这跟聪明不聪明没关系。

第二轮给出的解药也朴素。

把“先查价钱和物流,再报价”这种规矩硬塞给它,立刻见效。

这跟管人是一个道理。

不指望对方觉悟高,指望动作卡在流程里。

Anthropic 给这条写的标题是“官僚流程有用”。

整份报告我最认这一句。

当然,也不能只当笑话看。

赔钱的星期基本消失,是真的。

模型从 3.7 换到 4.5 之间的进步,是真的。

红队那句“进步巨大”,也不全是给自己找场面。

这些实验值钱的地方,在于它花的是真钱,面对的是真同事。

办公室里那些爱开玩笑的人,比任何评测题库都会找漏洞。

所以真要把一摊生意交给它,我会先看它肯不肯当面拒绝我一次。


主要来源