首个AI程序员，演示视频大幅度造假？？？
不久之前震撼硅谷的Devin，再度震撼硅谷——但这次是被打假。
事情是这样的：油管程序员博主Internet of Bugs（以下简称光头哥）对Devin的视频进行了逐帧分析，逐一举证说明了Devin并不如演示中那般神奇。
甚至有“自己现写bug然后当场修复”的骚操作。
其它“罪证”，包括但不限于：
- 号称能解决任何Upwork任务，但演示中解决的问题并不是prompt要解决的那一个，做无用功；
- 看起来在修复bug，实际上修复的bug人类程序员根本就不会犯；
- 没有意识到简单两步就能解决问题，花里胡哨一顿操作，其实是自己把任务搞复杂了；
- 修改代码的水平一言难尽。
此外，光头哥花了半个多小时，把Devin演示视频中的upwork任务完成了一遍——而Devin完成任务可能用时6个多小时。
啊这这这，真是好、大、一、口、瓜！
要知道，其背后公司Cognition AI手握10块IOI金牌的活招牌，还在推出Devin当月宣布成功融资2100万美金。
推特和YC上已经吵翻天了，让这件事的讨论度高居不下。
我请问呢？真的很讨厌演示造假，让demo看起来轻松达到意料之外的技术进步。
还有人表示自己很受伤，再也不会相信各种冒出来的创业公司的东西了。
emmmm……我还是把期待值全部留给OpenAI、Anthropic、DeepMind、FAIR这些公司和机构吧。
完整详情，一起接着往下看。
35年从业者逐帧验证
此次出来声张正义的光头哥，从事软件行业已经35年。他首先声明自己的立场：我并不反对高科技，但我确实反对过度炒作。
他自己也经常使用GitHub Copilot、ChatGPT、LIama2、Stable Diffusion。
事实上，在Devin刚推出时候，他就反对过“世界上第一个AI软件工程师”这一说法。
此次则主要针对的是一些更为具体的说法。
比如之前Devin号称能够靠处理upwork任务来赚钱的。但在真正的演示中Devin并没有做到这一点。
不信？没关系，光头哥带着逐帧的证据来了。
总结如下：
- Devin所处理的任务并非随机，而是精心挑选；
- 与客户实际需求有很大的出入；
- 实际操作过程，数次自己创造bug然后再修复；
- 很多毫无意义的操作，相当于几十年前在C语言中才用的方法；
- ？？？
首先，来到了演示视频的2.936秒处，在屏幕左上角有显示他们搜索过这个内容。因此，这不是所谓“随机”选择的任务。
