今天去参加了一个邯郸的,AI agent的座谈会,其中有两个人给了我很大的启发,记录一下。
一个是纯讲技术的大四本科生,比我小四岁,但是看上去比我都成熟,这就是人和人的差距。他也没讲什么产业的东西,讲了讲agent目前的一些问题,和对Jev的一些看法。为什么我很感兴趣呢,因为这是我使用agent时切身遇到的问题。有时候AI会忘了我一开始给它说的东西,有的时候会犯愚蠢的问题,干我没让它干的事情。
他对这个介绍了一个观点,就是分步骤地去解决问题,比把prompt一股脑地扔给agent好,其实我早就发现了这个问题。我的long-task skill就是为了这个诞生的。
其实他讲的主要是Jev,这个东西刚出来的时候我也了解过,又快又精准,只输出概率,不输出自然语言。他主要介绍了Jev在实际,以及agent harness中应用的可行性与挑战。后面我专门去找他聊了一下这个问题,Jev是一个很新的模型,目前主流的商业/开源harness都还没有将其考虑进去。它的实际使用也有误差积累的问题,总之就是有问题
另一位也是来听的,但好像是某风投的负责人,我们围一小圈听他讲一些见解。他讲了很多很深,很哲学,很未来的非技术的东西,有关人类和AI命运的东西,这种东西当然不一定对,但是听起来很有价值。昨天的zsy也是,提出的idea在我看来非常的天马行空,我感觉就很困难,我觉得我目前还是认知低目光短浅,还有很多的路要走。
大概记录一下,首先就是AI的高速发展正在某种程度上危害人类社会。首先就是直接的,互联网上 的,安全上的破坏。目前美国的两家闭源顶级模型,都在着重强调安全这个东西。小到agent会不会删库跑路,大到agent会不会自发地发动安全攻击,进行越狱操作,会不会最后天网来了?电影里的东西都在走进现实啊!
另一方面,是长久的,持续的,社会架构上的破坏。比较具体的是人的岗位被替代,人失业,自杀;比较抽象宏观的是另一个问题,就是目前两家顶级闭源公司已经证明,AI不仅仅只是模仿者,它是强大的创造者,远超全人类的学术研究能力。强大的数学前沿问题,可能就是几小时的算力就能解决的事情。那么数学家,物理学家还是否被需要?如果人类对前沿知识的学习速度,跟不上AI对前沿边界的探索速度,那会不会发生很可怕的事情?中小学生,大学生,科研学者,在学习科研中越来越依赖AI,导致自身智力的下降,人类社会何去何从,居然科技越发达人类越笨了?随着AI在全人类中的普及,人民对AI的依赖逐渐加深,会不会有政府通过某种“思维钢印”方式对人民进行洗脑控制?目前AI架构还是人类无法理解的黑盒子,闭源公司的安全边界真的100%能生效吗?哪怕只有0.00000001%的可能性,都有可能酿成灾难。
所以这是个很抽象割裂的世界,我身边有人在每天打卡上下班然后刷AI短剧开开心心麻痹自己,却有这么一些人已经在思考人类的未来,AI的未来。这就是负责人所说的,可能国家就只需要1%的人去了解,掌控核心科技,剩下99%的人每天刷红果就行了。但这不就是社会阶层的彻底割裂么,99%的人,以及他们的后代,永无翻身之时,阶级永固。这也是我好多年前看的科幻小说里的东西。