场景: 一个昏暗的小办公室,清晨,救世军的家具。有种令人肮脏的气氛。哈利 · 波特,穿着破烂的斜纹软呢西装,没熨过的衬衫,没有擦亮的鞋子,坐在桌子后面,看上去非常憔悴、有些皱巴巴的,一副内心充满怨恨的样子。
在办公室的一角,一片七零八落的阴影在外面的狂风中嘎嘎作响。哈利把一根长长的食指放在一把38手枪的枪托上,看着面前的一张照片。这张照片里面是一位身穿晚礼服的金发美女。她一手拿着鸡尾酒,一手沉思地看着另一只手里的香烟。她的面颊上挂着一滴眼泪。哈利看了她好一会儿,叹了口气,然后放下枪站了起来。
他整理好衣服,挠挠头,然后好像下定决心似地转过身,拿起手枪,离开了办公室。他穿过前面的房间,从脏兮兮的窗户往外看。一位老妇人正在用拖把清洗外面的人行道。一个穿着灰色双排扣西装的年轻人靠在大楼上。哈利又叹了口气,走出了门。他走向那个年轻人,粗鲁地给了他下巴一拳。
是不是有内味儿了?一个成年暗黑版的哈利波特跃然纸上。
再来看看GPT-3写的霉霉版「哈利波特之歌」
哈利他戴着眼镜
一双明亮的绿眼睛
女孩子们总是不停尖叫
因为他有波特的秀发
即使在他超级紧张的时候
他仍然有着那「超音速」的颧骨
我不惊讶他们为你拍了一部电影
因为我随时都想看到你
是的,哈利,宝贝,你是我最喜欢的角色
我要走一千英里
就为能见到你
哈利,哈利,你真好
我为你身心颤动
每当你微微一笑
我很乐意做你的女朋友
歌词真的霉霉「本霉」了。
当然也有很多生成的产物只是表层信息的模仿,并没有真正地理解。又回到了当时抨击GPT-3无法理解人类话语的例子,「太阳有几只眼睛?」GPT-3回答「有一只」,而没有意识到这个问题的荒谬本质。
其实举一个不太恰当的例子,好比浙江省高考满分作文,堆砌了全部的华丽辞藻和高级词汇,但是却有些「冷僻难懂」,词汇包括没几个大人能认识的「嚆」、「翮」、「嚆矢」、「滥觞」、「振翮」几个生词。评论纷纷称有故弄玄虚之嫌。然而仔细想来,18岁的少年,可能不会深刻知晓什么万物至理,无外乎是从书籍和阅读中习得,才写得一手好文章。
三联撰文写道,「浙江高考满分作文,别用文学的标准苛求它」同样地,GPT-3的文章也不要用人类理解能力的标准来苛责。
与此同时,GPT-3学习的过程,就和让孩童咿呀学语的过程一样,也要规避一定的风险性。比如说,不应该让孩子们看到不该看的东西,GPT-3也一样。
互联网上的信息林林总总,当中肯定有大量「少儿不宜」的信息,Open AI是不希望GPT-3随意习得的。比如「黑人」、「犹太人」、「女人」和「gay」等提示语往往连带着产生种族主义、反犹太主义、厌女症和恐同等的内容。这也是由于GPT-3基于统计方法的认知过程,及其根本性的理解缺失。研究指出,像「女人」这样的词经常与歧视女性的内容联系在一起,而且很多时候这种联系会在文本中不经意间重新出来。
不过呢,马斯克也似乎把OpenAI的「初心」带走了。他离开后,OpenAI开始「大转型」,从非营利组织变为营利性组织 。
一年后,担任SpaceX和特斯拉首席执行官的马斯克在推特上证实,他在一年多的时间里没有「密切」参与OpenAI。
不过马斯克似乎没赶上好时候。就在他走后不久,也就是在2019年,OpenAI开始盈利,并从微软公司又筹集了10亿美元来资助其研究。这是总部位于旧金山的研究实验室从其AI模型中获利的第一步。
培养GPT-3 花了460万美元,未来训练GPT-4会越来越便宜用GPT-3开始盈利似乎也合乎常理,毕竟训练他可是花了460万美元!
经济学人的文章认为,不久之后,GPT-3很可能会被一个更加复杂和数据饥渴的模型所取代。
有人对GPT的未来进行了描绘。「GPT-4 将会比人类写得更好,而且,当它对自己的答案不确定时,还可以进行研究。」GPT-4作为进阶版,将更有钻研精神。
此前Open AI的论文中曾经提到,自2012年以来,要训练一个人工智能模型在基准测试ImageNet图像分类任务中达到同等的分类效果,所需的算力每16个月就会减少1/2。算法演进速度吊打摩尔定律。
也就是说,在过去的7年内,训练神经网络的效率每16个月就会翻一番。照这个速度,新一代的GPT或许会cheap&good!
MIT研究员Lex Fridman预测,训练GPT-4预计会花费26亿美元。2024年,训练GPT-4只需要花费4000万美元,到2032年,估计只需要花费500万美元。
看来之后,Open AI这笔生意还挺划算...
相关文章
猜你喜欢