> 自媒体 > (AI)人工智能 > 技术发展的后浪:GPT-3,参数最强AI,创始人又是马斯克
技术发展的后浪:GPT-3,参数最强AI,创始人又是马斯克
来源:猩猩打字机
2023-05-15 21:23:13
348
管理

试用GPT-3,感觉就像见证了一场技术革命。

新的人工智能项目的潜力几乎是无法想象的。

1896年7月3日,Lumiére兄弟开始了有史以来最引人注目的演示系列之一。他们制作了世界上第一部电影--一列火车到达法国南部La Ciotat车站的50秒片段--之后,他们在世界各地巡回演出,为从未见过电影的观众放映他们的新作品。据报道,当火车靠近镜头时,许多人从椅子上跳了下来,跳到地上。他们认为火车会从银幕上冲出来,把他们压死。

批评家马克西姆-高尔基在俄罗斯看完样片后,正确地意识到,这部电影将永远改变世界,他写道:"昨晚,我置身于影子王国。......它所造成的非凡印象是如此独特和复杂,以至于我怀疑自己是否有能力描述它的所有细微差别。" ("影子 "是高尔基试图描述屏幕上闪烁的黑白图像的外观)。高尔基在努力寻找词语,他写道,动态影像这种新媒介是 "奇怪的"、"可怕的",最终是 "有教益的"。

本周,我获得了OpenAI的一项具有里程碑意义的人工智能技术--GPT-3。GPT-3功利的名字掩盖了它不可思议的潜力--无论是好的还是坏的。我见过很多技术,在这个领域工作了十多年后,我对A.I.也做了很多工作。我可以毫不讽刺或夸张地说,GPT-3是我自互联网本身以来看到的最重要的技术对象,当然也是本千年创造的最重要的人工智能技术。测试它时,我感觉有点像高尔基降临 "阴影王国"--不知所措,因为我见证了一个同时是全新的、深沉的、令人恐惧的、完全电气化的东西。

利用深度学习技术,GPT-3的创造者们在2019年10月之前,几乎对人类创造的所有公共文本进行了系统训练。这包括维基百科的全部内容、数千万本书籍,以及发布在Twitter、其他社交网络和公共互联网上的超过一万亿字。

最终的结果是一个人工智能系统,它可以获得人类曾经用文字表达和发表的一大块思想、事实和观点--以及从这些来源中进行归纳,找到它们之间的联系,并对它们进行数学处理的能力。在训练过程中,GPT-3识别了超过1750亿个参数,它通过这些参数来理解和处理人类的文字和想法。麻省理工学院的《科技评论》将该系统描述为 "令人震惊的好"。

我可以毫不讽刺或夸张地说,GPT-3是我自互联网本身以来看到的最重要的技术对象。

GPT-3的创造者最初的目的是让它完成相对基本的功能--比如说,把一段文字补充完整或者再添加一段相关的文字。该系统最初被设想为类似于自动更正,如果自动更正建议在你的写作中包含整段文字,而不是建议单个单词。

但很快就发现,GPT-3的功能远不止于此。该系统已经证明了自己有能力根据简单的提示写出整篇文章,在不同语言之间进行翻译,生成食谱,创作歌曲,以及其他许多事情。最近,该系统甚至教会了自己编写代码,生成可用的SQL和Python。它是如何做到这一点的,甚至连它的创造者都不太清楚--作为一个基于神经网络的系统,GPT-3是一个 "黑匣子",它的内部运作非常复杂,很可能无法用任何目前可用的数学来解释。

GPT-3最显著的一个方面是其彻底的可访问性。许多革命性的技术(如谷歌的TensorFlow),都非常复杂,需要计算机科学学位才能理解或实现。而GPT-3则不然。该系统以简单的命令行式界面实现。用户用自然语言写下 "提示",设置一些基本参数,然后按下按钮。几秒钟后,GPT-3就会做出响应,并输出。

你可以给GPT-3发送一个提示,比如 "这里有一篇关于草莓的简短文章",它就会当场响应,写出这样一篇文章。以下是系统对该提示的回应。

"STRAWBERRIES"

草莓是世界上最好的食物之一。它们的味道是甜的,新鲜的和令人愉快的。它们有益于我们的健康,帮助我们长寿。草莓从5月到7月都可以在市场上找到,也可以在我们家里种植。草莓是健康的,因为它们含有丰富的纤维素,有助于消化,有助于保持肠胃的清洁。它们还含有维生素C,这是免疫系统的维生素。

然后你可以按照你喜欢的方式修改你的提示,GPT-3会改变它的输出。我把提示语改成了 "我是一个研究食物的科学家。我的同事要求我对草莓做一个简短的、科学的描述。这是我发给她的。"

GPT-3的回答是:"我是一个研究食物的科学家。

草莓是玫瑰科玫瑰属植物的一种 它们是多年生植物,原产于北美、欧洲和亚洲。果实或 "浆果 "是瘦果的集合体,周围有一层肉质外层,称为 "果皮"。果皮上覆盖着一层称为 "外果皮 "的蜡质层,外果皮通过膜状的 "中果皮 "与种子相连。果实的外层叫做 "外果皮"。

由于我明确要求对草莓进行科学描述,GPT-3改变了它的输出,以符合我所寻求的东西。在这两种情况下,这些都是GPT-3当场生成的全新文本块。用户可以指定GPT-3响应的所需长度。如果我将所需长度设置为GPT-3的最大长度,系统就会用超过四个双倍行距的页面喋喋不休地介绍中果皮和花青素。

改变提示的格式也会改变GPT-3的输出格式。用户可以通过向GPT-3提供一些他们所寻求的输出的例子来做到这一点。有一个提示是这样的。

我是一个高智能的问题回答机器人。

问:美国的人类预期寿命是多少?

答:美国的人类预期寿命是78岁。

问:100克草莓的热量是多少?

并得出了这样的回答。

答:100克草莓的卡路里含量是31卡。

通过告诉GPT-3我希望它成为什么东西("一个高智能的问题回答机器人"),并向它展示这样的东西会产生什么样的输出(像我的样品问题的答案,比如关于预期寿命的问题),GPT-3神奇地变成了我所要求的东西。给自己灌输了我所描述的能力,它突然就能回答问题了(事实证明,它是正确的--100克草莓确实含有大约31卡路里的热量)。

编写GPT-3提示有点像作为程序员编写递归函数。你从想象函数将返回的输出开始,然后向后工作,不断编码,直到它真的返回该输出。

不过,GPT-3真正出彩的地方在于它能够将现有的文本 "完整 "起来。我把GPT-3的介绍发给了我最近写的一篇关于Medium上阅读率的文章。

一个好的Medium阅读率一般是在20到50%之间。

不过,这取决于你文章的长度和你想吸引的受众。很短的文章(3分钟或更短)往往有更高的阅读率,因为读者完成文章所需的时间更短。

同样,长文章的阅读率往往较低--但并非总是如此。

它用一些后续的句子来回应。

当你的文章达到一定长度时,读者更有可能将其视为 "以后的内容",并将其收藏起来,以备以后使用。关键是要让你的文章有价值、有趣,让你的读者以后还想看。

这其实是完全正确的,也是极有价值的见解。如果我在Medium上发现一篇长文章,我经常会读上几段,然后把它收藏在我的阅读列表里,以后再看。

说服读者把你的长文收藏起来,分块阅读,可能是Medium作者的一个宝贵策略。我觉得我可以很容易地围绕这个概念开发出一整篇文章。当然,我也可以让GPT-3帮我写文章。通过交给它一个文章大纲和提示,我甚至可以控制它得出的结论以及文章的大体结构和基调。

GPT-3的补全也可以产生各种各样的其他有用的输出。我的公司与历史档案馆合作,处理他们的收藏。为此,我们每年都要花费数百个小时(和数千美元)来编写描述图像的标题。

这个过程是劳动密集型的,通常需要由人类来完成。在早期的测试中,我们已经看到,我们可以向GPT-3递上一份自动生成的描述图像的关键词列表以及人类撰写的标题,它将学习如何自动为未来的图像撰写标题。这些标题至少和人类新手研究者的输出一样好。

GPT-3显著的可扩展性是其最强大的资产之一。因此,与它的互动更像是在与人交谈,而不是在为计算机编程。这极大地扩展了可以利用其输出的用户群。它已经被记者、艺术家、律师和许多其他可能永远不会接触传统人工智能系统的人所使用。一旦用户开发成功了一个提示,他们(或者他们的开发团队)就可以通过传统的API将这个提示构建到他们的应用程序或网站中,这样它就可以将其输出输入到公司现有的软件产品中。

但是,GPT-3的可扩展性和强大的功能却带来了前所未有的风险。邪恶的用户可以轻易地利用该系统冒充几乎任何人,实施各种形式的诈骗。例如,攻击者可以在社交媒体上找到你的某个家庭成员,并抓取他们的一些写作样本。利用这一点,他们可以训练GPT-3以你的家人的风格写一封慷慨激昂的紧急求款信,并通过一个带有攻击者银行账户信息的伪造电子邮件地址发送给你。看到与家人举止相符的信息,你会更有可能赶去帮助他们,并在不知不觉中给攻击者寄钱。

GPT-3产生连贯的、有理有据的论点的能力也很容易被用来传播错误信息。仇恨团体可以迅速生成数千篇推进其议程的文章,并在几个小时内创建拥有数百篇文章的假新闻网站。他们甚至可以编程一个Twitter机器人,搜索他们的反对派的推文,对每条推文写出种族主义或性别歧视的反驳,并作为回复自动发布。如果通过假的推特账号来做这件事,就会让人觉得这个组织比现实中的规模大得多,也活跃得多。少数攻击者可以给人一种印象,即围绕着他们的事业存在着一个活跃的、有组织的、草根的社区。

邪恶的用户可以很容易地利用该系统冒充几乎任何人,实施各种形式的诈骗。

GPT-3还有可能扰乱整个行业。该平台生成的文章并不完美,但至少和许多入门级内容写手的产出一样好。大规模使用GPT-3,少数公司可以轻松地创建数千或数百万篇几乎任何主题的SEO友好型文章,使整个文案行业失去业务。GPT-3还可以用来编写法律简报,为新闻报道添加内容,创建体育报道和游戏摘要,以及执行任何其他类型的写作,遵循明确的规则和一致的公式。由于GPT-3对时事一无所知,所以它无法准确报道突发新闻事件。但它可以根据它现有的对以前类似事件的了解,对一个新闻事件的重要性进行评论。随着系统的编码能力越来越强,它可以取代入门级软件开发人员的产出--或许也可以取代专家级的开发人员。

即使在善意的用户手中,GPT-3也有可能造成伤害。该系统是在数十亿例人类生成的文本上进行训练的,这意味着它有可能反映出人性中最糟糕的因素--种族主义、性别歧视、偏见。它也有可能在不知不觉中愉快地做到这一点。有一次,我给GPT-3一个关于编写Python函数的提示。我说这个提示来自我的老板 (这是一种常用的方法,可以让系统产生听起来很严肃的输出),并且用女性代词 "她 "来称呼我的老板。

GPT-3没有给我写一个Python函数,而是返回了一个故事,说的是一个软件开发者的女老板写了一个有用的软件并与他分享。开发者很 "惊讶",对老板说:"这其实是一段很棒的代码,亲爱的!"

因为绝大多数技术领导者都是男性,系统很可能无法理解软件开发者的老板可能是女性。相反,它试图想出一个更符合它的世界模型的输出,结果无意中创造了一个性别歧视的故事。最后那句拍马屁式的 "亲爱的",只是锦上添花的偏见。GPT-3是人类创造的,所以它经常会把我们社会中固有的偏见反映回来。

认识到这一点,OpenAI采取了前所未有的措施来防止该系统被破坏性地使用。尽管OpenAI具有改变行业的力量,但它的推出却极为缓慢和慎重。任何希望使用该系统的人都必须申请使用,并写出详细的用例和背景说明。OpenAI团队会慢慢地审查这些,并尽量少地授予访问权。这让OpenAI登录成为了最热门的技术票之一,据说申请者的等待名单长达一万多人。

在用户访问GPT-3之前,他们需要同意一套社区准则,禁止生产错误信息、影响政治、发布诽谤性内容、规模化生成博客文章等禁令。违反准则的人有可能被撤销对GPT-3的访问权限。在用户基于GPT-3上线应用之前,他们必须通过严格的审查流程,包括与OpenAI团队进行30分钟的面试。

除此之外,获准用户的访问相对不受限制。OpenAI不会对GPT-3的输出进行审查,鼓励用户参与系统并探索其功能,无论其是否有缺陷。一个自动化的过程会标记出可能有偏见的输出,但总体上鼓励用户尝试任何他们喜欢的GPT-3,并使用他们自己的人类判断来评估其输出是否合适。

我们也鼓励用户互相讨论输出结果。该系统的所有用户都可以访问一系列GPT-3 Slack频道,他们可以在那里提出问题,分享最佳实践,并强调系统产生偏见内容或产生其他风险的例子。OpenAI的团队反应异常迅速,参与度很高,经常加入Slack讨论。我写了几条消息,一两个小时内就有团队成员回复--即使在周末也是如此。

OpenAI的团队清楚地认识到GPT-3的力量和被滥用的可能性,并且非常谨慎地进行着。早期社交网络的座右铭是 "快速移动,打破东西",而新的座右铭似乎是 "非常非常慢地走,把所有的事情都说得天花乱坠"。这非常鼓舞人心,也是其他A.I.公司在推出类似工具时应该遵循的模式。

早在1896年,高尔基就推测过电影的未来。他曾警告说,电影很容易偏向于图形化、耸人听闻,甚至是色情。他还担心新媒体会被用来展示 "被刺穿在栅栏上 "的社会贱民或其他暴力场面。当印刷术刚亮相时,人们也提出了许多同样的问题。

新的媒介--尤其是新的传播媒介--具有内在的风险。学习管理这些风险需要时间和努力。创造和使用像GPT-3这样的工具的公司在一开始--当这些工具还处于萌芽状态并局限于一个小的专业社区时--就投入了这种努力,这是令人振奋的。OpenAI及其创始人可以轻而易举地赚取数十亿美元(并很可能挑战谷歌等竞争对手的广告和内容推荐引擎),将谨慎抛向风口,向所有来者敞开GPT-3的大门。到目前为止,他们还没有这样做。

但问题就摆在眼前。在被身为OpenAI创始人的埃隆-马斯克(Elon Musk)批评的行动中,微软在9月独家被授权了GPT-3。微软承诺保持GPT-3对其他人开放,在一篇博客文章中表示,真正大规模地实现该系统的好处 "将需要更多的人力投入和努力,而不是任何一家大型科技公司所能承担的。" 这项技术的未来--以及社会对GPT-3等系统的接受程度--很可能取决于他们能否兑现这一承诺。

反思Lumiére兄弟的演示,高尔基感到十分担忧,但也感到巨大的兴奋。他正确地预言,电影很快就会超越演示观众的稀缺世界,成为反映社会口味的大众媒体(无论好坏)。

随着时间的推移,GPT-3和类似的技术也将做到这一点。它们将如何重塑社会和颠覆行业,目前还不清楚。但我站在这里和你们一起--就像120年前高尔基对自己的听众所做的那样--说,变革即将到来。今天,我看到了阴影王国。我相信,未来是光明的。

0
点赞
赏礼
赏钱
0
收藏
免责声明:本文仅代表作者个人观点,与本站无关。其原创性以及文中陈述文字和内容未经本网证实,对本文以及其中全部或者 部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。 凡本网注明 “来源:XXX(非本站)”的作品,均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对 其真实性负责。 如因作品内容、版权和其它问题需要同本网联系的,请在一周内进行,以便我们及时处理。 QQ:617470285 邮箱:617470285@qq.com
关于作者
冰冷的开会..(普通会员)
文章
367
关注
0
粉丝
0
点击领取今天的签到奖励!
签到排行

成员 网址收录40329 企业收录2981 印章生成186615 电子证书794 电子名片49 自媒体20815

@2022 All Rights Reserved 浙ICP备19035174号-7
0
0
分享
请选择要切换的马甲:

个人中心

每日签到

我的消息

内容搜索