您现在的位置是:首页 > 科技 > 正文

为什么这么多AI系统以Muppets命名?

发布时间:2024-07-27 21:57:55来源:

导读 人工智能的最大趋势之一是机器学习模型的创建,该模型可以以前所未有的流畅度生成文字。这些程序可以改变游戏规则,可能会增强计算机解析和

人工智能的最大趋势之一是机器学习模型的创建,该模型可以以前所未有的流畅度生成文字。这些程序可以改变游戏规则,可能会增强计算机解析和产生语言的能力。

但是,基本上没有引起注意的是第二趋势-第一个趋势的阴影-也就是说:这些工具中有惊人数量是以Muppets命名的。

迄今为止,语言认可这个新的品种包括埃尔莫,一个BERT,一个格罗弗,一个大鸟,一个罗西塔,一个罗伯塔,至少2摇奖S(三个IF你包括摇奖2.0),和KERMIT。像谷歌,Facebook和艾伦AI研究所这样的大型科技公司都参与其中,并且这种热潮遍布全球,搜索巨头百度和北京清华大学都在提供模型。命名约定非常完善,以至于有时将这些系统称为“ Muppetware”。但是,谁发起了约定,为什么?

您可能已经猜到了,简单的答案是:这是个玩笑,研究人员以Muppets命名AI模型,因为其他研究人员也以Muppets命名了AI模型。但这恰恰是一个笑话,突显了AI研究的一个特殊特征,表明了实验室如何向彼此的工作表示敬意并以此为基础。

2018年:语言模型论文必须引入芝麻街相关的缩写词

2019年:语言模型论文的标题中需要芝麻街的笑话,所有讲座至少需要一张芝麻街的形象。

2020年:ACL / NAACL与芝麻街大会并列,Big Bird发表了主题演讲。

-Miles Brundage(@Miles_Brundage)2019年6月11日

趋势始于艾伦研究所设计的模型ELMo,该模型于2017年10月首次在网上发布。研究开辟新天地的情况经常发生,该工作背后的团队希望为其模型提供一个活泼的缩写。该论文的主要作者马特·彼得斯(Matt Peters)通过电子邮件告诉The Verge,他们就Slack进行了头脑风暴。

彼得斯说:“我们有一个可用的缩写字母列表。”他说:“语言模型,上下文,嵌入等。”是一位名叫乔尔·格鲁斯(Joel Grus)的工程师,他提出了“ ELMo”来代表“来自语言模型的嵌入”,而名字“立即被卡住了”。

“我的大儿子当时大约三岁,这也是我将纸献给他的方式。”

彼得斯说:“我喜欢它,因为它有些古怪而又令人难忘。”“我的大儿子当时大约三岁,这也是我将纸献给他的方式。”

如果不是BERT的话,ELMo可能是一次性的。BERT是Google的AI团队于2018年创建的一种语言模型。该模型被证明是强大而有影响力的,并将有关语言生成的许多新颖思想推向了AI主流。

BERT本身是Transformers双向编码器表示形式的正式代表,尽管Google拒绝了The Verge讨论该名称起源的多次请求,但人们普遍认为研究人员(如Allen的研究人员)都想到了Muppets。在Google自己关于该主题的博客文章中,该公司表示:“ BERT建立在对上下文表示进行预训练的最新工作上,包括... ELMo。”

BERT通过大量测试获得了最新的结果,并且非常成功,以至于Google最近将其纳入了搜索引擎。模型发布后,Muppetware的闸门打开了,随后又出现了许多带有蛮力缩写的聪明算法,包括ERNIE(通过知识集成的增强表示),KERMIT(通过插入变换进行的康沃尔编码表示)和Big BIRD(文档的双向大插入表示)。

但是趋势不仅仅是玩笑。正如艾伦研究所(Allen Institute)首席执行官Oren Etzioni解释的那样,这也是在AI世界中认识“智力债务”的一种严肃方法。“ ELMo因此一时兴起,但是BERT直接建立在ELMo的洞察力之上;格罗弗(Grover)利用了BERT等。” Etzioni通过电子邮件告诉The Verge。“增强归功于ELMo的信誉对我们非常重要……鼻烟壶不能紧随其后!”

伯克利大学的博士生Mitchell Stern曾帮助创建KERMIT和Big BIRD,他说命名惯例虽然很有趣,但也有“品牌方面”的意思。

在MUPPETS之后命名模型是一种识别知识债务的方法

斯特恩在电子邮件中告诉《The Verge》:“鉴于这种趋势的普及程度,在这一领域工作的人们自然会认识到包含芝麻街主题名称的新论文。”尽管并非所有使用这些新技术的AI语言模型都以Muppet命名(OpenAI经常使用的GPT-2是一个例外,尽管“ Snuffleupagus或简称Snuffy”在被认为太过轻率之前被视为一个名称),可以肯定的是,如果您看到了Muppetware模型,那么您就会知道它所使用的方法。

所有这些反过来又帮助我们理解AI世界如何依赖开放性和协作来生成和完善想法。人工智能不是一门学科,只有科学家们晚上在实验室里辛苦劳作,通过处理器抽电,然后在发光的命令行上处理“它很活泼”。(免责声明:这确实的确发生了,但它并不总是最有生产力的方法。)相反,进步往往是迭代的和协作的,一群研究人员在彼此的工作和思想上建立了基础。

虽然Muppetware的笑话可能很快就会变薄,但在这种情况发生之前,这是很合适的传统。毕竟,协作和尊重正是芝麻街角色引以为傲的特征。

标签:

上一篇
下一篇