为什么这么多AI系统以Muppets命名?

人工智能的最大趋势之一是机器学习模型的创建，该模型可以以前所未有的流畅度生成文字。这些程序可以改变游戏规则，可能会增强计算机解析和产生语言的能力。

但是，基本上没有引起注意的是第二趋势-第一个趋势的阴影-也就是说：这些工具中有惊人数量是以Muppets命名的。

迄今为止，语言认可这个新的品种包括埃尔莫，一个BERT，一个格罗弗，一个大鸟，一个罗西塔，一个罗伯塔，至少2摇奖S(三个IF你包括摇奖2.0)，和KERMIT。像谷歌，Facebook和艾伦AI研究所这样的大型科技公司都参与其中，并且这种热潮遍布全球，搜索巨头百度和北京清华大学都在提供模型。命名约定非常完善，以至于有时将这些系统称为“ Muppetware”。但是，谁发起了约定，为什么?

您可能已经猜到了，简单的答案是：这是个玩笑，研究人员以Muppets命名AI模型，因为其他研究人员也以Muppets命名了AI模型。但这恰恰是一个笑话，突显了AI研究的一个特殊特征，表明了实验室如何向彼此的工作表示敬意并以此为基础。

2018年：语言模型论文必须引入芝麻街相关的缩写词

2019年：语言模型论文的标题中需要芝麻街的笑话，所有讲座至少需要一张芝麻街的形象。

2020年：ACL / NAACL与芝麻街大会并列，Big Bird发表了主题演讲。

-Miles Brundage(@Miles_Brundage)2019年6月11日

趋势始于艾伦研究所设计的模型ELMo，该模型于2017年10月首次在网上发布。研究开辟新天地的情况经常发生，该工作背后的团队希望为其模型提供一个活泼的缩写。该论文的主要作者马特·彼得斯(Matt Peters)通过电子邮件告诉The Verge，他们就Slack进行了头脑风暴。

彼得斯说：“我们有一个可用的缩写字母列表。”他说：“语言模型，上下文，嵌入等。”是一位名叫乔尔·格鲁斯(Joel Grus)的工程师，他提出了“ ELMo”来代表“来自语言模型的嵌入”，而名字“立即被卡住了”。

“我的大儿子当时大约三岁，这也是我将纸献给他的方式。”

彼得斯说：“我喜欢它，因为它有些古怪而又令人难忘。”“我的大儿子当时大约三岁，这也是我将纸献给他的方式。”

如果不是BERT的话，ELMo可能是一次性的。BERT是Google的AI团队于2018年创建的一种语言模型。该模型被证明是强大而有影响力的，并将有关语言生成的许多新颖思想推向了AI主流。

BERT本身是Transformers双向编码器表示形式的正式代表，尽管Google拒绝了The Verge讨论该名称起源的多次请求，但人们普遍认为研究人员(如Allen的研究人员)都想到了Muppets。在Google自己关于该主题的博客文章中，该公司表示：“ BERT建立在对上下文表示进行预训练的最新工作上，包括... ELMo。”

BERT通过大量测试获得了最新的结果，并且非常成功，以至于Google最近将其纳入了搜索引擎。模型发布后，Muppetware的闸门打开了，随后又出现了许多带有蛮力缩写的聪明算法，包括ERNIE(通过知识集成的增强表示)，KERMIT(通过插入变换进行的康沃尔编码表示)和Big BIRD(文档的双向大插入表示)。

但是趋势不仅仅是玩笑。正如艾伦研究所(Allen Institute)首席执行官Oren Etzioni解释的那样，这也是在AI世界中认识“智力债务”的一种严肃方法。“ ELMo因此一时兴起，但是BERT直接建立在ELMo的洞察力之上;格罗弗(Grover)利用了BERT等。” Etzioni通过电子邮件告诉The Verge。“增强归功于ELMo的信誉对我们非常重要……鼻烟壶不能紧随其后!”

伯克利大学的博士生Mitchell Stern曾帮助创建KERMIT和Big BIRD，他说命名惯例虽然很有趣，但也有“品牌方面”的意思。

在MUPPETS之后命名模型是一种识别知识债务的方法

斯特恩在电子邮件中告诉《The Verge》：“鉴于这种趋势的普及程度，在这一领域工作的人们自然会认识到包含芝麻街主题名称的新论文。”尽管并非所有使用这些新技术的AI语言模型都以Muppet命名(OpenAI经常使用的GPT-2是一个例外，尽管“ Snuffleupagus或简称Snuffy”在被认为太过轻率之前被视为一个名称)，可以肯定的是，如果您看到了Muppetware模型，那么您就会知道它所使用的方法。

所有这些反过来又帮助我们理解AI世界如何依赖开放性和协作来生成和完善想法。人工智能不是一门学科，只有科学家们晚上在实验室里辛苦劳作，通过处理器抽电，然后在发光的命令行上处理“它很活泼”。(免责声明：这确实的确发生了，但它并不总是最有生产力的方法。)相反，进步往往是迭代的和协作的，一群研究人员在彼此的工作和思想上建立了基础。

虽然Muppetware的笑话可能很快就会变薄，但在这种情况发生之前，这是很合适的传统。毕竟，协作和尊重正是芝麻街角色引以为傲的特征。

标签：

版权声明：本文由用户上传，如有侵权请联系删除！