首页 > 7X24时讯 > 正文

从80个模型构建Scaling Law 到底什么情况嘞

导读 今天【从80个模型构建Scaling Law 到底什么情况嘞】登上了全网热搜,那么【从80个模型构建Scaling Law 到底什么情况嘞】具体的是什么情...

今天【从80个模型构建Scaling Law 到底什么情况嘞】登上了全网热搜,那么【从80个模型构建Scaling Law 到底什么情况嘞】具体的是什么情况呢,下面大家可以一起来看看具体都是怎么回事吧!

1、机器之心报道编辑:小舟、陈萍在AI领域,扩展定律(Scalinglaws)是理解LM扩展趋势的强大工具,其为广大研究者提供了一个准则,该定律在理解语言模型的性能如何随规模变化提供了一个重要指导。

2、但不幸的是,扩展分析在许多基准测试和后训练研究中并不常见,因为大多数研究人员没有计算资源来从头开始构建扩展法则,并且开放模型的训练尺度太少,无法进行可靠的扩展预测。

3、来自斯坦福大学、多伦多大学等机构的研究者提出了一种替代观察法:可观察的扩展定律(ObservationalScalingLaws),其将语言模型(LM)的功能与跨多个模型系列的下游性能联系起来,而不是像标准计算扩展规律那样仅在单个系列内。

以上就是关于【从80个模型构建Scaling Law 到底什么情况嘞】的相关内容了,希望对大家有所帮助!

免责声明:本文由用户上传,如有侵权请联系删除!

标签:

Copyright @ 2015 -2024 太行之窗 All Rights Reserved. 网站地图 | 百度地图 | 今日更新