微软推出微型AI自动编码模型phi-1，击败 GPT-3.5

生活网6月26日消息:微软的人工智能研究人员发布了一种新的、轻量级的代码生成模型 phi-1，并且其性能优于 ChatGPT 背后的大型语言模型 GPT-3.5 。
据了解，这个基于 Transformer 的模型仅拥有13亿个参数，相比之下，Codex拥有120亿个参数。
微软的研究人员仅用了四天时间就使用 Nvidia 的8个 A100芯片来训练 phi-1 。该模型使用来自网络的60亿个token以及使用 GPT-3.5生成的另外10亿个token进行训练。
在性能方面， phi-1在Humaneval基准测试中获得了50.6% 的 pass@1准确率。尽管模型小得多，但微软模型击败了 Hugging Face 和 ServiceNow 的 StarCoder （33.6%）、OpenAI 的 GPT-3.5(47%) 和谷歌的 PaLM2-S (37.6% )。
在MBPP pass@1测试中，phi-1表现更好，取得了55.5% 的分数。上述许多模型尚未发布该基准测试的结果，但 WizardLM 的WizardCoder在本月早些时候进行的测试中得分为51.5% 。WizardCoder 是一个150亿个参数模型，而 phi-1的参数模型为13亿个。
高质量数据带来差异
微软的研究人员认为，正是“高质量数据的力量”让 phi-1表现如此出色。为了说明这一点，研究人员将他们模型的论文命名为“教科书就是你所需要的” 。
他们写道:“正如一本全面、精心制作的教科书可以为学生提供掌握新学科所需的知识一样，我们的工作展示了高质量数据在磨练语言模型在代码生成任务中的熟练程度方面的显着影响。”。
“通过制作‘教科书质量’数据，我们能够训练出一个模型，尽管模型大小缩小了10倍，数据集大小缩小了100倍，但在编码基准（例如 Humaneval 和 MBPP）上，该模型超越了几乎所有开源模型。”
与其他可用的编码模型相比，Phi-1仅限于 Python 编码。他们表示，该模型的局限性还在于它缺乏大型模型的特定领域知识，例如使用特定 API 进行编程。
为了扩展他们的工作，微软的研究人员建议使用 GPT-4而不是 GPT-3.5来生成用于模型训练的合成数据。
【微软推出微型AI自动编码模型phi-1，击败 GPT-3.5】研究人员还将寻求提高数据集的多样性和非重复性，尽管该团队表示，他们必须找到方法“在数据生成过程中注入随机性和创造力，同时仍然保持示例的质量和连贯性。”

微软推出微型AI自动编码模型phi-1，击败 GPT-3.5

推荐阅读

如何找寻自我

缝纫机调线器怎么安装平车方法如何

强组词强字组词

火笋鸡翅的做法（增肥食谱）

闺女生日快乐祝福语朋友圈

LV请来潮牌设计师做艺术总监，看中的是啥

老虎豆怎么做好吃老虎豆图片怎样弄来吃

暖气有流水声是什么原因

皮球是什么体

手机怎样开通QQ空间

男生发mua说明 mua是什么意思

手指盖凹陷怎么回事

对自己的生活失去掌控咋调整

小米10s怎么没有月亮模式

我想找个偏僻的地方搞养殖！有没有推荐的地方？

南京养老金认证上门服务怎么申请南京市养老金认证

如何评价猪场阉割猪？

最后一个字是豹的成语

泰山散酒怎么样

猫发情的声音(猫发情的叫声)