微软研究院发布Orca 2 LLM可媲美大型模型的性能
微软可能已经与 OpenAI 及其 GPT 大语言模型合作，帮助创建Copilot(以前称为 Bing Chat)等生成式 AI 服务 。然而 ， 该公司也在开发自己的语言模型 。本周，微软研究院宣布发布 Orca 2，这是其 Orca 语言的第二个版本
文章插图
微软在一篇博客文章中表示，Orca 2 是专门为较小的 LM 而设计的，但仍然可以用来回答像 LLM 这样的复杂问题 。Orca 2 有两种尺寸(70 亿和 130 亿参数) ， 它们部分是通过今年早些时候与 Meta 一起推出的Llama 2 LLM制作的 。该公司“根据定制的高质量合成数据”对基于 Llama 2 的模型进行了微调 。
微软表示 ， 这使得 Orca 2 模型能够处理与其他“5-10 倍大”语言模型的性能相匹配的问题，它表示：
Orca 2 使用扩展的、高度定制的合成数据集进行训练 。生成的训练数据可以教授 Orca 2 各种推理技术，例如逐步处理、回忆然后生成、回忆-推理-生成、提取-生成和直接答案方法，同时还教它选择不同的推理方法 。不同任务的解决策略 。
我们的初步结果表明，Orca 2 的性能明显优于类似尺寸的型号 。它还达到了与至少大 10 倍的模型相似或更好的性能水平，展示了为较小模型配备更好推理能力的潜力 。
【微软研究院发布Orca 2 LLM可媲美大型模型的性能】虽然微软承认 Orca 2 确实有局限性，但迄今为止的测试显示了“未来进步的潜力” 。Microsoft 将 Orca 2 作为开源项目发布，以便其他人也可以使用它 。
推荐阅读
- 淘宝网考试题目 下列男装类目商品中 哪个是正确发布的 关于下列男士服装类型
- 微软Copilot AI即将登陆Windows 10详细信息及如
- pdftoword pdftoword转换 微软
- Xbox推出控制器键盘映射
- Xbox正在开发人工智能驱动的游戏开发工具
- 诛仙sf345最新发布网 诛仙sf最新发布网 234
- 微软似乎悄悄关闭了Windows10移动应用商店
- 安卓14 QPR2 Beta 1更新发布适用于具有新功能的Pixel
- 微软雅黑字体安装 微软雅黑字体库
- 泄露的消息称Humane AI Pin发布售价为699美元