Moonshot AI亮相推出支持20万字输入的千亿参数LLM产品

发布时间：2023-10-12 14:03:42 所属栏目：外闻来源：转载

导读： 　　只经营了6个月的新兴科技企业Moonshot AI公布了在处理"Long-form Content"方面的进展，推出首个支持输入20万汉字的智能助手产品Kimi Chat。这是目前全球市场上能够产品化使用的大模型服

　　只经营了6个月的新兴科技企业Moonshot AI公布了在处理"Long-form Content"方面的进展，推出首个支持输入20万汉字的智能助手产品Kimi Chat。这是目前全球市场上能够产品化使用的大模型服务中所能支持的最长上下文输入长度。

　　从技术上看，参数量决定了大模型支持多复杂的“计算”，而能够接收多少文本输入（即长文本技术）则决定了大模型有多大的“内存”，两者共同决定模型的应用效果。支持更长的上下文意味着大模型拥有更大的“内存”，从而使得大模型的应用更加深入和广泛：

　　比如通过多篇财报进行市场分析、处理超长的法务合同、快速梳理多篇文章或多个网页的关键信息、基于长篇小说设定进行角色扮演等等，都可以在超长文本技术的加持下，成为我们工作和生活的一部分。

　　相比当前市面上以英文为基础训练的大型服务，Kimi Chat具备较强的多语言能力。Moonshot AI称，Kimi Chat在中文上具备显著优势，实际使用效果能够支持约20万字的上下文，2.5倍于Anthropic公司的Claude-100k（实测约8万字），8倍于OpenAI公司的GPT-4-32k（实测约2.5万字）。

　　不同之处在于同时，Kimi Chat通过引入创新的网络结构和高性能的工程算法优化，在百年不变的千亿参数下实现了低功耗无损的长程注意力机制，不依赖于滑动窗口、降采样、小模型等对性能损害较大的“捷径”方案。

　　目前，Moonshot AI 的智能助手产品Kimi Chat已开放了内测。当前大模型输入长度普遍较低的现状对其技术落地产生了极大制约，例如：目前大火的虚拟角色场景中，由于长文本能力不足，虚拟角色会轻易忘记重要信息，例如在Character AI的社区中，用户经常抱怨“因为角色在多轮对话后忘记了自己的身份，所以不得不重新开启新的对话”。

　　在另一个大模型应用的主要方向——Agent中，由于Agent运行需要自动进行多轮规划和决策，且每次行动都需要参考历史记忆信息才能完成，这会带来了模型输入的快速增加，同时也意味着不能处理更长上下文的模型将因为无法全面准确的基于历史信息进行新的规划和决策从而降低Agent运行成功的概率。

　　在使用大模型作为工作助理完成任务的过程中，几乎每个深度用户都遇到过输入长度超出限制的情况。尤其是律师、分析师、咨询师等职业的用户，由于常常需要分析处理较长的文本内容，使用大模型时受挫的情况发生频率极高。

　　而上述所有的问题在大模型拥有足够长的上下文输入后都将会迎刃而解。这样的一个系统不仅可以帮助用户快速获取信息，同时也可以帮助企业更好地进行决策。

（编辑：威海站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!