性能逼近GPT-4，智谱AI推出新一代基座模型 GLM-4

添加书签

AIGC开放社区
2024-01-20

专注AIGC领域的专业社区，关注微软&OpenAI、百度文心一言、讯飞星火等大语言模型（LLM）的发展和应用落地，聚焦LLM的市场研究和AIGC开发者生态，欢迎关注！

近日，智谱AI在「智谱AI技术开放日(Zhipu DevDay)」推出新一代基座大模型GLM-4。

同时发布 All Tools、GLMs、MaaS API、大模型科研基金、大模型开源基金以及「Z计划」创业基金等内容。

GLM-4

新一代基座大模型GLM-4，整体性能相比GLM3全面提升60%，逼近GPT-4；支持更长上下文；更强的多模态；支持更快推理速度，更多并发，大大降低推理成本；同时GLM-4增强了智能体能力。

基础能力（英文）：GLM-4 在 MMLU、GSM8K、MATH、BBH、HellaSwag、HumanEval等数据集上，分别达到GPT-4 94%、95%、91%、99%、90%、100%的水平。

指令跟随能力：GLM-4在IFEval的prompt级别上中、英分别达到GPT-4的88%、85%的水平，在Instruction级别上中、英分别达到GPT-4的90%、89%的水平。

对齐能力：GLM-4在中文对齐能力上整体超过GPT-4。

长文本能力：我们在LongBench（128K）测试集上对多个模型进行评测，GLM-4性能超过 Claude 2.1；在「大海捞针」（128K）实验中，GLM-4的测试结果为 128K以内全绿，做到100%精准召回。

多模态-文生图：CogView3在文生图多个评测指标上，相比DALLE3 约在 91.4% ~99.3%的水平之间。

ALL Tools

GLM-4 实现自主根据用户意图，自动理解、规划复杂指令，自由调用网页浏览器、Code Interpreter代码解释器和多模态文生图大模型，以完成复杂任务。

简单来讲，即只需一个指令，GLM-4会自动分析指令，结合上下文选择决定调用合适的工具。

All Tools -文生图。GLM-4 能够结合上下文进行AI绘画创作（CogView3），如下图所示，大模型能够遵循人的指令来不断修改生成图片的结果：

All Tools – 代码解释器。GLM-4能够通过自动调用python解释器，进行复杂计算（例如复杂方程、微积分等），在GSM8K、MATH、Math23K等多个评测集上都取得了接近或同等GPT-4 All Tools的水平。

同样GLM-4 也可以完成文件处理、数据分析、图表绘制等复杂任务，支持处理Excel、PDF、PPT等格式文件。

All Tools – 网页浏览。GLM-4 能够自行规划检索任务、自行选择信息源、自行与信息源交互，在准确率上能够达到 78.08，是GPT-4 All Tools 的116%。

All Tools – Function Call。GLM-4 能够根据用户提供的Function描述，自动选择所需 Function并生成参数，以及根据 Function 的返回值生成回复；同时也支持一次输入进行多次 Function 调用，支持包含中文及特殊符号的 Function 名字。这一方面GLM-4 All Tools 与 GPT-4 Turbo 相当。

All Tools – 多工具自动调用。除了以上单项工具自动调用外，GLM-4 同样能够实现多工具自动调用，例如结合网页浏览、CogView3、代码解释器等的调用方式。

GLMs & MaaS API

GLM-4的全线能力提升使得我们有机会探索真正意义上的GLMs。用户可以下载（更新）智谱清言 APP，进行体验，快速创建和分享自己的「智能体」。

同样，MaaS 平台也将全网开放 GLM-4、GLM-4V、CogView3 等模型 API，并邀请内测 GLM-4 Assistant API。

We Are More Open

We are more open。我们一直在路上，我们期待与所有研究者和开发者共同探索大模型的未来，为社会创造价值。

从ChatGLM一代二代三代以来，我们几乎开源了所有内核模型，包括千亿级基座GLM-130B、搜索增强模型WebGLM、图形理解模型VisualGLM、代码模型CodeGeeX1、2，文生图模型CogView1、2，图形增强理解模型CogVLM还有可视化认知Agent模型CogAgent。我们希望这些模型能够帮助大家深入认知大模型技术，而不是简单调用，帮助大家一起探索大模型技术的未来。

科研基金