超9000颗星，优于GPT-4V！国内开源多模态大模型

添加书签

AIGC开放社区
2024-08-11

专注AIGC领域的专业社区，关注微软&OpenAI、百度文心一言、讯飞星火等大语言模型（LLM）的发展和应用落地，聚焦LLM的市场研究和AIGC开发者生态，欢迎关注！

国内著名开源社区OpenBMB发布了最新开源多模态大模型——MiniCPM-V 2.6。

据悉，MiniCPM-V 2.6一共有80亿参数，在单图像、多图像和视频理解方面超越了GPT-4V；在单图像理解方面优于GPT-4o mini、Gemini 1.5 Pro 和 Claude 3.5 Sonnet。

值得一提的是，MiniCPM-V 2.6显著减少了模型的内存占用并提高了推理效率，首次支持iPad等端侧设备进行实时视频理解的模型。

开源地址：https://github.com/OpenBMB/MiniCPM-V

在线demo：https://huggingface.co/spaces/openbmb/MiniCPM-V-2_6

MiniCPM-V 2.6是基于SigLip-400M和阿里的Qwen2-7B模型开发而成，相比V 2.5 性能进行了大幅度更新，并引入了多图像和视频理解的特色功能。

性能超强：在最新版本的OpenCompass上平均得分达到65.2，在8个流行基准测试中表现很好。仅用80亿参数就超越了GPT – 4o mini、GPT – 4V、Gemini 1.5 Pro和Claude 3.5 Sonnet等知名多模态大模型在单图像理解方面的性能。

多图像理解和上下文学习能力：能够对多图像进行对话和推理，在Mantis – Eval、BLINK、Mathverse mv和Sciverse mv等多图像基准测试中达到了领先水平，同时展示出了卓越的上下文学习能力。

视频理解能力优秀：可以接受视频输入，对视频进行对话并为时空信息提供密集的字幕。在Video – MME测试中，无论是否有字幕的情况下，都优于GPT – 4V、Claude 3.5 Sonnet和LLaVA – NEXT – Video – 34B。

特色OCR识别能力：该版本在OCR任务上展现了更强的能力，能够更准确地识别和转录图像中的文字，例如，可以处理任何宽高比且高达180万像素（如1344×1344）的图像，在OCRBench上达到了领先水平，超越了GPT – 4o、GPT – 4V和Gemini 1.5 Pro等专有模型。

安全可靠：在可信行为方面，MiniCPM-V 2.6基于最新的RLAIF – V和VisCPM技术，减少了幻觉的产生提高了模型的可信度，在Object HalBench上的幻觉率显著低于GPT – 4o和GPT – 4V。

多语言支持：MiniCPM-V 2.6支持英语、中文、德语、法语、意大利语、韩语等多种语言，增加了对更多语种的识别和生成能力，帮助开发者开发不同语言的应用。

卓越的推理效率：具有非常棒的token密度，例如，处理180万像素的图像时仅产生640个token，这比大多数模型少75％，极大提升了推理效率、首token延迟、内存使用和功耗，使其能够在iPad等终端设备上高效支持实时视频理解。

易用扩展性强：可以通过多种方式轻松使用，包括llama.cpp和ollama支持在本地设备上进行高效的CPU推理，提供int4和GGUF格式的量化模型，支持vLLM进行高吞吐量和内存高效的推理，支持在新领域和任务上进行微调

目前，MiniCPM-V 2.6在Github的评分超过9000颗星，是开源多模态中性能非常好用的一款模型。

本文素材来源OpenBMB，如有侵权请联系删除

END

本篇文章来源于微信公众号: AIGC开放社区

即将举行的活动