性能超Llama 3，可商用！开源大模型Falcon 2

专注AIGC领域的专业社区，关注微软&OpenAI、百度文心一言、讯飞星火等大语言模型（LLM）的发展和应用落地，聚焦LLM的市场研究和AIGC开发者生态，欢迎关注！

阿联酋-阿布扎比技术创新研究所（TII）在官网宣布，开源全新大模型Falcon 2。

Falcon 2有110亿参数共有两个版本，一个是高效、易于部署的基础模型，使用了5.5万亿tokens数据进行预训练，可以生成文本、代码、总结内容等。

另外一个是带有视觉转换功能的VLM模型，可以将图片的信息转换成文本数据，也是极少数支持视觉转换的开源大模型。

开源地址：https://huggingface.co/tiiuae/falcon-11B

TII表示，在多个维权测试排行榜中显示，Falcon 2 11B的性能超越了Meta新推出的Llama 3 8B，并与Google的Gemma 7B并列第一（Falcon 2 11B：64.28 对比 Gemma 7B：64.29）。

多语言能力方面，Falcon 2 11B能轻松处理英语、法语、西班牙语、德语、葡萄牙语等多种语言的任务，增强了其多样性和跨场景的有效性。

而Falcon 2 11B VLM作为视觉大模型，能够识别和解读环境中的图像和视觉内容，在医疗保健、金融、电商、教育和法律等行业有广泛的应用潜力，包括文档管理、数字存档、情境索引以及支持视障人士等。

训练数据方面，Falcon 2 11B在其构建的开源数据集RefinedWeb，使用了超过5.5万亿的Tokens数据进行了预训练。

RefinedWeb是一个高质量、经过过滤和去重的网络数据集，TII通过精选语料对其进行了增强，并使用了四阶段的训练策略。

前三个阶段专注于增加上下文长度，从2048个tokens增加到4096个，最后增加到8192个tokens。最后一个阶段的目标是仅使用高质量数据进一步提高性能。

Falcon 2在 1024个A100 40GB GPU上训练了大约2个月的时间。

值得一提的是Falcon 2是一款性能强，消耗低的大模型仅需一个GPU即可高效运行，使其高度可扩展，易于部署并集成到笔记本电脑等轻量级设备中。非常适用于中小企业和个人开发者，并且允许进行商业化使用。

TII人工智能跨中心部门执行主任及代理首席研究员Dr. Hakim Hacid表示，随着生成式AI的技术演进，开发者认识到小型带来的诸多优势。

除了减少计算资源需求并满足可持续性标准外，这些模型还提供了增强的灵活性，能无缝融入边缘AI基础设施这一新兴大趋势中。我们开源的Falcon 2便是一款消耗低且性能强的模型，并且融合了领先的视觉解读能力。

早在2023年5月25日，TII首次开源了Falcon-40B大模型，曾在huggingface的开源大语言模型排行榜中位列第一名，击败了LLaMa 65b、GPT4-X-Alpasta-30b、StableLM、RedPajama、LLaMa 30b等一系列著名开源模型成为一匹黑马。

Falcon-40B在1万亿tokens数据集上进行训练，可用于文本问答、总结摘要、自动生成代码、语言翻译等，支持特定业务场景微调。在斯坦福大学的HELM LLM基准测试中，Falcon-40B比GPT-3、 Chinchilla AI、PaLM-62B等知名大语言模型的算力消耗低更低，性能却更出色。

关于TII

TII 成立于2020年，是阿布扎比高等教育和科技部 (ADEK) 旗下的研究机构。TII 的目标是推动科学研究、开发前沿技术并将其商业化，以促进阿布扎比和阿联酋的经济发展。

TII 目前拥有来自 74个国家的800多名研究专家，发表了 700 多篇论文和 25 多项专利，是世界领先的科学研究机构之一。

本文素材来源TII官网，如有侵权请联系删除

END

本篇文章来源于微信公众号: AIGC开放社区