不用GPU,也能运行!开源代码模型Stable-code-3b

添加书签

专注AIGC领域的专业社区,关注微软&OpenAI、百度文心一言、讯飞星火等大语言模型(LLM)的发展和应用落地,聚焦LLM的市场研究和AIGC开发者生态,欢迎关注!

117日,著名开源生成式AI平台Stability.ai在官网开源了——Stable-code-3b

虽然Stable-code-3b的实际参数只有27.9亿,但其性能可以与CodeLLaMA 70亿相媲美,甚至在多个测试领域实现了超越。

值得一提的是,没有GPU的笔记本也能运行Stable-code-3b模型,支持离线运行,整体能耗非常低适用于任何群体。

开源地址:https://huggingface.co/stabilityai/stable-code-3b

架构方面,Stable-code-3b是在之前的Stable-code基础之上开发而成,同样是基于 Transformer 解码器架构的自回归语言模型,支持文本问答方式生成代码。

训练数据方面,Stable-code-3b接受了1.3万亿标记的特定语言、代码数据集行了训练。

这些数据集包括:falcon-refinedwebcommitpackftGithub Issuesstability.ai同时使用了自有的数学数据集对其进行了补充,增强模型的推理能力。

Stable-code-3b同时接受了CJavaScriptJavaPythonPHPHTMLGO18种主流编程语言的训练,所以,在编程方面非常高效、适用范围广。

商用方面,拥有stability.ai会员资格的单位,可以将Stable-Code-3B实现商业化。

Stable-Code-3B适用于多种语言,并具有支持中间填充功能(FIM)和扩展上下文大小等额外优势。

Stable-Code-3B在多达16,384token的序列上进行了训练,但遵循与CodeLlama相似的方法,实现了旋转嵌入。这也就是说,Stable-Code-3B可支持10token序列。

测试方面,Stable-Code-3BDeepseek CoderWizard Coder Star CoderReplit Code V1.5等知名小参数代码模型进行了全方位的比较。

PythonC++JavascriptJavaPHPRust知名编程语言的测试中,Stable-Code-3B皆取得了压倒性成绩。

在与Code Llama 7B的测试中,Stable-Code-3BPythonC++Java三种编程语言比其更好,整体性能几乎差不多。

本文素材来源Stability.ai官网,如有侵权请联系删除

END

本篇文章来源于微信公众号: AIGC开放社区