文本+草图生成3D等高精准图片，Stable Doodle重磅发布！

专注AIGC领域的专业社区，关注OpenAI、百度文心一言等大语言模型（LLM）的发展和应用落地，关注LLM的基准评测和市场研究，欢迎关注！

7月14日，生成式AI平台Stability AI在官网宣布推出Stable Doodle。（免费在线体验地址：https://clipdrop.co/stable-doodle）

据悉，Stable Doodle是一款通过文本提示+草图直接生成高精准的产品，例如，画一个苹果的轮廓，然后在文本框输入“这是一个苹果”选择一个3D样式点击生成即可，就可以得到相匹配的3D图片。如果不满意，点击继续生成直到满意为止。

值得一提的是，Stable Doodle采用了腾讯出品的文本到图片扩散模型控制器T2I-Adapter，使其能够精准理解轮廓、边缘等形态。（T2I-Adapter开源地址：https://github.com/TencentARC/T2I-Adapter）

AIGC开放社区体验作品

目前，多数图片扩散模型只能通过文本生成，得到的图片效果与预期相差较远，即便进行多次调整在角度、形态方面依然不理想。

Stable Doodle则提供了全新的草图辅助功能，以及多种图片样式选择，极大提升了图片的准确率。这对于专业设计师、室内设计师以及绘画爱好者，都能获得极佳的图片生成体验。

对于很多企业来说可以通过Stable Doodle制作企业标志、PPT插图、网站配图等。教育者则可以通过该平台教授绘画技巧，帮助他们提升技能。

Stable Doodle产品展示

技术方面，Stable Doodle由Stable Diffusion XL模型与T2I-Adapter相结合而成。其中，T2I-Adapter是腾讯ARC实验室出品的一款文本到图片扩散模型控制器。

T2I-Adapter非常小巧参数只有70M存储空间300M，但能够在冻结时给预训练的文本到图像模型提供额外指导。

能检测出草图的边缘图，检测出人形图形的关键姿势适配，还有基于分割的边缘对象检测器和深度检测器，这使得生成的图片在形态方面非常精准。

所以，T2I-Adapter 为预训练的文本到图像模型Stable Diffusion XL提供了精准的补充指导，使其能够理解草图的轮廓，并根据提示与模型定义的轮廓相结合生成图像。

Stable Doodle的使用方法非常简单，目前用户无需注册可免费体验，不过每天生成的图片数量有限制，以下是使用流程。

1、登录到https://clipdrop.co/stable-doodle

2、绘制一个草图，选择一个样式，然后输入一段草图描述，使得生成图片更加精准。

3、得到图片后，可以点击单个图片进行下载。如果对生成的图片不满意，继续点击生成即可。

以下是通过Stable Doodle生成的案例欣赏。

本文素材来源Stability AI官网，如有侵权请联系删除

END