Caption Anything来了！可以解读清明上河图，细粒度可控的图像描述！
添加书签
专注AIGC领域的专业社区，关注GPT-4、百度文心一言、华为盘古等大语言模型（LLM）的发展和应用落地，以及国内LLM的发展和市场研究，欢迎关注！
作者：yougeii |（已授权转载）编辑：CVer
https://zhuanlan.zhihu.com/p/622314514
Github（已开源）:
https:// https://github.com/ttengwang/Caption-Anything
Hugging Face Demo:
https://huggingface.co/spaces/TencentARC/Caption-Anything
近日南方科技大学和腾讯ARC Lab开源了一款交互式图像描述工具, 基于Segment Anything, BLIP-2 Captioning和chatGPT实现, 通过视觉控制(鼠标点击)获取特定区域的object, 并以多样化的语言风格描述出来.
传统图像描述或密集描述通常以解析全图为目的, 如果遇到清明上河图等场景丰富且object交互特别复杂的图像, 一个简单的句子或非常长的段落, 对用户阅读很不友好. Caption Anything想看哪里即点击哪里, 根据用户需求定制化地关注局部区域, 进行细节描述及后续推理任务. 同时具有速度优势.
描述一幅图是一对多的映射, 不同用户对图像区域关注重点不同, 语言风格需求也不同. 面对如此多样的文本输出空间, 交互式控制模型输出可以与用户的需求更加对齐. 如下图所示, Caption Anything提供了视觉控制和语言控制.
用户界面: 支持鼠标点击(连续或单次点击), 输出描述的语言风格控制(情感, 语种, 想象), 利用chatGPT输出物体对应的wiki知识, 同时支持chatGPT进行对话. 代码同时支持Linux和Windows平台.
Github（已开源）:
https:// https://github.com/ttengwang/Caption-Anything
END
加入AIGC开放社区交流群
添加微信：13331022201 ，备注“职位信息&名字”
管理员审核后加入讨论群
