IBM开源新模型，可完美、快速转换PDF文档格式

添加书签

AIGC开放社区
2024-09-23

专注AIGC领域的专业社区，关注微软&OpenAI、百度文心一言、讯飞星火等大语言模型（LLM）的发展和应用落地，聚焦LLM的市场研究和AIGC开发者生态，欢迎关注！

将 PDF 文档转换为机器可处理的格式一直是一个极具挑战性的难题，这主要是因为 PDF 在格式、标准化和结构特征等方面存在着极为显著的差异。

例如，不同的 PDF 文档可能使用了各种各样的排版方式、字体样式和图像嵌入方式，有些可能还使用了特殊的字体编码或加密技术，进一步增加了数据处理的难度。

为了解决这些难题，IBM的研究人员基于PDF解析器、大模型、OCR等多种技术开发了Docling模型，可将PDF文档保留全部格式的情况下快速转换成JSON、 Markdown格式。

开源地址：https://github.com/DS4SD/docling

Docling模型使用了模块化设计方法，将整个PDF文档处理流程拆解为一系列连续的操作步骤，每个步骤都由专门的模块来执行。这不仅提升了执行效率和准确率，还极大增强了模型的扩展性和灵活性。

在Docling架构中，PDF后端扮演着重要角色。主要负责将PDF文档解析为机器可读的格式，包括提取文本内容及其在页面上的几何坐标，以及渲染每个页面的位图图像。为后续所有操作奠定基础。

为了应对PDF文档格式的多样性和复杂性，Docling提供了多种PDF后端选项。其中，基于qpdf库开发的自定义PDF解析器，是默认的PDF后端。为了满足不同场景的需求，还提供了基于pypdfium的PDF后端作为备选方案。

在PDF后端完成初步解析后，Docling的两个布局分析模型和表格结构识别模型，对数据做进一步处理。布局分析模型基于RT-DETR架构，通过在DocLayNet数据集上进行再训练，能够准确地预测页面图像上各种元素的边界框和类别。使Docling能够理解文档的详细布局，包括阅读顺序、图形位置以及表格结构的恢复。