多栏密集文字 AI读论文新神器 中英图文混排文档都能读的多模态大模型Fox

只管多模态大模型都能挑西瓜了，但 了解复杂文档 方面还是差点意思。

面对 文字密集、多栏混排 等文档时往往力所能及，区域级别的细粒度了解，就更是无从谈起了。

最近，旷视团队打造了一支多模态大模型的“点读笔”——，轻松成功对8页文档（中英混合，单栏多栏格局混合的极其场景）的交互式感知了解。

关于消息密集的PDF文档，Fox允许高可控性的细粒度了解，比如在用户感兴味区域内启动文字识别、段落翻译以及页面外部的图片内容形容等。

论文中，团队进一步打破了关于文档的视觉感知了解的下限，高密度的消息被真正紧缩，LVLM真正地“看”懂图，才干真正做好、做出能用的文档多模大模型。

正所谓 “一图胜千言”—— one image token >> one text token 。

接上去，看看Fox在实战中体现如何？

中英混排，单栏多栏组合都不怕

关于中英混合、单栏多栏混合的8页PDF文档，可成功恣意区域的OCR：

下图左侧展现了8页文档内跨页的VQA，右侧展现了双栏中文页面的前景OCR。

双栏密集英文页面的前景OCR：

在页面内图片形容方面，Fox能给出文档内内容关联的回答（young Dual Language Learners）。

当然Fox还允许line-level OCR，以及对RoI区域的翻译、总结等。

Fox可以结合页面内文字，意识到这是一张关于global seismic hazards的图。此外，Fox还允许RoI内的latex格局转换，例如上方的table转latex。Fox还允许愈加灵敏的色彩疏导的RoI区域OCR。

关于卡通绘本，也可以哪里不会点哪里：

那么Fox是如何做到这些的呢？

多词表协同，多页面文档一致打包

在细粒度文档了解上，Fox有着三大翻新：

Fox引入了一系列基于位置的文本揭示，如点击位置、拖动框、涂色框等。这使得模型可以间接定位到感兴味的恣意区域，而不受文档格局的限度。同时，Fox还把全页OCR从新定义为”前景聚焦”义务，进一步增强了对密集文字的感知。

为了更好地理解图文混排页面，Fox驳回了两个不同专长的视觉词表——CLIP主攻人造图像，Vary专攻人工文档。但单纯叠加两种数据，往往会形成视觉偏置。为此，Fox分解了少量模糊合视觉元素的数据，迫使两个视觉分支充沛单干。

得益于高紧缩率(每页1024×1024图像对应256个图像token)，Fox将多页面文档一致打包输入。这不只让跨页面的高低文了解成为或者，也大幅降落了计算开支。值得一提的是，这种打包微调形式并不须要从新训练视觉词汇。

在这些翻新基础上，Fox模型结构如图所示。

Fox允许单页/多页文档图像输入，一切图像的image token被一致到一个sequence中启动多页文档了解。团队设计了基于point、color、box的prompt，来实如今文档页面上聚焦恣意位置。团队分解了图文交织的文档数据，来充沛催化两个视觉词表，以更好地实用于实践文档运行场景。

此外，为了促成对文档细粒度了解的钻研，作者还打造了一个中英双语的benchmark，曾经开源了数据和评测代码，共蕴含以下9种义务：

最后，团队呐喊更多的钻研人员能关注到细粒度的单页/多页文档了解，单页的稠密的问答义务远远不够。

真正做好多模态大模型，视觉编码器的消息紧缩率（token转化率）是十分关键的，Fox仅探求了文档这一类运行方向，宿愿对大家的钻研有所协助。

想了解更多细节，请检查原论文。

论文地址：​ ​​ ​​代码地址：​​ ​​ ​​名目主页：​​ ​​ ​

原文链接:​ ​​ ​