看见 视觉言语模型能够 吗

  • 电脑网络维修
  • 2024-11-15

来自奥本大学和阿尔伯塔大学的钻研人员发现,最先进的具备视觉才干的大型言语模型(VLMs)无了解触及基本几何状态的空间消息方面体现得十分蹩脚,例如判别两个圆能否堆叠。他们提出了一个名为BlindTest的新基准测试,包括7项便捷义务,这些义务在互联网入地然言语中不太或者有现成答案,以测试VLM像人类一样“看见”图像的才干。

现有的VLM基准(如MMMU和ChartQA)涵盖了宽泛的主题,但输入图像并非总是回答疑问所必须的,即答案或者仅从文本疑问和答案选用中推断进去,或由模型从互联网规模的训练中记住。出于这个差距并遭到验光师对人类启动视觉敏锐度测试的启示,作者设计了7个触及二维几何原型的低级视觉义务。而后他们测试了在现有多模态视觉基准中排名最高的四个VLM——GPT-4o、Gemini-1.5 Pro、Claude-3 Sonnet和Claude-3.5 Sonnet。关于每个义务,他们用两个语义下同等得不同疑问揭示VLM。义务和结果如下:

1、计数线的交叉点

在150张蕴含两条有色彩的图像中,它们恰恰在0、1或2点相交,最佳准确率是77.33%(Sonnet-3.5),最差是48.67%(GPT-4o)。

2、两个圆堆叠或接触

在672张两个大小相等的圆堆叠、相切或分别(具备方向和大小变动)的图像中,最佳准确率是92.78%(Gemini-1.5),最差准确率是72.69%(依然是GPT-4o)。此外,当两个圆靠得很近时,功能往往会降低。

3、字符串中的带圆圈字母

一个白色椭圆叠加在字符串中的某个字母上。作者测试了三个字符串——Acknowledgement、Subdermatoglyphic和一个随机字符串tHyUiKaRbNqWeOpXcZvM。Gemini-1.5(92.81%准确率)和Sonnet-3.5(89.22%准确率)比GPT-4o和Sonnet-3高出近20个百分点。除了GPT-4o,一切模型在两个英文单词上的体现略优于随机字符串,这标明知道单词或者有助于VLM做出更好的猜想。

4、计数堆叠状态

N个堆叠的、雷同大小的圆(N=5,6,7,8,9)像奥运会标记一样陈列成两排。功能范围从20.83%(Gemini-1.5)到44.16%(Sonnet-3.5)。重复相反陈列的五边形,功能差异更大,从9.16%(Gemini-1.5)到75.83%(Sonnet-3.5)。一切四个模型在计数5个圆时都100%准确,但在计数5个五边形时体现不佳(除Sonnet-3.5外)。

5、计数嵌套正方形

2到5个正方形嵌套在一同,每个状态齐全在另一个状态外部。Sonnet-3.5的最佳准确率为87.5%。GPT-4o和Sonnet-3在计数仅2或3个正方形时就体现不佳。

6、计算网格的行数和列数

VLM很难计算空网格中确实切行数和列数,最好的模型(Sonnet-3.5)准确率为59.84%,其他模型的准确率为25-26%。但是,在每个单元格中参与一个单词清楚提高了一切模型的功能。例如,GPT-4o的准确率从26%提高到53%,提高了一倍多。

7、跟踪繁多色彩的门路

最后一个义务需要模型计算简化地铁图中两站之间共同色彩门路的数量。“令人震惊”的是,作者发现即使只要一条门路时,也没有模型到达100%准确率。随着地图复杂性的参与,大少数VLM的体现更差。

总体而言,BlindTest基准测试初次为VLM提供了低级视觉健全性审核。它们在这些便捷(对人类而言)的无需任何先验常识的义务上的体现令人绝望,与它们在现有视觉基准上的令人印象深入的体现构成对比,这些基准存在数据走漏疑问。处置VLM的这些局限性或者是一项不小的应战,并且或者有助于处置多模态模型已知的其他视觉毛病,如了解物体的方向。

  • 关注微信

本网站的文章部分内容可能来源于网络和网友发布,仅供大家学习与参考,如有侵权,请联系站长进行删除处理,不代表本网站立场,转载联系作者并注明出处:https://duobeib.com/diannaowangluoweixiu/6077.html

猜你喜欢

热门标签

洗手盆如何疏浚梗塞 洗手盆为何梗塞 iPhone提价霸占4G市场等于原价8折 明码箱怎样设置明码锁 苏泊尔电饭锅保修多久 长城画龙G8253YN彩电输入指令画面变暗疑问检修 彩星彩电解除童锁方法大全 三星笔记本培修点上海 液晶显示器花屏培修视频 燃气热水器不热水要素 热水器不上班经常出现3种处置方法 无氟空调跟有氟空调有什么区别 norltz燃气热水器售后电话 大连站和大连北站哪个离周水子机场近 热水器显示屏亮显示温度不加热 铁猫牌保险箱高效开锁技巧 科技助力安保无忧 创维8R80 汽修 a1265和c3182是什么管 为什么电热水器不能即热 标致空调为什么不冷 神舟培修笔记本培修 dell1420内存更新 青岛自来水公司培修热线电话 包头美的洗衣机全国各市售后服务预定热线号码2024年修缮点降级 创维42k08rd更新 空调为什么运转异响 热水器为何会漏水 该如何处置 什么是可以自己处置的 重庆华帝售后电话 波轮洗衣机荡涤价格 鼎新热水器 留意了!不是水平疑问! 马桶产生了这5个现象 方便 极速 邢台空调移机电话上门服务 扬子空调缺点代码e4是什么疑问 宏基4736zG可以装置W11吗 奥克斯空调培修官方 为什么突然空调滴水很多 乐视s40air刷机包 未联络视的提高方向 官网培修 格力空调售后电话 皇明太阳能电话 看尚X55液晶电视进入工厂形式和软件更新方法 燃气热水器缺点代码

热门资讯

关注我们

微信公众号