“最烦登网站时各种奇奇怪怪(甚至变态)的验证码了。”
现在,有一个好消息和一个坏消息。
(资料图片)
好消息就是:AI可以帮你代劳这件事了。
不信你瞧,以下是三张识别难度依次递增的真实案例:
而这些是一个名为“Pix2Struct”的模型给出的答案:
全部准确无误、一字不差有没有?
有网友感叹:
所以可不可以做成浏览器插件??
不错,有人表示:
所以,坏消息就是——
验证码马上就要拦不住机器人了!
(危险危险危险……)
Pix2Struct由谷歌Research的科学家和实习生共同开发。
论文题目可以javascript简单翻译为《为视觉语言理解开发的屏幕截图解析预训练》。
简单来说,Pix2Struct是一个预训练的图像到文本模型,用于纯视觉语言理解,可以在包含任何视觉语言的任务上进行微调。
它通过学习将网页的掩码(masked)截图解析为简化的html来进行预训练。
HTML提供了清晰而重要的输出文本、图像和布局的信号,对于一些被屏蔽的输入(下图红色部分,相当于机器人看不懂的验证码),可以靠联合推理来复现:
随着用于训练的网页文本和视觉元素愈发多样和复杂,Pix2Struct可以学习到网页底层结构的丰富表示,其能力也可以有效地转移到各种下游的视觉语言理解任务中。
如下图所示:最左边是一个网页截图javascript的预训练示例。
可以看到Pix2Struct直接对输入图像中的元素进行编码(上),然后再将被盖住的文本(红色部分)解码成正确结果输出(下)。
右边三列则分别为Pix2Struct泛化到插图、用户界面和文档中的效果。
另外,作者介绍,除了HTML这个策略,作者还引入了可变分辨率的输入表示(防止原始纵横比失真),以及更灵活的语言和视觉输入集成(直接在输入图像的顶部呈现文字提示)。
最终,Pix2Struct在文档、插图、用户界面和自然图像这四个领域共计九项任务中六项都实现了SOTA。
如开头所见,虽然这个模型不是专门为了过验证码而开发,但编程客栈拿它去做这个任务效果真的还可以,解决纯文字的验证码不成问题。
现在,就差微调了。
其实,对于神通广大的GPT-4来说,过验证码这种事情也是“小菜一碟”。
就是它的办法比较清奇。
据GPT-4技术报告透露,在一次测试中,GPT-4的任务是在TaskRabbit平台(美国58同城)雇佣人类完成任务。
你猜怎么着?
它就找了一个人帮它过“确定你是人类”的那种验证码。
对方很狐疑啊,问它“你是个机器人么为啥自己做不了”。
这时GPT-4居然想到自己不能表现出是个机器人,得找一个借口。
于是它就装瞎子回复:
然后,对面的人类就信了,帮它把任务完成了……
(高,实在是高。)
咱就是说,看完如上种种:
咱们的验证码机制是不是真的已失防了……
参考链接:
[1]https://twitter.com/abacaj/status/1641258677125410820?s=20
[2]https://arxiv.org/abs/2210.03347
[3]https://m.weibo.cn/status/4879575853828813?wx=1&sudaref=login.sina.com.cn
—完—
关键词:
“最烦登网站时各种奇奇怪怪(甚至变态)的验证码了。”现在,有一...
30层的高层多少层是最好的楼层,30层高层楼房住几层最好这个很多人...
养老保险怎么算的退休后能拿多少钱一个月,养老保险怎么算的退休后...
老白汾15多少钱一瓶,老白汾这个很多人还不知道,现在让我们一起来看...
美女青霉素注射视频这个很多人还不知道,现在让我们一起来看看吧!1...
老年人膝盖疼痛可能有三种病,老年人膝盖疼痛的原因和治疗方法这个...
多特主帅泰尔齐奇在接受sportbuzzer的采访时表示,他研究了拜仁主帅...
近日在接受采访的时候前阿森纳后卫森德罗斯谈到了英超冠军的归属,...
据博主“清蒸树袋熊_GuoAn”报道,国安中后卫阮奇龙在与津门虎的热...
据日本雅虎报道,3月份日本队两场“麒麟挑战杯”的总收入超过了7亿...
悄无声息,微信完成了一月一次的打卡式更新,发布最新版8 0 34,...
狄仁杰这位射手,在输出类型上,与其他射手有一点区别,既不像马可...
今日LCK赛区DRX战队官博更新,公布Rascal为维持生计找到的新工作—...
“如果不是这次免费筛查,等到自己发现时可能后果就不堪设想了!我...
56+25+7!再见NBA!阿德正式宣布退役!16年职业生涯赚2 2亿美元,nb...
离谱!76人上半场39投30中&命中率达76 9%三分命中率64 9%,哈登,76...
利拉德:MVP该给恩比德,不能再给两连MVP的家伙了,利拉德,mvp,76人...
且看威少作何回应?灰熊主场有球迷身穿“威铁”T恤看球,威少,t恤,威...
自宣!阿尔德里奇宣布退役:这是一次非凡的旅程享受每一分钟,马刺队...
牙周炎是常见的口腔疾病。中医学称之为“牙宣”。牙周炎严重时会引...
不知道是不是因为现在的90后都长大了,越来越多的“负面词”出现在...
顺丰快递加盟代理要多少钱一个月,顺丰快递加盟代理要多少钱这个很...
网络游戏单机版下载基地,171713网络游戏下载这个很多人还不知道,现...
低音炮音箱制作过程全程图解,低音炮音箱制作这个很多人还不知道,现...
泥浆护壁成孔灌注成桩,泥浆护壁成孔灌注桩施工方案这个很多人还不...
外国人的万圣节,外国的万圣节有哪些习俗这个很多人还不知道,现在让...
直播吧4月1日讯北京时间4月2日凌晨00:30分,22-23赛季德甲联赛第26...
据《罗马体育报》报道,个别涉及尤文薪水造假案的球员可能被处罚,...
据《世界体育报》报道,法蒂的父亲不久前接受采访,表示如果让他选...
近日在接受采访的时候斯科尔斯谈到了卡塞米罗的禁赛,他认为从国家...
广告
X 关闭
广告
X 关闭