实时

您的位置:首页>企业 >

世界今日讯!最大CLIP!LAION发布CLIP的扩增定律


(资料图片仅供参考)

点蓝色字关注“机器学习算法工程师”

设为星标,干货直达!

近日,LAION等机构在Reproducible scaling laws for contrastive language-image learning发布了CLIP的扩增定律(scaling law),其中最大的CLIP为ViT-H/14,基于LAION-2B数据集训练,可以在ImageNet1K数据集上到78.0%的zero-shot准确度,性能超过OpenAI目前开源的CLIP L/14,和Meta AI的FLIP Huge模型性能相当,但是模型已经开源在https://github.com/LAION-AI/scaling-laws-openclip。

论文的实验采用开源数据集LAION-400M和LAION-2B数据集,训练框架采用开源的OpenCLIP,所以论文的实验是可以复现的。训练在1520 NVIDIA A100 GPUs上进行,采用PyTorch DDP分布式训练策略,采用混合精度(但是fp16会不稳定,所以采用bf16,或者基于TF32的float32),训练的batch size在 86-88K之间。实验的总体结论是:扩增定律也明显适用CLIP,当扩增模型,训练数据和算力时,模型在下游任务上有一致性的提升。但是不同的训练数据集表现出不同的扩增系数:OpenCLIP的模型(基于LAION-2B数据集)在图文检索任务上有较大的扩增系数,而OpenAI CLIP模型(基于私有的WebImageText 400M数据集)在zero-shot分类任务上有较强的扩增系数。这个结论和FLIP的结论比较吻合,这说明训练数据集对CLIP的性能确实有比较大的影响。用论文结论的一句话来说就是:Scaling behavior depends on task type and pre-training dataset。更多内容可见论文:https://arxiv.org/abs/2212.07143

关键词:

推荐阅读
点蓝色字关注“机器学习算法工程师”设为星标,干货直达!近日,LAION等机构在Reproduciblescalinglawsforcontrastive

2022-12-22 23:09:22

力盛体育(002858)12月22日在投资者关系平台上答复了投资者关心的问题。投资者:老师你好!请问一下,贵公司2022年12月20日股东人数是多少,同比变动情

2022-12-22 15:42:30

中新网北京12月22日电(记者杜燕)今年以来,北京劳动人事争议仲裁机构加强争议源头治理,加大仲裁办案力度。今年1至11月,北京劳动人事争议仲裁

2022-12-22 10:19:10

12月21日,全球性金融服务机构野村发布了对全球主要经济体和主要市场2023年前景展望分析。野村认为,2023年上半年,亚洲经济增长将面临一定调

2022-12-21 20:43:32

截至2022年12月21日收盘,舒华体育(605299)报收于11 17元,上涨2 95%,换手率8 06%,成交量9 15万手,成交额1 01亿元。12月21

2022-12-21 14:51:25

热点栏目。药明巨诺-B(02126)公布,公司已与公司主要股东及关连人士Juno于2022年12月19日(东部时间)订立许可及合作协议,据此,公司与Juno

2022-12-21 08:32:21

中新网合肥12月20日电(刘鸿鹤)12月20日,由中铁十局三建公司承建的金寨路改造下穿沪蓉铁路、合福高铁桥孔工程正式通车。安徽省合肥市金寨路与

2022-12-20 19:44:57

18  12月19日,新京报记者探访位于西城区茶马东路与茶马北街交叉口附近的华润医药商业集团有限公司物流中心。这里是北京市三环以内最大的药

2022-12-20 12:20:12

重庆11月销量丨整体不及预期,自主市占率和新能源渗透率新高

2022-12-20 06:42:35

据同花顺iFinD数据显示,12月18日传媒-电影价格出现异动: 全国电影票房日收入12月18日已跌至9769 90万元,当日跌幅33 08%,周涨幅237 28%,

2022-12-19 17:58:39

经过四天三晚72小时的激烈鏖战,第五届“强网”拟态防御国际精英挑战赛于2022年12月18日中午在南京江宁无线谷正式落下帷幕,大赛规模、攻防战

2022-12-19 13:22:07

前情提要《使用IdentityServer保护Web应用(AntDPro前端+SpringBoot后端)》中记录了使用IdentitySer

2022-12-19 07:11:14

格隆汇12月18日丨永利澳门(01128 HK)发布公告,2022年12月16日,公司全资附属公司WRM根据与澳门政府签署的最终博彩批给合同正式获授予在澳门经营

2022-12-18 19:32:32

1、用料:瘦肉200g、香菇10朵、盐适量。2、挑选新鲜的瘦肉,洗净,可以先焯水再煮汤,也可以直接冷水浸泡泡出血水。3、干香菇洗净,泡发备用。

2022-12-17 21:08:08

下面为大家解答怎样发放加班费:职工加班费的基数可以由企业和职工协商来确定,否则企业应按照劳动者本人正常劳动应得的工资确定。企业计算加

2022-12-17 07:46:37

安科生物:关于召开2022年第三次临时股东大会的提示性公告

2022-12-16 18:53:32

风能作为一种清洁的可再生能源,已开始得到大量利用。我国风能资源丰富,近几年来国家政策也大力扶持风电产业。但是风能的不稳定性,非连续性

2022-12-16 12:09:35

网贷逾期一般会上征信,有些借贷机构在用户逾期后一天后就会上报给征信机构,而有些借贷机构则是会在几天后上报给征信机构,因为有些借贷机构可

2022-12-16 04:36:30

真我今日宣布,真我10系列新成员真我10s,将于12月16日发布,号称性能续航小霸王。从官方海报javascript可看出,新机外观与真我10十分相似,采用直角

2022-12-15 11:49:50