没有合适的资源?快使用搜索试试~ 我知道了~
首页Fast-MoCo:利用组合补丁加速自监督对比学习
Fast-MoCo:利用组合补丁加速自监督对比学习
1 下载量 25 浏览量
更新于2024-06-19
收藏 19.37MB PDF 举报
Fast-MoCo是一种创新的自监督学习方法,其核心在于基于动量的对比学习框架的优化。传统的对比学习框架,如MoCo v3,依赖于单一对增强视图生成的正样本,这在长期的训练过程中可能效率低下,需要大量的周期(如800个时期)才能获得可观的结果。Fast-MoCo团队发现,这种单对样本的方式限制了模型的学习速度和准确性。 为了改进这一问题,Fast-MoCo提出了一种新颖的技术,即利用组合补丁。这个框架从两个增强视图中生成多个正样本对,这样可以提供更多的监督信号,从而在训练过程中显著加速学习过程。这种方法虽然增加了数据的多样性,但额外的计算成本却可以忽略不计,因为它主要集中在增强数据的处理上,而非复杂的算法运算。 实验结果显示,Fast-MoCo在仅仅100个训练周期内就能达到73.5%的线性评估准确性,这已经接近于MoCo v3经过800个周期训练的水平。随着额外的训练(200个周期),Fast-MoCo的表现进一步提升至75.1%,这表明其在训练效率和准确性方面已经达到了当前最先进的自监督学习方法的水平。 此外,Fast-MoCo的成功得到了下游任务的验证,证明了其在多种应用场景中的适用性和有效性。团队成员来自悉尼大学、牛津大学和上海人工智能实验室,他们强调了代码和预训练模型的开源性,以便于其他研究者进行进一步的研究和应用。 总结来说,Fast-MoCo通过引入组合补丁策略,显著提升了基于动量的对比学习在自监督学习中的训练效率,缩短了收敛时间,并保持了较高的准确性,为自监督学习领域的研究和发展带来了实质性的贡献。
资源详情
资源推荐
Fast-MoCo: Boost Momentum-based Contrastive Learning 5
Divide
Momentum
update
Combine
Grad.
encoder
encoder
Combine
Target
Branch
Online
Branch
Momentum
update
1
2
6
Contrastive
Loss
1
2
3
4
Fig. 2: Overview of Fast-MoCo framework. It consists of four steps: 1) Divide
step, where the input image in the online branch is divided into multiple patches;
2) Encode step, which the encoder f encodes the features of the patches sepa-
rately; 3) Combine step, which combines the encoded features (at the last layer
of the neural network); 4) the combined features are fed into projector g, pre-
dictor q, and contrastive loss for contrastive learning. Compared with MoCo,
we add the Divide step and Combine Step in the online branch, with details in
Section 3.2. The target branch is the same as MoCo.
3.2 Fast-MoCo
In this section, we introduce Fast-MoCo, a simple method that can greatly im-
prove the training efficiency of self-supervised learning with negligible extra cost.
An overview of Fast-MoCo is shown in Fig.2. With MoCo v3 as the baseline,
Fast-MoCo only makes three modifications, 1) add a Divide step to divide an
image into multiple patches before sending the patches to the encoder
‡
of the
online branch, 2) insert a Combine step (e.g., Combine) immediately behind
the encoder to combine patches, and 3) a slightly modified definition of positive
and negative pairs corresponding to the divide and combine operations. In the
following, we illustrate the Divide step, Combine step, and the modified loss
function in detail.
Divide Step. For the online branch, instead of directly feed the given the
augmented image x
a
into the encoder, we first divide it into a m × m grid of
patches {x
p
|p ∈ {1, . . . , m
2
}} as shown in Fig.2, with p denotes the set of patch
index {p}. The influence of m in will be analyzed in Section 5.4.
Combine Step. Instead of directly using the encoded embedding of each
patch individually for further step, we combine multiple (less than m
2
) patch
embeddings v
p
to form combined embeddings c before sending them to further
step, i.e., the projector.
To form a combined embedding, we take a subset of n indices from the
patch index set p, noted as p
n
(⊆ p), and collect their corresponding features
v
p
n
= {v
p
|p ∈ p
n
}. While there could be diverse options to combine multiple
embeddings (e.g., concatenate, sum), we empirically found that simply averag-
0
‡在本文中,我们仅探索了ResNet50作为编码器,而将ViT版本的MoCo
v3的评估作为我们的未来工作。
0
+v:mala2255获取更多论文
剩余21页未读,继续阅读
cpongm
- 粉丝: 5
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- 多模态联合稀疏表示在视频目标跟踪中的应用
- Kubernetes资源管控与Gardener开源软件实践解析
- MPI集群监控与负载平衡策略
- 自动化PHP安全漏洞检测:静态代码分析与数据流方法
- 青苔数据CEO程永:技术生态与阿里云开放创新
- 制造业转型: HyperX引领企业上云策略
- 赵维五分享:航空工业电子采购上云实战与运维策略
- 单片机控制的LED点阵显示屏设计及其实现
- 驻云科技李俊涛:AI驱动的云上服务新趋势与挑战
- 6LoWPAN物联网边界路由器:设计与实现
- 猩便利工程师仲小玉:Terraform云资源管理最佳实践与团队协作
- 类差分度改进的互信息特征选择提升文本分类性能
- VERITAS与阿里云合作的混合云转型与数据保护方案
- 云制造中的生产线仿真模型设计与虚拟化研究
- 汪洋在PostgresChina2018分享:高可用 PostgreSQL 工具与架构设计
- 2018 PostgresChina大会:阿里云时空引擎Ganos在PostgreSQL中的创新应用与多模型存储
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功