蚂蚁金服AI研究:ICML论文揭示图卷积网络新突破

需积分: 0 0 下载量 180 浏览量 更新于2024-07-17 收藏 1.25MB PDF 举报
"这篇文章主要介绍了蚂蚁金服在ICML会议上贡献的一篇研究论文——《Stochastic Training of Graph Convolutional Networks with Variance Reduction》,该论文由Jianfei Chen、Jun Zhu和Le Song等人撰写。文章关注的是如何优化图卷积网络(GCNs)的随机训练,以减小方差,提高效率。GCNs是一种用于处理图结构数据的强大深度神经网络,但其接收域大小随着层数增加呈指数增长,导致计算复杂度提高。" 在GCNs的训练过程中,每个节点的表示是由其邻居节点递归计算得到的,这使得接收域的大小随着网络层次的增加而迅速膨胀。先前尝试通过子采样邻居来减少接收域大小的方法缺乏收敛保证,且每个节点的接收域规模仍处于数百的量级。这篇论文提出了基于控制变量子算法,允许采样任意小的邻居规模,从而有效地减小计算复杂性。作者还证明了新算法在理论上能够收敛到GCN的局部最优解。 实验结果显示,即使每个节点只使用两个邻居,新算法也能实现与精确算法相似的收敛性能。此外,新算法在大型Reddit数据集上的运行时间仅为先前邻居采样算法的七分之一,显著提高了计算效率。 论文的这一成果对于实际应用有着重大意义,尤其是在处理大规模图数据时,如社交网络分析、推荐系统和复杂网络建模等领域。蚂蚁金服展示这项技术,不仅彰显了其在机器学习领域的研究实力,而且显示了将学术成果快速转化为商业化产品的决心和能力。例如,他们研发的定损宝产品,就是将图像识别技术应用于车险领域,每年可为中国保险公司节省大量成本,受到了ICML 2018与会者的广泛关注。 通过与世界级学术专家如迈克尔·欧文·乔丹和宋乐教授等深度合作,蚂蚁金服展示了其在吸引人才和推动学术与商业结合方面的强大能力。首次参加ICML,蚂蚁金服就以其高质量的研究成果和创新技术成为了会议的焦点,展现了公司在人工智能和云计算领域的领先地位。