将MeshRCNN集成至Tensorflow-Graphics的GSoC提案

资源摘要信息:"毕业设计视频会议源码-GSoC-20-Proposal:GSoC-20-提案" 标题解读： 本标题“毕业设计视频会议源码-GSoC-20-Proposal:GSoC-20-提案”指出了一篇关于毕业设计的提案文档，该提案专注于视频会议的源码，并且是作为Google Summer of Code 2020（GSoC 2020）的一部分提交的。GSoC是一个旨在将学生与开源项目相结合的年度计划，目的是让大学生通过为开源项目做出贡献来获取实际工作经验。 描述解读： 文档描述中提到的“毕业设计视频会议源码GSoC-20-提案”是一份具体的项目提案文档，该提案的主要目标是将“MeshRCNN”网络架构实现于Tensorflow框架中。MeshRCNN结合了2D感知和3D形状理解，能够处理无约束的现实生活图像，并预测场景中物体的细粒度3D形状。 MeshRCNN目前的实现基于PyTorch框架，但此项目提出要让Tensorflow的开发者也能利用这一想法。项目目标包括三个方面： 1. 扩展Tensorflow-Datasets以包含Pix3D数据集，这是一个包含真实2D-3D对的数据库，有助于像素级对齐。 2. 重新实现PyTorch3D模块，包括Cubify、图卷积、顶点对齐、可微分网格采样和网格损失等，使之适用于Tensorflow-Graphics。 3. 在Tensorflow框架中实现MeshRCNN。 联系信息部分则包含了提案人的个人信息，如姓名、电子邮件ID、GitHub用户名、领英链接及时区。这些信息对于有意参与项目的其他开发者或导师联系提案人至关重要。 标签解读： 标签“系统开源”表明本提案文档与开源系统的开发和维护有关。 文件名称列表解读： “GSoC-20-Proposal-master”指向了提案的压缩包文件名，意味着提案文档是该压缩包中的主要内容。 详细知识点： 1. Google Summer of Code（GSoC）：GSoC是一个旨在鼓励大学生参与开源软件项目的年度计划。通过GSoC，学生可以在夏季全职工作于开源项目，同时获得一定的经济补偿。 2. Tensorflow：由Google开发的一个开源机器学习框架，广泛应用于深度学习模型的构建和训练。它为开发者提供了一套工具、库和资源来构建和训练机器学习模型。 3. MeshRCNN：一种结合2D感知和3D形状理解的网络架构。它在处理具有多个对象、遮挡和不同照明的真实图像时，能够预测场景中物体的细粒度3D形状。 4. PyTorch：一个开源的机器学习库，基于Python，由Facebook的人工智能研究小组开发。PyTorch广泛用于计算机视觉和自然语言处理等领域。 5. 2D-3D数据集：在计算机视觉中，2D-3D数据集包含了现实世界中对象的2D图像和相应的3D模型。这类数据集对于研究者开发和测试计算机视觉算法至关重要。 6. 网格（Mesh）：计算机图形学中，网格是指用于表示三维物体表面的点、线、面的集合。它广泛应用于3D建模和渲染。 7. 可微分网格采样和网格损失：在MeshRCNN中，可微分网格采样允许网络以可微分的方式生成和操作3D网格。网格损失函数用于计算预测的3D形状与真实形状之间的差异。 8. 图卷积网络（Graph Convolutions）：这是一种用于处理图结构数据的神经网络，图中的节点可以是网格顶点、社交网络中的用户等。图卷积网络能有效学习节点的表示。 9. 顶点对齐（Vertex Alignment）：在3D图形处理中，顶点对齐涉及调整网格顶点的位置，以提高形状的准确性，或使两个形状对齐。 10. 机器学习和深度学习：机器学习是一种算法，使计算机能够从数据中学习并做出预测或决策。深度学习是机器学习的一个子领域，它使用深度神经网络模型来实现机器学习任务。