虚拟现实心血管手术模拟系统开发——徐鹏程

"5-20基于虚拟现实的心血管介入手术模拟系统-个人论文-徐鹏程1" 这篇论文主要介绍了徐鹏程同学在虚拟现实心血管介入手术模拟系统项目中的工作，该项目利用Unity平台结合混合现实技术，为医生提供术前手术规划。以下是该系统的关键知识点： 1. **血管建模**：血管模型来源于开源网站提供的STL文件，这些文件通常由医学影像数据（如CT或MRI）转换而来。在系统中，血管被处理为刚体，确保其在坐标系中的位置固定，形状不变，以便于模拟手术环境。 2. **导管模拟**：导管的模拟注重真实感，通过调整其材质属性，使其在虚拟环境中表现出与现实中相似的硬度，能够因外力扭曲但又具有一定柔软性。这种模拟有助于训练医生对导管的操作技巧。 3. **Unity界面编程**：徐鹏程同学负责了Unity用户界面的编程，包括场景的三维显示和交互功能。通过Unity，结合Hololens的混合现实技术，能将心血管模型投射到真实空间，增强医生对手术位置的理解。 4. **OpenGL与C++**：在原有Unity模型基础上，使用C++和OpenGL库进行程序改进，添加了一个可移动的点来代表传感器探针的位置。这涉及到OpenGL的模型导入、3D模型显示、回调函数等技术，以及OpenCV的aruco库，用于识别和追踪标记。 5. **Aruco库**：Aruco库是OpenCV的一部分，用于二维码和标记点的检测，它在模拟系统中可能用于定位和追踪虚拟导管在现实空间中的位置，实现虚拟与现实的交互。 6. **用户界面逻辑**：用户界面包括训练模式选择（电脑训练和增强现实训练）和设置选项。训练模式通过六个按键控制导管在XYZ轴上的位移，模拟导管与血管的碰撞，未来计划加入旋转操作并配合实际设备，提高仿真度。 7. **场景切换**：场景切换通过C#代码实现，包括主菜单和手术训练界面的过渡。点击按钮触发场景切换，这是Unity中常用的技术，增强了用户体验。 8. **非技术方面**：除了技术工作，徐鹏程还参与了宣传视频的制作和剪辑，团队讨论以及演讲PPT的润色。在最终的研究论文中，他负责了“研究结果”和“讨论”部分的撰写，展示了项目实施的全面性。 这个模拟系统不仅提升了手术训练的效率，减少了风险，也为未来医疗教育和实践提供了新的途径，充分体现了虚拟现实技术在医学领域的潜力。