东海大学：开源云平台驱动的影音网站搜索引擎

資源摘要信息: 本篇文章主要探讨了东海大學資訊工程學系高效能計算實驗室开发的结合云端分散储存与Nutch搜尋引擎的视频分享网站。由杨朝棟教授领导的研究团队，成员包括郑陈嶸、駱彥呈、梁峻瑞、李哲成和劉建安，他们针对当时视频分享网站存在的挑战，如搜索、存储和共享功能的优化，提出了一个基于Hadoop平台的解决方案。 背景和趋势部分，文章指出随着云计算的发展，特别是云服务模式的兴起（IaaS，如Amazon EC2；PaaS，如Hadoop和Google App Engine；以及SaaS，如Google Apps和Facebook），传统视频网站的封闭性和不透明性成为了问题。为了打破这一局面，团队决定开发一个开放源代码的平台，使得用户可以自定义搜索引擎。 Hadoop项目在此发挥了关键作用，尤其是Hadoop Distributed File System (HDFS)，它作为数据存储的核心组件，提供了大容量、高可用的分布式存储。Nutch则作为搜索引擎架构的基础，利用Map/Reduce模型进行大规模的数据处理和索引构建，实现了云端运算的实战应用。 Nutch的架构设计是开放且可扩展的，允许开发者通过JavaScript、PHP、JSP、jQuery、CSS3以及HDFS API进行开发，这为实现搜索引擎的个性化和功能性提供了灵活的环境。Hadoop实验平台的配置涉及到Linux操作系统、轻量级Web服务器如Lighttpd和Tomcat、数据库MySQL，以及多媒体框架FFmpeg和嵌入式视频播放器FlowPlayer。 此外，团队还利用了Filesystem in Userspace (FUSE)技术，这是一个可以让非内核组件模拟文件系统的工具，使得Nutch能够无缝地与HDFS交互，提高了数据访问效率。 总结来说，这篇文章详细介绍了如何通过结合Hadoop的分布式存储和Nutch的搜寻引擎技术，打造一个开放且功能强大的视频分享网站，解决了传统视频网站的局限性，并展示了在云计算时代利用开源工具进行创新实践的可能性。这个研究不仅有助于提升用户体验，也推动了教育和研究领域对大数据处理和云计算技术的应用。