自己动手：从零构建搜索引擎

"自己动手写搜索引擎，通过学习和实践掌握搜索引擎的基本技术和原理，包括网络蜘蛛、全文索引、数据获取、文本提取以及自然语言处理等核心环节。本书详细介绍了如何在30分钟内实现一个简单的搜索引擎，并逐步深入到复杂的搜索引擎技术，如BerkeleyDB的使用、网页抓取、数据库内容抓取、本地文件处理、HTML解析、文本提取工具的应用、非HTML文件内容提取以及流媒体内容处理。此外，还涵盖了中文分词技术，如Lucene的中文分词库Lietu。" 搜索引擎是互联网信息检索的关键工具，Google作为其中的典范，它的神话激发了无数人对搜索引擎技术的兴趣。了解搜索引擎首先需要体验其功能，从搜索结果中理解其工作原理。任何人都有可能构建自己的搜索引擎，只需掌握其核心技术和流程。 第1章介绍了搜索引擎的基础，包括Google的成功故事，以及如何从用户的角度去体验搜索引擎。本章鼓励读者尝试自己动手，表明构建搜索引擎并非遥不可及。 第2章详述了搜索引擎的技术实现，包括一个简单的30分钟实现的搜索引擎实例，涉及网络蜘蛛的编写、全文索引结构的搭建，以及开源搜索引擎项目Lucene和Nutch的介绍。此外，还讲解了商业搜索引擎的各种类型，如通用搜索、垂直搜索、站内搜索和桌面搜索。 第3章聚焦于数据获取，通过编写自己的网络蜘蛛来抓取网页内容，包括BerkeleyDB的使用来存储数据，以及抓取不同类型的数据源，如MP3、RSS、图片和垂直行业的特定信息。同时，也讨论了如何从数据库和本地硬盘中抓取内容。 第4章主要讨论如何从各种文档中提取文本内容，包括HTML文件、非HTML文件如TEXT、PDF、Word、Rtf、Excel和PowerPoint，以及流媒体内容。这一章提供了多种工具和技术，如HtmlParser、FireBug和NekoHTML，以及应对抓取限制的策略。 第5章深入到自然语言处理，特别是中文分词，这是中文搜索引擎必不可少的部分。书中提到了Lucene中的中文分词库Lietu，它在处理中文文本时发挥重要作用。 通过以上内容，读者将能够全面理解搜索引擎的工作机制，并具备实际动手构建简易搜索引擎的能力。无论是为了学术研究还是实际应用，这些知识都将提供宝贵的指导。