Python网络爬虫入门与数据分析实战

网络爬虫-Python和数据分析 网络爬虫是自动提取网页的程序，它为搜索引擎从万维网上下载网页，是搜索引擎的重要组成部分。传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列，直到满足系统的一定停止条件。 爬虫有多种用途，例如： * 作为通用搜索引擎网页收集器，如Google、Baidu等。 * 作为垂直搜索引擎，如找工作的搜索引擎：www.deepdo.com，数据来源于：www.51job.com,www.zhaoping.com,www.chinahr.com等等。 * 在科学研究中，如在线人类行为、在线社群演化、人类动力学研究、计量社会学、复杂网络、数据挖掘等领域的实证研究都需要大量数据，网络爬虫是收集相关数据的利器。 爬虫是搜索引擎的第一步，也是最容易的一步，包括网页搜集、建立索引、查询排序等步骤。 爬虫可以使用多种语言编写，如C、C++、Perl、Python、Java、Ruby等。每种语言都有其优缺点，例如C、C++高效率、快速，适合通用搜索引擎做全网爬取，但开发慢、写起来又臭又长。Perl、Python、Java、Ruby等脚本语言简单、易学、良好的文本处理能力，适合对少量网站的聚焦爬取。 Python是一种相对年轻的语言，对于爬虫来说各方面能力还行，并且还在完善中。Python的优点包括： * 跨平台，对Linux和Windows都有不错的支持。 * 科学计算、数值拟合：Numpy、Scipy。 * 可视化：2d：Matplotlib（做图很漂亮），3d：Mayavi2。 * 复杂网络：Networkx。 * 统计：与R语言接口：Rpy。 * 交互式终端。 * 网站的快速开发？ Python爬虫的优点还包括： * 简单易学，易于入门。 * 良好的文本处理能力，适合网页内容的细致提取。 *丰富的第三方库和资源，例如Beautiful Soup、Scrapy等。 Python是爬虫开发的不二之选。