python爬虫爬取网页数据

Python爬虫是指使用Python语言编写的程序，通过模拟浏览器行为，自动访问网页并提取所需的数据，从而实现网页数据的自动化抓取和处理。

Python爬虫常用的工具包括：

1. requests：用于发送网络请求，获取网页内容。
2. BeautifulSoup：用于解析HTML文档，提取所需的数据。
3. Scrapy：一个Python爬虫框架，可以快速构建爬虫程序。
4. Selenium：一个自动化测试工具，可以模拟浏览器行为，实现网页数据的自动化抓取。

使用Python爬虫爬取网页数据的步骤如下：

1. 发送网络请求，获取网页内容。
2. 解析HTML文档，提取所需的数据。
3. 存储数据，可选择存储在本地文件或数据库中。

下面是一个简单的示例代码，使用requests和BeautifulSoup爬取豆瓣电影Top250的数据：

import requests
from bs4 import BeautifulSoup

url = 'https://movie.douban.com/top250'
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}

response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, 'html.parser')

movies = soup.find_all('div', class_='hd')
for movie in movies:
    title = movie.a.span.text.strip()
    print(title)

这段代码发送一个GET请求到豆瓣电影Top250的网址，获取网页内容。然后使用BeautifulSoup解析HTML文档，提取电影名称并输出。