python爬虫新手入门教学

Python爬虫是一种自动化获取互联网信息的技术，它可以帮助我们快速地从网页中提取所需的数据。以下是Python爬虫新手入门教学的步骤：

1. 安装Python和相关库
首先需要安装Python和相关的库，如requests、beautifulsoup4、lxml等。可以使用pip命令来安装这些库。

2. 确定爬取目标
确定需要爬取的目标网站和所需的数据。可以使用浏览器的开发者工具来查看网页的源代码，确定需要爬取的数据在哪个标签中。

3. 发送HTTP请求
使用requests库发送HTTP请求，获取网页的源代码。可以使用get或post方法来发送请求。

4. 解析HTML
使用beautifulsoup4库解析HTML，提取所需的数据。可以使用find、find_all等方法来查找标签。

5. 存储数据
将提取的数据存储到本地文件或数据库中。可以使用csv、json、sqlite等库来存储数据。

以下是一个简单的Python爬虫示例，用于获取豆瓣电影Top250的电影名称和评分：

import requests
from bs4 import BeautifulSoup

url = 'https://movie.douban.com/top250'
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, 'lxml')
movies = soup.find_all('div', class_='hd')
for movie in movies:
    name = movie.a.span.text.strip()
    rating = movie.parent.find('span', class_='rating_num').text.strip()
    print(name, rating)