如何用python爬取数据

使用 Python 爬取数据的一般步骤如下：

1. 寻找数据源：首先确定需要爬取的数据在哪里，可以是一个网站、一个 API 或者一个数据库等。

2. 分析页面结构：如果需要从网页上爬取数据，就需要分析网页的结构和内容，找到我们需要的数据在哪里。

3. 发送请求：使用 Python 的 requests 库向数据源发送 HTTP 请求，获取响应。

4. 解析数据：使用 Python 的 BeautifulSoup 或者 lxml 库等解析 HTML 或 XML 格式的数据，提取有用的信息。

5. 存储数据：将数据存储到本地文件或者数据库中，方便后续处理和分析。

下面是一个简单的示例代码，爬取“豆瓣电影 Top250”页面的电影名称和评分：

import requests
from bs4 import BeautifulSoup

url = 'https://movie.douban.com/top250'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')

for movie in soup.select('.info > .hd'):
    title = movie.select_one('.title').text.strip()
    star = movie.select_one('.rating_num').text.strip()
    print(title, star)

这段代码使用 requests 库发起 GET 请求，获取豆瓣电影 Top250 页面的 HTML 内容；然后使用 BeautifulSoup 库解析 HTML 文档，使用 CSS 选择器选取电影名称和评分，最后将结果输出到控制台。