利用python爬虫网页

实现网页爬虫需要以下步骤：

1. 发送请求：使用Python中的requests库向目标网站发送HTTP请求，获取网页内容。
2. 解析网页：使用Python中的BeautifulSoup库对网页内容进行解析，提取所需数据。
3. 存储数据：将提取到的数据存储到本地文件或数据库中。

下面是一个简单的示例代码，爬取豆瓣电影Top250的电影名称和评分：

import requests
from bs4 import BeautifulSoup

url = 'https://movie.douban.com/top250'
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}

def get_movies(url):
    res = requests.get(url, headers=headers)
    soup = BeautifulSoup(res.text, 'html.parser')
    movies = soup.select('.info')
    for movie in movies:
        title = movie.select_one('.title').text.strip()
        score = movie.select_one('.rating_num').text.strip()
        print(title, score)

for i in range(0, 250, 25):
    get_movies(url + '?start=' + str(i))

在代码中，我们首先定义了访问的URL和请求头信息。然后定义了一个get_movies函数，用于获取每一页的电影信息，包括电影名称和评分。最后使用一个循环来遍历所有页面并调用get_movies函数。运行代码后，即可获取豆瓣电影Top250的电影名称和评分。