python爬虫爬取网页数据

Python爬虫可以通过模拟浏览器行为访问网页，获取网页数据并进行提取和处理。常用的Python爬虫工具有BeautifulSoup、Scrapy、Requests等。以下是一个简单的Python爬虫示例，用于获取百度首页的标题：

import requests
from bs4 import BeautifulSoup

url = "https://www.baidu.com/"
response = requests.get(url)
soup = BeautifulSoup(response.content, "html.parser")
title = soup.title.string
print(title)

首先，我们通过requests模块获取百度首页的HTML代码，然后利用BeautifulSoup库解析获取到的HTML代码。最后，我们可以使用soup.title.string获取HTML代码中的标题。