用python爬取百度搜索结果

Python是一种非常流行的编程语言，可以用来爬取网页数据。为了爬取百度搜索结果，我们需要借助Python中的一些库。

首先，我们需要使用Requests库向百度发送HTTP请求。然后，我们可以使用BeautifulSoup库解析百度返回的网页内容，从而提取搜索结果。

以下是步骤：

1. 安装Requests和BeautifulSoup库。可以使用pip工具，打开终端并输入以下命令：

pip install requests
pip install beautifulsoup4

2. 导入库。在Python脚本的顶部，导入需要使用的库。

import requests
from bs4 import BeautifulSoup

3. 发送请求。向百度发送HTTP请求，获取搜索结果页面。

url = "https://www.baidu.com/s?wd=" + keyword
response = requests.get(url)

这里的`keyword`为你想要搜索的关键字。

4. 解析网页内容。使用BeautifulSoup库解析百度搜索结果页面，提取出需要的搜索结果。

soup = BeautifulSoup(response.content, 'html.parser')
results = soup.find_all('div', class_='result')
for result in results:
    title = result.find('h3').get_text()
    link = result.find('a')['href']
    summary = result.find('div', class_='c-abstract').get_text()
    print(title, link, summary)

这里的`soup.find_all('div', class_='result')`表示找到搜索结果的所有`div`元素，其中`class_='result'`表示这些`div`元素具有`result`类名，是搜索结果的容器。

接下来，我们使用`result.xxx`的方式获取每个搜索结果的标题、链接和简介，其中`get_text()`方法用于获取文本内容，`['href']`用于获取链接。最后，我们打印搜索结果。

这样就可以用Python爬取百度搜索结果了。当然，需要注意的是，爬取网页数据需要遵守网站的规则，避免过度请求导致IP被封禁。同时，按照法律法规，不要爬取有商业价值或个人隐私的信息。