帮我写一个百度爬虫pyhton代码
时间: 2024-05-15 07:16:17 浏览: 128
首先,你需要确保你已经安装了 Python 以及相关的第三方库,比如 requests 和 Beautiful Soup。
然后,你可以使用以下代码来编写一个简单的百度爬虫:
```python
import requests
from bs4 import BeautifulSoup
def crawl_baidu(keyword):
# 使用 requests 库发送 HTTP GET 请求
response = requests.get("https://www.baidu.com/s", params={"wd": keyword})
# 使用 Beautiful Soup 解析 HTML 文档
soup = BeautifulSoup(response.text, "html.parser")
# 提取搜索结果列表
results = soup.find_all("div", class_="c-container")
# 遍历每一条搜索结果
for result in results:
# 提取标题
title = result.h3.a.text
# 提取链接
link = result.h3.a["href"]
# 提取摘要
summary = result.find("div", class_="c-abstract").text
# 输出搜索结果
print(f"标题: {title}")
print(f"链接: {link}")
print(f"摘要: {summary}")
# 执行爬虫
crawl_baidu("Python 爬虫")
```
上面的代码使用 requests 库发送 HTTP GET 请求并获取响应,然后使用 Beautiful Soup 解析 HTML 文档,提取搜索结果列表。最后,遍历每一条搜索结果,提取标题、链接和摘要信息,并输出。
请注意,上述代码仅作为示例,并不保证一定可以正常工作。百度的页面结构可能会随时变化,你
阅读全文