用Python写一个爬取百度的代码
时间: 2024-05-01 14:16:44 浏览: 81
以下是一个使用Python爬取百度搜索结果的示例代码:
```python
import requests
from bs4 import BeautifulSoup
# 定义要搜索的关键词
keyword = "Python"
# 构造搜索URL
url = "https://www.baidu.com/s?wd=" + keyword
# 发送请求并获取HTML源码
response = requests.get(url)
html = response.text
# 解析HTML源码
soup = BeautifulSoup(html, "html.parser")
search_results = soup.select(".result")
# 输出搜索结果标题和URL
for result in search_results:
title = result.select(".t")[0].get_text()
url = result.select(".c-showurl")[0].get_text()
print(title)
print(url)
print()
```
这段代码使用requests库发送GET请求并获取百度搜索结果页面的HTML源码,然后使用BeautifulSoup库解析HTML源码,提取搜索结果的标题和URL。最后,将搜索结果输出到控制台。请注意,这个示例代码可能会触发百度的反爬虫机制,使用时请自行了解相关法律法规和技术规范。
阅读全文