用Python写一个爬取百度的代码
时间: 2024-05-01 19:16:44 浏览: 85
以下是一个使用Python爬取百度搜索结果的示例代码:
```python
import requests
from bs4 import BeautifulSoup
# 定义要搜索的关键词
keyword = "Python"
# 构造搜索URL
url = "https://www.baidu.com/s?wd=" + keyword
# 发送请求并获取HTML源码
response = requests.get(url)
html = response.text
# 解析HTML源码
soup = BeautifulSoup(html, "html.parser")
search_results = soup.select(".result")
# 输出搜索结果标题和URL
for result in search_results:
title = result.select(".t")[0].get_text()
url = result.select(".c-showurl")[0].get_text()
print(title)
print(url)
print()
```
这段代码使用requests库发送GET请求并获取百度搜索结果页面的HTML源码,然后使用BeautifulSoup库解析HTML源码,提取搜索结果的标题和URL。最后,将搜索结果输出到控制台。请注意,这个示例代码可能会触发百度的反爬虫机制,使用时请自行了解相关法律法规和技术规范。
相关问题
用python写一个爬取百度知道的代码
好的,我可以回答您的问题。以下是一个示例代码,可以爬取百度知道页面:
```python
import requests
from bs4 import BeautifulSoup
url = 'https://zhidao.baidu.com/question/1955063946751869348.html'
response = requests.get(url)
soup = BeautifulSoup(response.content, 'html.parser')
title = soup.find('h1', class_='ask-title').text
content = soup.find('pre', class_='best-text mb-10').text
print('标题:', title)
print('内容:', content)
```
请注意,这只是一个简单的示例代码,具体的爬取策略和方法需要根据需要进行调整和完善。同时,爬取和使用其他网站的信息需要遵守相关法律和道德规范。
用python写一个爬取百度地图poi代码
好的,以下是Python代码示例,使用百度地图API爬取POI信息:
```python
import requests
import json
# 百度地图API接口
url = "http://api.map.baidu.com/place/v2/search"
# 输入搜索关键字和所在城市
query = "酒店"
region = "北京"
# 调用百度地图API搜索POI信息
response = requests.get(url, params={"query": query, "region": region, "output": "json", "ak": "你的AK值"})
# 解析结果
result = json.loads(response.content.decode("utf-8"))
# 遍历结果打印出每个POI的名称和地址
for poi in result["results"]:
print(poi["name"], poi["address"])
```
注意:上述代码中的AK值需要使用自己的百度开发者账号在百度地图API控制台中申请。
阅读全文