搜索关键词自动提交:向百度提交一个关键词,自动获取返回结果,保存为文本文件。
时间: 2024-04-05 14:33:50 浏览: 134
如果你想要使用Python向百度搜索提交关键词并获取返回结果保存至文本文件,可以使用以下代码:
首先,需要安装 requests 库和 BeautifulSoup 库,可以使用 pip 命令进行安装:
```
pip install requests
pip install beautifulsoup4
```
然后,可以使用以下代码实现:
```python
import requests
from bs4 import BeautifulSoup
# 关键词
keyword = 'Python'
# 请求头
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
# 请求链接
url = 'https://www.baidu.com/s?wd=' + keyword
# 发送请求并获取响应
r = requests.get(url, headers=headers)
# 解析HTML内容
soup = BeautifulSoup(r.text, 'html.parser')
# 获取所有搜索结果的标题和链接
results = soup.find_all('h3', {'class': 't'})
for result in results:
link = result.find('a').get('href')
title = result.find('a').get_text()
print(title + ' : ' + link)
# 将搜索结果保存至文件
with open('results.txt', 'w', encoding='utf-8') as f:
for result in results:
link = result.find('a').get('href')
title = result.find('a').get_text()
f.write(title + ' : ' + link + '\n')
```
上述代码中,我们首先定义了一个关键词,并构造了百度搜索的链接。然后使用 requests 库发送请求并获取响应,使用 BeautifulSoup 库解析响应的 HTML 内容,获取所有搜索结果的标题和链接。最后将搜索结果保存至文件。注意,由于百度的反爬虫机制,我们需要设置请求头,模拟浏览器发送请求。
阅读全文