python爬虫 搜索框输入
时间: 2023-11-08 20:50:17 浏览: 141
如果你想用 Python 爬虫模拟搜索框输入并获取搜索结果,可以按照以下步骤进行:
1. 导入 requests 库和 BeautifulSoup 库。
2. 使用 requests 库发送一个 GET 请求,获取搜索页面的 HTML 内容。
3. 使用 BeautifulSoup 库解析 HTML 内容,找到搜索框的表单元素和搜索按钮元素。
4. 构造一个字典,包含搜索框的表单数据。
5. 使用 requests 库发送一个 POST 请求,提交表单数据并获取搜索结果页面的 HTML 内容。
6. 使用 BeautifulSoup 库解析搜索结果页面的 HTML 内容,获取需要的信息。
下面是一个示例代码,以百度搜索为例:
```python
import requests
from bs4 import BeautifulSoup
# 构造搜索请求的 URL
url = 'https://www.baidu.com/s'
# 构造表单数据
data = {
'wd': 'Python 爬虫',
}
# 发送搜索请求
response = requests.post(url, data=data)
# 解析搜索结果页面
soup = BeautifulSoup(response.content, 'html.parser')
results = soup.find_all('div', class_='result')
# 输出搜索结果
for result in results:
title = result.find('h3').text
url = result.find('a')['href']
print(title, url)
```
这个示例代码使用了 requests 库和 BeautifulSoup 库,发送了一个 POST 请求,并解析了搜索结果页面的 HTML 内容,获取了搜索结果的标题和链接。你可以根据自己的需要修改代码,适配其他搜索引擎或网站。