在pycharm控制台输入搜索词,再组装百度搜索url进行搜索并爬取结果,要求使用bs4解析并输出内容。
时间: 2024-09-12 10:07:45 浏览: 97
在PyCharm控制台中输入搜索词,然后组装百度搜索URL进行搜索并爬取结果,再使用bs4(BeautifulSoup库)进行解析输出内容的步骤如下:
1. 安装必要的库:首先确保安装了`requests`和`beautifulsoup4`库。这两个库可以通过pip命令进行安装。
```bash
pip install requests
pip install beautifulsoup4
```
2. 编写Python脚本:在PyCharm中创建一个新的Python文件,然后按照以下步骤编写脚本。
```python
import requests
from bs4 import BeautifulSoup
# 输入搜索词
search_word = input("请输入搜索词:")
# 组装百度搜索URL
url = "http://www.baidu.com/s?wd=" + requests.utils.quote(search_word)
# 发送HTTP请求
response = requests.get(url)
# 确保请求成功
if response.status_code == 200:
# 使用bs4解析HTML内容
soup = BeautifulSoup(response.text, 'html.parser')
# 找到搜索结果所在的div标签
search_results = soup.find_all('div', {'class': 'result'})
# 遍历并输出搜索结果
for result in search_results:
title = result.find('h3').text
link = result.find('a')['href']
print(f"标题:{title}")
print(f"链接:{link}")
print('-------------------')
else:
print("请求失败,状态码:", response.status_code)
```
3. 运行脚本:在PyCharm中运行你刚编写的Python脚本,根据提示输入搜索词,脚本会自动打开默认浏览器进行搜索并显示结果。
请注意,根据百度搜索结果页面的结构可能会变化,上述代码中的解析部分可能需要根据实际情况进行调整。另外,频繁的爬取请求可能会触发百度的反爬虫机制,导致IP被暂时封禁。
阅读全文