url地址:https://www.sogou.com/ 编写一个简单的爬虫程序,要求用户输入一个搜索关键字,然后将爬取到的搜狗网站上的搜索结果保存在本地文件 “【关键字】.html”中。例如,搜索关键词为“熊猫”,则搜索结果本地保存为“熊猫.html”。
时间: 2024-04-21 14:28:44 浏览: 48
sogou.zip_3318ee com_DF11 0457_bb9949..com_hotexp_http://sogou.c
好的,我可以帮你编写一个简单的爬虫程序来实现这个功能。你需要先安装 requests 和 BeautifulSoup 库,可以使用以下命令进行安装:
```
pip install requests
pip install beautifulsoup4
```
然后,可以使用以下代码来实现你的需求:
```python
import requests
from bs4 import BeautifulSoup
# 获取用户输入的搜索关键字
keyword = input("请输入搜索关键字:")
# 构造搜索页面的URL
url = "https://www.sogou.com/web?query=" + keyword
# 发送请求并获取页面内容
response = requests.get(url)
content = response.content
# 解析页面内容,提取搜索结果
soup = BeautifulSoup(content, "html.parser")
results = soup.find_all("h3", class_="vr-title")
# 将搜索结果保存到本地文件
filename = keyword + ".html"
with open(filename, "w", encoding="utf-8") as f:
f.write("<html><head><title>" + keyword + "搜索结果</title></head><body>")
for result in results:
link = result.a.get("href")
title = result.a.text
f.write("<p><a href='" + link + "'>" + title + "</a></p>")
f.write("</body></html>")
```
这个程序会向用户要求输入一个搜索关键字,然后构造搜索页面的URL发送请求并获取页面内容。接着,使用 BeautifulSoup 库解析页面内容,提取搜索结果并将其保存到本地文件中。最后生成的文件名为“【关键字】.html”,例如如果搜索关键词为“熊猫”,则搜索结果保存为“熊猫.html”。
阅读全文