写一下爬虫的文本保存结果为txt的代码
时间: 2024-10-11 14:09:28 浏览: 11
当然可以,这里是一个简单的Python爬虫示例,使用BeautifulSoup库来抓取网页内容,并将其保存到txt文件中:
```python
import requests
from bs4 import BeautifulSoup
# 目标URL
url = "https://www.example.com"
# 发送请求
response = requests.get(url)
# 检查请求是否成功
if response.status_code == 200:
# 解析HTML内容
soup = BeautifulSoup(response.text, 'html.parser')
# 提取需要的内容,这里假设我们只想保存纯文本
text_data = soup.get_text()
# 将数据写入txt文件
with open('output.txt', 'w', encoding='utf-8') as f:
f.write(text_data)
else:
print("请求失败,状态码:", response.status_code)
相关问题
把这个爬虫完善一下,使结果保存为文本文件。
好的,以下是完善后的代码,将结果保存到了名为“result.txt”的文本文件中:
```
import requests
def baiDu():
key = input("请输入百度搜索关键词:")
url = "https://www.baidu.com/s?wd=" + key
try:
r = requests.get(url)
r.raise_for_status()
r.encoding = r.apparent_encoding
print("搜索结果共{}个字符".format(len(r.text)))
print("请求的URL为:", r.url)
# 将结果保存到文本文件中
with open("result.txt", "w", encoding="utf-8") as f:
f.write(r.text)
print("搜索结果已保存到result.txt文件中")
except:
print("爬取异常")
if __name__ == '__main__':
baiDu()
```
在上面的代码中,我们添加了一个代码块来将获取的搜索结果保存到文本文件中。使用了 Python 内置的“with”语句,它可以自动关闭文件,避免在代码中显式调用“close”方法。
现在,当你运行该程序时,除了在控制台输出搜索结果外,还会在同级目录下生成一个名为“result.txt”的文本文件,其中包含了完整的搜索结果。
用python写网页爬虫并导出txt的代码
你好,以下是用 Python 写网页爬虫并导出 txt 的代码:
```python
import requests
url = "https://www.example.com"
response = requests.get(url)
with open("example.txt", "w", encoding="utf-8") as f:
f.write(response.text)
```
这段代码可以爬取指定网页的内容,并将其保存为一个名为 "example.txt" 的文本文件。请注意,爬取网页的行为可能会违反某些网站的使用条款,请谨慎使用。
阅读全文