用python写出爬取网站数据
时间: 2023-09-23 18:04:58 浏览: 145
python 爬取网页
以下是一个简单的Python程序,用于爬取网站数据并将其保存到本地文件中:
```python
import requests
from bs4 import BeautifulSoup
url = "https://www.example.com"
response = requests.get(url)
soup = BeautifulSoup(response.content, "html.parser")
data = soup.find_all("p")
with open("data.txt", "w") as file:
for item in data:
file.write(item.get_text() + "\n")
```
这个程序使用requests库从指定的URL获取网页内容,然后使用BeautifulSoup库解析HTML代码。接下来,它查找所有<p>标签的内容,并将其写入名为"data.txt"的文本文件中。
阅读全文