python网抓 存入excel
时间: 2023-09-17 14:08:01 浏览: 49
你可以使用Python的 requests 和 BeautifulSoup 库来进行网页抓取,并使用 pandas 库将数据存入Excel文件。下面是一个简单的示例代码:
```python
import requests
from bs4 import BeautifulSoup
import pandas as pd
# 发起网页请求
url = 'http://example.com' # 替换为你要抓取的网页地址
response = requests.get(url)
# 解析网页内容
soup = BeautifulSoup(response.text, 'html.parser')
# 提取数据
data = []
# 在这里根据网页的结构使用合适的选择器提取数据
# 示例:提取所有标题
titles = soup.select('.title-class') # 替换为相应的CSS选择器
for title in titles:
data.append(title.text.strip())
# 创建pandas DataFrame对象
df = pd.DataFrame(data, columns=['Title'])
# 存入Excel文件
output_file = 'output.xlsx' # 输出文件名
df.to_excel(output_file, index=False)
```
你需要将 `http://example.com` 替换为你要抓取的网页地址,以及根据网页的结构修改选择器和数据提取的代码。运行上述代码后,你将得到一个名为 `output.xlsx` 的Excel文件,其中包含抓取到的数据。