python爬取json网页转换成csv

可以使用Python的requests和pandas库来实现。

首先，使用requests库获取json数据：

import requests

url = "https://example.com/data.json"
response = requests.get(url)
data = response.json()

接着，使用pandas库将json数据转换成DataFrame，并保存为csv文件：

import pandas as pd

df = pd.DataFrame(data)
df.to_csv("data.csv", index=False)

其中，`index=False`是为了不将DataFrame的索引保存到csv文件中。

完整代码如下：

import requests
import pandas as pd

url = "https://example.com/data.json"
response = requests.get(url)
data = response.json()

df = pd.DataFrame(data)
df.to_csv("data.csv", index=False)

相关问题

python爬取的网页转换成json后存到表格

在Python中，我们可以使用第三方库（如requests、BeautifulSoup、pandas）来爬取并解析网页数据，然后将其转换为JSON格式并存储到表格中。

首先，我们需要使用requests库发送网络请求，获取网页的HTML内容。然后，使用BeautifulSoup库解析HTML，并提取我们需要的数据。

接下来，我们可以使用字典或列表等数据结构来存储提取的数据，并使用json库将其转换为JSON格式。

最后，我们可以使用pandas库将JSON数据保存到表格中，可以选择保存为CSV文件、Excel文件等格式。

示例代码如下：

import requests
from bs4 import BeautifulSoup
import json
import pandas as pd

# 发送网络请求，获取网页内容
url = "http://example.com"
response = requests.get(url)
html_content = response.text

# 使用BeautifulSoup解析HTML
soup = BeautifulSoup(html_content, "html.parser")

# 提取数据并存储到字典或列表中
data = []
items = soup.find_all("div", class_="item")
for item in items:
    title = item.find("h2").text
    description = item.find("p").text
    data.append({"title": title, "description": description})

# 转换为JSON格式
json_data = json.dumps(data, ensure_ascii=False)

# 保存为表格
df = pd.read_json(json_data)
df.to_csv("data.csv", index=False)

以上是简单示例，实际情况中根据具体网页结构和需求进行相应的提取和处理操作。

python爬取机场数据

Python 爬取机场数据通常涉及网络爬虫技术，尤其是使用像`requests`库来获取网页内容，然后利用如`BeautifulSoup`、`pandas`等工具解析HTML或JSON格式的数据。以下是一个简单的步骤：

1. **安装必要的库**：首先需要安装`requests`, `beautifulsoup4`, `lxml`（如果`beautifulsoup4`使用`html.parser`有问题的话），以及数据分析处理的`pandas`。

pip install requests beautifulsoup4 lxml pandas

2. **发送HTTP请求**：使用`requests.get()`函数向目标网站发送GET请求，获取包含机场数据的网页源码。

import requests

url = "https://example.com/airport-data"  # 替换为你想爬取的具体机场数据URL
response = requests.get(url)
data = response.text

3. **解析数据**：使用`BeautifulSoup`解析HTML文档，提取出你需要的机场信息，例如机场名称、代码、位置等。

from bs4 import BeautifulSoup

soup = BeautifulSoup(data, 'lxml')
# 定义标签选择器（如class, id, tag名等）来抓取数据
airports = soup.select('.airport-info')  # 假设数据是在这个CSS选择器下

4. **数据清洗和组织**：将抓取到的HTML元素转换成结构化的数据，比如`dict`或`pandas DataFrame`。

import pandas as pd

airport_list = []
for airport in airports:
    name = airport.find('div', class_='name').text
    code = airport.find('span', class_='code').text
    location = airport.find('p', class_='location').text
    
    airport_list.append({'Name': name, 'Code': code, 'Location': location})

df_airports = pd.DataFrame(airport_list)

5. **保存数据**：最后可以将数据保存到CSV文件或者数据库中供后续分析。

df_airports.to_csv('airport_data.csv', index=False)  # 将数据写入csv文件