python爬取数据明细代码
时间: 2023-07-23 12:11:28 浏览: 107
python 爬虫代码
以下是Python爬取2万条数据并存入文件的代码示例:
```python
import requests
import json
# 设置请求头
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
# 设置请求参数
params = {
'key': 'value',
'key2': 'value2'
}
# 设置请求URL
url = 'http://example.com/api'
# 发送请求
response = requests.get(url, headers=headers, params=params)
# 解析响应数据
data = json.loads(response.text)
# 存储数据到文件
with open('data.txt', 'w', encoding='utf-8') as f:
for item in data:
f.write(json.dumps(item, ensure_ascii=False) + '\n')
```
以上代码仅供参考,具体实现需要根据实际情况进行调整。
阅读全文