python爬取沪深制造业企业年报
时间: 2023-11-22 12:50:58 浏览: 43
以下是使用Python爬取沪深制造业企业年报的步骤:
1. 导入必要的库,包括requests和BeautifulSoup库。
```python
import requests
from bs4 import BeautifulSoup
```
2. 构造请求头和请求参数,获取网页内容。
```python
url = 'http://www.cninfo.com.cn/new/hisAnnouncement/query'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
params = {
'pageNum': '1',
'pageSize': '30',
'column': 'szse',
'tabName': 'fulltext',
'plate': 'sz',
'stock': '',
'searchkey': '制造业年度报告',
'secid': '',
'category': '',
'trade': '',
'seDate': '2019-01-01~2021-12-31',
'sortName': '',
'sortType': '',
'isHLtitle': 'true'
}
response = requests.post(url, headers=headers, params=params)
```
3. 解析网页内容,获取所需信息。
```python
namelist = BeautifulSoup(response.text, 'html.parser')
page = namelist.json()['totalpages']
print(page, '*********\n', namelist.json()['announcements'])
```