python爬取国家电网有限公司电子商务平台招标文件代码
时间: 2023-07-23 18:53:54 浏览: 206
以下是使用Python爬取国家电网有限公司电子商务平台招标文件的示例代码:
```python
import requests
from bs4 import BeautifulSoup
url = 'http://ecp.sgcc.com.cn/ecp2.0/cwbase/announcement/getAnnoList.do'
params = {
'type': 'ZBGG',
'startPage': 1,
'pageSize': 10
}
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
}
response = requests.get(url, params=params, headers=headers)
soup = BeautifulSoup(response.text, 'html.parser')
table = soup.find('table', class_='table table-bordered table-hover')
rows = table.tbody.find_all('tr')
for row in rows:
cells = row.find_all('td')
title = cells[1].get_text().strip()
link = 'http://ecp.sgcc.com.cn' + cells[1].a['href']
print(title)
print(link)
```
这段代码使用requests库发送GET请求,然后使用BeautifulSoup库解析HTML响应。具体步骤包括:
1. 定义请求URL和查询参数。
2. 设置请求头部。
3. 发送GET请求并获取响应。
4. 使用BeautifulSoup库解析响应中的HTML内容。
5. 获取包含招标信息的表格。
6. 循环遍历表格中的行和列,并输出标题和链接。
你可以根据需要修改查询参数和其他部分的代码。注意,在使用爬虫程序时,请务必遵守相关法律法规和网站的使用条款。
阅读全文