用python编写爬取招标网站的代码,网站为https://www.ccgp-hainan.gov.cn/cgw/cgw_list.jsp,网页解析用xpath方法,爬取的字段为标题,链接,正文;并将爬取的数据写入excel
时间: 2023-04-03 12:01:30 浏览: 196
非常感谢您的问题。我可以回答这个问题。以下是Python爬取招标网站并将数据写入Excel的代码示例:
```python
import requests
from lxml import etree
import openpyxl
# 请求网页
url = 'https://www.ccgp-hainan.gov.cn/cgw/cgw_list.jsp'
response = requests.get(url)
# 解析网页
html = etree.HTML(response.text)
title_list = html.xpath('//ul[@class="ewb-info-items"]/li/a/text()')
link_list = html.xpath('//ul[@class="ewb-info-items"]/li/a/@href')
content_list = []
for link in link_list:
response = requests.get(link)
html = etree.HTML(response.text)
content = html.xpath('//div[@class="content"]/p/text()')
content_list.append(content)
# 写入Excel
workbook = openpyxl.Workbook()
sheet = workbook.active
for i in range(len(title_list)):
sheet.cell(row=i+1, column=1, value=title_list[i])
sheet.cell(row=i+1, column=2, value=link_list[i])
sheet.cell(row=i+1, column=3, value=content_list[i])
workbook.save('招标信息.xlsx')
```
希望这个代码示例能够帮助您。如果您有任何其他问题,请随时问我。
阅读全文