用request从东方财富网爬取上市公司年报

在Python中，我们可以使用requests库来发送HTTP请求获取网页内容，然后结合BeautifulSoup或者lxml等HTML解析库来解析东方财富网上的上市公司年报信息。以下是简单的步骤：

1. **安装必要的库**：
首先需要安装`requests`库，如果你还没有安装，可以使用pip命令：

   pip install requests beautifulsoup4 lxml

2. **编写爬虫代码**：

   import requests
   from bs4 import BeautifulSoup

   # 请求URL，这里假设是某个包含年报链接的页面
   url = "https://www.eastmoney.com/f10/szse/annual_report.html"  # 请替换为实际URL
   headers = {
       'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
   }
   response = requests.get(url, headers=headers)

   # 检查请求是否成功
   if response.status_code == 200:
       soup = BeautifulSoup(response.text, 'lxml')
       
       # 使用BeautifulSoup查找年报链接，这取决于网站的具体结构，可能会有多种CSS选择器或XPath表达式
       annual_reports = soup.select('.年报链接')  # 这只是一个示例，实际选择器需要你自己找到
       for report in annual_reports:
           link = report['href']
           print(link)
   else:
       print("请求失败，状态码:", response.status_code)

3. **注意点**：
- 实际操作时，你需要根据东方财富网的HTML结构动态调整CSS选择器或XPath表达式来定位年报链接。
- 网站可能有反爬虫策略，比如需要登录、限制频率等，这通常需要处理cookies和session，甚至模拟登录。
- 获取到的数据可能需要进一步清洗，例如去除HTML标签，提取有效文本。