微博爬取上市公司数据

### 使用Python爬虫从微博抓取上市公司数据

为了实现这一目标，可以采用`requests`库来发送HTTP请求并接收响应，利用`BeautifulSoup`解析网页内容，以及可能需要借助`Selenium`处理JavaScript渲染的内容。对于微博这样的社交平台来说，由于其页面通常由前端框架动态加载，因此除了上述提到的基础工具外，还需要考虑API接口调用的方式。

#### 准备工作

安装必要的依赖包：

pip install requests beautifulsoup4 selenium pandas sqlalchemy

考虑到微博的安全机制和反爬策略，在实际操作前应当阅读并遵守微博的服务条款，确保行为合法合规。

#### 抓取流程设计

构建一个简单的脚本来模拟登录过程，并通过分析URL参数或使用官方开放的API接口获取所需的信息流。这里假设已经获得了有效的访问令牌或其他认证凭证用于身份验证。

1. **设置会话**

创建一个新的Session对象以便维持同一用户的多个请求之间的连接状态。

import requests

session = requests.Session()
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)',
}
login_url = "https://passport.weibo.com/signin/login"
response = session.get(login_url, headers=headers)

2. **登录账号**

根据实际情况填写用户名密码完成自动化的表单提交动作；也可以选择手动输入验证码等方式增强稳定性。

3. **定位目标资源**

找到包含上市公司信息的具体路径模式，比如特定话题下的帖子列表或是企业主页链接等。

4. **提取结构化数据**

运用正则表达式或者XPath/CSS Selectors选取感兴趣的字段值，如公司名称、最新消息摘要、发布时间戳等等。

5. **保存至本地文件或数据库**

最后一步就是把收集来的资料按照既定格式整理好存入CSV文档或者是关系型数据库里边去方便后续查询统计。

from bs4 import BeautifulSoup as soup
import re
import time
import json
import pandas as pd


def fetch_company_info(url):
    response = session.get(url=url, headers=headers).text
    page_soup = soup(response,"html.parser")

    items = []
    
    # 假设每条记录都封装在一个<li>标签内
    for item in page_soup.find_all('li', class_='list-item'):
        try:
            title = item.select_one('.title').get_text(strip=True)
            link = item.a['href']
            pub_date = item.span.string
            
            data_dict = {"Title": title,
                         "Link": f"https:{link}",
                         "PubDate": pub_date}

            items.append(data_dict)

        except Exception as e:
            print(f"Error occurred while parsing {item}: ", str(e))
            
    df = pd.DataFrame(items)
    return df
    
if __name__ == "__main__":
    url = "http://example.com/list_of_companies_on_weibo"  
    result_df = fetch_company_info(url)
    result_df.to_csv('./weibo_company_data.csv', index=False, encoding='utf_8_sig')

以上代码片段仅作为概念证明用途，请读者自行调整适应具体应用场景的需求变化[^1]。