beautifulsoup爬猫眼

### 使用BeautifulSoup爬取猫眼电影网站数据

为了使用BeautifulSoup有效地从猫眼电影网站上抓取所需的信息，可以遵循以下方法。首先，确保安装了必要的库`requests`和`beautifulsoup4`。

#### 安装依赖库

pip install requests beautifulsoup4 lxml

#### 发送HTTP请求并解析HTML文档
利用`requests`库向目标URL发起GET请求，并通过状态码判断请求是否成功。如果响应的状态码为200，则表示请求成功，此时可继续执行后续操作；否则返回`None`[^3]。

#### 获取页面内容
定义函数用于获取指定页数的HTML源代码：

import requests


def get_one_page(url, headers=None):
    try:
        response = requests.get(url=url, headers=headers)
        if response.status_code == 200:
            return response.text
        return None
    except Exception as e:
        print(f"Error occurred while fetching page {url}: ", str(e))
        return None

#### 解析HTML并提取信息
创建一个新函数来接收单个页面的内容字符串作为参数，接着实例化BeautifulSoup对象来进行DOM树遍历与节点查找。这里假设要抓取的是每部影片的名字、演员阵容以及发布日期等字段。

from bs4 import BeautifulSoup


def parse_one_page(html_content):
    soup = BeautifulSoup(html_content, 'lxml')
    
    movies_info_list = []
    
    for item in soup.select('div.movie-item'):
        title = item.select_one('.name').get_text(strip=True) or ''
        actors = ', '.join([actor.strip() for actor in (item.select_one('.actors').get_text().strip().split())]) if item.select_one('.actors') else ''
        release_date = item.select_one('.releasetime').get_text(strip=True).replace("上映时间：", "") if item.select_one('.releasetime') else ''

        movie_dict = {
            "title": title,
            "actors": actors,
            "release_date": release_date
        }
        
        movies_info_list.append(movie_dict)

    return movies_info_list

请注意，在实际应用过程中还需要注意一些细节问题，比如设置合理的User-Agent头信息模拟浏览器访问行为，适当增加等待间隔防止触发反爬机制等措施[^1]。