用pycharm爬取豆瓣top250科幻电影

在PyCharm中爬取豆瓣Top250科幻电影通常需要使用Python的网络爬虫库，如requests和BeautifulSoup或更高级的Scrapy框架。以下是简单的步骤概述：

1. 安装必要的库：
- `pip install requests`
- 如果需要解析HTML，`pip install beautifulsoup4`
- 可选安装用于处理JSON数据的`pip install json`

2. 设定目标URL：
豆瓣电影Top250的页面地址通常是动态生成的，需要获取整个列表的具体API或者找到一个稳定的链接。

3. 发送GET请求：
使用requests.get()函数发送HTTP请求到豆瓣电影的详情页，获取网页源码。

import requests
from bs4 import BeautifulSoup

def get_douban_top250():
    url = "https://movie.douban.com/top250"  # 这里假设存在一个静态链接，实际可能需要抓取动态内容
    response = requests.get(url)
    if response.status_code == 200:
        soup = BeautifulSoup(response.text, 'html.parser')
        # 解析HTML获取电影信息
    else:
        print("请求失败，状态码:", response.status_code)

get_douban_top250()

4. 解析网页内容：
使用BeautifulSoup解析HTML结构，查找包含电影信息的部分，如电影名、评分等。

5. 存储数据：
将获取的信息存储到CSV文件、数据库或字典中。

movies_list = []
# 解析过程...
for movie in soup.find_all('div', class_='hd'):
    title = movie.find('span', class_='title').text
    rating = movie.find('span', class_='rating_num').string
    movies_list.append({'title': title, 'rating': rating})

# 写入CSV或其他数据存储方式
with open('douban_sci_fi_movies.csv', 'w') as f:
    for movie in movies_list:
        f.write(','.join(movie.values()) + '\n')