编写一个使用requests+BeautifulSoup的python爬虫爬取页面的模板

以下是一个使用requests和BeautifulSoup库的Python爬虫爬取页面的模板代码：

import requests
from bs4 import BeautifulSoup

# 设置请求头，模拟浏览器访问
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}

# 发起请求
response = requests.get(url, headers=headers)

# 解析网页内容
soup = BeautifulSoup(response.text, 'html.parser')

# 找到需要的信息
result = soup.find('div', class_='result')

# 输出结果
print(result.text)

在上述代码中，首先我们定义了一个请求头，用于模拟浏览器访问。然后使用requests库发送请求，获取网页的源代码。接着，使用BeautifulSoup库解析网页的HTML内容，找到需要的信息。最后，将结果打印输出。如果要获取多个结果，可以使用soup.find_all()方法。

相关问题

python爬虫爬取电影200

### 编写Python爬虫抓取电影数据

为了实现这一目标，可以采用`requests`库获取网页内容并利用`BeautifulSoup`解析HTML文档。下面是一个完整的例子，该实例展示了如何构建一个能够从网站上提取200部电影信息的爬虫。

#### 导入必要的模块

import requests
from bs4 import BeautifulSoup
import csv

#### 设置请求头和URL模板
设置好User-Agent以模拟浏览器访问，并定义用于分页加载更多电影记录的目标页面链接模式。

headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36"
}
url_template = "https://example-movie-site.com/movies?page={page_number}"  # 替换成实际网址结构

#### 初始化CSV文件准备存储数据
创建一个新的CSV文件用来保存收集到的信息；这里假设要捕获字段包括但不限于：电影名称、导演、演员列表、年份以及评分等。

with open('movies.csv', mode='w', newline='', encoding='utf-8') as file:
    writer = csv.writer(file)
    header = ['Title', 'Director', 'Actors', 'Year', 'Rating']
    writer.writerow(header)

#### 定义函数来处理单个页面的数据采集工作
此部分负责发送HTTP GET请求给指定URL，接着通过BSoup分析响应体中的DOM树形结构从而定位所需元素节点最后将其转换成字典形式返回。

def fetch_page(page_num):
    url = url_template.format(page_number=page_num)
    response = requests.get(url, headers=headers)

    soup = BeautifulSoup(response.text, 'html.parser')
    
    movies = []
    for item in soup.select('.movie-item'):  # 假设每项电影都包裹在一个具有此类名的div标签内
        title = item.find(class_='title').get_text(strip=True)
        director = item.find(class_='director').get_text(strip=True)
        actors = ', '.join([actor.strip() for actor in item.find_all(class_='actor')])
        year = int(item.find(class_='year').text.strip())
        rating = float(item.find(class_='rating').text.strip())

        movie_info = {'Title': title,
                      'Director': director,
                      'Actors': actors,
                      'Year': year,
                      'Rating': rating}

        movies.append(movie_info)
        
    return movies

#### 主循环控制逻辑
遍历多页直到达到预期数量为止，在每次迭代过程中调用上述方法并将结果追加至最终的结果集中去重后一并发往磁盘持久化。

all_movies = set()
current_count = 0
for page in range(1, 11):  # 调整范围依据实际情况而定
    new_entries = fetch_page(page)
    all_movies.update(new_entries)
    current_count += len(new_entries)
    if current_count >= 200:
        break
        
# 将集合转回列表以便后续操作
final_list = list(all_movies)[:200]

# 写入CSV文件
with open('movies.csv', mode='a+', newline='', encoding='utf-8') as file:
    writer = csv.DictWriter(file, fieldnames=['Title', 'Director', 'Actors', 'Year', 'Rating'])
    writer.writerows(final_list)

用python爬虫爬取新华字典的汉字做成Excel

在Python中，我们可以使用`requests`库获取网页内容，然后利用如`BeautifulSoup`或`lxml`解析HTML，提取我们需要的信息。接着，可以使用`pandas`库将数据保存到Excel文件中。以下是一个简单的步骤概述：

1. **安装所需库**:
首先需要安装 `requests`, `beautifulsoup4`, 和 `pandas` 库，如果还没有安装，可以使用命令：

   pip install requests beautifulsoup4 pandas openpyxl

2. **编写爬虫脚本**:

   import requests
   from bs4 import BeautifulSoup
   import pandas as pd

   def get_word_info(url):
       response = requests.get(url)
       soup = BeautifulSoup(response.text, 'html.parser')
       
       # 提取字词信息的CSS选择器或XPath表达式，这取决于字典网站的具体结构
       word_list = soup.select('div#wordInfo div.wordItem')  # 假设这个结构存在
       data = []

       for item in word_list:
           # 解析每个字的信息，比如拼音、释义等
           pinyin = item.select_one('.pinyin').text
           definition = item.select_one('.def').text
           data.append((pinyin, definition))

       return data

   url_template = "https://www.zidian.cn/html/zdclass/{}/"  # 新华字典的页面模板，替换{word}为你要查找的汉字
   word_to_search = '示例汉字'

   # 构建完整URL并抓取数据
   full_url = url_template.format(word_to_search)
   word_data = get_word_info(full_url)

   # 将数据转换为DataFrame
   df = pd.DataFrame(word_data, columns=['Pinyin', 'Definition'])

   # 保存到Excel文件
   df.to_excel("hanzi_dict.xlsx", index=False)

3. **运行脚本**:
调用上述函数，指定你需要爬取的汉字即可生成Excel文件。

**注意**：实际操作时，你需要查看目标网页的HTML结构，找到汉字信息的确切位置，以便正确提取。并且，频繁爬取可能会触发网站的反爬策略，因此请遵守网站的robots.txt规则，并尊重版权。