python playwright爬取

Python Playwright是一个用于自动化浏览器操作的Python库。使用它可以模拟用户在浏览器中的操作，例如打开网页、输入数据、点击按钮和截屏等。

以下是一个使用Python Playwright爬取网页的示例代码：

from playwright.sync_api import Playwright, sync_playwright

url = 'https://www.example.com/'

with sync_playwright() as p:
    browser = p.chromium.launch(headless=True)
    page = browser.new_page()
    page.goto(url)
    page.screenshot(path='example.png')
    browser.close()

这个代码会使用Playwright打开一个无头浏览器，然后在浏览器中打开指定的网页，最后截取网页的屏幕截图并保存到本地。

你可以根据自己的需求修改代码来实现不同的操作，例如解析网页内容、点击按钮、填写表单等。

相关问题

playwright爬取豆瓣评论

### 实现豆瓣电影评论数据抓取

为了实现豆瓣电影评论的数据抓取，可以采用 Playwright 工具来处理动态加载的内容。以下是具体的方法：

#### 准备工作
安装所需的依赖包：

pip install playwright
playwright install

创建一个新的 Python 文件并编写如下代码。

#### 初始化浏览器实例与导航至目标页面

from playwright.sync_api import sync_playwright

with sync_playwright() as p:
    browser = p.chromium.launch(headless=False)  # 设置 headless=True 可以无界面运行
    page = browser.new_page()
    
    url = "https://movie.douban.com/subject/{movie_id}/comments".format(movie_id="1292052")  # 替换 {movie_id} 为实际电影 ID
    page.goto(url)

#### 处理登录验证（如果必要）
某些情况下可能需要先完成登录操作才能访问完整的评论区内容。可以通过保存本地 cookies 来简化这一流程[^3]。

#### 提取评论信息
定位到包含用户评论的 HTML 元素，并从中解析出所需的信息字段。

comments = []
elements = page.query_selector_all('.comment-item')

for element in elements:
    username = element.query_selector(".comment-info>a").inner_text().strip()
    rating = element.query_selector(".comment-info>span:nth-child(2)").get_attribute('class').split()[0][-2:]
    content = element.query_selector("p").text_content().strip()

    comments.append({
        'username': username,
        'rating': rating,
        'content': content
    })

#### 关闭浏览器连接
最后记得关闭打开的资源。

browser.close()

以上就是使用 Playwright 对豆瓣电影评论进行简单爬取的过程描述。

Python爬虫爬取视频

### 如何使用Python编写爬虫抓取视频

#### 使用的库和工具
为了有效地抓取网页上的视频，可以依赖几个重要的Python库。`requests` 和 `BeautifulSoup` 是用来获取页面内容并解析HTML结构的基础工具；而像 `selenium` 或者 `playwright` 则能够模拟浏览器行为加载动态生成的内容[^2]。

对于视频下载来说，通常还需要额外引入专门处理多媒体文件的模块，比如 `youtube_dl` (现已更名为 `yt_dlp`) 可以方便地从各种在线平台提取音视频流[^4]。

#### 实现过程概述
当目标网站不是直接暴露视频链接而是通过JavaScript等方式异步加载时，则可能需要用到带有渲染引擎的支持如Selenium WebDriver来执行这些脚本从而获得最终URL[^1]。

一旦获得了确切的媒体地址之后就可以发起HTTP请求并将响应体保存到本地磁盘上完成整个下载流程[^3]。

下面是一个简单的例子展示如何利用上述提到的技术栈构建一个基本的功能框架：

import requests
from bs4 import BeautifulSoup
import yt_dlp  # 替代旧版 youtube-dl 库


def fetch_video_links(url):
    headers = {
        'User-Agent': 'Mozilla/5.0'
    }
    
    response = requests.get(url, headers=headers)
    soup = BeautifulSoup(response.text, "html.parser")

    video_tags = soup.find_all('video')
    links = []
    for tag in video_tags:
        source = tag.find('source')['src']
        if not source.startswith('http'):
            base_url = '/'.join(url.split('/')[:-1])
            source = f"{base_url}/{source}"
        
        links.append(source)

    return links


def download_videos(links):
    ydl_opts = {}
    with yt_dlp.YoutubeDL(ydl_opts) as ydl:
        error_code = ydl.download(links)


if __name__ == "__main__":
    target_page = input("请输入要抓取的目标页面:")
    videos_to_download = fetch_video_links(target_page)
    print(f"找到 {len(videos_to_download)} 个视频.")
    confirm = input("是否继续下载[Y/n]? ").lower()
    if confirm != 'n':
        download_videos(videos_to_download)

这段代码首先会访问给定网址并查找所有的 `<video>` 标签及其对应的源路径，接着调用 `yt_dlp` 来批量下载发现的所有视频资源。