用python写出爬取淘宝网页的代码

好的，以下是使用Python爬取淘宝网页的代码示例：

import requests
from bs4 import BeautifulSoup

url = 'https://www.taobao.com'

# 构造请求头，模拟浏览器访问
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'
}

# 发送请求，获取页面
response = requests.get(url, headers=headers)
html = response.text

# 解析网页，并提取数据
soup = BeautifulSoup(html, 'html.parser')

# 获取所有商品的名称和价格
goods = soup.find_all('div', class_='item-title')
prices = soup.find_all('div', class_='item-price')

for i in range(len(goods)):
    print(goods[i].text + '的价格是' + prices[i].text)

此代码可以爬取淘宝主页上的商品名称和价格。需要注意的是，在爬取淘宝等电商网站时，需要模拟浏览器的请求头，否则容易被识别为机器人并被封禁。

相关问题

用Python写一个爬取网页视频代码

由于您没有提供具体的网页和视频链接，以下是一个基本的 Python 爬取视频的代码示例：

import requests

url = "https://example.com/video.mp4" # 替换成实际的视频链接
response = requests.get(url, stream=True)

with open("video.mp4", "wb") as f: # 保存为本地文件，文件名为 video.mp4
    for chunk in response.iter_content(chunk_size=1024):
        if chunk:
            f.write(chunk)

这段代码使用 requests 库发送 GET 请求获取视频数据，并以二进制流的形式保存到本地文件中。您需要将 `url` 替换成实际的视频链接，执行代码即可下载视频。

python使用selenium爬取网页内容代码

以下是使用Python的Selenium库爬取网页内容的代码示例：

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait as wait

# 设置Chrome浏览器选项
chrome_options = Options()
chrome_options.add_argument("--headless")  # 无头模式，可选
chrome_options.add_argument("--disable-gpu")  # 禁用GPU加速，可选

# 创建Chrome浏览器