用python写一段网页爬虫代码

你好，我是 C 知道，以下是回答：

可以使用 Python 的 requests 和 BeautifulSoup 库来编写一个简单的网页爬虫。首先，使用 requests 库发送 HTTP 请求获取网页内容，然后使用 BeautifulSoup 库解析 HTML 标签，提取所需的信息。

以下是一个示例代码：

import requests
from bs4 import BeautifulSoup

url = 'https://www.example.com'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')

# 提取网页标题
title = soup.title.string
print(title)

# 提取所有链接
links = soup.find_all('a')
for link in links:
    print(link.get('href'))

当然，具体的爬虫代码需要根据不同的网站和需求进行调整。

相关问题

用python写一段网页爬虫代码 爬取电影

以下是一个简单的 Python 代码片段，可以爬取电影网站的电影信息：

import requests
from bs4 import BeautifulSoup

url = 'https://www.imdb.com/chart/top'

response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')

movies = soup.select('td.titleColumn')
crew = [a.attrs.get('title') for a in soup.select('td.titleColumn a')]
ratings = [b.attrs.get('data-value') for b in soup.select('td.posterColumn span[name="ir"]')]

for i in range(0, len(movies)):
    print(f"{i+1}. {movies[i].text.strip()} ({crew[i]}) - Rating: {ratings[i]}")

这个代码片段使用 requests 库发送 HTTP 请求并获取网页内容，然后使用 BeautifulSoup 库解析 HTML 代码。它从 IMDb 网站中获取了电影的标题、演职人员和评级，并将它们打印在控制台中。你可以根据需要进行修改和优化。

用python写一段电影爬虫代码爬取影片 要求每段都带注释

好的，以下是一段基于Python的电影爬虫代码，注释已经加在代码中了，希望能帮到你！

import requests
from bs4 import BeautifulSoup

# 爬取的网站地址
url = 'https://www.imdb.com/chart/top/'

# 发送get请求获取网页内容
response = requests.get(url)

# 解析网页内容
soup = BeautifulSoup(response.content, 'html.parser')

# 获取电影列表
movie_list = soup.select('.lister-list tr')

# 遍历电影列表，提取电影信息
for movie in movie_list:
    # 获取电影排名
    rank = movie.find('td', class_='titleColumn').get_text().strip().split('.')[0]
    # 获取电影名称
    title = movie.find('td', class_='titleColumn').find('a').get_text()
    # 获取电影评分
    rating = movie.find('td', class_='ratingColumn').get_text().strip()

    # 输出电影信息
    print(rank, title, rating)

这段代码会爬取IMDb电影排行榜的前250部电影，并输出每部电影的排名、名称和评分。你可以根据需要对代码进行修改，比如改变爬取的网站地址、提取其他的电影信息等。