用python爬取静态数据的代码

在Python中，爬取静态网页的数据通常使用requests库来发送HTTP请求获取网页内容，然后使用BeautifulSoup库解析HTML。以下是一个简单的示例：

import requests
from bs4 import BeautifulSoup

# 发送GET请求获取网页内容
url = 'https://example.com'  # 替换为你想要爬取的网站地址
response = requests.get(url)

# 检查请求是否成功（状态码200表示成功）
if response.status_code == 200:
    # 使用BeautifulSoup解析HTML内容
    soup = BeautifulSoup(response.text, 'html.parser')
    
    # 找到需要的数据，例如所有段落(p标签)
    data_paragraphs = soup.find_all('p')

    # 遍历并打印每个段落的内容
    for paragraph in data_paragraphs:
        print(paragraph.get_text())

else:
    print(f"请求失败，状态码：{response.status_code}")

相关问题

python爬取静态网页的数据

要爬取静态网页的数据，你可以使用Python中的requests和BeautifulSoup库。

首先，使用requests库向网页发送HTTP请求并获取响应：

import requests

url = 'http://example.com'
response = requests.get(url)

# 检查响应是否成功
if response.status_code == 200:
    html = response.text
else:
    print('请求失败')

然后，使用BeautifulSoup库对HTML代码进行解析和提取：

from bs4 import BeautifulSoup

soup = BeautifulSoup(html, 'html.parser')

# 提取页面中的标题
title = soup.title.text

# 提取页面中的所有链接
links = []
for link in soup.find_all('a'):
    links.append(link.get('href'))

# 提取页面中的所有段落文本
paragraphs = []
for p in soup.find_all('p'):
    paragraphs.append(p.text)

最后，你可以对获取到的数据进行处理和存储。

python爬取静态网页多页数据

要爬取静态网页多页数据，可以使用Python的requests和BeautifulSoup库。以下是一个简单的示例代码：

import requests
from bs4 import BeautifulSoup

url_template = 'http://example.com/page/{}/'

for page in range(1, 11): # 爬取1到10页的数据
    url = url_template.format(page)
    response = requests.get(url)
    soup = BeautifulSoup(response.text, 'html.parser')
    # 解析数据
    # ...

这里假设目标网页的URL格式为`http://example.com/page/{页码}/`，通过循环遍历1到10页的URL，使用requests获取网页内容，然后使用BeautifulSoup解析数据。在解析数据时，可以根据网页的HTML结构使用find、find_all等方法获取需要的数据。