帮我·写一段python爬虫抓取网页数据的代码

import requests
from bs4 import BeautifulSoupurl = 'http://www.example.com'
page = requests.get(url)
soup = BeautifulSoup(page.content, 'html.parser')data = []
for item in soup.findAll('div', class_='item'):
item_data = {}
item_data['title'] = item.find('span', class_='title').text
item_data['price'] = item.find('span', class_='price').text
data.append(item_data)print(data)

相关问题

python爬虫抓取网页数据的代码

当然可以！以下是一个简单的Python爬虫取网页数据的代码示例：

import requests

# 发送HTTP请求获取网页内容
response = requests.get("https://www.example.com")

# 打印网页内容
print(response.text)

这段代码使用了Python的requests库来发送HTTP请求，并通过get方法获取了指定网页的内容。然后使用response.text属性获取到网页的文本内容，并打印出来。

python爬虫抓取网页数据：闲鱼

### 使用Python编写爬虫程序抓取闲鱼网页数据

为了实现这一目标，可以采用多种技术和工具组合。首先，选择合适的库和技术栈至关重要。

#### 技术选型
考虑到效率和易用性，建议使用`requests`库处理HTTP请求，并利用`BeautifulSoup`解析HTML文档。对于更复杂的交互操作，则可考虑引入`selenium`或`playwright`模拟浏览器行为[^2]。

#### 安装所需软件包
在开始之前，需确保已安装必要的Python库：

pip install requests beautifulsoup4 lxml selenium playwright pyecharts-uiautomator2 pocoui

上述命令会安装用于网络请求、DOM解析以及UI自动化测试的相关组件[^3]。

#### 编写基础爬虫脚本
下面是一个简单的例子展示如何构建基本框架：

import requests
from bs4 import BeautifulSoup


def fetch_page(url):
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)',
    }
    
    response = requests.get(url, headers=headers)
    if response.status_code != 200:
        raise Exception(f"Failed to load page {url}")
        
    return response.text


def parse_html(html_content):
    soup = BeautifulSoup(html_content, "lxml")
    items = []
    
    # 假设我们要找的商品列表位于class="item-list"下的<li>元素里
    item_elements = soup.select(".item-list li")

    for element in item_elements:
        title = element.find("h2").get_text(strip=True)
        price = float(element.select_one(".price").text.strip().replace('￥', ''))

        items.append({
            'title': title,
            'price': price
        })
        
    return items


if __name__ == "__main__":
    url = "https://www.xianyu.com/search?keywords=example"
    html = fetch_page(url)
    data = parse_html(html)

    print(data[:5])  # 打印前五个条目作为示例输出

这段代码展示了如何发送GET请求并解析返回的内容，从中抽取感兴趣的信息片段[^1]。

#### 数据分析与可视化
一旦成功收集到足够的样本量之后，就可以运用像PyEcharts这样的第三方库来进行直观化的呈现工作了。例如绘制柱状图比较不同类别商品的价格分布情况等。