Python爬虫现成代码

Python爬虫是指使用Python语言编写脚本来从互联网上抓取数据的过程。有许多现成的库可以帮助我们快速地进行网络爬取，其中最流行的是`BeautifulSoup`、`Scrapy`和`Requests`：

1. **BeautifulSoup**：这是一个用于解析HTML和XML文档的强大库，可以方便地查找和提取需要的数据。

2. **Requests**：它是一个HTTP库，用于发送HTTP请求并处理响应，通常作为获取网页内容的第一步。

3. **Scrapy**：这是一个完整的爬虫框架，设计用于高效、可扩展地爬取网站数据，包括自动化登录、分布式爬取等高级功能。

使用现成代码的例子（以BeautifulSoup为例）：

import requests
from bs4 import BeautifulSoup

def spider(url):
    response = requests.get(url)
    soup = BeautifulSoup(response.text, 'html.parser')
    
    # 查找并提取所需数据
    data = soup.find_all('div', class_='example')  # 假设我们需要这个class下的所有元素
    
    for item in data:
        title = item.find('h2').text
        content = item.p.text
        print(title, content)

spider('http://example.com')  # 替换为你想爬取的网站URL