python爬虫爬58代码

Python爬虫用于从网站上抓取数据，比如在58同城这类房产信息平台抓取房源信息。这里是一个基本的示例，展示如何使用Python的requests库获取网页内容，然后BeautifulSoup库解析HTML结构：

# 导入必要的库
import requests
from bs4 import BeautifulSoup

def crawl_58(url):
    # 发送GET请求获取页面内容
    response = requests.get(url)
    
    # 检查请求是否成功
    if response.status_code == 200:
        # 使用BeautifulSoup解析HTML
        soup = BeautifulSoup(response.text, 'html.parser')
        
        # 定义要抓取的信息标签，比如房屋标题和价格
        title_tag = soup.find_all('div', class_='house-title')  # 这里假设标题在class为house-title的div中
        price_tag = soup.find_all('span', class_='price')      # 同理，价格在class为price的span中
        
        for i in range(len(title_tag)):
            title = title_tag[i].get_text()
            price = price_tag[i].get_text()
            print(f"标题: {title}, 价格: {price}")
    else:
        print("请求失败")

# 调用函数，爬取指定URL的数据
crawl_58('https://bj.58.com/chuzu/')  # 将实际的URL替换为你想要爬取的58同城页面地址