python爬取q房网数据教程

以下是爬取q房网数据的简单教程：

1. 安装必要的库

首先，你需要安装`requests`和`beautifulsoup4`这两个Python库。你可以使用以下命令来安装它们：

pip install requests
pip install beautifulsoup4

2. 确定目标URL

我们需要找到目标URL，即包含我们想要爬取数据的网页。假设我们要爬取q房网的深圳租房信息，我们可以使用以下URL：

https://shenzhen.qfang.com/rent/f0

3. 发送请求

接下来，我们需要向目标URL发送请求，以获取HTML代码。我们可以使用`requests`库中的`get()`方法来发送GET请求并获取响应。

import requests

url = 'https://shenzhen.qfang.com/rent/f0'
response = requests.get(url)
html = response.text

4. 解析HTML代码

现在，我们已经成功地获取了HTML代码。接下来，我们需要使用`beautifulsoup4`库来解析HTML代码，以便我们可以提取出我们需要的数据。

from bs4 import BeautifulSoup

soup = BeautifulSoup(html, 'html.parser')

5. 提取数据

我们可以使用`beautifulsoup4`库中的各种方法来提取数据。例如，如果我们想要提取所有租房信息的标题和价格，我们可以使用以下代码：

titles = []
prices = []

for item in soup.find_all('div', {'class': 'list-item'}):
    title = item.find('a').text.strip()
    price = item.find('p', {'class': 'price'}).text.strip()
    titles.append(title)
    prices.append(price)

在上面的代码中，我们首先使用`find_all()`方法找到所有的租房信息元素，然后使用`find()`方法找到每个元素的标题和价格，并将它们添加到相应的列表中。

6. 存储数据

最后，我们可以将提取的数据存储在本地文件或数据库中。例如，我们可以将标题和价格存储在一个CSV文件中：

import csv

with open('qfang.csv', 'w', newline='', encoding='utf-8') as f:
    writer = csv.writer(f)
    writer.writerow(['Title', 'Price'])
    for i in range(len(titles)):
        writer.writerow([titles[i], prices[i]])

这样，我们就成功地爬取了q房网的租房信息并将其存储在CSV文件中。