利用bs4爬取链家数据

bs4是一个Python第三方模块，用于解析HTML和XML等网页文档。利用bs4可以轻松地爬取链家数据。

爬取链家数据的步骤如下：
1. 发送HTTP请求。使用Python的requests模块向链家网站发送一个请求，获取到需要爬取的网页的HTML代码。
2. 解析HTML代码。使用bs4模块，将获取到的HTML代码解析成对应的Python对象，使数据得以被正确提取。
3. 定位需要爬取的数据。根据HTML代码的特点，通过bs4模块定位需要爬取的数据的标签和属性。
4. 提取需要爬取的数据。根据定位到的数据标签和属性，使用bs4模块提取需要爬取的数据。
5. 存储数据。将提取到的数据以文本或者表格形式存储下来。

例如，如果要爬取深圳市南山区二手房的房价信息，可以通过以下代码实现：

import requests
from bs4 import BeautifulSoup

# 发送请求，获取HTML代码
url = 'https://sz.lianjia.com/ershoufang/nanshanqu/pg1/'
r = requests.get(url)
html_doc = r.content

# 解析HTML代码
soup = BeautifulSoup(html_doc, 'html.parser')

# 定位需要爬取的数据
house_info_list = soup.find_all('div', class_='houseInfo')
price_list = soup.find_all('div', class_='unitPrice')

# 提取数据
for i in range(len(house_info_list)):
house_info = house_info_list[i].get_text().strip()
price = price_list[i].get_text().strip()

# 存储数据
print('房屋信息：%s，价格：%s' % (house_info, price))

通过以上代码，我们就能够爬取到南山区二手房的房价信息，并将其输出到控制台上。当然，我们也可以将爬取到的信息存储到本地文件中，以便后续使用。