import requests from bs4 import BeautifulSoup import pandas as pd import xlrd # 读取Excel文件中的小区名字 def read_excel(filename): data = pd.read_excel(filename) return data['小区名'].tolist() # 爬取二手房数据 def crawl_data(area): print(area) print('1') url = 'https://wx.ke.com/ershoufang/rs'+area # 无锡二手房页面 headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36 Edge/16.16299' } params = { 'kw': area } response = requests.get(url, headers=headers, params=params) soup = BeautifulSoup(response.text, 'html.parser') # 解析页面数据 result = [] house_list = soup.find_all('div', class_='info clear') for house in house_list: title = house.find('div', class_='title').text.strip() address = house.find('div', class_='address').text.strip() house_Info = house.find('div', class_='houseInfo').text.strip() priceInfo = house.find('div', class_='priceInfo').text.strip() followInfo = house.find('div', class_='followInfo').text.strip() result.append({ 'title': title, 'address': address, 'house_info':house_Info, 'priceInfo':priceInfo, 'followInf':followInfo }) return result # 将数据保存到Excel文件中 def save_to_excel(data, filename): df = pd.DataFrame(data) df.to_excel(filename, index=False) # 主函数 if __name__ == '__main__': areas = read_excel('小区名.xlsx') for area in areas: print('正在爬取：', area) data = crawl_data(area) save_to_excel(data, area + '.xlsx') print('爬取完成！')

这段代码是一个简单的爬虫程序，用来爬取指定小区的二手房信息，并将数据保存到 Excel 文件中。程序首先通过读取 Excel 文件中的小区名字，依次对每个小区进行爬取。爬取时，程序将小区名字作为参数拼接到目标 URL 中，然后使用 requests 库发送 GET 请求获取 HTML 页面，再使用 BeautifulSoup 库解析 HTML 页面，提取出需要的信息，并将结果保存到一个列表中。最后，程序将列表中的数据保存到 Excel 文件中。