pychram用selenium爬取https://fangjia.gotohui.com/房价信息保存为house.csv
时间: 2024-01-30 08:03:21 浏览: 153
好的,首先需要安装selenium和chromedriver。可以通过以下命令在命令行中安装:
```
pip install selenium
```
然后下载对应版本的chromedriver,下载地址:https://sites.google.com/a/chromium.org/chromedriver/downloads
将下载的chromedriver.exe文件放在你的Python环境变量中的Scripts目录下。
接下来就可以使用以下代码来爬取https://fangjia.gotohui.com/网站的房价信息,保存为house.csv文件:
```python
from selenium import webdriver
import csv
# 设置Chrome浏览器驱动的路径
driver_path = r"C:\Users\Administrator\AppData\Local\Programs\Python\Python38-32\Scripts\chromedriver.exe"
# 创建Chrome浏览器驱动
driver = webdriver.Chrome(driver_path)
# 打开网页
driver.get("https://fangjia.gotohui.com/")
# 获取表格数据
table = driver.find_element_by_xpath('//table[@class="table table-bordered table-hover"]')
rows = table.find_elements_by_xpath('.//tr')
# 保存数据到CSV文件
with open('house.csv', mode='w', newline='') as file:
writer = csv.writer(file)
for row in rows:
cols = row.find_elements_by_xpath('.//td')
row_data = []
for col in cols:
row_data.append(col.text)
writer.writerow(row_data)
# 关闭浏览器
driver.quit()
```
运行上述代码,将会在当前路径下生成一个名为house.csv的文件,里面包含了网站上的房价信息。
阅读全文