使用selenium登录当当网https://www.dangdang.com/,在搜索栏输入“科幻”进行搜索,然后爬取书籍名称、价格以及评论数,输出即可
时间: 2024-04-04 13:31:18 浏览: 133
爬取当当网实际图书网站数据
好的,以下是Python代码实现,需要安装selenium和Chrome浏览器驱动:
```python
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
# 启动Chrome浏览器
driver = webdriver.Chrome()
# 打开当当网首页
driver.get("http://www.dangdang.com/")
# 登录
login_link = driver.find_element_by_link_text("请登录")
login_link.click()
username_input = driver.find_element_by_name("username")
username_input.send_keys("your_username")
password_input = driver.find_element_by_name("password")
password_input.send_keys("your_password")
password_input.send_keys(Keys.RETURN)
# 搜索“科幻”并进入搜索结果页面
search_input = driver.find_element_by_name("key_S")
search_input.send_keys("科幻")
search_input.send_keys(Keys.RETURN)
# 爬取书籍名称、价格和评论数
books = driver.find_elements_by_class_name("name")
prices = driver.find_elements_by_class_name("price_n")
comments = driver.find_elements_by_class_name("num")
for i in range(len(books)):
book_name = books[i].text
price = prices[i].text
comment = comments[i].text
print(book_name, price, comment)
# 关闭浏览器
driver.quit()
```
注意替换代码中的`your_username`和`your_password`为你自己的当当网账号。
阅读全文