利用selenium爬取网易新闻
时间: 2023-10-19 19:06:57 浏览: 109
以下是利用selenium爬取网易新闻的示例代码:
```python
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.common.action_chains import ActionChains
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
# 创建一个chrome浏览器实例
driver = webdriver.Chrome()
# 访问网易新闻首页
driver.get("https://www.163.com/")
# 等待页面加载完成
wait = WebDriverWait(driver, 10)
wait.until(EC.presence_of_element_located((By.XPATH, "//div[@class='ns_area list']")))
# 获取新闻列表元素
news_list = driver.find_elements(By.XPATH, "//div[@class='ns_area list']//a")
# 打印新闻标题和链接
for news in news_list:
print(news.get_attribute("title"))
print(news.get_attribute("href"))
# 关闭浏览器实例
driver.quit()
```
该代码通过创建一个Chrome浏览器实例,访问网易新闻首页,并等待页面加载完成。然后使用selenium的定位方法,获取新闻列表元素,并输出每个新闻的标题和链接。最后关闭浏览器实例。
阅读全文