爬取两个一样的<ul>里的超链接用selenium
时间: 2024-01-24 08:17:50 浏览: 143
使用selenium爬取拉勾网
可以按照如下步骤使用Selenium来爬取两个一样的`<ul>`标签中的超链接:
1. 首先,使用Selenium打开一个网页,例如:
```python
from selenium import webdriver
driver = webdriver.Chrome()
driver.get("https://www.example.com")
```
2. 接下来,找到两个`<ul>`标签的XPath,例如:
```python
first_ul_xpath = "//ul[@class='first-ul']"
second_ul_xpath = "//ul[@class='second-ul']"
```
这里假设第一个`<ul>`标签的class属性为`first-ul`,第二个`<ul>`标签的class属性为`second-ul`。
3. 然后,使用`find_elements_by_xpath`方法找到两个`<ul>`标签下的所有`<a>`标签,例如:
```python
first_links = driver.find_elements_by_xpath(first_ul_xpath + "//a")
second_links = driver.find_elements_by_xpath(second_ul_xpath + "//a")
```
4. 最后,遍历两个列表,获取每个超链接的URL和文本内容,例如:
```python
for link in first_links:
url = link.get_attribute("href")
text = link.text
print(url, text)
for link in second_links:
url = link.get_attribute("href")
text = link.text
print(url, text)
```
这里使用`get_attribute`方法获取超链接的`href`属性,使用`text`属性获取超链接的文本内容。
阅读全文