python如何抓取herf=javascript标签
时间: 2023-03-30 10:00:31 浏览: 89
你可以使用 Python 的第三方库 BeautifulSoup 来抓取 href=javascript 标签。具体步骤如下:
1. 安装 BeautifulSoup 库:在命令行中输入 pip install beautifulsoup4。
2. 导入库:在 Python 代码中导入 BeautifulSoup 库,例如:from bs4 import BeautifulSoup。
3. 获取 HTML 页面:使用 Python 的 requests 库获取需要抓取的页面,例如:response = requests.get(url)。
4. 解析 HTML 页面:使用 BeautifulSoup 库解析 HTML 页面,例如:soup = BeautifulSoup(response.text, 'html.parser')。
5. 查找 href=javascript 标签:使用 find_all 方法查找 href=javascript 标签,例如:links = soup.find_all('a', href='javascript:void()')。
6. 获取链接地址:使用 get 方法获取链接地址,例如:link = link.get('href')。
注意:在抓取页面时需要注意网站的反爬虫机制,不要频繁请求同一个页面,否则可能会被封禁 IP。
相关问题
python如何抓取标签<a href=javascript>
可以使用 Python 的 requests 和 BeautifulSoup 库来抓取标签<a href=javascript>。具体步骤如下:
1. 使用 requests 库发送 HTTP 请求,获取网页源代码。
2. 使用 BeautifulSoup 库解析网页源代码,找到需要抓取的标签。
3. 使用 BeautifulSoup 库提供的方法获取标签的属性值或文本内容。
示例代码如下:
```python
import requests
from bs4 import BeautifulSoup
# 发送 HTTP 请求,获取网页源代码
url = 'https://www.example.com'
response = requests.get(url)
html = response.text
# 解析网页源代码,找到需要抓取的标签
soup = BeautifulSoup(html, 'html.parser')
a_tags = soup.find_all('a', href='javascript')
# 获取标签的属性值或文本内容
for a_tag in a_tags:
print(a_tag['href'])
```
注意:在实际抓取过程中,可能需要添加一些请求头信息、处理网页编码等操作。
selenuim点击a标签被href="javascript"阻止,怎么解决
如果 `href` 的值是 `"javascript"`,那么点击链接时会执行 JavaScript 脚本,而不是打开一个新页面。如果你使用 Selenium 点击这样的链接,它只会执行 JavaScript 脚本,但不会在浏览器中打开一个新页面。如果你想打开链接所指向的页面,可以考虑使用 `execute_script()` 方法来模拟点击链接并执行其中的 JavaScript 脚本,例如:
```python
link = driver.find_element_by_xpath("//a[@href='javascript']")
driver.execute_script("arguments[0].click();", link)
```
这将模拟点击链接并执行其中的 JavaScript 脚本,从而打开所指向的页面。