用python写个爬虫代码,获取网站的关键字
时间: 2024-06-10 08:06:02 浏览: 72
好的,这是一个Python3的爬虫代码示例,使用urllib和BeautifulSoup库获取网站的关键字:
```
from urllib.request import urlopen
from bs4 import BeautifulSoup
url = "https://www.example.com" #要获取关键字的网站
html = urlopen(url).read()
soup = BeautifulSoup(html, features="html.parser")
meta_tags = soup.find_all('meta')
keywords = ""
for meta_tag in meta_tags:
if 'name' in meta_tag.attrs and meta_tag.attrs['name'].lower() == 'keywords':
keywords = meta_tag.attrs['content']
break
print(keywords)
```
这段代码首先使用urllib库中的`urlopen`函数打开网站,并读取html内容。然后,使用BeautifulSoup库解析html内容并通过`find_all`方法找到所有的meta标签。
然后遍历所有的meta标签,找到`name`为`keywords`的标签。最后,通过`content`属性获取关键字。如果没有找到`name`为`keywords`的标签,则关键字为空字符串。
对于其他的网站,只需要修改`url`变量即可获取该网站的关键字。
阅读全文