python提取网页关键词

在Python中，提取网页关键词通常涉及网络爬虫技术，尤其是使用像BeautifulSoup、Scrapy等库来解析HTML文档，然后利用自然语言处理工具如NLTK或spaCy来识别关键词。以下是一个简单的步骤概述：

1. **安装必要的库**：首先需要安装`requests`, `beautifulsoup4`, 和 `nltk` 或者 `spaCy`。

pip install requests beautifulsoup4 nltk spacy

2. **获取网页内容**：使用`requests`库发送HTTP请求并获取网页源码。

import requests
url = "http://example.com"
response = requests.get(url)
html_content = response.text

3. **解析HTML**：使用BeautifulSoup解析HTML结构，找到包含文本信息的部分，如`<p>`标签内的文字。

from bs4 import BeautifulSoup
soup = BeautifulSoup(html_content, 'html.parser')
text_blocks = soup.find_all(['p', 'h1', 'h2', 'h3']) # 根据实际需要调整标签
content = [block.get_text() for block in text_blocks]

4. **关键词提取**：对获取到的文本内容进行预处理（分词、去除停用词），然后可以使用NLTK的`PorterStemmer`或`TextBlob`等方法提取关键词。

import nltk
from nltk.corpus import stopwords
from nltk.tokenize import word_tokenize

nltk.download('stopwords')  # 如果尚未下载
stop_words = set(stopwords.words('chinese'))  # 可选择其他语言
lemmatizer = nltk.stem.PorterStemmer()

def extract_keywords(text):
    tokens = word_tokenize(text)
    filtered_tokens = [token.lower() for token in tokens if token.isalpha() and token not in stop_words]
    stemmed_tokens = [lemmatizer.stem(token) for token in filtered_tokens]
    return stemmed_tokens

keywords = [extract_keywords(block) for block in content]

5. **汇总结果**：将所有段落的关键词合并，并去重。

all_keywords = set().union(*keywords)
sorted_keywords = sorted(all_keywords)