爬取整个网站的文字内容，从中选出关键词，输出含关键词的原文和网址，Python代码

爬取整个网站的文字内容并从中选出关键词，通常需要执行以下步骤：

1. 使用Python的库，如`requests`来获取网站内容。
2. 利用`BeautifulSoup`库解析HTML文档，提取网页中的文字。
3. 使用分词工具如`jieba`进行中文分词（如果是英文则不需要分词）。
4. 应用词频统计或TF-IDF等算法选出关键词。
5. 输出包含关键词的原文和网址。

以下是一个简单的Python代码示例，用于爬取网站内容并提取关键词：

import requests
from bs4 import BeautifulSoup
import jieba
from collections import Counter

# 假设我们已经有了一个网站URL
url = 'http://example.com'

# 发送HTTP请求
response = requests.get(url)
response.encoding = response.apparent_encoding  # 确保编码正确

# 解析网页
soup = BeautifulSoup(response.text, 'html.parser')
text = soup.get_text()  # 提取网页中的所有文字

# 分词
words = jieba.cut(text)
words = [word for word in words if len(word) > 1]  # 过滤掉单字

# 统计词频
word_counts = Counter(words)

# 选出最常见的5个词作为关键词
keywords = word_counts.most_common(5)

# 输出结果
for keyword, freq in keywords:
    print(f"关键词: {keyword}, 频次: {freq}, 网址: {url}")

请注意，这个代码仅作为示例，实际使用时需要考虑网站的robots.txt文件规定、爬虫的礼貌性、爬取速度限制、异常处理、编码问题和安全性等。特别是对于大规模的网站爬取，还需要考虑分布式爬虫和遵守法律法规的问题。