编写程序对一段文本，统计其中所有不同单词的个数用python

可以使用Python中的split方法将文本分割为单词，并使用set函数来获取唯一的单词列表，最后使用len函数获取单词的个数。以下是示例代码：

text = "This is a sample text to count unique words in Python"
words = set(text.split())
num_unique_words = len(words)
print(num_unique_words)

输出结果为：9

相关问题

请编写程序，对一段英文文本，统计其中所有不同单词的个数，以及词频最大的前10%的单词。

### 回答1：
这是一个需要编写程序的任务，具体步骤如下：

1. 读取英文文本文件，将其转化为字符串。

2. 将字符串按照空格分割成单词列表。

3. 使用字典来统计每个单词出现的次数。

4. 对字典按照值进行排序，找出出现次数最多的前10%的单词。

5. 输出不同单词的个数和词频最大的前10%的单词。

下面是一个Python的示例代码：

import re
from collections import Counter

# 读取文本文件
with open('text.txt', 'r') as f:
    text = f.read()

# 将字符串按照空格分割成单词列表
words = re.findall(r'\b\w+\b', text.lower())

# 使用Counter统计每个单词出现的次数
word_counts = Counter(words)

# 计算出现次数最多的前10%的单词
top_words = dict(word_counts.most_common(int(len(word_counts) * .1)))

# 输出不同单词的个数和词频最大的前10%的单词
print(f"不同单词的个数为：{len(word_counts)}")
print(f"词频最大的前10%的单词为：{top_words}")

这个程序使用了正则表达式来将字符串按照空格分割成单词列表，使用了Counter来统计每个单词出现的次数，使用了字典来存储出现次数最多的前10%的单词。最后输出了不同单词的个数和词频最大的前10%的单词。

### 回答2：
这个问题需要使用编程语言来实现。以下是一个Python程序示例，用于统计一段英文文本中不同单词的个数，以及频率最大的前10%的单词。

import re
from collections import Counter

def word_count(text):
    words = re.findall(r'\b\w+\b', text.lower())
    return Counter(words)

def top_words(percent, word_count_dict):
    n = len(word_count_dict)
    k = int(n * percent / 100)
    return word_count_dict.most_common(k)

if __name__ == '__main__':
    text = 'The quick brown fox jumps over the lazy dog. The quick brown fox jumps over the lazy dog again and again.'
    wc = word_count(text)
    print('Number of distinct words:', len(wc))
    top_words_list = top_words(10, wc)
    print('Top Words:')
    for i, (word, count) in enumerate(top_words_list):
        print('{}: {} ({})'.format(i+1, word, count))

这个程序使用正则表达式和collections库来计算单词计数。首先，我们定义了一个word_count函数，它从给定的文本中提取所有单词，并使用Counter对象计算它们的出现次数。然后，我们定义了一个top_words函数，它根据百分比计算出需要取多少个单词，并返回出现最频繁的前k个单词和它们的频率计数。最后，我们在程序的main函数中对这两个函数进行调用，并输出结果。

这个程序可以处理任何英文文本，并且可以很容易地扩展到其他语言。对于一些更复杂的任务，例如处理单词的语法和语义等方面的问题，可能需要使用更高级的自然语言处理技术来处理。

### 回答3：
这个问题可以用Python语言来解决。

# 读取文本文件
with open('file.txt') as f:
text = f.read()

# 去除标点符号和换行符
text = text.lower() # 统一转换为小写
for ch in '!"#$%&\'()*+,-./:;<=>?@[\\]^_`{|}~\n':
text = text.replace(ch, ' ')

# 将文本分割成单词列表
words = text.split()

# 统计单词出现的次数
word_count = {}
for word in words:
if word in word_count:
word_count[word] += 1
else:
word_count[word] = 1

# 打印出所有不同的单词个数
print(f'不同单词个数为：{len(word_count)}')

# 打印出词频最大的前10%的单词
sorted_words = sorted(word_count.items(), key=lambda x: x[1], reverse=True)
top_words = [x[0] for x in sorted_words[:int(len(sorted_words)*0.1)]]
print(f'词频最大的前10%的单词为：{top_words}')

代码解析：
1. 首先使用with打开文本文件，然后使用read()方法读取文件内容到内存；
2. 将文本内容转换为小写，并去除标点符号和换行符；
3. 使用split()方法将文本内容分割成单词列表；
4. 使用字典word_count统计每个单词出现的次数；
5. 打印出所有不同的单词个数，即字典word_count的长度；
6. 根据单词出现次数从大到小排序，选出词频最大的前10%的单词，并打印出来。

需要注意的是，这个程序只是一个简单的示例，对于英语词汇丰富的文本，这个程序可能不够准确。例如，它没有考虑到停用词（如a，an，the等），也没有考虑“词根还原”（如将dogs和dog都看作是dog这个词）。因此，在实际应用中还需要进一步优化。

请编写py3程序，对一段英文文本，统计其中所有不同单词的个数，以及词频最大的前10%的单词。 所谓“单词”，是指由不超过80个单词字符组成的连续字符串，但长度超过15的单词将只截取保留前15个单词字符。而合法的“单词字符”为大小写字母、数字和下划线，其它字符均认为是单词分隔符。

好的，以下是一段实现你所需功能的 Python 3 代码，可以将其保存为一个.py文件并执行：

import re
from collections import Counter

def get_words(text):
    # 格式化文本，将所有非单词字符替换为空格
    text = re.sub(r'\W+', ' ', text)
    # 将文本中所有单词转换为小写
    words = text.lower().split()
    # 截取长度超过15的单词
    words = [w[:15] if len(w) > 15 else w for w in words]
    return words

def main():
    with open('text.txt', 'r') as f:
        text = f.read()
    words = get_words(text)
    word_count = Counter(words)
    total_words = len(word_count)
    top_words_count = int(total_words * 0.1)
    top_words = word_count.most_common(top_words_count)
    print(f'Total words: {total_words}')
    print(f'Top {top_words_count} words:')
    for word, count in top_words:
        print(f'{word}: {count}')

if __name__ == '__main__':
    main()

这段代码使用了正则表达式和Python标准库中的`Counter`类来完成你所需的功能。具体来说，它定义了一个`get_words`函数来将文本中的单词提取出来并进行格式化处理，然后使用`Counter`类来统计单词出现的频率，并找出出现频率最高的前10%的单词。最后，它输出了总单词数和词频最高的前10%单词。

请将代码中的`text.txt`替换为你要统计的文本文件名，并确保该文件与.py文件在同一目录中。