拓展训练:请编写程序,对一段英文文本,统计其中所有不同单词的个数,以及词频最大的前10%的单词。 所谓“单词”,是指由不超过80个单词字符组成的连续字符串,但长度超过15的单词将只截取保留前15个单词字符。而合法的“单词字符”为大小写字母、数字和下划线,其它字符均认为是单词分隔符。 输入格式: 输入给出一段非空文本,最后以符号#结尾。输入保证存在至少10个不同的单词。 输出格式: 在第一行中输出文本中所有不同单词的个数。注意“单词”不区分英文大小写,例如“PAT”和“pat”被认为是同一个单词。 随后按照词频递减的顺序,按照词频:单词的格式输出词频最大的前10%的单词。若有并列,则按递增字典序输出。 输入样例: This is a test. The word "this" is the word with the highest frequency. Longlonglonglongword should be cut off, so is considered as the same as longlonglonglonee. But this_8 is different than this, and this, and this...# this line should be ignored. 输出样例:(注意:虽然单词the也出现了4次,但因为我们只要输出前10%(即23个单词中的前2个)单词,而按照字母序,the排第3位,所以不输出。) 23 5:this 4:is
时间: 2024-02-21 19:01:52 浏览: 177
统计各种单词数
下面是Python实现的代码:
```python
import re
# 读入文本
text = ''
while True:
line = input().strip()
if line == '#':
break
text += line.lower() + ' '
# 用正则表达式提取单词
words = re.findall(r'\b\w{1,80}\b', text)
# 统计单词频数
word_dict = {}
for word in words:
if len(word) > 15:
word = word[:15]
if word in word_dict:
word_dict[word] += 1
else:
word_dict[word] = 1
# 输出不同单词数
print(len(word_dict))
# 输出词频最大的前10%的单词
n = int(len(word_dict) * 0.1)
top_words = sorted(word_dict.items(), key=lambda x: (-x[1], x[0]))[:n]
for i, (word, freq) in enumerate(top_words):
print(f"{i+1}:{word}:{freq}")
```
代码思路:
首先读入文本,将所有的单词转换为小写,并用正则表达式提取出单词。然后遍历单词列表,统计每个单词的频数,存储在字典中。接下来,按照字典序和词频排序,输出前10%的单词。注意,题目要求词频相同的单词按字典序递增输出,所以在排序时要同时考虑词频和字典序。
阅读全文