写一个不使用任何库的、不使用内置函数、基于内存的倒排索引Python程序,实现输入一个中文文档集合,输出词的词频以及索引
时间: 2024-04-30 18:21:03 浏览: 119
python内置函数大全
好的,下面是一个简单的基于内存的倒排索引Python程序:
```python
import re
def build_inverted_index(docs):
inverted_index = {}
for doc_id, doc_content in enumerate(docs):
words = set(re.findall(r'\w+', doc_content))
for word in words:
if word not in inverted_index:
inverted_index[word] = {'freq': 1, 'docs': {doc_id}}
else:
inverted_index[word]['freq'] += 1
inverted_index[word]['docs'].add(doc_id)
return inverted_index
def main():
docs = [
'这是第一篇文档,包含一些词语。',
'这是第二篇文档,也包含一些词语。',
'这是第三篇文档,和前两篇有些不同的词语。',
'这是第四篇文档,只包含一些简单的词汇。'
]
inverted_index = build_inverted_index(docs)
for word, info in inverted_index.items():
print(f'Word: {word}, Frequency: {info["freq"]}, Docs: {info["docs"]}')
if __name__ == '__main__':
main()
```
程序首先定义了一个`build_inverted_index`函数,它接受一个文档集合作为输入,并返回一个倒排索引字典。在函数中,我们首先遍历每个文档,并使用正则表达式提取出其中所有的单词。然后,对于每个单词,我们检查它是否已经出现在倒排索引中,如果是,我们将更新该单词的出现频率和文档集合;否则,我们将创建一个新的倒排索引项。
在程序的`main`函数中,我们定义了一个简单的文档集合,并使用`build_inverted_index`函数构建了倒排索引。最后,我们遍历倒排索引,输出每个单词的词频以及文档集合。
需要注意的是,这个程序并不是非常健壮,它假定输入的文档集合已经经过了预处理,并且没有重复的文档。在实际使用中,你可能需要对输入进行更多的检查和处理。
阅读全文