构建文档搜索工具：使用sentence transformers和chatglm技术

资源摘要信息:"本节课程主要介绍了如何利用人工智能中的自然语言处理技术，结合sentence transformers和chatglm模型，开发出一个文档搜索工具。课程以命令行形式展示，具体实现代码包含在名为demo.py的文件中。 首先，我们了解到该工具主要采用命令行界面运行。在demo.py文件中，提供了通过自然语言提问来获取相关文档信息的功能。代码中包含了一个关键的函数search_result，该函数可以接收一个字符串类型的参数question_str，也就是用户的查询问题。例如，在描述中提到的查询问题"大学生创业有什么补贴"，通过调用search_result函数，将返回与此问题相关的搜索结果和数据。 为了运行这个搜索工具，需要将用户自己的文件夹路径设置为global_dir，这样才能正确地加载和搜索用户存储的政策归档文件。代码中的global_dir = "政策归档文件"是示例代码，需要用户根据实际情况修改，比如将其设置为自己的文件夹路径。 此外，该工具还提供了web端的访问方式。要运行web端的程序，需要使用streamlit工具，并在命令行中运行"streamlit run web_ui.py --server.fileWatcherType none"。通过这种方式，用户可以通过网页界面进行操作，而不需要直接处理命令行。 课程中还强调了使用sentence transformers和chatglm这两个模型来实现搜索功能。sentence transformers是一种基于Transformer的模型，主要用于处理句子级别的嵌入表示，适合用于文本相似度匹配等任务。chatglm则是由腾讯AI Lab提出的一种生成式预训练语言模型，擅长理解和生成自然语言文本。这两种模型的结合，使得文档搜索工具能够更准确地理解和处理自然语言查询，并在大量文档中快速找到相关性最高的文档。 本节课程主要涉及的知识点包括人工智能、自然语言处理、Transformer模型、命令行操作以及streamlit工具的使用。对于想要深入了解或开发类似文档搜索工具的开发者来说，本节课程的内容是十分有价值的。" 【标题】:"人工智能-自然语言处理-基于sentence transformers和chatglm实现的文档搜索工具" 【描述】:"命令行形式 demo.py文件里面 if __name__ == "__main__": global_dir = "政策归档文件" # 你自己的文件夹 kl = KnowLedge(global_dir=global_dir) res, data = kl.search_result(question_str="大学生创业有什么补贴") # 你想问什么呢 print(res) print(data) web端 注意修改code-21行的代码global_dir = "政策归档文件" streamlit run web_ui.py --server.fileWatcherType none" 【标签】:"人工智能 自然语言处理 transformers chatglm" 【压缩包子文件的文件名称列表】: DocumentSearch-main