from transformers import AutoModel, AutoTokenizer import streamlit as st from streamlit_chat import message st.set_page_config( page_title="ChatGLM-6b 演示", page_icon=":robot:" ) @st.cache_resource def get_model(): tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True) model = AutoModel.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True).half().cuda() model = model.eval() return tokenizer, model MAX_TURNS = 20 MAX_BOXES = MAX_TURNS * 2 def predict(input, max_length, top_p, temperature, history=None): tokenizer, model = get_model() if history is None: history = [] with container: if len(history) > 0: if len(history)>MAX_BOXES: history = history[-MAX_TURNS:] for i, (query, response) in enumerate(history): message(query, avatar_style="big-smile", key=str(i) + "_user") message(response, avatar_style="bottts", key=str(i)) message(input, avatar_style="big-smile", key=str(len(history)) + "_user") st.write("AI正在回复:") with st.empty(): for response, history in model.stream_chat(tokenizer, input, history, max_length=max_length, top_p=top_p, temperature=temperature): query, response = history[-1] st.write(response) return history container = st.container() # create a prompt text for the text generation prompt_text = st.text_area(label="用户命令输入", height = 100, placeholder="请在这儿输入您的命令") max_length = st.sidebar.slider( 'max_length', 0, 4096, 2048, step=1 ) top_p = st.sidebar.slider( 'top_p', 0.0, 1.0, 0.6, step=0.01 ) temperature = st.sidebar.slider( 'temperature', 0.0, 1.0, 0.95, step=0.01 ) if 'state' not in st.session_state: st.session_state['state'] = [] if st.button("发送", key="predict"): with st.spinner("AI正在思考，请稍等........"): # text generation st.session_state["state"] = predict(prompt_text, max_length, top_p, temperature, st.session_state["state"])逐句解析代码

这段代码是一个基于 ChatGLM-6B 模型的 AI 对话系统的 Streamlit 应用程序。它从 transformers 库中导入了 AutoModel 和 AutoTokenizer，以及 Streamlit 库中的 message 函数。然后，它定义了一个用于获取模型和分词器的函数 get_model，并使用 st.cache_resource 装饰器将其缓存，以避免重复加载模型和分词器。接下来，它定义了 MAX_TURNS 和 MAX_BOXES 常量，以及一个 predict 函数，它接受输入、max_length、top_p、temperature 和 history 参数，并返回一个历史记录。predict 函数使用 get_model 函数获取模型和分词器，然后使用 model.stream_chat 方法对输入进行处理，并将输出逐步显示在 Streamlit 应用程序的界面上。最后，它定义了一个包含一个文本区域和一个发送按钮的用户界面，用户可以在文本区域中输入命令，并按下发送按钮将命令发送给 AI。当用户按下发送按钮时，程序将调用 predict 函数来生成 AI 的回复，并将历史记录保存在 st.session_state 中。

相关问题

OSError: We couldn't connect to 'https://huggingface.co' to load this file, couldn't find it in the cached files and it looks like THUDM/chatglm-6b is not the path to a directory containing a file named config.json. Checkout your internet connection or see how to run the library in offline mode at 'https://huggingface.co/docs/transformers/installation#offline-mode'. Traceback: File "C:\Users\SICC\AppData\Roaming\Python\Python310\site-packages\streamlit\runtime\scriptrunner\script_runner.py", line 552, in _run_script exec(code, module.__dict__) File "D:\chatglm\chatglm-6b\web_demos.py", line 77, in <module> st.session_state["state"] = predict(prompt_text, 4096, 1.0, 1.0, st.session_state["state"]) File "D:\chatglm\chatglm-6b\web_demos.py", line 40, in predict tokenizer, model = get_model() File "D:\chatglm\chatglm-6b\web_demos.py", line 31, in get_model tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True) File "C:\Users\SICC\.conda\envs\SICC-CGL\lib\site-packages\transformers\models\auto\tokenization_auto.py", line 634, in from_pretrained config = AutoConfig.from_pretrained( File "C:\Users\SICC\.conda\envs\SICC-CGL\lib\site-packages\transformers\models\auto\configuration_auto.py", line 896, in from_pretrained config_dict, unused_kwargs = PretrainedConfig.get_config_dict(pretrained_model_name_or_path, **kwargs) File "C:\Users\SICC\.conda\envs\SICC-CGL\lib\site-packages\transformers\configuration_utils.py", line 573, in get_config_dict config_dict, kwargs = cls._get_config_dict(pretrained_model_name_or_path, **kwargs) File "C:\Users\SICC\.conda\envs\SICC-CGL\lib\site-packages\transformers\configuration_utils.py", line 628, in _get_config_dict resolved_config_file = cached_file( File "C:\Users\SICC\.conda\envs\SICC-CGL\lib\site-packages\transformers\utils\hub.py", line 443, in cached_file raise EnvironmentError(

这个错误是由于无法连接到Hugging Face的服务器来加载模型文件所致。可能是因为你的网络连接有问题，或者模型文件在缓存中不存在。另外，根据错误信息看起来你使用了一个不正确的模型路径。请确保你提供的模型路径是正确的，并且你的网络连接正常。你可以检查一下网络连接，或者参考Hugging Face的文档了解如何在离线模式下运行库。

Neither PyTorch nor TensorFlow >= 2.0 have been found.Models won't be available and only tokenizers, configurationand file/data utilities can be used. Traceback (most recent call last): File "C:\Users\胡志成\chatgpt_academic\main.py", line 238, in <module> main() File "C:\Users\胡志成\chatgpt_academic\main.py", line 6, in main from request_llm.bridge_all import predict File "C:\Users\胡志成\chatgpt_academic\request_llm\bridge_all.py", line 19, in <module> from .bridge_chatglm import predict_no_ui_long_connection as chatglm_noui File "C:\Users\胡志成\chatgpt_academic\request_llm\bridge_chatglm.py", line 2, in <module> from transformers import AutoModel, AutoTokenizer ImportError: cannot import name 'AutoModel' from 'transformers' (D:\anaconda3\Lib\site-packages\transformers\__init__.py)

在您的代码中出现了多个错误。首先，根据错误提示，您需要安装 PyTorch 或 TensorFlow >= 2.0 中的至少一个，以便使用模型。请按照之前提供的说明安装所需的框架。

第二个错误是在 `main.py` 文件的第 6 行触发的，它无法导入 `request_llm.bridge_all` 模块。这可能是因为该模块文件不存在或路径不正确。请确保该文件存在，并且路径正确。

第三个错误是在 `bridge_chatglm.py` 文件的第 2 行触发的，它无法从 `transformers` 模块中导入 `AutoModel` 和 `AutoTokenizer`。这可能是因为您的 `transformers` 模块版本较旧，不支持这些功能。您可以尝试升级 `transformers` 模块到最新版本，使用以下命令：

pip install --upgrade transformers

如果问题仍然存在，请检查您的环境和依赖项是否正确设置，并确保您的代码和库文件版本兼容。