self-instruct

Self-instruct是一种通过自我生成指令数据并使用它进行引导来提高语言模型的指令遵循能力的方法。斯坦福科研人员引入了self-instruct框架，在没有人工标注的情况下，通过自我迭代进化来提高指令遵循能力，并取得了与InstructGPT相当的性能，相比原始GPT3提升了33%。他们还发布了自生成的指令数据集，以促进对指令调优的研究。这种方法被证明是一种简单有效的方式，可以提升语言模型在零样本和小样本泛化能力上的表现。<span class="em">1</span><span class="em">2</span><span class="em">3</span>
#### 引用[.reference_title]
- *1* *2* [自驱力超强的羊驼？斯坦福微调LLaMa](https://blog.csdn.net/qq_21139827/article/details/129535415)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"]
- *3* [用GPT-4做大模型指令微调，新任务零样本性能再提升](https://download.csdn.net/download/2301_76957510/87671482)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"]
[ .reference_list ]