深度学习中的Prompt调优论文合集汇总
5星 · 超过95%的资源 需积分: 50 64 浏览量
更新于2024-10-14
1
收藏 81.9MB ZIP 举报 资源摘要信息:"本合集收录了关于Prompt tuning在深度学习领域，尤其是自然语言处理（NLP）方面的相关论文，共计约70篇。Prompt tuning是指在预训练模型的基础上，通过调整Prompt（提示）来改善模型的性能，这一技术为深度学习模型的微调提供了新的方向和思路。
在深度学习领域，预训练模型如BERT、GPT等已经成为了处理自然语言任务的基石。这些模型通常在大规模语料库上进行预训练，通过学习语言的通用表示来捕获丰富的语义信息。然而，如何在特定任务上有效地利用这些预训练模型，特别是当标注数据稀缺时，仍是一个挑战。
Prompt tuning作为一种创新的微调技术，通过对模型输入的Prompt进行设计或优化，可以显著提升模型在特定任务上的表现，而不需要对模型的参数进行大规模的调整。这通常涉及到对预训练模型的输入格式进行微小改动，如改变问题的表述、增加特定任务的上下文信息等，以此激发模型的潜力。
研究者们在Prompt tuning的探索中发现了多种策略，包括但不限于：
1. Manual Prompt Design（手工提示设计）：通过设计具有针对性的提示，引导预训练模型更好地适应特定任务。
2. Automatic Prompt Engineering（自动提示工程）：使用自动化方法搜索或生成有效的Prompt，以优化模型性能。
3. Prompt-based Few-shot Learning（基于提示的小样本学习）：利用少量标注样本来调整Prompt，使得模型能够快速适应新任务。
4. Cross-task Prompt Transfer（跨任务提示迁移）：将一个任务中学到的Prompt应用到其他任务上，以测试和利用Prompt的泛化能力。
在NLP领域，Prompt tuning的应用非常广泛，涉及文本分类、问答系统、机器翻译、自然语言推理等多个子领域。一些最新的研究还在尝试将Prompt tuning技术应用于视觉任务中，探索跨模态的Prompt设计。
此外，Prompt tuning也为模型的解释性和可控性带来了新的机会。通过精心设计Prompt，研究者可以更好地理解模型是如何进行决策的，以及如何引导模型产生更加符合预期的输出。
本合集中的论文，不仅涵盖了Prompt tuning的理论研究，还包括了大量实验分析和案例研究，为该领域的研究人员和实践者提供了宝贵的知识和经验。通过对这些论文的学习和分析，我们可以更深入地理解Prompt tuning在当前深度学习技术中的地位及其未来的发展趋势。"
Prompt相关论文合集 （65个子文件） 
GPT Understands, Too.pdf 1.51MB Fantastically Ordered Prompts and Where to Find Them.pdf 513KB Exploring Prompt-based Few-shot Learning for Grounded Dialog Generation.pdf 12.2MB Noisy Channel Language Model Prompting.pdf 1.46MB P-Tuning v2 Prompt Tuning Can Be Comparable to Fine-tuning Universally Across Scales and Tasks.pdf 713KB Surface Form Competition Why the Highest Probability Answer Isn’t Always Right.pdf 4.45MB Adapting Language Models for Zero-shot Learning by Meta-tuning on.pdf 1.26MB Why Do Pretrained Language Models Help in Downstream.pdf 1.01MB How Can We Know What Language Models Know.pdf 466KB Pre-Trained Models Past, Present and Future.pdf 2.18MB Language Models are Few-Shot Learners.pdf 6.45MB Cutting Down on Prompts and Parameters.pdf 641KB MULTITASK PROMPTED TRAINING ENABLES.pdf 3.11MB MSP Multi-Stage Prompting for Making Pre-trained Language Models Better Translators.pdf 438KB Automatically Identifying Words That Can Serve as Labels for Few-Shot.pdf 269KB Exploring the Limits of Transfer Learning with a Unified.pdf 1.11MB Prefix-Tuning Optimizing Continuous Prompts for Generation.pdf 1.5MB Do Prompt-Based Models Really Understand.pdf 653KB Few-Shot Bot Prompt-Based Learning for Dialogue Systems.pdf 7.16MB Revisiting Self-Training for Few-Shot Learning of Language Model.pdf 561KB GPT3Mix Leveraging Large-scale Language Models for Text Augmentation.pdf 510KB Prompt Programming for Large Language Models.pdf 182KB How Many Data Points is a Prompt Worth.pdf 1.05MB PTR Prompt Tuning with Rules for Text Classification.pdf 785KB Paradigm Shift in Natural Language Processing.pdf 844KB Cross-Task Generalization via Natural Language Crowdsourcing Instructions.pdf 1.7MB Language Models as Knowledge Bases.pdf 335KB True Few-Shot Learning with Language Models.pdf 902KB Learning How to Ask Querying LMs with Mixtures of Soft Prompts.pdf 410KB Prompt-Learning for Fine-Grained Entity Typing.pdf 1.48MB Calibrate Before Use Improving Few-Shot Performance of Language Models.pdf 679KB KnowPrompt Knowledge-aware Prompt-tuning with Synergistic Optimization for Relation Extraction.pdf 3.51MB Adapting Language Models for Zero-shot Learning by Meta-tuning on.pdf 1.26MB Parameter-Efficient Transfer Learning for NLP.pdf 707KB The Power of Prompt Tuning for Low-Resource Semantic Parsing.pdf 743KB The Power of Scale for Parameter-Efficient Prompt Tuning.pdf 535KB Avoiding Inference Heuristics in Few-shot Prompt-based Finetuning.pdf 622KB Template-free Prompt Tuning for Few-shot NER.pdf 414KB Label Verbalization and Entailment for Effective Zero- and Few-Shot Relation Extraction.pdf 628KB WARP Word-level Adversarial ReProgramming.pdf 1.59MB Knowledgeable Prompt-tuning Incorporating Knowledge into Prompt Verbalizer for Text Classification.pdf 441KB Exploiting Cloze Questions for Few Shot Text Classification and Natural.pdf 475KB CPT COLORFUL PROMPT TUNING FOR PRE-TRAINED VISION-LANGUAGE MODELS.pdf 1000KB Factual Probing Is [MASK] Learning vs. Learning to Recall.pdf 908KB Improving and Simplifying Pattern Exploiting Training.pdf 518KB Making Pre-trained Language Models Better Few-shot Learners.pdf 1.37MB PPT Pre-trained Prompt Tuning for Few-shot Learning.pdf 520KB OpenPrompt An Open-source Framework for Prompt-learning.pdf 296KB DIFFERENTIABLE PROMPT MAKES PRE-TRAINED.pdf 1.04MB Pre-train, Prompt, and Predict A Systematic Survey of.pdf 11.76MB SentiPrompt Sentiment Knowledge Enhanced Prompt-Tuning for Aspect-Based Sentiment Analysis.pdf 837KB CONTROL PREFIXES for Text Generation.pdf 926KB It’s Not Just Size That Matters.pdf 457KB AUTOPROMPT Eliciting Knowledge from Language Models.pdf 648KB TOWARDS A UNIFIED VIEW OF PARAMETER-EFFICIENT TRANSFER LEARNING.pdf 1.8MB Exploring Low-dimensional Intrinsic Task Subspace via Prompt Tuning.pdf 1.28MB FINETUNED LANGUAGE MODELS.pdf 1.19MB NSP-BERT A Prompt-based Zero-Shot Learner.pdf 659KB PADA A Prompt-based Autoregressive Approach for Adaptation to Unseen Domains.pdf 500KB Thinking Aloud Dynamic Context Generation Improves Zero-Shot.pdf 961KB Constrained Language Models Yield Few-Shot Semantic Parsers.pdf 800KB What Makes Good In-Context Examples for GPT-3.pdf 401KB Text Generation with Efficient (Soft) Q-Learning.pdf 3.51MB A Good Prompt Is Worth Millions of Parameters.pdf 930KB LEARNING TO PROMPT FOR VISION-LANGUAGE MODELS.pdf 2.14MB共 65 条
- 1
2021-08-13 上传
2023-03-23 上传
2024-01-22 上传
2024-07-03 上传
2023-08-12 上传
2023-10-18 上传
2024-07-03 上传
2024-02-01 上传
回锅肉炒肉
- 粉丝: 244
- 资源: 5
我的内容管理
展开
最新资源
- Java集合ArrayList实现字符串管理及效果展示
- 实现2D3D相机拾取射线的关键技术
- LiveLy-公寓管理门户：创新体验与技术实现
- 易语言打造的快捷禁止程序运行小工具
- Microgateway核心：实现配置和插件的主端口转发
- 掌握Java基本操作：增删查改入门代码详解
- Apache Tomcat 7.0.109 Windows版下载指南
- Qt实现文件系统浏览器界面设计与功能开发
- ReactJS新手实验：搭建与运行教程
- 探索生成艺术：几个月创意Processing实验
- Django框架下Cisco IOx平台实战开发案例源码解析
- 在Linux环境下配置Java版VTK开发环境
- 29街网上城市公司网站系统v1.0：企业建站全面解决方案
- WordPress CMB2插件的Suggest字段类型使用教程
- TCP协议实现的Java桌面聊天客户端应用
- ANR-WatchDog: 检测Android应用无响应并报告异常
