没有合适的资源?快使用搜索试试~ 我知道了~
物联网和网络物理系统3(2023)121ChatGPT:对背景、应用、关键挑战、偏见、伦理、限制和未来范围的全面审查帕尔塔·普拉蒂姆·雷锡金大学,甘托克,印度自动清洁装置保留字:ChatGPT语言模型GPT-3.5生成式AI对话式AI上下文理解自然语言处理A B标准近年来,人工智能(AI)和机器学习一直在改变科学研究的格局。其中,聊天机器人技术近年来经历了巨大的进步,特别是ChatGPT作为一种著名的人工智能语言模型。这篇全面的综述深入研究了ChatGPT的背景、应用、主要挑战和未来发展方向。我们首先探索其起源,发展和底层技术,然后研究其在客户服务,医疗保健和教育等行业的广泛应用我们还强调了ChatGPT面临的关键挑战,包括伦理问题,数据偏见和安全问题,同时讨论了潜在的缓解策略。最后,我们通过探索进一步研究和开发的领域来展望ChatGPT的未来,重点关注其与其他技术的整合,改善人类与人工智能的互动,并解决数字鸿沟。这种重新审视为研究人员,开发人员和利益相关者提供了有价值的见解,他们对AI驱动的对话代理不断发展的景观感兴趣 这项研究探讨了ChatGPT革新科学研究的各种方式,从数据处理和假设生成到协作和公共宣传。此外,本文还探讨了在研究中使用ChatGPT的潜在挑战和伦理问题,同时强调了在人工智能辅助创新和人类专业知识之间取得平衡的重要性本文提出了现有计算领域中的几个伦理问题,以及ChatGPT如何对这种概念提出挑战这项工作也包括ChatGPT的一些偏见和局限性值得注意的是,尽管存在一些争议和伦理问题,ChatGPT在很短的时间内吸引了学术界,研究和行业的关注1. 介绍人工智能(AI)和自然语言处理(NLP)的快速发展导致了越来越复杂和通用的语言模型的发展[1- 5 ]。生成式AI是指一类人工智能模型,可以根据从现有数据中学习到的模式和结构创建新数据。 这些模型可以生成跨各种领域的内容,如文本、图像、音乐等[6- 9 ]。生成式AI模型依赖于深度学习技术和神经网络来分析、理解和生成与人类生成的输出非常相似的内容。 其中,由OpenAI开发的人工智能模型ChatGPT已经成为一个强大的工具,在各个领域具有广泛的应用[10- 15 ]。了解ChatGPT的起源和发展对于理解其在推进科学研究中的作用至关重要[16本节概述ChatGPT开发的背景、关键里程碑和改进,重点介绍技术进步导致其在科学领域取得成功[22在这种情况下,我们可以提到ChatGPT不是生成对抗网络(GAN)模型,但它是基于生成预训练Transformer(GPT)架构的语言模型[26虽然GAN通常用于图像生成等任务,但GPT模型是为文本生成和语言理解等自然语言处理任务而设计的[31ChatGPT起源于NLP领域,这是一个专注于使机器能够理解和生成人类语言的人工智能领域[34- 37 ]。ChatGPT的开发是由创建一个高度复杂和通用的AI语言模型的愿望驱动的,该模型能够帮助执行各种任务,包括文本生成,翻译和数据分析。ChatGPT的基础在于Transformer体系结构的开发,在参考文献[38]第30段。它旨在克服以前用于自然语言处理的序列到序列模型的一些限制,例如递归神经网络(RNN)和卷积神经网络(CNN)。这项开创性电子邮件地址:ppray@cus.ac.in。https://doi.org/10.1016/j.iotcps.2023.04.003接收日期:2023年3月30日;接收日期:2023年4月2日;接受日期:2023年4月7日2023年4月14日在线提供2667-3452/©2023作者。由爱思唯尔公司出版我代表科爱通信公司,公司这是一个在CC BY-NC-ND许可证下的开放获取文章(http://creativecommons.org/licenses/by-nc-nd/4.0/)。可在ScienceDirect上获得目录列表物联网和网络物理系统期刊主页:www.keaipublishing.com/en/journals/P.P. 射线物联网和网络物理系统3(2023)121122架构使OpenAI能够创建强大的语言模型,如GPT系列,包括GPT-2和GPT-3,它们作为ChatGPT的前游标ChatGPT基于GPT-3.5架构,这是OpenAI于2020年发布的GPT-3模型的修改版本。GPT-3.5本质上是GPT-3的较小版本,与GPT-3的1750亿个参数相比具有67亿个参数[39- 41 ]。 尽管参数较少,但GPT-3.5在广泛的自然语言处理任务上仍然表现出色,包括语言理解,文本生成和机器翻译。 ChatGPT是在一个大型文本数据库上训练的,并在生成会话响应的特定任务上进行了微调,这使它能够对用户查询生成类似人类的响应[42- 45 ]。1.1. ChatGPT开发的关键里程碑ChatGPT的开发涉及一系列里程碑和改进,包括。(i) Transformer架构的引入,使得能够创建高效和可扩展的语言模型[46]。(ii) GPT系列的开发和发布,展示了AI语言模型在各种应用中的潜力,包括文本生成,翻译和摘要[47]。(iii) ChatGPT的发布建立在其前身的成功基础上,同时在准确性,上下文理解和多功能性方面进行了改进[48]。1.2. ChatGPT的改进和创新与早期型号相比,ChatGPT拥有几个关键的改进和创新,包括。(i) 增强的上下文理解:ChatGPT可以更好地理解和响应复杂和微妙的输入,使其更有效地生成准确和相关的文本[49]。(ii) 减少偏见:虽然仍然没有完全消除偏见,但ChatGPT受益于不断努力减少训练数据中的偏见,从而产生更客观和平衡的输出[50]。(iii) 微调功能:ChatGPT可以针对特定的任务和应用进行微调,使其能够根据不同科学学科研究人员的独特需求进行定制[51]。1.3. ChatGPT可以解决像ChatGPT这样的对话式人工智能近年来取得了重大进展,但仍有一些挑战和限制需要解决[52以下是ChatGPT可以解决的关于会话AI的一些现有问题:(i)维护上下文:会话AI模型通常很难维护会话的上下文,特别是当它跨越多个回合时。ChatGPT可以改进以更好地跟踪和管理上下文,以提供更连贯和相关的响应[55],(ii)处理模糊性:当面临模糊查询时,AI模型可能会提供不满意或不相关的响应。增强ChatGPT识别歧义和提出澄清问题的能力将提高其实用性和用户体验[56],(iii)个性化:ChatGPT可以进一步开发,通过基于个人偏好,兴趣和会话风格调整其响应为用户提供更多个性化体验[57],(iv)常识推理:会话AI模型有时缺乏常识理解或逻辑推理问题的能力。提高ChatGPT的常识推理能力将导致更准确和有帮助的反应[58],(v)情商:发展ChatGPT识别和响应用户情绪的能力可以增强其沟通有效性,并创造一个更有同情心的用户体验[59],(vi)道德考虑:ChatGPT必须进行微调,以尽量减少产生攻击性,偏见或不适当内容的风险[60]。这涉及到对训练数据,模型架构和监控机制的持续工作,(vii)鲁棒性和安全性:对话式AI模型可能容易受到对抗性攻击或恶意输入;增强ChatGPT的鲁棒性和安全性可以确保其在各种环境中的可靠性能[ 61 ],(viii)实时,多模式交互[ 62,63 ]:将ChatGPT与其他模式(如语音或图像识别)集成,可以帮助创建更具交互性和动态的对话体验,(iX)处理分发外查询:ChatGPT可以进行改进,以更好地处理在其训练数据中没有很好表示的查询或全新的查询,为用户提供更准确和可靠的信息[64,65],(X)可扩展性和效率:随着对话式人工智能模型变得越来越大、越来越复杂,开发提高其计算效率和可扩展性的方法至关重要,以确保其广泛采用和可访问性[66]。1.4. ChatGPT在科学社区ChatGPT从其早期前身到目前状态的演变使其成为推进科学研究的宝贵工具,其影响遍及广泛的应用,包括数据处理,假设生成和协作。随着人工智能技术的不断进步,我们可以期待进一步的改进和创新,这将塑造科学研究的未来。近年来,科学和学术界对ChatGPT的研究和开发给予了特别的 根据Google Scholar的数据,截至2023年3月,已在各种期刊,会议,报纸,博客和媒体报道中发表了3000多篇文章,报告和新闻。图1介绍了基于近年来Google Scholar上的索引论文数量对ChatGPT的研究兴趣的增长。1.5. 关键贡献我们在这篇文章中提出了几个贡献,可以进一步帮助学者和爱好者更好地了解ChatGPT。一些主要贡献如下。在当前场景下对ChatGPT进行深入的回顾将ChatGPT与相关AI技术进行比较提供有关各种应用程序的详细见解,使用ChatGPT。讨论现有的挑战,伦理问题,争议和未来的方向。提出计算机伦理和ChatGPT● 讨论ChatGPT的偏倚和主要局限性Fig. 1. 在ChatGPT上的Google Scholar中索引的年度文章。●●●●●P.P. 射线物联网和网络物理系统3(2023)1211231.6. 文件的组织这篇综述文章旨在深入探讨ChatGPT在推进上述传统大颈管方面的作用。本文分为以下几个部分:B部分介绍了ChatGPT的背景。C部分显示了与ChatGPT的某些功能相结合的相关技术C节演示了ChatGPT在各个领域的应用。D节讨论了关键挑战、伦理问题、争议和未来范围。E节提出了计算机伦理和ChatGPT的作用,以挑战。F节G节结束了这篇文章。2. ChatGPT的背景1) OpenAI倡议OpenAI是一个致力于开发人工智能(AGI)以造福人类的组织OpenAI由Elon Musk,Sam Altman等人于2015年创立,一直处于人工智能研究的最前沿,生产了几个开创性的模型,如GPT-2,GPT-3,最终是ChatGPT。基于GPT-3的成功,OpenAI继续其研究和开发工作,导致基于GPT-4架构的ChatGPT的创建[67,68]。 ChatGPT旨在擅长基于对话的任务,与GPT-3相比,它在上下文理解、响应生成和整体一致性方面有所改进。基于GPT-3的成功,OpenAI继续其研究和开发工作,导致基于GPT-4架构的ChatGPT的创建。 ChatGPT旨在擅长基于对话的任务,与GPT-3相比,它在上下文理解、响应生成和整体一致性方面有所改进[69]。2) GPT进化GPT模型旨在以与人类语言连贯一致的方式生成自然语言文本,例如句子,段落和整个文档GPT模型的关键特征是能够对大量文本数据进行预训练,然后对特定的下游任务进行微调,例如文本分类或问答。预训练涉及以无监督的方式在大型文本数据集(如网页或书籍)上训练模型,这意味着模型不需要对训练数据进行任何显式标签或注释[70]。在预训练期间,GPT模型学习预测文本序列中的下一个单词,给定序列中的前一个单词。这被称为语言建模任务,它是许多自然语言处理任务的重要组成部分。 通过在大型文本数据语料库上进行训练,该模型学习识别和概括语言中的模式,例如语法,语法和语义[71]。 在预训练之后,GPT模型可以通过为它提供一个较小的标记数据集来对特定的下游任务进行微调,该数据集用于更新模型的权重和偏差,以更好地适应手头的任务。例如,如果下游任务是文本分类,则可以训练模型来预测给定输入文本的正确标签[72]。(a) 谷丙转氨酶-1它是GPT语言的第一个版本,于2018年发布它基于Transformer架构,这是一种神经网络为自然语言处理任务(如语言建模和机器翻译)而设计的体系结构。GPT-1使用语言建模任务在大型文本数据库上进行了预训练,其中包括书籍,文章和网页[73]。 该模型被训练来预测文本序列中的下一个单词,给定序列中的前一个单词。这个预训练过程允许GPT-1学习模式以及文本数据的大型语料库中的单词之间的关系经过预训练后,GPT-1可以在特定的下游任务上进行微调,例如语言翻译,情感分析或文本分类[74]。例如,可以通过为模型提供文本数据的标记数据集并训练它来预测给定文本输入的情感,从而对情感分析任务进行微调GPT-1有1.17亿个参数,这使得它与后来版本的GPT模型相比相对较小。 尽管GPT-1的规模相对较小,但它在广泛的自然语言处理任务上取得了令人印象深刻的结果,并证明了对大量文本数据进行预训练以提高语言理解的有效性。(b) GPT-2这是对GPT-1的重大改进,有15亿个参数,使其成为发布时最大的语言模型之一GPT-2使用语言建模任务在大量文本数据集上进行了预训练,其中与GPT-1一样,该模型被训练来预测文本序列中的下一个单词,给定序列中的前一个单词[75]。然而,GPT-2能够生成更长、更连贯的文本序列,并且表现出更强的泛化能力。 经过预训练后,GPT-2可以在各种下游任务上进行微调,例如文本分类,情感分析和问答[76]。该模型能够在许多这些任务上实现最先进的结果,并且在生成高质量的自然语言文本方面特别有效GPT-2的一个显着特征是它能够生成逼真和连贯的文本,难以与人类书写的文本区分开来[77]。 这导致了对该模型可能被滥用的担忧,例如产生假新闻或宣传。因此,OpenAI最初选择不发布模型的完整版本,而是发布了一个功能减少的较小版本。(c) GPT-3它是有史以来最大和最强大的语言模型之一有1750亿个参数,比GPT-2大几倍谷丙转氨酶3是在大量文本数据的语料库上训练的,其中包括网页,书籍和其他书面材料,使用语言建模任务[78]。该模型经过训练,可以预测文本序列中的下一个单词,给定序列中的前一个单词,并且能够生成具有高度一致性和真实性的高质量自然语言文本GPT-3的关键特性之一是它能够执行广泛的自然语言处理任务,包括文本分类,情感分析和问答,而不需要特定于任务的训练数据。 这是由于该模型能够从其预训练数据中学习广泛的语言特征和模式,这使其能够通用于许多不同的任务和领域。GPT-3还包括一系列创新功能,例如多任务学习,允许模型同时执行多个任务,以及少量学习,使模型能够仅从几个示例中学习新任务这些特性使GPT-3成为一种高度灵活和适应性强的语言模型,可用于各种自然语言处理应用程序[80]。GPT-3已被用于各种现实世界的应用程序,包括聊天机器人,语言翻译,内容生成,甚至代码生成。该模型也在人工智能界引起了极大的兴趣和兴奋,并引发了自然语言处理领域的新研究和开发。(d) 指令GPTInstructGPT是OpenAI开发的一种新的语言模型,它建立在GPT-3大型语言模型的成功基础上[81]。 它使用带有人类反馈的强化学习来提高其可靠性,并支持ChatGPT会话代理。与GPT相比P.P. 射线物联网和网络物理系统3(2023)121124InstructGPT在微调过程中采用了人工反馈方法。人类通过产生并比较期望的输出与GPT生成的输出,根据人类反馈标记GPT输出,并将该输出显示给GPT模型,以帮助引导其在较窄的任务和问题上获得期望的结果,从而在较小的数据集上进行建模[82]。 这个过程现在已经成为OpenAI技术中的标准,允许InstructGPT改进其前身GPT-3。(e) ProtGPT2ProtGPT2是最近发表的一篇论文,描述了一种能够理解蛋白质语言的语言模型,可用于设计和工程化新蛋白质[83,84]。 该模型生成的蛋白质序列保持了天然蛋白质的重要特征,如氨基酸倾向、二级结构含量和球形度,同时探索了蛋白质空间的新区域。ProtGPT2建立在GPT2 Transformer架构上,包括36层,模型维数为1280,使其成为具有7.38亿个参数的强大模型。ProtGPT 2的预训练在Uni-Ref 50数据库(版本2021_04)上以自我监督的方式进行,使用没有任何注释的原始蛋白质序列。该模型经过训练,使用因果建模目标预测序列中的下一个标记或寡聚体,使其能够学习蛋白质的内部表示并理解蛋白质语言。总的来说,ProtGPT2是蛋白质工程和设计的一个有前途的工具[85]。(f) BioGPTR. Luo等人[86]提出了一种称为BioGPT的语言模型,专门用于生成和 挖 掘 生 物 医 学 文 本 。 Bio-GPT 是 一 个 特 定 于 领 域 的 生 成 预 训 练Transformer模型,它基于Transformer语言模型架构。 它从零开始在1500万PubMed摘要上进行训练,使其非常适合处理生物医学文本数据[87]。(g) 聊天GPTChatGPT使用语言建模任务在大量文本数据(包括书籍,文章和网站)上进行预训练[88]。预训练允许ChatGPT学习自然语言中单词和短语之间的模式和关系,这使得它能够有效地在对话中生成连贯和现实的响应(h) 谷丙转氨酶-4OpenAI在扩展深度学习方面取得了重大进展,GPT-4的释放这个新模型是一个大型的多模态语言可以接受图像和文本输入并生成文本输出的模型[89]。虽然在现实世界中它可能不如人类那么有能力,但GPT-4已经在各种专业和学术基准上表现出了人类水平的表现[90]。例如,它在模拟律师考试取得了大约前10%的分数,这比GPT-3.5的大约后10%的分数要好。GPT-4的开发涉及六个月的迭代调整,借鉴了OpenAI的对抗性测试程序和ChatGPT的经验教训,导致模型在真实性,可操控性和保持在给定边界内方面表现最佳,尽管仍有改进的空间。图2介绍了ChatGPT发展的里程碑[91]。GPT模型在广泛的自然语言处理任务上取得了最先进的性能,包括文本生成、问答、语言翻译和情感分析。 它们还被用于各种现实世界的应用程序,如聊天机器人,客户服务和内容创建。各种GPT版本的比较见表1[92]。GPT和ChatGPT之间的比较见表2[93]。图二、进化的关键里程碑。3) 谷丙转氨酶-3.5工作流程Transformer背后的基本思想是使用自我注意力来编码输入序列并产生隐藏表示的序列,然后可以将其解码为输出序列。自注意允许模型在不同的抽象层次上关注输入序列的不同部分,这有助于它捕获序列不同部分之间的长期依赖关系和关系[94]。在GPT-3.5的情况下,该模型使用13个Transformer块的堆栈,每个块有12个注意头和768个隐藏单元。模型的输入是一个令牌序列,首先使用嵌入层嵌入到连续向量空间中。然后,嵌入的令牌被馈送到第一个Transformer块,该块应用自注意并产生一系列隐藏表示[95]。然后,隐藏的表示通过其余12个Transformer块,每个块都应用自注意和前馈层。最终Transformer块的输出是一个隐藏表示序列,使用线性投影层和softmax激活函数将其解码为输出序列[96]。除了核心Transformer架构之外,GPT-3.5还包括几个附加组件,例如层规范化、剩余连接和位置嵌入。 这些组件有助于稳定训练并提高模型在语言建模任务中的性能。总的来说,GPT-3.5架构是一种强大而有效的自然语言序列建模方法,它在广泛的语言任务中表现出了最先进的性能,包括文本生成、语言理解和机器翻译。根据图3[68],GPT-3.5的工作分三步进行,如下所示。(i) 收集示范数据并培训监督政策首先,从提示数据集中采样提示。贴标机演示了所需的输出行为。 这些数据用于通过监督学习微调GPT3。(ii) 收集比较数据并训练奖励模型其次,对一个提示和多个模型输出进行贴标机将输出从最好到最差排列。 这些数据用于训练奖励模型。(iii) 使用强化学习针对奖励模型优化策略最后,从数据集中采样一个新的提示策略生成输出。奖励模型计算输出的奖励 奖励用于使用接近策略优化(PPO)算法更新策略[97,98]。4) ChatGPT的主要特点ChatGPT的主要功能使其成为一种先进且多功能的自然语言处理模型,适用于广泛的应用[99]。它的语境理解、语言生成能力、任务P.P. 射线物联网和网络物理系统3(2023)121125表1GPT的比较版本使用架构参数计数年谷丙转氨酶-1一般12级,12头Transformer解码器(无编码器),其次是线性softmax与图书语料库:4.5 GB的117万2018GPT-2一般文本GPT-1,但使用Web文本进行了修改的规范化:40 GB的文本1.5亿2019GPT-3一般GPT-2,但经过修改,允许使用570 GB纯文本进行更大的扩展一千七百五十亿2020指令GPT谈话GPT-3微调为使用人类反馈模型遵循指令一千七百五十亿2022ProtGPT2蛋白质序列作为GPT-2大型(36层),蛋白质序列来自UniRef 50,总计4488万个7.38亿2022BioGPT生物医学作为GPT-2培养基(24层,16头),非空项目来自PubMed总计150万三亿四千七百万2022聊天GPT内容对话使用GPT-3.5,并通过监督学习和来自人类反馈的强化学习进行微调一千七百五十亿2022谷丙转氨酶-4一般(RLHF)使用文本预测和RLHF进行训练,并接受文本和图像作为输入,第三方数据100万亿2023表2GPT和ChatGPT参数GPT聊天GPT基础可通过API访问的AI模型,用于提供按需智能一个聊天机器人,可以与用户和应用程序进行交互,并执行任务应用(a)制作智能应用程序(一)生产应用(b) 实现语义文本理解(c) 信息搜索和提取(d) 构建类似于副驾驶的应用程序(e) 用于各种应用开发(b) 内容创作(c) 回答一般问题(d) 提供代码生成(e) 代码调试供应(f) 语言翻译(g) 语言增强,以提高推理、速度和简洁性适应性、多语言能力、可扩展性、零触发和少触发学习以及微调潜力有助于其成功实现人机交互的革命,如下所示。(a) 上下文理解ChatGPT最重要的进步之一是它能够在基于文本的对话中理解上下文。通过理解句子和短语的含义,ChatGPT可以生成相关和连贯的响应,使其与用户的交互更加自然和吸引人[100]。(b) 语言生成功能ChatGPT具有出色的语言生成功能,生成连贯、上下文准确且语法正确的文本。它在文本生成方面的灵活性使其可以用于各种应用,例如内容编写,摘要和重写[101]。(c) 任务适应性ChatGPT可以适应各种任务,使其在行业和领域中通用。通过微调,可以定制图三. GPT-3.5型工作流。P.P. 射线物联网和网络物理系统3(2023)121126特定的用例,如客户支持、内容创建、辅导、翻译等。 这种适应性允许开发人员利用ChatGPT的功能来创建满足他们需求的定制解决方案[102]。(d) 多语言能力ChatGPT支持多种语言,使其能够在全球应用程序中使用,并满足不同的用户群。其多语言能力对于翻译、情感分析和多语言内容生成等应用程序至关重要[103]。(e) 扩展性ChatGPT的架构允许它根据可用的计算资源和期望的响应时间进行扩展这种可扩展性确保它可以用于具有不同要求的应用程序,从小型项目到大型企业解决方案[104]。(f) 零镜头和少镜头学习ChatGPT可以执行零次和少次学习,使其能够在无需大量培训的情况下理解新任务在零次学习中,模型可以为以前从未见过的任务生成响应,而在少次学习中,它可以通过几个示例学习新任务 这种能力减少了对大型标记数据集和广泛微调的需求,节省了开发过程中的时间和资源[105]。(g) 微调微调是ChatGPT的一个重要功能,允许开发人员将模型调整为特定的任务或域。 通过在针对目标应用程序定制的较小数据集上训练模型,ChatGPT 可以生成更准确和相关的响应。 微调使开发人员能够使用ChatGPT作为基础创建高度定制的解决方案[106]。5) ChatGPT的提示工程及时的工程在增强用户体验和确保与ChatGPT等AI模型交互时的有效沟通方面发挥着重要作用。通过采用快速的工程技术,用户可以引导AI模型生成更准确,相关和有用的响应[107]。 本节将概述如何在ChatGPT对话中使用提示工程来优化交互。(a) 从明确和具体的提示要获得所需的响应,请确保您的提示是明确和明确的。模棱两可的提示可能会导致不满意或不相关的反应。例如。效率较低:“什么是流行的编程语言?“更有效:“2023年最受欢迎的三种编程语言是“(b) 提供上下文和背景信息在必要时提供上下文或背景信息,以帮助ChatGPT理解主题并生成知情响应[108]。例如。● 不太有效的问题:“她对科学的贡献是什么?“● 更有效的是:“玛丽·居里对科学的贡献是什么?“(c) 指定所需的格式和结构引导ChatGPT实现特定的响应格式或结构,以确保输出符合您的期望。例如。● 效率较低:“给我一些提高效率的建议。“● 更有效:“在一个编号的列表中提供五个生产力提示“(d) 应用约束和限制设定响应的边界,例如字符限制,时间范围或范围,以保持重点和简洁性[109]。例如。● 不那么有效:“告诉我关于人工智能的历史。“● 更有效:“在三个关键里程碑中总结人工智能的历史“(e) 迭代提示如果最初的回答不符合您的期望,请细化提示或将其分解为更小的子问题,以引导ChatGPT获得所需的信息。例如。第一个提示:“运动对健康有什么好处?“修订提示:a.“经常锻炼如何改善心血管健康?“b.“运动对心理健康有什么好处“c。“运动如何有助于体重管理?“通过将这些即时工程技术融入ChatGPT对话中,您可以显着提高AI生成的响应的质量和相关性。随着您在制作有效提示方面获得经验,您将更好地利用ChatGPT的功能来满足您的特定需求。3. 相关的大型语言模型和工具在人工智能语言模型和自然语言处理工具领域,ChatGPT有几种替代方案 其中一些替代方案包括。1) GPT-2和GPT-3由OpenAI开发的GPT-2和GPT-3是ChatGPT的前身。这两种模型都能够执行广泛的NLP任务,包括文本生成,摘要和翻译。 这些模型建立在Transformer架构之上,该架构在各种NLP任务中非常成功。GPT-2和GPT-3都以能够根据给定的输入提示生成高质量、类似于人类的文本而闻名。3.1. GPT-2GPT-2于2019年发布,是GPT系列的第二代,与其前身GPT相比有了重大改进GPT-2是在一个名为WebText的大型数据集上进行预训练的,该数据集包含从Reddit上的出站链接过滤的超过40 GB的网页。该模型能够执行各种NLP任务,例如机器翻译,摘要,文本完成和问答,而无需特定于任务的微调。尽管GPT-2的性能令人印象深刻,但它也面临着生成文本的批评,这些文本可能并不总是准确、相关或连贯的。OpenAI最初拒绝发布完整的GPT-2模型,因为担心可能会被滥用,例如生成假新闻或恶意内容。后来,完整的模型与其社会影响的研究一起发布[110]。●●●●P.P. 射线物联网和网络物理系统3(2023)121127(a) 优点:(i) 高质量文本生成:GPT-2以其生成高质量类人文本的能力而闻名,该文本具有广泛的应用,包括聊天机器人和内容创建。(ii) 预训练模型:GPT-2附带了预训练模型,可用于各种自然语言处理任务,而无需额外的训练。(iii) 大规模架构:GPT-2的架构旨在处理大量数据,这使得它适用于需要处理大型数据集的应用程序。(iv) 灵活性:GPT-2可以针对各种自然语言处理任务进行微调,包括语言翻译、文本汇总和问答。(b) 缺点:(i) 有争议的文本生成能力:GPT-2因其生成假新闻和误导性信息的能力而受到批评,这引发了对其潜在滥用的担忧(ii) 大计算需求:GPT-2的大模型尺寸和复杂架构需要大量的计算资源,因此很难部署在计算资源有限的设备上。(iii) 有限的可解释性:GPT-2的复杂架构使得解释其内部工作变得困难,这对于想要了解它如何进行预测的研究人员和从业者来说可能是一个挑战(iv) 与其他基于transformer的模型一样,GPT-2主要在英语语言数据上进行训练,如果没有额外的训练或修改,可能在其他语言上表现不佳。3.2. GPT-3GPT-3于2020年推出,是GPT系列的第三个也是最先进的版本,比GPT-2有多项增强功能GPT-3在一个名为WebText 2的大规模数据集上进行了预训练,该数据集包含来自不同来源的数百GB文本,包括网页,书籍和文章[111]。 该模型比GPT-2大得多,有1750亿个参数,使其成为可用的最大AI语言模型之一。GPT-3擅长各种NLP任务,例如文本生成,摘要,翻译和代码生成,通常只需很少或根本没有微调。与GPT-2相比,该模型的大小和复杂性使其能够GPT-3可通过OpenAI API获得,使开发人员和研究人员能够访问其应用程序的模型[112]。以下是GTP-3的一些优点和缺点(c) 优点:(i) 广泛的自然语言处理任务:GPT-3可用于广泛的自然语言处理任务,包括语言翻译,文本摘要和问答。(ii) 高质量文本生成:GPT-3以其生成高质量类人文本的能力而闻名,该文本具有广泛的应用,包括聊天机器人和内容创建。(iii) 大规模架构:GPT-3的架构旨在处理大量数据,这使得它适用于需要处理大型数据集的应用程序。(iv) 零射击学习能力:GPT-3能够在没有明确训练的情况下执行某些任务,这可以节省时间和资源。(d) 缺点:(i) 大计算需求:GPT-3的大模型尺寸和复杂架构需要大量的计算资源,因此很难部署在计算资源有限的设备上。(ii) 有限的可解释性:GPT-3的复杂架构使得解释其内部工作变得困难,这对于想要了解它如何进行预测的研究人员和从业者来说可能是一个挑战(iii) 与其他基于transformer的模型一样,GPT-3主要在英语语言数据上进行训练,如果没有额外的训练或修改,可能在其他语言上表现不佳。(iv) 伦理问题:GPT-3的能力引起了对其潜在滥用和负责任部署的必要性的GPT-2和GPT-3在生成高质量文本和执行广泛的NLP任务方面都表现出了卓越的能力然而,这些模型也有一些局限性,例如训练和微调的资源密集型,难以长期理解上下文,以及可能继承训练数据的偏差。 尽管存在这些挑战,但GPT-2和GPT-3极大地推动了NLP领域的发展,并启发了许多其他基于transformer的语言模型的开发。2) 必应聊天微软已经将AI集成到其Edge浏览器和Bing搜索引擎中,利用OpenAI开发ChatGPT所采用的相同尖端技术[113,114]。该功能也可以在移动应用程序中访问,允许用户通过语音命令与AI进行交互。BingChat的操作类似于ChatGPT,使用户能够提出任何问题,并从大型语言模型(LLM)中获得自然人类语言的响应[115]。微软逐渐推出了Bing聊天功能,现在大多数功能都可以使用。值得注意的是,Edge Copilot功能通过提供更多建议和改进来增强BingChat体验[116]。聊天选项卡强调会话语言,并为潜在的问题提供了许多提示。这包括进一步信息的链接,推荐的后续查询,并且操作更像传统的搜索引擎。除了聊天,侧边栏还有撰写和观点标签.撰写选项卡使用户能够以各种音调和格式生成文本,并可以从五种不同的音调,格式和长度中进行选择,扩大了Bing Chat输出的范围例如,用户可以创建一个正式的电子邮件或简短的,幽默的博客文章。如果对结果不满意,用户可以快速生成一个新的。Insights选项卡从用户的当前网站中提取上下文,例如购物时的产品评论、比较和新闻故事,或者在浏览评论时呈现替代方案。 Bing Chat在来自互联网的大量文本数据上进行了预训练,可以针对特定应用进行微调,例如客户支持,虚拟帮助等。虽然有关Bing Chat的特定功能和架构的信息有限,但它可能包括类似于其他基于transformer的语言模型的功能,例如[117]。文本生成:Bing Chat可以对用户输入生成连贯的、上下文理解:模型可以从用户输入中理解和处理上下文,以提供相关和准确的响应。多任务处理:Bing Chat可以处理各种NLP任务,例如问答,文本摘要和情感分析。多域对话:该模型可以利用其多样化的训练数据,让用户参与●●●●P.P. 射线物联网和网络物理系统3(2023)121128作为一种基于transformer的语言模型,Bing Chat与其他大规模模型有一些共同的训练和微调的资源密集型,以及可能从其训练数据中继承偏见然而,它表明了微软对推进人工智能聊天机器人技术和自然语言理解的承诺。(a) 优点:(i) 增强的用户体验:Bing Chat支持更多的交互式和对话式搜索,为用户提供更具吸引力的信息获取方式。(ii) 情境感知协助:洞察功能提供基于情境的支持,从您正在访问的网站中提取相关信息,包括产品评论、比较和新闻报道。(iii) 多功能文本生成:“撰写”选项卡允许用户生成各种音调和格式的文本,使其成为编写电子邮件或创建内容等任务的有用工具。(iv) 会话语言:Bing Chat专注于自然的人类语言,可以使搜索和获取信息更加直观。(v) 语音交互:它在移动应用程序中的可用性使用户能够通过语音命令与AI交互,提供免提体验。(b) 缺点:(i) 有限的可用性:由于必应聊天是微软的产品,它可能无法在所有平台或其他搜索引擎和浏览器的用户(ii) 隐私问题:人工智能在浏览和搜索中的集成可能会引起一些用户的隐私问题,因为他们与平台的交互可能会被跟踪或监控。(iii) 可靠性:与任何基于人工智能的系统一样,Bing Chat可能会偶尔提供不准确或不相关的信息,从而导致潜在的混淆或错误信息。(iv) 适应期:习惯于传统搜索引擎的用户可能需要时间来适应BingChat的对话方式,并探索其全方位的功能。(v) 潜在的依赖性:过度依赖人工智能生成的内容可能会阻碍用户自己的写作和批判性思维技能的发展。3) 变压器双向编码器表示(BERT)BERT由Google开发,是一种功能强大的语言模型,专为文本分类、情感分析和问答等任务而设计。BERT的双向训练方法允许它从两个方向学习单词的上下文,使其在理解自然语言的细微差别方面非常有效[118-120 ]。它基于Transformer架构,并且由于其在广泛任务上的卓越性能,在自然语言处理(NLP)领域中具有高度的重要性[1213.3. BERT的一些关键特性和方面包括双向上下文:与从左到右或从右到左处理文本的传统语言模型不同,BERT旨在同时从两个方向捕获上下文这使得模型能够更好地理解句子中单词之间的含义和关系BERT 在 两 个 无 监 督 任 务 上 进 行 预 训 练 : Masked LanguageModeling ( MLM ) 和 Next Sentence Prediction ( NSP ) 。 在MLM中,句子中的随机单词被替换为特殊的[MASK]标记,并训练模型以预测原始单词。话在NSP中,BERT学习预测一对句子是否以逻辑顺序连接。针对特定任务进行微调:BERT可以使用少量标记数据进行微调,以执行各种有监督的NLP任务,例如文本分类,情感分析,命名实体识别(NER),问答等。预训练模型:BERT提供了几个不同大小和语言支持的预训练模型。这些模型可以根据具体要求进行微调,大大减少从头开始培训所需的时间和资源。最先进的性能:BERT在许多NLP基准测试中取得了最佳性能,例如通用语 言理 解评 估GLUE(英 语:GeneralLanguageUnderstandingEvaluation GLUE)[125],斯坦福问题分类数据集(英语:Stanford Question Questioning Dataset)[126]等,超过了以前的模型并创造了新的记录。多语言支持:BERT有一个名为mBERT的多语言版本,它已经对104种语言的文本进行了预训练,使其适用于跨语言的NLP任务。BERT的双向上下文理解和预训练模型彻底改变了NLP领域,并为新一代基于transformer的模型铺平了道路,例如RoBERTa,GPT-3和AL-BERT [128]。尽管BERT具有出色的性能,但它也有一些局限性,例如训练和微调的计算密集型,以及可能从其训练数据中继承偏差。尽管如此,BERT仍然是NLP领域中一个重要且广泛使用的模型。以下是BERT的一些优点和缺点(a) 优点:(ii) 更好的语
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 收起
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
会员权益专享
最新资源
- 工业AI视觉检测解决方案.pptx
- 智慧医院信息化建设规划及愿景解决方案.pptx
- 智慧医院信息化+智能化系统建设方案.pptx
- 人工智能AI技术方案PPT.pptx
- 基于互联网智慧水务信息化整体解决方案.pptx
- AI智能智慧校园建设方案.pptx
- 数字化是园区运营走向成功的秘诀.docx
- 美团多场景建模的探索与实践.docx
- 携程火车票异常检测和根因定位实践.docx
- RDMA 优先级 流量控制
- linux kernel driver development
- 换电重卡专家访谈.pdf
- 2023中国电动汽车百人会-国际论坛纪要.pdf
- 雷诺规划与技术路线.pdf
- 计算机行业:从上海车展看汽车智能化新成果.pdf
- 上海车展之技术篇:插混全新品牌序列升级,智能化配置及场景丰富.pdf
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功