没有合适的资源?快使用搜索试试~ 我知道了~
首页大规模语言模型助力科技写作:新挑战与实践
"大规模语言模型支持科技写作:挑战与启示" 本文探讨了大规模语言模型在科技写作中的应用,科技写作是一项开放性与约束性并存的挑战性任务。研究团队来自美国哥伦比亚大学,他们开发了一个名为“火花(Sparks)”的系统,该系统利用语言模型来辅助科技写作。通过实验,他们发现火花系统生成的建议比其他竞争性语言模型基线更具连贯性和多样性,并且接近人类创作的标准。 系统火花的核心功能在于帮助作者在写作过程中生成详细句子、提供新颖的视角以吸引读者,以及展示可能的共通观点。在一项针对13名博士生的研究中,这些学生使用火花来撰写关于自选主题的文章。研究揭示了火花在三个主要方面的效用:一是激发创作出丰富的句子细节,二是为文章引入吸引读者的创新角度,三是协助表达普遍认同的观点。 然而,研究也指出了一些火花在使用中被认为不那么有帮助的情况,并分析了这些问题的原因,这为优化语言模型以更好地支持写作提供了方向。作者们强调,尽管当前的模型取得了一定的进步,但仍有改进空间,尤其是在理解和适应不同写作风格和领域专业知识方面。 论文作者鼓励进一步研究以克服这些挑战,例如通过增强模型的上下文理解、增加对专业术语和概念的敏感度,以及开发更加个性化的写作辅助工具。此外,他们提醒在使用大规模语言模型时,需要考虑版权和许可问题,确保符合学术伦理和法律法规。 本文的计算机科学分类(CCS概念)包括以人为中心的计算,关注于HCI的实证研究;自然语言接口;以及信息系统中的语言模型。关键词还包括创造力支持工具、写作支持、共同创造力、科学写作和自然语言处理。整体而言,这篇文章为如何利用先进的人工智能技术提升科技写作的质量和效率提供了深刻的洞察和启示。
资源详情
资源推荐
![](https://csdnimg.cn/release/download_crawler_static/88589239/bg5.jpg)
提交给ACM的
+v:mala2277获取更多论
文
Sparks
:语言模式对科技写作的启示
5
3
形成性研究
为了了解语言模型如何最好地支持撰写推文的任务,我们进行了一项形成性
研究,参与者首先获得了一种技术,以便
提出一个令人信服的介绍,然后被要求
就他们熟悉的技术主题撰写推文的第一条推文。 由于第一条推文倾向于建立推文
的上下文和意图
[10]
,我们发现这是一种有效和高效的方式来理解
参与者在写作过程中发现的困难,即使提供了
写作策略。
3.1
方法
我们招募了
10
名计算机科学专业的学生
1
参与者被要求完成关于如何编写
两个示例主题的引人入胜的科学写作介绍
的
教程
-
递归和虚拟专用网络
-
其中包括几个示例和一个逐步提出想法的过程。这些教程专注于为第一条推文提出一个有
趣的问题,并与一位科学记者协商开发这个过程是:
1
)头脑风暴三个与主题相关的具体情况,
2
)把每个情况变成
一个问题给读者,
3
)选择最吸引人的问题。
2
这些教程旨在为参与者提供尽可能多的
教程结束后,参与者被要求从六个计算机科学主题中选择一个主题,并为解释该主题的推文撰写第一条推文参与
者
被要求在写作过程中大声思考他们不被允许浏览网页。之后,他们在一个半结构化的采访中被问到一系列关于他们写
作
过程的问题。
在所有参与者完成研究后,研究小组与科学记者一起审查了他们的写作没有进行
正式的编码,但讨论了一般的
成功领域和发展领域。
3.2
结果
3.2.1
参与者报告说,这项任务需要创造力,而且很难提出想法。
虽然我们
没有把这个任务定义为一个创造性
的写作任务,但许多参与者都认为这个任务很难,因为它需要创造力来提出一些能吸引读者的东西。大多数参与者
说,他们 这支持了我们选择
tweetorials作为写作任务,因为我们想研究一个既有约束力又有创造性的任务。
与会者发现教程很有帮助,尽管原因有很多有些人喜欢看这些例子,有些人喜欢遵循一个过程,还有一些人发现
通过头脑风暴和修改,写作变得更好是令人欣慰的有几个人评论说,教程使任务看起来很容易,但当他们开始写自
己的
主题时,想出主意却出奇地困难。
大多数参与者(
10
人中有
9
人)说,使一般读者对主题感兴趣是写作任务中最困难的部分
。 当被要求更具体时,参与者
提到提出具体的例子
/
情况
,并创建一个吸引人的问题作为硬任务。虽然这肯定受到教程介绍的过程的影响,但
这证实了教程不足以完全支持作者完成这项任务。
1
6名妇女/4名男子; 7名
2
教程的链接将在匿名审查后发布
[3
]题目是:散列、排序算法、贝叶斯定理、HTTP、晶体管和车削机。 我们选择了这些主题,a)大多数
计算机科学专业的学生应该在正式的环境
中学习,b)可以成为一个有趣的推特。
![](https://csdnimg.cn/release/download_crawler_static/88589239/bg6.jpg)
+v:mala2277获取更多论
文
6
Gero
,
Liu
,和
Chilton.
提交给ACM的
3.2.2
参与者努力想出创造悬念的想法
在回顾参与者所
写的内容时,所有的推文都模仿了例子的语气。然而,这
位科学记者对所有人都提出了批评,
而且大多数批评的核心都是一样的:这条推文缺乏悬念。他的意思是,这条
推文并没有在读者的理解中
引入一个令人信服的问题或差距,这会让读者想读更多。这通常是因为所使用的示例此
外,参与者倾向于向选择相同主题的其他人重复类似的想法例如,所有写
HTTP
的人都使用
Google
或
Twitter
作为他们
的例子,这表明参与者可能会聚集
在类似的,容易达到的想法上。
考虑到参与者报告说想出想法很困难,
研究小组的成员还指出,许多写的推文
可能很难变成完整的推文。例
如,如果这个问题真的不能用他们所 出于这个原因,在未来的研究中,我们让参与者不仅仅写第
一条推文。
3.3
设计目标
基于我们的形成性研究,我们为我们的系统制定了两个设计目标
3.3.1
支持作家产生想法。
鉴于语言模型没有真实的模型,我们希望我们的系统能够
产生
“
火花
”
,旨在激发作者的想
法,而不是让系统自己提供想法。
这与先前关于创造力支持工具的工作相一致,用户使用系统输出作为初始方向,然
后在用户的实际创作中解释和偏离
[ 21 ]
。此外,这也鼓励
作者对最终产品有更多的所有权,这在过去的工作中已经
被证明是一个问题[38]。
3.3.2
产生一致和多样的产出
为了使作者能够利用产出,即使它们并
不总是完全准确,它们也应该是连贯的
--
格
式良好,通常反映准确的知识。此外,为了支持想法的产生,输出也应该是多样化的,这样作者就有各种各样的输出
可以
利用。
4
系统设计
4.1
产生火花
4.1.1
语言模型选择。
为了生成火花,我们使用
GPT-2
,这是一个开源的中等大小(
15
亿个参数)的
Transformer
语
言模型,在来自
Web
的
40 GB
文本上进行训练
[39]
。我们使用
huggingface
实现
[54]
。虽然有更大的开源模型可用,例
如
GPT-3 [11]
或
Megatron-LM [45]
,我们希望限制我们使用的模型的大小,因为较大的模型运行起来更昂贵,并且
需要更多的时间来生成文本。此外,对于超大型语言模型有很多批评
[8]
,因此我们希望使用能够在我们的用例中表
现良好的最小语言模型有趣的是,我们发现
DistilGPT 2
,一种
“
蒸馏
”
的,较小版本的
GPT-2 [ 43 ]
,不能对我们的提
示产生连贯的我们在科学写作的数据集上进行了微调
GPT-2
的实验,但发现这几乎没有什么区别,特别是与修改解码
方
法或提示相比。出于这个原因,我们的大部分设计工作集中在解码和快速工程。
4.1.2
解码方法。
除了选择模型之外,我们还必须设计一种解码方法
-
如何在给定模型输出的概率分布的情况下选
择下一个令牌。有几种常见的解码方法,
剩余25页未读,继续阅读
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://profile-avatar.csdnimg.cn/default.jpg!1)
cpongm
- 粉丝: 5
- 资源: 2万+
上传资源 快速赚钱
我的内容管理 展开
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助
![](https://csdnimg.cn/release/wenkucmsfe/public/img/voice.245cc511.png)
最新资源
- 贵州煤矿矿井水分类与处理策略:悬浮物、酸性与非酸性
- 醛固酮增多症肾上腺静脉采样对比:ACTH后LR-CAV的最优评估
- 开源云连接传感器监控平台:农业土壤湿度远程监测
- 母婴用品企业年度生产计划线性规划优化模型:实证与应用
- 井下智能变电站:Rogowski线圈电流检测系统的研发与性能验证
- 霍州矿区煤巷稳定性分析及支护策略
- ARM嵌入式系统远程软件更新方案:基于TFTP协议
- 煤炭选煤中汞分布规律与洗选脱汞效果
- 提升码垛机器人性能:拉格朗日动力学模型与滑模模糊控制的应用
- 增强现实技术提升学前手写教学:设计与开发案例
- 不规则工作面沉陷三角剖分算法提升与应用
- 卡尔曼滤波在瞬变电磁干扰压制中的应用研究
- 煤矿安全能力研究:理论与系统构建
- LonWorks总线技术在斜巷运输车辆定位与跑车防护中的应用
- 神东煤炭集团高效煤粉锅炉系统:节能环保新实践
- Ti/SnO2+Sb2Ox/PbO2电极分形维数与电催化性能研究
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035111.png)
安全验证
文档复制为VIP权益,开通VIP直接复制
![](https://csdnimg.cn/release/wenkucmsfe/public/img/green-success.6a4acb44.png)