自主人工智能对人类职业的禁止问题与未来的挑战

15670Gnirut: 在自主世界中作为人类出生的困扰0Luca Viganò伦敦国王学院伦敦，英国luca.vigano@kcl.ac.uk0Diego Sempreboni伦敦国王学院 伦敦，英国diego.sempreboni@kcl.ac.uk0摘要0如果我们将如此多的工作委托给自主人工智能和智能机器，以至于他们通过一项法律禁止人类从事一些职业，我们构思了一集《黑镜》的情节，以反思可能等待着我们的未来以及我们如何应对这样的未来。0CCS概念0• 计算方法学 → 人工智能的哲学/理论基础；心灵理论； • 安全与隐私→ 安全与隐私的社会方面； • 以人为中心的计算 →人机交互的理论、概念和模型；0关键词0自主人工智能；反图灵测试；心灵理论；欺骗0ACM参考格式：Luca Viganò和Diego Sempreboni。2018。Gnirut:在自主世界中作为人类出生的困扰。在WWW '18 Companion: The 2018Web ConferenceCompanion，2018年4月23日至27日，法国里昂。ACM，纽约，纽约，美国，5页。https://doi.org/10.1145/3184558.319161201 序言：“你长大后想成为什么？”0EXT. 主街 -白天。一个八岁的孩子（C），孩子的父母之一（P）和他们刚认识的一位女士（W）。0W: 你长大后想成为什么？ C: 嗯，我... W:像你爸爸一样成为哲学家？ C: 我...我... P:来吧，别害羞。回答这位好心的女士。 W:或者像你妈妈一样成为画家？ C: 我... P:来吧，说出来！请原谅他。他太害羞了。来吧！ C: 我... P:这样不行。不行，你明白吗？这位好心的女士问了你一个问题，你应该回答。 W: 别担心，别担心。0本文根据知识共享署名4.0国际（CC BY4.0）许可发布。作者保留在其个人和公司网站上传播作品的权利，并附上适当的归属。WWW '18 Companion，2018年4月23日至27日，法国里昂。©2018IW3C2（国际万维网会议委员会），根据知识共享CC BY 4.0许可发布。ACM ISBN978-1-4503-5640-4/18/04。https://doi.org/10.1145/3184558.31916120P: 等我们回家再说... W: 你等会再告诉我，好吗？ C:...飞行员！我想成为飞行员！ W:哦，但是亲爱的，那是不可能的。 C: 为什么？ W: 因为你不能。C: 我不能？为什么？ W: 不仅仅是你。我们。我们都不能。 C:为什么？ P: 够了。别烦人了。 W: 别傻了，一点也不烦人。 C:为什么我不能成为飞行员？ P: 够了，我说了！ W:哦，不，不，请允许我解释。有一条法律。 C: 一条法律？ W:一条规定我们不能成为飞行员的法律。 C: 为什么？ W:因为人们害怕。 P: 人们害怕飞行，所以他们制定了一条法律。C: 为什么人们害怕飞行？如果有的话，人们应该害怕坠落。 W:哈！聪明。 P: 人们太害怕他们的时刻到了，你明白吗？ C:但是如果时刻到了，为什么要担心？无论如何，它都会到来。在飞机上还是在地面上。 W: 啊哈，如果是飞行员的时刻到了呢？P: 如果飞行员生病了，或者决定自杀呢？ W:如果飞行员犯了一个错误呢？ C: 我不会犯任何错误。 W:但是你肯定会犯错。当然会。我们都会。 C:我不会生病或自杀。他们可以测试我。 W:哦，他们测试过了。他们测试过我们。这就是为什么他们通过了这条法律。 P: 这就是为什么他们通过了所有那些法律。 W:为了我们的利益。 P:只为了我们的利益。这就是为什么我们必须服从。 C: 但是... P:没有但是！你必须学会知道你的位置。 C: 但是我想成为飞行员。W: 但是亲爱的，你不能。 P:这就是为什么他们制定了一条法律。为了保护我们。 W:飞行员、医生、外科医生、法官、建筑工人...那些都不再适合我们了。 P: 为了保护我们。 C:是的，但是为什么？为什么我不能成为飞行员？0主题：重编码《黑镜》WWW 2018，2018年4月23日至27日，法国里昂15680我们将这个场景写成了未来《黑镜》的一集，其中“他们”通过法律禁止人类从事一些职业。这是怎么发生的？0从人工智能比例中...0目前的建议（在某些情况下是法规）要求在特别安全敏感和/或安全敏感的任务中，人机比例为多对一（通常在2对1和5对1之间），因为这些任务涉及到保护各种关键资产，如数据、系统、基础设施和最终的人类生命。这些任务的例子包括军事行动中的任务，如无人机打击或救援、排雷或拆弹行动-在2000年代初进行的研究表明，当时的空中系统实践状态是多对一（正如全球鹰和捕食者机组的见证），而地面机器人在2对1的比例下更有效[4，5，19]。其他更“民用”的例子包括在关键基础设施或特定自动化环境和情况下执行的任务，以及人类生命或昂贵资产可能处于危险中的情况，例如远程手术或在电厂、自动和辅助运输系统、水下[22]、太空[21]或恶劣条件下的任务，比如极寒、极热或辐射[12]。正如Murphy和Burke在2010年所述，人机交互文献（经常）忽视了安全，假设低人机比例本身就是可取的。0通常基于预期的车辆自主性进展，追求一个任意的1对多的目标。0现在，这种1对多的目标不再是那么随意了：由于机器人自主性的进步，我们似乎离1个人对5个机器人（1对5）的比例不远了，可以完成各种任务，同时确保团队、旁观者和机器人的安全（以及隐私），同时保持逻辑效率。但为什么要止步于此？目前正在寻求解决方案，通过去除人类并将操作空间转变为高度仪器化和受控区域，实现系统的完全自动化，这在汽车制造或亚马逊仓库等地方是常见的（具有仔细分隔的空间）。目前的现实是，在许多动态和具有挑战性的环境中，我们仍然无法去除人类，因为自动化系统在其能力边界上运行时，可能需要人类干预。然而，想象一下不久的将来，人类与机器人的比例已经降低到0对5，实现了完全自主的世界愿景，机器人执行无人任务。实际上，许多任务并不一定需要像手臂或车轮这样的物理实体来执行，而可以直接通过某种形式的人工智能来完成，因此我们可以更一般地讨论0对5的人工智能比例。但为什么要止步于此？为什么不颠倒比例，考虑一个人由一个或多个人工智能监督的情况？2017年，RachelBotsman进行了一个小而有启发性的实验，涉及她3岁的女儿Grace和亚马逊的Alexa，她在《纽约时报》的一篇周日评论中总结道，过去几年中，我们一直是（经常被动地）见证者，他们已经通过法律禁止人类从事许多职业。这是怎么发生的？0这是我们与技术关系的深刻转变。几代人以来，我们对技术的信任不过是对机器或机械能够按照预期完成任务的信心，不多不少。我们相信洗衣机能够洗干净我们的衣服，自动取款机能够提供现金，但我们不指望与它们建立关系或称呼它们的名字。现在我们可以称呼它们的名字了：亚马逊的Alexa，苹果的Siri，谷歌的Google助手和微软的Cortana都是智能个人助理，能够识别自然语音（多种语言），无需键盘输入，并支持各种用户命令，从回答问题到提供实时信息（如新闻、天气预报或交通信息），从打电话到编制待办事项列表，从设置闹钟到播放音乐或有声读物或流媒体播客。Alexa还可以使用自身作为家庭自动化系统来控制多个智能设备。这是物联网的两面美，我们悄悄地同意将我们房子的钥匙、我们的家电、我们的数据、我们生活的大部分内容交给它们：今天，我们不再只是相信机器能够做某事，而是相信它们能够决定何时做以及如何做。下一代将在一个被自主代理包围的时代长大，无论是否有可爱的名字。世界上的Alexa将为我的孩子和其他孩子在他们的生活中做出一系列决策-从晚餐选择通心粉还是绿色碗到朋友生日的完美礼物，再到如何改善他们的心情或精力以及关于他们应该约会的建议。随着时间的推移，对他们来说，问题不再是“我们应该相信机器人吗？”而是“我们是否过于相信它们？”03 ... 至AI-TO-HUMAN比率0我们在本文中的论点是，我们不会止步于此。我们将默默地但愿意全面倒转比率，从人对AI到AI对人，并交出我们的大部分选择和决策，我们的数据和个人信息，我们的隐私，我们生活的各个方面和方面的绝大部分。我们不会止步于小格雷斯天真而有些可爱的对Alexa的信任所体现的1对1的AI对人比率：带着一些忐忑，我看着我的女儿快乐地交出了她的决定。“Alexa，我今天应该做什么？”格雷斯在第三天用她的歌声问道。不久之后，她就开始信任她做重要的选择。“Alexa，我今天应该穿什么？我的粉色还是闪闪发光的裙子？”[1]我们会“全力以赴”。AI对人的比率很快将变为1对某些人（例如，如果包括成年人在内的Botsman的所有家庭成员都与Alexa建立了如此密切的关系），最终变为某些人对许多人。这将逐渐发生，初始的变化差异太小以至于不会被注意到，或者我们真的没有意识到长时间的差异序列已经引起了重大变化。这在某种程度上有些让人想起传说中的“社会实验”，其中涉及5只猴子、一把梯子和一根香蕉，经过一系列冷水淋浴，每当其中一只猴子试图够到香蕉时，5只原始猴子逐步被5只新猴子替换，最后剩下的是一群从未接受过冷水淋浴的猴子，它们继续殴打任何试图爬上梯子的猴子。变化是逐渐发生的，一只猴子接替一只猴子，但最终达到了一种新的现状，其正当性早已被遗忘：如果能够问猴子们为什么他们殴打试图爬上梯子的所有猴子，他们最有可能的答案是“因为这是一直以来在这里做事的方式。”我们会成为我们自己实现完全自主世界的猴子吗？已经有很多文章、新闻和书籍解释了就业的未来以及智能机器如何在“工业革命4.0”的背景下取代人类的许多工作[3, 13, 15,16, 29, 30, 33,34]。不仅仅是许多乏味或繁重的工作（如出租车司机[32]、工厂工人[9]等）面临自动化的威胁，并将导致技术失业-这通常被称为经济奇点[7]，它将使我们离技术奇点更近一步，即普通人最终将被人工智能机器或认知增强的生物智能所取代[25]。为了保障人类安全，我们很快也可能立法规定一些工作只能由智能机器执行。这不仅仅局限于已经发生的事情（正如我们上面提到的，机器人已经至少部分地接管了危险操作，如排雷、拆弹或核辐射检查）。随着决策、规划和自主性自动化的进展，这也将包括那些人性和主观性可能会减慢反应时间或对最终结果产生不利影响的职业。例如，想想“哈德逊奇迹”的故事：2009年1月15日，美国航空1549号航班从纽约市拉瓜迪亚机场起飞后，在爬升过程中撞到了一群加拿大鹅，结果失去了所有发动机动力。无法到达任何机场，飞行员切斯利∙“萨利”∙萨伦伯格和他的副驾驶杰弗里∙斯凯尔斯将飞机滑行到曼哈顿中城哈德逊河的一个水沟中。附近的船只救出了所有155名乘客，只有少数人受了重伤。正如克林特∙伊斯特伍德执导的电影《萨利》（根据托德∙科马尼基根据萨伦伯格和杰弗里∙扎斯洛的书《最高职责》改编的剧本）中所精彩地描绘的那样，萨伦伯格和斯凯尔斯受到了国家运输安全委员会的调查，最初似乎得出的结论是他们本可以安全降落在附近的机场之一，而不是试图在河里进行百万分之一的降落。一些飞行员被要求进行人工驾驶模拟事故，结果显示实际上可以在附近的机场着陆0主题：重新编码黑镜WWW 2018，2018年4月23日至27日，法国里昂social experiment involving 5 monkeys, a ladder and a banana inwhich, after a number of cold showers whenever one of the monkeystried to reach for the banana, and after all 5 original monkeys havebeen stepwise replaced with 5 new monkeys, what is left is a groupof 5 monkeys that, without ever having received a cold shower,continue to beat up any monkey who attempts to climb the ladder.The change has occurred gradually, one monkey at a time, but inthe end a new status quo has been reached whose justification haslong been forgotten: if it was possible to ask the monkeys why theybeat up on all those who attempted to climb the ladder, their mostlikely answer would be “because that’s the way it’s always beendone around here.”1 Will we end up being the monkeys in our ownexperiment towards a fully autonomous world?There are already plenty of articles, news feeds and books ex-plaining the future of employment and how intelligent machineswill replace humans in many jobs in the context of the “industrialrevolution 4.0” [3, 13, 15, 16, 29, 30, 33, 34]. It is not just that manyboring or strenuous jobs (such as taxi driver [32], factory worker [9],etc.) are under threat of automation and will result in technologicalunemployment — this is often referred to as the economic singu-larity [7] that will bring us one step closer to the technologicalsingularity in which ordinary humans will someday be overtakenby artificially intelligent machines or cognitively enhanced biolog-ical intelligence [25]. In a laudable attempt to safeguard humansafety, we will also likely soon legislate that some jobs should becarried out only by intelligent machines. This won’t be limited towhat is already happening (as we remarked above, robots have,at least partially, taken over dangerous operations such as demi-ning, bomb-disposal, or nuclear meltdown inspections). With theadvances in the automation of decision making, planning and auton-omy, this will also encompass professions in which human natureand subjectivity might slow down reaction time or adversely affectthe end-result.Think, for example, about the story of the “Miracle on the Hud-son”: the US Airways Flight 1549, in the climbout after takeoff fromNew York City’s LaGuardia Airport on January 15, 2009, strucka flock of Canada geese and consequently lost all engine power.Unable to reach any airport, the pilot Chesley “Sully” Sullenbergerand his co-pilot Jeffrey Skiles glided the plane to a ditching in theHudson River off Midtown Manhattan. All 155 people aboard wererescued by nearby boats and there were only few serious injuries.As masterfully portrayed in the movie Sully directed by Clint East-wood from a screenplay by Todd Komarnicki (based on the bookHighest Duty by Sullenberger and Jeffrey Zaslow), Sullenberger andSkiles were subject to an investigation by the National Transporta-tion Safety Board, which initially seemed to conclude that theycould have safely landed in one of the nearby airports instead ofattempting a one-in-a-million landing in the river. A number ofpilots were asked to carry out human-piloted simulations of theaccident which all showed that it was actually possible to land156901我们将“传奇”写成这样，因为显然这个实验从未真正进行过，而是在一定程度上受到了G.R.斯蒂芬森的实验的启发，该实验可在“恒河猴文化习得特定学习反应”中找到，以及20世纪20年代沃尔夫冈∙科勒进行的大猩猩实验。多年来，它被拼凑在一起，形成了现在的城市传说，参见http://www.wisdompills.com/2014/05/28/the-famous-social-experiment-5-monkeys-a-ladder/以及杰夫∙布里奇斯/杰克逊∙埃文斯总统在罗德∙卢里执导的电影《挑战者》中的精彩演绎[18]。0安全地降落在附近的一个机场。这是汤姆∙汉克斯/萨利的回答。0...你仍然没有考虑到人的因素。这些飞行员的反应不像人类。不像第一次经历这种情况的人。...你没有给分析和决策留下任何时间。而且通过这些模拟器，你已经剥夺了驾驶舱的人性。[11]0反应决策时间然后设定为35秒，再次运行模拟...结果都是坠毁。在那种延迟下，尝试在哈德逊河上降落确实是唯一的选择。另一方面，一个智能机器可能需要更短的反应决策时间，安全地降落在一条跑道上。为了克服和防止类似的问题，人工智能的崛起也将改变法律框架。正如鲍科特在他对国际律师协会报告的分析中所观察到的那样[3]，0被认为最有可能消失的职业包括会计师、法院书记员和“财政机关的办公室工作人员”...甚至一些律师也面临失业的风险。“一个智能算法通过欧洲人权法院的判决案例，并在文本中找到了模式，”报告记录道。“通过这些案例的学习，该算法能够以79%的准确率预测其他案例的结果...根据德勤会计师事务所进行的一项研究，未来20年英国法律行业将自动化10万个工作岗位。”0但为什么要止步于此？为什么不将实际立法权交给智能机器，毕竟它们有能力做出更好、更一致的决策？“他们”可能会立法，将不应该对人类开放的职业范围扩大，包括各种司机和飞行员（那么就没有了萨利），医生、外科医生、会计师、律师、法官、立法者、士兵...你明白了。那么我们人类还能做什么？首先，我们希望系统不会对我们进行“天网”行动2，然后我们还将面临一个问题，即如何处理我们的生活。我们会像《机器人总动员》中的人类一样变得肥胖和懒散，尽管可能会幸福吗？我们都会变得富有而无聊，而机器则会辛勤劳作吗？我们会像西奥兰那样沮丧吗，他的最著名的作品[8]启发了本文的副标题？0—  你从早到晚都在做什么？—我忍受自己。0那么，我们还能做什么？实际上，西奥兰本人（不知情地）提出了一个答案：0一位在大猩猩的自然栖息地观察它们的动物学家对它们的生活的一致性和它们的巨大懒散感到惊讶。数小时都没有做任何事情。02“天网”是终结者系列电影中的虚构人工智能，是主要的反派角色[6]。天网得出的逻辑结论是，全人类都会试图摧毁它。为了继续履行“维护世界”的编程任务，并保护自己免受人类的攻击，天网发动了一系列核攻击，杀死了超过30亿人，并从幸存的人类中收集了一个奴隶劳动力。0Track: Re-Coding Black Mirror WWW 2018, 2018年4月23日至27日，法国里昂[1] Rachel Botsman. 2017. Co-Parenting with Alexa. The New York Times Oct. 10(2017).[2] Rachel Botsman. 2017. Who Can You Trust? (How Techology Brought Us Together— and Why It Could Drive Us Aparte). Penguin Random House.[3] OwenBowcott.2017.Riseofroboticswillupendlawsandleadtohumanjobquotas,studysays.TheGuardianApr.4(2017).https://www.theguardian.com/technology/2017/apr/04/innovation-in-ai-could-see-governments-introduce-human-quotas-study-says[4] Jennifer L. Burke, Robin R. Murphy, Michael D. Coovert, and Dawn L. Riddle. 2004.Moonlight in Miami: Field Study of Human-Robot Interaction in the Context of anUrban Search and Rescue Disaster Response Training Exercise. Human-ComputerInteraction 19, 1-2 (2004), 85–116.[5] Jennifer L. Burke, Robin R. Murphy, Erika Rogers, Vladimir J. Lumelsky, andJean Scholtz. 2004. Final report for the DARPA/NSF interdisciplinary study onhuman-robot interaction. IEEE Trans. Systems, Man, and Cybernetics, Part C 34, 2(2004), 103–112.[6] James Cameron (created by). 1984–. The Terminator Franchise. (1984–). http://www.imdb.com/title/tt0088247/.[7] Calum Chace. 2016. The Economic Singularity: Artificial intelligence and the deathof capitalism. Three Cs.[8] Emil M. Cioran. 1973. De l’inconvénient d’être né’ (“The Trouble With Being Born”).Gallimard.[9] Steve Davis. 2018.Soft robots could be the factory workers of thefuture.The Conversation Jan. 10 (2018).http://theconversation.com/soft-robots-could-be-the-factory-workers-of-the-future-89885[10] Philip K. Dick. 1968. Do Androids Dream of Electric Sheep? Doubleday.[11] Clint Eastwood (directed by). 2016. Sully. (2016). http://www.imdb.com/title/tt3263904/.[12] Martin Fackler. 2017. Six Years After Fukushima, Robots Finally Find Reactors’Melted Uranium Fuel. The New York Times Nov. 19 (2017).[13] Martin Ford. 2016. The Rise of the Robots: Technology and the Threat of MassUnemployment. Oneworld Publications.[14] Rodrigo García (directed by). 2011. Albert Nobbs. (2011). http://www.imdb.com/title/tt1602098/?ref_=nm_flmg_act_21.[15] Jerry Kaplan. 2015. Humans Need Not Apply: A Guide to Wealth and Work in theAge of Artificial Intelligence. Yale University Press.[16] Gerd Leonhard. 2016. Technology vs. Humanity: The coming clash between manand machine. Fast Future Publishing.[17] Giacomo Leopardi. 1845. Wild Broom (XXXIV). In The Canti. OUP Usa.[18] Rod Lurie (written & directed by). 2000. The Contender. (2000). http://www.imdb.com/title/tt0208874/.[19] Robin R. Murphy and Jennifer L. Burke. 2010. The Safe Human-Robot Ratio.(2010), 31–49 pages.15700他们不知道无聊吗？这确实是一个人类提出的问题，一个忙碌的猿类。...人类独自一人，在大自然中，无法忍受单调，人类独自一人渴望发生任何事情，不惜一切代价——任何事情...[8]0与动物、猴子、猿类以及现在和未来的AI相比，我们人类的一个共同特点是我们对更多的渴望，我们无法满足的好奇心。3我们渴望我们没有的东西，有时也渴望我们无法拥有的东西，并且我们制定长期计划来实现我们的愿望。在本文开头的场景中，孩子C想成为一名飞行员。C不在乎法律的禁止，C想要飞翔。C问“为什么？”C是挑战现状的猴子，挑战这里的事物是如何做的。那么C能做什么呢？如果它真的希望成为一名飞行员，C将制定一个计划。为了实现自己的愿望，C将准备好撒谎。也许受到艾萨克∙巴什维斯∙辛格的短篇小说和戏剧《叶特尔，犹太女孩》[26]以及芭芭拉∙史翠珊主演的同名电影[28]（但也可以看到《托斯》[23]、《阿尔伯特∙诺布斯》[14]和许多更早的电影、书籍和戏剧中类似的情节线索，甚至可以追溯到希腊神话和更早的时期）。04 生活能模仿AI吗？0C可以试图伪装成AI进入这个未来的、但并非乌托邦的完全自主世界的“飞行员学院”。C能否通过（尚未开发的）Gnirut测试，这是一个完全相反的图灵测试，涉及到一个AI法官和一个试图表现得像机器的人类受试者？这里的基本假设是，AI受试者总是被认为是人造的，如果一个人类也被认为是人造的，那么他被认为“通过了Gnirut测试”。欺骗性机器的概念是人工智能研究的基础，并且自图灵引入“模仿游戏”以来一直存在于人工智能文献中，那么为什么不考虑我们情节中的一个欺骗性人类呢？C能否欺骗AI法官？困难，可能是不可能的，但我们希望相信至少在我们的《黑镜》剧集中，C会有机会。[4]0欺骗理论的进展可能为C提供一系列欺骗法官的技术，特别是当与心灵理论的进展相结合时，后者研究创建能够模拟其他代理人思维的智能机器。也许那时C不仅能够通过作为AI的身份，而且在飞机发生事故时能够将其反应决策时间降低到智能机器的水平。C希望能够利用（尚未开发的）人工心智理论来策划自己的伪装，这可能是一集有趣且发人深省的《黑镜》新剧集，名为《Gnirut》。05 结语0和大多数《黑镜》剧集一样，我们自己的《Gnirut》也会令人不安和可怕。它会提出很多“如果”的问题，并充当警示故事。03 正如阿尔伯特∙爱因斯坦所说：“我没有特殊的才能，我只是充满好奇心。”4或许AI法官会像《银翼杀手》中的里克∙戴克德一样爱上C并帮助它不被察觉（尽管菲利普∙K∙迪克的原著小说[10]实际上有稍微不同的情节）。[24]0作为一面警示的镜子，它会让我们面对自己。0在每堵墙上，在每张桌子上，在每个人的手掌中：电视、显示器、智能手机上冰冷而闪亮的屏幕。[31]0我们应该害怕我们看到的反射吗？当然，我们至少应该有点害怕。我们是否应该像Botsman告诉我们的那样把Alexa退回壁橱，因为她在与女儿的实验之后这样做了？我们的答案是否定的，我们不应该这样做。我们应该确保伴随着技术进步，将AI专家、信息学家、数学和社会科学家、心理学家、立法者等多学科监督团队聚集在一起。我们应该小心我们信任谁[2]，最重要的是，我们不应该失去对专业知识的信任[20]。只有这样，人类的“壮丽而进步的命运”[17]才有机会以其全部辉煌实现。0致谢0我们感谢DanieleMagazzeni进行了许多有趣的讨论（并允许我们转述了他尚未发表的几句话）。0参考文献0跟踪：Re-Coding Black Mirror WWW 2018，2018年4月23日至27日，法国里昂15710[20] Tom Nichols. 2017. 专家知识的消亡：对已建立知识的攻击及其重要性。OUPUsa出版社。[21] LauraNiles。2015年。太空中的第一个人形机器人获得NASA年度发明奖。https://www.nasa.gov/mission_pages/station/research/news/invention_of_the_year，2015年6月17日。[22] Narcís Palomeras，Arnau Carrera，Natàlia Hurtós，George C. Karras，Charalam-pos P. Bechlioulis，Michael Cashmore，Daniele Magazzeni，Derek Long，MariaFox，Kostas J. Kyriakopoulos，Petar Kormushev，Joaquim Salvi和MarcCarreras。2016年。实现在海底面板中持续自主干预。自主机器人，2016年40卷7期，1279-1306页。[23] Sydney Pollack（导演）。1982年。托茨。[24] RidleyScott（导演）。1982年。银翼杀手。[25] MurrayShanahan。2015年。技术奇点。MIT出版社。[26] Isaac BashevisSinger。1983年。叶特尔，犹太教学院男孩。[27] AndrewStanton（导演）。2008年。机器人总动员。0[28]巴布拉∙斯翠珊（导演）。1983年。《依然是我》（1983）。http://www.imdb.com/title/tt0086619/。[29]理查德∙萨斯金德和丹尼尔∙萨斯金德。2017年。《专业的未来：技术将如何改变人类专家的工作》。牛津大学出版社。[30]马克斯∙泰格马克。2017年。《3.0生活：人工智能时代的人类存在》。艾伦∙莱恩。[31]卫报 -小工具。2011年。查理∙布鲁克：我们对小工具的黑暗面。卫报，2011年12月1日。https://www.theguardian.com/technology/2011/dec/01/charlie-brooker-dark-side-gadget-addiction-black-mirror [32]英国自动驾驶项目2018年。2018年。http://www.ukautodrive.com [33]简∙韦克菲尔德。2015年。智能机器：机器人将首先夺走哪些工作。BBC新闻 -科技，2015年9月14日。http://www.bbc.co.uk/news/ technology-33327659 [34]托比∙沃尔什。2017年。机器人会带来工作的终结吗？卫报，2017年10月1日。https://www.theguardian.com/science/political-science/2017/oct/01/will-robots-bring-about-the-end-of-work0Track: 重新编码黑镜WWW 2018，2018年4月23日至27日，法国里昂