warn mapreduce.counters: group filesystemcounters is deprecated. use org.apa

时间: 2024-04-01 09:37:05 浏览: 183
che.hadoop.mapreduce.FileSystemCounter instead. 这是一个警告信息,意思是MapReduce框架中的计数器组“filesystemcounters”已经被弃用,应该使用“org.apache.hadoop.mapreduce.FileSystemCounter”代替。这个警告信息可能会在运行MapReduce作业时出现,它并不会影响作业的执行结果,只是提醒用户更新代码以避免使用已经被弃用的计数器组。
相关问题

023-06-11 16:34:45,697 WARN mapreduce.Counters: Group FileSystemCounters is deprecated. Use org.apache.hadoop.mapreduce.FileSystemCounter instead 2023-06-11 16:34:45,697 INFO mapreduce.ExportJobBase: Transferred 0 bytes in 1.8697 seconds (0 bytes/sec) 2023-06-11 16:34:45,698 WARN mapreduce.Counters: Group org.apache.hadoop.mapred.Task$Counter is deprecated. Use org.apache.hadoop.mapreduce.TaskCounter instead 2023-06-11 16:34:45,698 INFO mapreduce.ExportJobBase: Exported 0 records. 2023-06-11 16:34:45,699 ERROR tool.ExportTool: Error during export: Export job failed!

这段日志的信息表明在执行一个MapReduce任务时,任务失败了。具体而言,这个任务是一个导出作业(Export Job),它把数据从一个Hadoop集群导出到另一个集群。这个任务在执行时遇到了一些问题,导致它失败了。 另外,这段日志中还包含了一些警告信息,告诉你一些计数器(Counters)已经被弃用了,应该使用新的计数器来代替。

WARN mapreduce.Counters: Group org.apache.hadoop.mapred.Task$Counter is deprecated. Use org.apache.hadoop.mapreduce.TaskCounter instead

这个警告信息是告诉你使用了已经被弃用的计数器组,建议使用新的计数器组。旧的计数器组是 org.apache.hadoop.mapred.Task$Counter,新的计数器组是 org.apache.hadoop.mapreduce.TaskCounter。你可以在代码中将旧的计数器组替换为新的计数器组来避免这个警告信息。
阅读全文

相关推荐

2023-06-10 06:10:14,356 INFO mapreduce.Job: Job job_1686300831839_0056 failed with state FAILED due to: Task failed task_1686300831839_0056_m_000001 Job failed as tasks failed. failedMaps:1 failedReduces:0 killedMaps:0 killedReduces: 0 2023-06-10 06:10:14,536 INFO mapreduce.Job: Counters: 9 Job Counters Failed map tasks=1 Killed map tasks=3 Launched map tasks=4 Data-local map tasks=4 Total time spent by all maps in occupied slots (ms)=20374 Total time spent by all reduces in occupied slots (ms)=0 Total time spent by all map tasks (ms)=20374 Total vcore-milliseconds taken by all map tasks=20374 Total megabyte-milliseconds taken by all map tasks=20862976 2023-06-10 06:10:14,561 WARN mapreduce.Counters: Group FileSystemCounters is deprecated. Use org.apache.hadoop.mapreduce.FileSystemCounter instead 2023-06-10 06:10:14,566 INFO mapreduce.ExportJobBase: Transferred 0 bytes in 19.7479 seconds (0 bytes/sec) 2023-06-10 06:10:14,582 WARN mapreduce.Counters: Group org.apache.hadoop.mapred.Task$Counter is deprecated. Use org.apache.hadoop.mapreduce.TaskCounter instead 2023-06-10 06:10:14,582 INFO mapreduce.ExportJobBase: Exported 0 records. 2023-06-10 06:10:14,582 ERROR mapreduce.ExportJobBase: Export job failed! 2023-06-10 06:10:14,585 ERROR tool.ExportTool: Error during export: Export job failed! at org.apache.sqoop.mapreduce.ExportJobBase.runExport(ExportJobBase.java:445) at org.apache.sqoop.manager.SqlManager.exportTable(SqlManager.java:931) at org.apache.sqoop.tool.ExportTool.exportTable(ExportTool.java:80) at org.apache.sqoop.tool.ExportTool.run(ExportTool.java:99) at org.apache.sqoop.Sqoop.run(Sqoop.java:147) at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:76) at org.apache.sqoop.Sqoop.runSqoop(Sqoop.java:183) at org.apache.sqoop.Sqoop.runTool(Sqoop.java:234) at org.apache.sqoop.Sqoop.runTool(Sqoop.java:243) at org.apache.sqoop.Sqoop.main(Sqoop.java:252)

npm WARN deprecated stable@0.1.8: Modern JS already guarantees Array#sort() is a stable sort, so this library is deprecated. See the compatibility table on MDN: https://developer.mozilla.org/en-US/docs/Web/JavaScript/Reference/Global_Objects/Array/sort#browser_compatibility npm WARN deprecated source-map-url@0.4.1: See https://github.com/lydell/source-map-url#deprecated npm WARN deprecated @hapi/bourne@1.3.2: This version has been deprecated and is no longer supported or maintained npm WARN deprecated @hapi/topo@3.1.6: This version has been deprecated and is no longer supported or maintained npm WARN deprecated eslint-loader@2.2.1: This loader has been deprecated. Please use eslint-webpack-plugin npm WARN deprecated urix@0.1.0: Please see https://github.com/lydell/urix#deprecated npm WARN deprecated har-validator@5.1.5: this library is no longer supported npm WARN deprecated source-map-resolve@0.5.3: See https://github.com/lydell/source-map-resolve#deprecated npm WARN deprecated chokidar@2.1.8: Chokidar 2 does not receive security updates since 2019. Upgrade to chokidar 3 with 15x fewer dependencies npm WARN deprecated chokidar@2.1.8: Chokidar 2 does not receive security updates since 2019. Upgrade to chokidar 3 with 15x fewer dependencies npm WARN deprecated resolve-url@0.2.1: https://github.com/lydell/resolve-url#deprecated npm WARN deprecated html-webpack-plugin@3.2.0: 3.x is no longer supported npm WARN deprecated @hapi/address@2.1.4: Moved to 'npm install @sideway/address' npm WARN deprecated querystring@0.2.0: The querystring API is considered Legacy. new code should use the URLSearchParams API instead. npm WARN deprecated babel-eslint@10.1.0: babel-eslint is now @babel/eslint-parser. This package will no longer receive updates. npm WARN deprecated uuid@3.4.0: Please upgrade to version 7 or higher. Older versions may use Math.random() in certain circumstances, which is known to be problematic. See https://v8.dev/blog/math-random for details. npm WARN deprecated request@2.88.2: request has been deprecated, see https://github.com/request/request/issues/3142 npm WARN deprecated @hapi/hoek@8.5.1: This version has been deprecated and is no longer supported or maintained npm WARN deprecated @hapi/joi@15.1.1: Switch to 'npm install joi' npm WARN deprecated svgo@1.3.2: This SVGO version is no longer supported. Upgrade to v2.x.x. npm WARN deprecated core-js@2.6.12: core-js@<3.23.3 is no longer maintained and not recommended for usage due to the number of issues. Because of the V8 engine whims, feature detection in old core-js versions could cause a slowdown up to 100x even if nothing is polyfilled. Some versions have web compatibility issues. Please, upgrade your dependencies to the actual version of core-js. added 1400 packages in 1m

最新推荐

recommend-type

170: Warning: (1681, ‘Integer display width is deprecated and will be removed in a future release.’)

在Python的数据库操作中,尤其是当你使用pymysql库连接MySQL数据库时,可能会遇到一个警告,提示"Integer display width is deprecated and will be removed in a future release." 这个警告源于MySQL数据库的一个...
recommend-type

Kotlin开发的播放器(默认支持MediaPlayer播放器,可扩展VLC播放器、IJK播放器、EXO播放器、阿里云播放器)

基于Kotlin开发的播放器,默认支持MediaPlayer播放器,可扩展VLC播放器、IJK播放器、EXO播放器、阿里云播放器、以及任何使用TextureView的播放器, 开箱即用,欢迎提 issue 和 pull request
recommend-type

【创新无忧】基于斑马优化算法ZOA优化极限学习机ELM实现乳腺肿瘤诊断附matlab代码.rar

1.版本:matlab2014/2019a/2024a 2.附赠案例数据可直接运行matlab程序。 3.代码特点:参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象:计算机,电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。 替换数据可以直接使用,注释清楚,适合新手
recommend-type

全套S7-1200一拖三恒压供水程序样例+PID样例+触摸屏样例 1、此程序采用S7-1200PLC和KTP1000PN触摸屏人机执行PID控制变频器实现恒压供水. 包括plc程序,触摸屏程序

全套S7-1200一拖三恒压供水程序样例+PID样例+触摸屏样例 。 1、此程序采用S7-1200PLC和KTP1000PN触摸屏人机执行PID控制变频器实现恒压供水. 包括plc程序,触摸屏程序,项目图纸(重要) 2.程序为实际操作项目案例程序,程序带有注释说明。 PLC程序打开软件版本为西门子博图V13以上均可打开。 实际工程已验证
recommend-type

前端开发利器:autils前端工具库特性与使用

资源摘要信息:"autils:很棒的前端utils库" autils是一个专门为前端开发者设计的实用工具类库。它小巧而功能强大,由TypeScript编写而成,确保了良好的类型友好性。这个库的起源是日常项目中的积累,因此它的实用性得到了验证和保障。此外,autils还通过Jest进行了严格的测试,保证了代码的稳定性和可靠性。它还支持按需加载,这意味着开发者可以根据需要导入特定的模块,以优化项目的体积和加载速度。 知识点详细说明: 1. 前端工具类库的重要性: 在前端开发中,工具类库提供了许多常用的函数和类,帮助开发者处理常见的编程任务。这类库通常是为了提高代码复用性、降低开发难度以及加快开发速度而设计的。 2. TypeScript的优势: TypeScript是JavaScript的一个超集,它在JavaScript的基础上添加了类型系统和对ES6+的支持。使用TypeScript编写代码可以提高代码的可读性和维护性,并且可以提前发现错误,减少运行时错误的发生。 3. 实用性与日常项目的关联: 一个工具库的实用性强不强,往往与其是否源自实际项目经验有关。从实际项目中抽象出来的工具类库往往更加贴合实际开发需求,因为它们解决的是开发者在实际工作中经常遇到的问题。 4. 严格的测试与代码质量: Jest是一个流行的JavaScript测试框架,它用于测试JavaScript代码。通过Jest对autils进行严格的测试,不仅可以验证功能的正确性,还可以保证库的稳定性和可靠性,这对于用户而言是非常重要的。 5. 按需加载与项目优化: 按需加载是现代前端开发中提高性能的重要手段之一。通过只加载用户实际需要的代码,可以显著减少页面加载时间并改善用户体验。babel-plugin-import是一个可以实现按需导入ES6模块的插件,配合autils使用可以使得项目的体积更小,加载更快。 6. 安装和使用: autils可以通过npm或yarn进行安装。npm是Node.js的包管理器,yarn是一个快速、可靠、安全的依赖管理工具。推荐使用yarn进行安装是因为它在处理依赖方面更为高效。安装完成后,开发者可以在项目中引入并使用autils提供的各种工具函数。 7. 工具类和工具函数: autils包含有多个工具类和工具函数,这些工具类和函数可以帮助开发者解决包括但不限于数据转换、权限验证以及浮点数精度问题等前端开发中的常见问题。例如,工具类可能提供了中文阿拉伯数字和中文数字互转的功能,这对于需要支持中文数字显示的前端应用尤为重要。 8. 前端开发的其它知识点: - 使用TypeScript可以利用其提供的强类型检查机制,减少运行时错误。 - 实际项目中积累的工具库往往更加实用,因为它解决了实际问题。 - 通过单元测试来保证工具库的稳定性和可靠性。 - 按需加载和代码分割可以帮助减小应用体积,加快首屏加载速度。 - npm和yarn的使用,以及如何在项目中正确安装和配置依赖。 通过上述知识点的介绍,我们可以清晰地了解到autils这个前端工具类库的特点、优势以及如何在实际项目中应用它来解决开发中遇到的常见问题。这个库可以极大地提高前端开发的效率,并优化最终产品的性能。
recommend-type

管理建模和仿真的文件

管理Boualem Benatallah引用此版本:布阿利姆·贝纳塔拉。管理建模和仿真。约瑟夫-傅立叶大学-格勒诺布尔第一大学,1996年。法语。NNT:电话:00345357HAL ID:电话:00345357https://theses.hal.science/tel-003453572008年12月9日提交HAL是一个多学科的开放存取档案馆,用于存放和传播科学研究论文,无论它们是否被公开。论文可以来自法国或国外的教学和研究机构,也可以来自公共或私人研究中心。L’archive ouverte pluridisciplinaire
recommend-type

电力系统自动化潮流分析:PSD-BPA与自动化系统的无缝集成

![PSD-BPA潮流分析](https://media.geeksforgeeks.org/wp-content/uploads/20230214000949/Brownian-Movement.png) # 摘要 随着电力系统技术的快速发展,电力系统自动化潮流分析在提高电网运行效率和可靠性方面扮演着重要角色。本文综述了PSD-BPA软件的基础理论及其在电力系统自动化中的应用,探讨了自动化系统在电力系统中的关键作用,以及PSD-BPA与自动化系统集成的技术要点。通过案例分析,本文展示了自动化系统在潮流分析中的应用,并对集成技术和未来发展趋势进行了深入的讨论。文章最终提出了未来电力系统自动化
recommend-type

android 获取本地mac地址

在Android应用程序中获取设备的本地MAC地址通常需要权限,并且不是直接暴露给应用供开发者使用的API。这是因为出于安全考虑,MAC地址被视为敏感信息,不应轻易提供给所有应用。 但是,如果你的应用获得了`ACCESS_WIFI_STATE`和`ACCESS_FINE_LOCATION`这两个权限(在Android 6.0 (API level 23)及以后版本,你需要单独申请`ACCESS_COARSE_LOCATION`权限),你可以通过WiFiInfo对象间接获取到MAC地址,因为这个对象包含了与Wi-Fi相关的网络信息,包括MAC地址。以下是大致步骤: ```java impor
recommend-type

小米手机抢购脚本教程与源码分享

资源摘要信息:"抢购小米手机脚本介绍" 知识点一:小米手机 小米手机是由小米科技有限责任公司生产的一款智能手机,以其高性价比著称,拥有众多忠实的用户群体。在新品发售时,由于用户抢购热情高涨,时常会出现供不应求的情况,因此,抢购脚本应运而生。 知识点二:抢购脚本 抢购脚本是一种自动化脚本,旨在帮助用户在商品开售瞬间自动完成一系列快速点击和操作,以提高抢购成功的几率。此脚本基于Puppeteer.js实现,Puppeteer是一个Node库,它提供了一套高级API来通过DevTools协议控制Chrome或Chromium。使用该脚本可以让用户更快地操作浏览器进行抢购。 知识点三:Puppeteer.js Puppeteer.js是Node.js的一个库,提供了一系列API,可以用来模拟自动化控制Chrome或Chromium浏览器的行为。Puppeteer可以用于页面截图、表单自动提交、页面爬取、PDF生成等多种场景。由于其强大的功能,Puppeteer成为开发抢购脚本的热门选择之一。 知识点四:脚本安装与使用 此抢购脚本的使用方法很简单。首先需要在本地环境中通过命令行工具安装必要的依赖,通常使用yarn命令进行包管理。安装完成后,即可通过node命令运行buy.js脚本文件来启动抢购流程。 知识点五:抢购规则的优化 脚本中定义了一个购买规则数组,这个数组定义了抢购的优先级。数组中的对象代表不同的购买配置,每个对象包含GB和color属性。GB属性中的type和index分别表示小米手机内存和存储的组合类型,以及在选购页面上的具体选项位置。color属性则代表颜色的选择。根据这个规则数组,脚本会按照配置好的顺序进行抢购尝试。 知识点六:命令行工具Yarn Yarn是一个快速、可靠和安全的依赖管理工具。它与npm类似,是一种包管理器,允许用户将JavaScript代码模块打包到应用程序中。Yarn在处理依赖安装时更加快速和高效,并提供了一些npm没有的功能,比如离线模式和更好的锁文件控制。 知识点七:Node.js Node.js是一个基于Chrome V8引擎的JavaScript运行环境。它使用事件驱动、非阻塞I/O模型,使其轻量又高效,非常适合在分布式设备上运行数据密集型的实时应用程序。Node.js在服务器端编程领域得到了广泛的应用,可以用于开发后端API服务、网络应用、微服务等。 知识点八:脚本的文件结构 根据提供的文件名称列表,这个脚本项目的主文件名为"buy-xiaomi-main"。通常,这个主文件会包含执行脚本逻辑的主要代码,例如页面导航、事件监听、输入操作等。其他可能会有的文件包括配置文件、依赖文件、日志文件等,以保持项目的结构清晰和模块化。 总结而言,这个抢购小米手机的脚本利用了Puppeteer.js强大的自动化能力,通过Node.js环境进行运行。脚本详细定义了抢购的优先级规则,允许用户通过简单的命令行操作,实现快速自动化的抢购过程。而Yarn则帮助用户更高效地安装和管理项目依赖。这为需要参与小米手机抢购的用户提供了一个技术性的解决方案。
recommend-type

"互动学习:行动中的多样性与论文攻读经历"

多样性她- 事实上SCI NCES你的时间表ECOLEDO C Tora SC和NCESPOUR l’Ingén学习互动,互动学习以行动为中心的强化学习学会互动,互动学习,以行动为中心的强化学习计算机科学博士论文于2021年9月28日在Villeneuve d'Asq公开支持马修·瑟林评审团主席法布里斯·勒菲弗尔阿维尼翁大学教授论文指导奥利维尔·皮耶昆谷歌研究教授:智囊团论文联合主任菲利普·普雷教授,大学。里尔/CRISTAL/因里亚报告员奥利维耶·西格德索邦大学报告员卢多维奇·德诺耶教授,Facebook /索邦大学审查员越南圣迈IMT Atlantic高级讲师邀请弗洛里安·斯特鲁布博士,Deepmind对于那些及时看到自己错误的人...3谢谢你首先,我要感谢我的两位博士生导师Olivier和Philippe。奥利维尔,"站在巨人的肩膀上"这句话对你来说完全有意义了。从科学上讲,你知道在这篇论文的(许多)错误中,你是我可以依