"Hadoop和HBase常用shell命令整理文档"

需积分: 26 2 下载量 8 浏览量 更新于2024-01-03 1 收藏 85KB DOCX 举报
hbase(main)> create 'tableName', 'columnFamily1', 'columnFamily2'3)列出表的描述信息hbase(main)> describe 'tableName'4)禁用表hbase(main)> disable 'tableName'5)启用表hbase(main)> enable 'tableName'6)删除表hbase(main)> drop 'tableName'7)查看表的region的分布情况hbase(main)> splitormajor 'tableName'3.数据操作1)插入/更新数据hbase(main)> put 'tableName', 'rowkey', 'columnFamily:columnName', 'value'2)获取数据hbase(main)> get 'tableName', 'rowkey'3)扫描数据hbase(main)> scan 'tableName'4)删除数据hbase(main)> delete 'tableName', 'rowkey', 'columnFamily:columnName', 'timestamp'4.其他1)查看集群状态hbase(main)> status2)查看HBase versionhbase(main)> version3)退出hbase shellhbase(main)> exitHadoop常用shell命令1.文件操作1)上传本地文件到HDFS hadoop fs -put /path/to/local/file /path/in/hdfs2)从HDFS下载文件到本地hadoop fs -get /path/in/hdfs /path/to/local/file3)创建目录hadoop fs -mkdir /path/in/hdfs4)列出目录内容hadoop fs -ls /path/in/hdfs5)删除文件hadoop fs -rm /path/in/hdfs6)删除目录hadoop fs -rm -r /path/in/hdfs2.数据操作1)将本地数据导入到Hive表中hadoop fs -put /path/to/local/file /user/hive/warehouse/tableName2)将Hive表数据导出到本地hadoop fs -get /user/hive/warehouse/tableName /path/to/local/file3)查看HDFS上文件的块信息hadoop fsck /path/in/hdfs -files -blocks -locations3.作业操作1)提交作业hadoop jar /path/to/jarfile.jar mainclass inputpath outputpath2)查看作业列表hadoop job -list3)查看作业状态hadoop job -status jobID4)停止作业hadoop job –kill jobID5)查看作业日志hadoop job -history jobID6)查看MapReduce作业的进度hadoop job -maps jobIDhadoop job -reduces jobID这份文档整理了Hadoop和HBase常用的shell命令,对于工作中需要频繁使用Hadoop和HBase的开发人员来说具有很高的使用价值。在HBase的shell命令部分,包括了表的管理、数据操作和其他命令;在Hadoop的shell命令部分,包括了文件操作、数据操作和作业操作等。这些命令可以帮助开发人员更高效地进行工作,提高工作效率。同时,这份文档也包括了具体的命令示例,对于初学者来说也具有一定的参考价值。总的来说,这份文档对于Hadoop和HBase的开发人员来说是一份非常实用的指南。