Hadoop数据迁移--使用importtsv两步载入数据_通过importtsv方式对下表数据的迁移 - CSDN文库

需积分: 11 8 浏览量更新于2023-03-16 评论 1 收藏 235KB PDF 举报

身份认证购VIP最低享 7 折!

领优惠券(最高得80元）

资源详情

资源评论

资源推荐

海数科技，数据处理专家！ www.hidatas.com

海数科技，专注 Hadoop 大数据处理、Oracle 数据库运维！ www.hidatas.com

海数科技 Hadoop 大数据处理文献

Hadoop 数据迁移：使用 importtsv 两步载入数据

importtsv工作：

该工具是HBase提供的一个将HDFS数据转化为HBase数据库数据的一个工具。

其实现过程是，先将HDFS文件转复制并转化为HFile文件，然后将HFile移动并加载成为HBase的数据文件。

获取帮助：

$ hadoop jar $HBASE_HOME/hbase-0.94.4.jar importtsv

Usage: importtsv -Dimporttsv.columns=a,b,c <tablename> <inputdir>

column name is either a simple column family, or a columnfamily:qualifier. The special

column name HBASE_ROW_KEY is used to designate that this column should be used

-Dimporttsv.bulk.output=/path/for/output

-Dimporttsv.skip.bad.lines=false - fail if encountering an invalid line

'-Dimporttsv.separator=|' - eg separate on pipes instead of tabs

-Dimporttsv.timestamp=currentTimeAsLong - use the specified timestamp for the import

-Dimporttsv.mapper.class=my.Mapper - A user-defined Mapper to use instead of

org.apache.hadoop.hbase.mapreduce.TsvImporterMapper

-Dmapred.map.tasks.speculative.execution=false

-Dmapred.reduce.tasks.speculative.execution=false

HBase表的情况：

public static void createTab(String tabName) throws Exception {

HBaseAdmin admin = new HBaseAdmin(conf);

if (admin.tableExists(tabName)) {

System.out.println(tabName + " exists!");

admin.close();

return;

本内容试读结束，登录后可阅读更多

下载后可阅读完整内容，剩余3页未读，立即下载

评论0

harveyliujob

粉丝: 3
资源: 27

会员权益专享

图片转文字

全年可省5，000元立即开通

最新资源

资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！点击此处反馈