将hdfs中的数据导入hive

将HDFS中的数据导入到Hive
使用LOAD DATA语句
可以直接通过LOAD DATA INPATH命令将存储于HDFS上的文件加载至指定表内。此操作会移动或复制源路径下的文件到对应表格的数据目录下，具体取决于是否指定了LOCAL关键字[^3]。
对于位于HDFS而非本地系统的文件，则省略LOCAL选项：
LOAD DATA INPATH '/hdfs/path/to/file' INTO TABLE my_table;
登录后复制
上述SQL指令执行后，来自给定HDFS路径的文件会被迁移到由Hive管理的目标表关联位置，并成为其组成部分之一。
利用INSERT...SELECT语法实现转换
另一种常见的方式是从已经存在于HDFS里的其他结构化数据集中抽取所需字段并插入新创建或是现有的Hive表里。这通常涉及到编写一个INSERT INTO ... SELECT ... FROM ...形式的查询来完成这一过程[^1]。
假设有一个CSV格式的日志文件存放在HDFS上，现在希望将其内容按照一定模式映射成一张新的关系型表：
CREATE EXTERNAL TABLE IF NOT EXISTS logs (
log_time STRING,
user_id BIGINT,
action STRING
)
ROW FORMAT DELIMITED FIELDS TERMINATED BY ','
LOCATION '/user/hadoop/logs';

-- 假设目标表已存在且具有兼容schema
INSERT INTO target_table
SELECT * FROM logs WHERE ...
登录后复制
这里先声明了一个外部表指向原始日志所在之处，接着利用标准的选择表达式过滤和投影出期望的结果集再写入最终目的地。这种方式特别适合处理那些需要经过清洗、聚合或其他复杂变换才能入库的情况[^2]。
自动化流程集成工具的应用
考虑到实际生产环境中往往面对着持续流入的大规模异构数据流，在Kafka、Flume等消息队列/采集框架的帮助下可以构建起更加高效稳定的ETL管道，自动地把最新产生的记录同步过来并适时触发下游分析任务。