Python连接HDFS实现文件上传下载及Pandas转换文本文件到CSV操作_hdfs上创建目录 - CSDN文库

43 浏览量更新于2023-03-03 评论收藏 74KB PDF 举报

身份认证购VIP最低享 7 折!

领优惠券(最高得80元）

资源详情

资源评论

资源推荐

Python连接连接HDFS实现文件上传下载及实现文件上传下载及Pandas转换文本文件转换文本文件

到到CSV操作操作

1. 目标目标

通过hadoop hive或spark等数据计算框架完成数据清洗后的数据在HDFS上

爬虫和机器学习在Python中容易实现

在Linux环境下编写Python没有pyCharm便利

需要建立Python与HDFS的读写通道

2. 实现实现

安装Python模块pyhdfs

版本:Python3.6, hadoop 2.9

读文件代码如下

from pyhdfs import HdfsClient

client=HdfsClient(hosts='ghym:50070')#hdfs地址

res=client.open('/sy.txt')#hdfs文件路径,根目录/

for r in res:

line=str(r,encoding='utf8')#open后是二进制,str()转换为字符串并转码

print(line)

写文件代码如下

from pyhdfs import HdfsClient

client=HdfsClient(hosts='ghym:50070',user_name='hadoop')#只有hadoop用户拥有写权限

str='hello world'

client.create('/py.txt',str)#创建新文件并写入字符串

上传本地文件到HDFS

from pyhdfs import HdfsClient

client = HdfsClient(hosts='ghym:50070', user_name='hadoop')

client.copy_from_local('d:/pydemo.txt', '/pydemo')#本地文件绝对路径,HDFS目录必须不存在

3. 读取文本文件写入读取文本文件写入csv

Python安装pandas模块

确认文本文件的分隔符

# pyhdfs读取文本文件,分隔符为逗号,

from pyhdfs import HdfsClient

client = HdfsClient(hosts='ghym:50070', user_name='hadoop')

inputfile=client.open('/int.txt')

# pandas调用读取方法read_table

import pandas as pd

df=pd.read_table(inputfile,encoding='gbk',sep=',')#参数为源文件,编码,分隔符

# 数据集to_csv方法转换为csv

df.to_csv('demo.csv',encoding='gbk',index=None)#参数为目标文件,编码,是否要索引

补充知识：补充知识：记记读取读取hdfs 转转 pandas 再经由再经由pandas转为转为csv的一个坑的一个坑

工作流程是这样的：

读取 hdfs 的 csv 文件，采用的是 hdfs 客户端提供的 read 方法，该方法返回一个生成器。

将读取到的数据按逗号处理，变为一个二维数组。

将二维数组传给 pandas，生成 df。

经若干处理后，将 df 转为 csv 文件并写入hdfs。

问题是这样的：

本内容试读结束，登录后可阅读更多

下载后可阅读完整内容，剩余2页未读，立即下载

评论0

weixin_38628150

粉丝: 4
资源: 936

会员权益专享

图片转文字

全年可省5，000元立即开通

最新资源

资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！点击此处反馈