static String destPath = "D:/workspace/bigdata-
component/hadoop/test/out/sf";
public static void main(String[] args) throws Exception {
MergeSmallFilesToSequenceFile msf = new MergeSmallFilesToSequenceFile();
// 合并小文件
List<String> fileList = msf.getFileListByPath(srcPath);
msf.mergeFile(configuration, fileList, destPath);
// 读取大文件
msf.readMergedFile(configuration, destPath);
}
public List<String> getFileListByPath(String inputPath) throws Exception {
List<String> smallFilePaths = new ArrayList<String>();
File file = new File(inputPath);
// 给定路径是文件夹，则遍历文件夹，将子文件夹中的文件都放入smallFilePaths
// 给定路径是文件，则把文件的路径放入smallFilePaths
if (file.isDirectory()) {
File[] files = FileUtil.listFiles(file);
for (File sFile : files) {
smallFilePaths.add(sFile.getPath());
}
} else {
smallFilePaths.add(file.getPath());
}
return smallFilePaths;
}
// 把smallFilePaths的小文件遍历读取，然后放入合并的sequencefile容器中
public void mergeFile(Configuration configuration, List<String>
smallFilePaths, String destPath) throws Exception {
Writer.Option bigFile = Writer.file(new Path(destPath));
Writer.Option keyClass = Writer.keyClass(Text.class);
Writer.Option valueClass = Writer.valueClass(BytesWritable.class);
// 构造writer
Writer writer = SequenceFile.createWriter(configuration, bigFile,
keyClass, valueClass);
// 遍历读取小文件，逐个写入sequencefile
Text key = new Text();
for (String path : smallFilePaths) {
File file = new File(path);
long fileSize = file.length();// 获取文件的字节数大小
byte[] fileContent = new byte[(int) fileSize];
FileInputStream inputStream = new FileInputStream(file);
inputStream.read(fileContent, 0, (int) fileSize);// 把文件的二进制流加载
到fileContent字节数组中去
String md5Str = DigestUtils.md5Hex(fileContent);
System.out.println("merge小文件：" + path + ",md5:" + md5Str);
key.set(path);
// 把文件路径作为key，文件内容做为value，放入到sequencefile中
writer.append(key, new BytesWritable(fileContent));
}
writer.hflush();
writer.close();
剩余22页未读，继续阅读
一瓢一瓢的饮alanchanchn
- 粉丝: 4706
- 资源: 69
我的内容管理
展开
最新资源
- Vue实现iOS原生Picker组件：详细解析与实现思路
- Arduino蓝牙小车：参数调试与功能控制
- 百度Java面试精华：200页精选资源涵盖核心知识点
- Swift使用CoreData填坑指南：CoreData在Swift 3.0的变化
- 微距离无线充电器创新设计及其实验探索
- MTK Android平台开发全攻略：44步详解流程
- RecyclerView全面解析：替代ListView的新选择
- Android开发：自动适配中英文键盘解决方案
- Android调用WebService接口教程
- Android开发：BitmapUtil图片处理全解析与实例
- Android多线程断点续传实现详解
- PCA算法在人脸识别会议签到系统中的应用
- EventBus 3.0：Android事件总线详解与实战应用
- Android FileUtil：全面解析文件操作实用技巧与实例
- RecyclerView添加头部和尾部实战教程
- Android实现微博滑动固定顶部栏实战与优化
资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！
点击此处反馈
