博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
HDFS内容追加
阅读量:4671 次
发布时间:2019-06-09

本文共 1945 字,大约阅读时间需要 6 分钟。

配置:hdfs-site.xml
dfs.support.append
true
 

追加一个文件

package com.wyp;	 	import org.apache.hadoop.conf.Configuration;	import org.apache.hadoop.fs.FileSystem;	import org.apache.hadoop.fs.Path;	import org.apache.hadoop.io.IOUtils;	 	import java.io.*;	import java.net.URI;	 	/**	 * blog: http://www.iteblog.com/	 * Date: 14-1-2	 * Time: 下午6:09	 */	public class AppendContent {	    public static void main(String[] args) {	        String hdfs_path = "hdfs://mycluster/home/wyp/wyp.txt";//文件路径	        Configuration conf = new Configuration();	        conf.setBoolean("dfs.support.append", true);	 	        String inpath = "/home/wyp/append.txt";	        FileSystem fs = null;	        try {	            fs = FileSystem.get(URI.create(hdfs_path), conf);	            //要追加的文件流,inpath为文件	            InputStream in = new	                  BufferedInputStream(new FileInputStream(inpath));	            OutputStream out = fs.append(new Path(hdfs_path));	            IOUtils.copyBytes(in, out, 4096, true);	        } catch (IOException e) {	            e.printStackTrace();	        }	    }	}

追加一行内容

/**      * 以append方式将内容添加到HDFS上文件的末尾;注意:文件更新,需要在hdfs-site.xml中添
dfs. * append.support
true
*/ private static void appendToHdfs() throws FileNotFoundException, IOException { String dst = "hdfs://192.168.1.11:9000/usr/yujing/test.txt"; Configuration conf = new Configuration(); FileSystem fs = FileSystem.get(URI.create(dst), conf); FSDataOutputStream out = fs.append(new Path(dst)); int readLen = "zhangzk add by hdfs java api".getBytes().length; while (-1 != readLen) { out.write("zhangzk add by hdfs java api".getBytes(), 0, readLen); } out.close(); fs.close(); }

版权声明:本文为博主原创文章,未经博主允许不得转载。

转载于:https://www.cnblogs.com/jamesf/p/4751594.html

你可能感兴趣的文章
如何避免在简单业务逻辑上面的细节上面出错
查看>>
win7,Ubuntu 12.04 双系统修改启动项顺序三方法
查看>>
python--列表推导式和生成表达式
查看>>
P - Psychos in a Line 单调队列
查看>>
POJ 2653 Pick-up sticks(计算几何)
查看>>
大型网站高并发的架构演变图-摘自网络
查看>>
8丶运行及总结
查看>>
Unity获取手机的电量时间
查看>>
Spring框架:Spring容器具体解释
查看>>
MongoDB 3.2 从安装到使用。
查看>>
面对最菜TI战队,OpenAI在Dota2上输的毫无还手之力
查看>>
XCODE快捷键和功能汇总篇(不断更新)
查看>>
Servlet开发(一)
查看>>
linux下如何查看某个容器的详细信息?
查看>>
bzoj 2843: 极地旅行社
查看>>
车林通购车之家--购车计算器模块--算法js
查看>>
webpack使用教程
查看>>
MySQL学习8 - 数据的增删改
查看>>
Linux笔记(开机自动将kerne log保存到SD卡中)
查看>>
Ajax提交数据判断员工编号是否存在,及自动填充与员工编号所对应的员工姓名。...
查看>>