博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Hadoop中map reduce和client共享数据源的方式
阅读量:4111 次
发布时间:2019-05-25

本文共 653 字,大约阅读时间需要 2 分钟。

需求:

hadoop执行mr job的时候需要在map reduce 以及client三处相互共享数据比如在map某阶段设置一个标记位让reduce知道。

方案:

1.由于Configuration在client提交之后修改就无效了,因此不能基于Configuration来实现,那么可以通过三份数据源来实习比如db file等

2.基于hdfs

实现:

基于hdfs写文件实现,核心代码如下:

client read操作:

Path flagPath = new Path("/hadoop/flag");if (hdfs.exists(flagPath)) {	hdfs.delete(flagPath, true);}.......your biz.........boolean isCircleEnd = false;if (hdfs.exists(flagPath)) {	FSDataInputStream fdis = hdfs.open(flagPath);	isCircleEnd = fdis.readBoolean();	fdis.close();}

 

其他写操作:

FSDataOutputStream fdos = FileSystem		.get(context.getConfiguration()).create(				new Path("/hadoop/flag"));fdos.writeBoolean(true);fdos.flush();fdos.close();

 

 

转载地址:http://hpqsi.baihongyu.com/

你可能感兴趣的文章
JavaSE_day14 集合中的Map集合_键值映射关系
查看>>
Day_15JavaSE 异常
查看>>
异常 Java学习Day_15
查看>>
JavaSE_day_03 方法
查看>>
day-03JavaSE_循环
查看>>
Mysql初始化的命令
查看>>
day_21_0817_Mysql
查看>>
day-22 mysql_SQL 结构化查询语言
查看>>
MySQL关键字的些许问题
查看>>
浅谈HTML
查看>>
css基础
查看>>
HTML&CSS进阶
查看>>
Servlet进阶和JSP基础
查看>>
servlet中的cookie和session
查看>>
过滤器及JSP九大隐式对象
查看>>
软件(项目)的分层
查看>>
菜单树
查看>>
MySQL-分布式架构-MyCAT
查看>>
设计模式六大原则(6):开闭原则
查看>>
阿里面试总结--JAVA
查看>>