`
cutecoot
  • 浏览: 117414 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

关于Map和Reduce最大的并发数设置

阅读更多

一、环境

1、hadoop 0.20.2

2、操作系统 Linux

二、设置

1、因为hadoop的集群所有的机器不可能完全的配置一样,所以,不同节点机器上并发的最大map和reduce数量最好也不要相同。

2、在对应的节点机器上修改mapreduce-sit.xml文件,添加参数如下:

<property>
  <name>mapred.tasktracker.map.tasks.maximum</name>
  <value>2</value>
  <description>The maximum number of map tasks that will be run
  simultaneously by a task tracker.
  </description>
</property>

<property>
  <name>mapred.tasktracker.reduce.tasks.maximum</name>
  <value>2</value>
  <description>The maximum number of reduce tasks that will be run
  simultaneously by a task tracker.
  </description>
</property>

各个节点机器上在这个字段值上可以不相同。

3、查看http://192.168.3.131:50030/machines.jsp?type=active来检查数量。

J]_$N5KWFMKS[M$A{F6[0UM

三、总结

1、配置完之后,不需要重启集群所有的机器,只需要重启你改动过的节点机器就可以。

2、如果通过网页看不到变化,那么执行任意一个job,数值就会凸显出变化。

3、结合公平调度器来使用,可以最大程度上提升性能。

 

转自:http://blog.csdn.net/dajuezhao/article/details/5809788

分享到:
评论

相关推荐

    Mapreduce#文档.docx

    MapReduce 借鉴了函数式语言中的思想,用 Map 和 Reduce 两个函数提供了 高层的并行编程抽象模型。 Map: 对一组数据元素进行某种重复式的处理; Reduce: 对 Map 的中间结果进行某种进一步的结果整理。 MapReduce...

    大数据导论-6.1.4-熟悉大数据处理技术——大数据的处理模式.pptx

    当前的软件实现是指定一个Map(映射)函数,用来把一组键值对映射成一组新的键值对,指定并发的Reduce(归约)函数,用来保证所有映射的键值对中的每一个共享相同的键组。 大数据导论-6全文共20页,当前为第4页。 ...

    Jiun-Ting.github.io

    该库通过使用用户定义的Map / Reduce函数以及为mappper和reducer分配的线程数,创建了多线程来执行具有有效并发支持的map / reduce任务。 C语言 大数据系统评估 分布式数据并行训练:分析了PyTorch中不同梯度同步...

    大数据处理框架.pdf

    事实上,与很多⼈理解不同的是,MapReduce对⼤数据计算的最⼤贡献,其实并不是它名字直观显⽰的Map和Reduce思想(正如上⽂提到 的,Map和Reduce思想在Lisp等函数式编程语⾔中很早就存在了),⽽是这个计算框架可以...

    generics:使用Go泛型进行实验

    mapreduce ,并行Map,Reduce和ForEach实用程序maps ,具有基于二叉树的排序键的映射。 metric ,用于生产监控的streamz样式多维变量。 number ,与数字(最小值,最大值,绝对值)和用户定义的复杂类型有关的通用...

    基于Hadoop的大数据处理系统.pdf

    Hadoop MapReduce MapReduce的名字源于这个模型中的两项核⼼操作:Map和Reduce。这是函数式编程(Functional Programming)中的两个核⼼概 念。 MapReduce是⼀种简化的分布式编程模式,让程序⾃动分布到⼀个由普通...

    一种大数据智能分析平台的数据分析方法及实现技术.doc

    Impale底层采用C++实现,而非Hadoop的基于Java的Map- Reduce机制,将性能提高了1-2个数量级。而Spark SQL提供很好的性能并且与Shark、Hive兼容。提供了对结构化数据的简便的narrow- waist操作,为高级的数据分析统一...

    matlab转换java代码-brain-mapping:最终云项目

    使用map-reduce预处理数据,对每个特征进行归一化并减小维数(hadoop) 将数据转换为mahout格式(csv-&gt; seq-&gt; mahout向量) 使用内置的mahout分类器(mahout)进行训练和分类 将数据输出到CSV 我们在执行该框架时...

    python入门到高级全栈工程师培训 第3期 附课件代码

    10 map reduce filter总结 11 内置函数part1 第17章 01 课前吹牛 02 zip方法 03 max和min高级使用 04 其他内置函数 05 文件操作的其他模式 第18章 01 上节课复习 02 文件处理b模式 03 文件操作的其他方法 04 ...

    ASP EXCEL导入SQL

    它们的新的项目分别是ApacheCXF和Axis2.Java语言也制定关于REST网络服务规范:JAX-RS:JavaAPIforRESTfulWebServices(JSR311)。相信还会出现更多与REST相关的激动人心的信息。  REST与AJAX技术  尽管AJAX技术的...

    2019千峰Python超详细入门教程(百度云盘分享).docx

    │ │ 12、map&reduce;.py │ │ 13、filter.py │ │ 14、sorted.py │ │ 15、作用域.py │ │ 16、体现作用域.py │ │ 17、修改全局变量.py │ │ 18、修改嵌套作用域中的变量.py │ │ 1、函数概述.py │ │ 2...

Global site tag (gtag.js) - Google Analytics