大数据学习笔记(4)-- yarn 的配置和启动

本贴最后更新于 1938 天前,其中的信息可能已经时移世易

修改 yarn-site.xml 配置文件

<!-- resourcemanager主机名 -->
<property>
	<name>yarn.resourcemanager.hostname</name>
	<value>namenode</value>
</property>

<!-- mapreduce模式 -->
<property>
	<name>yarn.nodemanager.aux-services</name>
	<value>mapreduce_shuffle</value>
</property>

<!-- 根据机器的配置自己计算内存和cpu资源 -->
<property>
    <name>yarn.nodemanager.resource.detect-hardware-capabilities</name>
    <value>true</value>
</property>

配置集群启动的 slavs

添加要启动的机器的 hostname

namenode
datanode-01

启动和关闭 yarn

启动 yarn

start-yarn.sh

关闭 yarn

stop-yarn.sh

也可以用口令一个一个启动

启动 yarn 的 resourcemanager
yarn-daemon.sh start resourcemanager

启动 yarn 的 nodemanager
yarn-daemon.sh start nodemanager

  • 大数据

    大数据(big data)是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

    89 引用 • 113 回帖
  • Hadoop

    Hadoop 是由 Apache 基金会所开发的一个分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。

    82 引用 • 122 回帖 • 617 关注
  • Yarn
    10 引用 • 5 回帖

相关帖子

欢迎来到这里!

我们正在构建一个小众社区,大家在这里相互信任,以平等 • 自由 • 奔放的价值观进行分享交流。最终,希望大家能够找到与自己志同道合的伙伴,共同成长。

注册 关于
请输入回帖内容 ...