据说玩 hadoop 的都知道这个网站. [链接] 上传文件略 tar -zxvf hadoop-2.4.1.tar.gz 修改配置文件 etc 目录 3.1 vi hadoop-env.sh #export JAVA_HOME=${JAVA_HOME} export JAVA_HOME=/usr/lib/jvm/ja ..

Hadoop 安装与配置

本贴最后更新于 502 天前,其中的信息可能已经水流花落

据说玩 hadoop 的都知道这个网站.
archive.apache.org/dist/

  1. 上传文件略

  2. tar -zxvf hadoop-2.4.1.tar.gz

  3. 修改配置文件 etc 目录
    3.1 vi hadoop-env.sh

    #export JAVA_HOME=${JAVA_HOME}
    export JAVA_HOME=/usr/lib/jvm/java
    3.2 vi core-site.xml

    fs.defaultFS hdfs://itcast01:9000 hadoop.tmp.dir /itcast/hadoop-2.4.1/tmp

3.3 hdfs-site.xml

<!-- 指定HDFS副本的数量 -->
<property>
	<name>dfs.replication</name>
	<value>1</value>
</property>

3.4 mapred-site.xml
cp mapred-site.xml.template mapred-site.xml

<!-- 指定mr运行在yarn上 -->
<property>
	<name>mapreduce.framework.name</name>
	<value>yarn</value>
 </property>

3.5 yarn-site.xml

<!-- 指定YARN的老大(ResourceManager)的地址 -->
<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>itcast01</value>
</property>
<!-- reducer获取数据的方式 -->
<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
</property>

4 将 hadoop 添加到环境变量
vim /etc/proflie

export JAVA_HOME=/usr/java/jdk1.7.0_65
export HADOOP_HOME=/itcast/hadoop-2.4.1
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source /etc/profile
5 格式化 namenode(是对 namenode 进行初始化)
hdfs namenode -format (hadoop namenode -format)
6 启动 hadoop

	先启动HDFS
	sbin/start-dfs.sh
	
	再启动YARN
	sbin/start-yarn.sh
  1. 验证是否启动成功
    使用 jps 命令验证
    27408 NameNode
    28218 Jps
    27643 SecondaryNameNode
    28066 NodeManager
    27803 ResourceManager
    27512 DataNode

     http://192.168.8.118:50070 (HDFS管理界面)
     http://192.168.8.118:8088 (MR管理界面)
    

8 测试
hadoop fs -put xx.txt hdfs://localhost:9000/accitest
hadoop fs -get hdfs://localhost:9000/accitest tt

---- 本文是在 itcast 的学习笔记

  • B3log

    B3log 是一个开源组织,名字来源于“Bulletin Board Blog”缩写,目标是将独立博客与论坛结合,形成一种新的网络社区体验,详细请看 B3log 构思。目前 B3log 已经开源了多款产品:PipeSoloSymWide 等,欢迎大家加入,贡献开源。

    1881 引用 • 3627 回帖 • 588 关注
  • Hadoop

    Hadoop 是由 Apache 基金会所开发的一个分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。

    51 引用 • 117 回帖 • 761 关注
回帖   
请输入回帖内容...