按分类归档:Hadoop

centos6.6搭建hadoop-1.2测试环境

对于Hadoop的集群来讲,可以分成两大类角色:Master和Salve。 一个HDFS集群是由一个NameNode和若干个DataNode组成的。 其中NameNode作为主服务器,管理文件系统的命名空间和客户端对文件系统的访问操作,集群中的DataNode管理存储的数据。 MapReduce框架是由一个单独运行在主节点上的JobTracker和运行在每个集群从节点的TaskTracker共同组成的。 主节点负责调度构成一个作业的所有任务,这些任务分布在不同的从节点上。主节点监控它们的执行情况,并且重新执行之前的失败任务;从节点仅负责由主节点指派的任务。 当一个Job被提交时,JobTracker接收到提交作业和配置信息之后,就会将配置信息等分发给从节点,同时调度任务并监控TaskTracker的执行。 HDFS和MapReduce共同组成了Hadoop分布式系统体系结构的核心。 HDFS在集群上实现分布式文件系统,MapReduce在集群上实现了分布式计算和任务处理。 HDFS在MapReduce任务处理过程中提供了文件操作和存储等支持,MapReduce在HDFS的基础上实现了任务的分发、跟踪、执行等工作,并收集结果,二者相互作用,完成了Hadoop分布式集群的主要任务。 系统版本       : Centos6.6 x64 hadoop版本: hadoop-1.2.1 JDK版本      : jdk-7u67-linux-x64.rpm 1、系统信息 根据上面信息修改各主机的主机名 2、添加主机名与ip映射 编辑/etc/hosts 添加 (4台机器均添加) 3、关闭iptable及selinux (4台机器均执行) 4、安装配置JDK (4台机器均执行) [root@Master ~]# rpm -ivh jdk-7u67-linux-x64.rpm 添加环境变量,追加以下参数到 /etc/profile … 继续阅读

评论关闭