分类 安装过程 下的文章

本次需要安装MYSQL 关系型数据库。
主要是要支持JSON的数据格式。

参考文档: http://dev.mysql.com/doc/refman/5.7/en/linux-installation-yum-repo.html

安装环境: Vagrant Centos 6.7

下载MYSQL 配置

# wget http://dev.mysql.com/get/mysql57-community-release-el6-7.noarch.rpm
# yum localinstall ./mysql57-community-release-el6-7.noarch.rpm
# yum install mysql-community-server

修改ROOT密码 MYSQL 5.7 密码验证非常严格。

/etc/my.cnf [mysqld] 下面增加
skip-grant-tables

update mysql.user set authentication_string=password('123qwe') where user='root' and Host = 'localhost'; //修改密码

update mysql.user set Host='%' where user='root' //不限制外部连接

flush privileges;

还原 my.cnf 文件

关闭防火墙

/etc/selinux/config

SELINUX=disabled

setenforce 0 //临时生效

MYSQL Error : 2013

SQL Error (2013): Lost connection to MySQL server at 'waiting for initial communication packet', system error: 0

vi  /etc/sysconfig/iptables
-A INPUT -m state --state NEW -m tcp -p tcp --dport 3306 -j ACCEPT 
service  iptables restart 

个人配置

# Firewall configuration written by system-config-firewall 
# Manual customization of this file is not recommended. 
*filter 
:INPUT ACCEPT [0:0] 
:FORWARD ACCEPT [0:0] 
:OUTPUT ACCEPT [0:0]
 -A INPUT -m state --state ESTABLISHED,RELATED -j ACCEPT
 -A INPUT -p icmp -j ACCEPT
 -A INPUT -i lo -j ACCEPT
 -A INPUT -i eth0 -j ACCEPT
 -A INPUT -m state --state NEW -m tcp -p tcp --dport 22 -j ACCEPT
 -A INPUT -m state --state NEW -m tcp -p tcp --dport 80 -j ACCEPT
 -A INPUT -m state --state NEW -m tcp -p tcp --dport 3306 -j ACCEPT
 -A FORWARD -m state --state ESTABLISHED,RELATED -j ACCEPT
 -A FORWARD -p icmp -j ACCEPT
 -A FORWARD -i lo -j ACCEPT
 -A FORWARD -i eth0 -j ACCEPT
 -A INPUT -j REJECT --reject-with icmp-host-prohibited
 -A FORWARD -j REJECT --reject-with icmp-host-prohibited
 COMMIT 

本次需要安装MYSQL 关系型数据库。
主要是要支持JSON的数据格式。

参考文档: http://dev.mysql.com/doc/refman/5.7/en/linux-installation-yum-repo.html

安装环境: Vagrant Centos 6.7

下载MYSQL 配置

# wget http://dev.mysql.com/get/mysql57-community-release-el6-7.noarch.rpm
# yum localinstall ./mysql57-community-release-el6-7.noarch.rpm
# yum install mysql-community-server

修改ROOT密码 MYSQL 5.7 密码验证非常严格。

/etc/my.cnf [mysqld] 下面增加
skip-grant-tables

update mysql.user set authentication_string=password('123qwe') where user='root' and Host = 'localhost'; //修改密码

update mysql.user set Host='%' where user='root' //不限制外部连接

flush privileges;

还原 my.cnf 文件

关闭防火墙

/etc/selinux/config

SELINUX=disabled

setenforce 0 //临时生效

MYSQL Error : 2013

SQL Error (2013): Lost connection to MySQL server at 'waiting for initial communication packet', system error: 0

vi  /etc/sysconfig/iptables
-A INPUT -m state --state NEW -m tcp -p tcp --dport 3306 -j ACCEPT 
service  iptables restart 

个人配置

# Firewall configuration written by system-config-firewall 
# Manual customization of this file is not recommended. 
*filter 
:INPUT ACCEPT [0:0] 
:FORWARD ACCEPT [0:0] 
:OUTPUT ACCEPT [0:0]
 -A INPUT -m state --state ESTABLISHED,RELATED -j ACCEPT
 -A INPUT -p icmp -j ACCEPT
 -A INPUT -i lo -j ACCEPT
 -A INPUT -i eth0 -j ACCEPT
 -A INPUT -m state --state NEW -m tcp -p tcp --dport 22 -j ACCEPT
 -A INPUT -m state --state NEW -m tcp -p tcp --dport 80 -j ACCEPT
 -A INPUT -m state --state NEW -m tcp -p tcp --dport 3306 -j ACCEPT
 -A FORWARD -m state --state ESTABLISHED,RELATED -j ACCEPT
 -A FORWARD -p icmp -j ACCEPT
 -A FORWARD -i lo -j ACCEPT
 -A FORWARD -i eth0 -j ACCEPT
 -A INPUT -j REJECT --reject-with icmp-host-prohibited
 -A FORWARD -j REJECT --reject-with icmp-host-prohibited
 COMMIT 

本次需要安装MongODB 文档型数据库。
主要是要支持JSON的数据格式。

参考文档: https://docs.mongodb.org/master/tutorial/install-mongodb-on-red-hat/

安装环境: Vagrant Centos 6.7

首先配置 Centos 的repo

[mongodb-org-3.2]
name=MongoDB Repository
baseurl=https://repo.mongodb.org/yum/redhat/$releasever/mongodb-org/3.2/x86_64/
gpgcheck=0
enabled=1

确定安装 Mongodb 3.2.3

yum install -y mongodb-org-3.2.3 mongodb-org-server-3.2.3 mongodb-org-shell-3.2.3 mongodb-org-mongos-3.2.3 mongodb-org-tools-3.2.3

启动Mongodb

/etc/init.d/mongodb restart

开放端口

iptables -A INPUT -p tcp -m state --state NEW -m tcp --dport 27017 -j ACCEPT

初始化用户

# mongo
# use admin
# db.createUser({user:'root',pwd:'root',roles:['readWrite','dbAdmin']})

外部连接

mongodb.conf

bind_ip = 127.0.0.1 //注释此行

初始环境

之前我们已经安装伪部署版本。

按照 之前的计划 我们还有两个节点服务器 36,37 服务器

192.168.31.36 , 192.168.31.37

环境准备

修改三台服务器名称

su vi /etc/sysconfig/network

//192.168.31.30 ,Master
//192.168.31.36 ,Slave36
//192.168.31.37 ,Slave37

映射IP


su vi /etc/hosts
----------------------------------------
192.168.31.30 Master
192.168.31.31 Job
192.168.31.36 Slave36
192.168.31.37 Slave37
----------------------------------------

复制 hadoop 到客户机上面。

// 192.168.31.36,192.168.31.37
cd /public_data/ //这个是我的虚拟机映射的目录,大家根据自己情况下载
cp -Rf ./hadoop/hadoop-2.6.4 /usr/local/hadoop

SSH 登录 实现服务器之间的免登录 (30 免登录到 36 ,37)

方法一:
// 192.168.31.30
su hadoop
cp ~/.ssh/id_rsa.pub /public_data/hadoop/

// 192.168.31.36,192.168.31.37
su hadoop
mkdir ~/.ssh/
cat /public_data/hadoop/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys
chmod 700 ~/.ssh/

方法二:

//192.168.31.30
su hadoop
ssh-copy-id 192.168.31.36 
ssh-copy-id 192.168.31.37
//注意如果发送密码完成后。依然不能登录。
chmod 700 ~/.ssh/
chmod 600 ~/.ssh/authorized_keys
//权限不对也可能导致无法登录

配置服务器 192.168.31.30

由之前伪分布式 改成 正式 Master 不在负责存储

// 192.168.31.30
编辑 ./etc/hadoop/slaves 文件
slaves 文件是向 Master 说明有几个节点服务器
---------------------------------------------------------------
#文本
localhost
#更变为
192.168.31.36
192.168.31.37
---------------------------------------------------------------

然后关闭防火墙 (测试方便,关闭三个服务器防火墙)
service iptables stop 

配置节点服务器 192.168.31.36, 192.168.31.37

这两个服务器好配置。只需要将 Master( 192.168.31.30) 上的 core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml 复制过去就好了

 //core-site.xml
 <configuration>
    <property>
            <name>fs.defaultFS</name>
            <value>hdfs://192.168.31.30:9000</value>
    </property>
    <property>
            <name>hadoop.tmp.dir</name>
            <value>file:/usr/local/hadoop/tmp</value>
            <description>Abase for other temporary directories.</description>
    </property>
</configuration>


//hdfs-site.xml
<configuration>
    <!-- 修改IP -->
    <property>
            <name>dfs.namenode.secondary.http-address</name>
            <value>192.168.31.30:50090</value>
    </property>
    <property>
            <name>dfs.replication</name>
            <value>1</value>
    </property>
    <property>
            <name>dfs.namenode.name.dir</name>
            <value>file:/usr/local/hadoop/tmp/dfs/name</value>
    </property>
    <property>
            <name>dfs.datanode.data.dir</name>
            <value>file:/usr/local/hadoop/tmp/dfs/data</value>
    </property>
</configuration>

// mapred-site.xml
<configuration>
    <property>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
    </property>
    <!-- 新增参数 -->
    <property>
            <name>mapreduce.jobhistory.address</name>
            <value>192.168.31.30:10020</value>
    </property>
    <property>
            <name>mapreduce.jobhistory.webapp.address</name>
            <value>192.168.31.30:19888</value>
    </property>
    <!--  -->
</configuration>

//yarn-site.xml
<configuration>
    <!-- 修改IP -->
        <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>192.168.31.30</value>
        </property>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
</configuration>

启动 192.168.31.30 主服务器

/usr/local/hadoop/sbin/start-dfs.sh

启动主服务器

我们可以看到两个 36,37服务器 节点服务器已经启动成功了

访问 http://192.168.31.30:50070/dfshealth.html

启动主服务器

启动主服务器



#启动YARN  8088 端口
/usr/local/hadoop/sbin/start-yarn.sh 

#启动 historyserver 服务  19888端口 
 /usr/local/hadoop/sbin/mr-jobhistory-daemon.sh start historyserver

测试上传

//创建用户名称
hdfs dfs -mkdir -p /user/hadoop 
//创建用户下的文件夹
hdfs dfs -mkdir box  
//上传到文件夹中 
hdfs dfs -put ./vagrant-centos-6.7.box  box

问题记录

1.在启动Master(192.168.31.30)后,查看

Slave36(192.168.31.36)

Slave37(192.168.31.37)

执行 JPS 名称

检查启动项目
看下 DataNode 是否已经启动

2。NameNode 格式化前
最好将缓存全部请空掉。不然无法启动。每次格式化都会导致DHFS的磁盘UID变更。所以清空就好了。

初始环境 http://wangshisan.com/blog/install-hadoop-one.html

准备工作

http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.6.4/

hadoop-2.6.4.tar.gz 编译版本

hadoop-2.6.4-src.tar.gz 源码版本

我个人不喜欢使用源码版本。所以直接使用编译版本,如果后期我们需要改变环境时。在使用源码版本。

解压文件

cd /vagrant  
tar zxvf ./hadoop-2.6.4.tar.gz             //解压hadoop
sudo mv ./hadoop-2.6.4 /usr/local/        //改变目录路径
cd /usr/local/                            //跳入目录
sudo mv ./hadoop-2.6.4 ./hadoop         //改变目录名称
sudo chmod -R hadoop:hadoop ./hadoop     //修改目录所属用户与组

测试

建立一个目录。随便放入一些文本文件。让hadoop 去进行检索。计算个数

cd /usr/local/hadoop
sudo mkdir ./input                   // 创建一个测试目录
sudo cp ./etc/hadoop/*.xml ./input   // 随便放入一些文件进入 让HADOOP进行检索
./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.4.jar grep ./input ./output 'dfs[a-z.]+'
cat ./output/*

PS:每次运行 hadoop 测试 都需要删除 output 目录。 hadoop 不会删除或者覆盖这个目录的。不然就报错的。

恭喜你单机版已安装完成了,下面来做伪分布式

设置 Hadoop 环境变量

sudo vi /etc/profile

----------------------------------------------------------------
export HADOOP_HOME=/usr/local/hadoop
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
----------------------------------------------------------------

sudo source /etc/profile

配置缓存配置与HDFS配置

cd /usr/local/hadoop
vi ./etc/hadoop/core-site.xml

-----------------------------------------------------------------
<configuration>
    <!-- 指定HADOOP运行时 产生文件目录 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/home/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
    </property>
    <!-- 指定HDFS的服务调度 NameNode 的地址 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>
------------------------------------------------------------------

vi ./etc/hadoop/hdfs-site.xml

------------------------------------------------------------------
<configuration>
    <!-- 指定HDSF 保存数据副本的数据的数量 -->
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>

    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/home/hadoop/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/home/hadoop/tmp/dfs/data</value>
    </property>

</configuration>
------------------------------------------------------------------

//配置完成后,执行NAMENODE格式化
./bin/hdfs namenode -format 

成功的话,会看到 “successfully formatted” 和 “Exitting with status 0” 的提示,若为 “Exitting with status 1” 则是出错。

Exitting with status 0 or 1

启动YARN (MapReduce)

mv ./etc/hadoop/mapred-site.xml.template ./etc/hadoop/mapred-site.xml
vi ./etc/hadoop/mapred-site.xml.template
------------------------------------------------------------------
<configuration>
<!-- 指定计算框架 -->
 <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>
</configuration>
------------------------------------------------------------------

vi ./yarn-site.xml

<configuration>
<!-- NodeManager 获取数据的方式 shuffle -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
<!-- 指定 YARN的服务调度 -->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>192.168.31.30</value>
    </property>
</configuration>

初始化 HDFS 的文件系统


./bin/hdfs namenode -format

启动HDFS Yarn

 ./sbin/start-dfs.sh     //启动HDFS

检查启动项目

 ./sbin/start-yarn.sh     //启动YARN

检查启动项目

验证登录

http://192.168.31.30:50070 //查看HDFS

查看存活的节点

查看存活的节点

./bin/hdfs dfs -mkdir -p /user/hadoop //创建用户的目录 (非必要)
./bin/hdfs dfs -mkdir input (在用户下面创建目录,根据当前登录的用户名)

查看已开放的目录

http://192.168.31.30:8088 // 查询YARN