• 所有问题

    • 两台服务器手动部署大数据平台

    如题所述

    举报该问题
    其他回答
    第1个回答  2022-06-29
    两台服务器手动部署大数据平台

    ##### 初始服务器数量

    - 2台centos7

    ##### 建议配置

    - 32G(RAM)

    - 24cpu

    - 10t(SATA)

    ### 1.环境

    - 系统centos7

    - jdk：1.8.0_171（64位）

    - zookeeper：3.4.8

    - spark-2.1.0-bin-hadoop2.6

    - kafka_2.10-0.10.2.1

    - hadoop-2.7.0

    - hbase-1.2.6

    - elasticsearch-6.3.0

    ### 2.系统准备

    对应的安装包文件：

    elasticsearch-6.3.0.tar.gz

    hadoop-2.7.0.tar.gz

    hbase-1.2.6-bin.tar.gz

    jdk-8u171-linux-x64.tar.gz

    kafka_2.10-0.10.2.1.tgz

    mysql-5.7.23-1.el7.x86_64.rpm-bundle.tar

    spark2.1.0hadoop2.6.tgz.gz

    zookeeper-3.4.8.tar.gz

    一、 配置好hosts

    ```

    两台设备的host

    ip1 hello1

    ip2 hello2

    关闭防火墙

    systemctl stop firewalld

    systemctl disable firewalld

    二、机器之间做好免密

    1. 在hello1服务器中，cd /root/

    2. ssh-keygen -trsa  (全部按回车，走默认配置)

    3. cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

    4. chmod 600 ~/.ssh/authorized_keys

    5. scp ~/.ssh/authorized_keys root@hello2:~/.ssh/

    到此处时可以实现hello1机器上通过root账户登录到hello2中，但从hello2中无法通过免密码登录到hello1服务器。

    6. 在hello2服务器中，cd /root/

    7. ssh-keygen -trsa  (全部按回车，走默认配置)

    8. cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

    9. scp ~/.ssh/authorized_keys root@hello1:~/.ssh/

    到此处时可以实现hello1机器与hello2机器之间免密码互通

    三、建立一个用户操作elasticsearch用户，后期所有安装软件放在该目录下（当前使用root账户安装）

    1.添加用户：

    useradd -m -s /bin/bash es

    2.为该用户设置密码：

    password es

    四、安装JDK

    如果系统自带openjdk，先将其卸载掉！

    1.创建jdk安装路径(hello1、hello2都执行)

    执行： mkdir /usr/java

    2.解压缩jdk到安装目录

    执行： tar -zxvf jdk-8u171-linux-x64.tar.gz -C /usr/java/

    3.添加环境变量

    vi /etc/profile,添加以下语句

    export JAVA_HOME=/usr/java/jdk1.8.0_171

    export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

    export PATH=$PATH:$JAVA_HOME/bin

    执行：source /etc/profile

    4.复制安装包和数据目录到hello2

    scp  -r /usr/java/jdk1.8.0_171 hello2:/usr/java/

    scp /etc/profile hello2:/etc/

    登录到hello2上，进入/home/es目录

    执行： source /etc/profile

    5、验证：

    两台服务器上分别执行： java -version,查看输出的版本是否与安装的版本一致。

    五、安装mysql

    1.如果centos系统中自带mariadb，先卸载mariadb。

    2.解压mysql安装包程序

    执行：tar -xvf  mysql-5.7.23-1.el7.x86_64.rpm-bundle.tar

    3.依次安装里面rpm包组建

    rpm -ivh mysql-community-common-5.7.23-1.el7.x86_64.rpm

    rpm -ivh mysql-community-libs-5.7.23-1.el7.x86_64.rpm

    rpm -ivh mysql-community-client-5.7.23-1.el7.x86_64.rpm

    rpm -ivh mysql-community-server-5.7.23-1.el7.x86_64.rpm

    rpm -ivh mysql-community-devel-5.7.23-1.el7.x86_64.rpm

    4.启动MySQL

    执行： systemctl start mysqld

    5.登录mysql服务器

    这种方式安装好后，会再my.cnf文件中自动生成一个密码，

    执行：cat /var/log/mysqld.log | grep password， 出现如下记录：

    2017-09-15T01:58:11.863301Z 1 [Note] A temporary password is generated for root@localhost: m-NdrSG4ipuO

    其中“m-NdrSG4ipuO”为mysql root账户的初始密码。

    登录：

    执行： mysql -uroot -p

    输入密码： m-NdrSG4ipuO，即可进入mysql服务器。

    后续可自行修改root密码，创建新账户等操作。

    六、安装zookeeper

    1.解压zookeeper安装包到指定目录（/home/es）

    tar -zxvf zookeeper-3.4.8.tar.gz -C /home/es

    2.创建程序软连接

    cd /home/es/

    ln -s zookeeper-3.4.8 zookeeper

    3.添加执行路径环境

    vi /etc/profile

    添加

    export ZOOKEEPER_HOME=/home/es/zookeeper

    export PATH=$PATH:$ZOOKEEPER_HOME/bin

    执行

    source /etc/profile

    4.修改配置文件

    cd /home/es/zookeeper

    cp conf/zoo_sample.cfg conf/zoo.cfg

    在/home/data下创建对应的zookeeper数据存储目录

    mkdir /home/data/zookeeper

    mkdir /home/data/zookeeper/data

    mkdir /home/data/zookeeper/log

    修改配置文件：conf/zoo.cfg，添加以下语句

    dataDir=/home/data/zookeeper/data

    dataLogDir=/home/data/zookeeper/log

    server.1=hello1:2888:3888

    server.2=hello2:2888:3888

    5.创建server表示符文件

    touch /home/data/zookeeper/data/myid

    echo echo 1>/home/data/zookeeper/data/myid

    6.复制安装包和数据目录到hello2

    scp -r /home/es/zookeeper-3.4.8 es@hello2:/home/es

    scp -r /home/data/zookeeper es@hello2:/home/data

    scp  /etc/profile es@hello2:/etc

    登录到hello2上

    cd /home/es

    ln -s zookeeper-3.4.8 zookeeper

    echo echo 2>/home/data/zookeeper/data/myid

    执行

    source /etc/profile

    7.两台机器上分别执行

    zkServer.sh start

    8.验证

    jps | grep QuorumPeerMain,查看是否有该进程

    zkServer.sh status,查看服务状态

    六、安装kafka

    1.解压kafka安装包到指定目录（/home/es）

    tar -zxvf kafka_2.10-0.10.2.1.tgz -C /home/es

    2.创建程序软连接

    cd /home/es/

    ln -s kafka_2.10-0.10.2.1 kafka

    3.修改配置文件

    备份：

    cp config/server.properties config/server.properties.bak

    创建kafka日志目录：

    mkdir /home/data/kafka

    mkdir /home/data/kafka/kafka-logs

    修改:config/server.properties,具体对应字段如下：

    broker.id=0

    delete.topic.enable=true

    num.network.threads=10

    num.io.threads=32

    socket.send.buffer.bytes=102400

    socket.receive.buffer.bytes=102400

    socket.request.max.bytes=104857600

    log.dirs=/home/data/kafka/kafka-logs

    num.partitions=1

    num.recovery.threads.per.data.dir=1

    log.retention.hours=168

    log.segment.bytes=1073741824

    log.retention.check.interval.ms=300000

    zookeeper.connect=hello1:2181,hello2:2181

    zookeeper.connection.timeout.ms=6000

    6.复制安装包和数据目录到hello2

    scp -r /home/es/kafka_2.10-0.10.2.1 es@hello2:/home/es

    scp -r /home/data/kafka es@hello2:/home/data

    修改hello2中的配置

    登录到hello2上，cd /home/es/kafka,修改config/server.properties中broker.id值为2.

    7.启动kafka

    在两台机器的/home/es/kafka中，创建一个日志存放目录：mkdir start_log，执行以下命令：

    nohup bin/kafka-server-start.sh config/server.properties > start_log/kafka_start_log 2>&1 &

    8.验证运行情况

    jps | grep Kafka,查看进程

    通过kafka命令查看topic。

    七、安装hadoop

    1.解压hadoop安装包到指定目录（/home/es）

    tar -zxvf hadoop-2.7.0.tar.gz -C /home/es

    2.创建程序软连接

    cd /home/es/

    ln -s hadoop-2.7.0 hadoop

    3.创建数据存放目录

    mkdir /home/data/hadoop

    mkdir /home/data/hadoop/tmp

    mkdir /home/data/hadoop/dfs

    mkdir /home/data/hadoop/dfs/data

    mkdir /home/data/hadoop/dfs/name

    4.修改配置文件

    修改/home/es/hadoop/etc/hadoop/core-site.xml

    <configuration>

    <property>

    <name>fs.defaultFS</name>

    <value>hdfs://hello1:9000</value>

    </property>

    <property>

    <name>hadoop.tmp.dir</name>

    <value>file:/home/data/hadoop/tmp</value>

    </property>

    <property>

    <name>io.file.buffer.size</name>

    <value>131702</value>

    </property>

    </configuration>

    修改/home/es/hadoop/etc/hadoop/hdfs-site.xml

    <configuration>

    <property>

    <name>dfs.namenode.name.dir</name>

    <value>file:/home/data/hadoop/dfs/name</value>

    </property>

    <property>

    <name>dfs.datanode.data.dir</name>

    <value>file:/home/data/hadoop/dfs/data</value>

    </property>

    <property>

    <name>dfs.replication</name>

    <value>2</value>

    </property>

    <property>

    <name>dfs.namenode.secondary.http-address</name>

    <value>hello1:9001</value>

    </property>

    <property>

    <name>dfs.webhdfs.enabled</name>

    <value>true</value>

    </property>

    </configuration>

    修改/home/es/hadoop/etc/hadoop/mapred-site.xml

    <configuration>

    <property>

    <name>mapreduce.framework.name</name>

    <value>yarn</value>

    </property>

    <property>

    <name>mapreduce.jobhistory.address</name>

    <value>hello1:10020</value>

    </property>

    <property>

    <name>mapreduce.jobhistory.webapp.address</name>

    <value>hello1:19888</value>

    </property>

    </configuration>

    修改/home/es/hadoop/etc/hadoop/yarn-site.xml

    <configuration>

    <!-- Site specific YARN configuration properties -->

    <property>

    <name>yarn.nodemanager.aux-services</name>

    <value>mapreduce_shuffle</value>

    </property>

    <property>

    <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>

    <value>org.apache.hadoop.mapred.ShuffleHandler</value>

    </property>

    <property>

    <name>yarn.resourcemanager.address</name>

    <value>hello1:8032</value>

    </property>

    <property>

    <name>yarn.resourcemanager.scheduler.address</name>

    <value>hello1:8030</value>

    </property>

    <property>

    <name>yarn.resourcemanager.resource-tracker.address</name>

    <value>hello1:8031</value>

    </property>

    <property>

    <name>yarn.resourcemanager.admin.address</name>

    <value>hello1:8033</value>

    </property>

    <property>

    <name>yarn.resourcemanager.webapp.address</name>

    <value>hello1:8088</value>

    </property>

    <property>

    <name>yarn.nodemanager.resource.memory-mb</name>

    <value>768</value>

    </property>

    </configuration>

    配置/home/es/hadoop/etc/hadoop目录下hadoop-env.sh、yarn-env.sh的JAVA_HOME（不设置的话，启动不了）

    export JAVA_HOME=/usr/java/jdk1.8.0_171

    配置/home/es/hadoop/etc/hadoop目录下的slaves，删除默认的localhost，增加2个从节点，

    hello1

    hello2

    5、将配置好的Hadoop复制到各个节点对应位置上，通过scp传送

    scp  -r /home/es/hadoop-2.7.0 hello2:/home/es/

    scp  -r /home/data/hadoop hello2:/home/data/

    登录到hello2上，进入/home/es目录

    执行： ln -s hadoop-2.7.0 hadoop

    6、格式化nameNode及启动hadoop

    在主服务器启动hadoop，从节点会自动启动，进入/home/es/hadoop目录

    初始化，输入命令，bin/hdfs namenode -format

    全部启动sbin/start-all.sh，也可以分开sbin/start-dfs.sh、sbin/start-yarn.sh

    输入命令，jps，可以看到相关信息

    7、验证hadoop运行情况

    浏览器打开http://hello1:8088/

    浏览器打开http://hello1:50070/

    8、添加hadoop环境变量到/etc/profile

    export HADOOP_HOME=/home/es/hadoop export PATH=$PATH:$HADOOP_HOME/sbin

    export PATH=$PATH:$HADOOP_HOME/bin

    export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native

    export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native"

    执行： source /etc/profile

    八、安装Hbase

    1.解压hbase安装包到指定目录（/home/es）

    tar -zxvf hbase-1.2.6-bin.tar.gz -C /home/es

    2.创建程序软连接

    cd /home/es/

    ln -s hbase-1.2.6 hbase

    3.添加hbase环境变量到/etc/profile

    export  HBASE_HOME=/home/es/hbase

    　　export  PATH=$HBASE_HOME/bin:$PATH

    执行：source /etc/profile

    4.修改HBASE配置文件

    vi /home/es/hbase/conf/hbase-env.sh

    增加： export JAVA_HOME=/usr/java/jdk1.8.0_171

    修改： export HBASE_MANAGES_ZK=false

    vi /home/es/hbase/conf/hbase-site.xml

    修改类容：

    <configuration>

    <property>

    　　　　　　　　<name>hbase.rootdir</name> <!-- hbase存放数据目录 -->

    　　　　　　　　<value>hdfs://hello1:9000/hbase/hbase_db</value>

    　　　　　　　　<!-- 端口要和Hadoop的fs.defaultFS端口一致-->

    　　　　　　</property>

    　　　　　　<property>

    　　　　　　　　<name>hbase.cluster.distributed</name> <!-- 是否分布式部署 -->

    　　　　　　　　<value>true</value>

    　　　　　　</property>

    　　　　　　<property>

    　　　　　　　　<name>hbase.zookeeper.quorum</name> <!-- list of  zookooper -->

    　　　　　　　　<value>hello1,hello2</value>

    　　　　　　</property>

    　　　　　　　<property><!--zookooper配置、日志等的存储位置 -->

    　　　　　　　　　　<name>hbase.zookeeper.property.dataDir</name>

    　　　　　　　　　　<value>/home/es/hbase/zookeeper</value>

    　　　　　　　</property>

    </configuration>

    配置regionservers，vi /home/es/hbase/conf/regionservers

    去掉默认的localhost，加入hello1、hello2

    5、将配置好的hbase复制到各个节点对应位置上，通过scp传送

    scp  -r /home/es/hbase-1.2.6 hello2:/home/es/

    scp /etc/profile hello2:/etc/

    登录到hello2上，进入/home/es目录

    执行： ln -s hbase-1.2.6 hbase

    source /etc/profile

    6、hbase的启动

    hello1中执行： start-hbase.sh

    7、验证hbase运行情况

    输入jps命令查看进程是否启动成功，若 hello1上出现HMaster、HRegionServer、HQuormPeer，hello2上出现HRegionServer、HQuorumPeer，就是启动成功了。

    输入hbase shell 命令 进入hbase命令模式，输入status命令，查看运行状态。

    在浏览器中输入http://hello1:16010就可以在界面上看到hbase的配置

    注意事项：

    正常安装后，创建普通不带压缩表可以正常读写，当使用snappy进行压缩创建表时，该表无法再regionServer中启动！

    解决方法：

    1.在hbase-site.xml文件中添加一下属性

    <property>

                    <name>hbase.regionserver.codecs</name>

                    <value>snappy</value>

            </property>

    2.每台机器中将hadoop_native.zip解压缩到hbase安装目录的lib下，执行 unzip hadoop_native.zip $HBASE_HOME/lib/

    3.在$HBASE_HOME/conf/hbase-env.sh 中添加：export HBASE_LIBRARY_PATH=/home/es/hbase/lib/native

    4.重启Hbase服务即可

    九、Spark安装

    1.解压hbase安装包到指定目录（/home/es）

    tar -zxvf spark2.1.0hadoop2.6.tgz.gz -C /home/es

    2.创建程序软连接

    cd /home/es/

    ln -s spark2.1.0hadoop2.6 spark

    3.修改配置文件

    mv /home/es/spark/conf/spark-env.sh.template  /home/es/spark/conf/spark-env.sh

    vi /home/es/spark/conf/spark-env.sh

    修改对应配置：

    export JAVA_HOME=/usr/java/jdk1.8.0_171

    export SPARK_MASTER_IP=hello1

    export SPARK_MASTER_PORT=7077

    export SPARK_LOCAL_IP=hello1

    修改slaves文件

    mv /home/es/spark/conf/slaves.template  /home/es/spark/conf/slaves

    vi /home/es/spark/conf/slaves

    将localhost修改成：

    hello1

    hello2

    5、将配置好的hbase复制到各个节点对应位置上，通过scp传送

    scp  -r /home/es/spark2.1.0hadoop2.6 hello2:/home/es/

    登录到hello2上，进入/home/es目录

    执行： ln -s spark2.1.0hadoop2.6 spark

    在hello2中修改/home/es/spark/conf/spark-env.sh

    export JAVA_HOME=/usr/java/jdk1.8.0_171

    export SPARK_MASTER_IP=hello1

    export SPARK_MASTER_PORT=7077

    export SPARK_LOCAL_IP=hello2

    6、启动spark

    cd /home/es/spark

    执行： sbin/start-all.sh

    7、检测执行结果

    jps | grep Worker,看是否有相应的进程。

    十、安装elasticsearch

    由于elasticsearch，用root账户无法启动，故该组件用es账户安装

    1、切换到es账户： su es

    2、解压hbase安装包到指定目录（/home/es）

    tar -zxvf elasticsearch-6.3.0.tar.gz -C /home/es/

    创建程序软连接

    cd /home/es/

    ln -s elasticsearch-6.3.0 elasticsearch

    3、修改配置文件

    vi /home/es/elasticsearch/config/elasticsearch.yml

    # 集群的名字 

    cluster.name: crrc-health

    # 节点名字 

    node.name: node-1 

    # 数据存储目录（多个路径用逗号分隔） 

    path.data: /home/data1/elasticsearch/data

    # 日志目录 

    path.logs: /home/data1/elasticsearch/logs

    #本机的ip地址

    network.host: hello1 

    #设置集群中master节点的初始列表，可以通过这些节点来自动发现新加入集群的节点

    discovery.zen.ping.unicast.hosts: ["hello1", "hello2"]

    # 设置节点间交互的tcp端口（集群）,(默认9300) 

    transport.tcp.port: 9300

    # 监听端口（默认） 

    http.port: 9200

    # 增加参数，使head插件可以访问es 

    http.cors.enabled: true

    http.cors.allow-origin: "*"

    4、创建elasticsearch数据和存储目录

    mkdir /home/data1/elasticsearch

    mkdir /home/data1/elasticsearch/data

    mkdir /home/data1/elasticsearch/logs

    5、修改linux系统的默认硬限制参数

    切换至root用户： su root

    vim /etc/security/limits.conf

    添加：

    es soft nofile 65536

    es hard nofile 65536

    退出es登录，重新用es账户登录，使用命令：ulimit -Hn查看硬限制参数。

    vi /etc/sysctl.conf

    添加：

    vm.max_map_count=655360

    执行：

    sysctl -p

    6、将配置好的elasticsearch复制到各个节点对应位置上，通过scp传送

    scp  -r /home/es/elasticsearch-6.3.0 hello2:/home/es/

    scp  -r /home/data1/elasticsearch hello2:/home/data1/

    登录到hello2上，进入/home/es目录

    执行： ln -s elasticsearch-6.3.0 elasticsearch-6.3.0

    在hello2中修改/home/es/elasticsearch/config/elasticsearch.yml

    修改： network.host: hello2

    7、启动elasticsearch

    使用es账户

    执行：

    /home/es/elasticsearch/bin/elasticsearch -d

    8、验证

    控制台中输入：curl http://hello1:9200
    相似回答
    如何创建一个大数据平台答：对小公司来说，大概自己找一两台机器架个集群算算，也算是大数据平台了。在初创阶段，数据量会很小，不需要多大的规模。这时候组件选择也很随意，Hadoop一套，任务调度用脚本或者轻量的框架比如luigi之类的，数据分析可能hive还不如导入RMDB快。监控和部署也许都没时间整理，用脚本或者轻量的监控，大约是...
    快速了解集群和双机热备相关知识答：在两种情况下需要使用集群软件:一是有超过两个应用,本身就需要部署三台或更多的服务器。二是只有两个应用,但每个应用的负载均较大,不宜采用双机互备的方式,而是需要由第三台服务器来作为这两个应用的备机。一般地讲,集群软件具有更多的技术含量,具备更高的可靠性。同时,往往价格(平均到每台服务器)也高于双机软...
    搭建大数据平台的具体步骤是什么?答：在生产实践应用中，Hadoop非常合适应用于大数据存储和大数据的剖析应用，合适服务于几千台到几万台大的服务器的集群运行，支撑PB级别的存储容量。3、挑选数据接入和预处理东西 面临各种来源的数据，数据接入便是将这些零散的数据整合在一起，归纳起来进行剖析。数据接入首要包括文件日志的接入、数据库日志的接...
    大家正在搜
    怎么部署服务器部署到服务器网站如何部署在服务器上服务器部署项目怎么部署项目到服务器服务器部署流程部署web服务器部署云服务器云服务器部署web项目