Hadoop生态系统安装 Step9:安装kafka 发表于 2018-12-06 | 分类于 Hadoop 字数统计: 493 字 | 阅读时长 ≈ 2 分钟 用户:hadoop说明:安装包:kafka_2.11-0.10.0.0.tgz安装方式: 将 kafka 文件上传到/home/hadoop 目录 解压文件(解压即可,不需要安装,主要是做配置) 12cd /home/hadooptar -xzvf kafka_2.11-0.10.0.0.tgz ... 阅读全文 »
Hadoop生态系统安装 Step8:安装Hive 发表于 2018-12-05 | 分类于 Hadoop 字数统计: 328 字 | 阅读时长 ≈ 1 分钟 用户:hadoop说明:安装包:apache-hive-2.1.1-bin.tar.gz安装方式: 将 hive 文件上传到/home/hadoop 解压文件(解压即可,不需要安装,主要是做配置) 12cd /home/hadoop/tar zxvf apache-hive-2.1.1-bin. ... 阅读全文 »
Hadoop生态系统安装 Step7:安装Hbase 发表于 2018-12-04 | 分类于 Hadoop 字数统计: 543 字 | 阅读时长 ≈ 2 分钟 用户:hadoop说明:安装包:hbase-1.2.4-bin.tar.gz安装方式: 将 hbase 文件上传到/home/hadoop 解压文件(解压即可,不需要安装,主要是做配置) 12cd /home/hadoop/tar zxvf hbase-1.2.4-bin.tar.gz 删除安装 ... 阅读全文 »
Hadoop生态系统安装 Step6:安装HADOOP 发表于 2018-12-03 | 分类于 Hadoop 字数统计: 806 字 | 阅读时长 ≈ 3 分钟 用户:hadoop说明:安装包:hadoop-2.7.2.tar.gz安装方式: 将 Hadoop 压缩文件上传到/home/hadoop 目录 解压文件(解压即可,不需要安装,主要是做配置) 1tar zxvf hadoop-2.7.2.tar.gz 删除安装包(可选,小心操作) 1rm ... 阅读全文 »
Hadoop生态系统安装 Step5:安装配置zookeeper 发表于 2018-12-02 | 分类于 Hadoop 字数统计: 497 字 | 阅读时长 ≈ 2 分钟 用户:hadoop说明Zookeeper 在 HDFS 体系中主要起到的作用是配置管理,在 HBASE 里起到的作用是当 leader 宕机后,选举新的 leader,是一种高 HA 需求,zookeeper 只能部署在单数服务器,因为内部机制会判断,当网内>=一半 zookeeper 服务 ... 阅读全文 »
Hadoop生态系统安装 Step4:配置SSH无密码登录 发表于 2018-12-01 | 分类于 Hadoop 字数统计: 550 字 | 阅读时长 ≈ 2 分钟 用户:hadoop说明Hadoop 运行过程中需要管理远端 Hadoop 守护进程,在 Hadoop 启动以后,NameNode 是通过 SSH(Secure Shell)来启动和停止各个 DataNode 上的各种守护进程的。这就必须在节点之间执行指令的时候是不需要输入密码的形式,故我们需要配置 ... 阅读全文 »
Hadoop生态系统安装 Step3:安装JDK(每台机器) 发表于 2018-11-29 | 分类于 Hadoop 字数统计: 231 字 | 阅读时长 ≈ 1 分钟 用戶:root安裝包:jdk-8u121-linux-x64.rpm配置方式:1. 安装之前先检查一下系统有没有自带 JDK检查方式: 1rpm -qa | grep jdk 如果是 openjdk 版本,需要卸载。如果不是 openjdk,并且 JDK 版本>=1.6,可以保留使用,1.6 ... 阅读全文 »
Hadoop生态系统安装 Step2:创建HADOOP用户,用户组及赋权(每台机器) 发表于 2018-11-28 | 分类于 Hadoop 字数统计: 61 字 | 阅读时长 ≈ 1 分钟 用户:root说明:增加大数据专用用户,增加安全性 配置方式:1、创建用户及用户组1234groupadd hadoopuseradd -d /home/hadoop -g hadoop hadooppasswd hadoop(会要求重复输入密码) 2、配置权限12vi /etc/sudoersh ... 阅读全文 »
Hadoop生态系统安装 Step1:修改主机名,配置HOSTS(每台机器) 发表于 2018-11-27 | 分类于 Hadoop 字数统计: 190 字 | 阅读时长 ≈ 1 分钟 用户:root说明:配置主机名与IP之间的映射关系 配置主机名,主机名与hosts文件中的名字保持一致 配置方式:1、修改主机名修改/etc/sysconfig/network,修改 HOSTNAME 后面的主机名为 HOSTNAME=hadoop-xxvi /etc/sysconfig/netw ... 阅读全文 »