标签搜索

目 录CONTENT

文章目录

Hive的安装部署

陈铭
2023-01-25 / 0 评论 / 0 点赞 / 155 阅读 / 4,054 字 / 正在检测是否收录...

什么是Hive

Hive是由Facebook开源,基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并提供类SQL查询功能。
本质上它是一个Hadoop客户端,用于将HQL(Hive SQL)转化成MapReduce程序(极大的简化了编写Mapper和Reducer的工作量)。
(1)Hive中每张表的数据存储在HDFS
(2)Hive分析数据底层的实现是MapReduce(也可配置为Spark或者Tez)
(3)HQL转化为MapReduce,并运行在Yarn上

Hive架构原理

image

  1. 用户接口:Client
    有CLI(command-line interface)、JDBC/ODBC这两种
    说明:JDBC和ODBC的区别。
    (1)JDBC的移植性比ODBC好;(通常情况下,安装完ODBC驱动程序之后,还需要经过确定的配置才能够应用。而不相同的配置在不相同数据库服务器之间不能够通用。所以,安装一次就需要再配置一次。JDBC只需要选取适当的JDBC数据库驱动程序,就不需要额外的配置。在安装过程中,JDBC数据库驱动程序会自己完成有关的配置。)
    (2)两者使用的语言不同,JDBC在Java编程时使用,ODBC一般在C/C++编程时使用。

  2. 元数据:Metastore
    元数据包括:数据库(默认是default)、表名、表的拥有者、列/分区字段、表的类型(是否是外部表)、表的数据所在目录等。元数据其实就是表结构和HDFS文件的映射,HQL会根据元数据来生成对应的MR程序
    默认存储在自带的derby数据库中,由于derby数据库只支持单客户端访问,生产环境中为了多人开发,推荐使用MySQL存储Metastore。

  3. 驱动器:Driver
    (1)解析器(SQLParser):将SQL字符串转换成抽象语法树(AST)
    (2)语义分析(Semantic Analyzer):将AST进一步划分为QeuryBlock
    (3)逻辑计划生成器(Logical Plan Gen):将语法树生成逻辑计划
    (4)逻辑优化器(Logical Optimizer):对逻辑计划进行优化
    (5)物理计划生成器(Physical Plan Gen):根据优化后的逻辑计划生成物理计划
    (6)物理优化器(Physical Optimizer):对物理计划进行优化
    (7)执行器(Execution):执行该计划,得到查询结果并返回给客户端。其实就是执行了MR任务

安装部署

下载源码包,这里我选择的是Hive-3.1.3,安装部署环境是hadoop100(即三节点Hadoop集群中的NN主机节点),然后把apache-hive-3.1.3-bin.tar.gz上传到Linux的/opt/software目录下

# 解压apache-hive-3.1.3-bin.tar.gz到/opt/module/目录下面
tar -zxvf /opt/software/apache-hive-3.1.3-bin.tar.gz -C /opt/module/
# 修改apache-hive-3.1.3-bin.tar.gz的名称为hive
mv /opt/module/apache-hive-3.1.3-bin/ /opt/module/hive-3.1.3

# 修改/etc/profile,添加环境变量
sudo vim /etc/profile
# 添加内容
#HIVE_HOME
export HIVE_HOME=/opt/module/hive
export PATH=$PATH:$HIVE_HOME/bin

# source一下
source /etc/profile

# 初始化元数据库(默认是derby数据库)
schematool -dbType derby -initSchema

启动并使用Hive

# 启动Hive
hive
# 使用Hive
hive> show databases;
hive> show tables;
hive> create table stu(id int, name string);
hive> insert into stu values(1,"ss");
hive> select * from stu;

而上述建立的stu表和插入的信息可以在HDFS看到
image

配置Mysql为Hive的元数据数据库

Hive默认使用的元数据库为derby。derby数据库的特点是同一时间只允许一个客户端访问。如果多个Hive客户端同时访问,就会报错

安装Mysql

Mysql官网下载RPM Bundle,也就是rpm的捆绑包,解压后里面有很多rpm文件。

我这里下载的是mysql-5.7.28-1.el7.x86_64.rpm-bundle.tar,将其上传到/opt/software

# 全都用cm用户来操作
su cm
mkdir mysql_lib
# 解压
tar -xf /opt/software/mysql-5.7.28-1.el7.x86_64.rpm-bundle.tar -C /opt/software/mysql_lib/
# 卸载系统自带的mariadb
sudo rpm -qa | grep mariadb | xargs sudo rpm -e --nodeps

cd mysql_lib
# 依次按照以下顺序安装rpm包
sudo rpm -ivh mysql-community-common-5.7.28-1.el7.x86_64.rpm
sudo rpm -ivh mysql-community-libs-5.7.28-1.el7.x86_64.rpm
sudo rpm -ivh mysql-community-libs-compat-5.7.28-1.el7.x86_64.rpm
sudo rpm -ivh mysql-community-client-5.7.28-1.el7.x86_64.rpm
sudo rpm -ivh mysql-community-server-5.7.28-1.el7.x86_64.rpm

# 安装mysql-community-server若出现以下错误
warning: 05_mysql-community-server-5.7.16-1.el7.x86_64.rpm: Header V3 DSA/SHA1 Signature, key ID 5072e1f5: NOKEY
error: Failed dependencies:
libaio.so.1()(64bit) is needed by mysql-community-server-5.7.16-1.el7.x86_64
# 解决办法:
sudo yum -y install libaio

# 开机自启动服务
sudo systemctl enable mysqld
sudo systemctl start mysqld

配置Mysql

主要是配置密码

# 查看MySQL密码
sudo cat /var/log/mysqld.log | grep password

# 用上述看到的密码进入Mysql的CLI
mysql -uroot -p'<origin_mysql_password>'
# 更改MySQL密码策略(不更改无法设置简单的密码)
mysql> set global validate_password_policy=0;
mysql> set global validate_password_length=4;
# 设置简单好记的密码
mysql> set password=password("<new_mysql_password>");
# 进入MySQL库
mysql> use mysql
# 查询user表
mysql> select user, host from user;
# 修改user表,把Host表内容修改为%
mysql> update user set host="%" where user="root";
# 刷新
mysql> flush privileges;
# 退出
mysql> quit;

配置为元数据数据库

在Mysql内新建Hive元数据库

# 登录MySQL
mysql -uroot -p<new_mysql_password>

# 创建Hive元数据库,必须是metastore数据库
mysql> create database metastore;
mysql> quit;

将MySQL的JDBC驱动(jar包)拷贝到Hive的lib目录下(官网下载,上传至/opt/software)

cp /opt/software/mysql-connector-java-5.1.37.jar $HIVE_HOME/lib

# 在$HIVE_HOME/conf目录下新建hive-site.xml文件
vim $HIVE_HOME/conf/hive-site.xml
# 添加如下内容:
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
    <!-- jdbc连接的URL -->
    <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://hadoop100:3306/metastore?useSSL=false</value>
    </property>
    
    <!-- jdbc连接的Driver-->
    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
    </property>
    
	<!-- jdbc连接的username-->
    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>root</value>
    </property>

    <!-- jdbc连接的password -->
    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value><new_mysql_password></value>
    </property>

    <!-- Hive默认在HDFS的工作目录 -->
    <property>
        <name>hive.metastore.warehouse.dir</name>
        <value>/user/hive/warehouse</value>
    </property>
</configuration>


# 初始化Hive元数据库(修改为采用MySQL存储元数据)
schematool -dbType mysql -initSchema -verbose

验证元数据是否配置成功

# 再次启动Hive
hive

# 使用Hive,看看能不能成功
hive> show databases;
hive> show tables;
hive> create table stu(id int, name string);
hive> insert into stu values(1,"ss");
hive> select * from stu;

启用Hiveserver2服务

Hive的hiveserver2服务的作用是提供jdbc/odbc接口,为用户提供远程访问Hive数据的功能,例如用户期望在个人电脑中访问远程服务中的Hive数据,就需要用到Hiveserver2

用户说明:
在远程访问Hive数据时,客户端并未直接访问Hadoop集群,而是由Hivesever2代理访问。由于Hadoop集群中的数据具备访问权限控制,所以此时需考虑一个问题:那就是访问Hadoop集群的用户身份是谁?是Hiveserver2的启动用户?还是客户端的登录用户?
答案是都有可能,具体是谁,由Hiveserver2的hive.server2.enable.doAs参数决定,该参数的含义是是否启用Hiveserver2用户模拟的功能。若启用,则Hiveserver2会模拟成客户端的登录用户去访问Hadoop集群的数据,不启用,则Hivesever2会直接使用启动用户访问Hadoop集群数据。模拟用户的功能,默认是开启的。

两者区别如下所示:
image
image

生产环境,推荐开启用户模拟功能,因为开启后才能保证各用户之间的权限隔离。

修改配置

修改Hadoop的配置文件core-site.xml,然后记得分发三台机器再重启集群

cd $HADOOP_HOME/etc/hadoop

vim core-site.xml
增加如下配置:
<!--配置所有节点的开启Hiveserver2的cm用户,都可作为代理用户-->
<property>
    <name>hadoop.proxyuser.cm.hosts</name>
    <value>*</value>
</property>
<!--配置开启Hiveserver2的cm用户,能够代理的用户组为任意组-->
<property>
    <name>hadoop.proxyuser.cm.groups</name>
    <value>*</value>
</property>
<!--配置开启Hiveserver2的cm用户,能够代理的用户为任意用户-->
<property>
    <name>hadoop.proxyuser.cm.users</name>
    <value>*</value>
</property>

修改Hive的配置,在hive-site.xml文件中添加如下配置信息

cd $HIVE_HOME/conf 

vim hive-site.xml
增加如下配置:
<!-- 指定hiveserver2连接的host -->
<property>
	<name>hive.server2.thrift.bind.host</name>
	<value>hadoop100</value>
</property>

<!-- 指定hiveserver2连接的端口号 -->
<property>
	<name>hive.server2.thrift.port</name>
	<value>10000</value>
</property>

测试运行

# 启动hiveserver2,会占用当前shell窗口
hive --service hiveserver2

# 重新ssh一个新的shell窗口,启动beeline客户端
beeline -u jdbc:hive2://hadoop100:10000 -n cm

# 看到如下界面说明可以了
Connecting to jdbc:hive2://hadoop102:10000
Connected to: Apache Hive (version 3.1.3)
Driver: Hive JDBC (version 3.1.3)
Transaction isolation: TRANSACTION_REPEATABLE_READ
Beeline version 3.1.3 by Apache Hive
0: jdbc:hive2://hadoop100:10000>

DataGrip的使用

因为配置了JDBC,那么除了常见的Java程序可以访问Hive,一些依赖于JDBC的IDE也能用了,即DataGrip
image

启用Metastore服务

Hive的metastore服务的作用是为Hive CLI或者Hiveserver2提供元数据访问接口。

metastore有两种运行模式,分别为嵌入式模式和独立服务模式。下面分别对两种模式进行说明:
(1)嵌入式模式
image

(2)独立服务模式
image

生产环境中,不推荐使用嵌入式模式。因为其存在以下两个问题:
(1)嵌入式模式下,每个Hive CLI都需要直接连接元数据库,当Hive CLI较多时,数据库压力会比较大。
(2)每个客户端都需要用户元数据库的读写权限,元数据库的安全得不到很好的保证。

部署独立服务模式

承接与上述配置Hiveserver2服务,hive-site.xml里面已经有了JDBC的相关配置。其实现在直接使用Hive的CLI本质上就是嵌入式模式,Hive会使用本地嵌入的Metastore,根据JDBC配置去访问Mysql拿去元数据。

在Hive配置文件hive-site.xml添加如下。一旦加上hive.metastore.uris的相关配置,当前Hive节点就会找配置中的地址去找远程的Metastore,让远程的Metastore去根据JDBC配置去访问Mysql拿去元数据。即不会通过本地嵌入的Metastore。

<!-- 指定metastore服务的地址 -->
<property>
	<name>hive.metastore.uris</name>
	<value>thrift://hadoop100:9083</value>
</property>

当然这里我添加hive.metastore.uris的相关配置也是在Hive同一个节点上(hadoop100)。元数据根据hive.metastore.uris访问了本地的Metastore,而本地的hive-site.xml正好有之前配置Hiveserver2服务而加上的JDBC配置,本地的Metastore就直接根据JDBC访问Mysql拿到了元数据。

如果想把Metastore和Hive隔离开。至少开启Metastore服务的节点(当然也部署了Hive)的hive-site.xml要有JDBC配置,Hive CIL和Hiveserver2的节点的hive-site.xml要有hive.metastore.uris配置。这样Hive CIL和Hiveserver2才知道访问数据库是从哪个远程Metastore拿取元数据。

启动metastore服务

# 未启动metastore服务,无法查询元数据了
hive
hive (default)> show databases;
FAILED: HiveException java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient

# 启动metastore服务
# 当前shell窗口会占用
hive --service metastore

# 重复上述的show databases,可以访问

编辑Hiveserver2和Metastore的启动脚本

为了方便启停HiveServer2和Metastore服务,编写如下脚本

cd /opt

vim startHiveAll.sh
# 内容如下:
#!/bin/bash

HIVE_LOG_DIR=$HIVE_HOME/logs
if [ ! -d $HIVE_LOG_DIR ]
then
	mkdir -p $HIVE_LOG_DIR
fi

#检查进程是否运行正常,参数1为进程名,参数2为进程端口
function check_process()
{
    pid=$(ps -ef 2>/dev/null | grep -v grep | grep -i $1 | awk '{print $2}')
    ppid=$(netstat -nltp 2>/dev/null | grep $2 | awk '{print $7}' | cut -d '/' -f 1)
    echo $pid
    [[ "$pid" =~ "$ppid" ]] && [ "$ppid" ] && return 0 || return 1
}

function hive_start()
{
    metapid=$(check_process HiveMetastore 9083)
    cmd="nohup hive --service metastore >$HIVE_LOG_DIR/metastore.log 2>&1 &"
    [ -z "$metapid" ] && eval $cmd || echo "Metastroe服务已启动"
    server2pid=$(check_process HiveServer2 10000)
    cmd="nohup hive --service hiveserver2 >$HIVE_LOG_DIR/hiveServer2.log 2>&1 &"
    [ -z "$server2pid" ] && eval $cmd || echo "HiveServer2服务已启动"
}

function hive_stop()
{
metapid=$(check_process HiveMetastore 9083)
    [ "$metapid" ] && kill $metapid || echo "Metastore服务未启动"
    server2pid=$(check_process HiveServer2 10000)
    [ "$server2pid" ] && kill $server2pid || echo "HiveServer2服务未启动"
}

case $1 in
"start")
    hive_start
    ;;
"stop")
    hive_stop
    ;;
"restart")
    hive_stop
    sleep 2
    hive_start
    ;;
"status")
    check_process HiveMetastore 9083 >/dev/null && echo "Metastore服务运行正常" || echo "Metastore服务运行异常"
    check_process HiveServer2 10000 >/dev/null && echo "HiveServer2服务运行正常" || echo "HiveServer2服务运行异常"
    ;;
*)
    echo Invalid Args!
    echo 'Usage: '$(basename $0)' start|stop|restart|status'
    ;;
esac

# 赋予执行权限
chmod +x startHiveAll.sh

脚本操作命令

# 启动HiveServer2和Metastore服务
/opt/startHiveAll.sh start
# 停止HiveServer2和Metastore服务
/opt/startHiveAll.sh stop
# 重启HiveServer2和Metastore服务
/opt/startHiveAll.sh restart
# 查看HiveServer2和Metastore服务运行状态
/opt/startHiveAll.sh status

Hive可选配置

Hive客户端显示当前库和表头

在hive-site.xml中加入如下两个配置

cd $HIVE_HOME/conf 

vim hive-site.xml
# 添加如下配置
<property>
    <name>hive.cli.print.header</name>
    <value>true</value>
    <description>Whether to print the names of the columns in query output.</description>
</property>
<property>
    <name>hive.cli.print.current.db</name>
    <value>true</value>
    <description>Whether to include the current database in the Hive prompt.</description>
</property>

hive客户端在运行时可以显示当前使用的库和表头信息

hive
hive (default)> select * from stu;
OK
stu.id  stu.name
1       ss
2       ss
2       ss
3       ss
Time taken: 2.219 seconds, Fetched: 4 row(s)

Hive的JVM堆内存设置

新版本的Hive启动的时候,默认申请的JVM堆内存大小为256M,JVM堆内存申请的太小,导致后期开启本地模式,执行复杂的SQL时经常会报错:java.lang.OutOfMemoryError: Java heap space,因此最好提前调整一下HADOOP_HEAPSIZE这个参数。

修改$HIVE_HOME/conf下的hive-env.sh.template为hive-env.sh

cd $HIVE_HOME/conf 
mv hive-env.sh.template hive-env.sh

修改hive-env.sh,去掉export HADOOP_HEAPSIZE=1024的注释,并将1024改成2048

修改前

# The heap size of the jvm stared by hive shell script can be controlled via:
# export HADOOP_HEAPSIZE=1024

修改后

# The heap size of the jvm stared by hive shell script can be controlled via:
export HADOOP_HEAPSIZE=2048
0

评论区