[BigData]Hive学习
Hive学习
Hive 是一个构建在 Hadoop 之上的数据仓库，它可以将结构化的数据文件映射成表，并提供类 SQL 查询功能，用于查询的 SQL 语句会被转化为 MapReduce 作业，然后提交到 Hadoop 上运行。
下载注意
注意jdbc驱动: 下载地址
Connector/J8.0.12支持Mysql8.0.12
Connector/J 5.1 支持Mysql 4.1、Mysql 5.0、Mysql 5.1、Mysql 6.0 alpha
Connector/J 5.0 支持MySQL 4.1、MySQL 5.0 servers、distributed transaction (XA)
---个人配置如下:
DBMS: MySQL (版本 8.0.27) 驱动程序: MySQL Connector/J (版本 mysql-connector-java-8.0.25，JDBC4.2)
Metastore
在 Hive 中，表名、表结构、字段名、字段类型、表的分隔符等统一被称为元数据。所有的元数据默认存储在 Hive 内置的 derby 数据库中，但由于 derby 只能有一个实例，也就是说不能有多个命令行客户端同时访问，所以在实际生产环境中，通常使用 MySQL 代替 derby。
Hive 进行的是统一的元数据管理，就是说你在 Hive 上创建了一张表，然后在 presto／impala／sparksql 中都是可以直接使用的，它们会从 Metastore 中获取统一的元数据信息，同样的你在 presto／impala／sparksql 中创建一张表，在 Hive 中也可以直接使用。
HQL的执行
Hive 在执行一条 HQL 的时候，会经过以下步骤：
- 语法解析：Antlr 定义 SQL 的语法规则，完成 SQL 词法，语法解析，将 SQL 转化为抽象 语法树 AST Tree；
- 语义解析：遍历 AST Tree，抽象出查询的基本组成单元 QueryBlock；
- 生成逻辑执行计划：遍历 QueryBlock，翻译为执行操作树 OperatorTree；
- 优化逻辑执行计划：逻辑层优化器进行 OperatorTree 变换，合并不必要的 ReduceSinkOperator，减少 shuffle 数据量；
- 生成物理执行计划：遍历 OperatorTree，翻译为 MapReduce 任务；
- 优化物理执行计划：物理层优化器进行 MapReduce 任务的变换，生成最终的执行计划。
内部表和外部表
内部表又叫做管理表 (Managed/Internal Table)，创建表时不做任何指定，默认创建的就是内部表。想要创建外部表 (External Table)，则需要使用 External 进行修饰。 内部表和外部表主要区别如下：
| 内部表 | 外部表 | |
|---|---|---|
| 数据存储位置 | 内部表数据存储的位置由 hive.metastore.warehouse.dir 参数指定，默认情况下表的数据存储在 HDFS 的 /user/hive/warehouse/数据库名.db/表名/ 目录下 |
外部表数据的存储位置创建表时由 Location 参数指定； |
| 导入数据 | 在导入数据到内部表，内部表将数据移动到自己的数据仓库目录下，数据的生命周期由 Hive 来进行管理 | 外部表不会将数据移动到自己的数据仓库目录下，只是在元数据中存储了数据的位置 |
| 删除表 | 删除元数据（metadata）和文件 | 只删除元数据（metadata） |
配置
1. hive-env.sh
进入安装目录下的 conf/ 目录，拷贝 Hive 的环境配置模板 hive-env.sh.template
cp hive-env.sh.template hive-env.sh
修改 hive-env.sh，指定 Hadoop 的安装路径：
HADOOP_HOME=/usr/app/hadoop-xxx
2. hive-site.xml
新建 hive-site.xml 文件，内容如下，主要是配置存放元数据的 MySQL 的地址、驱动、用户名和密码等信息：
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://hadoop001:3306/hadoop_hive?createDatabaseIfNotExist=true</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>root</value>
</property>
</configuration>
3.拷贝数据库驱动
将 MySQL 驱动拷贝到 Hive 安装目录的 lib 目录下
4.初始化元数据库
-
当使用的 hive 是 2.x 版本时，必须手动初始化元数据库。初始化命令：
# schematool 命令在安装目录的 bin 目录下 schematool -dbType mysql -initSchema
DDL
show databases;
使用数据库
USE database_name;
新建数据库
CREATE (DATABASE|SCHEMA) [IF NOT EXISTS] database_name --DATABASE|SCHEMA 是等价的
[COMMENT database_comment] --数据库注释
[LOCATION hdfs_path] --存储在 HDFS 上的位置
[WITH DBPROPERTIES (property_name=property_value, ...)]; --指定额外属性
笺評 (issue)