课程适合人群:
Hive运维人员
本课程重点解答&解决:
介绍如何安装Hive
介绍Hive命令行的使用
介绍Hive数据定义语句
介绍Hive数据操作语句
介绍Hive JOIN语句
介绍Hive表生成函数
介绍Hive窗口函数
本课程亮点+核心价值介绍:
全面介绍Hive安装
介绍Hive数据定义/操作语句
介绍Hive JOIN语句
介绍Hive表生成函数
介绍Hive窗口函数
课程大纲:
课长2天
1. 建立单机版的hive
1.1 安装JDK
1.2安装Hadoop
1.3安装MySQL
1.4安装Hive
2. 命令行
2.1 通过hive --help --service cli查看命令行
2.2 set 命令
2.3 system变量与env变量
2.4一次性使用命令 -e -S
2.5从文件中执行hive查询:-f
2.6 执行前指定先执行某个命令:-i
2.7 显示字段名称:set hive.cli.print.header=true;
2.8 其他命令
2.8.1 自动补全
2.8.2 记录历史
2.8.3 执行Shell命令
2.8.4 执行dfs命令
2.8.5 注释
3. 数据定义语句
3.1概要
3.2 对数据库的操作
3.2.1创建数据库
3.2.2修改数据库
3.2.3查看数据库信息
3.2.4删除数据库
3.2.5是否显示当前数据库
3.3 对表的操作
3.3.1创建数据表语法
3.3.2内部表
创建内部表
查询表的结构
查询创建表的语句
显示数据库中有哪些表
字段类型
追加数据操作
覆盖数据操作
表结构复制
3.3.3分区
创建区表
添加分区
查看分区
加载数据到分区的表中(普通路径、dfs路径)
修改分区路径
删除分区
优化查询
案例
3.3.4 外部表
外部表与内部表
创建外部表
3.3.5表的修改
修改表名称
添加列
更新列
删除或者替换列
修改表属性
删除表、清空表
3.3.5 加载数据
LOAD DATA [LOCAL] INPATH
直接向分区表中插入数据
通过查询方式加载数据
查询语句中创建表并加载数据
在创建表是通过location指定加载数据的路径
export导出与import 导入 hive表数据(内部表操作)
使用select…where语句加载数据
3.3.6动态分区
3.3.7 hive表中数据导出
insert导出
hive表中数据导出
4. 数据查询语句
4.1 DQL查询语法
4.1.1查询语法
4.1.2案例
4.1.3注意
4.1.4索引
4.1.5利用列计算
4.1.6 limit语句
4.1.7列别名
4.1.8 CASE…WHEN…ELSE语句
4.1.9 禁止MapReduce
4.1.10 WHERE语句
4.1.11 LIKE 和 RLIKE
4.2 Hive函数
4.2.1 聚合函数
4.2.2 关系运算
4.2.3 数学运算
4.2.4 逻辑运算
4.2.5 数值运算
4.2.6 条件函数
4.2.7日期函数
4.2.8字符串函数
4.3复合类型
4.3.1构建操作
4.3.2访问操作
4.3.3长度统计函数
4.4 JOIN ON
4.1.1语法
4.1.2INNER JOIN ON
4.1.3LEFT OUTER ON
4.1.4RIGHT OUTER ON
4.1.5FULL OUTER ON
5. lateral view 、explode、reflect
5.1使用explode函数将hive表中的Map和Array字段数据进行拆分
5.2使用explode拆分json字符串
5.3配合LATERAL VIEW使用
5.4行转列
5.5列转行
5.6reflect函数
6. 窗口函数和分析函数
6.1窗口函数
6.1.1 SUM() 、AVG() 、MIN() 、MAX()函数
6.1.2 ROW_NUMBER()、RANK() 、DENSE_RANK() 、NTILE()函数
6.1.3 LAG(),LEAD(),FIRST_VALUE(),LAST_VALUE()函数
6.1.4 CUME_DIST(), PERCENT_RANK()函数
6.2分析函数
6.2.1 GROUPING SETS(), GROUPING__ID, CUBE,ROLLUP