目前使用的hive版本为0.70,看了一下0.80和0.90的新特性,还是有蛮多实用的东西,
主要是性能的提升,但是metastore变动较大,升级有一定的风险,目前正在测试:
0.80:
https://issues.apache.org/jira/secure/ReleaseNote.jspa?projectId=12310843&version=12316178
0.90.0:
https://issues.apache.org/jira/secure/ReleaseNote.jspa?projectId=12310843&version=12317742
1. 支持CREATE OR REPLACE VIEW
2. 增加错误提示
3. 支持NOT IN 和 NOT LIKE
4. Ctrl+c将会提交kill命令,kill掉当前运行的query job,并且不会退出hive cli
5. 输出map数和reduce数
6. 提升"select xx,xx from xxx LIMIT xxx"性能
7. 支持BETWEEN操作
8. PRINTF()函数
9. COALESCE/UNION ALL操作时候对数据类型宽限
10. 增加TIMESTAMP数据类型
11. 增加"INSERT OVERWRITE TABLE X PARTITION (a=b, c=d) IF NOT EXISTS ..."操作,如果分区存在,则不会动.
12. 提升hive任务提交后任务编译和启动的性能。
分享到:
相关推荐
第6章:Hive性能优化及Hive3新特性课程学习目标掌握Hive中分区表及分桶表的设计及优化实现了解Hive中索引的设计及应用场景掌握Hive中文件格式与数据
hive-0.80默认是不支持中文的,这是打过补丁之后的版本,可以支持元数据中的中文,如表注释和字段注释等,经过验证desc table可以正常显示中文注释
hive-json-schema最新源代码hive-json-schema最新源代码hive-json-schema最新源代码hive-json-schema最新源代码hive-json-schema最新源代码hive-json-schema最新源代码hive-json-schema最新源代码hive-json-schema...
由于 Hive 采用了类似SQL 的查询语言 HQL(Hive Query Language),因此很容易将 Hive ...数据库可以用在 Online 的应用中,但是Hive 是为数据仓库而设计的,清楚这一点,有助于从应用角度理解 Hive 的特性。
Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供类SQL查询功能。 hive是基于Hadoop的一个数据仓库工具,用来进行数据提取、转化、加载,这是一种可以存储、查询和分析存储...
使用hive3.1.2和spark3.0.0配置hive on spark的时候,发现官方下载的hive3.1.2和spark3.0.0不兼容,hive3.1.2对应的版本是spark2.3.0,而spark3.0.0对应的hadoop版本是hadoop2.6或hadoop2.7。 所以,如果想要使用高...
4.1.1使用LIKE关键字创建一个与已有表模式相同的新表: 4 4.2 Hive 修改表 4 4.2.1 Hive 新增一个字段: 4 4.2.2 Hive 修改字段名/字段类型/字段位置/字段注释: 4 4.2.3 Hive 重命名表名: 4 4.3Hive 删除表: 4 5 ...
Hive表生成工具,Hive表生成工具Hive表生成工具
《Hive数据仓库案例教程》教学课件 第5章 Hive数据操作.pdf《Hive数据仓库案例教程》教学课件 第5章 Hive数据操作.pdf《Hive数据仓库案例教程》教学课件 第5章 Hive数据操作.pdf《Hive数据仓库案例教程》教学课件 第...
hive hive hive hive hive hive hive hive hive hive hive hive
hive-jdbc
Hive是一个基于Hadoop的数据仓库工具,它本身并不存储数据,部署在Hadoop集群上,数据是存储在HDFS上的. Hive所建的表在HDFS上对应的是一个文件夹,表的内容对应的是一个文件。它不仅可以存储大量的数据而且可以对...
利用Hive进行复杂用户行为大数据分析及优化案例(全套视频+课件+代码+讲义+工具软件),具体内容包括: 01_自动批量加载数据到hive 02_Hive表批量加载数据的脚本实现(一) 03_Hive表批量加载数据的脚本实现(二) ...
Apache Hive Essentials, 第二版,包含了Hive2的最新特性
5.安装hive和mysq完成后,将mysql的连接jar包拷贝到$HIVE_HOME/lib目录下 如果出现没有权限的问题,在mysql授权(在安装mysql的机器上执行) mysql -uroot -p #(执行下面的语句 *.*:所有库下的所有表 %:任何IP地址...
Ambari下Hive3.0升级到Hive4.0,验证自测;
Hive原理/Hive SQL/Hive 函数/数据仓库分层和建模/Hive sql优化/数据倾斜
Hive.sql
Apache Hive Essentials,2015,第一版,Packt Publishing