028-86922220

建站动态

根据您的个性需求进行定制 先人一步 抢占小程序红利时代

Hive任务执行慢但是导入数据非常的快是为什么

这篇文章主要讲解了“Hive任务执行慢但是导入数据非常的快是为什么”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“Hive任务执行慢但是导入数据非常的快是为什么”吧!

站在用户的角度思考问题,与客户深入沟通,找到龙安网站设计与龙安网站推广的解决方案,凭借多年的经验,让设计与互联网技术结合,创造个性化、用户体验好的作品,建站类型包括:做网站、成都做网站、企业官网、英文网站、手机端网站、网站推广、域名注册、网页空间、企业邮箱。业务覆盖龙安地区。

读时模式和写时模式

Hive使用Hadoop来执行查询,其查询执行速度是很慢的,但是使用load  data向Hive中导入数据却非常快,这是因为Hive采取的是读时模式(Schema On Read)。

将数据存到Hive的数据表时,Hive采用的是“读时模式”,意思是针对写操作不会做任何校验,只是简单的将文件复制到Hive的表对应的HDFS目录。跟“读时模式”相对应的是“写时模式”,RDBMS一般采用“写时模式”,在将数据写入到数据表的时候会检查每一条记录是否合法,如果检查不通过会直接返回失败信息。

Hive任务执行慢但是导入数据非常的快是为什么

由于向Hive中存入数据的只是简单的文件复制和粘贴,所以导入数据速度非常的快。当读取、查询的时候,才会根据表模式来解释数据,这个时候如果遇到了不符合模式的数据,Hive会直接将数据解析成NULL。

读时模式的好处

Hive采用读时模式带来了以下几个好处:

导入数据

hive> load data local inpath '/root/usr.data' into table usr;
Hive任务执行慢但是导入数据非常的快是为什么

感谢各位的阅读,以上就是“Hive任务执行慢但是导入数据非常的快是为什么”的内容了,经过本文的学习后,相信大家对Hive任务执行慢但是导入数据非常的快是为什么这一问题有了更深刻的体会,具体使用情况还需要大家实践验证。这里是创新互联,小编将为大家推送更多相关知识点的文章,欢迎关注!


本文名称:Hive任务执行慢但是导入数据非常的快是为什么
文章网址:http://www.tsicrk.com/article/gpjigc.html

其他资讯

让你的专属顾问为你服务

1.2774s