hive是什么

hive 是基于 Hadoop 的一个数据仓库工具,用来进行数据提取、转化、加载,这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。

hive 是基于 Hadoop 的一个数据仓库工具,用来进行数据提取、转化、加载,这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。hive 数据仓库工具能将结构化的数据文件映射为一张数据库表,并提供 SQL 查询功能,能将 SQL 语句转变成 MapReduce 任务来执行。

hive

Hive 的优点是学习成本低,可以通过类似 SQL 语句实现快速 MapReduce 统计,使 MapReduce 变得更加简单,而不必开发专门的 MapReduce 应用程序。hive 十分适合对数据仓库进行统计分析。

简介

hive 是基于 Hadoop 构建的一套数据仓库分析系统,它提供了丰富的 SQL 查询方式来分析存储在 Hadoop 分布式文件系统中的数据:可以将结构化的数据文件映射为一张数据库表,并提供完整的 SQL 查询功能;可以将 SQL 语句转换为 MapReduce 任务运行,通过自己的 SQL 查询分析需要的内容,这套 SQL 简称 Hive SQL,使不熟悉 mapreduce 的用户可以很方便地利用 SQL 语言查询、汇总和分析数据。而 mapreduce 开发人员可以把自己写的 mapper 和 reducer 作为插件来支持 hive 做更复杂的数据分析。

它与关系型数据库的 SQL 略有不同,但支持了绝大多数的语句如 DDL、DML 以及常见的聚合函数、连接查询、条件查询。它还提供了一系列的 1:具进行数据提取转化加载,用来存储、查询和分析存储在 Hadoop 中的大规模数据集,并支持 UDF(User-Defined Function)、UDAF(User-Defnes AggregateFunction)和 USTF(User-Defined Table-Generating Function),也可以实现对 map 和 reduce 函数的定制,为数据操作提供了良好的伸缩性和可扩展性。

hive 不适合用于联机(online)事务处理,也不提供实时查询功能。它最适合应用在基于大量不可变数据的批处理作业。hive 的特点包括:可伸缩(在 Hadoop 的集群上动态添加设备)、可扩展、容错、输入格式的松散耦合。

适用场景

hive 构建在基于静态批处理的 Hadoop 之上,Hadoop 通常都有较高的延迟并且在作业提交和调度的时候需要大量的开销。因此,hive 并不能够在大规模数据集上实现低延迟快速的查询,例如,hive 在几百 MB 的数据集上执行查询一般有分钟级的时间延迟。

因此,hive 并不适合那些需要高实时性的应用,例如,联机事务处理(OLTP)。hive 查询操作过程严格遵守 Hadoop MapReduce 的作业执行模型,hive 将用户的 hiveQL 语句通过解释器转换为 MapReduce 作业提交到 Hadoop 集群上,Hadoop 监控作业执行过程,然后返回作业执行结果给用户。hive 并非为联机事务处理而设计,hive 并不提供实时的查询和基于行级的数据更新操作。hive 的最佳使用场合是大数据集的批处理作业,例如,网络日志分析。

设计特征

hive 是一种底层封装了 Hadoop 的数据仓库处理工具,使用类 SQL 的 hiveSQL 语言实现数据查询,所有 hive 的数据都存储在 Hadoop 兼容的文件系统(例如,Amazon S3、HDFS)中。hive 在加载数据过程中不会对数据进行任何的修改,只是将数据移动到 HDFS 中 hive 设定的目录下,因此,hive 不支持对数据的改写和添加,所有的数据都是在加载的时候确定的。hive 的设计特点如下。

支持创建索引,优化数据查询。不同的存储类型,例如,纯文本文件、HBase 中的文件。将元数据保存在关系数据库中,大大减少了在查询过程中执行语义检查的时间。可以直接使用存储在 Hadoop 文件系统中的数据。内置大量用户函数 UDF 来操作时间、字符串和其他的数据挖掘工具,支持用户扩展 UDF 函数来完成内置函数无法实现的操作。类 SQL 的查询方式,将 SQL 查询转换为 MapReduce 的 job 在 Hadoop 集群上执行。

(0)
时间不会说谎  的头像时间不会说谎  

相关推荐

  • 万事达卡是什么

    万事达卡(MasterCard)是一种国外的信用卡组织的名字,国内主要的商业银行都是万事达卡的会员,也就是说大部分银行的信用卡都为万事达卡。通常在申请信用卡时,客户可以自主申请VI…

  • 华为Mate60RS非凡大师怎么安装未知应用?

    华为Mate60RS非凡大师怎么安装未知应用是很多用户们都想要了解的问题,华为Mate60RS非凡大师外观颜值是非常高的,由于采用了更为强大的性能配置,因此能够为用户们提供更为舒适的使用体验,为了方便大家的日常使用,下面小编就为大家介绍一下

    2024年2月4日
  • 如何使用筋膜枪

    筋膜枪使用时要顺着肌肉的走向,所以要熟记一下你要放松肌肉的解剖结构。放松时筋膜枪适当用力顶住肌肉,使之与肌肉发生共振,增加渗透性。原则是紧推慢移 ,比如打个十几次再移动,每次移动的…

  • 寄电脑找哪个快递,哪家快递更适合寄送电脑?

    电脑作为我们日常生活中必不可少的工具,有时候需要寄送,但是寄送电脑需要注意许多细节问题,因此选择合适的快递公司非常重要。那么,寄电脑找哪个快递更快捷、更安全呢?本文将为大家介绍几家快递公司,帮助大家选择最适合自己的快递公司。一、顺丰快递

    2023年11月4日
  • 小米成立日期,小米是在哪一年成立的?

    小米科技是一家总部位于中国北京的电子公司,公司成立以来一直致力于研发和销售智能手机、智能家居等电子产品。小米的产品质量和性价比备受消费者的好评,因此在国内外市场上都占据了一定的市场份额。那么,小米是在哪一年成立的呢?下面我们就来一探究竟。

    2023年12月5日
  • 红米7到底好不好,详解性价比、性能和用户评价

    作为小米旗下的一款入门级手机,红米7的性价比一直备受关注。那么,红米7到底好不好呢?本文将从性价比、性能和用户评价三个方面详细探讨。一、性价比红米7的性价比一直是其最大的卖点。首先,它的价格非常亲民,售价在1000-1200元之间。其次

    2023年12月17日
  • 海尔卡萨帝双子洗衣机,如何选择适合你的洗衣机型号

    如果你正在寻找一款新的洗衣机,那么你可能已经发现了市场上有数不清的不同品牌和型号。其中,海尔卡萨帝双子洗衣机是一个备受关注的品牌。但是,如何选择适合你的洗衣机型号呢?在本文中,我们将探讨海尔卡萨帝双子洗衣机的不同型号和功能,以帮助你做出明智

    2023年12月9日
  • Anolis OS是什么

    龙蜥操作系统(Anolis OS)是 OpenAnolis 社区推出的完全开源、中立、开放的发行版,它支持持多计算架构,也面向云端场景优化,100% 兼容 RHEL/CentOS …

  • 同等价位的华硕和联想,哪个更值得购买

    随着电脑的普及,越来越多的人开始关注电脑的性能和品牌。在电脑品牌中,华硕和联想是比较受欢迎的品牌之一。然而,当我们在同等价位的情况下,我们该如何选择?本文将从性能、外观、售后服务等方面对比华硕和联想,帮助大家做出明智的选择。一、性能对比

    2023年11月22日
  • 冲突世界怎么设置中文,详细教程分享

    本文目录一览3.打开“text_chinese.csv”文件,找到“English”这一行,将它改为“Chinese”。在现代科技的推动下,游戏已经成为了人们生活中不可或缺的一部分。而在游戏中,一个好的世界观和背景故事是吸引玩家的重要因

    2024年2月2日
  • 5G商用城市,哪些城市已经实现了5G商用?

    本文目录一览5G商用城市(哪些城市已经实现了5G商用?)上海北京广州深圳成都操作步骤结尾5G商用城市(哪些城市已经实现了5G商用?)随着5G技术的逐渐成熟和商用,越来越多的城市开始部署5G网络。那么,哪些城市已经实现了5G商

    2023年11月10日
  • 科达音箱型号大全,哪些型号适合不同场景使用?

    科达音箱是一款非常优秀的音箱品牌,其音质表现非常出色,深受用户的喜爱。不过,科达音箱的型号非常多,不同的型号适用于不同的场景,那么今天我们就来一起了解一下科达音箱型号大全,以及哪些型号适合不同场景使用。一、科达音箱型号大全1.科达S15

    2023年11月25日
  • 电脑无法识别u盘是什么原因,如何解决

    关键词:电脑无法识别U盘U盘是我们日常生活中使用频率极高的一种存储设备,但是有时候我们会遇到电脑无法识别U盘的情况,这时候该怎么办呢?本文将为大家详细介绍电脑无法识别U盘的原因以及如何解决这个问题。一、U盘无法识别的原因1.U盘硬件

    2023年12月13日
  • 朗逸plus加装倒车影像,如何自行安装

    如果你是一位驾驶朗逸plus的车主,你可能会发现这款车的倒车影像功能并不是标配。但是,不用担心,你可以自行安装倒车影像,让你的驾驶更加安全和方便。在这篇文章中,我们将会给你提供一些操作步骤,让你能够自行安装倒车影像。步骤1:购买倒车影像设

    2024年1月27日
  • 硬盘支架怎么安装

    硬盘支架安装方法:先观察支架的结构,它的四个角上有突出的地方,用途是对准螺丝定位的。 硬盘支架安装方法:先观察支架的结构,它的四个角上有突出的地方,用途是对准螺丝定位的,先将指甲左…

发表回复

登录后才能评论