Posted inhadoop hive 大数据 Hive基础知识详解 Hive提供了多种操作数据的方式,但是一些操作比较耗费时间,性能较低,不能满足在写入数据时的性能要求,这篇文章主要介绍Hive的常规操作方式,以及在插入数据时如何能够快速将数据插入到Hive表中,提高写入数据的性能。 Posted by 专注着 14 1 月, 2025No Comments Posted inhadoop hive 大数据 Hive为Hiveserver2客户端授权 hiveserver2为hive提供了远程客户端链接的方式,但是在配置hiveserver2的时候,需要使用用户信息帮助对用户操作进行授权,这篇文章就是说明在hive中如何创建用户并为用户授权,帮助在hive使用过程中进行权限控制,保证数据安全 Posted by 专注着 10 1 月, 2025No Comments Posted inhadoop hive 大数据 Hive Lateral View、视图和索引创建详解 - Lateral View 用于和UDTF函数(explode, split)结合来使用 - 首先通过UDTF函数拆分成多行,再将多行结果组合成一个支持别名的虚拟表 - 主要解决在select使用UDTF做查询的过程中,查询只能包含单个UDTF, Posted by 专注着 6 1 月, 2025No Comments Posted inhadoop 大数据 Hadoop基础概念详解 Hadoop中存在很多的名词,包括各个节点名称,每个节点的用处在这篇文章中都是有介绍了,同时也介绍了Hadoop的数据存储结果,数据存储涉及到的文件,每个文件中存储的内容,在本文章都有比较详细的介绍,同时也介绍了在分布式集群中每个节点的作用。 Posted by 专注着 5 1 月, 2025No Comments Posted inhadoop 大数据 Hadoop中MapReduce计算流程详解 在Hadoop中时常需要MapRed任务对已有的文件进行处理,Hadoop定义了MapReduce任务的执行过程,包括了读取文件,文件的Splits, Map任务,Partitioner分区,Sorter排序,Reudcer任务来完成目的,这一篇文章说明了MapReduce任务执行流程 Posted by 专注着 2 1 月, 2025No Comments Hive参数 Hive提供了三种能够设置参数的方法,这三种方法产生的作用于有一定的差别,在开发的过程中需要根据不同的需求设置参数,同时,Hive提供了分桶的操作,分桶能够将数据分布到不同的文件中,然后能够通过抽样的方式满足查询数据的需求。 Posted by 专注着 23 12 月, 2024No Comments
Posted inhadoop hive 大数据 Hive为Hiveserver2客户端授权 hiveserver2为hive提供了远程客户端链接的方式,但是在配置hiveserver2的时候,需要使用用户信息帮助对用户操作进行授权,这篇文章就是说明在hive中如何创建用户并为用户授权,帮助在hive使用过程中进行权限控制,保证数据安全 Posted by 专注着 10 1 月, 2025No Comments Posted inhadoop hive 大数据 Hive Lateral View、视图和索引创建详解 - Lateral View 用于和UDTF函数(explode, split)结合来使用 - 首先通过UDTF函数拆分成多行,再将多行结果组合成一个支持别名的虚拟表 - 主要解决在select使用UDTF做查询的过程中,查询只能包含单个UDTF, Posted by 专注着 6 1 月, 2025No Comments Posted inhadoop 大数据 Hadoop基础概念详解 Hadoop中存在很多的名词,包括各个节点名称,每个节点的用处在这篇文章中都是有介绍了,同时也介绍了Hadoop的数据存储结果,数据存储涉及到的文件,每个文件中存储的内容,在本文章都有比较详细的介绍,同时也介绍了在分布式集群中每个节点的作用。 Posted by 专注着 5 1 月, 2025No Comments Posted inhadoop 大数据 Hadoop中MapReduce计算流程详解 在Hadoop中时常需要MapRed任务对已有的文件进行处理,Hadoop定义了MapReduce任务的执行过程,包括了读取文件,文件的Splits, Map任务,Partitioner分区,Sorter排序,Reudcer任务来完成目的,这一篇文章说明了MapReduce任务执行流程 Posted by 专注着 2 1 月, 2025No Comments Hive参数 Hive提供了三种能够设置参数的方法,这三种方法产生的作用于有一定的差别,在开发的过程中需要根据不同的需求设置参数,同时,Hive提供了分桶的操作,分桶能够将数据分布到不同的文件中,然后能够通过抽样的方式满足查询数据的需求。 Posted by 专注着 23 12 月, 2024No Comments
Posted inhadoop hive 大数据 Hive Lateral View、视图和索引创建详解 - Lateral View 用于和UDTF函数(explode, split)结合来使用 - 首先通过UDTF函数拆分成多行,再将多行结果组合成一个支持别名的虚拟表 - 主要解决在select使用UDTF做查询的过程中,查询只能包含单个UDTF, Posted by 专注着 6 1 月, 2025No Comments Posted inhadoop 大数据 Hadoop基础概念详解 Hadoop中存在很多的名词,包括各个节点名称,每个节点的用处在这篇文章中都是有介绍了,同时也介绍了Hadoop的数据存储结果,数据存储涉及到的文件,每个文件中存储的内容,在本文章都有比较详细的介绍,同时也介绍了在分布式集群中每个节点的作用。 Posted by 专注着 5 1 月, 2025No Comments Posted inhadoop 大数据 Hadoop中MapReduce计算流程详解 在Hadoop中时常需要MapRed任务对已有的文件进行处理,Hadoop定义了MapReduce任务的执行过程,包括了读取文件,文件的Splits, Map任务,Partitioner分区,Sorter排序,Reudcer任务来完成目的,这一篇文章说明了MapReduce任务执行流程 Posted by 专注着 2 1 月, 2025No Comments Hive参数 Hive提供了三种能够设置参数的方法,这三种方法产生的作用于有一定的差别,在开发的过程中需要根据不同的需求设置参数,同时,Hive提供了分桶的操作,分桶能够将数据分布到不同的文件中,然后能够通过抽样的方式满足查询数据的需求。 Posted by 专注着 23 12 月, 2024No Comments
Posted inhadoop 大数据 Hadoop基础概念详解 Hadoop中存在很多的名词,包括各个节点名称,每个节点的用处在这篇文章中都是有介绍了,同时也介绍了Hadoop的数据存储结果,数据存储涉及到的文件,每个文件中存储的内容,在本文章都有比较详细的介绍,同时也介绍了在分布式集群中每个节点的作用。 Posted by 专注着 5 1 月, 2025No Comments Posted inhadoop 大数据 Hadoop中MapReduce计算流程详解 在Hadoop中时常需要MapRed任务对已有的文件进行处理,Hadoop定义了MapReduce任务的执行过程,包括了读取文件,文件的Splits, Map任务,Partitioner分区,Sorter排序,Reudcer任务来完成目的,这一篇文章说明了MapReduce任务执行流程 Posted by 专注着 2 1 月, 2025No Comments Hive参数 Hive提供了三种能够设置参数的方法,这三种方法产生的作用于有一定的差别,在开发的过程中需要根据不同的需求设置参数,同时,Hive提供了分桶的操作,分桶能够将数据分布到不同的文件中,然后能够通过抽样的方式满足查询数据的需求。 Posted by 专注着 23 12 月, 2024No Comments
Posted inhadoop 大数据 Hadoop中MapReduce计算流程详解 在Hadoop中时常需要MapRed任务对已有的文件进行处理,Hadoop定义了MapReduce任务的执行过程,包括了读取文件,文件的Splits, Map任务,Partitioner分区,Sorter排序,Reudcer任务来完成目的,这一篇文章说明了MapReduce任务执行流程 Posted by 专注着 2 1 月, 2025No Comments Hive参数 Hive提供了三种能够设置参数的方法,这三种方法产生的作用于有一定的差别,在开发的过程中需要根据不同的需求设置参数,同时,Hive提供了分桶的操作,分桶能够将数据分布到不同的文件中,然后能够通过抽样的方式满足查询数据的需求。 Posted by 专注着 23 12 月, 2024No Comments
Hive参数 Hive提供了三种能够设置参数的方法,这三种方法产生的作用于有一定的差别,在开发的过程中需要根据不同的需求设置参数,同时,Hive提供了分桶的操作,分桶能够将数据分布到不同的文件中,然后能够通过抽样的方式满足查询数据的需求。 Posted by 专注着 23 12 月, 2024No Comments
Posted inhadoop hive 大数据 Hive三种安装方式区别和搭建 hive一共有三种运行方式,分别是derby的内存数据库,远程存储,和远程服务器,这三种方式都有各自的使用场景,这篇文件介绍了hive在这三种模式下如何配置,如何执行,已经通过什么样的方式访问hive, 在文中都有很详细的介绍。 Posted by 专注着 11 12 月, 2024Tags: hive, metastore
Posted inhadoop hive 大数据 hive与关系型数据库的比较 本篇文章介绍了hive的基本架构,已经每个组成部分,帮助理解hive的数据存储方式,在内部是由哪些基本的组件构成,可以帮助更好的理解hive. Posted by 专注着 11 12 月, 2024Tags: hive
Posted inhadoop yarn 大数据 yarn集群配置 yarn作为hadoop中比较重要的组件,主要负责节点的管理,资源的申请和应用管理,是非常重要的,因此在这篇文章主要介绍了yarn高级群如何部署,如何在执行mapreduce任务的时候使用yarn进行调度,希望可以帮助到大家 Posted by 专注着 6 12 月, 2024Tags: ha, mapreduce, yarn
Posted inhadoop yarn 大数据 yarn架构:资源管理和任务调度 该篇文章介绍了yarn的架构以及资源管理,节点管理,任务调度相关的基础概念,并通过流程图的方式介绍了yarn任务的调度流程已经关键的配置信息,帮助更好的了解yarn的工作原理和实现价值,能够帮助我们更好使用yarn对hadoop mr任务的管理和实现。 Posted by 专注着 6 12 月, 2024Tags: nodemanager, resourcenamager, yarn
Posted inhadoop 大数据 Hadoop HA集群搭建 本文主要记录了hadoop的高可用安装教程,主要是针对NameNode的高可用,其中主要使用了Zookeeper,JournalNode等配置,可以理解为是在之前DataNode主从复制上的一个扩展安装,保证了整个集群的高可用 Posted by 专注着 28 11 月, 2024Tags: ha, hadoop
Posted inhadoop 大数据 hadoop安装 hadoop支持伪分布式部署和集群的部署方法,这篇文章主要记录了dfs的集群配置方法,记录在配置过程中遇到的问题并解决问题,其中包含了dns解析问题,端口问题,防火墙问题等。希望可以帮助到又需要的同学。 Posted by 专注着 27 11 月, 2024Tags: cluster, hadoop
Posted inzookeeper 使用ZooKeeper管理rmi远程请求端地址 这里主要通过实例方式,通过使用zookeeper对provider地址信息进行管理,然后利用wacher机制实时的更新provider地址列表,仅供学习。 Posted by 专注着 21 11 月, 2024Tags: rmi, zookeeper
Posted inzookeeper Zookeeper相关概念 关于zookeeper一些基本概念学习,包括事件,广播,会话等 Posted by 专注着 20 11 月, 2024Tags: zookeeper, 事件, 会话