Posted inhadoop hive 大数据 Hive基础知识详解 Hive提供了多种操作数据的方式,但是一些操作比较耗费时间,性能较低,不能满足在写入数据时的性能要求,这篇文章主要介绍Hive的常规操作方式,以及在插入数据时如何能够快速将数据插入到Hive表中,提高写入数据的性能。 Posted by 专注着 14 1 月, 2025No Comments Posted inhadoop hive 大数据 Hive为Hiveserver2客户端授权 hiveserver2为hive提供了远程客户端链接的方式,但是在配置hiveserver2的时候,需要使用用户信息帮助对用户操作进行授权,这篇文章就是说明在hive中如何创建用户并为用户授权,帮助在hive使用过程中进行权限控制,保证数据安全 Posted by 专注着 10 1 月, 2025No Comments Posted inhadoop hive 大数据 Hive Lateral View、视图和索引创建详解 - Lateral View 用于和UDTF函数(explode, split)结合来使用 - 首先通过UDTF函数拆分成多行,再将多行结果组合成一个支持别名的虚拟表 - 主要解决在select使用UDTF做查询的过程中,查询只能包含单个UDTF, Posted by 专注着 6 1 月, 2025No Comments Posted inhadoop 大数据 Hadoop基础概念详解 Hadoop中存在很多的名词,包括各个节点名称,每个节点的用处在这篇文章中都是有介绍了,同时也介绍了Hadoop的数据存储结果,数据存储涉及到的文件,每个文件中存储的内容,在本文章都有比较详细的介绍,同时也介绍了在分布式集群中每个节点的作用。 Posted by 专注着 5 1 月, 2025No Comments Posted inhadoop 大数据 Hadoop中MapReduce计算流程详解 在Hadoop中时常需要MapRed任务对已有的文件进行处理,Hadoop定义了MapReduce任务的执行过程,包括了读取文件,文件的Splits, Map任务,Partitioner分区,Sorter排序,Reudcer任务来完成目的,这一篇文章说明了MapReduce任务执行流程 Posted by 专注着 2 1 月, 2025No Comments Hive参数 Hive提供了三种能够设置参数的方法,这三种方法产生的作用于有一定的差别,在开发的过程中需要根据不同的需求设置参数,同时,Hive提供了分桶的操作,分桶能够将数据分布到不同的文件中,然后能够通过抽样的方式满足查询数据的需求。 Posted by 专注着 23 12 月, 2024No Comments
Posted inhadoop hive 大数据 Hive为Hiveserver2客户端授权 hiveserver2为hive提供了远程客户端链接的方式,但是在配置hiveserver2的时候,需要使用用户信息帮助对用户操作进行授权,这篇文章就是说明在hive中如何创建用户并为用户授权,帮助在hive使用过程中进行权限控制,保证数据安全 Posted by 专注着 10 1 月, 2025No Comments Posted inhadoop hive 大数据 Hive Lateral View、视图和索引创建详解 - Lateral View 用于和UDTF函数(explode, split)结合来使用 - 首先通过UDTF函数拆分成多行,再将多行结果组合成一个支持别名的虚拟表 - 主要解决在select使用UDTF做查询的过程中,查询只能包含单个UDTF, Posted by 专注着 6 1 月, 2025No Comments Posted inhadoop 大数据 Hadoop基础概念详解 Hadoop中存在很多的名词,包括各个节点名称,每个节点的用处在这篇文章中都是有介绍了,同时也介绍了Hadoop的数据存储结果,数据存储涉及到的文件,每个文件中存储的内容,在本文章都有比较详细的介绍,同时也介绍了在分布式集群中每个节点的作用。 Posted by 专注着 5 1 月, 2025No Comments Posted inhadoop 大数据 Hadoop中MapReduce计算流程详解 在Hadoop中时常需要MapRed任务对已有的文件进行处理,Hadoop定义了MapReduce任务的执行过程,包括了读取文件,文件的Splits, Map任务,Partitioner分区,Sorter排序,Reudcer任务来完成目的,这一篇文章说明了MapReduce任务执行流程 Posted by 专注着 2 1 月, 2025No Comments Hive参数 Hive提供了三种能够设置参数的方法,这三种方法产生的作用于有一定的差别,在开发的过程中需要根据不同的需求设置参数,同时,Hive提供了分桶的操作,分桶能够将数据分布到不同的文件中,然后能够通过抽样的方式满足查询数据的需求。 Posted by 专注着 23 12 月, 2024No Comments
Posted inhadoop hive 大数据 Hive Lateral View、视图和索引创建详解 - Lateral View 用于和UDTF函数(explode, split)结合来使用 - 首先通过UDTF函数拆分成多行,再将多行结果组合成一个支持别名的虚拟表 - 主要解决在select使用UDTF做查询的过程中,查询只能包含单个UDTF, Posted by 专注着 6 1 月, 2025No Comments Posted inhadoop 大数据 Hadoop基础概念详解 Hadoop中存在很多的名词,包括各个节点名称,每个节点的用处在这篇文章中都是有介绍了,同时也介绍了Hadoop的数据存储结果,数据存储涉及到的文件,每个文件中存储的内容,在本文章都有比较详细的介绍,同时也介绍了在分布式集群中每个节点的作用。 Posted by 专注着 5 1 月, 2025No Comments Posted inhadoop 大数据 Hadoop中MapReduce计算流程详解 在Hadoop中时常需要MapRed任务对已有的文件进行处理,Hadoop定义了MapReduce任务的执行过程,包括了读取文件,文件的Splits, Map任务,Partitioner分区,Sorter排序,Reudcer任务来完成目的,这一篇文章说明了MapReduce任务执行流程 Posted by 专注着 2 1 月, 2025No Comments Hive参数 Hive提供了三种能够设置参数的方法,这三种方法产生的作用于有一定的差别,在开发的过程中需要根据不同的需求设置参数,同时,Hive提供了分桶的操作,分桶能够将数据分布到不同的文件中,然后能够通过抽样的方式满足查询数据的需求。 Posted by 专注着 23 12 月, 2024No Comments
Posted inhadoop 大数据 Hadoop基础概念详解 Hadoop中存在很多的名词,包括各个节点名称,每个节点的用处在这篇文章中都是有介绍了,同时也介绍了Hadoop的数据存储结果,数据存储涉及到的文件,每个文件中存储的内容,在本文章都有比较详细的介绍,同时也介绍了在分布式集群中每个节点的作用。 Posted by 专注着 5 1 月, 2025No Comments Posted inhadoop 大数据 Hadoop中MapReduce计算流程详解 在Hadoop中时常需要MapRed任务对已有的文件进行处理,Hadoop定义了MapReduce任务的执行过程,包括了读取文件,文件的Splits, Map任务,Partitioner分区,Sorter排序,Reudcer任务来完成目的,这一篇文章说明了MapReduce任务执行流程 Posted by 专注着 2 1 月, 2025No Comments Hive参数 Hive提供了三种能够设置参数的方法,这三种方法产生的作用于有一定的差别,在开发的过程中需要根据不同的需求设置参数,同时,Hive提供了分桶的操作,分桶能够将数据分布到不同的文件中,然后能够通过抽样的方式满足查询数据的需求。 Posted by 专注着 23 12 月, 2024No Comments
Posted inhadoop 大数据 Hadoop中MapReduce计算流程详解 在Hadoop中时常需要MapRed任务对已有的文件进行处理,Hadoop定义了MapReduce任务的执行过程,包括了读取文件,文件的Splits, Map任务,Partitioner分区,Sorter排序,Reudcer任务来完成目的,这一篇文章说明了MapReduce任务执行流程 Posted by 专注着 2 1 月, 2025No Comments Hive参数 Hive提供了三种能够设置参数的方法,这三种方法产生的作用于有一定的差别,在开发的过程中需要根据不同的需求设置参数,同时,Hive提供了分桶的操作,分桶能够将数据分布到不同的文件中,然后能够通过抽样的方式满足查询数据的需求。 Posted by 专注着 23 12 月, 2024No Comments
Hive参数 Hive提供了三种能够设置参数的方法,这三种方法产生的作用于有一定的差别,在开发的过程中需要根据不同的需求设置参数,同时,Hive提供了分桶的操作,分桶能够将数据分布到不同的文件中,然后能够通过抽样的方式满足查询数据的需求。 Posted by 专注着 23 12 月, 2024No Comments
Posted inredis Redis事务实现 事务 Redis通过MULTI,EXEC,WATCH等命令来实现事务功能. 事务提供了一种将多个命令… Posted by 专注着 8 4 月, 2021
Posted inredis 分布式数据库-哨兵(Sentinel) 哨兵模式 负责监控主从中所有的redis服务器的状态 当主redis发生了系统宕机之后, 并从当前主… Posted by 专注着 7 4 月, 2021
Posted inredis 分布式数据库-集群 Redis集群是Redis提供的分布式数据库方案, 集群通过分片(sharding)来进行数据共享,… Posted by 专注着 6 4 月, 2021
Posted inredis REDIS分布式实现-复制 在Redis中, 用户可以通过执行SLAVEOF命令或者设置slaveof选项, 让一个服务器去复制… Posted by 专注着 5 4 月, 2021
Posted inredis redis数据库 redis数据库组成 redis在启动时会启动16个数据库实例 redis客户端链接时, 默认链接的… Posted by 专注着 4 4 月, 2021
Posted inredis REDIS客户端 通过使用由I/O多路复用技术实现的文件事件处理器, Redis服务器使用单线程单进程的方式来处理命令… Posted by 专注着 3 4 月, 2021
Posted inredis redis对象回收与共享 在redis中, 对象系统中构建一个引用计数实现的内存回收机制, 通过这一机制, 程序可以通过跟踪对象的引用计数信息, 在适当的时候自动释放对象并进行内存回收. Posted by 专注着 2 4 月, 2021
Posted inredis redis面向对象基本概念 在redis中主要用到的数据结构包括了简单动态字符串(SDS),双端链表,字典,压缩列表,整数集合等… Posted by 专注着 1 4 月, 2021
Posted inredis REDIS服务器 服务器 命令请求的执行过程 使用SET KEY VALUE命令为例, 客户端和服务器共需要执行以下操… Posted by 专注着 30 3 月, 2021