Posted inhadoop hive 大数据 Hive基础知识详解 Hive提供了多种操作数据的方式,但是一些操作比较耗费时间,性能较低,不能满足在写入数据时的性能要求,这篇文章主要介绍Hive的常规操作方式,以及在插入数据时如何能够快速将数据插入到Hive表中,提高写入数据的性能。 Posted by 专注着 14 1 月, 2025No Comments Posted inhadoop hive 大数据 Hive为Hiveserver2客户端授权 hiveserver2为hive提供了远程客户端链接的方式,但是在配置hiveserver2的时候,需要使用用户信息帮助对用户操作进行授权,这篇文章就是说明在hive中如何创建用户并为用户授权,帮助在hive使用过程中进行权限控制,保证数据安全 Posted by 专注着 10 1 月, 2025No Comments Posted inhadoop hive 大数据 Hive Lateral View、视图和索引创建详解 - Lateral View 用于和UDTF函数(explode, split)结合来使用 - 首先通过UDTF函数拆分成多行,再将多行结果组合成一个支持别名的虚拟表 - 主要解决在select使用UDTF做查询的过程中,查询只能包含单个UDTF, Posted by 专注着 6 1 月, 2025No Comments Posted inhadoop 大数据 Hadoop基础概念详解 Hadoop中存在很多的名词,包括各个节点名称,每个节点的用处在这篇文章中都是有介绍了,同时也介绍了Hadoop的数据存储结果,数据存储涉及到的文件,每个文件中存储的内容,在本文章都有比较详细的介绍,同时也介绍了在分布式集群中每个节点的作用。 Posted by 专注着 5 1 月, 2025No Comments Posted inhadoop 大数据 Hadoop中MapReduce计算流程详解 在Hadoop中时常需要MapRed任务对已有的文件进行处理,Hadoop定义了MapReduce任务的执行过程,包括了读取文件,文件的Splits, Map任务,Partitioner分区,Sorter排序,Reudcer任务来完成目的,这一篇文章说明了MapReduce任务执行流程 Posted by 专注着 2 1 月, 2025No Comments Hive参数 Hive提供了三种能够设置参数的方法,这三种方法产生的作用于有一定的差别,在开发的过程中需要根据不同的需求设置参数,同时,Hive提供了分桶的操作,分桶能够将数据分布到不同的文件中,然后能够通过抽样的方式满足查询数据的需求。 Posted by 专注着 23 12 月, 2024No Comments
Posted inhadoop hive 大数据 Hive为Hiveserver2客户端授权 hiveserver2为hive提供了远程客户端链接的方式,但是在配置hiveserver2的时候,需要使用用户信息帮助对用户操作进行授权,这篇文章就是说明在hive中如何创建用户并为用户授权,帮助在hive使用过程中进行权限控制,保证数据安全 Posted by 专注着 10 1 月, 2025No Comments Posted inhadoop hive 大数据 Hive Lateral View、视图和索引创建详解 - Lateral View 用于和UDTF函数(explode, split)结合来使用 - 首先通过UDTF函数拆分成多行,再将多行结果组合成一个支持别名的虚拟表 - 主要解决在select使用UDTF做查询的过程中,查询只能包含单个UDTF, Posted by 专注着 6 1 月, 2025No Comments Posted inhadoop 大数据 Hadoop基础概念详解 Hadoop中存在很多的名词,包括各个节点名称,每个节点的用处在这篇文章中都是有介绍了,同时也介绍了Hadoop的数据存储结果,数据存储涉及到的文件,每个文件中存储的内容,在本文章都有比较详细的介绍,同时也介绍了在分布式集群中每个节点的作用。 Posted by 专注着 5 1 月, 2025No Comments Posted inhadoop 大数据 Hadoop中MapReduce计算流程详解 在Hadoop中时常需要MapRed任务对已有的文件进行处理,Hadoop定义了MapReduce任务的执行过程,包括了读取文件,文件的Splits, Map任务,Partitioner分区,Sorter排序,Reudcer任务来完成目的,这一篇文章说明了MapReduce任务执行流程 Posted by 专注着 2 1 月, 2025No Comments Hive参数 Hive提供了三种能够设置参数的方法,这三种方法产生的作用于有一定的差别,在开发的过程中需要根据不同的需求设置参数,同时,Hive提供了分桶的操作,分桶能够将数据分布到不同的文件中,然后能够通过抽样的方式满足查询数据的需求。 Posted by 专注着 23 12 月, 2024No Comments
Posted inhadoop hive 大数据 Hive Lateral View、视图和索引创建详解 - Lateral View 用于和UDTF函数(explode, split)结合来使用 - 首先通过UDTF函数拆分成多行,再将多行结果组合成一个支持别名的虚拟表 - 主要解决在select使用UDTF做查询的过程中,查询只能包含单个UDTF, Posted by 专注着 6 1 月, 2025No Comments Posted inhadoop 大数据 Hadoop基础概念详解 Hadoop中存在很多的名词,包括各个节点名称,每个节点的用处在这篇文章中都是有介绍了,同时也介绍了Hadoop的数据存储结果,数据存储涉及到的文件,每个文件中存储的内容,在本文章都有比较详细的介绍,同时也介绍了在分布式集群中每个节点的作用。 Posted by 专注着 5 1 月, 2025No Comments Posted inhadoop 大数据 Hadoop中MapReduce计算流程详解 在Hadoop中时常需要MapRed任务对已有的文件进行处理,Hadoop定义了MapReduce任务的执行过程,包括了读取文件,文件的Splits, Map任务,Partitioner分区,Sorter排序,Reudcer任务来完成目的,这一篇文章说明了MapReduce任务执行流程 Posted by 专注着 2 1 月, 2025No Comments Hive参数 Hive提供了三种能够设置参数的方法,这三种方法产生的作用于有一定的差别,在开发的过程中需要根据不同的需求设置参数,同时,Hive提供了分桶的操作,分桶能够将数据分布到不同的文件中,然后能够通过抽样的方式满足查询数据的需求。 Posted by 专注着 23 12 月, 2024No Comments
Posted inhadoop 大数据 Hadoop基础概念详解 Hadoop中存在很多的名词,包括各个节点名称,每个节点的用处在这篇文章中都是有介绍了,同时也介绍了Hadoop的数据存储结果,数据存储涉及到的文件,每个文件中存储的内容,在本文章都有比较详细的介绍,同时也介绍了在分布式集群中每个节点的作用。 Posted by 专注着 5 1 月, 2025No Comments Posted inhadoop 大数据 Hadoop中MapReduce计算流程详解 在Hadoop中时常需要MapRed任务对已有的文件进行处理,Hadoop定义了MapReduce任务的执行过程,包括了读取文件,文件的Splits, Map任务,Partitioner分区,Sorter排序,Reudcer任务来完成目的,这一篇文章说明了MapReduce任务执行流程 Posted by 专注着 2 1 月, 2025No Comments Hive参数 Hive提供了三种能够设置参数的方法,这三种方法产生的作用于有一定的差别,在开发的过程中需要根据不同的需求设置参数,同时,Hive提供了分桶的操作,分桶能够将数据分布到不同的文件中,然后能够通过抽样的方式满足查询数据的需求。 Posted by 专注着 23 12 月, 2024No Comments
Posted inhadoop 大数据 Hadoop中MapReduce计算流程详解 在Hadoop中时常需要MapRed任务对已有的文件进行处理,Hadoop定义了MapReduce任务的执行过程,包括了读取文件,文件的Splits, Map任务,Partitioner分区,Sorter排序,Reudcer任务来完成目的,这一篇文章说明了MapReduce任务执行流程 Posted by 专注着 2 1 月, 2025No Comments Hive参数 Hive提供了三种能够设置参数的方法,这三种方法产生的作用于有一定的差别,在开发的过程中需要根据不同的需求设置参数,同时,Hive提供了分桶的操作,分桶能够将数据分布到不同的文件中,然后能够通过抽样的方式满足查询数据的需求。 Posted by 专注着 23 12 月, 2024No Comments
Hive参数 Hive提供了三种能够设置参数的方法,这三种方法产生的作用于有一定的差别,在开发的过程中需要根据不同的需求设置参数,同时,Hive提供了分桶的操作,分桶能够将数据分布到不同的文件中,然后能够通过抽样的方式满足查询数据的需求。 Posted by 专注着 23 12 月, 2024No Comments
Posted injava JAVA线程如何通过ThreadLocal共享数据? 在JAVA开发过程中, 我们经常会使用到ThreadLocal类,该类主要用于存储于线程相关的数据,并且数据只能够通过线程获取。其他线程是无法拿到数据的。但是有这么一个场景,父线程创建了一个子线程,希望子线程能够共享父线程ThreadLocal中的变量数据,这应该怎么做呢? Posted by 专注着 5 4 月, 2022Tags: java, threadlocal
Posted injava Druid数据库连接异常:connection holder is null 最近在做业务开发的时候,线上出现了定时任务实行失败的异常,查看日志,最主要的原因是提示: connection holder is null, 经过代码排查了,是由于druid的连接池导致,所以记录下这个原因排查详细过程。 Posted by 专注着 26 3 月, 2022Tags: druid
Posted inmybatis mybatis xml配置与使用方式详解 最近借助学习的机会,学习并使用mybatis数据持久化框架,在关于mybatis整体学习过程中,通过由简入深的方式,来一步一步的学习和使用mybatis. Posted by 专注着 19 3 月, 2022Tags: mybatis, xml
Posted injava java中接口vs抽象类, 两者都有哪些区别? Java本身属于面向对象编程语言,面向对象的四个特性: 继承,封装,抽象,多态。其实这里的抽象与今天所说的抽象类其实不是一个意思。特性中的抽象是对实现业务的抽象,可以通过抽象类,接口或者其他的方式对实现抽象。所以抽象类更多的是强调具体的实现。而特性抽像更多的是一种思想。 Posted by 专注着 16 3 月, 2022Tags: abstract, interface, java
Posted injava Java NIO 代码实现详解 在Java后期的迭代中,引入NIO相关的内容, 提高IO的处理效率,这篇文章主要介绍NIO的代码实现。NIO改变了BIO的工作方式,并且提供了non-blocking实现,引入了Selector实现Epoll模型,提升系统性能 Posted by 专注着 20 2 月, 2022Tags: java, nio
Posted injava JAVA中BIO的实现方式以及优化 在日常开发中,总是会涉及到对IO相关的操作,而在JAVA中,网络编程包含了BIO、NIO、以及AIO这几种类型,今天这篇文章主要讲解在JAVA BIO的工作模式,以及针对BIO的常见的优化方式。 Posted by 专注着 13 2 月, 2022Tags: BIO, java
Posted inspring spring clound openfeign 原理解析(一) — Ribbon 在前面章节中我们介绍了ribbon的使用以及启动原理,在这篇文章中将主要介绍openfeign的原理。在Spring cloud体系中, feign其实有着很重比较重要的地位,因为feign能够大大简化我们对远程请求以及返回结果的处理,帮助我们快速开发。我们还是以一个简单的demo开始我们的代码调试和讲解步骤. Posted by 专注着 27 11 月, 2021Tags: openfeign, ribbon, springcloud
Posted inspring spring中@Value注解原理解析——SpEL表达式 在spring中@Value实现原理解析(一)——获取环境变量文章中阐述了@Value的方式注入环境变量的值,这篇文章我们将主要介绍spring如何通过@Value注解实现表达式的计算,以及实现类型转换的。 Posted by 专注着 13 11 月, 2021Tags: spring, value
Posted inspring spring中@Value实现原理解析(一)——获取环境变量 在平常的开发中,@Value注解其实是使用频率很高的,在我锁经理的项目中主要有两种使用场景: 从上下文环境中读取配置属性值 通过该注解将配置值解析为常用集合。解析为常用集合,主要需要使用到spring SpEL表达式的使用。 而今天这篇文章的重点,我们则主要来学习下@Value在spring中是如何实现的,留下记录,便于后面自己学习。 Posted by 专注着 25 10 月, 2021Tags: env, spring, value
Posted inspring spring 中@Import注解使用详解 最近在看源码过程中,发现在根据spring实现中,很多都使用了@Import注解实现动态bean的注入实现,因此自己总结了一些@Import使用方式,便于对Spring框架的细节的理解。 Posted by 专注着 10 10 月, 2021Tags: import, spring