Posted inhadoop hive 大数据 Hive基础知识详解 Hive提供了多种操作数据的方式,但是一些操作比较耗费时间,性能较低,不能满足在写入数据时的性能要求,这篇文章主要介绍Hive的常规操作方式,以及在插入数据时如何能够快速将数据插入到Hive表中,提高写入数据的性能。 Posted by 专注着 14 1 月, 2025No Comments Posted inhadoop hive 大数据 Hive为Hiveserver2客户端授权 hiveserver2为hive提供了远程客户端链接的方式,但是在配置hiveserver2的时候,需要使用用户信息帮助对用户操作进行授权,这篇文章就是说明在hive中如何创建用户并为用户授权,帮助在hive使用过程中进行权限控制,保证数据安全 Posted by 专注着 10 1 月, 2025No Comments Posted inhadoop hive 大数据 Hive Lateral View、视图和索引创建详解 - Lateral View 用于和UDTF函数(explode, split)结合来使用 - 首先通过UDTF函数拆分成多行,再将多行结果组合成一个支持别名的虚拟表 - 主要解决在select使用UDTF做查询的过程中,查询只能包含单个UDTF, Posted by 专注着 6 1 月, 2025No Comments Posted inhadoop 大数据 Hadoop基础概念详解 Hadoop中存在很多的名词,包括各个节点名称,每个节点的用处在这篇文章中都是有介绍了,同时也介绍了Hadoop的数据存储结果,数据存储涉及到的文件,每个文件中存储的内容,在本文章都有比较详细的介绍,同时也介绍了在分布式集群中每个节点的作用。 Posted by 专注着 5 1 月, 2025No Comments Posted inhadoop 大数据 Hadoop中MapReduce计算流程详解 在Hadoop中时常需要MapRed任务对已有的文件进行处理,Hadoop定义了MapReduce任务的执行过程,包括了读取文件,文件的Splits, Map任务,Partitioner分区,Sorter排序,Reudcer任务来完成目的,这一篇文章说明了MapReduce任务执行流程 Posted by 专注着 2 1 月, 2025No Comments Hive参数 Hive提供了三种能够设置参数的方法,这三种方法产生的作用于有一定的差别,在开发的过程中需要根据不同的需求设置参数,同时,Hive提供了分桶的操作,分桶能够将数据分布到不同的文件中,然后能够通过抽样的方式满足查询数据的需求。 Posted by 专注着 23 12 月, 2024No Comments
Posted inhadoop hive 大数据 Hive为Hiveserver2客户端授权 hiveserver2为hive提供了远程客户端链接的方式,但是在配置hiveserver2的时候,需要使用用户信息帮助对用户操作进行授权,这篇文章就是说明在hive中如何创建用户并为用户授权,帮助在hive使用过程中进行权限控制,保证数据安全 Posted by 专注着 10 1 月, 2025No Comments Posted inhadoop hive 大数据 Hive Lateral View、视图和索引创建详解 - Lateral View 用于和UDTF函数(explode, split)结合来使用 - 首先通过UDTF函数拆分成多行,再将多行结果组合成一个支持别名的虚拟表 - 主要解决在select使用UDTF做查询的过程中,查询只能包含单个UDTF, Posted by 专注着 6 1 月, 2025No Comments Posted inhadoop 大数据 Hadoop基础概念详解 Hadoop中存在很多的名词,包括各个节点名称,每个节点的用处在这篇文章中都是有介绍了,同时也介绍了Hadoop的数据存储结果,数据存储涉及到的文件,每个文件中存储的内容,在本文章都有比较详细的介绍,同时也介绍了在分布式集群中每个节点的作用。 Posted by 专注着 5 1 月, 2025No Comments Posted inhadoop 大数据 Hadoop中MapReduce计算流程详解 在Hadoop中时常需要MapRed任务对已有的文件进行处理,Hadoop定义了MapReduce任务的执行过程,包括了读取文件,文件的Splits, Map任务,Partitioner分区,Sorter排序,Reudcer任务来完成目的,这一篇文章说明了MapReduce任务执行流程 Posted by 专注着 2 1 月, 2025No Comments Hive参数 Hive提供了三种能够设置参数的方法,这三种方法产生的作用于有一定的差别,在开发的过程中需要根据不同的需求设置参数,同时,Hive提供了分桶的操作,分桶能够将数据分布到不同的文件中,然后能够通过抽样的方式满足查询数据的需求。 Posted by 专注着 23 12 月, 2024No Comments
Posted inhadoop hive 大数据 Hive Lateral View、视图和索引创建详解 - Lateral View 用于和UDTF函数(explode, split)结合来使用 - 首先通过UDTF函数拆分成多行,再将多行结果组合成一个支持别名的虚拟表 - 主要解决在select使用UDTF做查询的过程中,查询只能包含单个UDTF, Posted by 专注着 6 1 月, 2025No Comments Posted inhadoop 大数据 Hadoop基础概念详解 Hadoop中存在很多的名词,包括各个节点名称,每个节点的用处在这篇文章中都是有介绍了,同时也介绍了Hadoop的数据存储结果,数据存储涉及到的文件,每个文件中存储的内容,在本文章都有比较详细的介绍,同时也介绍了在分布式集群中每个节点的作用。 Posted by 专注着 5 1 月, 2025No Comments Posted inhadoop 大数据 Hadoop中MapReduce计算流程详解 在Hadoop中时常需要MapRed任务对已有的文件进行处理,Hadoop定义了MapReduce任务的执行过程,包括了读取文件,文件的Splits, Map任务,Partitioner分区,Sorter排序,Reudcer任务来完成目的,这一篇文章说明了MapReduce任务执行流程 Posted by 专注着 2 1 月, 2025No Comments Hive参数 Hive提供了三种能够设置参数的方法,这三种方法产生的作用于有一定的差别,在开发的过程中需要根据不同的需求设置参数,同时,Hive提供了分桶的操作,分桶能够将数据分布到不同的文件中,然后能够通过抽样的方式满足查询数据的需求。 Posted by 专注着 23 12 月, 2024No Comments
Posted inhadoop 大数据 Hadoop基础概念详解 Hadoop中存在很多的名词,包括各个节点名称,每个节点的用处在这篇文章中都是有介绍了,同时也介绍了Hadoop的数据存储结果,数据存储涉及到的文件,每个文件中存储的内容,在本文章都有比较详细的介绍,同时也介绍了在分布式集群中每个节点的作用。 Posted by 专注着 5 1 月, 2025No Comments Posted inhadoop 大数据 Hadoop中MapReduce计算流程详解 在Hadoop中时常需要MapRed任务对已有的文件进行处理,Hadoop定义了MapReduce任务的执行过程,包括了读取文件,文件的Splits, Map任务,Partitioner分区,Sorter排序,Reudcer任务来完成目的,这一篇文章说明了MapReduce任务执行流程 Posted by 专注着 2 1 月, 2025No Comments Hive参数 Hive提供了三种能够设置参数的方法,这三种方法产生的作用于有一定的差别,在开发的过程中需要根据不同的需求设置参数,同时,Hive提供了分桶的操作,分桶能够将数据分布到不同的文件中,然后能够通过抽样的方式满足查询数据的需求。 Posted by 专注着 23 12 月, 2024No Comments
Posted inhadoop 大数据 Hadoop中MapReduce计算流程详解 在Hadoop中时常需要MapRed任务对已有的文件进行处理,Hadoop定义了MapReduce任务的执行过程,包括了读取文件,文件的Splits, Map任务,Partitioner分区,Sorter排序,Reudcer任务来完成目的,这一篇文章说明了MapReduce任务执行流程 Posted by 专注着 2 1 月, 2025No Comments Hive参数 Hive提供了三种能够设置参数的方法,这三种方法产生的作用于有一定的差别,在开发的过程中需要根据不同的需求设置参数,同时,Hive提供了分桶的操作,分桶能够将数据分布到不同的文件中,然后能够通过抽样的方式满足查询数据的需求。 Posted by 专注着 23 12 月, 2024No Comments
Hive参数 Hive提供了三种能够设置参数的方法,这三种方法产生的作用于有一定的差别,在开发的过程中需要根据不同的需求设置参数,同时,Hive提供了分桶的操作,分桶能够将数据分布到不同的文件中,然后能够通过抽样的方式满足查询数据的需求。 Posted by 专注着 23 12 月, 2024No Comments
Posted inmybatis 记一次mybatis 标签嵌套使用失效问题 在最近的一次功能开发中,在通过使用Mybatis进行SQL拼接的时候,由于if条件比较复杂,因此使用了if的嵌套使用, Posted by 专注着 12 4 月, 2024Tags: if, mybatis
Posted inspring Spring Security Authorization架构简介(官网翻译) 在身份认证模块中,我们介绍了在认证完成之后,Authentication信息中会存储Authorities列表信息。Authentication信息经由AuthenticationManager对象获取并生成对应示例,然后将会被AccessDecisionManager读取,并用于授权使用。 Posted by 专注着 6 6 月, 2023Tags: java, security, spring
Posted inspring Security Authentication 架构简介 在Spring Security中,包含了很多的类,Authentication主要管理授权以及授权后用户权限等信息,主要类包含以下几种:- ``SecurityContextHolder``: 该类主要保存已经授权用户的详情信息 Posted by 专注着 26 5 月, 2023Tags: java, spring, spring security
Posted inspring @RefreshScope动态刷新配置实现原理 在spring cloud alibaba nacos的配置中,我们为了能够实现配置的动态刷新,@RefreshScope则是其中的一个解决方案。这篇文章将会从被@RefreshScope标记的bean从类信息搜集、创建、使用、刷新、销毁这样一个过程入手,记录Scope在spring中的工作原理。 Posted by 专注着 6 5 月, 2023Tags: java, spring
Posted inspring @ConfigurationProperties自动刷新配置原理 在nacos自动配置刷新中,当我们使用spring-cloud做微服务开发的时候,主要通过两种方式自动刷新配置,这边文章主要介绍``@ConfigurationProperties``注解工作原理,以及解释自动刷新配置的工作机制。 Posted by 专注着 20 4 月, 2023Tags: java, spring
Posted inspring spring nacos配置中心集成原理 在spring cloud alibaba中,配置中心是关键性的组件,能够提供便捷的配置管理以及更改配置后无需启动服务,就能够实现配置的自动更新。当然自动更新的操作并不是由nacos来完成,但是涉及以及配置更新通知,则是由nacos来实现的。这篇文章主要介绍nacos配置加载实现。 Posted by 专注着 17 4 月, 2023Tags: java, spring
Posted innacos nacos配置管理教程 在[nacos安装教程](./nacos安装教程.md)中我们介绍了如何部署nacos的集群模式以及单点部署,这篇文章主要介绍在nacos配置中的一些基本概念以及对配置文件的部署。 Posted by 专注着 12 4 月, 2023Tags: java, spring
Posted inspring spring boot 环境配置加载原理 spring boot的出现,大大减少了配置文件的数量,我们可以通过代码的方式完成spring的所有配置,在spring boot启动过程中,重要的就是环境变量数据的加载,这些环境变量会成为后面容器启动的关键配置信息,因此主要看下环境配置加载的原理。 Posted by 专注着 11 4 月, 2023Tags: java, spring, spring boot
Posted innacos alibaba nacos 服务端搭建详细教程 最近在新的项目中,使用了spring-cloud-alibaba的组件,因此对于新的组件,需要能够亲手的搭建出来,并且有一定的了解,这篇文件就从最基本的配置和注册服务发现开始,实践nacos server单例和集群的搭建过程,以便以后快速的实现。 Posted by 专注着 28 3 月, 2023Tags: nacos
Posted in中间件 nvm安装教程(windows) nvm全称Node Version Manager主要用于对nodejs不同版本得管理,该文章主要介绍在windows下如何安装nvm工具包,并通过简单的命令方式管理nodejs的不同版本,以帮助有实际需要得小伙伴 Posted by 专注着 26 3 月, 2023Tags: nvm