Posted inhadoop hive 大数据 Hive创建自定义函数 在Hive查询数据的时候,有些时候hive提供的函数并不能满足查询和统计的需求,就需要开发函数。在Hive中提供了三种方式实现自定义,分别是UDF、UDAF和UDTF三种方式,这三种方式基本上满足了对单行数据处理, 统计和其他的一些需求。 Posted by 专注着 18 12 月, 2024No Comments Posted indjango Python 如何单独使用django orm框架 最近在学习python语言,然后自己用python写一些小的程序,然后从各个网站爬取一些数据,并把这些数据存放在mysql数据库中,然后又不想自己写sql, 因此了解到django中有orm的模块,但是django又必须在web项目中使用,但是我又不想运行web项目,因此考虑将orm框架提出来,单独能够操作数据库使用。 Posted by 专注着 15 12 月, 2024No Comments Posted inhadoop hive 大数据 Hive客户端配置 在安装完成hive metastore服务后,我们需要通过代码或者工具类访问hive并操作hive, 在hive中提供了hiveserver2的服务方便开发通过外部的方式访问hive, 这片文章就主要介绍配置hiveserver2并能够通过外部访问hive. Posted by 专注着 12 12 月, 2024No Comments Posted inhadoop hive 大数据 Hive三种安装方式区别和搭建 hive一共有三种运行方式,分别是derby的内存数据库,远程存储,和远程服务器,这三种方式都有各自的使用场景,这篇文件介绍了hive在这三种模式下如何配置,如何执行,已经通过什么样的方式访问hive, 在文中都有很详细的介绍。 Posted by 专注着 11 12 月, 20241 Posted inhadoop hive 大数据 hive与关系型数据库的比较 本篇文章介绍了hive的基本架构,已经每个组成部分,帮助理解hive的数据存储方式,在内部是由哪些基本的组件构成,可以帮助更好的理解hive. Posted by 专注着 11 12 月, 2024No Comments Posted inhadoop yarn 大数据 yarn集群配置 yarn作为hadoop中比较重要的组件,主要负责节点的管理,资源的申请和应用管理,是非常重要的,因此在这篇文章主要介绍了yarn高级群如何部署,如何在执行mapreduce任务的时候使用yarn进行调度,希望可以帮助到大家 Posted by 专注着 6 12 月, 2024No Comments
Posted indjango Python 如何单独使用django orm框架 最近在学习python语言,然后自己用python写一些小的程序,然后从各个网站爬取一些数据,并把这些数据存放在mysql数据库中,然后又不想自己写sql, 因此了解到django中有orm的模块,但是django又必须在web项目中使用,但是我又不想运行web项目,因此考虑将orm框架提出来,单独能够操作数据库使用。 Posted by 专注着 15 12 月, 2024No Comments Posted inhadoop hive 大数据 Hive客户端配置 在安装完成hive metastore服务后,我们需要通过代码或者工具类访问hive并操作hive, 在hive中提供了hiveserver2的服务方便开发通过外部的方式访问hive, 这片文章就主要介绍配置hiveserver2并能够通过外部访问hive. Posted by 专注着 12 12 月, 2024No Comments Posted inhadoop hive 大数据 Hive三种安装方式区别和搭建 hive一共有三种运行方式,分别是derby的内存数据库,远程存储,和远程服务器,这三种方式都有各自的使用场景,这篇文件介绍了hive在这三种模式下如何配置,如何执行,已经通过什么样的方式访问hive, 在文中都有很详细的介绍。 Posted by 专注着 11 12 月, 20241 Posted inhadoop hive 大数据 hive与关系型数据库的比较 本篇文章介绍了hive的基本架构,已经每个组成部分,帮助理解hive的数据存储方式,在内部是由哪些基本的组件构成,可以帮助更好的理解hive. Posted by 专注着 11 12 月, 2024No Comments Posted inhadoop yarn 大数据 yarn集群配置 yarn作为hadoop中比较重要的组件,主要负责节点的管理,资源的申请和应用管理,是非常重要的,因此在这篇文章主要介绍了yarn高级群如何部署,如何在执行mapreduce任务的时候使用yarn进行调度,希望可以帮助到大家 Posted by 专注着 6 12 月, 2024No Comments
Posted inhadoop hive 大数据 Hive客户端配置 在安装完成hive metastore服务后,我们需要通过代码或者工具类访问hive并操作hive, 在hive中提供了hiveserver2的服务方便开发通过外部的方式访问hive, 这片文章就主要介绍配置hiveserver2并能够通过外部访问hive. Posted by 专注着 12 12 月, 2024No Comments Posted inhadoop hive 大数据 Hive三种安装方式区别和搭建 hive一共有三种运行方式,分别是derby的内存数据库,远程存储,和远程服务器,这三种方式都有各自的使用场景,这篇文件介绍了hive在这三种模式下如何配置,如何执行,已经通过什么样的方式访问hive, 在文中都有很详细的介绍。 Posted by 专注着 11 12 月, 20241 Posted inhadoop hive 大数据 hive与关系型数据库的比较 本篇文章介绍了hive的基本架构,已经每个组成部分,帮助理解hive的数据存储方式,在内部是由哪些基本的组件构成,可以帮助更好的理解hive. Posted by 专注着 11 12 月, 2024No Comments Posted inhadoop yarn 大数据 yarn集群配置 yarn作为hadoop中比较重要的组件,主要负责节点的管理,资源的申请和应用管理,是非常重要的,因此在这篇文章主要介绍了yarn高级群如何部署,如何在执行mapreduce任务的时候使用yarn进行调度,希望可以帮助到大家 Posted by 专注着 6 12 月, 2024No Comments
Posted inhadoop hive 大数据 Hive三种安装方式区别和搭建 hive一共有三种运行方式,分别是derby的内存数据库,远程存储,和远程服务器,这三种方式都有各自的使用场景,这篇文件介绍了hive在这三种模式下如何配置,如何执行,已经通过什么样的方式访问hive, 在文中都有很详细的介绍。 Posted by 专注着 11 12 月, 20241 Posted inhadoop hive 大数据 hive与关系型数据库的比较 本篇文章介绍了hive的基本架构,已经每个组成部分,帮助理解hive的数据存储方式,在内部是由哪些基本的组件构成,可以帮助更好的理解hive. Posted by 专注着 11 12 月, 2024No Comments Posted inhadoop yarn 大数据 yarn集群配置 yarn作为hadoop中比较重要的组件,主要负责节点的管理,资源的申请和应用管理,是非常重要的,因此在这篇文章主要介绍了yarn高级群如何部署,如何在执行mapreduce任务的时候使用yarn进行调度,希望可以帮助到大家 Posted by 专注着 6 12 月, 2024No Comments
Posted inhadoop hive 大数据 hive与关系型数据库的比较 本篇文章介绍了hive的基本架构,已经每个组成部分,帮助理解hive的数据存储方式,在内部是由哪些基本的组件构成,可以帮助更好的理解hive. Posted by 专注着 11 12 月, 2024No Comments Posted inhadoop yarn 大数据 yarn集群配置 yarn作为hadoop中比较重要的组件,主要负责节点的管理,资源的申请和应用管理,是非常重要的,因此在这篇文章主要介绍了yarn高级群如何部署,如何在执行mapreduce任务的时候使用yarn进行调度,希望可以帮助到大家 Posted by 专注着 6 12 月, 2024No Comments
Posted inhadoop yarn 大数据 yarn集群配置 yarn作为hadoop中比较重要的组件,主要负责节点的管理,资源的申请和应用管理,是非常重要的,因此在这篇文章主要介绍了yarn高级群如何部署,如何在执行mapreduce任务的时候使用yarn进行调度,希望可以帮助到大家 Posted by 专注着 6 12 月, 2024No Comments
Posted injava spring spring boot 项目中如何排除依赖包中的@Configuration配置类? 事情是这样的,在最近开发项目中,由于公司引入了一些内部开发的包,但是包中做了一个切面,切面的目的是拦截所有的service类中的所有的方法,并开启事务管理。这就导致了项目结构中,如果你想控制事务的粒度成了问题,并且在普通查询的时候,是不需要开启事务的。 Posted by 专注着 13 5 月, 2024Tags: configuration, spring boot
Posted injava spring spring 使用ForkJoinPool异步事件处理 最近在开发功能的时候,因为涉及到在做一个操作的时候,需要将之前已经有的数据做状态变更,但是由于单批次操作比较复杂,需要操作很多次数据库,因此在接口响应时间上超过了10s的时间,因此,将这部分耗时操作通过异步的方式来处理,这样的话,即可以保证数据的正确性,同时也可以在接口响应上缩短时间。 Posted by 专注着 10 5 月, 2024Tags: async, enableasync, ForkJoinPool
Posted injava ForkJoinPool中ForkJoinTask的fork()、join()和get()有什么区别? 最近在做项目的时候,发现数据统计请求接口很慢,因此考虑将多个任务并行跑,这里主要采用的ForkJoinPool来实现,这是因为这个线程池可以配合parallelStream()方法来做自定义线程池,做任务线程的隔离。 Posted by 专注着 19 4 月, 2024Tags: ForkJoinPool
Posted inmybatis 记一次mybatis 标签嵌套使用失效问题 在最近的一次功能开发中,在通过使用Mybatis进行SQL拼接的时候,由于if条件比较复杂,因此使用了if的嵌套使用, Posted by 专注着 12 4 月, 2024Tags: if, mybatis
Posted inspring Spring Security Authorization架构简介(官网翻译) 在身份认证模块中,我们介绍了在认证完成之后,Authentication信息中会存储Authorities列表信息。Authentication信息经由AuthenticationManager对象获取并生成对应示例,然后将会被AccessDecisionManager读取,并用于授权使用。 Posted by 专注着 6 6 月, 2023Tags: java, security, spring
Posted inspring Security Authentication 架构简介 在Spring Security中,包含了很多的类,Authentication主要管理授权以及授权后用户权限等信息,主要类包含以下几种:- ``SecurityContextHolder``: 该类主要保存已经授权用户的详情信息 Posted by 专注着 26 5 月, 2023Tags: java, spring, spring security
Posted inspring @RefreshScope动态刷新配置实现原理 在spring cloud alibaba nacos的配置中,我们为了能够实现配置的动态刷新,@RefreshScope则是其中的一个解决方案。这篇文章将会从被@RefreshScope标记的bean从类信息搜集、创建、使用、刷新、销毁这样一个过程入手,记录Scope在spring中的工作原理。 Posted by 专注着 6 5 月, 2023Tags: java, spring
Posted inspring @ConfigurationProperties自动刷新配置原理 在nacos自动配置刷新中,当我们使用spring-cloud做微服务开发的时候,主要通过两种方式自动刷新配置,这边文章主要介绍``@ConfigurationProperties``注解工作原理,以及解释自动刷新配置的工作机制。 Posted by 专注着 20 4 月, 2023Tags: java, spring
Posted inspring spring nacos配置中心集成原理 在spring cloud alibaba中,配置中心是关键性的组件,能够提供便捷的配置管理以及更改配置后无需启动服务,就能够实现配置的自动更新。当然自动更新的操作并不是由nacos来完成,但是涉及以及配置更新通知,则是由nacos来实现的。这篇文章主要介绍nacos配置加载实现。 Posted by 专注着 17 4 月, 2023Tags: java, spring
Posted innacos nacos配置管理教程 在[nacos安装教程](./nacos安装教程.md)中我们介绍了如何部署nacos的集群模式以及单点部署,这篇文章主要介绍在nacos配置中的一些基本概念以及对配置文件的部署。 Posted by 专注着 12 4 月, 2023Tags: java, spring