Posted inhadoop hive 大数据 Hive创建自定义函数 在Hive查询数据的时候,有些时候hive提供的函数并不能满足查询和统计的需求,就需要开发函数。在Hive中提供了三种方式实现自定义,分别是UDF、UDAF和UDTF三种方式,这三种方式基本上满足了对单行数据处理, 统计和其他的一些需求。 Posted by 专注着 18 12 月, 2024No Comments Posted indjango Python 如何单独使用django orm框架 最近在学习python语言,然后自己用python写一些小的程序,然后从各个网站爬取一些数据,并把这些数据存放在mysql数据库中,然后又不想自己写sql, 因此了解到django中有orm的模块,但是django又必须在web项目中使用,但是我又不想运行web项目,因此考虑将orm框架提出来,单独能够操作数据库使用。 Posted by 专注着 15 12 月, 2024No Comments Posted inhadoop hive 大数据 Hive客户端配置 在安装完成hive metastore服务后,我们需要通过代码或者工具类访问hive并操作hive, 在hive中提供了hiveserver2的服务方便开发通过外部的方式访问hive, 这片文章就主要介绍配置hiveserver2并能够通过外部访问hive. Posted by 专注着 12 12 月, 2024No Comments Posted inhadoop hive 大数据 Hive三种安装方式区别和搭建 hive一共有三种运行方式,分别是derby的内存数据库,远程存储,和远程服务器,这三种方式都有各自的使用场景,这篇文件介绍了hive在这三种模式下如何配置,如何执行,已经通过什么样的方式访问hive, 在文中都有很详细的介绍。 Posted by 专注着 11 12 月, 20241 Posted inhadoop hive 大数据 hive与关系型数据库的比较 本篇文章介绍了hive的基本架构,已经每个组成部分,帮助理解hive的数据存储方式,在内部是由哪些基本的组件构成,可以帮助更好的理解hive. Posted by 专注着 11 12 月, 2024No Comments Posted inhadoop yarn 大数据 yarn集群配置 yarn作为hadoop中比较重要的组件,主要负责节点的管理,资源的申请和应用管理,是非常重要的,因此在这篇文章主要介绍了yarn高级群如何部署,如何在执行mapreduce任务的时候使用yarn进行调度,希望可以帮助到大家 Posted by 专注着 6 12 月, 2024No Comments
Posted indjango Python 如何单独使用django orm框架 最近在学习python语言,然后自己用python写一些小的程序,然后从各个网站爬取一些数据,并把这些数据存放在mysql数据库中,然后又不想自己写sql, 因此了解到django中有orm的模块,但是django又必须在web项目中使用,但是我又不想运行web项目,因此考虑将orm框架提出来,单独能够操作数据库使用。 Posted by 专注着 15 12 月, 2024No Comments Posted inhadoop hive 大数据 Hive客户端配置 在安装完成hive metastore服务后,我们需要通过代码或者工具类访问hive并操作hive, 在hive中提供了hiveserver2的服务方便开发通过外部的方式访问hive, 这片文章就主要介绍配置hiveserver2并能够通过外部访问hive. Posted by 专注着 12 12 月, 2024No Comments Posted inhadoop hive 大数据 Hive三种安装方式区别和搭建 hive一共有三种运行方式,分别是derby的内存数据库,远程存储,和远程服务器,这三种方式都有各自的使用场景,这篇文件介绍了hive在这三种模式下如何配置,如何执行,已经通过什么样的方式访问hive, 在文中都有很详细的介绍。 Posted by 专注着 11 12 月, 20241 Posted inhadoop hive 大数据 hive与关系型数据库的比较 本篇文章介绍了hive的基本架构,已经每个组成部分,帮助理解hive的数据存储方式,在内部是由哪些基本的组件构成,可以帮助更好的理解hive. Posted by 专注着 11 12 月, 2024No Comments Posted inhadoop yarn 大数据 yarn集群配置 yarn作为hadoop中比较重要的组件,主要负责节点的管理,资源的申请和应用管理,是非常重要的,因此在这篇文章主要介绍了yarn高级群如何部署,如何在执行mapreduce任务的时候使用yarn进行调度,希望可以帮助到大家 Posted by 专注着 6 12 月, 2024No Comments
Posted inhadoop hive 大数据 Hive客户端配置 在安装完成hive metastore服务后,我们需要通过代码或者工具类访问hive并操作hive, 在hive中提供了hiveserver2的服务方便开发通过外部的方式访问hive, 这片文章就主要介绍配置hiveserver2并能够通过外部访问hive. Posted by 专注着 12 12 月, 2024No Comments Posted inhadoop hive 大数据 Hive三种安装方式区别和搭建 hive一共有三种运行方式,分别是derby的内存数据库,远程存储,和远程服务器,这三种方式都有各自的使用场景,这篇文件介绍了hive在这三种模式下如何配置,如何执行,已经通过什么样的方式访问hive, 在文中都有很详细的介绍。 Posted by 专注着 11 12 月, 20241 Posted inhadoop hive 大数据 hive与关系型数据库的比较 本篇文章介绍了hive的基本架构,已经每个组成部分,帮助理解hive的数据存储方式,在内部是由哪些基本的组件构成,可以帮助更好的理解hive. Posted by 专注着 11 12 月, 2024No Comments Posted inhadoop yarn 大数据 yarn集群配置 yarn作为hadoop中比较重要的组件,主要负责节点的管理,资源的申请和应用管理,是非常重要的,因此在这篇文章主要介绍了yarn高级群如何部署,如何在执行mapreduce任务的时候使用yarn进行调度,希望可以帮助到大家 Posted by 专注着 6 12 月, 2024No Comments
Posted inhadoop hive 大数据 Hive三种安装方式区别和搭建 hive一共有三种运行方式,分别是derby的内存数据库,远程存储,和远程服务器,这三种方式都有各自的使用场景,这篇文件介绍了hive在这三种模式下如何配置,如何执行,已经通过什么样的方式访问hive, 在文中都有很详细的介绍。 Posted by 专注着 11 12 月, 20241 Posted inhadoop hive 大数据 hive与关系型数据库的比较 本篇文章介绍了hive的基本架构,已经每个组成部分,帮助理解hive的数据存储方式,在内部是由哪些基本的组件构成,可以帮助更好的理解hive. Posted by 专注着 11 12 月, 2024No Comments Posted inhadoop yarn 大数据 yarn集群配置 yarn作为hadoop中比较重要的组件,主要负责节点的管理,资源的申请和应用管理,是非常重要的,因此在这篇文章主要介绍了yarn高级群如何部署,如何在执行mapreduce任务的时候使用yarn进行调度,希望可以帮助到大家 Posted by 专注着 6 12 月, 2024No Comments
Posted inhadoop hive 大数据 hive与关系型数据库的比较 本篇文章介绍了hive的基本架构,已经每个组成部分,帮助理解hive的数据存储方式,在内部是由哪些基本的组件构成,可以帮助更好的理解hive. Posted by 专注着 11 12 月, 2024No Comments Posted inhadoop yarn 大数据 yarn集群配置 yarn作为hadoop中比较重要的组件,主要负责节点的管理,资源的申请和应用管理,是非常重要的,因此在这篇文章主要介绍了yarn高级群如何部署,如何在执行mapreduce任务的时候使用yarn进行调度,希望可以帮助到大家 Posted by 专注着 6 12 月, 2024No Comments
Posted inhadoop yarn 大数据 yarn集群配置 yarn作为hadoop中比较重要的组件,主要负责节点的管理,资源的申请和应用管理,是非常重要的,因此在这篇文章主要介绍了yarn高级群如何部署,如何在执行mapreduce任务的时候使用yarn进行调度,希望可以帮助到大家 Posted by 专注着 6 12 月, 2024No Comments
Posted inspring spring cloud 服务发现之Eureka Client(三)—DiscoveryClient 在上篇文章spring cloud 服务发现之Eureka Client(二)—自动装配中,介绍了Eureka Client自动装配的过程,其中设计到几个比较重要的类,包括ServiceRegistry, EurekaClient, EurekaDiscoveryClient类型。这些类型在Eureka Client整个生命周期中充当这比较重要的角色,在今天这章节中,将主要介绍DiscoveryClient对象,该对象主要包括了一下几个步骤: Posted by 专注着 7 9 月, 2021Tags: eureka, spring
Posted inspring @AutoConfigureAfter与@AutoConfigureBefore为什么会失效? 在项目开发中,在使用spring-boot时,有时会希望通过注解的方式,来控制装配的顺序。在查看源码过程中,发现有@AutoConfigureAfter与@AutoConfigureBefore两个注解能够实现。因此写两个DEMO实现功能用作测试。 Posted by 专注着 6 9 月, 2021Tags: autoconfigure, spring
Posted inspring spring cloud 服务发现之Eureka Client(二)—自动装配 在spring cloud 服务发现之Eureka Client(一)—客户端配置DEMO章节中介绍了如何快速的启动一个Eureka Client, 并将当前服务信息注册到Eureka Server中。在这篇文章中,将主要介绍在Eureka Client自动状态的过程中,需要执行那些过程,那些类是在启动过程中比不可少了。 Posted by 专注着 6 9 月, 2021Tags: eureka, spring
Posted inspring spring cloud 服务发现之Eureka Client(一)—客户端配置DEMO 这篇文章主要通过DEMO的方式启动一个微服务,并将服务注册到Eureka Server. Eureka Server为本地启动的服务信息,可以通过之前的文章查看启动过程,以及启动原理。 Posted by 专注着 4 9 月, 2021Tags: eureka, spring
Posted inmongodb mongodb入门—本地安装 最近在工作中遇到了部分文档存储的场景,于是了解了目前比较通用的文档存储的NoSQL解决方案,因此从通用性上对mongodb进行学习,并记录学习中查阅的资料,以及遇到的问题,用于后来参考。 Posted by 专注着 28 8 月, 2021Tags: mongodb
Posted inspring spring cloud 服务注册之Eureka Server(五) – 服务剔除策略 Eureka Server本身在做服务注册时,客户端是否下线,是通过客户端向服务端发送心跳信息, 服务端一次来保证客户端处于UP状态。同时当客户端心跳发送失败时,这是服务端将通过自身的剔除策略,将处于DOWN状态下的服务从Registry中进行移除,保证服务可用性。 Posted by 专注着 21 8 月, 2021Tags: eureka, spring
Posted inspring spring cloud 服务注册之Eureka Server(四) – 三级缓存 通过前面章节的介绍, 可以明确知道在InstanceRegistry初始化的时候, 会初始化ResponseCacheImpl的类,而这个类就是对于三级缓存的重要实现. 这章节主要介绍三级缓存的工作原理,以代码的形式明确三级缓存的实现。 Posted by 专注着 18 8 月, 2021Tags: eureka, spring
Posted inspring spring cloud 服务注册之Eureka Server(三) – 服务注册 在前面的文章中,介绍了Eureka Server的启动流程,以及启动过程中执行的操作信息。本章将会介绍服务注册相关的实现。服务注册中主要介绍Instance信息通过register的方式保存到Registry的业务逻辑,以及如何实现数据同步。 Posted by 专注着 16 8 月, 2021Tags: eureka, spring
Posted inspring spring cloud 服务注册之Eureka Server(二) – 启动过程 在Eureka Server自动装配文章中,介绍了Eureka相关的启动组件,这篇文章主要介绍在启动过程中,各组件都是如何工作的。 Posted by 专注着 15 8 月, 2021Tags: eureka, spring
Posted inspring spring cloud 服务注册之Eureka Server(一) – 自动装配 在微服务开发过程中,始终少不了注册中心的存在,注册中心提供了服务的注册与发现机制,能够不需要代码改动,实现服务的横向扩展,同时也为微服务之间的调用解耦,避免了服务调用之间的高度依赖。本文主要从源码的角度出发,对spring-cloud-netflex-eureka-server中的源码进行解读,学习eureka中服务注册实现逻辑. Posted by 专注着 15 8 月, 2021Tags: eureka, spring