hadoop 归档 - 专注着的博客

这篇文章主要介绍了HIVE中的SQL使用方法，已经Hive提供了一些基础的函数方便查询，同时介绍了每个函数的意义以及使用方式，方便后期使用的时候查询

专注着 23 12 月, 2024function, hive, sql

在Hive查询数据的时候，有些时候hive提供的函数并不能满足查询和统计的需求，就需要开发函数。在Hive中提供了三种方式实现自定义，分别是UDF、UDAF和UDTF三种方式，这三种方式基本上满足了对单行数据处理, 统计和其他的一些需求。

专注着 18 12 月, 2024hive, udaf, udf

在安装完成hive metastore服务后，我们需要通过代码或者工具类访问hive并操作hive, 在hive中提供了hiveserver2的服务方便开发通过外部的方式访问hive, 这片文章就主要介绍配置hiveserver2并能够通过外部访问hive.

专注着 12 12 月, 2024hive, hiveserver2

hive一共有三种运行方式，分别是derby的内存数据库，远程存储，和远程服务器，这三种方式都有各自的使用场景，这篇文件介绍了hive在这三种模式下如何配置，如何执行，已经通过什么样的方式访问hive, 在文中都有很详细的介绍。

专注着 11 12 月, 2024hive, metastore

本篇文章介绍了hive的基本架构，已经每个组成部分，帮助理解hive的数据存储方式，在内部是由哪些基本的组件构成，可以帮助更好的理解hive.

专注着 11 12 月, 2024hive

yarn作为hadoop中比较重要的组件，主要负责节点的管理，资源的申请和应用管理，是非常重要的，因此在这篇文章主要介绍了yarn高级群如何部署，如何在执行mapreduce任务的时候使用yarn进行调度，希望可以帮助到大家

专注着 6 12 月, 2024ha, mapreduce, yarn

该篇文章介绍了yarn的架构以及资源管理，节点管理，任务调度相关的基础概念，并通过流程图的方式介绍了yarn任务的调度流程已经关键的配置信息，帮助更好的了解yarn的工作原理和实现价值，能够帮助我们更好使用yarn对hadoop mr任务的管理和实现。

专注着 6 12 月, 2024nodemanager, resourcenamager, yarn

本文主要记录了hadoop的高可用安装教程，主要是针对NameNode的高可用，其中主要使用了Zookeeper，JournalNode等配置，可以理解为是在之前DataNode主从复制上的一个扩展安装，保证了整个集群的高可用

专注着 28 11 月, 2024ha, hadoop

hadoop支持伪分布式部署和集群的部署方法，这篇文章主要记录了dfs的集群配置方法，记录在配置过程中遇到的问题并解决问题，其中包含了dns解析问题，端口问题，防火墙问题等。希望可以帮助到又需要的同学。

专注着 27 11 月, 2024cluster, hadoop