Hive参数 Hive提供了三种能够设置参数的方法,这三种方法产生的作用于有一定的差别,在开发的过程中需要根据不同的需求设置参数,同时,Hive提供了分桶的操作,分桶能够将数据分布到不同的文件中,然后能够通过抽样的方式满足查询数据的需求。 Posted by 专注着 23 12 月, 2024No Comments Posted inhadoop hive 大数据 Hive SQL 这篇文章主要介绍了HIVE中的SQL使用方法,已经Hive提供了一些基础的函数方便查询,同时介绍了每个函数的意义以及使用方式,方便后期使用的时候查询 Posted by 专注着 23 12 月, 2024No Comments Posted inhadoop hive 大数据 Hive创建自定义函数 在Hive查询数据的时候,有些时候hive提供的函数并不能满足查询和统计的需求,就需要开发函数。在Hive中提供了三种方式实现自定义,分别是UDF、UDAF和UDTF三种方式,这三种方式基本上满足了对单行数据处理, 统计和其他的一些需求。 Posted by 专注着 18 12 月, 20241 Posted indjango Python 如何单独使用django orm框架 最近在学习python语言,然后自己用python写一些小的程序,然后从各个网站爬取一些数据,并把这些数据存放在mysql数据库中,然后又不想自己写sql, 因此了解到django中有orm的模块,但是django又必须在web项目中使用,但是我又不想运行web项目,因此考虑将orm框架提出来,单独能够操作数据库使用。 Posted by 专注着 15 12 月, 2024No Comments Posted inhadoop hive 大数据 Hive中hiveserver2和客户端配置 在安装完成hive metastore服务后,我们需要通过代码或者工具类访问hive并操作hive, 在hive中提供了hiveserver2的服务方便开发通过外部的方式访问hive, 这片文章就主要介绍配置hiveserver2并能够通过外部访问hive. Posted by 专注着 12 12 月, 2024No Comments Posted inhadoop hive 大数据 Hive三种安装方式区别和搭建 hive一共有三种运行方式,分别是derby的内存数据库,远程存储,和远程服务器,这三种方式都有各自的使用场景,这篇文件介绍了hive在这三种模式下如何配置,如何执行,已经通过什么样的方式访问hive, 在文中都有很详细的介绍。 Posted by 专注着 11 12 月, 20241
Posted inhadoop hive 大数据 Hive SQL 这篇文章主要介绍了HIVE中的SQL使用方法,已经Hive提供了一些基础的函数方便查询,同时介绍了每个函数的意义以及使用方式,方便后期使用的时候查询 Posted by 专注着 23 12 月, 2024No Comments Posted inhadoop hive 大数据 Hive创建自定义函数 在Hive查询数据的时候,有些时候hive提供的函数并不能满足查询和统计的需求,就需要开发函数。在Hive中提供了三种方式实现自定义,分别是UDF、UDAF和UDTF三种方式,这三种方式基本上满足了对单行数据处理, 统计和其他的一些需求。 Posted by 专注着 18 12 月, 20241 Posted indjango Python 如何单独使用django orm框架 最近在学习python语言,然后自己用python写一些小的程序,然后从各个网站爬取一些数据,并把这些数据存放在mysql数据库中,然后又不想自己写sql, 因此了解到django中有orm的模块,但是django又必须在web项目中使用,但是我又不想运行web项目,因此考虑将orm框架提出来,单独能够操作数据库使用。 Posted by 专注着 15 12 月, 2024No Comments Posted inhadoop hive 大数据 Hive中hiveserver2和客户端配置 在安装完成hive metastore服务后,我们需要通过代码或者工具类访问hive并操作hive, 在hive中提供了hiveserver2的服务方便开发通过外部的方式访问hive, 这片文章就主要介绍配置hiveserver2并能够通过外部访问hive. Posted by 专注着 12 12 月, 2024No Comments Posted inhadoop hive 大数据 Hive三种安装方式区别和搭建 hive一共有三种运行方式,分别是derby的内存数据库,远程存储,和远程服务器,这三种方式都有各自的使用场景,这篇文件介绍了hive在这三种模式下如何配置,如何执行,已经通过什么样的方式访问hive, 在文中都有很详细的介绍。 Posted by 专注着 11 12 月, 20241
Posted inhadoop hive 大数据 Hive创建自定义函数 在Hive查询数据的时候,有些时候hive提供的函数并不能满足查询和统计的需求,就需要开发函数。在Hive中提供了三种方式实现自定义,分别是UDF、UDAF和UDTF三种方式,这三种方式基本上满足了对单行数据处理, 统计和其他的一些需求。 Posted by 专注着 18 12 月, 20241 Posted indjango Python 如何单独使用django orm框架 最近在学习python语言,然后自己用python写一些小的程序,然后从各个网站爬取一些数据,并把这些数据存放在mysql数据库中,然后又不想自己写sql, 因此了解到django中有orm的模块,但是django又必须在web项目中使用,但是我又不想运行web项目,因此考虑将orm框架提出来,单独能够操作数据库使用。 Posted by 专注着 15 12 月, 2024No Comments Posted inhadoop hive 大数据 Hive中hiveserver2和客户端配置 在安装完成hive metastore服务后,我们需要通过代码或者工具类访问hive并操作hive, 在hive中提供了hiveserver2的服务方便开发通过外部的方式访问hive, 这片文章就主要介绍配置hiveserver2并能够通过外部访问hive. Posted by 专注着 12 12 月, 2024No Comments Posted inhadoop hive 大数据 Hive三种安装方式区别和搭建 hive一共有三种运行方式,分别是derby的内存数据库,远程存储,和远程服务器,这三种方式都有各自的使用场景,这篇文件介绍了hive在这三种模式下如何配置,如何执行,已经通过什么样的方式访问hive, 在文中都有很详细的介绍。 Posted by 专注着 11 12 月, 20241
Posted indjango Python 如何单独使用django orm框架 最近在学习python语言,然后自己用python写一些小的程序,然后从各个网站爬取一些数据,并把这些数据存放在mysql数据库中,然后又不想自己写sql, 因此了解到django中有orm的模块,但是django又必须在web项目中使用,但是我又不想运行web项目,因此考虑将orm框架提出来,单独能够操作数据库使用。 Posted by 专注着 15 12 月, 2024No Comments Posted inhadoop hive 大数据 Hive中hiveserver2和客户端配置 在安装完成hive metastore服务后,我们需要通过代码或者工具类访问hive并操作hive, 在hive中提供了hiveserver2的服务方便开发通过外部的方式访问hive, 这片文章就主要介绍配置hiveserver2并能够通过外部访问hive. Posted by 专注着 12 12 月, 2024No Comments Posted inhadoop hive 大数据 Hive三种安装方式区别和搭建 hive一共有三种运行方式,分别是derby的内存数据库,远程存储,和远程服务器,这三种方式都有各自的使用场景,这篇文件介绍了hive在这三种模式下如何配置,如何执行,已经通过什么样的方式访问hive, 在文中都有很详细的介绍。 Posted by 专注着 11 12 月, 20241
Posted inhadoop hive 大数据 Hive中hiveserver2和客户端配置 在安装完成hive metastore服务后,我们需要通过代码或者工具类访问hive并操作hive, 在hive中提供了hiveserver2的服务方便开发通过外部的方式访问hive, 这片文章就主要介绍配置hiveserver2并能够通过外部访问hive. Posted by 专注着 12 12 月, 2024No Comments Posted inhadoop hive 大数据 Hive三种安装方式区别和搭建 hive一共有三种运行方式,分别是derby的内存数据库,远程存储,和远程服务器,这三种方式都有各自的使用场景,这篇文件介绍了hive在这三种模式下如何配置,如何执行,已经通过什么样的方式访问hive, 在文中都有很详细的介绍。 Posted by 专注着 11 12 月, 20241
Posted inhadoop hive 大数据 Hive三种安装方式区别和搭建 hive一共有三种运行方式,分别是derby的内存数据库,远程存储,和远程服务器,这三种方式都有各自的使用场景,这篇文件介绍了hive在这三种模式下如何配置,如何执行,已经通过什么样的方式访问hive, 在文中都有很详细的介绍。 Posted by 专注着 11 12 月, 20241
Posted inhadoop 大数据 hadoop安装 hadoop支持伪分布式部署和集群的部署方法,这篇文章主要记录了dfs的集群配置方法,记录在配置过程中遇到的问题并解决问题,其中包含了dns解析问题,端口问题,防火墙问题等。希望可以帮助到又需要的同学。 Posted by 专注着 27 11 月, 2024Tags: cluster, hadoop
Posted inzookeeper 使用ZooKeeper管理rmi远程请求端地址 这里主要通过实例方式,通过使用zookeeper对provider地址信息进行管理,然后利用wacher机制实时的更新provider地址列表,仅供学习。 Posted by 专注着 21 11 月, 2024Tags: rmi, zookeeper
Posted inzookeeper Zookeeper相关概念 关于zookeeper一些基本概念学习,包括事件,广播,会话等 Posted by 专注着 20 11 月, 2024Tags: zookeeper, 事件, 会话
Posted inLinux shell 基础概念 shell 是一个用C语言编写的程序, 它是用户使用linux的桥梁. Shell既是一种命令语言, 又是一种程序设计语言 shell 是指一种应用程序, 这个应用程序提供了一个界面, 用户通过这个界面访问操作系统内核的服务。 Posted by 专注着 18 11 月, 2024Tags: linux, shell
Posted inPython 使用selenium实现12306的自动登录 12306有自己的验证规则,比方说一天发送短信有次数的限制,因此不能无限制的尝试。但是在这个过程中,需要输入验证码,因此这里是不能完全实现自动化的。可以研究一下,只登录一次,然后将cookie等信息保存,以在下次使用,以此实现以此登录,做后续的操作。 Posted by 专注着 5 11 月, 2024Tags: python, selenium
Posted inPython 使用xpath+requests抓取猪八戒网站数据 使用代码实现根据关键字查询猪八戒相关信息,并讲网页信息进行打印和输出。该代码进攻学习记录,不做任何其他用处 Posted by 专注着 29 10 月, 2024Tags: lxml, python, requests, xpath
Posted inPython python使用xpath获取豆瓣电影排行榜数据 通过插件获取douban电影排行榜数据,主要是通过requests获取网页,并通过xpath对网页进行解析和获取,拿到我们想要的数据信息 Posted by 专注着 26 10 月, 2024Tags: lxml, python, requests, xpath
Posted inPython python xpath路径选择 python中使用lxml模块对xml节点进行选择查询,其中包含了匹配规则,属性,节点,计算等操作 Posted by 专注着 18 10 月, 2024Tags: lxml, xpath