2016 年文章归档
共 5 篇文章
NTP服务器的搭建
一.检查ntpd服务是否安装 centos6以后的操作系统,默认已经安装了ntp服务,查看命令如下: [root@master ~]# rpm -qa |grep ntp ntpdate-4.2.6p5-1.el6.centos.x86_64 fontpackages-filesystem-1.41-1.1.el6.noarch ntp-4.2.6p5-1.el6.centos.x86_64 如上,就表示NTP正确安装了 二.检查上层NTP服务器是否正常连通 如下三个地址是目前国内使用比较通用的上层NTP服务器地址 210.72.145.44 # 中国国家受时中心 202.112.10.36…
2016-07-06 10:50 · linux
spark transformation算子
转载请出自出处: http://eksliang.iteye.com/blog/2309311 一、什么是RDD算子 答:所谓RDD算子,就是RDD中定义的函数,可以对RDD中的元素进行转换和操作。 二.算子的分类 算子分为两类:转换算子(Transformation)和行动算子(Action)。 转换算子(Transformation):操作时延迟计算的,也就是一个RDD转换为另外一个RDD不是马上执行的,需要等到行动算子(Action)执行的时候,才会真正触发。 行动算子(Action):Action算子的执行会触发Spark提交作业。 三.导包 本地导入目前spark最新版本,spar…
2016-07-05 14:16 · spark
Hive内置数据类型
一、概述 Hive的内置数据类型可以分为两大类: 基础数据类型 复杂数据类型 二、基本数据类型包括 数据类型 所占字节 开始支持版本 TINYINT 1byte,-128 ~ 127 SMALLINT 2byte,-32,768 ~ 32,767 INT 4byte,-2,147,483,648 ~ 2,147,483,647 BIGINT 8byte,-9,223,372,036,854,775,808 ~ 9,223,372,036,854,775,807 BOOLEAN FLOAT 4byte单精度 DOUBLE 8byte双精度 STRING BINARY 从Hive0.8.0开始支…
2016-05-18 16:29 · hive
Centos6.5 MySql rpm安装
转载请出自出处: http://eksliang.iteye.com/blog/2298702 一、检查MySQL及相关RPM包,是否安装,如果有安装,则移除 [root@Mast ~]# rpm -qa | grep -i mysql mysql-libs-5.1.66-2.el6_3.x86_64 #卸载的时候可能存在依赖包,直接 -ev还删除不掉,需加上--nodeps 强制删除 [root@Mast ~]# rpm -ev mysql-libs-5.1.66-2.el6_3.x86_64 error: Failed dependencies: libmysqlclient.so.16…
Spring的HttpInvoker
转载请出自出处: http://eksliang.iteye.com/blog/2267682 一、概述 上两篇博客《RMI远程方式调用》、《Heasian与Spring集成》他们都有自己的缺陷,第一,RMI使用Java标准的对象序列化机制,但是很难穿透防火墙。另一个方面,Hessian和Burlap能很好的穿透防火墙,但是使用私有的对象序列化机制。 就这样Spring invoker应运而生了。HTTP invoker是一个新的远程调用模型,作为Spring框架的一部分,来执行基于HTTP的远程调用(让防火墙可以接受),并使用Java的序列化机制。 二、把Bean发布为HTTP服务 2.1…
2016-01-06 09:03 · WebService