`
eksliang
  • 浏览: 591996 次
  • 性别: Icon_minigender_1
  • 来自: 广州
社区版块
存档分类
最新评论
文章列表
一.概述 转载请出自出处:http://eksliang.iteye.com/blog/2226986 1.1 hadoop1.0的单点问题 Hadoop中的NameNode好比是人的心脏,非常重要,绝对不可以停止工作。在hadoop1时代,只有一个NameNode。如果该NameNode数据丢失或者不能工作,那么整个集群就不能恢复了。这是hadoop1中的单点问题,也是hadoop1不可靠的表现。如下图所示,便是hadoop1.0的架构图;   1.2 hadoop2.0对hadoop1.0单点问题的解决 为了解决hadoop1中的单点问题,在hadoop2中新的NameNod ...
转载请出自出处:http://eksliang.iteye.com/blog/2124078 http://eksliang.iteye.com/ 一.内嵌启动SolrCloud时端口默认分配 当 Solr 运行内嵌 zookeeper 服务时,默认使用 solr 端口+1000 作为客户端口,另外,solr 端口+1 作为 zookeeper 服务端口,solr 端口+2 作为主服务选举端口。所以第一个例子中,Solr 运行在 8983端口,内嵌 zookeeper 使用 9983 作为客户端端口,9984 和 9985 作为服务端口。 clientPort=9983 ser ...
一.检查ntpd服务是否安装 centos6以后的操作系统,默认已经安装了ntp服务,查看命令如下: [root@master ~]# rpm -qa |grep ntp ntpdate-4.2.6p5-1.el6.centos.x86_64 fontpackages-filesystem-1.41-1.1.el6.noarch ntp-4.2.6p5-1.el6.centos.x86_64  如上,就表示NTP正确安装了   二.检查上层NTP服务器是否正常连通     如下三个地址是目前国内使用比较通用的上层NTP服务器地址 210.72.145.44 # 中国国 ...
转载请出自出处:http://eksliang.iteye.com/blog/2309311 一、什么是RDD算子 答:所谓RDD算子,就是RDD中定义的函数,可以对RDD中的元素进行转换和操作。   二.算子的分类 算子分为两类:转换算子(Transformation)和行动算子(Action)。 转换算子(Transformation):操作时延迟计算的,也就是一个RDD转换为另外一个RDD不是马上执行的,需要等到行动算子(Action)执行的时候,才会真正触发。 行动算子(Action):Action算子的执行会触发Spark提交作业。 三.导包 本地导入目前sp ...

Hive内置数据类型

    博客分类:
  • hive
一、概述 Hive的内置数据类型可以分为两大类: 基础数据类型 复杂数据类型 二、基本数据类型包括 数据类型 所占字节 开始支持版本 TINYINT 1byte,-128 ~ 127   SMALLINT 2byte,-32,768 ~ 32,767    INT  4byte,-2,147,483,648 ~ 2,147,483,647   BIGINT  8byte,-9,223,372,036,854,775,808 ~ 9,223,372,036,854,775,807   BOOLEAN     FLOAT ...
转载请出自出处:http://eksliang.iteye.com/blog/2298702 一、检查MySQL及相关RPM包,是否安装,如果有安装,则移除   [root@Mast ~]# rpm -qa | grep -i mysql mysql-libs-5.1.66-2.el6_3.x86_64 #卸载的时候可能存在依赖包,直接 -ev还删除不掉,需加上--nodeps 强制删除 [root@Mast ~]# rpm -ev mysql-libs-5.1.66-2.el6_3.x86_64 error: Failed dependencies: lib ...
转载请出自出处:http://eksliang.iteye.com/blog/2267682 一、概述 上两篇博客《RMI远程方式调用》、《Heasian与Spring集成》他们都有自己的缺陷,第一,RMI使用Java标准的对象序列化机制,但是很难穿透防火墙。另一个方面,Hessian和Burlap能很好的穿透防火墙,但是使用私有的对象序列化机制。 就这样Spring invoker应运而生了。HTTP invoker是一个新的远程调用模型,作为Spring框架的一部分,来执行基于HTTP的远程调用(让防火墙可以接受),并使用Java的序列化机制。   二、把Bean发布为HTTP ...
转载请出自出处:http://eksliang.iteye.com/blog/2267513 一、概述 Hessian和Burlap是CauchoTechnology提供的两种基于HTTP的轻量级远程服务解决方案。他们都致力于借助尽可能简单的API和通信协议来简化Web服务。  你可能会问,为什么Caucho对同一个问题会有两种解决方案。Hessian和Burlap就如同一个事物的两面,但是每一个解决方案都服务于略微不同的目的。Hessianx像RMI一样,使用二进制消息进行客户端和服务器之间的交互。但是与其他二进制远程调用技术(例如RMI)不同是,他的二进制消息可以移植到其他非Jav ...
转载请出自出处:http://eksliang.iteye.com/blog/2267510 一、概述 Java RMI 指的是远程方法调用 (Remote Method Invocation)。它是一种机制,能够让在某个 Java 虚拟机上的对象调用另一个 Java 虚拟机中的对象上的方法。可以用此方法调用的任何对象必须实现该远程接口。Java RMI不是什么新技术,在Java1.1的时代都有了,大名鼎鼎的EJB都是建立在rmi基础之上的,现在还有一些开源的远程调用组件,其底层技术也是rmi。  在大力鼓吹Web Service、SOA的时代,是不是每个应用都应该选用笨拙的Web Ser ...
转载请出自出处:http://eksliang.iteye.com/blog/2266666 一、概述 JAX-RS是Java提供用于开发RESTful Web服务基于注解(annotation)的API。JAX-RS旨在定义一个统一的规范,使得Java程序员可以使用一套固定的接口来开发REST应用,避免了依赖第三方框架。同时JAX-RS使用POJO编程模型和基于注解的配置并集成JAXB,可以有效缩短REST应用的开发周期。JAX-RS只定义RESTful API,具体实现由第三方提供,如Jersey、Apache CXF等。   JAX-RS包含近五十多个接口、注解和抽象类: j ...
转载请出自出处:http://eksliang.iteye.com/blog/2265685 一、概述 在《CXF学习笔记一》中使用代理工厂JaxWsProxyFactoryBean来发布WebService,但是这种发布有个缺陷,那就是必须运行在指定端口上面,如果端口被占用,就会报错,假如现在的需求是:我有个WEB应用想部署在tomcat里面,而我这个WEB应用发布的WebService我也想使用8080端口,怎么办? 答:使用CXF自带的CXFServlet就可以完成这个功能。   二、配置CXFServlet 既然是CXFServlet那就必须在web.xml中配置这个Se ...
转载请出自出处:http://eksliang.iteye.com/blog/2265474 一、概述 Apache CXF提供了用于方便地构建和开发WebService的可靠基础架构。它允许创建高性能和可扩展的服务,可以部署在Tomcat和基于Spring的轻量级容器中,也可以部署在更高级的 ...
转载请出自出处:http://eksliang.iteye.com/blog/2265427 一、概述 “基于 XML 的 Web Service 的 Java API”(JAX-WS)通过使用注释来指定与 Web Service 实现相关联的元数据以及简化 Web Service 的开发。注解描述如何将服务器端的服务作为 Web Serv ...
转载请出自出处:http://eksliang.iteye.com/blog/2265021 一、概述  WebService:WebService并不是一个软件,而是一个规范。这个规范与Jsp、Servlet、EJB规范类似。在实际应用中会使用很多WebService的具体实现,例如CXF、Axis2等等。webService规范使用了SOAP协议,对于一般开发人员来说,并不需要了解SOAP协议,SOAP消息的内容是标准的XML格式,SOAP消息一般通过HTTP协议进行传输,但是也可以通过其他协议,如:SMTP协议 Jax-Ws:就是Java标准的WebService,JDK1.6使 ...
SOLR复制模式,是一种在分布式环境下用于同步主从服务器的一种实现方式,因之前提到的基于rsync的SOLR不同方式部署成本过高,被SOLR1.4版本所替换,取而代之的就是基于HTTP协议的索引文件传输机制,该方式部署简单,只需配置一个文件即可。以下讲解具体操作步骤: 步骤分主服务器和从服务器,允许有多个从服务器,即从服务器的配置一样。 主服务器: 在solrConfig.xml中:  Xml代码   <
Global site tag (gtag.js) - Google Analytics