ITeye博客

超越昨天的自己!

eksliang · 共 105 篇文章

[置顶] Hadoop2.5.2 HA高可靠性集群搭建(Hadoop+Zookeeper)

一.概述 转载请出自出处: http://eksliang.iteye.com/blog/2226986 1.1 hadoop1.0的单点问题 Hadoop中的NameNode好比是人的心脏,非常重要,绝对不可以停止工作。在hadoop1时代,只有一个NameNode。如果该NameNode数据丢失或者不能工作,那么整个集群就不能恢复了。这是hadoop1中的单点问题,也是hadoop1不可靠的表现。如下图所示,便是hadoop1.0的架构图; 1.2 hadoop2.0对hadoop1.0单点问题的解决 为了解决hadoop1中的单点问题,在hadoop2中新的NameNode不再是只有一…

2015-07-13 17:30 · Hadoop · 评论(1)

[置顶] SolrCloud中的文件与Collection管理

转载请出自出处: http://eksliang.iteye.com/blog/2124078 http://eksliang.iteye.com/ 一.内嵌启动SolrCloud时端口默认分配 当 Solr 运行内嵌 zookeeper 服务时,默认使用 solr 端口+1000 作为客户端口,另外,solr 端口+1 作为 zookeeper 服务端口,solr 端口+2 作为主服务选举端口。所以第一个例子中,Solr 运行在 8983端口,内嵌 zookeeper 使用 9983 作为客户端端口,9984 和 9985 作为服务端口。 clientPort=9983 server.1=…

2014-10-09 10:27 · solr · 评论(0)

NTP服务器的搭建

一.检查ntpd服务是否安装 centos6以后的操作系统,默认已经安装了ntp服务,查看命令如下: [root@master ~]# rpm -qa |grep ntp ntpdate-4.2.6p5-1.el6.centos.x86_64 fontpackages-filesystem-1.41-1.1.el6.noarch ntp-4.2.6p5-1.el6.centos.x86_64 如上,就表示NTP正确安装了 二.检查上层NTP服务器是否正常连通 如下三个地址是目前国内使用比较通用的上层NTP服务器地址 210.72.145.44 # 中国国家受时中心 202.112.10.36…

2016-07-06 10:50 · linux · 评论(0)

spark transformation算子

转载请出自出处: http://eksliang.iteye.com/blog/2309311 一、什么是RDD算子 答:所谓RDD算子,就是RDD中定义的函数,可以对RDD中的元素进行转换和操作。 二.算子的分类 算子分为两类:转换算子(Transformation)和行动算子(Action)。 转换算子(Transformation):操作时延迟计算的,也就是一个RDD转换为另外一个RDD不是马上执行的,需要等到行动算子(Action)执行的时候,才会真正触发。 行动算子(Action):Action算子的执行会触发Spark提交作业。 三.导包 本地导入目前spark最新版本,spar…

2016-07-05 14:16 · spark · 评论(0)

Hive内置数据类型

一、概述 Hive的内置数据类型可以分为两大类: 基础数据类型 复杂数据类型 二、基本数据类型包括 数据类型 所占字节 开始支持版本 TINYINT 1byte,-128 ~ 127 SMALLINT 2byte,-32,768 ~ 32,767 INT 4byte,-2,147,483,648 ~ 2,147,483,647 BIGINT 8byte,-9,223,372,036,854,775,808 ~ 9,223,372,036,854,775,807 BOOLEAN FLOAT 4byte单精度 DOUBLE 8byte双精度 STRING BINARY 从Hive0.8.0开始支…

2016-05-18 16:29 · hive · 评论(0)

Centos6.5 MySql rpm安装

转载请出自出处: http://eksliang.iteye.com/blog/2298702 一、检查MySQL及相关RPM包,是否安装,如果有安装,则移除 [root@Mast ~]# rpm -qa | grep -i mysql mysql-libs-5.1.66-2.el6_3.x86_64 #卸载的时候可能存在依赖包,直接 -ev还删除不掉,需加上--nodeps 强制删除 [root@Mast ~]# rpm -ev mysql-libs-5.1.66-2.el6_3.x86_64 error: Failed dependencies: libmysqlclient.so.16…

2016-05-17 11:24 · linux · 数据库 · 评论(0)

Spring的HttpInvoker

转载请出自出处: http://eksliang.iteye.com/blog/2267682 一、概述 上两篇博客《RMI远程方式调用》、《Heasian与Spring集成》他们都有自己的缺陷,第一,RMI使用Java标准的对象序列化机制,但是很难穿透防火墙。另一个方面,Hessian和Burlap能很好的穿透防火墙,但是使用私有的对象序列化机制。 就这样Spring invoker应运而生了。HTTP invoker是一个新的远程调用模型,作为Spring框架的一部分,来执行基于HTTP的远程调用(让防火墙可以接受),并使用Java的序列化机制。 二、把Bean发布为HTTP服务 2.1…

2016-01-06 09:03 · WebService · 评论(0)

Heasian与Spring集成

转载请出自出处: http://eksliang.iteye.com/blog/2267513 一、概述 Hessian和Burlap是CauchoTechnology提供的两种基于HTTP的轻量级远程服务解决方案。他们都致力于借助尽可能简单的API和通信协议来简化Web服务。 你可能会问,为什么Caucho对同一个问题会有两种解决方案。Hessian和Burlap就如同一个事物的两面,但是每一个解决方案都服务于略微不同的目的。Hessianx像RMI一样,使用二进制消息进行客户端和服务器之间的交互。但是与其他二进制远程调用技术(例如RMI)不同是,他的二进制消息可以移植到其他非Java语言…

2015-12-30 11:25 · WebService · 评论(0)

RMI远程方法调用

转载请出自出处: http://eksliang.iteye.com/blog/2267510 一、概述 Java RMI 指的是远程方法调用 (Remote Method Invocation)。它是一种机制,能够让在某个 Java 虚拟机上的对象调用另一个 Java 虚拟机中的对象上的方法。可以用此方法调用的任何对象必须实现该远程接口。Java RMI不是什么新技术,在Java1.1的时代都有了,大名鼎鼎的EJB都是建立在rmi基础之上的,现在还有一些开源的远程调用组件,其底层技术也是rmi。 在大力鼓吹Web Service、SOA的时代,是不是每个应用都应该选用笨拙的Web Serv…

2015-12-29 19:55 · WebService · 评论(0)

CXF学习笔记三(发布restFul)

转载请出自出处: http://eksliang.iteye.com/blog/2266666 一、概述 JAX-RS是Java提供用于开发RESTful Web服务基于注解(annotation)的API。JAX-RS旨在定义一个统一的规范,使得Java程序员可以使用一套固定的接口来开发REST应用,避免了依赖第三方框架。同时JAX-RS使用POJO编程模型和基于注解的配置并集成JAXB,可以有效缩短REST应用的开发周期。JAX-RS只定义RESTful API,具体实现由第三方提供,如Jersey、Apache CXF等。 JAX-RS包含近五十多个接口、注解和抽象类: javax.w…

2015-12-25 18:16 · WebService · CXF · 评论(0)

CXF学习笔记二(在WEB容器中发布WebService)

转载请出自出处: http://eksliang.iteye.com/blog/2265685 一、概述 在《CXF学习笔记一》中使用代理工厂JaxWsProxyFactoryBean来发布WebService,但是这种发布有个缺陷,那就是必须运行在指定端口上面,如果端口被占用,就会报错,假如现在的需求是:我有个WEB应用想部署在tomcat里面,而我这个WEB应用发布的WebService我也想使用8080端口,怎么办? 答:使用CXF自带的CXFServlet就可以完成这个功能。 二、配置CXFServlet 既然是CXFServlet那就必须在web.xml中配置这个Servlet,代…

2015-12-22 14:00 · WebService · CXF · 评论(0)

CXF学习笔记一(CXF发布与调用WebService)

转载请出自出处: http://eksliang.iteye.com/blog/2265474 一、概述 Apache CXF提供了用于方便地构建和开发WebService的可靠基础架构。它允许创建高性能和可扩展的服务,可以部署在Tomcat和基于Spring的轻量级容器中,也可以部署在更高级的服务器上,例如Jboss、WebSphere或WebLogic。 CXF提供了以下功能: WebService服务标准支持: Java API for XML Web Services (JAX-WS) SOAP WebService描述语言(Web Services Description Lang…

2015-12-21 16:38 · WebService · CXF · 评论(0)

JAX-WS 注解

转载请出自出处: http://eksliang.iteye.com/blog/2265427 一、概述 “基于 XML 的 Web Service 的 Java API”(JAX-WS)通过使用注释来指定与 Web Service 实现相关联的元数据以及简化 Web Service 的开发。注解描述如何将服务器端的服务作为 Web Service 进行发布或者客户端的 Java 类如何访问 Web Service。 二、javax.jws.WebService 该注解应用于类或者接口上面,该类便是一个对外访问WebService,默认情况里面所有的public方法都是可以对外提供访问,如果…

2015-12-21 14:59 · WebService · 评论(0)

JAX-WS

转载请出自出处: http://eksliang.iteye.com/blog/2265021 一、概述 WebService :WebService并不是一个软件,而是一个规范。这个规范与Jsp、Servlet、EJB规范类似。在实际应用中会使用很多WebService的具体实现,例如CXF、Axis2等等。webService规范使用了SOAP协议,对于一般开发人员来说,并不需要了解SOAP协议,SOAP消息的内容是标准的XML格式,SOAP消息一般通过HTTP协议进行传输,但是也可以通过其他协议,如:SMTP协议 Jax-Ws :就是Java标准的WebService,JDK1.6使用…

2015-12-18 15:08 · WebService · 评论(0)

Solr主从备份

SOLR复制模式,是一种在分布式环境下用于同步主从服务器的一种实现方式,因之前提到的基于rsync的SOLR不同方式部署成本过高,被SOLR1.4版本所替换,取而代之的就是基于HTTP协议的索引文件传输机制,该方式部署简单,只需配置一个文件即可。以下讲解具体操作步骤: 步骤分主服务器和从服务器,允许有多个从服务器,即从服务器的配置一样。 主服务器 : 在solrConfig.xml中: Xml代码 <requestHandler name="/replication" class="solr.ReplicationHandler"> <lst name="master"> <str name…

2015-12-09 11:23 · solr · 评论(0)