ntp同步服务器时间 |
ntp |
|
#例如没15分钟从192.168.27.35上同步一次时间,写法如所示:
*/15 * * * * /usr/sbin/ntpdate 192.168.27.35;hwclock -w
|
优秀网站 |
网站管理 |
|
https://www.ibm.com/
博客园
CSDN
ITEYE
http://www.oschina.net/ #开源中国
http://www.aboutyun.com/ #about云开发
http://www.iteblog.com/ #过往记忆
http://tutorials.jenkov.com/ #java学习网站,国外
http://vbird.dic.ksu.edu.tw/ #鸟哥的linux
|
CDH5.6——SOLR管理命令 |
solr |
|
solrctl
instancedir #solr配置管理
#创建配置
solrctl instancedir --generate path
#例如在当前目录底下创建users配置
solrctl instancedir --generate ./users
#将配置上传至zookeeper进行管理
solrctl instancedir --create name path
#例如将本地的./users配置上传至zookeeper,上传后名称为utest
solrctl instancedir --create utest ./users
#查看zookeeper上面的solr配置
solrctl instancedir --list
#将zookeeper上面的配置下载至本地
solrctl instancedir --get name path
#例如将zookeeper上面的utest配置,下载至当前目录下,并重命名为users
solrctl instancedir --get utest ./users
#更新zookeeper上面的配置
solrctl instancedir --update name paths
#例如将zookeeper上面的配置utest用当前目录下的users配置进行替换
solrctl instancedir --update utest ./users
#删除zookeeper上面的配置utest
solrctl instancedir --delete utest
collection #集合相关
#创建集合 --create 集合名称 -s:分片数 -c:指定配置文件 -r:副本数
solrctl collection --create collection1 -s 3 -r 2 -m 2 -c collection1
#例如
solrctl collection --create users -s 3 -r 2 -m 2 -c users
#查看集合的个数
solrctl collection --list
#删除集合users
solrctl collection --delete users
#删除集合users上面的所有文档
solrctl collection --deletedocs users
#重新加载users集合的配置
solrctl collection --reload users
|
SQOOP |
sqoop |
|
#############################SQOOP至HDFS
#查看连接地址的所有数据库
sqoop list-databases --connect "jdbc:mysql://192.168.27.218:3306" --username root --password mysql
#查看连接地址的所有表
sqoop list-tables --connect "jdbc:mysql://192.168.27.218:3306/goloader-xl?charset=utf-8" --username root --password mysql
#简单导入
sqoop import --connect "jdbc:mysql://192.168.27.218:3306/goloader-xl?charset=utf-8" --username root --password mysql --table t_user
#将mysql导入至hdfs的指定目录
sqoop import --connect "jdbc:mysql://192.168.27.218:3306/goloader-xl?charset=utf-8" --username root --password mysql --table t_user --where 'userId < 10' --target-dir /t_user -m 1
#-m 指定n个map任务并发的导入数据
#--where 查询条件
#--target-dir 导入HDFS的目标路径
#--delete-target-dir 如果指定目录存在,则先删除掉
#指定select语句进行数据导入,-e跟--table不能同时存在
sqoop import --connect "jdbc:mysql://192.168.27.218:3306/goloader-xl?charset=utf-8" --username root --password mysql --target-dir /tuser -m 1 -e 'SELECT userId,userName,userPwd FROM t_user WHERE $CONDITIONS AND id < 10'
#$CONDITIONS在where中是必须存在的
#增量导入
sqoop import --connect "jdbc:mysql://192.168.27.218:3306/goloader-xl?charset=utf-8" --username root --password mysql --table t_user --append --target-dir /t_user -m 1
#--append 将数据追加到HDFS上一个已存在的数据集上
|
solr 实时索引接口(删除、更新、添加数据) |
solr |
|
#根据查询条件删除数据实例
http://node04.org:8080/solr/signalDataHistory/update/?stream.body=<delete><query>SIGNAL_TIME:[* TO 2016-03-10T00:00:00Z]</query></delete>&stream.contentType=text/xml;charset=utf-8&commit=true
#删除全部索引
http://localhost:8080/solr/update/?stream.body=<delete><query>*:*</query></delete>&stream.contentType=text/xml;charset=utf-8&commit=true
#删除指定ID的索引
http://localhost:8080/solr/update/?stream.body=<delete><id>1</id></delete>&stream.contentType=text/xml;charset=utf-8&commit=true
#添加索引
http://localhost:8080/solr/dept/update/?stream.body=
<add>
<doc>
<field name="did">11</field>
<field name="dname">11</field>
</doc>
<doc>
<field name="did">12</field>
<field name="dname">12</field>
</doc>
</add>
&stream.contentType=text/xml;charset=utf-8&commit=true
#添加和更新索引
http://localhost:8080/solr/dept/update/?stream.body=
[
{"did":"7","dname":"zzz"},
{"did":"8","dname":"ddd"}
]
&stream.contentType=application/json;charset=utf-8&commit=true
官方地址
http://wiki.apache.org/solr/UpdateJSON#Solr_4.0_Example
|