威尼斯wns.9778官网活动_vnsc威尼斯城官网

热门关键词: 威尼斯wns.9778官网活动,vnsc威尼斯城官网
当前位置:威尼斯wns.9778官网活动 > 计算机教程 > kylin2.0环境搭建

kylin2.0环境搭建

文章作者:计算机教程 上传时间:2019-07-27

1. 安装准备
1、操作系统 CentOS 6.x
2、时间问题
集群内所有节点时间一定要同步。
NTP、Chrony
3、用户
创建Hadoop组和hadoop用户,并做ssh免密码登录
4、Hadoop HA集群
Hadoop2.5
5、HBase
hbase 1.1.3及以上
6、Hive
hive 1.2.1 或者2.0 ,使用 mysql 存放元数据
7、准备目录
# cd /opt
# mkdir /opt/sxt
# chown -R hadoop:hadoop /opt/sxt
8、kylin
kylin 1.5.1 这个版本支持hbase1.1.3及以上版本
apache-kylin-1.5.1-HBase1.1.3-bin.tar.gz
$ tar xf apache-kylin-1.5.1-HBase1.1.3-bin.tar.gz -C /opt/sxt
$ cd /opt/sxt
$ mv apache-kylin-1.5.1-bin/kylin
#代表在root用户下
$代表普通用户

tar -zxvf apache-kylin-2.0.0-bin-cdh57.tar.gz

2. 环境变量
部署每个节点
hadoop用户的.bashrc
export HADOOPROOT=/opt
export HADOOP_HOME=$HADOOPROOT/hadoop
export ZOOKEEPER_HOME=$HADOOPROOT/zookeeper
export HBASE_HOME=$HADOOPROOT/hbase
export HIVE_HOME=$HADOOPROOT/hive12
export HCAT_HOME=$HIVE_HOME/hcatalog
export KYLIN_HOME=$HADOOPROOT/kylin
export CATALINA_HOME=$KYLIN_HOME/tomcat
export hive_dependency=$HIVE_HOME/conf:$HIVE_HOME/lib/*:$HCAT_HOME/share/hcatalog/hive-hcatalog-core-1.2.1.jar
PATH=$PATH:$HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$ZOOKEEPER_HOME/bin
PATH=$PATH:$HBASE_HOME/bin:$FLUME_HOME/bin:$HIVE_HOME/bin:$HCAT_HOME/bin
PATH=$PATH:$CATALINA_HOME/bin:$KYLIN_HOME/bin
export PATH

压缩整个kylin目录
tar -rf kylin2.0_bak.gz apps
解压

基本的配置已经做好了,安装从以下步骤开始
3. 配置kylin
修改bin/kylin.sh
export KYLIN_HOME=/opt/sxt/kylin
export HBASE_CLASSPATH_PREFIX=${tomcat_root}/bin/bootstrap.jar:${tomcat_root}/bin/tomcat-juli.jar:${tomcat_root}/lib/*:$hive_dependency:$HBASE_CLASSPATH_PREFIX

tar -xvf kylin2.0_bak.gz

创建路径软链接
ln -s apache-kylin-2.0.0-bin kylin


##编辑(vi /etc/profile)

export BASE_PATH_BIG=/opt/cloudera/parcels/CDH/lib
#added by hbase
export HBASE_HOME=$BASE_PATH_BIG/hbase
export PATH=$HBASE_HOME/bin:$PATH

#added by HCat
#export HCAT_HOME=$BASE_PATH_BIG/hive-hcatalog
export HCAT_HOME=/opt/cloudera/parcels/CDH-5.11.1-1.cdh5.11.1.p0.4/lib/hive-hcatalog/share/hcatalog

#added by kylin
export KYLIN_HOME=/usr/local/apps/kylin


##kylin配置文件中修改的(ip地址要换)
kylin.server.cluster-servers=192.168.100.102:7070


##kylin配置文件中新增的(ip地址要换)
kylin.engine.mr.job-jar=/usr/local/apps/kylin/lib/kylin-job-2.0.0.jar
kylin.storage.hbase.coprocessor-local-jar=/usr/local/apps/kylin/lib/kylin-coprocessor-2.0.0.jar
kylin.engine.mr.yarn-check-status-url=http://192.168.100.04:8088/ws/v1/cluster/apps/${job_id}?anonymous=true
kylin.engine.mr.lib-dir=/opt/cloudera/parcels/CDH-5.11.1-1.cdh5.11.1.p0.4/lib/sentry/lib


在hdfs中创建/kylin目录
hadoop fs -mkdir /kylin

用root用户创建、或者授权给root
#先切换到所有者用户
su hdfs
#修改权限
hadoop fs -chmod 777 /kylin

给hive等工具在hdfs中的目录加上权限
su hdfs
hadoop fs -chmod 777 /user


7.检查
[root@cdh01 bin]# cd /usr/local/apps/kylin/bin
执行下面检查命令 会创建kylin目录在hdfs上
[root@cdh01 bin]# ./check-env.sh
Retrieving hadoop conf dir...
KYLIN_HOME is set to /usr/local/apps/kylin
[root@cdh01 bin]# hadoop fs -ls /
Found 8 items
drwxr-xr-x - hdfs supergroup 0 2017-06-02 17:55 /CONFIG
drwxr-xr-x - hbase hbase 0 2017-08-31 19:11 /hbase
drwxr-xr-x - root supergroup 0 2017-09-01 10:23 /kylin

[root@cdh01 bin]# ./find-hbase-dependency.sh
Retrieving hbase dependency...
[root@cdh01 bin]# ./find-hive-dependency.sh
Retrieving hive dependency...


8.启动kylin
[root@cdh01 kylin]# ./kylin.sh start
查看kylinUI日志
[root@cdh01 kylin]# tailf logs/kylin.out

INFO: Starting ProtocolHandler ["http-bio-7070"]
Sep 01, 2017 10:35:28 AM org.apache.coyote.AbstractProtocol start
INFO: Starting ProtocolHandler ["ajp-bio-9009"]
Sep 01, 2017 10:35:28 AM org.apache.catalina.startup.Catalina start
INFO: Server startup in 22057 ms
启动完成

查看kylin server日志
[root@cdh01 kylin]# tailf logs/kylin.log


//启动kylin
cd /usr/local/apps/kylin/bin
./kylin.sh start
//停止kylin

压缩问题
关于压缩的问题
本次不是用snappy,如果需要事先重新编译Hadoop源码,使得native库支持snappy
使用snappy能够实现一个适合的压缩比,使得这个运算的中间结果和最终结果都能占用较小的存储空间
1、kylin.properties
1)设置Rest Server
kylin.rest.servers=192.168.56.201:7070
默认为PST,修改为中国时间
kylin.rest.timezone=GMT 8
2)不启用压缩,注释即可
#kylin.hbase.default.compression.codec=snappy
3)定义kylin用于MR jobs的job.jar包和hbase的协处理jar包,用于提升性能。
kylin.job.jar=/opt/sxt/kylin/lib/kylin-job-1.5.1.jar
kylin.coprocessor.local.jar=/opt/sxt/kylin/lib/kylin-coprocessor-1.5.1.jar

./kylin.sh stop

管理台
http://192.168.100.04:7070/kylin/login
User: ADMIN
Pass: KYLIN

2、kylin_job_conf.xml
不使用压缩
mapred.compress.map.output设置为false
mapred.output.compress 设置为false

 

//清理无用数据,节省资源
清理元数据
./metastore.sh clean --delete true
//清理hdfs、hbase中的垃圾数据
./kylin.sh org.apache.kylin.storage.hbase.util.StorageCleanupJob --delete true
(false:只查询不删除;true:删除无用表和基础数据)


#kylin元数据备份
./metastore.sh backup

#kylin元数据还原
./metastore.sh restore /usr/local/apps/apache-kylin-2.0.0-bin/meta_backups/meta_2017_11_01_10_40_39


压缩整个kylin目录
tar -rf kylin2.1_bak.gz apps
解压
tar -xvf kylin2.1_bak.gz

ps -ef|grep kylin

压缩整个kylin目录
cd /usr/local/apps

3、kylin_hive_conf.xml
不使用压缩
hive.exec.compress.output 设置为false

tar -rf kylin2.0.0_bak.gz apache-kylin-2.0.0-bin

 

完整PDF文档可以到Linux公社资源站下载:

------------------------------------------分割线------------------------------------------

本文由威尼斯wns.9778官网活动发布于计算机教程,转载请注明出处:kylin2.0环境搭建

关键词: