• [高清组图]环广西赛:参赛车队赛前适应训练 2018-08-31
  • [高清组图]特谢拉复出吴曦失单刀 苏宁0-0平斯威 2018-08-31
  • [高清组图]潜水偶遇座头鲸 亲密互动玩起“水中击掌” 2018-08-31
  • [高清组图]法拉利拍定妆照 维特尔KIMI准备好了 2018-08-31
  • [高清组图]毛剑卿伤退莫雷诺捅射 申花1-0一方 2018-08-31
  • [高清组图]比埃拉双响巴坎布建功 国安5-1富力 2018-08-31
  • [高清组图]武磊世界波胡尔克点射 上港2-0胜申花 2018-08-31
  • [高清组图]武磊2球吕文君建功 上港3-1富力 2018-08-31
  • [高清组图]欧超杯-科斯塔2球 皇马加时赛2-4马竞 2018-08-31
  • [高清组图]格里芬赤膊骑行 休赛期享受二人世界 2018-08-31
  • [视频]【深化改革 重在实效】精准扶贫 四川彝区要拔掉“穷根” 2018-08-31
  • [视频]【深化改革 重在实效】破藩篱促合力 体制创新粘合“两张皮” 2018-08-31
  • [视频]【深化改革 重在实效】激发活力 实现市场准入全程便利化 2018-08-31
  • [视频]【深化改革 重在实效】打通简政放权的“最后一公里” 2018-08-31
  • [视频]【深化改革 重在实效】广东:户籍改革为外来工打开一扇门 2018-08-31
  • 手机版
    你好,游客 登录 注册 搜索
    背景:
    阅读新闻

    CentOS 7单机部署ELK+x-pack 及问题解决

    [日期:2018-08-16] 来源:cnblogs.com/JeremyWYL  作者:DearMyLove [字体: ]

    奥门新萄京官方正版 www.arianalance.com ELK分布式框架作为现在大数据时代分析日志的常为大家使用。现在我们就记录下单机CentOS7部署ELK的过程和遇到的问题。

      系统要求:Centos7(内核3.5及以上,2核4G)
      elk版本:6.2.4(较新版本)
      jdk版本:1.8(必须为java1.8版本)

    一、下载需要软件
      1、ELK下载地址
        https://www.elastic.co/downloads/past-releases
      2、jdk下载地址
        http://www.Oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
      3、所需软件列表
        #文件默认放到/opt目录下
        jdk-8u131-linux-x64.tar.gz
        elasticsearch-6.2.4.rpm
        kibana-6.2.4-x86_64.rpm
        logstash-6.2.4.rpm
    二、 安装JAVA
      1、解压
        tar -zxvf jdk-8u131-linux-x64.tar.gz -C /usr/local/
        ln -s /usr/local/jdk1.8.0_131/ /usr/local/jdk
      2、配置环境
        vim /etc/profile
        #最后面添加以下配置文件
        export JAVA_HOME=/usr/local/jdk
        export JRE_HOME=$JAVA_HOME/jre
        export PATH=$PATH:$JAVA_HOME/bin
      3、验证结果
        source /etc/profile
        java -version
        #检查结果:
        java version "1.8.0_131"
        Java(TM) SE Runtime Environment (build 1.8.0_131-b11)
        Java HotSpot(TM) 64-Bit Server VM (build 25.131-b11, mixed mode)
    三、部署elasticsearch
      1、 rpm安装
        cd /opt
        rpm -ivh elasticsearch-6.2.4.rpm
        创建用户
        groupadd elasticsearch
        useradd -g elasticsearch elasticsearch
      2、修改elasticsearch配置文件
        2.1 vim /etc/elasticsearch/elasticsearch.yml
          [root@localhost elasticsearch]# cat elasticsearch.yml | grep -v "^#" | grep -v "^$"
          path.data: /var/lib/elasticsearch
          path.logs: /var/log/elasticsearch
          network.host: "0.0.0.0"
          http.port: 9200
        2.2 vim /etc/elasticsearch/jvm.options(根据自己服务器配置修改)
          -Xms512m
          -Xmx512m
        2.3 vim /etc/sysconfig/elasticsearch
          JAVA_HOME=/usr/local/jdk
      3、安装x-pack插件
    ? ? ?     cd /usr/share/elasticsearch/bin
    ? ? ?   ? ./elasticsearch-plugin install x-pack
    ? ? ?          安装时间比较长,需耐心等待......? ? ? ? ?
    ?   ?4、启动elasticsearch
      ? ? ?  ?systemctl start elasticsearch
    ?   ?5、检查启动情况
    ? ? ?     ?5.1 查看启动状态
    ? ? ? ?       ?systemctl status elasticsearch

        

    ? ? ? ?    5.2 查看启动日志
          cd /var/log/elasticsearch/
          tail -f elasticsearch.log

        

    ? ? ?     ?5.3 检查端口情况
          netstat -lntp

        

       6、通过x-pack设置密码
        cd /usr/share/elasticsearch/bin/
        x-pack/setup-passwords interactive

        

      7、登陆测试
        打开浏览器访问:http://10.244.78.230:9200

        

        可以看到对话框,输入用户名和密码就可以。默认的用户名:elastic

        

        访问成功!!!!
    四、部署kibana
      1、rpm安装
        cd /opt
        rpm -ivh kibana-6.2.4-x86_64.rpm

      2、修改配置文件
        [root@localhost bin]# cat /etc/kibana/kibana.yml | grep -v "^#" | grep -v "^$"
        server.port: 5601
        server.host: "10.244.78.230"
        elasticsearch.url: "http://10.244.78.230:9200"
        elasticsearch.username: "elastic"
        elasticsearch.password: "123456"
      3、安装x-pack插件
        cd /usr/share/kibana/bin/
        ./kibana-plugin install x-pack

      4、启动kibana
        systemctl start kibana
      5、访问测试(默认端口为5601)

        

    五、部署logstash
      1、rpm安装
        cd /opt
        rpm -ivh logstash-6.2.4.rpm
      2、修改配置文件
        mkdir -p /usr/share/logstash/config
        cp /etc/logstash/log4j2.properties /usr/share/logstash/config
        [root@localhost logstash]# cat /etc/logstash/logstash.yml | grep -v "^#" | grep -v "^$"
        node.name: logstash
        path.data: /var/lib/logstash
        path.config: /etc/logstash/conf.d
        config.test_and_exit: True
        path.logs: /var/log/logstash
      3、编写测试conf
        一般放在/etc/logstash/conf.d目录下
        [root@localhost conf.d]# cat test.conf
        input {
          stdin {
            }
          }
        output {
          elasticsearch {
            hosts =>["10.244.78.230:9200"]
            index => "test-%{+YYYY.MM.dd}"
            user => elastic
            password => "123456"
          }
          stdout {
            codec => rubydebug
          }
        }
      4、测试运行
        /usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/test.conf(用来临时做测试用

        

      5、打开kibana查看

        

      6、开启kibana
        后期生产环境中,只需:
        1、编写好conf文件
        2、启动logstash即可,systemctl start logstash
      7、kibana中x-pack认证问题

        

        显示试用期为30天。预知如何增加时间,请看http://www.arianalance.com/Linux/2018-08/153528.htm

    更多ELK相关教程见以下内容

    基于CentOS 6.9搭建ELK环境指南  http://www.arianalance.com/Linux/2017-07/145636.htm
    Linux日志分析ELK环境搭建  http://www.arianalance.com/Linux/2017-07/145494.htm
    Logstash 监控日志文件时应对日志文件名改变的原理  http://www.arianalance.com/Linux/2016-08/133994.htm
    使用Elasticsearch + Logstash + Kibana搭建日志集中分析平台实践  http://www.arianalance.com/Linux/2015-12/126587.htm
    ELK日志管理平台搭建教程  http://www.arianalance.com/Linux/2018-07/153136.htm
    CenttOS 6.6下部署ELK日志告警系统 http://www.arianalance.com/Linux/2018-05/152192.htm
    CentOS 7单机部署ELK  http://www.arianalance.com/Linux/2017-11/148222.htm
    CentOS 安装 Logstash 2.2.0 和 Elasticsearch 2.2.0  http://www.arianalance.com/Linux/2016-03/128794.htm

    ElasticSearch 的详细介绍请点这里
    ElasticSearch 的下载地址请点这里

    Linux公社的RSS地址:http://www.arianalance.com/rssFeed.aspx

    本文永久更新链接地址http://www.arianalance.com/Linux/2018-08/153527.htm

    linux
    本文评论   查看全部评论 (0)
    表情: 表情 姓名: 字数

           

    评论声明
    • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
    • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
    • 本站管理人员有权保留或删除其管辖留言中的任意内容
    • 本站有权在网站内转载或引用您的评论
    • 参与本评论即表明您已经阅读并接受上述条款