ELK 即 Elasticsearch、Logstash、Kibana，组合起来可以搭建线上日志系统。在分布式微服务系统中，通过 ELK 可以非常方便地查询和统计日志情况。

​
ELK 组件说明

  • Elasticsearch: 用于存储收集到的日志信息
  • Logstash: 用于收集日志，应用整合了 Logstash 以后会把日志发送给 Logstash，Logstash 再把日志转发给 Elasticsearch
  • Kibana: 通过 Web 端的可视化界面来查看日志

​
搭建 ELK 环境

​
1. 编写 docker-compose.yml

创建 docker-compose.yml 文件，配置 ELK 服务：

version: '3'
services:
  elasticsearch:
    image: elasticsearch:6.4.0
    container_name: elasticsearch
    environment:
      - "cluster.name=elasticsearch" #设置集群名称为 elasticsearch
      - "discovery.type=single-node" #以单一节点模式启动
      - "ES_JAVA_OPTS=-Xms512m -Xmx512m" #设置使用 jvm 内存大小
    volumes:
      - /mydata/elasticsearch/plugins:/usr/share/elasticsearch/plugins #插件文件挂载
      - /mydata/elasticsearch/data:/usr/share/elasticsearch/data #数据文件挂载
    ports:
      - 9200:9200
  kibana:
    image: kibana:6.4.0
    container_name: kibana
    links:
      - elasticsearch:es #可以用 es 这个域名访问 elasticsearch 服务
    depends_on:
      - elasticsearch #kibana 在 elasticsearch 启动之后再启动
    environment:
      - "elasticsearch.hosts=http://es:9200" #设置访问 elasticsearch 的地址
    ports:
      - 5601:5601
  logstash:
    image: logstash:6.4.0
    container_name: logstash
    volumes:
      - /mydata/logstash/upms-logstash.conf:/usr/share/logstash/pipeline/logstash.conf 
    depends_on:
      - elasticsearch #kibana 在 elasticsearch 启动之后再启动
    links:
      - elasticsearch:es #可以用 es 这个域名访问 elasticsearch 服务
    ports:
      - 4560:4560

​
2. 创建挂载目录

创建必要的挂载目录并设置权限：

mkdir -p /mydata/logstash
mkdir -p /mydata/elasticsearch/data
mkdir -p /mydata/elasticsearch/plugins
chmod 777 /mydata/elasticsearch/data  # 给 777 权限，不然启动 elasticsearch 可能会有权限问题

​
3. 配置 Logstash

在 /mydata/logstash 目录创建 upms-logstash.conf 文件：

input {
  tcp {
    mode => "server"
    host => "0.0.0.0"
    port => 4560
    codec => json_lines
  }
}
output {
  elasticsearch {
    hosts => "es:9200"
    index => "upms-logstash-%{+YYYY.MM.dd}"
  }
}

​
4. 启动 ELK 服务

在 docker-compose.yml 同级目录执行：

docker-compose up -d

Elasticsearch 启动可能需要好几分钟，请耐心等待。

​
5. 安装 Logstash 插件

安装 json_lines 格式插件：

# 进入 logstash 容器
docker exec -it logstash /bin/bash
# 进入 bin 目录
cd /bin/
# 安装插件
logstash-plugin install logstash-codec-json_lines
# 退出容器
exit
# 重启 logstash 服务
docker restart logstash

​
6. 访问 Kibana

通过浏览器访问 Kibana 界面：

http://ip:5601

​
服务整合 Logstash

​
1. 添加依赖

在项目中添加 Logstash 依赖：

<!--集成logstash-->
<dependency>
    <groupId>net.logstash.logback</groupId>
    <artifactId>logstash-logback-encoder</artifactId>
    <version>5.3</version>
</dependency>

​
2. 配置 Logback

在 logback-spring.xml 中添加 Logstash appender：

<!--输出到logstash的appender-->
<appender name="LOGSTASH" class="net.logstash.logback.appender.LogstashTcpSocketAppender">
    <!--可以访问的logstash日志收集端口-->
    <destination>192.168.0.31:4560</destination>
    <encoder charset="UTF-8" class="net.logstash.logback.encoder.LogstashEncoder"/>
</appender>
<root level="INFO">
    <appender-ref ref="LOGSTASH"/>
</root>

​
多模块日志采集

每个应用需要发送到不同的 TCP 端口，注意在 logstash 的容器端口映射中增加相应的端口。

配置多模块日志采集：

input {
  tcp {
   add_field => {"service" => "upms"}
    mode => "server"
    host => "0.0.0.0"
    port => 4560
    codec => json_lines
  }
  tcp {
   add_field => {"service" => "auth"}
    mode => "server"
    host => "0.0.0.0"
    port => 4561
    codec => json_lines
  }
}
output {
   if [service] == "upms"{
    elasticsearch {
      hosts => "es:9200"
      index => "upms-logstash-%{+YYYY.MM.dd}"
    }
   }
  if [service] == "auth"{
    elasticsearch {
      hosts => "es:9200"
      index => "auth-logstash-%{+YYYY.MM.dd}"
    }
   }
}

​
♥️ 获取支持

遇到问题？

如果您在使用过程中遇到任何问题、有功能建议或需求，请点击此卡片前往 Gitee 仓库提交 Issue。