【原】手把手教你搭建ELK

貪挽懶月 2022-09-04 發(fā)布于廣東

展開全文

一、分布式系統(tǒng)查詢?nèi)罩敬嬖诘膯栴}

假如我訂單服務(wù)總共部署在20臺服務(wù)器上，如果我們直接登錄服務(wù)器查詢?nèi)罩镜脑?，那得先看一號機器，沒有再看二號機器……并且日志量較多的話，可能一個時間段內(nèi)日志就被切分成好幾個文件，這樣查詢實在是太麻煩了，ELK就是解決這個問題的。

二、ELK是什么

elk 是 elasticsearch、logstash、kibana 的合稱。

elasticsearch：用來搜索數(shù)據(jù)的；
logstash：用來收集日志的，內(nèi)置了很多過濾器，可以對收集到的日志做各種過濾處理；
kibana：就是一個界面，用來展示logstash收集到的日志的。

這三種技術(shù)我都不會，需要額外地去學習嗎？

可能很多人有這個疑問，其實是不需要的，搭建 elk 不需要你會任何一種技術(shù)！

三、搭建ELK

1. elasticsearch安裝配置步驟

下載地址：elasticsearch
下載后解壓，進入bin目錄直接執(zhí)行 elasticsearch 或者 elasticsearch.bat 啟動即可。
啟動后訪問localhost:9200，出現(xiàn)如下界面就啟動成功了。

elasticsearch

2. logstash安裝配置步驟

下載地址：logstash

下載后解壓，拷貝 config 目錄下的 logstash-sample.conf，改名為 logstash.conf，修改其配置，內(nèi)容如下：

input {
   tcp {
     mode => "server"
     host => "127.0.0.1"
     port => 9001
     codec => json_lines
   }
}

output {
     elasticsearch {
         hosts => ["http://127.0.0.1:9200"]
         index => "elk-search-%{+YYYY.MM.dd}"
     }
}

簡單解釋一下這段配置：

input 塊是 logstash 接收日志時的一些配置，output 是 logstash 往 elasticsearch 輸送日志的配置；
input.host 是運行 logstash 的服務(wù)器的 ip；input.port 是 logstash 的運行端口，可以自己定義；
output.hosts 的 elasticsearch 的 ip 和端口，這是個數(shù)組，多個用逗號隔開，由于我們沒有修改 elasticsearch 的配置，它默認就是 9200 端口；output.index 是索引；

修改完配置，進入 bin 目錄指定配置文件啟動即可，例如：./logstash -f ../config/logstash.conf，如果是 windows 版本，執(zhí)行logstash.bat -f ../config/logstash.conf即可。

3. kibana安裝配置步驟

下載地址：kibana
下載后解壓，然后拷貝一份 config 目錄下的 kibana.yml，根據(jù)自己的需要可以修改配置，比如端口（默認5601）、host、elasticsearch.hosts（默認localhost:9200）等。我這里都用默認的，沒有修改。
到 bin 目錄下執(zhí)行 ./kibana就可以啟動了，windows 執(zhí)行 kibana.bat即可。
啟動完訪問 localhost:5601，看到如下界面就啟動成功了。

kibana

4. 項目中配置日志輸出到logstash

引入依賴，比如我用的 logback，那么需要如下依賴：

 <dependency>
    <groupId>net.logstash.logback</groupId>
    <artifactId>logstash-logback-encoder</artifactId>
    <version>7.0.1</version>
</dependency>
<dependency>
    <groupId>org.slf4j</groupId>
    <artifactId>slf4j-api</artifactId>
    <version>1.7.30</version>
</dependency>
<dependency>
    <groupId>ch.qos.logback</groupId>
    <artifactId>logback-classic</artifactId>
    <version>1.2.3</version>
</dependency>

編寫logback-spring.xml，內(nèi)容如下：

<?xml version="1.0" encoding="UTF-8"?>
<configuration>
    <springProperty scope="context" name="APP_NAME" source="spring.application.name" defaultValue="undefinedAppName"/>
    <jmxConfigurator/>
    <logger name="org.springframework.web" level="INFO"/>
    <logger name="org.apache.velocity.runtime.log" level="INFO"/>

    <!-- 控制臺輸出 -->
    <appender name="CONSOLE" class="ch.qos.logback.core.ConsoleAppender">
        <encoder class="ch.qos.logback.classic.encoder.PatternLayoutEncoder">
            <Pattern>[%X{traceid}] %d{HH:mm:ss.SSS} [%thread] %-5level %logger{35} - %M:%L - %msg %n</Pattern>
        </encoder>
    </appender>
    <appender name="dailyRollingFileAppender" class="ch.qos.logback.core.rolling.RollingFileAppender">
        <File>logs/logback-today-${APP_NAME}.log</File>
        <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
            <!-- daily rolling over -->
            <FileNamePattern>logs/${APP_NAME}.%d{yyyy-MM-dd}.log</FileNamePattern>
            <!-- keep 30 days' log history -->
            <maxHistory>30</maxHistory>
        </rollingPolicy>
        <encoder>
            <Pattern>%d{HH:mm:ss.SSS} [%thread] %-5level %logger{35} - %msg %n</Pattern>
        </encoder>
    </appender>
    <!-- 輸出到文件 -->
    <appender name="FILE" class="ch.qos.logback.classic.AsyncAppender">
        <!-- 不丟失日志.默認的,如果隊列的80%已滿,則會丟棄TRACT、DEBUG、INFO級別的日志 -->
        <discardingThreshold>0</discardingThreshold>
        <!-- 更改默認的隊列的深度,該值會影響性能.默認值為256 -->
        <queueSize>256</queueSize>
        <!-- 添加附加的appender,最多只能添加一個 -->
        <appender-ref ref="dailyRollingFileAppender"/>
    </appender>
    <!-- 輸出到logstash -->
    <appender name="LOGSTASH" class="net.logstash.logback.appender.LogstashTcpSocketAppender">
        <!--logstash的ip和端口-->
        <destination>127.0.0.1:9001</destination>
        <encoder charset="UTF-8" class="net.logstash.logback.encoder.LogstashEncoder"/>
        <encoder class="net.logstash.logback.encoder.LoggingEventCompositeJsonEncoder">
            <providers>
                <timestamp>
                    <timeZone>Asia/Shanghai</timeZone>
                </timestamp>
                <pattern>
                    <pattern>
                        {
                        "app_name":"${APP_NAME}",
                        "traceid":"%X{traceid}",
                        "ip": "%X{ip}",
                        "server_name": "%X{server_name}",
                        "level": "%level",
                        "trace": "%X{X-B3-TraceId:-}",
                        "span": "%X{X-B3-SpanId:-}",
                        "parent": "%X{X-B3-ParentSpanId:-}",
                        "thread": "%thread",
                        "class": "%logger{40} - %M:%L",
                        "message": "%message",
                        "stack_trace": "%exception{10}"
                        }
                    </pattern>
                </pattern>
            </providers>
        </encoder>
    </appender>
    <root level="INFO">
        <appender-ref ref="CONSOLE"/>
        <appender-ref ref="FILE"/>
        <appender-ref ref="LOGSTASH"/>
    </root>
</configuration>