Linux 自建 ELK Stack 日志分析平台Elasticsearch +Logstash +Kibana

一、前言

在现代 IT 系统中，日志采集、存储和分析至关重要。

ELK Stack（Elasticsearch、Logstash、Kibana）是目前最流行的一套日志解决方案，广泛应用于运维监控、安全分析、业务洞察等场景。

本文将带你从0到1，基于 Linux 搭建一套完整的 ELK 日志分析平台，并实现日志采集到可视化展示的完整流程。

二、环境准备

• Linux 服务器（建议配置 4C8G 以上）
• Docker 与 Docker Compose 已安装
• 开放必要端口：9200（Elasticsearch）、5601（Kibana）、5044（Logstash）

三、部署 ELK Stack

1. 创建项目目录

mkdir -p ~/elk-stack

cd ~/elk-stack

2. 编写

docker-compose.yml

创建文件 docker-compose.yml，内容如下：

version: '3'

services:

elasticsearch:

image: docker.elastic.co/elasticsearch/elasticsearch:7.17.9

container_name: elasticsearch

environment:

- discovery.type=single-node

- bootstrap.memory_lock=true

- ES_JAVA_OPTS=-Xms512m -Xmx512m

ulimits:

memlock:

soft: -1

hard: -1

volumes:

- esdata:/usr/share/elasticsearch/data

ports:

- "9200:9200"

logstash:

image: docker.elastic.co/logstash/logstash:7.17.9

container_name: logstash

volumes:

- ./logstash/config:/usr/share/logstash/config

- ./logstash/pipeline:/usr/share/logstash/pipeline

ports:

- "5044:5044"

kibana:

image: docker.elastic.co/kibana/kibana:7.17.9

container_name: kibana

environment:

ELASTICSEARCH_HOSTS: http://elasticsearch:9200

ports:

- "5601:5601"

volumes:

esdata:

3. 配置 Logstash

创建目录结构：

mkdir -p logstash/config

mkdir -p logstash/pipeline

在 logstash/pipeline 目录下，创建 logstash.conf：

input {

beats {

port => 5044

}

}

output {

elasticsearch {

hosts => ["http://elasticsearch:9200"]

index => "logstash-%{+YYYY.MM.dd}"

}

}

简单配置即可先收集通过 Filebeat 等客户端发送过来的日志数据。

四、启动 ELK Stack

在 ~/elk-stack 目录下执行：

docker-compose up -d

检查容器是否运行正常：

docker ps

确认 elasticsearch、logstash、kibana 容器均在运行。

五、访问与测试

1. 访问 Kibana

浏览器访问：

http://服务器IP:5601

进入 Kibana Web 界面，首次启动需要稍等几分钟。

2. 测试日志采集

可以在另外一台服务器部署 Filebeat（或直接用 curl 模拟日志发送到 Logstash）。

示例 curl 测试发送：

curl -XPOST 'http://服务器IP:5044' -d '{"message":"Hello ELK!"}'

在 Kibana 中配置索引模式（Index Patterns），即可开始查询和可视化日志。

六、常见问题与优化

• 内存优化：生产环境需要合理调整 Elasticsearch、Logstash 的 JVM 内存参数。
• 安全加固：部署 HTTPS、启用用户认证，保护日志数据。
• 扩展集群：Elasticsearch 支持水平扩展，提升存储与查询能力。
• 多来源日志收集：Logstash 可以配置多个 input，收集不同来源的日志数据。

七、总结

通过本篇文章，你已经掌握了：

• 如何基于 Linux 快速搭建 ELK 日志分析平台
• 如何收集、存储、查询和可视化日志数据
• 如何为生产环境扩展与优化 ELK Stack

未来可以在此基础上集成 Alerting、机器学习分析模块，构建更加智能化的日志监控与告警系统！