- 日志分析是运维工程师解决系统故障，发现问题的主要手段
- 日志主要包括系统日志、应用程序日志和安全日志
- 系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因
- 经常分析日志可以了解服务器的负荷，性能安全性，从而及时采取措施纠正错误
- 分析日志时刻监控系统运行的状态
- 分析日志来定位程序的bug
- 分析日志监控网站的访问流量
- 分析日志可以知道哪些sql语句需要优化
-
日志易：国内一款监控、审计、权限管理,收费软件
-
splunk：按流量收费，国外软件,主要三个部件组成（Indexer、Search Head、Forwarder）
- Indexder提供数据的存储，索引，类似于elasticsearch的作用
- Search Head负责搜索，客户接入，从功能上看，一部分是kibana的UI是运行，在Search Head上的，提供所有的客户端可视化功能，还有一部分，是提供分布式的搜索功能，具有Elasticsearch部分功能
- Forwarder负责数据接入，类似Logstash或者filebeat
-
ELK：海量日志分析平台（Elasticsearch、logstash、kibana），开源且在国内被广泛应用
-
ELK是一个开源的数据分析平台，由三个开源项目Elasticsearch、Logstash和Kibana组成，因此被称为ELK
-
ELK主要用于处理和分析大量的日志数据，支持实时搜索、数据可视化和分析
- Elasticsearch是一个分布式搜索引擎和分析引擎，能够实现实时搜索和分析大规模的数据集
- Logstash是一个数据收集、处理和转换工具，能够从不同来源收集、处理和传输数据
- Kibana是一个数据可视化工具，能够通过仪表盘、图形和地图等方式展示数据
- ELK 三个组件相互配合，能够构建一个强大的、可扩展的日志分析平台，支持数据的快速检索、可视化和分析。
-
初级版ELK
- 终极版ELK
- 高级版ELK
- 不修改源日志的格式：而是通过logstash的grok方式进行过滤清洗，将原始无规则的日志转换为规则的日志
- 优点：不用修改原始日志输出格式，直接通过logstash的grok方式进行过滤分析，好处是对线上业务系统无任何影响
- 缺点：logstash的grok方式在高压力情况下会成为性能瓶颈如果要分析的日志量超大时，日志过滤分析可能阻塞正常的日志输出；因此,在使用logstash时，能不用grok尽量不使用grok过滤功能。
- 修改源日志输出格式：按照需要的日志格式输出规则日志，logstash只负责日志的收集和传输,不对日志做任何的过滤清洗。
- 优点：因为已经定义好了需要的日志输出格式, logstash只负责日志的收集和传输,这样就大大减轻了logstash的负担,可以更高效的收集和传输日志。
- 缺点：需要事先定义好日志的输出格式，这可能有一定工作量，但目前常见的web服务器例如httpd、Nginx等都支持自定义日志输出格式。
-
Elasticsearch 官网：https://www.elastic.co/cn/elasticsearch
-
Elasticsearch是一个基于Lucene库的分布式搜索引擎和数据分析引擎，能够实现实时搜索和分析大规模的数据集，支持文本、数字、地理位置等多种类型的数据检索和分析。Elasticsearch是一个开源的、高度可扩展的平台，能够处理海量的数据，并支持分布式的数据存储和处理。Elasticsearch的主要特点包括：
-
分布式搜索引擎：Elasticsearch能够对海量的数据进行快速的搜索和查询，并支持实时搜索。
-
分布式数据存储：Elasticsearch能够将数据分散存储在多个节点上，以提高数据的可用性和可靠性。
-
多数据类型支持：Elasticsearch支持多种数据类型，包括文本、数字、日期、地理位置等。
-
实时数据分析：Elasticsearch能够对数据进行实时的聚合、过滤和分析，并支持数据可视化。
-
可扩展性：Elasticsearch能够扩展到数百个节点，处理PB级别的数据。
-
开源：Elasticsearch是一个开源的软件，源代码可以公开获取和修改。 Elasticsearch广泛应用于企业搜索、日志分析、安全分析和商业智能等领域。它提供了丰富的API和工具，包括RESTful API、Java API和Python API等，方便开发人员集成和使用。
-
-
Logstash 文档地址：https://www.elastic.co/guide/en/logstash/current/getting-started-with-logstash.html
-
Logstash 是一个开源的数据收集、处理和转换工具，能够从不同来源收集、处理和传输数据。，主要用于处理和分析大量的日志数据，支持多种数据源和格式，包括文本文件、数据库、日志文件、消息队列等。Logstash能够实现以下功能：
-
数据收集：Logstash能够从不同的数据源收集数据，并支持多种数据格式，包括JSON、CSV、XML等。
-
数据处理：Logstash能够对收集到的数据进行处理和转换，例如过滤、分析、标准化等。
-
数据传输：Logstash能够将处理后的数据传输到目标位置，例如Elasticsearch、Kafka、Redis等。
-
插件扩展：Logstash提供了丰富的插件，方便用户扩展和定制功能。
-
实时数据处理：Logstash能够实现实时数据处理，支持流式数据处理。 Logstash是一个高度可扩展的工具，能够处理大量的数据，并支持分布式部署。它能够与Elasticsearch、Kibana、Beats等工具集成，构建一个强大的、可扩展的数据分析平台。Logstash提供了丰富的文档和社区支持，方便用户学习和使用。
-
-
Logstash工作原理
如上图，Logstash的数据处理过程主要包括：Inputs, Filters, Outputs 三部分， 另外在Inputs和Outputs中可以使用Codecs对数据格式进行处理。这四个部分均以插件形式存在，用户通过定义pipeline配置文件，设置需要使用的input，filter，output, codec插件，以实现特定的数据采集，数据处理，数据输出等功能
（1）Inputs：用于从数据源获取数据，常见的插件如file, syslog, redis, beats 等
（2）Filters：用于处理数据如格式转换，数据派生等，常见的插件如grok, mutate, drop, clone, geoip等
（3）Outputs：用于数据输出，常见的插件如elastcisearch，file, graphite, statsd等
（4）Codecs：Codecs不是一个单独的流程，而是在输入和输出等插件中用于数据转换的模块，用于对数据进行编码处理，常见的插件如json，multiline
- Logstash核心概念
- Pipeline：包含了input—filter-output三个阶段的处理流程、插件生命周期管理、队列管理
- Logstash Event：数据在内部流转时的具体表现形式
- 数据在input 阶段被转换为Event，在 output被转化成目标格式数据
- Event 其实是一个Java Object，在配置文件中，对Event 的属性进行增删改查
- Codec (Code / Decode)：将原始数据decode成Event,将Event encode成目标数据
-
Kibana 文档地址：https://www.elastic.co/guide/cn/kibana/current/install.html
-
Kibana是一个数据可视化工具，能够通过仪表盘、图形和地图等方式展示数据。主要用于展示和分析从Elasticsearch中获取的数据。Kibana能够实现以下功能：
-
数据可视化：Kibana能够通过仪表盘、图形和地图等方式展示数据，支持多种数据类型和格式。
-
数据查询：Kibana能够实现对Elasticsearch中存储的数据进行查询和搜索。
-
仪表盘管理：Kibana能够创建、管理和共享仪表盘，方便用户展示和分享数据。
-
可视化插件：Kibana提供了丰富的可视化插件，方便用户扩展和定制功能。
-
数据分析：Kibana能够实现对数据进行聚合、过滤和分析，支持实时数据处理。 Kibana的主要优点包括易用性、可扩展性和丰富的功能。它能够与Elasticsearch、Logstash、Beats等工具集成，构建一个强大的、可扩展的数据分析平台。Kibana提供了丰富的文档和社区支持，方便用户学习和使用。
-
-
环境准备
- 使用模板机克隆elk并配置如下参数
开启路由转发，docker是通过虚拟交换机来进行通讯的，需要开启路由转发的功能
将2024-AI大模型Java全链路工程师环境资料/第四模块/docker文件夹上传至虚拟机elk的/root
- 使用华为云的镜像加速器，每个人的都不一样
- 将2024-AI大模型Java全链路工程师环境资料/第四模块/elk镜像中的所有内容上传至虚拟机elk的/root
- 导入镜像
浏览器访问地址：http://192.168.8.111:9200/
- 说明：ElasticSearch-head是 ES的可视化界面，是为了方便后面调试时看日志有没成功输入到 ES 用的，非必须安装的项目，也可跳过此步。
运行容器
页面无数据问题
- 如果打开页面之后节点、索引等显示完全，但是数据浏览中无数据显示，那么我们还需要改一个配置文件，这是因为 ES 6 之后增加了请求头严格校验的原因（我们装的是 7.12.1 版本）：
测试
浏览器访问地址：http://192.168.8.111:9100/
浏览器访问地址：http://192.168.8.111:9100/
测试
-
开始使用 Kibana 前，需要告诉 Kibana 您想要探索的 Elasticsearch 索引。第一次访问 Kibana 时，会提示您定义一个 index pattern(索引模式) 匹配一个或多个索引。这就是初次使用 Kibana 时所有需要配置的。任何时候都可以在 Management 页面增加索引模式。
-
默认情况下，Kibana 会连接运行在 localhost 上的 Elasticsearch 实例。如果需要连接不同的 Elasticsearch实例，可以修改 kibana.yml 配置文件中的 Elasticsearch URL 配置项并重启 Kibana。如果在生产环境节点上使用 Kibana
-
设置您想通过 Kibana 访问的 Elasticsearch 索引：
-
浏览器中指定端口号5601来访问 Kibana UI 页面。例如， localhost:5601 或者 http://YOURDOMAIN.com:5601
-
指定一个索引模式来匹配一个或多个 Elasticsearch 索引名称。默认情况下，Kibana 会认为数据是通过 Logstash 解析送进 Elasticsearch 的。这种情况可以使用默认的 logstash-* 作为索引模式。星号 (*) 匹配0或多个索引名称中的字符。如果 Elasticsearch 索引遵循其他命名约定，请输入一个恰当的模式。该模式也可以直接用单个索引的名称。
-
如果您想做一些基于时间序列的数据比较，可以选择索引中包含时间戳的字段。Kibana 会读取索引映射，列出包含时间戳的所有字段。如果索引中没有基于时间序列的数据，则禁用 Index contains time-based events 选项。
-
点击 Create 增加索引模式。默认情况下，第一个模式被自动配置为默认的。当索引模式不止一个时，可以通过点击 Management > Index Patterns 索引模式题目上的星星图标来指定默认的索引模式。
全部设置完毕！Kibana 连接了 Elasticsearch 的数据。展示了一个匹配到的索引的字段只读列表。
浏览器访问地址：http://192.168.8.111:5601/
- 拉取镜像并拷贝配置
-
修改相应配置文件
-
修改 logstash/config 下的 logstash.yml 文件，主要修改 es 的地址（可通过 docker inspect es查看地址）：
修改 logstash/pipeline 下的 logstash.conf 文件：
启动容器并挂载
项目地址：https://gitee.com/shuobolinux/shuoboelk.git
注意：该项目已经搭建好，只需要把对应 resource下的 log/logback-spring.xml文件中的 标签中 logstash 的地址换成对应自己的即可
这个比较简单，主要就是几个配置文件：
pom文件如下：
创建一个TestController，每次调用接口，都会打印日志
在 resource 下创建 log/logback-springxml 文件，这里我们主要填写 ip:端口，关于标签则看个人使用情况修改。
最后修改 application.yml 文件：
再次回到Discover页面
测试：调用接口 http://localhost:8080/index
再次查看 Kibana ，已经显示了在代码中打印的日志：