跳转至

日志检测

概述

日志检测用于监控工作空间内基于日志采集器产生的的全部日志数据。支持基于日志的关键字设置告警，及时发现不符合预估行为的异常模式（如：日志文本数据中存在异常的标签），多适用于 IT 监控场景下的代码异常或任务调度检测等。

应用场景

多适用于 IT 监控场景下的代码异常或任务调度检测等。例如监控日志错误率过高。

规则说明

步骤1.检测配置

1）检测频率：检测规则的执行频率，包含1m/5m/15/30m/1h/6h（默认选中5m）。

2）检测区间：每次执行任务时，检测指标查询的时间范围。受检测频率影响，可选检测区间会有不同。（支持用户自定义）

检测频率 检测区间（下拉可选项） 自定义区间限制
1m 1m/5m/15m/30m/1h/3h <=3h
5m 5m/15m/30m/1h/3h <=3h
15m 15m/30m/1h/3h/6h <=6h
30m 30m/1h/3h/6h <=6h
1h 1h/3h/6h/12h/24h <=24h
6h 6h/12h/24h <=24h

3）检测指标：监控一定时间范围内，指定检测对象的日志列表上出现所设关键字的日志数量。

字段 说明
索引 当前检测指标所属的索引。注意：若在「日志」-「索引」设置索引以后，在图表查询的数据源选择“日志”时，支持选择不同的索引对应的日志内容，默认为索引 default。更多详情可参考文档 日志索引 。
来源 当前检测指标的数据来源，支持选择全部（*）或指定单个数据来源
关键字搜索 支持关键字搜索
筛选条件 基于指标的标签对检测指标的数据进行筛选，限定检测的数据范围，支持添加一个或多个标签筛选，支持模糊匹配和模糊不匹配的筛选条件。
聚合算法 默认选中“*”，对应的函数是count 。若选中其他字段，函数自动变为 Count distinct（取关键字出现的数据点数）
检测维度 配置数据里对应的字符串类型（keyword）字段都可以作为检测维度进行选择，目前检测维度最多支持选择三个字段。通过多个检测维度的字段组合，可以确定一个确定的检测对象，观测云会判断某个检测对象对应的统计指标是否满足触发条件的阈值，若满足条件则产生事件。（例如选择检测维度【 host 】与【 host_ip 】,则检测对象可以为{host: host1, host_ip: 127.0.0.1}）当检测对象为“日志”，默认以“status”，“host”，“service”，“source”，“filename”为检测维度
查询方式 支持简单查询和表达式查询，若查询方式为表达式查询且含多个查询，日志检测对象为同一个。如表达式查询A的检测对象为“日志”，则表达式查询B的检测对象也为“日志”，详情参考 查询

4）触发条件：设置告警级别的触发条件。

配置触发条件及严重程度，当查询结果为多个值时，任一值满足触发条件则产生事件。

01、告警级别紧急（红色）、重要（橙色）、警告（黄色）基于配置条件判断运算符。

02、告警级别正常（绿色）、信息（蓝色）基于配置检测次数，说明如下：

  • 每执行一次检测任务即为 1 次检测，如【检测频率 = 5 分钟】，则 1 次检测= 5 分钟
  • 可以自定义检测次数，如【检测频率 = 5 分钟】，则 3 次检测 = 15 分钟

a-正常（绿色）：检测规则生效后，产生紧急、重要、警告异常事件后，在配置的自定义检测次数内，数据检测结果恢复正常，则产生恢复告警事件。

Attention

恢复告警事件不受告警沉默限制。若未设置恢复告警事件检测次数，则告警事件不会恢复，且一直会出现在「事件」-「未恢复事件列表」中。

b-信息（蓝色）：正常检测结果也产生事件。

03、告警级别无数据（灰色）：无数据状态支持「触发无数据事件」、「触发恢复事件」、「不触发事件」三种配置，日志类数据默认选择「触发恢复事件」策略，不需要做无数据的配置，获取两倍的监测频率作为无数据恢复事件检测任务。

检测规则生效后，第一次检测无数据且持续无数据，不产生无数据告警事件；若检测有数据且在配置的自定义检测时间范围内，数据上报发生断档，则产生无数据告警事件。

步骤2.事件通知

5）事件标题：设置告警触发条件的事件名称，支持使用预置的模板变量，详情参考 模板变量 。

Attention

最新版本中 “监控器名称” 将由 “事件标题” 输入后同步生成。旧的监控器中可能存在 “监控器名称” 和 “事件标题” 不一致的情况，为了给您更好的使用体验，请尽快同步至最新。支持一键替换为事件标题。

6）事件内容：满足触发条件时发送的事件通知内容，支持输入markdown 格式文本信息，支持预览效果，支持使用预置的模板变量，详情参考 模板变量 。

Attention

不同告警通知对象支持的 markdown 语法不同，例如：企业微信不支持无序列表。

7）告警策略：监控满足触发条件后，立即发送告警消息给指定的通知对象。告警策略中包含需要通知的事件等级、通知对象、以及告警沉默周期。详情参考 告警策略 。

步骤3.关联

8）关联仪表板：每一个监控器都支持关联一个仪表板，即通过「关联仪表板」功能能够自定义快速跳转的仪表板（监控器关联的仪表板，支持快速跳转查看监控视图）。

示例

以来源和服务日志错误率过高为例，用错误数除以总数得到日志错误率。