專案

一般

配置概況

動作
複製連結

Bug #10

已結束

Develop #7: Logstash建置

203 ES資料同步問題

是由 martin zhuo 於 約 1 年 前加入. 於 約 1 年 前更新.

狀態:
Close
優先權:
MEDIUM
被分派者:
martin zhuo
開始日期:
2024-12-10
完成日期:
完成百分比:

0%

概述

觀察12/5~10 從MOMO PG/ES同步到203 PG/ES資料
FD同步回203 ES的資料筆數有明顯缺漏
ATO同步回203 ES的資料筆數與smartFDS相比，除了第一天，其他天也有逐步缺漏的趨勢
203 ES:

從203 ES index:fd 第一筆、最後一筆資料來看，Logstash在23:28處理12/10 00:00資料、23:58處理12/10 06:40資料:
{"create_time": "2024-12-10T00:00:00.145+0800", LogstashTime: Dec 10, 2024 @ 23:58:42.276}
{"create_time": "2024-12-10T06:40:16.354+0800", LogstashTime: Dec 10, 2024 @ 23:28:06.202}
由此推測Logstash效能應有下降，可能資源不足導致處理事件阻塞。

FLDS & DLDS 12/10Linenotify擷取如下:


從log初步判斷dlds-momo沒有異常，flds-momo異常的問題可能性較低
待確認:

  1. 確認momo logstash有無異常訊息
  2. 確認momo logstash是否資源不足，導致處理事件阻塞
  3. momo ES index: ato/fd資料筆數及logstash寫入的時間戳，確認有無延遲寫入資料庫情形

檔案

下載所有檔案
clipboard-202412101041-anukl.png (80.2 KB) clipboard-202412101041-anukl.png martin zhuo, 2024-12-10 02:42
clipboard-202412101043-ojvwu.png (105 KB) clipboard-202412101043-ojvwu.png martin zhuo, 2024-12-10 02:43
clipboard-202412101048-eu2us.png (10.9 KB) clipboard-202412101048-eu2us.png martin zhuo, 2024-12-10 02:48
clipboard-202412111026-5vdkj.png (88.1 KB) clipboard-202412111026-5vdkj.png martin zhuo, 2024-12-11 02:26
clipboard-202412171031-mn3gy.png (120 KB) clipboard-202412171031-mn3gy.png martin zhuo, 2024-12-17 02:31
動作
複製連結

匯出至 Atom PDF