Bug #10
已結束Develop #7: Logstash建置
203 ES資料同步問題
0%
概述
觀察12/5~10 從MOMO PG/ES同步到203 PG/ES資料
FD同步回203 ES的資料筆數有明顯缺漏
ATO同步回203 ES的資料筆數與smartFDS相比，除了第一天，其他天也有逐步缺漏的趨勢
203 ES:
從203 ES index:fd 第一筆、最後一筆資料來看，Logstash在23:28處理12/10 00:00資料、23:58處理12/10 06:40資料:
{"create_time": "2024-12-10T00:00:00.145+0800", LogstashTime: Dec 10, 2024 @ 23:58:42.276}
{"create_time": "2024-12-10T06:40:16.354+0800", LogstashTime: Dec 10, 2024 @ 23:28:06.202}
由此推測Logstash效能應有下降，可能資源不足導致處理事件阻塞。
FLDS & DLDS 12/10Linenotify擷取如下:
從log初步判斷dlds-momo沒有異常，flds-momo異常的問題可能性較低
待確認:
- 確認momo logstash有無異常訊息
- 確認momo logstash是否資源不足，導致處理事件阻塞
- momo ES index: ato/fd資料筆數及logstash寫入的時間戳，確認有無延遲寫入資料庫情形
檔案
是由 martin zhuo 於 約 1 年 前更新
- 檔案 clipboard-202412101048-eu2us.png clipboard-202412101048-eu2us.png 已新增
- 概述 已更新 (差異)
是由 martin zhuo 於 約 1 年 前更新
- 檔案 clipboard-202412111026-5vdkj.png clipboard-202412111026-5vdkj.png 已新增
- 檔案 clipboard-202412111029-c0kfn.png 已新增
- 概述 已更新 (差異)
是由 martin zhuo 於 約 1 年 前更新
- 主旨 從 FLDS / DLDS資料同步問題 變更為 203 ES資料同步問題
- 概述 已更新 (差異)
- 父議題 設定為 #7
是由 martin zhuo 於 約 1 年 前更新
資料缺漏，初步推測原因
1.momo logstash是否資源不足導致處理事件阻塞
2.歷史pipeline代處理事件塞滿queue，即時pipeline待處理事件排隊在後，導致即時pipeline當天來不及處理完資料，FLDS就上傳資料到S3
下一步:
將歷史pipeline、即時pipeline分成不同的docker進行，
1.先停用歷史pipeline，只佈署即時pipeline 確認資料傳輸是否正常
2.觀察幾天確認資料傳輸正常，再開啟歷史pipeline，調高docker資源上限
待確認:
確認momo logstash有無異常訊息
確認momo logstash是否資源不足，導致處理事件阻塞
momo ES index: ato/fd資料筆數及logstash寫入的時間戳，確認有無延遲寫入資料庫情形
是由 martin zhuo 於 約 1 年 前更新 · 已被編輯
12/16 確認資料同步問題:
修改即時資料pipeline後，12/12後資料同步運作正常，docker運作正常
判斷12/12之前同步資料問題為:
1.歷史資料pipeline待處理事件塞滿queue，即時pipeline待處理事件排隊在後，導致即時pipeline當天來不及處理完資料，FLDS就上傳資料到S3
2.歷史資料pipeline待處理事件較多，因此耗用資源較多，可能也因資源不足導致處理事件阻塞
是由 martin zhuo 於 約 1 年 前更新
- 狀態 從 Bug 變更為 Close
測試歷史資料pipeline撈取１１月至１２月同步資料正常
測試即時資料pipeline１２／１２之後同步資料正常
因此close issue