Maintain #349
已結束
11/7 AWS 測試環境 node-1 上下行流量飆高異常
是由 andy chiang 於 4 個月 前加入.
於 4 個月 前更新.
概述
11/7 有觀測到流量異常，已確認非攻擊，應有服務異常
檔案
主機網路流量居高不下
11/10 查看
kube-prometheus-stack-prometheus-node-exporter-r4jvz
sit-datasync-847f5998d-4b2pb
特別高
後續martin排查:
datasync 寫入sit elasticsearch index: veri_id_aws_mix_sit_tb_model_card_abnormal_predict_data_v2.0報錯
確認原因是index 不能寫入
{ "veri_id_aws_mix_sit_tb_model_card_abnormal_predict_data_v2.0-000226" : { "aliases" : { "veri_id_aws_mix_sit_tb_model_card_abnormal_predict_data_v2.0" : { * "is_write_index" : false * } } } }
開啟index 寫入權限後 datasync恢復正常寫入
補充:
sit elasticsearch index: veri_id_aws_mix_sit_tb_model_card_abnormal_predict_data_v2.0:
流量降為148 kb 恢復正常:
匯出至 Atom
PDF