動作
Develop #331
已結束Develop #253: KAFKA 監聽 DB 架構 Phase.3
Kafka SIT 部屬
開始日期:
2025-10-14
完成日期:
2025-10-27
完成百分比:
100%
概述
mix-it 機器建立 /home/ubuntu/it-system/kafka_logstash/kafka 資料夾
並將資料透過 gitlab 同步紀錄
檔案
是由 andy chiang 於 5 個月 前更新
10/14 問題一:
- Debezium 必須配合 RDS 使用 binlog format = ROW,目前為 MIX。RDS 需異動 (熱更新)
是由 andy chiang 於 5 個月 前更新
10/14 問題二:
- RDS veriid 帳號權限問題,已增加 GRANT REPLICATION CLIENT, REPLICATION SLAVE, RELOAD ON . TO 'veriid'@'%';
是由 andy chiang 於 5 個月 前更新
10/14 問題三:
- pipline output 要新增 ES 帳密
output {
elasticsearch {
hosts => ["http://192.168.187.114:9200"]
user => "elastic"
password => "elastic16313302"
index => "veri_id_aws_mix_sit_account_takeover_predict_data_v2.1"
document_id => "%{veriid_trans_id}"
action => "update"
doc_as_upsert => true
retry_on_conflict => 5
manage_template => false
}
}
是由 andy chiang 於 5 個月 前更新
是由 andy chiang 於 5 個月 前更新
veri_id_aws_mix_sit_account_takeover_predict_data_v2.1
veri_id_aws_mix_sit_card_abnormal_predict_data_v2.1
veri_id_aws_mix_sit_card_testing_predict_data_v2.1
veri_id_aws_mix_sit_fraud_detect_predict_data_v2.1
veri_id_aws_mix_uat_account_takeover_predict_data_v2.1
veri_id_aws_mix_uat_card_abnormal_predict_data_v2.1
veri_id_aws_mix_uat_card_testing_predict_data_v2.1
veri_id_aws_mix_uat_fraud_detect_predict_data_v2.1
是由 andy chiang 於 4 個月 前更新
10/23 新增 smartfds-log-pipline,除了監聽DB以外,有些服務可能會主動寫資料送到 kafka,內容不同。所以需要此 pipline 來接收這些資料。

是由 andy chiang 於 4 個月 前更新
- 完成日期 設定為 2025-10-27
- 狀態 從 Ongoing 變更為 Close
- 完成百分比 從 0 變更為 100
SIT UAT 已配置完成
動作