專案

一般

配置概況

動作

Develop #331

已結束

Develop #253: KAFKA 監聽 DB 架構 Phase.3

Kafka SIT 部屬

是由 andy chiang5 個月 前加入. 於 4 個月 前更新.

狀態:
Close
優先權:
LOW
被分派者:
開始日期:
2025-10-14
完成日期:
2025-10-27
完成百分比:

100%


概述

mix-it 機器建立 /home/ubuntu/it-system/kafka_logstash/kafka 資料夾
並將資料透過 gitlab 同步紀錄


檔案

clipboard-202510231157-xqtnm.png (44.5 KB) clipboard-202510231157-xqtnm.png andy chiang, 2025-10-23 03:58

是由 andy chiang5 個月 前更新

10/14 問題一:

  • Debezium 必須配合 RDS 使用 binlog format = ROW,目前為 MIX。RDS 需異動 (熱更新)

是由 andy chiang5 個月 前更新

10/14 問題二:

  • RDS veriid 帳號權限問題,已增加 GRANT REPLICATION CLIENT, REPLICATION SLAVE, RELOAD ON . TO 'veriid'@'%';

是由 andy chiang5 個月 前更新

10/14 問題三:

  • pipline output 要新增 ES 帳密
    output {
    elasticsearch {
    hosts => ["http://192.168.187.114:9200"]
    user => "elastic"
    password => "elastic16313302"
    index => "veri_id_aws_mix_sit_account_takeover_predict_data_v2.1"
    document_id => "%{veriid_trans_id}"
    action => "update"
    doc_as_upsert => true
    retry_on_conflict => 5
    manage_template => false
    }
    }

是由 andy chiang5 個月 前更新

10/15 問題四:

  • ATO Kafka 有拿到資料,但是 ES 沒有 (尚未解決)

是由 andy chiang5 個月 前更新

andy chiang 先前在 #note-4 中提到:

10/15 問題四:

  • ATO Kafka 有拿到資料,但是 ES 沒有 (尚未解決)

已解決

是由 andy chiang5 個月 前更新

veri_id_aws_mix_sit_account_takeover_predict_data_v2.1
veri_id_aws_mix_sit_card_abnormal_predict_data_v2.1
veri_id_aws_mix_sit_card_testing_predict_data_v2.1
veri_id_aws_mix_sit_fraud_detect_predict_data_v2.1

veri_id_aws_mix_uat_account_takeover_predict_data_v2.1
veri_id_aws_mix_uat_card_abnormal_predict_data_v2.1
veri_id_aws_mix_uat_card_testing_predict_data_v2.1
veri_id_aws_mix_uat_fraud_detect_predict_data_v2.1

是由 andy chiang4 個月 前更新

10/23 新增 smartfds-log-pipline,除了監聽DB以外,有些服務可能會主動寫資料送到 kafka,內容不同。所以需要此 pipline 來接收這些資料。

是由 andy chiang4 個月 前更新

10/23 已將舊的 Kafka 以及 Logstash 停掉。並將新的服務端口改成舊的以取代

是由 andy chiang4 個月 前更新

  • 完成日期 設定為 2025-10-27
  • 狀態Ongoing 變更為 Close
  • 完成百分比0 變更為 100

SIT UAT 已配置完成

動作

匯出至 Atom PDF