工作單 #255
已結束Develop #253: KAFKA 監聽 DB 架構 Phase.3
Develop #254: kafka取代datasync機制
彙整模型postgresql報表
100%
概述
彙整veriid 模型使用哪些postgresql table 及 elasticsearch index有哪些資料需修改
表有部分column名稱重複、牽涉學習系統使用的column名稱、配合台北時區時間欄位需+8
account takeover:¶
postgresql table:¶
- tb_account_takeover_info
logstash:
remove_field => ["@version","@timestamp"]
gsub => ["create_time","Z",""]
update => {"create_time" => "%{create_time}+08:00"}
- tb_account_takeover_predict_abnormalLogin_result
logstash:
rename => {"account_takeover_aph_score" => "abnormalLogin_account_takeover_aph_score"}
rename => {"account_takeover_reason" => "abnormalLogin_account_takeover_reason"}
rename => {"account_takeover_return_code" => "abnormalLogin_account_takeover_return_code"}
rename => {"account_takeover_score" => "abnormalLogin_account_takeover_score"}
rename => {"account_takeover_weight" => "abnormalLogin_account_takeover_weight"}
rename => {"ato_info_id" => "abnormalLogin_ato_info_id"}
rename => {"pk_id" => "abnormalLogin_pk_id"}
rename => {"policy_score" => "abnormalLogin_policy_score"}
rename => {"total_score" => "abnormalLogin_total_score"}
- tb_account_takeover_predict_accountTest_result
logstash:
rename => {"account_takeover_aph_score" => "accountTest_account_takeover_aph_score"}
rename => {"account_takeover_reason" => "accountTest_account_takeover_reason"}
rename => {"account_takeover_return_code" => "accountTest_account_takeover_return_code"}
rename => {"account_takeover_score" => "accountTest_account_takeover_score"}
rename => {"account_takeover_weight" => "accountTest_account_takeover_weight"}
rename => {"ato_info_id" => "accountTest_ato_info_id"}
rename => {"pk_id" => "accountTest_pk_id"}
rename => {"policy_score" => "accountTest_policy_score"}
rename => {"total_score" => "accountTest_total_score"}
elasticsearch index:¶
veri_id_aws_prd_tb_model_account_takeover_predict_data_v2.0
fraud detect:¶
postgresql table:¶
tb_fraud_detect_info
tb_fraud_detect_predict_result
elasticsearch index:¶
veri_id_aws_prd_tb_model_fraud_detect_predict_data_v2.0
card abnormal:¶
postgresql table:¶
tb_card_abnormal_v2
tb_card_abnormal_info
tb_card_abnormal_predict_result
elasticsearch index:¶
veri_id_aws_prd_tb_model_card_abnormal_predict_data_v2.0
card testing:¶
postgresql table:¶
tb_card_testing_info
tb_card_testing_predict_result
elasticsearch index:¶
veri_id_aws_prd_tb_model_card_testing_predict_data_v2.0
smartfds¶
postgresql table:¶
t_inbound_isrfd
t_inbound_acqfd
logstash抓取以下:
resultInfo_trueLabelAuth
resultInfo_trueLabelThreeDS
resultInfo_trueLabelLast
resultInfo_trueLabelChargeback
依據 veriid_trans_id 寫入以下 elasticsearch index:
veri_id_aws_prd_tb_model_card_abnormal_predict_data_v2.0
veri_id_aws_prd_tb_model_card_testing_predict_data_v2.0
veri_id_aws_prd_tb_model_fraud_detect_predict_data_v2.0
檔案
是由 andy chiang 於 8 個月 前更新 · 已被編輯

新增
public.tb_card_abnormal_v2,public.tb_card_abnormal_info,public.tb_card_abnormal_predict_result,public.tb_card_testing_info,public.tb_card_testing_predict_result
是由 andy chiang 於 7 個月 前更新
- 檔案 clipboard-202507211747-elmeg.png clipboard-202507211747-elmeg.png 已新增
- 檔案 clipboard-202507211747-ujczl.png clipboard-202507211747-ujczl.png 已新增
- 檔案 clipboard-202507211748-1dgig.png clipboard-202507211748-1dgig.png 已新增
- 檔案 clipboard-202507211748-znwtv.png clipboard-202507211748-znwtv.png 已新增
- 檔案 clipboard-202507211749-9zczp.png clipboard-202507211749-9zczp.png 已新增





是由 martin zhuo 於 7 個月 前更新
是由 martin zhuo 於 7 個月 前更新
是由 andy chiang 於 7 個月 前更新
- 檔案 clipboard-202507301350-d3jhe.png clipboard-202507301350-d3jhe.png 已新增
- 檔案 clipboard-202507301351-itfcw.png clipboard-202507301351-itfcw.png 已新增
ca:
- usd 改為 string

是由 andy chiang 於 7 個月 前更新 · 已被編輯
veri_id_aws_prd_tb_model_account_takeover_predict_data_v2.1
veri_id_aws_prd_tb_model_fraud_detect_predict_data_v2.1
veri_id_aws_prd_tb_model_card_abnormal_predict_data_v2.1
veri_id_aws_prd_tb_model_card_testing_predict_data_v2.1
是由 andy chiang 於 6 個月 前更新
- 檔案 clipboard-202508211701-anmhj.png clipboard-202508211701-anmhj.png 已新增
- 檔案 clipboard-202508211702-pv3nu.png clipboard-202508211702-pv3nu.png 已新增
- 檔案 clipboard-202508211702-fvexl.png clipboard-202508211702-fvexl.png 已新增
smartfds 監控測試成功



是由 andy chiang 於 6 個月 前更新
9/5 已成功將 Smartfds 資料合併至對應 index

是由 andy chiang 於 6 個月 前更新

需處理:
result_info 改名 && smartfds pk_id 改名
是由 andy chiang 於 6 個月 前更新
- 檔案 clipboard-202509051534-g8wet.png clipboard-202509051534-g8wet.png 已新增
- 檔案 clipboard-202509051536-zeeuk.png clipboard-202509051536-zeeuk.png 已新增


若值為 null,則不會顯示在 Kibana Field 上,但資料會寫入 index
是由 andy chiang 於 6 個月 前更新
ibfd 監控已測試

是由 andy chiang 於 6 個月 前更新 · 已被編輯
待處理:
IBFD 應需求刪除不必要欄位

是由 andy chiang 於 6 個月 前更新
ACQ IFR 只保留
"true_label_threeds" => "resultInfo__trueLabelThreedDs",
"true_label_last" => "resultInfo__trueLabelLast",
"true_label_chargeback" => "resultInfo__trueLabelChargeback",
"true_label_auth" => "resultInfo__trueLabelAuth",
"id" => "result_pk_id"
是由 andy chiang 於 6 個月 前更新
andy chiang 先前在 #note-21 中提到:
ACQ IFR 只保留
"true_label_threeds" => "resultInfo__trueLabelThreedDs",
"true_label_last" => "resultInfo__trueLabelLast",
"true_label_chargeback" => "resultInfo__trueLabelChargeback",
"true_label_auth" => "resultInfo__trueLabelAuth",
"id" => "result_pk_id"

是由 andy chiang 於 6 個月 前更新
9/10 card-abnormal custom_servertime 完成改格式

是由 andy chiang 於 5 個月 前更新
- 完成日期 設定為 2025-10-14
- 狀態 從 Ongoing 變更為 Close
- 完成百分比 從 0 變更為 100
dev結束,開始SIT階段

