MOMO-veriid » momo onsite 維護更新

1. 時間：
   2025/05/06
2. momo前置作業：
   請協助開通10.120.87.25宿主機的外網權限，及預備兩台工作筆電
3. momo需求：
   ＵＡＴ－ATO、FD更版
4. 工作項目：

• Grafana 告警寄信機制
• Diia-api ＵＡＴ更版 docker image: harbor.veri-id-prd.com/momo-uat/ diia-api:2.56.250212
• fraud-detect ＵＡＴ更版 docker image: harbor.veri-id-prd.com/momo-uat/ fraud-detect-predict:v1.5.0
• account-takeover ＵＡＴ更版 docker image: harbor.veri-id-prd.com/momo-uat/ account-takeover-predict:v1.4.2
• 新增 中間件 Kafka 機制使用於 UAT 環境，未啟用

5. 備註：
   待dba同步資料後，確認部署後服務狀態
6. 人天：
   2 * 1 (Martin, Andy)

1. 時間：
   2025/05/08
2. momo前置作業：
   １台工作筆電
3. momo需求：
   同步ＤＢ(10.128.1.55)資料確認、資料狀態確認、模型服務狀態確認
4. 工作項目：

• 同步ＤＢ(10.128.1.55)資料確認正常
• 資料同步狀況確認正常
• 模型服務log確認正常
• logstash thread 從６調降為１

5. 備註：
   10.120.87.33 (17:34) 9200 port down
6. 人天：
   1 * 0.5 (Martin)

1. 時間：
   2025/05/09
2. momo前置作業：
   １台工作筆電
3. momo需求：
   ES 10.120.87.33 有ERROR需要查看排除
4. 工作項目：

   • 修復ES-03 服務停止

5. 備註：
   下午4點左右，剛好遇到Rancher服務異常(控制K8s叢集)，veri-id受到影響。服務切走並於MOMO修復後驗證無異常，恢復veri-id運作。
6. 人天：
   1 * 0.5 (Andy)

1. 時間：
   2025/05/22

2. momo前置作業：
   １台工作筆電

3. momo需求：
   繼上次 Rancher 異常，飄到 master 的服務需要驅離。

4. 工作項目：

   • 將微服務飄離 master，delete 重新佈署
   • 檢查 ES 連線池以及 JVM 設定

5. 備註：

6. 人天：
   1 * 0.5 (Andy)

1. 時間：
   2025/07/02
2. momo前置作業：
   2台工作筆電
3. momo需求：
   每季日常巡檢
   ES 狀態查看 (為了評估過水頁)
4. 工作項目：

   • 日常巡檢
   • 檢查ES 狀態
   • (突發) DB 異常，gateway 大量 error log 爆出，veri-id 關閉

5. 備註：
   尚未修復，持續關閉中，momo DBA 會先備份再重建
6. 人天：
   2 * 0.5 (Andy, Marlboro)

1. 時間：
   2025/07/03
2. momo前置作業：
   2台工作筆電
3. momo需求：
   延續昨天異常，配合DBA檢查DB狀態，並重啟所有服務
4. 工作項目：

   • DB 檢查
   • 全服務重啟
   • rule engine & gateway error 排查

5. 備註：
   已全數修復，服務正常，測試正常，19點離開 momo
   momo計畫：
   資料TTL policy改為三個月
   postgresql->rabbitMQ->replica postgresql 計畫改為一主一從架構
6. 人天：
   2 * 0.5 (Andy, Martin)

1. 時間：
   2025/07/04
2. momo前置作業：
   1台工作筆電
3. momo需求：
   延續昨天異常，配合打開流量前檢查
4. 工作項目：
   DB 狀態確認
   服務重啟
   Logstash 同步機制排查
5. 備註：
   到場後發現 db 連線異常
   因 momo 預計架構更新, 暫不回復同步機制
   確認服務正常，測試正常，12點離開 momo
6. 人天：
   1 * 0.5 (Rock)

1. 時間：
   2025/07/22
2. momo前置作業：
   2台工作筆電
3. momo需求：
   7/8 有 error 503 問題，前往排查
4. 工作項目：

   • caddy 服務檢查
   • AP 服務及日誌檢查
   • ELK 以及 Grafana 監控查看

5. 備註：
   a. caddy 查看機器附載正常
   b. Grafana 查看當時 diia 監控正常，沒有異常起伏流量
   c. ELK 無看到特徵 error
   d. caddy log 引出，只記 error (之後安排)
   e. 紀錄連結: https://nas.veri-id-dev.com/oo/r/14GkqwKMgEihV7cwixNQgzxJC2jwPSc6
6. 人天：
   2 * 0.5 (Andy, Marlboro)

1. 時間：
   2025/11/26

2. momo前置作業：
   2台工作筆電

3. momo需求：
   diia-api 2.56.250526 版本更新至 SIT / UAT

4. 工作項目：

   • SIT 更新並驗證
   • UAT 更新並驗證
   • 取得11/26 smartfds_trans table資料

5. 備註：
   確認10.120.87.33 free memory剩6g 有點不足，新版flds mem開銷較大，暫時不更新

6. 人天：
   3 * 0.5 (Andy, Martin, Rock)

1. 時間：
   2026/01/14

2. momo前置作業：
   1台工作筆電

3. momo需求：
   每天匯出 udid 大於5個不同客編資料

4. 工作項目：
   提供 bash : export_udid_cifNumber_report.sh
   設定 cron 排程

5. 備註：
   預設規則： 24小時內觸發異常裝置與行為規則“偽冒設備<=-0.111, 異常登入<=-0.8”，且大於5個不同客編的udid，列入cdp貼標名單。

6. 人天：
   2 * 0.5 (Rock, Evan)