客戶主檔出現重複,通常不是單一同事出錯,而是同一個客戶在幾個入口各自留了一次紀錄:網站表單、WhatsApp 查詢、展會名片、舊 Excel、會計或送貨系統匯入。每一次匯入都可能多一個版本,日子久了,同一間公司可能有三個帳戶、五個聯絡人,銷售跟進時不知道哪一筆才是最新。

微軟 Power Platform 的重複資料偵測文件說明得很清楚:系統用 matchcode 比對,規則由管理員定義及發佈;它是一套規則式比對,不是會自動判斷「兩個名字是否同一人」的 AI。本文把工序拆成三層:規則與 AI 產生候選、人手覆核、合併後保留可追溯記錄。這個分工的好處是,即使模型判斷錯,也不會直接把客戶主檔改壞。

重複紀錄的來源:matchcode 抓到與抓不到的東西

根據微軟文件,發佈重複偵測規則時,系統會為每筆現有記錄建立 matchcode;之後記錄新增或更新,亦會建立新的 matchcode。使用者透過介面建立或更新記錄時,系統可以即時比對;匯入資料時亦可選擇是否檢查。若果要補查歷史資料,就要靠背景排程的 duplicate detection job。

這套機制有幾個實際限制,香港企業在設計流程時要當成前提,而不是例外:

  • 同一個 table type 最多同時發佈五條重複偵測規則。想用大量欄位組合做比對,很快就會撞到上限。
  • 規則發佈後,如果把納入條件的欄位加長,可能超出 matchcode 長度上限而不被檢查,結果是某些重複不會被偵測。
  • 兩筆記錄若在同一時刻處理,仍有機會都寫入,因為比對不是一個跨記錄的交易鎖。
  • 重複對話框只會在使用者介面建立或更新記錄時出現;由 workflow 建立的記錄不會彈出對話框。
  • 合併兩筆記錄、轉換潛在客戶、把活動標為完成、改變記錄狀態時,系統不會偵測重複。
  • 平板版本的客戶應用程式支援重複偵測,手機版本則不支援。

所以「已經開啟重複檢查」不等於「主檔已經乾淨」。歷史資料、匯入資料、由自動化建立的資料,仍然需要一條批次候選與人手覆核的路徑。

AI 的位置:把相似度變成可解釋的候選

規則擅長處理格式正規化後完全相同的值,例如同一個電郵、同一組電話數字。AI 層的價值在於處理規則難以窮舉的變體:中英文姓名互換、公司名有否「有限公司」或 Ltd、地址寫法差異、電話有否區號、同一個電郵由多個同事共用。這些情況不應該直接寫入資料庫,而應該輸出成一組候選,連同判斷依據交给人手。

本文建議的 AI 輸出格式包括:候選配對、相似欄位、衝突欄位、建議保留哪一筆、以及「為何未能確定」。例如「電話相同但姓名不同,可能是家庭共用電話」比單一個 0.87 分數更有用。分數本身不是機率,除非企業自己用標記資料校準過,否則不應該寫成「87% 機會是同一人」。

AI 層可以是外加的審核助手,但微軟文件描述的並不是原生 AI 合併功能。企業不應假設 CRM 供應商已經內建智能去重,也不應把模型輸出直接當成審計記錄。每次候選判斷至少要保留:模型或規則版本、輸入欄位、輸出理由、覆核人、覆核時間。

以下情況應停止自動流程,交人手處理:涉及未結發票、合約、法律文件或投訴;同一電郵關聯多於三個聯絡人;客戶曾要求更正或刪除資料;合併會改變銷售人員的佣金歸屬;規則與 AI 判斷互相衝突。

決策表:五種常見情況怎樣處理

情況 建議動作 覆核人 必須記錄
電郵與電話完全一致,無交易紀錄 合併,保留欄位最完整的一筆 客服主管 新舊 ID、操作時間、合併理由
同一公司有多個聯絡人 不合併聯絡人,改為掛在同一個帳戶下 銷售 帳戶 ID、職位、主要聯絡方式
名稱相同但電話與公司不同 標記為非重複,不要合併 客服 判斷原因、覆核人、日期
有未結發票、合約或投訴 暫緩合併,先處理關聯 財務或指定主管 關聯清單、處理次序
共用電郵或家庭電話 人手確認實際使用人 客服主管 判斷依據、客戶確認方式

這張表的目的,是防止「見到同名就合併」。合併錯一筆有交易紀錄的客戶,之後要拆開,成本通常高過當初花十分鐘覆核。

可還原記錄:合併前要留低甚麼

微軟文件沒有描述合併後的一鍵還原功能,所以「可還原」不是一個內建承諾,而是企業要自己設計的保護層。實際可用的還原能力,須按你們使用的版本、權限和供應商安排確認。

最低限度要保留四類東西:

  1. 合併前匯出受影響記錄的所有欄位,包括建立時間、修改時間、擁有者及關聯記錄。
  2. 新舊 ID 對照表,最少保留一段足以處理爭議的時間。
  3. 合併理由、操作人、覆核人、時間、當時使用的規則或模型版本。
  4. 客戶的通訊偏好、同意狀態及主要聯絡方式,避免合併後重複發送推廣訊息。

如果企業自行開發系統,可以在資料庫交易層面做回滾;如果是套裝 CRM,就要靠匯出、對照表和事前演練。未試過還原流程,不應該假設它一定可行。

假設示例:三個紀錄、一次合併

以下公司與人物均屬虛構,只用作說明工序。假設「晨光工程顧問」的 CRM 有三筆紀錄:

  • A:陳大文,電話 +852 9123 4567,電郵 tchan@example.com,來源是展會名片。
  • B:Chan Tai Man,電話 91234567,電郵 TCHAN@example.com,名下有三張未結發票,擁有者是銷售阿明。
  • C:陳大文,電話 9876 5432,任職另一間公司,只有姓名相同。

規則先找出 A 與 B:電話正規化後相同,電郵只差大小寫。AI 候選按附加資料標示「姓名語言版本不同、公司名稱相同」,並列出 B 有交易紀錄。客服覆核後決定保留 B,因為發票與客戶往來都在 B 名下;A 的展會來源和手機標籤併入 B;C 因電話與公司不同,標記為非重複,並記錄「僅姓名相同」。

合併後七日抽查,確認發票仍然掛在 B、沒有出現重複發票通知、銷售阿明的擁有者身份沒有改變。這個例子沒有使用任何真實客戶資料,也不代表香港企業的普遍情況。

驗收指標與 30 日落地流程

以下指標是建議的驗收方式,不是行業基準,企業應按自己的資料量和風險承受程度調整:

  • 候選準確率:抽查五十對候選,目標至少九成屬真重複。
  • 錯誤合併率:每一百宗合併少於一宗需要補救,且每宗可追溯。
  • 合併記錄完整率:百分之百合併具備新舊 ID 對照、操作人與理由。
  • 匯入檢查覆蓋率:所有常規匯入均已開啟重複檢查,例外要有書面記錄。
  • 排程工作完成率:每月背景偵測工作按計劃完成,並有通知記錄。
  • 候選積壓:未處理候選保持於兩週內可清理的水平。
  • 客戶投訴:因重複通訊或錯誤合併引起的投訴按月記錄及下降。

三十日流程可以這樣安排:第一週盤點帳戶、聯絡人、潛在客戶三個 table 的現有規則、欄位長度和匯入來源,確認五條規則上限如何使用;第二週建立候選清單與覆核隊列,只做標記,不做自動合併;第三週抽五十對候選試行,量度準確率和平均覆核時間;第四週把決策表、升級規則、匯出備份和抽查頻率寫成標準作業,之後才考慮擴大自動化比例。

如果企業同時在做Excel 轉系統或電郵轉待辦,去重規則應該在匯入前先跑一次,而不是等資料入了 CRM 才補救。審批與升級安排可參考AI 人手審批流程;合併記錄的保存期與查閱權限,則要與資料保存及審計紀錄的規定一致。

限制與不應自動化的情況

即使流程設計得好,仍有幾件事不應交給自動化合併:涉及金錢或合約的客戶、正在投訴的個案、同一電郵由整個部門共用的情況、以及客戶已要求更正個人資料的記錄。這些情況需要人手判斷,並且要讓客戶知道資料已經更新。

另一個常見誤區,是把「AI 信心分數高」當成「可以自動合併」。如果沒有用自己公司的資料做過準確度測試,分數只能用作排序,不能當作批准。與其追求全自動,不如先把候選準確率和錯誤合併率量度清楚,再決定哪些低風險類別可以放行。

客戶主檔清潔不是一次性專案,而是每個月都要跑的工序。規則會因為欄位改變而失效,匯入來源會增加,員工會離職。把候選、覆核、合併、抽查四個步驟固定下來,比買一套新工具更能減少重複紀錄。