《沛盛資訊》推出「AI 測試 」為產業界常見「AB 測試」進化版。傳統「AB 測試」係用來測試兩組不同主旨,先發送小部分電子報,等待一段時間決定開啟率勝負,將後續全部電子報名單都以開啟率高主旨發送。「AI 測試」 更進一步改良「AB 測試」缺點,加入分散名單取樣與動態多組批量發送等不同改善設計。
傳統「AB 測試」名單取樣為選取最開頭樣本,例如發送郵件名單最開頭10%。但若這名單全部都是同樣網域(如Yahoo)或同性質收信人(如女性),則樣本就失真導致「AB 測試」結果錯誤。《沛盛資訊》AI Test採用分批取樣,將全部待發送名單平均分散後取樣,確保樣本誤差率低代表性高。
「AI 測試」徹底改良「AB測試」問題
傳統「AB 測試」當有獲勝主旨之後,剩下名單則全部用獲勝主旨發出。但若兩個主旨的開啟率極為接近,例如A主旨9.8%跟B主旨9.6%,若之後全部以獲勝的9.8%主旨發出,但可能隔多久之後,反而B主旨開啟率超過A主旨。《沛盛資訊》「AI 測試」則透過批次重新驗證方式,每一批次都再度驗證過去所有發送郵件,最新獲勝A B 主旨。
圖片說明
- AB 測試:此為首批測試信,分為A與B兩個不同主旨。
- 批次1:經過一段時間後,「批次1」電子報根據「AB 測試」結果,挑選獲勝組別作為「批次1」發送主旨。
- 批次2:再經過一段時間後,「批次2」電子報依照「AB 測試」與「批次1」全部統計,決定獲勝主旨做發送。
- 批次3之後發送邏輯(同「批次2」)均為當下所有發送之電子報,依據獲勝組別主旨發送。
「AI測試」典型用法
假設全部郵件數為100封,將使用10封(10%)做測試發送,其中五封發送A主旨另外五封發送B主旨,在60分鐘後統計開啟率要大於0%(至少一封開啟)。
若A主旨有開啟1封開啟率20% (1/5=20%),但B主旨沒有郵件開啟,A主旨獲勝測試條件成立。則將剩餘90封郵件,分成九批發送每批10封郵件,
首批發送10封郵件採用A主旨,等後30分鐘之後,檢查原始測試任務與批次1全部開信結果,若發現B主旨此時開啟率超過A主旨,第二批10封郵件則改發B主旨。再間隔30分鐘之後,再度檢查當下全部開啟紀錄,發現A主旨開啟率又超過B主旨,則第三批10封郵件又改用A主旨發送。如此依序檢查完成全部批次任務。
這樣任務會切割成多批次任務,可以持續根據A B 測試任務結果,即時改變發送,
仍可保留「AB測試」用法
若將分批寄送選項,只使用1批,這就跟傳統「AB測試」相同。因此,「AI測試」不僅保有原有「AB測試」作法,更改進了舊有方法缺點,真正發送開啟率高主旨,再一次證明《沛盛資訊》在郵件技術領域持續自我突破。
|