การลงคลิป A วันนี้และ B พรุ่งนี้ไม่ใช่การสุ่มผู้ชม เพราะผู้ชม เวลา และการกระจายเปลี่ยนไป การทดลองแบบเพจขนาดเล็กใช้หาทิศทางได้ แต่ต้องไม่เรียกผลว่าเหตุและผลที่พิสูจน์แล้ว
เลื่อนตารางด้านข้างเพื่ออ่านข้อมูลครบ
| รูปแบบ | ใช้ตอบอะไร | ยังตอบไม่ได้ |
|---|---|---|
| สองเรื่องใหม่ในแกนเดียว เปลี่ยนวิธีเปิด | รูปแบบเปิดใดมีแนวโน้มเหมาะกับงานของเรา | ผลของภาพเปิดล้วน ๆ โดยตัดความต่างของเรื่องออก |
| หลายแกน หลายภาพเปิด | สำรวจพื้นที่ที่น่าลอง | ผลหลักของแต่ละแกนเมื่อชิ้นงานต่างกันมาก |
| เครื่องมือ A/B ภาพปก/แคปชัน | งานแพ็กเกจแบบใดทำผลงานดีกว่าในเครื่องมือ | การทดสอบ footage เปิดคลิป |
Meta เคยประกาศเครื่องมือทดสอบ caption/thumbnail สูงสุดสี่แบบในปี 2023 [S24] ต้องตรวจว่ามีในบัญชีปัจจุบันหรือไม่ ไม่อ้างว่าการมีฟีเจอร์นี้ทำให้ทดสอบตัววิดีโอทุกแบบได้
ตั้งสัญญาการทดลอง
ก่อนผลิต ระบุผู้ชม เป้าหมาย ตัวแปรหลัก สิ่งที่คงใกล้กัน ตัวชี้วัดหลักหนึ่งตัว วันที่หยุดเก็บผล และขอบเขตเงิน/เวลา หลักการกำหนดแผนก่อนข้อมูลสอดคล้องกับ NIST แต่แผนในเล่มไม่ได้เป็นการทดลองควบคุมเต็มรูปแบบ [S15]
ตัวชี้วัดต้องมีจริงและสัมพันธ์กับเป้าหมาย
ถ้าต้องการให้ดูเรื่องต่อ ใช้สัดส่วนเวลารับชมเฉลี่ยเป็นตัววัดหลักในคลิปความยาวใกล้กัน และดูยอดรับชมประกอบ ถ้าเน้นสร้างแฟนและมี attribution จริง อาจเลือกผู้ติดตามต่อ Reach แทน ไม่เปลี่ยนตัวหลักหลังเห็นว่าอีกช่องสวยกว่า และใช้ข้อมูลความเข้าใจ/ความพึงพอใจที่เก็บจริงเป็นเงื่อนไขประกอบ ไม่ถือว่าตัวชี้วัดหลักของการทดลองคือสิ่งเดียวกับเป้าหมายทั้งหมดของระบบแนะนำ
งานหนึ่งรอบต้องตอบว่า “กำลังลองอะไร” ได้ในหนึ่งประโยค ไม่ใช้ตัวเลขสิบตัวเลือกเฉพาะตัวที่สนับสนุนความเชื่อเดิม