Optimizely Intelligence Cloud: วิธีใช้ Stats Engine เพื่อทดสอบ A/B อย่างชาญฉลาดและเร็วขึ้น

Optimizely Stats Engine และกลยุทธ์การทดสอบ A/B

หากคุณต้องการเรียกใช้โปรแกรมทดลองเพื่อช่วยทดสอบและเรียนรู้ธุรกิจของคุณ คุณกำลังใช้ เพิ่มประสิทธิภาพคลาวด์อัจฉริยะ – หรืออย่างน้อยคุณได้ดูมันแล้ว Optimizely เป็นหนึ่งในเครื่องมือที่ทรงพลังที่สุดในเกม แต่เช่นเดียวกับเครื่องมืออื่นๆ คุณอาจใช้มันอย่างผิด ๆ หากคุณไม่เข้าใจว่ามันทำงานอย่างไร 

อะไรทำให้ Optimizely มีประสิทธิภาพมาก แกนหลักของชุดคุณลักษณะคือกลไกสถิติที่ชาญฉลาดและชาญฉลาดที่สุดในเครื่องมือของบุคคลที่สาม ช่วยให้คุณมีสมาธิกับการทดสอบที่สำคัญมากขึ้นแบบสดๆ โดยไม่ต้องกังวลว่าคุณกำลังตีความผลลัพธ์ของคุณผิด 

เหมือนกับการศึกษาแบบคนตาบอดแบบดั้งเดิมในด้านการแพทย์ ทดสอบ A / B จะสุ่มแสดงที่แตกต่างกัน การรักษา ของไซต์ของคุณกับผู้ใช้ต่างๆ เพื่อเปรียบเทียบประสิทธิภาพของการรักษาแต่ละครั้ง 

สถิติช่วยให้เราสามารถอนุมานได้ว่าการรักษานั้นจะได้ผลในระยะยาวเพียงใด 

เครื่องมือทดสอบ A/B ส่วนใหญ่อาศัยการอนุมานทางสถิติประเภทใดประเภทหนึ่งจากสองประเภท: สถิติที่ใช้บ่อยหรือแบบเบย์ แต่ละโรงเรียนมีข้อดีและข้อเสียต่างกัน – สถิติที่ใช้บ่อยต้องการขนาดตัวอย่างที่ได้รับการแก้ไขก่อนทำการทดลอง และสถิติแบบเบย์ส่วนใหญ่สนใจเกี่ยวกับการตัดสินใจในเชิงทิศทางที่ดี แทนที่จะระบุตัวเลขเดี่ยวสำหรับผลกระทบ เพื่อระบุตัวอย่างสองตัวอย่าง พลังพิเศษของ Optimizely คือเครื่องมือเดียวในตลาดปัจจุบันที่จะรับ ดีที่สุดของทั้งสองโลก เข้าใกล้

ผลลัพธ์สุดท้าย? Optimizely ช่วยให้ผู้ใช้เรียกใช้การทดสอบได้รวดเร็วขึ้น เชื่อถือได้มากขึ้น และสังหรณ์ใจมากขึ้น

เพื่อที่จะใช้ประโยชน์อย่างเต็มที่จากสิ่งนั้น สิ่งสำคัญคือต้องเข้าใจว่าเกิดอะไรขึ้นเบื้องหลัง ต่อไปนี้คือข้อมูลเชิงลึกและกลยุทธ์ 5 ข้อที่จะทำให้คุณใช้ความสามารถของ Optimizely อย่างมืออาชีพได้

กลยุทธ์ #1: ทำความเข้าใจว่าเมตริกทั้งหมดไม่ได้ถูกสร้างขึ้นอย่างเท่าเทียมกัน

ในเครื่องมือทดสอบส่วนใหญ่ ปัญหาที่มักถูกมองข้ามคือยิ่งคุณเพิ่มและติดตามตัววัดในการทดสอบของคุณมากเท่าใด คุณก็ยิ่งมีโอกาสเห็นข้อสรุปที่ไม่ถูกต้องเนื่องจากโอกาสสุ่มมากขึ้นเท่านั้น (ในสถิตินี้เรียกว่า "ปัญหาการทดสอบหลายรายการ" ”). เพื่อให้ผลลัพธ์มีความน่าเชื่อถือ Optimizely ใช้ชุดการควบคุมและการแก้ไขเพื่อรักษาโอกาสที่จะเกิดขึ้นให้ต่ำที่สุด 

การควบคุมและการแก้ไขเหล่านั้นมีความหมายสองประการเมื่อคุณไปตั้งค่าการทดสอบใน Optimizely อันดับแรก เมตริกที่คุณกำหนดให้เป็นของคุณ ตัวชี้วัดหลัก จะมีนัยสำคัญทางสถิติเร็วที่สุด ส่วนอื่นๆ ทั้งหมดจะคงที่ ประการที่สอง ยิ่งคุณเพิ่มเมตริกลงในการทดสอบมากเท่าใด เมตริกในภายหลังของคุณก็จะยิ่งใช้เวลานานขึ้นเพื่อให้มีนัยสำคัญทางสถิติ

เมื่อวางแผนการทดลอง ตรวจสอบให้แน่ใจว่าคุณรู้ว่าเมตริกใดจะเป็น True North ในกระบวนการตัดสินใจของคุณ ทำให้เมตริกหลักของคุณเป็นเมตริก จากนั้น รักษารายการตัวชี้วัดที่เหลือของคุณโดยลบสิ่งที่เกินความจำเป็นหรือสัมผัสกันมากเกินไป

กลยุทธ์ #2: สร้างคุณสมบัติที่กำหนดเองของคุณเอง

Optimizely เป็นวิธีที่ยอดเยี่ยมในการมอบวิธีที่น่าสนใจและมีประโยชน์มากมายในการแบ่งกลุ่มผลการทดสอบของคุณ ตัวอย่างเช่น คุณสามารถตรวจสอบว่าการรักษาบางอย่างทำงานได้ดีกว่าบนเดสก์ท็อปเทียบกับอุปกรณ์เคลื่อนที่ หรือสังเกตความแตกต่างจากแหล่งที่มาของการเข้าชมต่างๆ เมื่อโปรแกรมทดลองของคุณเติบโตเต็มที่ คุณจะต้องการกลุ่มใหม่อย่างรวดเร็ว ซึ่งอาจเฉพาะเจาะจงสำหรับกรณีการใช้งานของคุณ เช่น กลุ่มสำหรับการซื้อแบบครั้งเดียวเทียบกับแบบสมัครรับข้อมูล หรือแบบทั่วไปอย่าง "ผู้เข้าชมใหม่เทียบกับผู้เข้าชมที่กลับมา" (ซึ่ง ตรงไปตรงมา เรายังไม่ทราบสาเหตุที่ไม่ได้จัดเตรียมไว้ให้)

ข่าวดีก็คือว่าผ่านช่อง Project Javascript ของ Optimizely วิศวกรที่คุ้นเคยกับ Optimizely สามารถสร้างแอตทริบิวต์ที่กำหนดเองที่น่าสนใจจำนวนเท่าใดก็ได้ที่ผู้เข้าชมสามารถกำหนดและแบ่งกลุ่มได้ ที่ Cro Metrics เราได้สร้างโมดูลสต็อกจำนวนหนึ่ง (เช่น “ผู้เยี่ยมชมใหม่เทียบกับผู้เข้าชมที่กลับมา”) ที่เราติดตั้งสำหรับลูกค้าทั้งหมดของเราผ่าน Project Javascript การใช้ประโยชน์จากความสามารถนี้เป็นตัวสร้างความแตกต่างที่สำคัญระหว่างทีมที่เติบโตเต็มที่ซึ่งมีทรัพยากรทางเทคนิคที่เหมาะสมที่จะช่วยให้พวกเขาดำเนินการได้ และทีมที่พยายามดิ้นรนเพื่อให้ได้มาซึ่งศักยภาพของการทดลองอย่างเต็มที่

กลยุทธ์ #3: สำรวจตัวเร่งสถิติของ Optimizely

คุณลักษณะหนึ่งของเครื่องมือทดสอบที่มักใช้มากเกินไปคือความสามารถในการใช้ "multi-armed bandits" ซึ่งเป็นอัลกอริธึมการเรียนรู้ของเครื่องประเภทหนึ่งที่เปลี่ยนแปลงแบบไดนามิกในที่ที่การเข้าชมของคุณได้รับการจัดสรรในระหว่างการทดสอบ เพื่อส่งผู้เยี่ยมชมไปยัง "ผู้ชนะ" ให้มากที่สุด แปรผันให้ได้มากที่สุด ปัญหาของโจรหลายอาวุธคือผลลัพธ์ของพวกเขาไม่ใช่ตัวบ่งชี้ประสิทธิภาพในระยะยาวที่เชื่อถือได้ ดังนั้นกรณีการใช้งานสำหรับการทดสอบประเภทนี้จึงจำกัดเฉพาะกรณีที่ละเอียดอ่อนด้านเวลา เช่น การส่งเสริมการขาย

แม้ว่าจะมีอัลกอริธึมการโจรกรรมประเภทต่าง ๆ ให้เหมาะสมสำหรับผู้ใช้ในแผนที่สูงกว่า – Stats Accelerator (ปัจจุบันรู้จักกันในชื่อตัวเลือก "เร่งการเรียนรู้" ภายในกลุ่มโจร) ในการตั้งค่านี้ แทนที่จะพยายามจัดสรรการเข้าชมแบบไดนามิกไปยังรูปแบบที่มีประสิทธิภาพสูงสุด Optimizely จะจัดสรรการเข้าชมแบบไดนามิกไปยังรูปแบบต่างๆ ที่มีแนวโน้มว่าจะเข้าถึงนัยสำคัญทางสถิติได้เร็วที่สุด ด้วยวิธีนี้ คุณสามารถเรียนรู้ได้เร็วขึ้น และรักษาความสามารถในการทำซ้ำของผลการทดสอบ A/B แบบเดิม

กลยุทธ์ #4: เพิ่มอิโมจิให้กับชื่อตัวชี้วัดของคุณ

เมื่อมองแวบแรก ความคิดนี้อาจฟังดูไม่เข้าท่า แม้จะไร้สาระก็ตาม อย่างไรก็ตาม สิ่งสำคัญในการตรวจสอบให้แน่ใจว่าคุณได้อ่านผลการทดสอบที่ถูกต้องเริ่มต้นจากการทำให้มั่นใจว่าผู้ชมของคุณสามารถเข้าใจคำถามได้ 

บางครั้งแม้ว่าเราจะพยายามอย่างเต็มที่แล้ว แต่ชื่อเมตริกก็อาจสร้างความสับสนได้ (เดี๋ยวก่อน เมตริกนั้นเริ่มทำงานเมื่อคำสั่งซื้อได้รับการยอมรับ หรือเมื่อผู้ใช้เข้าสู่หน้าขอบคุณ) หรือการทดสอบมีเมตริกมากมายที่เลื่อนขึ้นและลงผลลัพธ์ หน้านำไปสู่การโอเวอร์โหลดองค์ความรู้ทั้งหมด

การเพิ่มอิโมจิลงในชื่อตัววัดของคุณ (เป้าหมาย เครื่องหมายถูกสีเขียว แม้แต่ถุงเงินใบใหญ่ก็ใช้ได้) อาจส่งผลให้หน้าที่สแกนมากขึ้น 

ไว้วางใจเรา – การอ่านผลลัพธ์จะรู้สึกง่ายขึ้นมาก

กลยุทธ์ #5: พิจารณาระดับความสำคัญทางสถิติของคุณอีกครั้ง

ผลลัพธ์จะถือเป็นข้อยุติในบริบทของการทดสอบ Optimizely เมื่อบรรลุผล นัยสำคัญทางสถิติ. นัยสำคัญทางสถิติเป็นศัพท์ทางคณิตศาสตร์ที่ยาก แต่โดยพื้นฐานแล้ว ความน่าจะเป็นที่การสังเกตของคุณเป็นผลมาจากความแตกต่างที่แท้จริงระหว่างประชากรสองกลุ่ม ไม่ใช่แค่โอกาสสุ่ม 

ระดับนัยสำคัญทางสถิติที่รายงานของ Optimizely นั้น "ใช้ได้เสมอ" ด้วยแนวคิดทางคณิตศาสตร์ที่เรียกว่า การทดสอบตามลำดับ – สิ่งนี้ทำให้พวกเขามีความน่าเชื่อถือมากกว่าเครื่องมือทดสอบอื่นๆ ซึ่งมีแนวโน้มที่จะเกิดปัญหา “การแอบดู” ทุกประเภทหากคุณอ่านเร็วเกินไป

ควรพิจารณาระดับนัยสำคัญทางสถิติที่คุณเห็นว่ามีความสำคัญต่อโปรแกรมการทดสอบของคุณ ในขณะที่ 95% เป็นข้อตกลงในชุมชนวิทยาศาสตร์ เรากำลังทดสอบการเปลี่ยนแปลงเว็บไซต์ ไม่ใช่วัคซีน อีกทางเลือกหนึ่งในโลกของการทดลอง: 90% แต่คุณยินดีที่จะยอมรับความไม่แน่นอนเพิ่มขึ้นอีกเล็กน้อยเพื่อเรียกใช้การทดสอบได้เร็วขึ้นและทดสอบแนวคิดเพิ่มเติมหรือไม่ คุณสามารถใช้นัยสำคัญทางสถิติ 85% หรือ 80% ได้หรือไม่ การมีเจตนาเกี่ยวกับยอดดุลความเสี่ยงและผลตอบแทนของคุณสามารถจ่ายเงินปันผลแบบทวีคูณเมื่อเวลาผ่านไปได้ ดังนั้นให้คิดอย่างรอบคอบ

อ่านเพิ่มเติมเกี่ยวกับ Optimizely Intelligence Cloud

หลักการและข้อมูลเชิงลึกอย่างรวดเร็วทั้งห้านี้จะเป็นประโยชน์อย่างยิ่งเมื่อต้องคำนึงถึงในขณะที่ใช้ Optimizely เช่นเดียวกับเครื่องมืออื่นๆ คุณต้องแน่ใจว่าคุณมีความเข้าใจที่ดีเกี่ยวกับการปรับแต่งเบื้องหลังทั้งหมด ดังนั้น คุณจึงมั่นใจได้ว่าคุณกำลังใช้เครื่องมือนี้อย่างมีประสิทธิภาพและประสิทธิผล ด้วยความเข้าใจเหล่านี้ คุณจะได้รับผลลัพธ์ที่เชื่อถือได้ตามที่ต้องการ เมื่อคุณต้องการ 

คุณคิดอย่างไร?

ไซต์นี้ใช้ Akismet เพื่อลดสแปม เรียนรู้วิธีการประมวลผลข้อมูลความคิดเห็นของคุณ.