مهارة رسمية · المنتج

خطة اختبار A/B

تكتب موجز اختبار A/B: الفرضية، والمقياس الأساسي ومقاييس الحماية، والـ MDE، وحجم العينة والمدة مع الحساب، وقواعد الإيقاف، وقاعدة قرار محددة مسبقًا.

تعمل في Claude وChatGPT ووكلاء البرمجة. في Team وBusiness، تتحدّث المهارة الرسمية في Pod فريقك تلقائيًا كلما حسّنّاها.

متى تستخدمها

ما تعطيه لها

ما تحصل عليه

خطة تجربة في صفحة واحدة فيها الفرضية، وجدول المقاييس، وحساب حجم العينة، والمدة، وقواعد الإيقاف، وقاعدة الإطلاق أو عدمه، والمخاطر.

كيف تعمل

  1. اكتب فرضية قابلة للدحض «بناءً على [الدليل]، نعتقد أن [التغيير] لـ [الجمهور] سيرفع [المقياس الأساسي]. وسنعرف أن هذا صحيح إن ارتفع [المقياس] بمقدار [MDE] على الأقل.» إن لم يكن هناك دليل فقل ذلك؛ والاختبار عندئذ استكشافي.
  2. اختر مقياسًا أساسيًا واحدًا ومن 1 إلى 3 مقاييس حماية المقياس الأساسي هو ما يحسم الاختبار. مقاييس الحماية مقاييس يجب ألا تسوء، مثل المبالغ المستردة، وإلغاء الاشتراكات، وزمن تحميل الصفحة، وتذاكر الدعم. اختر المقياس الأساسي الأقرب إلى النتيجة التي يستطيع التغيير تحريكها خلال مدة الاختبار.
  3. حدّد الحد الأدنى للأثر القابل للرصد الـ MDE هو أصغر تغير يستطيع الاختبار رصده بموثوقية. اختره من منظور العمل: أصغر تحسن يستحق الإطلاق. والـ MDE الأصغر يحتاج إلى عينة أكبر بكثير.
  4. قدّر حجم العينة والمدة، واعرض الطريقة القيم الافتراضية: مستوى دلالة 5% (α) وقوة إحصائية 80%، وهي الإعدادات الشائعة في أدوات مثل Statsig. لمعدل تحويل، قاعدة إيفان ميلر (Evan Miller) التقريبية هي n = 16 × p(1 − p) ÷ δ² لكل نسخة، حيث p المعدل الأساسي وδ الـ MDE المطلق. المدة = (n × عدد النسخ) ÷ المستخدمين أسبوعيًا في الاختبار، مقرّبة إلى أعلى إلى أسابيع كاملة حتى تُغطى كل أيام الأسبوع. أكّد الرقم بحاسبة قبل الإطلاق وسمِّها.
  5. اكتب قواعد الإيقاف لا توقف الاختبار مبكرًا لأن النتيجة تبدو دالة إحصائيًا: يبيّن إيفان ميلر أن النظر المتكرر في النتائج يضخّم النتائج الإيجابية الكاذبة. لا توقف مبكرًا إلا عند الضرر: مقياس حماية تجاوز حدًّا تضعه الآن، أو تجربة استخدام معطلة. افحص عدم تطابق نسبة العينة (أي أن التقسيم الفعلي يختلف عن المخطط له) باختبار مربع كاي (chi-square) قبل قراءة النتائج؛ ففريق التجارب في Microsoft يشترط أن يجتاز كل اختبار هذا الفحص أولًا.
  6. اكتب قاعدة القرار قبل الإطلاق اذكر ما ستفعله في كل نتيجة: أطلق التغيير إن تجاوز المقياس الأساسي الـ MDE ولم ينكسر أي مقياس حماية؛ لا تطلقه إن انكسر مقياس حماية؛ وإن لم تكن النتيجة حاسمة فأبقِ النسخة الأصلية وسجّل ما تعلمته. سمِّ من يتخذ القرار.
  7. اذكر المخاطر وتاريخ قراءة النتائج أثر الجِدّة، والموسمية، والتداخل مع اختبارات أخرى، والثغرات في التتبع. حدّد تاريخ قراءة النتائج من المدة، لا من موعد اجتماع.

شاركها مع فريقك

أضفها إلى AI Skill Pod، فيستخدم كل من في الفريق، والمتعاقدون أيضًا، الإصدار نفسه من أداة الذكاء الاصطناعي الخاصة به. اقرأ أفضل الطرق لمشاركة مهارات الذكاء الاصطناعي مع فريق

أضِفها إلى Pod فريقي

سجل التغييرات

المصادر

  1. How Not To Run an A/B Test - Evan Miller (قُرئ في 2026-11-04)
  2. Power Analysis - Statsig Docs (قُرئ في 2026-11-04)
  3. Diagnosing Sample Ratio Mismatch in A/B Testing - Microsoft Research (قُرئ في 2026-11-04)