[ad_1]
يسر Netflix أن تكون الراعي الرئيسي للعام الثاني على التوالي في مؤتمر 2023 حول التجارب الرقمية (CODE@MIT) في كامبريدج، ماساتشوستس. يتميز المؤتمر بمزيج متوازن من الأبحاث الأكاديمية والصناعية من البعض ذكي شرير أيها الناس، ونحن فخورون بأننا ساهمنا بعدد من المحادثات والملصقات إلى جانب الجلسة العامة.
بدأت مساهماتنا بمفهوم بالغ الأهمية لفهمنا لاختبارات أ/ب: البدائل!
ألقيت محاضرتنا الأولى من قبل أوريليان بيبوت (مع المؤلفين المشاركين ناثان كالوس، وسيمون أجديمير، ومايكل تشاو) والتي ناقشنا فيها كيفية قياس النتائج طويلة المدى بثقة باستخدام بدائل قصيرة المدى في ظل وجود التحيز. على سبيل المثال، كيف يمكننا تقدير تأثيرات الابتكارات على الاحتفاظ بالأعضاء بعد مرور عام دون إجراء جميع تجاربنا لمدة عام؟ لقد اقترحنا طريقة تقدير باستخدام إجراءات الطيات المتقاطعة، وإنشاء فترات ثقة صالحة للتأثيرات طويلة المدى قبل ملاحظة هذا التأثير بالكامل.
وفي وقت لاحق، تحدث مايكل تشاو (مع ماريا ديماكوبولو، وفيكي تشانغ، وآنه لي، وناثان كالوس) عن تقييم نماذج الفهرس البديلة لاتخاذ القرار بشأن المنتج. باستخدام 200 اختبار أ/ب حقيقي تم إجراؤه في Netflix، أظهرنا أن نماذج الفهرس البديل، التي تم إنشاؤها باستخدام بيانات أسبوعين فقط، تؤدي إلى نفس قرارات شحن المنتج بنسبة 95% تقريبًا من الوقت مقارنة بإجراء مكالمة على أساس شهرين البيانات. وهذا يعني أنه يمكننا إجراء اختبارات أقصر بثقة دون الحاجة إلى الانتظار شهورًا للحصول على النتائج!
ركز موضوعنا التالي على كيفية فهم وموازنة مقاييس المشاركة المتنافسة؛ على سبيل المثال، هل يجب أن تساوي ساعة واحدة من اللعب ساعة واحدة من البث المباشر؟ شارك مايكل تشاو وجوردان شيفر ملصقًا حول كيفية بناء مقياس معيار التقييم الشامل (OEC) الذي يوفر تقييمًا شاملاً لاختبارات أ/ب، مع ترجيح مقاييس المشاركة المختلفة بشكل مناسب لخدمة هدف عام واحد. وقد أتاح هذا الإطار الجديد اتخاذ قرارات سريعة وثقة في الاختبارات، ويتم تكييفه بشكل نشط مع استمرار أعمالنا في التوسع في مجالات جديدة.
في الجلسة العامة الثانية لهذا اليوم، أخذنا مارتن تينجلي في رحلة مقنعة وممتعة مليئة بالتعقيد، واستكشف التحديات الرئيسية في التجارب الرقمية وكيف تختلف عن التحديات التي واجهها الباحثون الزراعيون قبل قرن من الزمان. وسلط الضوء على مجالات التعقيد المختلفة وقدم وجهات نظر حول كيفية مواجهة التحديات الصحيحة بناءً على أهداف العمل.
محاضرتنا الأخيرة ألقاها أبورفا لال (مع المؤلفين المشاركين سمير خان ويوهان أوغاندر) والتي أوضحنا فيها كيف يمكن استخدام التحديد الجزئي لوظيفة الاستجابة للجرعة (DRF) في ظل افتراضات غير حدودية لتوفير تحليلات أكثر ثاقبة للتجارب التجريبية. البيانات من تحليل ATE القياسي. لقد قمنا بإعادة النظر في دراسة خفضت المحتوى ذي التفكير المماثل خوارزميًا، وأظهرنا كيف يمكننا توسيع تعلم ATE الثنائي للإجابة على كيفية تأثير مقدار المحتوى ذي التفكير المماثل الذي يراه المستخدم على مواقفه السياسية.
لقد استمتعنا بالتواصل مع مجتمع CODE@MIT والترابط حول حماسنا المشترك ليس فقط للقياس الدقيق في التجارب، ولكن أيضًا للملصقات والهدايا التي تحمل سمات الإحصائيات!
ونحن نتطلع إلى تكرار المؤتمر في العام المقبل ونأمل أن نراكم هناك!
بسست! نحن نقوم بتوظيف علماء بيانات عبر مجموعة متنوعة من المجالات في Netflix – راجع موقعنا الأدوار المفتوحة.
[ad_2]
