بواسطة جي هان، بالافي فادنيس
في Netflix، نستخدم Amazon Web Services (AWS) لتلبية احتياجات البنية التحتية السحابية لدينا، مثل الحوسبة والتخزين والشبكات لبناء نظام البث الذي نحبه وتشغيله. يمكّن نظامنا البيئي الفرق الهندسية من تشغيل التطبيقات والخدمات على نطاق واسع، باستخدام مزيج من الحلول مفتوحة المصدر والملكية. وفي المقابل، تسمح منصات الخدمة الذاتية الخاصة بنا للفرق بإنشاء أحمال عمل ونشرها، وأحيانًا تكون مخصصة، بشكل أكثر كفاءة. يولد هذا المشهد التكنولوجي المتنوع بيانات واسعة النطاق وغنية من مختلف كيانات البنية التحتية، حيث يتعاون مهندسو البيانات والمحللون لتقديم رؤى قابلة للتنفيذ للمؤسسة الهندسية في حلقة تعليقات مستمرة تعمل في نهاية المطاف على تعزيز الأعمال.
إحدى الطرق الحاسمة التي نقوم من خلالها بذلك هي من خلال إضفاء الطابع الديمقراطي على مصادر البيانات عالية التنسيق التي تسلط الضوء على أنماط الاستخدام والتكلفة عبر خدمات Netflix وفرقها. تتعاون مؤسسة البيانات والرؤى بشكل وثيق مع فرقنا الهندسية لمشاركة مقاييس الكفاءة الرئيسية، وتمكين أصحاب المصلحة الداخليين من اتخاذ قرارات عمل مستنيرة.
هذا هو المكان الذي يأتي فيه فريقنا، Platform DSE (هندسة علوم البيانات)، لتمكين شركائنا الهندسيين من فهم الموارد التي يستخدمونها، ومدى فعالية وكفاءة استخدامهم لتلك الموارد، والتكلفة المرتبطة باستخدام مواردهم. نريد أن يتخذ عملاؤنا النهائيون قرارات واعية بالتكلفة باستخدام مجموعات البيانات الخاصة بنا.
لتلبية هذه الاحتياجات التحليلية العديدة بطريقة قابلة للتطوير، قمنا بتطوير حل مكون من مكونين:
- بيانات النظام الأساسي التأسيسي (FPD): يوفر هذا المكون طبقة بيانات مركزية لجميع بيانات النظام الأساسي، وتتميز بنموذج بيانات متسق ومنهجية معالجة بيانات موحدة.
- تحليلات كفاءة السحابة (CEA): مبنية على FPD، يوفر هذا المكون طبقة بيانات تحليلية توفر مقاييس كفاءة السلاسل الزمنية عبر حالات استخدام الأعمال المختلفة.
بيانات النظام الأساسي (FPD)
نحن نعمل مع موفري بيانات النظام الأساسي المختلفين للحصول على جرد, ملكية، و الاستخدام البيانات الخاصة بالمنصات المعنية التي يمتلكونها. فيما يلي مثال لكيفية تطبيق هذا الإطار على منصة Spark. إنشاء FPD عقود البيانات ومع المنتجين لضمان جودة البيانات وموثوقيتها؛ تسمح هذه العقود للفريق بالاستفادة من نموذج بيانات مشترك للملكية. يعزز نموذج البيانات الموحدة ومعالجتها قابلية التوسع والاتساق.
تحليلات كفاءة السحابة (بيانات CEA)
بمجرد أن تصبح البيانات الأساسية جاهزة، تستهلك CEA بيانات المخزون والملكية والاستخدام وتطبق ما يناسبها منطق الأعمال لإنتاج يكلف و إسناد الملكية في حبيبات مختلفة. نهج نموذج البيانات في CEA هو التقسيم والتقسيم شفاف; نريد أن يفهم المستهلكون النهائيون سبب ظهور الموارد تحت أسمائهم/مؤسستهم وكيفية حساب هذه التكاليف. هناك فائدة أخرى لهذا النهج وهي القدرة على التركيز بسرعة عند ظهور جديد أو تغييرات في منطق الأعمال.
* لأغراض محاسبة التكاليف، نقوم بتسوية الأصول لمالك واحد، أو توزيع التكاليف عندما تكون الأصول متعددة المستأجرين. ومع ذلك، فإننا نقدم أيضًا الاستخدام والتكلفة في مجموعات مختلفة لمختلف المستهلكين.
باعتبارنا مصدر الحقيقة لمقاييس الكفاءة، يتعين على مستأجري فريقنا تقديم بيانات دقيقة وموثوقة ويمكن الوصول إليها، ووثائق شاملة للتغلب على تعقيد مجال الكفاءة، واتفاقيات مستوى الخدمة (SLAs) المحددة جيدًا لتحديد التوقعات مع المستهلكين النهائيين أثناء التأخير أو الانقطاع أو التغيير.
في حين أن الملكية والتكلفة قد تبدو واضحة، فإن تعقيد مجموعات البيانات مرتفع إلى حد كبير بسبب اتساع ونطاق البنية التحتية للأعمال والميزات الخاصة بالمنصة. يمكن أن يكون للخدمات مالكين متعددين، وتكون استدلالات التكلفة فريدة لكل منصة، ويكون حجم بيانات الأشعة تحت الحمراء كبيرًا. بينما نعمل على توسيع تغطية البنية التحتية لتشمل جميع قطاعات الأعمال، فإننا نواجه مجموعة فريدة من التحديات:
أحجام قليلة لتناسب الأغلبية
على الرغم من عقود البيانات ونموذج البيانات الموحد لتحويل بيانات النظام الأساسي إلى FPD وCEA، إلا أنه عادة ما تكون هناك درجة معينة من التخصيص تكون فريدة من نوعها لتلك المنصة المعينة. وباعتبارنا مصدرًا مركزيًا للحقيقة، فإننا نشعر بالتوتر المستمر بشأن مكان وضع عبء المعالجة. تتضمن عملية صنع القرار محادثات شفافة مستمرة مع كل من منتجي البيانات والمستهلكين لدينا، وعمليات فحص متكررة لتحديد الأولويات، والمواءمة مع احتياجات العمل كقادة مطلعين في هذا المجال.
ضمانات البيانات
من أجل صحة البيانات والثقة بها، من المهم أن يكون لدينا عمليات تدقيق ورؤية لمقاييس الصحة في كل طبقة في التدفق من أجل التحقيق في المشكلات والأسباب الجذرية للانحرافات بسرعة. يصبح الحفاظ على اكتمال البيانات مع ضمان صحتها أمرًا صعبًا بسبب زمن الوصول المنبع والتحويلات المطلوبة لجعل البيانات جاهزة للاستهلاك. نحن نكرر باستمرار عمليات التدقيق التي نقوم بها وندمج التعليقات لتحسين اتفاقيات مستوى الخدمة الخاصة بنا والوفاء بها.
طبقات التجريد
نحن نقدر الأشخاص أكثر من العمليات، وليس من غير المألوف أن تقوم الفرق الهندسية ببناء حلول SaaS مخصصة لأجزاء أخرى من المؤسسة. على الرغم من أن هذا يعزز الابتكار ويحسن سرعة التطوير، إلا أنه يمكن أن يخلق بعض اللغز عندما يتعلق الأمر بفهم وتفسير أنماط الاستخدام وإسناد التكلفة بطريقة منطقية للشركة والمستهلك النهائي. من خلال بيانات واضحة للمخزون والملكية والاستخدام من FPD، والإسناد الدقيق في الطبقة التحليلية، نهدف إلى توفير مقاييس للمستخدمين النهائيين بغض النظر عما إذا كانوا يستخدمون الأنظمة الأساسية الداخلية ويبنون عليها أو على موارد AWS مباشرةً.
وبالنظر إلى المستقبل، نهدف إلى مواصلة تأهيل المنصات إلى FPD وCEA، ونسعى جاهدين لتغطية رؤية التكلفة الكاملة تقريبًا في العام المقبل. على المدى الطويل، نخطط لتوسيع نطاق FPD ليشمل مجالات أخرى من العمل مثل الأمان والتوفر. نحن نهدف إلى التحرك نحو الأساليب الاستباقية عبر التحليلات التنبؤية والتعلم الآلي لتحسين الاستخدام واكتشاف الحالات الشاذة في التكلفة.
في النهاية، هدفنا هو تمكين مؤسستنا الهندسية من اتخاذ قرارات واعية بالكفاءة عند إنشاء وصيانة عدد لا يحصى من الخدمات التي تسمح لنا بالاستمتاع بـ Netflix كخدمة بث مباشر.
لم يكن عمل FPD و CEA ممكنًا بدون المدخلات الوظيفية المتعددة للعديد من الزملاء المتميزين وفريقنا المتفاني في بناء أصول البيانات المهمة هذه.
—
قليلا عن المؤلفين:
يستمتع JHan بالطبيعة وقراءة الخيال والعثور على أفضل كعكات رقائق الشوكولاتة ولفائف القرفة. إنها مصرة على كتابة عبارة تحديد SQL بفواصل بادئة.
يستمتع بالافي بالموسيقى والسفر ومشاهدة الأفلام الوثائقية عن الفيزياء الفلكية. مع أكثر من 15 عامًا من العمل مع البيانات، فهي تعلم أن كل شيء يصبح أفضل من خلال مجموعة من التحليلات وفنجان من القهوة!
