هولدن كاراو إليزابيث ستون بيدرو دوارتي كريس ستيفنز بالافي فادنيس لي وودريدج مارك تشو جيل بيريس سوجاي جين تريستان ريد سينثيلناثان أثينارايانان بهارات موماديسيتي أبهينايا شيتي جوديت لانتوس أمانويل كاهساي داو مي ميك دريلينج كريس كولبورن وأجاتا جريزبيك
في وقت سابق من هذا الصيف، عقدت Netflix أول منتدى لهندسة البيانات على الإطلاق. اجتمع المهندسون من جميع أنحاء الشركة لمشاركة أفضل الممارسات في كل شيء بدءًا من أنماط معالجة البيانات وحتى بناء خطوط أنابيب بيانات موثوقة. وكانت النتيجة سلسلة من المحادثات التي نشاركها الآن مع بقية مجتمع هندسة البيانات!
يمكنك العثور على كل محادثة أدناه مع وصف موجز لكل منها، أو يمكنك الانتقال مباشرة إلى قائمة التشغيل على YouTube هنا.
مكدس هندسة بيانات Netflix
كريس ستيفنز، مهندس البيانات، المحتوى والاستوديو، وبيدرو دوارتي، مهندس البرمجيات، التسجيل الموحد، يرشدان المهندسين الجدد في Netflix إلى العناصر الأساسية لمجموعة هندسة البيانات في Netflix. تعرّف على المزيد حول كيفية إنشاء مسارات البيانات المجمعة والمتدفقة في Netflix.
أنماط معالجة البيانات
يتحدث “لي وودريدج” و”بالافي فادنيس”، مهندسا البيانات في Netflix، عن كيفية تطبيق إستراتيجيات معالجة مختلفة لخطوط الإنتاج المجمعة الخاصة بك عن طريق تنفيذ تجريدات عامة للمساعدة في التوسع، وزيادة الكفاءة، والتعامل مع البيانات المتأخرة، والتسامح مع الأخطاء.
دفق SQL على شبكة البيانات باستخدام Apache Flink
يتحدث كل من Mark Cho وGuil Pires وSujay Jain، المهندسون من Netflix Data Platform عن كيف يمكن لتدفق SQL مُدار باستخدام Apache Flink أن يساعد في فتح حالات استخدام معالجة البث الجديدة في Netflix. يمكنك قراءة المزيد عن Data Mesh، منصة الجيل التالي لمعالجة البث من Netflix، هنا
بناء خطوط أنابيب موثوقة للبيانات
يتحدث هولدن كاراو، مهندس OSS، هندسة منصات البيانات، عن أهمية خطوط أنابيب البيانات الموثوقة وكيفية بنائها والتي تغطي الأدوات بدءًا من الاختبار وحتى التحقق من الصحة والتدقيق. يستخدم الحديث Apache Spark كمثال، ولكن المفاهيم عامة بغض النظر عن أدواتك المحددة.
إدارة المعرفة – الاستفادة من البيانات المؤسسية
يشارك تريستان ريد، مهندس البرمجيات، تجاربه حول مشروع إدارة المعرفة في Netflix، والذي يسعى إلى الاستفادة من تقنيات نمذجة اللغة والبيانات الوصفية من الأنظمة الداخلية لتحسين تأثير أكثر من 100 ألف مذكرة يتم تداولها داخل الشركة.
Psyberg، إطار عمل ETL تزايدي باستخدام Iceberg
يقدم كل من Abhinaya Shetty وBharath Mummadisetty، مهندسي البيانات من فريق هندسة بيانات العضوية في Netflix، Psyberg، وهو إطار عمل ETL تزايدي. تعرف على كيفية استفادة Psyberg من بيانات تعريف Iceberg للتعامل مع البيانات المتأخرة، وتحسين خطوط أنابيب البيانات مع تبسيط الحياة عند الطلب!
البدء/الإيقاف/المتابعة لتحسين وظائف ETL المعقدة
تشارك جوديت لانتوس، مهندسة البيانات، هندسة بيانات تجربة الأعضاء، دراسة حالة لتوضيح النهج الفعال لتحسين وظائف ETL المعقدة.
بيانات الوسائط للإنتاج الإبداعي في ML Studio
في العقدين الماضيين، أحدثت Netflix ثورة في طريقة استهلاك محتوى الفيديو، ومع ذلك، هناك عمل كبير يتعين القيام به لإحداث ثورة في كيفية صناعة الأفلام والبرامج التلفزيونية. في هذا الفيديو، يعرض كبير مهندسي البيانات أمانوال كاهساي وداو مي كيفية استخدام البيانات والرؤى لتحقيق مثل هذه الرؤية.
نأمل أن يجد زملائنا الأعضاء في مجتمع هندسة البيانات مقاطع الفيديو هذه مفيدة وجذابة. يرجى متابعة بيانات Netflix الخاصة بنا حساب على موقع تويتر للحصول على التحديثات والإخطارات الخاصة بمؤتمرات قمة هندسة البيانات المستقبلية!
ميك دريلينغ، كريس كولبورن
