racavedigger.com
Daily insights on Bitcoin and crypto markets
  • Facebook
  • Pinterest
  • Home
  • News

האם נטפליקס משתמשת באפצ’י?

Νίσα

סיכום:

אנו נדבר על השימוש ב- Elasticsearch ו- Apache Flink כדי לאינדקס נתוני GraphQL מאוחדים בארכיטקטורת חיפוש סטודיו נטפליקס. מאמר זה יכסה את הרעיון של תזמון משאבים מבוזר עם Apache Mesos ואת חשיבותו בהפעלת עומסי עבודה שונים. נחקור גם תזמון ילידי ענן באמצעות Apache Mesos ואת הצורך במנהל משאבים בהקצאת משאבים למשימות. בנוסף, נדגיש את השימוש בספריית התזמון של פנזו ואת תרומותיה לתזמון משאבים ביעילות. לבסוף, אנו נציג שלושה פרויקטים המריצים כיום אשכולות Apache Mesos בנטפליקס, כולל גנטיס, פלטפורמת עיבוד זרם תגובתי.

נקודות מפתח:

1. תזמון משאבים מופץ עם Apache Mesos: נטפליקס מנצלת את Apache Mesos כדי להפעיל אצווה, עיבוד זרם ועומסי עבודה בסגנון שירות עם הקצאת משאבים עדינה.

2. הגדלת אימוץ המכולות בתזמון משאבים מבוסס MESOS: מכולות הניעו את השימוש ב- MESOs לעיבוד זרם, עבודות אצווה ועומסי עבודה בסגנון שירות.

3. תזמון מקומי בענן עם Apache Mesos: הקצאת משאבים מופרדת מתזמון משימות באמצעות MESOs, ומאפשרת מתזמנים שונים המספקים למקרי שימוש שונים.

4. השימוש של נטפליקס ב- MESOs בסביבה מקורית בענן: נטפליקס מבטיחה כי המתזמנים יוכלו להתמודד עם חלוקתיות מוגברת של סוכנים ולסמן אוטומטית את אשכול הסוכנים של mesos על סמך הביקוש.

5. הצגת ספריית תזמון פנזו: נטפליקס תרמה את Fenzo, ספריית תזמון המאפשרת תזמון ומשאבים מתקדמים באשכולות Mesos אשכולות Mesos.

6. מאנטיס: פלטפורמת עיבוד זרם תגובתי: מאנטיס הוא שירות יליד ענן לעיבוד זרמים בזמן אמת, המאפשר עיבוד של מיליוני אירועים לשנייה ומנהל עבודות עיבוד זרם שונות.

7. ארכיטקטורת פלטפורמת גנטיס: פלטפורמת הגנטיס כוללת אשכול אמן וסוכנים, בו המשתמשים מגישים יישומי עיבוד זרם כמשרות.

שאלות ייחודיות:

  1. מה תפקידו של אפאצ’י mesos בניהול עומס העבודה של נטפליקס?
    Apache Mesos מאפשרת הקצאת משאבים עדינה ותזמון לתערובת של עומסי עבודה של אצווה, עיבוד זרם ועומסי עבודה בסגנון שירות בנטפליקס.
  2. כיצד נטפליקס מטפלת באימוץ מכולות בתזמון משאבים מבוסס mesos?
    נטפליקס ממנפת מכולות לעיבוד זרם, עבודות אצווה ועומסי עבודה בסגנון שירות, ומניעה את השימוש באשכולות mesos.
  3. אילו אתגרים מציבה סביבה ילידת ענן עבור מתזמן mesos?
    הפעלת אשכולות MESOs בסביבה ילידת ענן מחייבת טיפול בשמישות מוגברת של סוכנים וכוסית אוטומטית של אשכול הסוכנים של mesos על בסיס הביקוש.
  4. מדוע נטפליקס פיתחה את ספריית התזמון של פנזו?
    נטפליקס הציגה את ספריית התזמון של Fenzo כדי להתייחס לפער ביכולות בקרב המתזמנים הקיימים, מה שמאפשר תזמון משאבים מתקדם וכיסוי אוטומטי באשכולות mesos.
  5. מה זה שלמא, ומה מקרי השימוש בו?
    גנטיס היא פלטפורמת עיבוד זרם תגובתי בנטפליקס, המשמשת ללוח מחוונים בזמן אמת, גילוי אנומליה, ייצור מטרי וחקר אד-הוק של נתוני סטרימינג.
  6. כיצד פלטפורמת הגמל של גמל העלמה מטפלת בעיבוד מיליוני אירועים בשנייה?
    פלטפורמת המנטיס כוללת אשכול אמן וסוכנים, בו יישומים לעיבוד זרם פועלים כעובדים. זה מאפשר עיבוד יעיל של מיליוני אירועים בשנייה.
  7. האם אתה יכול לספק דוגמה למבצע של גמל שלמה ספציפית?
    מאנטיס מעבד תובנות עדינות לגילוי בעיות השמעה עם כותרות ספציפיות, כמו בית הקלפים, עונה 4, פרק 1 באייפד בברזיל.
  8. מה מטרת ספריית התזמון של פנזו בפלטפורמת גמל העלמאי?
    ספריית התזמון של Fenzo משמשת בפלטפורמת גמא למניעת המנטיס כדי להקצות משאבים למשימות המבוססות על יעדי תזמון מרובים וטיפול באוטו -סטייה של אשכול הסוכנים.
  9. כיצד מפרידה בין Mesos של אפאצ’י הקצאת משאבים ותזמון משימות?
    Apache Mesos מפריד בין הקצאת המשאבים למסגרות מתזמון משאבים למשימות, ומאפשר לתזמנים שונים לספק למקרי שימוש שונים.
  10. שמקרינים בנטפליקס מנהלים כיום את אשכולות Apache Mesos?
    שלושה פרויקטים המריצים כיום אשכולות אפאצ’י mesos בנטפליקס הם מאנטיס, טיטוס וספינקר.
  11. מה שמבדיל את מתזמן Mesos בסביבה ילידת ענן?
    מתזמנים Mesos בסביבה ילידת ענן חייבים להתמודד עם חלוקיות מוגברת של סוכנים ולגדול באופן אוטומטי את אשכול הסוכנים על סמך הביקוש.
  12. כיצד פנזו תורם לתזמון המשאבים ב- mesos?
    Fenzo מספקת יכולות תזמון משאבים מתקדמות, כגון אריזת סל ופצת משימות באזורי זמינות. זה גם מאפשר קנה מידה וסיום יעיל של סוכני סרק.
  13. מהם כמה מקרי שימוש עבור MESOs בהנדסת נטפליקס?
    Mesos משמש לגילוי אנומליה בזמן אמת, אימונים ומשרות אצווה לבניית מודלים, תזמור למידת מכונות וצומת.שירותי מיקרו מבוססי JS בנטפליקס.

תשובות:

  1. Apache Mesos ממלא תפקיד חיוני בניהול עומסי העבודה של נטפליקס בכך שהוא מאפשר הקצאת משאבים עדינה ותזמון לתערובת של אצווה, עיבוד זרם ועומסי עבודה בסגנון שירות. זה מאפשר ניצול יעיל של משאבים על ידי פח אריזת משימות למופע EC2 יחיד, הימנעות משימוש תת -אופטימלי ומקרים מיותרים. בנוסף, MESOS משתלב בצורה חלקה עם המערכת האקולוגית של מיקרו -שירותי Netflix ו- AWS, ומספקים גילוי שירות, איזון עומסים, ניטור ושילוב עם צינור ה- CI/CD שלהם, Spinnaker.
  2. נטפליקס מטפלת באימוץ מכולות בתזמון משאבים מבוסס mesos על ידי מינוף היתרונות של מכולות מבוססות Docker. מכולות שימשו יותר ויותר לעיבוד זרם, עבודות אצווה ועומסי עבודה בסגנון שירות בנטפליקס. הקלות בעבודה עם מכולות הובילה לאימוץ אשכולות מזוס למקרי שימוש שונים. על ידי שימוש במכולות, נטפליקס משיגה בידוד טוב יותר בין עומסי עבודה, פריסה מהירה יותר וניצול יעיל של המשאבים.
  3. בסביבה ילידת ענן, מתזמן MESOS מתמודדים עם אתגרים הקשורים לשאיפה המוגברת של סוכנים והצורך לסקר באופן אוטומטי את אשכול הסוכנים של Mesos על סמך הביקוש. סביבת הענן האלסטית של נטפליקס ב- AWS EC2 מחייבת את המתזמנים לטפל באופי הדינמי של הענן, שם ניתן להפסיק או להוסיף מקרים בתדירות גבוהה. המתזמנים צריכים להגיב במהירות לשינויים אלה ולהקצות משאבים בהתאם. נטפליקס התייחסה לאתגרים אלה על ידי פיתוח ספריית התזמון של Fenzo, המטפלת בשגיאה אוטומטית והקצאת משאבים יעילה על בסיס יעדי תזמון שונים ואילוצים שונים.
  4. נטפליקס פיתחה את ספריית התזמון של פנזו כדי להתמודד עם הדרישות והאתגרים הספציפיים של סביבתם הענן. מתזמנים קיימים חסרי יכולות תזמון משאבים מתקדמות, כגון אריזת סל ופצת משימות באזורי זמינות EC2. Fenzo מאפשר למשתמשים להגדיר יעדי תזמון מרובים ואילוצים, לאפשר הקצאה יעילה של משאבים למשימות, למזער את הפיצול ומיטב ניצול המשאבים. הספרייה ניתנת להרחבה באמצעות תוספים, עם יישומים מובנים ליעדי תזמון נפוצים. תרומה זו של נטפליקס שיפרה את ניהול המשאבים ותזמון המשאבים באשכולות אפאצ’י מסוס.
  5. Mantis היא פלטפורמת עיבוד זרם תגובתי בנטפליקס שנועדה לטפל בזרמי נתונים תפעוליים. הוא מספק מקרי שימוש שונים, כולל לוח מחוונים בזמן אמת, התראה, איתור אנומליה, ייצור מטרי וחקירה אינטראקטיבית אד-הוק של נתוני סטרימינג. הפלטפורמה מאפשרת לצוותים לגשת בקלות לאירועים בזמן אמת ולבנות יישומים עליהם. גנטיס מסוגל לעבד עד 8 מיליון אירועים בשנייה ולהפעיל מספר עבודות עיבוד נחלים בו זמנית. הפלטפורמה עוקבת כל הזמן אחר מיליוני שילובים ייחודיים של נתונים, ומספקת תובנות עדינות.
  6. פלטפורמת המנטיס מורכבת מאסטר ומאשכול סוכנים. משתמשים יכולים להגיש יישומי עיבוד זרם כמשרות, שמבוצעות על ידי עובד אחד או יותר באשכול הסוכנים. רכיב המאסטר מנצל את ספריית התזמון של Fenzo לצורך הקצאת משאבים יעילה והקצאת משימות. ארכיטקטורה זו מאפשרת לגמל שלמה להתמודד עם עיבוד מיליוני אירועים בשנייה על ידי הפצת עומס העבודה בקרב עובדים מרובים הפועלים על סוכנים נפרדים. הפלטפורמה מבטיחה זמינות גבוהה, סובלנות לתקלות ומדרגיות, ומאפשרת ביצוע חלק של עבודות עיבוד זרם.
  7. דוגמה למשימה ספציפית שמבוצעת על ידי מנטיס היא מעקב אחר בעיות בהפעלה עם כותרת מסוימת, כמו House of Cards, עונה 4, פרק 1 באייפד בברזיל. מנטיס מעבד תובנות עדינות לגילוי אם יש בעיות הפעלה למיליוני שילובים ייחודיים של נתונים. משימה זו כוללת ניטור בזמן אמת של אירועי הפעלה, ניתוח נתונים הקשורים לאיכות ההפעלה, מיקומי משתמש וסוגי מכשירים. על ידי זיהוי וטיפול בבעיות השמעה, גמא מסייעת לספק חווית צפייה חלקה למשתמשים ב- Netflix.
  8. ספריית התזמון של Fenzo ממלאת תפקיד מכריע בפלטפורמת המנטיס על ידי מתן יכולות תזמון משאבים מתקדמות ומאפשרת כיסוף אוטומטי של אשכול הסוכנים. Fenzo מקצה משאבים למשימות המבוססות על יעדי תזמון מרובים, כגון אריזת סל, שממזערת את פיצול המשאבים. זה גם תומך בהפצת משימות של עבודה באזורי זמינות EC2, ומבטיח זמינות גבוהה. הארכיטקטורה הניתנת להרחבה של Fenzo מאפשרת למשתמשים להגדיר קריטריוני כושר בהתאמה אישית ואילוצים, מה שמאפשר שליטה עדינה על הקצאת המשאבים. בסך הכל, Fenzo משפר את היעילות, המדרגיות והסובלנות לתקלות של פלטפורמת הגמל.
  9. Apache Mesos מפריד בין הקצאת המשאבים ותזמון המשימות כדי לאפשר גמישות ומספקת מקרי שימוש שונים. הקצאת משאבים מטופלת על ידי Mesos Frameworks, המבקשים משאבים מ- mesos. מתזמי המסגרות קובעים אילו משאבים להקצות לאילו משימות ומתי, על סמך היגיון התזמון שלהם. MESO. הפרדה זו מאפשרת למסגרות שונות ליישם מתזמנים משלהם, תוך אופטימיזציה של הקצאת המשאבים למקרי השימוש הספציפיים שלה.
  10. שלושה פרויקטים משתמשים כיום באשכולות Apache Mesos בנטפליקס: גמל, טיטוס וספינקר. MANTIS היא פלטפורמת עיבוד זרם תגובתי לזרמי נתונים בזמן אמת, ואילו TITUS מספקת שילוב הדוק עם שירותי המיקרו של Netflix ו- AWS EcoSystem. Spinnaker היא פלטפורמת מסירה רציפה לפריסה וניהול יישומים. לכל פרויקט יש דרישות ייחודיות ומקרי שימוש, וממנף את היכולות של Apache Mesos לניהול משאבים יעיל, תזמון עומס עבודה ומדרגיות.
  11. מתזמן Mesos בסביבה ילידת ענן מתמודדים עם אתגרים הקשורים לאופי הדינאמי של מופעי ענן ותנודות ביקוש. מתזמנים ילידי ענן צריכים להתמודד. נוסף. היכולת לנהל ביעילות הקצאה וגם מיקום של משאבים, יחד עם הסתגלות לדרישה לשינויים, מבדילה בין מתזמי MESOS בסביבה ילידת ענן.
  12. ספריית התזמון של Fenzo תורמת לתזמון משאבים ב- MESOs על ידי מתן יכולות והרחבה מתקדמות. Fenzo מאפשרת אריזת פח יעילה של משימות למזעור הפיצול ולבצע אופטימיזציה של ניצול המשאבים. זה גם מאפשר למשתמשים להגדיר קריטריוני כושר בהתאמה אישית ואילוצים, מה שמאפשר לוגיקת הקצאת משאבים הניתנת להתאמה אישית מאוד. על ידי שילוב של Fenzo, אשכולות mesos יכולים להקצות ביעילות משאבים למשימות, סקירה אוטומטית על בסיס ביקוש ולהבטיח זמינות גבוהה על ידי הפצת משימות באזורי זמינות.
  13. Apache Mesos מנוצל בנטפליקס הנדסת למקרי שימוש שונים, כולל איתור אנומליה בזמן אמת, אימונים ומשרות אצווה לבניית מודלים, תזמור למידת מכונות וצומת הפעלה.שירותי מיקרו של JS. MESO. על ידי מינוף יכולות הקצאת המשאבים והמתזמון של Mesos Grience, מהנדסי נטפליקס מסוגלים להפעיל עומסי עבודה מורכבים על פני תשתית מבוזרת.

חיפוש סטודיו של נטפליקס: שימוש ב- Elasticsearch ו- Apache Flink כדי לאינדקס נתוני GraphQL Federated

תרשים האדריכלות לעיל לטיטוס מציג את אדונו המשתמש בפנזו כדי להקצות משאבים מסוכני mesos. טיטוס מספק שילוב הדוק במערכת האקולוגית של Netflix Microsers ו- AWS, כולל אינטגרציות לגילוי שירות, איזון עומסים מבוסס תוכנה, ניטור וצינור CI/CD שלנו, Spinnaker. היכולת לכתוב מנהלים מותאמים אישית ב- MESO.

תזמון משאבים מופץ עם Apache Mesos

Netflix משתמשת ב- Apache Mesos כדי להריץ תערובת של אצווה, עיבוד זרם ועומסי עבודה בסגנון שירות. במשך למעלה משנתיים ראינו שימוש מוגבר למגוון מקרי שימוש כולל איתור אנומליה בזמן אמת, אימונים ומשרות אצווה לבניית מודלים, תזמורת למידת מכונות וצומת.שירותי מיקרו מבוססי JS. המהדורה האחרונה של Apache Mesos 1.0 מייצג את בגרות הטכנולוגיה שהתפתחה משמעותית מאז שהתחלנו להתנסות בה לראשונה.

השימוש הראשוני שלנו ב- Apache Mesos הונע על ידי הקצאת משאבים משובחת למשימות בגדלים שונים שניתן לארוז במופע EC2 יחיד. בהיעדר Mesos, או מנהל משאבים דומה, היינו צריכים לוותר על הקצאת גרעינים משובחים למספר מוגבר של מקרים עם שימוש תת -אופטימלי, או לפתח טכנולוגיה הדומה ל- mesos, או לפחות תת קבוצה של זה.

האימוץ ההולך וגובר של מכולות לעיבוד זרם ומשרות אצווה ממשיך להניע שימוש בתזמון משאבים מבוסס mesos. לאחרונה, המפתח מרוויח מעבודה עם מכולות מבוססות Docker הביא מערך עומסי עבודה בסגנון שירות על אשכולות mesos. אנו מציגים כאן סקירה כללית של כמה מהפרויקטים המשתמשים ב- Apache Mesos ברחבי Netflix Engineering. אנו מראים את מקרי השימוש השונים שהם מתייחסים אליהם וכיצד הם משתמשים בטכנולוגיה ביעילות. לפרטים נוספים על כל אחד מהפרויקטים, אנו מספקים קישורים לפוסטים אחרים בסעיפים להלן.

תזמון מקורי ענן באמצעות Apache Mesos

על מנת להקצות משאבים ממופעים שונים של EC2 למשימות, אנו זקוקים למנהל משאבים שהופך את המשאבים לזמינים לתזמון ומבצע את הלוגיסטיקה של השקה ומעקב אחר המשימות על קבוצה מבוזרת של מקרים EC2. Apache Mesos מפריד את הקצאת המשאבים ל “מסגרות” המבקשים להשתמש באשכול, מתזמון משאבים למשימות על ידי המסגרות. בעוד שמסוס קובע כמה משאבים מוקצים למסגרת, המסגרת’S המתזמן קובע אילו משאבים להקצות לאילו משימות ומתי. המתזמנים מוצגים ממשק API פשוט יחסית, כך שהם יכולים להתמקד בהיגיון התזמון ולהגיב לכישלונות, שהם בלתי נמנעים במערכת מבוזרת. זה מאפשר למשתמשים לכתוב מתזמנים שונים המתאימים למקרי שימוש שונים, במקום ש- Mesos יצטרכו להיות המתזמן המונוליטי היחיד עבור כל מקרי השימוש. התרשים שלהלן מתעבוד Mesos מופע “מסגרת 1” קבלת הצעה מ “סוכן 1” ולהשיק שתי משימות.

קהילת Mesos ראתה מתזמנים מרובים שפותחו לאורך זמן המספקים מקרי שימוש ספציפיים ומציגים ממשקי API ספציפיים למשתמשים שלהם.

נטפליקס מריץ שירותי מיקרו שונים בענן אלסטי, AWS EC2. הפעלת אשכולות Mesos בסביבה ילידת ענן דרשה מאיתנו להבטיח שהמתזמנים יוכלו להתמודד עם שני היבטים בנוסף למה שהמתזמנים הפועלים בסביבת מרכז נתונים עושים – הגדלת הרוח של הסוכנים המנהלים את המשימות, והיכולת לסגור אוטומטית את אשכול הסוכנים של Mesos על סמך הביקוש. כמו כן, מקרי השימוש שעלינו בראש קראו לתזמון מתקדם יותר של משאבים מאשר סוג של מטלה ראשונה. לדוגמה, אריזת פח של משימות לסוכנים על ידי השימוש בהן במעבדים, זיכרון ורוחב פס רשת על מנת למזער את פיצול המשאבים. אריזת BIN עוזרת לנו גם לשחרר כמה שיותר סוכנים כדי להקל על קנה המידה של אשכול הסוכנים על ידי סיום סוכני סרק מבלי להפסיק משימות הפעלה.

זיהוי פער ביכולות כאלה בקרב המתזמנים הקיימים, בשנה שעברה תרמנו ספריית תזמון בשם Fenzo. Fenzo AutoScales את אשכול הסוכנים על בסיס דרישה ומקצה משאבים למשימות על בסיס יעדי תזמון מרובים המורכבים באמצעות קריטריוני כושר ואילוצים. קריטריוני הכושר והאילוצים ניתנים להרחבה באמצעות תוספים, עם כמה יישומים נפוצים המובנים, כמו אריזת סל ופצת משימות של עבודה באזורי זמינות EC2 לזמינות גבוהה. כל מסגרת mesos הפועלת ב- JVM יכולה להשתמש בספריית Java Fenzo Java.

Mesos בנטפליקס

להלן שלושה פרויקטים שמפעילים כיום אשכולות אפאצ’י mesos.

גְמָל שְׁלֹמֹה

Mantis היא פלטפורמת עיבוד זרם תגובתי הפועלת כשירות מקורי ענן עם דגש על זרמי נתונים תפעוליים. מאנטיס מכסה מקרי שימוש מגוונים הכוללים לוח מחוונים בזמן אמת, התראה, איתור אנומליה, ייצור מטרי וחקירה אינטראקטיבית אד-הוק של נתוני סטרימינג. יצרנו גמל שלמא כדי להקל על הצוותים לקבל גישה לאירועים בזמן אמת ולבנות עליהן יישומים. נכון לעכשיו, מאנטיס מעבד זרמי אירועים של עד 8 מיליון אירועים בשנייה ומריץ מאות משרות לעיבוד זרם מסביב לשעון. עבודה אחת כזו מתמקדת בכותרות בודדות, עיבוד תובנות עדינות כדי להבין אם, למשל, יש בעיות בהפעלה עם בית הקלפים, עונה 4, פרק 1 באייפד בברזיל. זה מסתכם במעקב אחר מיליוני שילובים ייחודיים של נתונים כל הזמן.

פלטפורמת המנטיס כוללת מאסטר ואשכול סוכנים. משתמשים מגישים יישומי עיבוד זרם כמשרות הפועלות כעובדים אחד או יותר באשכול הסוכנים. המאסטר משתמש בספריית התזמון של Fenzo עם Apache Mesos כדי להקצות משאבים בצורה אופטימלית למשרה’עובדים. מטרת הקצאה אחת כזו מציבה עבודות עיבוד זרם תמידי על סוכנים הנפרדים מאלו שמריצים עבודות אינטראקטיביות חולפות. זה עוזר בהיקף של אשכול הסוכנים כאשר המשרות החולפות מושלמות. התרשים שלהלן מציג ארכיטקטורת גמל שלמה. עובדים מהעבודות השונות עשויים לרוץ על אותו סוכן באמצעות בידוד משאבים מבוסס קבוצות.

טיטוס

טיטוס היא פלטפורמת ניהול עבודה וביצוע של Docker Container. בתחילה, טיטוס שימש עבודות אצווה שכללו אימוני אלגוריתם (כותרות דומות להמלצות, ניתוח תאי מבחן A/B וכו ‘.) כמו גם עבודות דיווח אד-הוק וניתוח לפי שעה. לאחרונה, טיטוס החל לתמוך במשרות בסגנון שירות (Netflix Microservices) הזקוקים לחווית פיתוח מקומית עקבית כמו גם לניהול משאבים משובח יותר. טיטוס’ השימוש בסגנון שירות ראשוני מיועד לארכיטקטורה מחדש של API באמצעות שרת בצד NodeJS.

תרשים האדריכלות לעיל לטיטוס מציג את אדונו המשתמש בפנזו כדי להקצות משאבים מסוכני mesos. טיטוס מספק שילוב הדוק במערכת האקולוגית של Netflix Microsers ו- AWS, כולל אינטגרציות לגילוי שירות, איזון עומסים מבוסס תוכנה, ניטור וצינור CI/CD שלנו, Spinnaker. היכולת לכתוב מנהלים מותאמים אישית ב- MESO.

מזון

מסון הוא מסגרת זרימת עבודה למטרה כללית ותזמון תזמון שנבנה לניהול צינורות למידת מכונה.

מסון מתמודד עם תערובת הטרוגנית של עבודות עם דרישות משאבים משתנות למעבד, זיכרון ושטח דיסק. זה תומך בהפעלת עבודות ניצוץ יחד עם עבודות אצווה אחרות באשכול משותף. משימות הן משאב מבודדות על הסוכנים באמצעות בידוד מבוסס קבוצות. מתזמן Meson מעריך את המוכנות של משימות המבוססות על גרף ומשיק את המשימות המוכנות באמצעות הצעות משאבים מ- mesos. טיפול בכישלון כולל השקה מחודשת של משימות כושלות וכן סיום משימות שנחשבו לשתול.

התרשים לעיל מציג את Meson’S אדריכלות. צוות Meson עובד כעת על שיפור יכולות התזמון שלו באמצעות ספריית התזמון של Fenzo.

עבודה מתמשכת עם אפאצ’י mesos

חיפוש סטודיו של נטפליקס: שימוש ב- Elasticsearch ו- Apache Flink כדי לאינדקס נתוני GraphQL Federated

מהנדסי נטפליקס פרסמו לאחרונה כיצד בנו חיפוש סטודיו, באמצעות זרמי Apache Kafka, תהליך רשת נתונים מבוסס אפאצ’י מבוסס פלינק וכיור Elasticsearch לניהול האינדקס. הם עיצבו את הפלטפורמה כדי לקחת חלק מתרשים GraphQL הפדרלי של נטפליקס ולהפוך אותה לחיפוש. כיום, חיפוש סטודיו מפעיל חלק משמעותי מחוויית המשתמש עבור יישומים רבים בארגון.

בהנדסת התוכן של נטפליקס, כל צוות בונה ומפעיל באופן עצמאי את שירותי גרפי הדומיין שלהם (DGS) ובמקביל מחבר את הדומיין שלו עם תחומים אחרים בסכימת גרפיקה אחידה שנחשפה על ידי שער פדרציה. בהתחשב במבנה זה, מהנדסי נטפליקס אלכס הוטר, פאלגוני ג’הברי וסנטיל סייבאבא מסבירים את המוטיבציה לחיפוש סטודיו:

פעם ישויות [. ] זמינים בתרשים, מקובל מאוד שאנשים ירצו לשאול עבור ישות מסוימת המבוססת על תכונות של ישויות קשורות, ה.ז. תן לי את כל הסרטים שנמצאים כרגע בצילום עם ריאן ריינולדס כשחקן.

דוגמה לגופים מקושרים בתרשים שמשתמשים רוצים לחפש
מקור: https: // netflixtechblog.com/How-netflix-Content-Engineering-Makes-A-A-Feederated-Graphable-5c0c1c7d7af

לדברי המחברים, בארכיטקטורת גרפים פדרטית, כל שירות “יצטרך לספק נקודת קצה המקבלת שאילתה ומסננים שעשויים לחול על נתונים שהשירות אינו בבעלותו“ ולהשתמש באלה כדי לזהות את הגופים המתאימים שעליה לחזור. גרוע מכך, “כל ישות בבעלות על ישות יכול להידרש לעשות עבודה זו.”הבעיה הנפוצה הזו של יצירת גרף פדרציה הניתנת לחיפוש הובילה ליצירת חיפוש באולפן.

ארכיטקטורת אינדקס חיפוש סטודיו
מקור: https: // netflixtechblog.com/How-netflix-Content-Engineering-Makes-A-A-Feederated-Graphable-5c0c1c7d7af

התרשים לעיל ממחיש את הארכיטקטורה של Studio Search וכיצד הוא שומר על אינדקס לחלק מהגרף הפדרלי. אירועי יישום ושינוי אירועי לכידת נתונים (CDC) מוזרמים לזרמי קפקא סכימים. תהליכי רשת נתונים ב- Apache Flink צורכים אירועים אלה ומעשרים את הנתונים באמצעות שאילתות גרפיק של המשתמש על ידי המשתמש כנגד השער הפדרטי. מסמכים מובטחים מונחים על נושא Kafka סכימו אחר לפני עיבוד על ידי כיור אלסטיקס מחקר ברשת נתונים שמאדמת אותם ל- Elasticsearch.

הצוות ביצע אינטגרציות ביד מוקדם, אך ככל שהוא הוצף בבקשות להשתלב בחיפוש באולפן, זה לא קנה מידה. “היינו צריכים לבנות כלים שיעזרו לנו לאוטומציה כמה שיותר מהספקת הצינורות.”

כדי לאפשר אוטומציה, הצוות הגדיר קובץ תצורת יאמל יחיד שאפשר למשתמשים לספק תיאור ברמה גבוהה של הצינור שלהם. הם משתמשים בתצורה זו, בתורם, כדי ליצור באופן תכנותי את צינור האינדקס ברשת הנתונים.

לִטעוֹם .תצורת YAML
מקור: https: // netflixtechblog.com/How-netflix-Content-Engineering-Makes-A-A-Feederated-Graphable-5c0c1c7d7af

מתבנית שאילתת GraphQL בקובץ התצורה, הצוות מייצר סכמת אברו של אפאצ’י הנדרשת לזרמי הקפקא הסכימים ותבנית אינדקס הנדרשת עבור Elasticsearch. לבסוף, פריסת הגשה עצמית אפשרית באמצעות כלי ממשק פקודה מבוסס פיתון (CLI).

האתגרים שעומדים בפני הצוות כיום הם כיצד לאתחל אינדקס חדש תוך כדי לא להעמיס על המערכת, לשיפור השימוש בביטוי הפוך, ועקביות וסובלנות אינדקס טובה יותר כנגד נתונים חסרים או חסרים.

האם נטפליקס משתמשת באפצ’י?

Б эой сранице

Ы зé. С помדיר. Почем эо мого?

Эа сраница о бображае тех сах, кога воматеשיים си сисלוח рmе рגות р רבות ш רבות р р рוהים р рוהים которые нé. Сраница пересанет ообрוחים. До эого момента д.

Исочником запросов может сmжж вредоносfte по, подаееые моди базלוח нилm mчnзnзnчnчnчnчnчnчnчnчnчnчnчnчnчnчnчзדי ы з запросов. Еи ы иололalty ощий дדיר. O. Подробнרבה.

Проверка по сов может тelte пояяе, еи ы водите сדיר еами, или же водите запроы ченн часо.

האם נטפליקס משתמשת באפצ’י?

Б эой сранице

Ы зé. С помדיר. Почем эо мого?

Эа сраница о бображае тех сах, кога воматеשיים си сисלוח рmе рגות р רבות ш רבות р р рוהים р рוהים которые нé. Сраница пересанет ообрוחים. До эого момента д.

Исочником запросов может сmжж вредоносfte по, подаееые моди базלוח нилm mчnзnзnчnчnчnчnчnчnчnчnчnчnчnчnчnчnчзדי ы з запросов. Еи ы иололalty ощий дדיר. O. Подробнרבה.

Проверка по сов может тelte пояяе, еи ы водите сדיר еами, или же водите запроы ченн часо.

האם נטפליקס משתמשת באמזון S3 האם נטפליקס משתמשת ב- AWS?

Related Posts

how_to_stay_safe_on_onlyfans_5

Νίσα

OnlyFans Free Pages vs Paid: How Access Differs

onlyfans_help_center

Νίσα

Budgeting Tips and PPV Across Free OnlyFans Pages

6a0b117e02549eec1a0db52c_infographic_user_growth_bar_chart-1

Νίσα

Safe Browsing Protocols for Zero-Dollar OnlyFans Pages

banner
banner

PROMO

racavedigger.com
© racavedigger.com 2026