Χρησιμοποιεί το Netflix Apache?
Περίληψη:
Θα συζητήσουμε τη χρήση των Elasticsearch και Apache Flink για να ευρετήρια τα ομοσπονδιακά δεδομένα GraphQL στη Netflix Studio Search Architecture. Αυτό το άρθρο θα καλύψει την έννοια του κατανεμημένου προγραμματισμού πόρων με το Apache Mesos και τη σημασία του για τη λειτουργία διαφόρων φόρτων εργασίας. Θα διερευνήσουμε επίσης τον προγραμματισμό του cloud-native χρησιμοποιώντας το Apache mesos και την ανάγκη για διαχειριστή πόρων για την κατανομή των πόρων σε εργασίες. Επιπλέον, θα επισημάνουμε τη χρήση της βιβλιοθήκης προγραμματισμού Fenzo και τις συνεισφορές της στον προγραμματισμό των πόρων αποτελεσματικά. Τέλος, θα παρουσιάσουμε τρία έργα που εκτελούν επί του παρόντος συστάδες Apache Mesos στο Netflix, συμπεριλαμβανομένου του Mantis, μιας πλατφόρμας επεξεργασίας αντιδραστικής ροής.
Βασικά σημεία:
1. Κατανεμημένος προγραμματισμός πόρων με το Apache MESOS: Το Netflix χρησιμοποιεί το Apache MESOS για την εκτέλεση παρτίδων, επεξεργασίας ροής και φόρτου εργασίας τύπου υπηρεσιών με εκλεκτό κυλίνδρους κατανομής πόρων.
2. Αύξηση της υιοθέτησης των εμπορευματοκιβωτίων στον προγραμματισμό πόρων που βασίζονται σε MESOS: Τα εμπορευματοκιβώτια έχουν οδηγήσει τη χρήση του MESOS για επεξεργασία ροής, θέσεις εργασίας παρτίδας και φόρτου εργασίας σε στυλ υπηρεσίας.
3. Cloud Native Προγραμματισμός με Apache MESOS: Η κατανομή των πόρων διαχωρίζεται από τον προγραμματισμό των εργασιών χρησιμοποιώντας το MESOS, επιτρέποντας διαφορετικούς προγραμματιστές που τροφοδοτούν σε διάφορες περιπτώσεις χρήσης.
4. Η χρήση του MESOS από το Netflix σε cloud ιθαγενή περιβάλλον: Το Netflix εξασφαλίζει ότι οι προγραμματιστές μπορούν να χειριστούν την αυξημένη εφήμερη παράσταση και το autoScale το σύμπλεγμα του πράκτορα Mesos με βάση τη ζήτηση.
5. Παρουσιάζοντας τη βιβλιοθήκη προγραμματισμού Fenzo: Η Netflix συνέβαλε στο Fenzo, μια βιβλιοθήκη προγραμματισμού που επιτρέπει τον προηγμένο προγραμματισμό των πόρων και την αυτόματη μετατόπιση σε συστάδες mesos.
6. Mantis: Μια πλατφόρμα επεξεργασίας αντιδραστικής ροής: Το Mantis είναι μια υπηρεσία cloud-native για επεξεργασία ροής σε πραγματικό χρόνο, επιτρέποντας την επεξεργασία εκατομμυρίων συμβάντων ανά δευτερόλεπτο και τη λειτουργία διαφόρων εργασιών επεξεργασίας ροής.
7. Αρχιτεκτονική πλατφόρμας Mantis: Η πλατφόρμα Mantis περιλαμβάνει ένα σύμπλεγμα Master and Agent, όπου οι χρήστες υποβάλλουν εφαρμογές επεξεργασίας ροής ως θέσεις εργασίας.
Μοναδικές ερωτήσεις:
- Ποιος είναι ο ρόλος του Apache Mesos στη διαχείριση του φόρτου εργασίας του Netflix?
Το Apache MESOS επιτρέπει την κατανομή και τον προγραμματισμό των πόρων για ένα μείγμα παρτίδων, επεξεργασίας ροής και φόρτου εργασίας στο Netflix. - Πώς χειρίζεται η Netflix την υιοθέτηση των εμπορευματοκιβωτίων στον προγραμματισμό πόρων που βασίζεται στο MESOS?
Το Netflix αξιοποιεί τα εμπορευματοκιβώτια για επεξεργασία ροής, θέσεις εργασίας παρτίδων και φόρτου εργασίας τύπου υπηρεσίας, οδηγώντας τη χρήση των συμπλεγμάτων mesos. - Τι προκλήσεις θέτει ένα φυσικό περιβάλλον σύννεφο για τους προγραμματιστές MESOS?
Η λειτουργία των συστάδων Mesos σε ένα φυσικό περιβάλλον σύννεφο απαιτεί χειρισμό αυξημένης εφήμερων παραγόντων και αυτόματη συσσώρευση του συμπλέγματος των πράκτορα mesos με βάση τη ζήτηση. - Γιατί η Netflix αναπτύσσει τη βιβλιοθήκη προγραμματισμού Fenzo?
Η Netflix εισήγαγε τη βιβλιοθήκη προγραμματισμού Fenzo για να αντιμετωπίσει ένα χάσμα στις δυνατότητες μεταξύ των υφιστάμενων προγραμματιστών, επιτρέποντας τον προγραμματισμό και την αυτόματη εκλογή των προχωρημένων πόρων σε συστάδες mesos. - Τι είναι ο Mantis και ποιες είναι οι περιπτώσεις χρήσης του?
Το Mantis είναι μια πλατφόρμα επεξεργασίας αντιδραστικής ροής στο Netflix, που χρησιμοποιείται για το ταμπλό σε πραγματικό χρόνο, την ανίχνευση ανωμαλιών, τη μέτρηση και την ad-hoc εξερεύνηση δεδομένων ροής. - Πώς χειρίζεται η πλατφόρμα Mantis επεξεργασία εκατομμυρίων εκδηλώσεων ανά δευτερόλεπτο?
Η πλατφόρμα Mantis περιλαμβάνει ένα σύμπλεγμα Master and Agent, όπου οι εφαρμογές επεξεργασίας ροής εκτελούνται ως εργαζόμενοι. Αυτό επιτρέπει την αποτελεσματική επεξεργασία εκατομμυρίων συμβάντων ανά δευτερόλεπτο. - Μπορείτε να δώσετε ένα παράδειγμα συγκεκριμένης εργασίας που εκτελεί ο Mantis?
Ο Mantis επεξεργάζεται λεπτομερώς τις ιδέες για την ανίχνευση προβλημάτων αναπαραγωγής με συγκεκριμένους τίτλους, όπως το House of Cards, Season 4, επεισόδιο 1 σε iPads στη Βραζιλία. - Ποιος είναι ο σκοπός της βιβλιοθήκης προγραμματισμού Fenzo στην πλατφόρμα Mantis?
Η βιβλιοθήκη προγραμματισμού Fenzo χρησιμοποιείται στην πλατφόρμα Mantis για την εκχώρηση πόρων σε εργασίες που βασίζονται σε πολλαπλούς στόχους προγραμματισμού και χειρίζονται την αυτόματη μετατόπιση του συμπλέγματος των πράκτορα. - Πώς διαχωρίζει το Apache mesos την κατανομή των πόρων και τον προγραμματισμό των εργασιών?
Το Apache MESOS διαχωρίζει την κατανομή των πόρων σε πλαίσια από τον προγραμματισμό των πόρων σε εργασίες, επιτρέποντας σε διαφορετικούς προγραμματιστές να εξυπηρετήσουν διάφορες περιπτώσεις χρήσης. - Τα οποία προβάλλουν στο Netflix εκτελούν επί του παρόντος συστάδες apache mesos?
Τρία έργα που εκτελούν επί του παρόντος συστάδες Apache Mesos στο Netflix είναι Mantis, Titus και Spinnaker. - Αυτό που διακρίνει τους προγραμματιστές mesos σε ένα περιβάλλον cloud-native?
Οι προγραμματιστές mesos σε ένα περιβάλλον cloud-native πρέπει να χειρίζονται την αυξημένη εφήμερη των παραγόντων και το autoScale το σύμπλεγμα των πράκτορα με βάση τη ζήτηση. - Πώς συμβάλλει ο Fenzo στον προγραμματισμό των πόρων στο MESOS?
Το Fenzo παρέχει προηγμένες δυνατότητες προγραμματισμού πόρων, όπως καθήκοντα συσκευασίας και εξάπλωσης κάδων σε όλες τις ζώνες διαθεσιμότητας. Επιτρέπει επίσης την αποτελεσματική κλιμάκωση και τερματισμό των αδρανών παραγόντων. - Ποιες είναι μερικές περιπτώσεις χρήσης για mesos στο Netflix Engineering?
Το MESOS χρησιμοποιείται για ανίχνευση ανωμαλιών σε πραγματικό χρόνο, θέσεις εργασίας κατάρτισης και κατασκευής μοντέλων, ενορχηστρώση μηχανικής μάθησης και κόμβος.Microservices με βάση το JS στο Netflix.
Απαντήσεις:
- Το Apache Mesos διαδραματίζει ζωτικό ρόλο στη διαχείριση του φόρτου εργασίας της Netflix, επιτρέποντας την κατανομή και τον προγραμματισμό των πόρων και τον προγραμματισμό για ένα μείγμα παρτίδας, επεξεργασίας ροής και φόρτου εργασίας τύπου υπηρεσίας. Επιτρέπει την αποτελεσματική αξιοποίηση των πόρων από εργασίες συσκευασίας σε ένα ενιαίο παράδειγμα EC2, αποφεύγοντας την υποβέλτιστη χρήση και τις περιττές περιπτώσεις. Επιπλέον, το MESOS ενσωματώνεται απρόσκοπτα με το οικοσύστημα Microservices της Netflix, παρέχοντας ανακάλυψη υπηρεσιών, εξισορρόπηση φορτίου, παρακολούθηση και ενσωμάτωση με τον αγωγό CI/CD τους, Spinnaker.
- Η Netflix χειρίζεται την υιοθέτηση εμπορευματοκιβωτίων στον προγραμματισμό πόρων που βασίζεται σε MESOS, αξιοποιώντας τα οφέλη των δοχείων με βάση το Docker. Τα εμπορευματοκιβώτια έχουν χρησιμοποιηθεί όλο και περισσότερο για επεξεργασία ροής, θέσεις εργασίας σε παρτίδες και φόρτο εργασίας τύπου υπηρεσίας στο Netflix. Η ευκολία εργασίας με δοχεία οδήγησε στην υιοθέτηση συμπλεγμάτων Mesos για διάφορες περιπτώσεις χρήσης. Χρησιμοποιώντας δοχεία, το Netflix επιτυγχάνει καλύτερη απομόνωση μεταξύ φόρτου εργασίας, ταχύτερης ανάπτυξης και αποτελεσματικής χρήσης πόρων.
- Σε ένα περιβάλλον cloud-native, οι προγραμματιστές MESOS αντιμετωπίζουν προκλήσεις που σχετίζονται με την αυξημένη εφήμερη των παραγόντων και την ανάγκη για την αυτόματη κλίμακα του συμπλέγματος των πράκτορα Mesos με βάση τη ζήτηση. Το ελαστικό περιβάλλον σύννεφων της Netflix στο AWS EC2 απαιτεί από τους προγραμματιστές να χειρίζονται τη δυναμική φύση του σύννεφου, όπου οι περιπτώσεις μπορούν να τερματιστούν ή να προστεθούν συχνά. Οι προγραμματιστές πρέπει να αντιδράσουν γρήγορα σε αυτές τις αλλαγές και να κατανέμονται ανάλογα τους πόρους. Η Netflix αντιμετώπισε αυτές τις προκλήσεις αναπτύσσοντας τη βιβλιοθήκη προγραμματισμού Fenzo, η οποία χειρίζεται την αυτόματη και αποτελεσματική κατανομή πόρων με βάση διάφορους στόχους προγραμματισμού και περιορισμούς.
- Η Netflix ανέπτυξε τη βιβλιοθήκη προγραμματισμού Fenzo για να αντιμετωπίσει τις συγκεκριμένες απαιτήσεις και προκλήσεις του περιβάλλοντος Cloud-Native τους. Οι υπάρχοντες προγραμματιστές δεν είχαν προηγμένες δυνατότητες προγραμματισμού πόρων, όπως οι εργασίες συσκευασίας και εξάπλωσης κάδων σε ζώνες διαθεσιμότητας EC2. Το Fenzo επιτρέπει στους χρήστες να ορίζουν πολλαπλούς στόχους και περιορισμούς προγραμματισμού, επιτρέποντας την αποτελεσματική κατανομή των πόρων σε εργασίες, την ελαχιστοποίηση του κατακερματισμού και τη βελτιστοποίηση της χρήσης των πόρων. Η βιβλιοθήκη είναι επεκτάσιμη μέσω plugins, με ενσωματωμένες υλοποιήσεις για τους κοινούς στόχους προγραμματισμού. Αυτή η συνεισφορά από το Netflix έχει βελτιώσει τη διαχείριση των πόρων και τον προγραμματισμό σε συστάδες Apache Mesos.
- Το Mantis είναι μια πλατφόρμα επεξεργασίας αντιδραστικής ροής στο Netflix που έχει σχεδιαστεί για να χειρίζεται τις ροές λειτουργίας δεδομένων. Παρέχει διάφορες περιπτώσεις χρήσης, όπως το Dashboarding σε πραγματικό χρόνο, την ειδοποίηση, την ανίχνευση ανωμαλιών, τη μέτρηση και τη διαδραστική εξερεύνηση δεδομένων ροής. Η πλατφόρμα επιτρέπει στις ομάδες να έχουν εύκολη πρόσβαση σε εκδηλώσεις σε πραγματικό χρόνο και να δημιουργούν εφαρμογές πάνω τους. Ο Mantis είναι σε θέση να επεξεργαστεί έως και 8 εκατομμύρια εκδηλώσεις ανά δευτερόλεπτο και να λειτουργεί πολυάριθμες θέσεις επεξεργασίας ροής ταυτόχρονα. Η πλατφόρμα παρακολουθεί συνεχώς εκατομμύρια μοναδικούς συνδυασμούς δεδομένων, παρέχοντας λεπτομερή ιδέες.
- Η πλατφόρμα Mantis αποτελείται από έναν κύριο και ένα σύμπλεγμα πράκτορα. Οι χρήστες μπορούν να υποβάλουν εφαρμογές επεξεργασίας ροής ως θέσεις εργασίας, οι οποίες εκτελούνται από έναν ή περισσότερους εργαζόμενους στο σύμπλεγμα πράκτορα. Το κύριο στοιχείο χρησιμοποιεί τη βιβλιοθήκη προγραμματισμού Fenzo για αποτελεσματική κατανομή πόρων και εκχώρηση εργασιών. Αυτή η αρχιτεκτονική επιτρέπει στον Mantis να χειριστεί την επεξεργασία εκατομμυρίων εκδηλώσεων ανά δευτερόλεπτο με τη διανομή του φόρτου εργασίας μεταξύ πολλών εργαζομένων που λειτουργούν σε ξεχωριστούς πράκτορες. Η πλατφόρμα εξασφαλίζει υψηλή διαθεσιμότητα, ανοχή σφάλματος και δυνατότητα επεκτασιμότητας, επιτρέποντας την ομαλή εκτέλεση εργασιών επεξεργασίας ροής.
- Ένα παράδειγμα συγκεκριμένης εργασίας που εκτελείται από τον Mantis παρακολουθεί τα προβλήματα αναπαραγωγής με έναν συγκεκριμένο τίτλο, όπως το House of Cards, Season 4, Επεισόδιο 1 σε iPads στη Βραζιλία. Ο Mantis επεξεργάζεται λεπτομερώς τις ιδέες για να εντοπίσει εάν υπάρχουν προβλήματα αναπαραγωγής για εκατομμύρια μοναδικούς συνδυασμούς δεδομένων. Αυτή η εργασία περιλαμβάνει παρακολούθηση σε πραγματικό χρόνο των συμβάντων αναπαραγωγής, αναλύοντας δεδομένα που σχετίζονται με την ποιότητα αναπαραγωγής, τις τοποθεσίες χρηστών και τους τύπους συσκευών. Με τον προσδιορισμό και την αντιμετώπιση των προβλημάτων αναπαραγωγής, ο Mantis βοηθά στην απρόσκοπτη εμπειρία προβολής στους χρήστες Netflix.
- Η βιβλιοθήκη προγραμματισμού Fenzo διαδραματίζει καθοριστικό ρόλο στην πλατφόρμα Mantis παρέχοντας προηγμένες δυνατότητες προγραμματισμού πόρων και επιτρέποντας την αυτόματη εκχώρηση του συμπλέγματος των πράκτορα. Ο Fenzo αναθέτει πόρους σε εργασίες που βασίζονται σε πολλαπλούς στόχους προγραμματισμού, όπως η συσκευασία κάδων, η οποία ελαχιστοποιεί τον κατακερματισμό των πόρων. Υποστηρίζει επίσης τη διάδοση καθηκόντων μιας εργασίας σε ζώνες διαθεσιμότητας EC2, εξασφαλίζοντας υψηλή διαθεσιμότητα. Η εκτεταμένη αρχιτεκτονική του Fenzo επιτρέπει στους χρήστες να καθορίζουν τα προσαρμοσμένα κριτήρια και τους περιορισμούς, επιτρέποντας τον έλεγχο των λεπτών κυμάτων στην κατανομή των πόρων. Συνολικά, ο Fenzo ενισχύει την αποτελεσματικότητα, την επεκτασιμότητα και την ανοχή σφάλματος της πλατφόρμας Mantis.
- Το Apache MESOS διαχωρίζει την κατανομή των πόρων και τον προγραμματισμό των εργασιών για να επιτρέψει την ευελιξία και να καλύψει διάφορες περιπτώσεις χρήσης. Η κατανομή των πόρων χειρίζεται τα Mesos Frameworks, τα οποία ζητούν πόρους από το MESOS. Οι προγραμματιστές των πλαισίων καθορίζουν ποιοι πόροι θα αναθέσουν σε ποιες εργασίες και πότε, με βάση τη δική τους λογική προγραμματισμού. Το MESOS παρέχει ένα σχετικά απλό API για τους προγραμματιστές να αλληλεπιδρούν με το υποκείμενο σύστημα διαχείρισης πόρων. Αυτός ο διαχωρισμός επιτρέπει σε διαφορετικά πλαίσια να εφαρμόζουν τους δικούς τους προγραμματιστές, βελτιστοποιώντας την κατανομή των πόρων για τις συγκεκριμένες περιπτώσεις χρήσης τους, χωρίς να χρειάζεται να είναι ο μεμονωμένος μονολιθικός προγραμματιστής.
- Τρία έργα χρησιμοποιούν επί του παρόντος συστάδες Apache Mesos στο Netflix: Mantis, Titus και Spinnaker. Το Mantis είναι μια πλατφόρμα επεξεργασίας αντιδραστικής ροής για ροές δεδομένων σε πραγματικό χρόνο, ενώ ο Titus παρέχει στενή ενσωμάτωση με το οικοσύστημα Microservices και AWS της Netflix. Το Spinnaker είναι μια πλατφόρμα συνεχούς παράδοσης για την ανάπτυξη και τη διαχείριση εφαρμογών. Κάθε έργο έχει μοναδικές απαιτήσεις και περιπτώσεις χρήσης, αξιοποιώντας τις δυνατότητες του Apache Mesos για αποτελεσματική διαχείριση πόρων, προγραμματισμό φόρτου εργασίας και επεκτασιμότητα.
- Οι προγραμματιστές mesos σε ένα περιβάλλον cloud-native αντιμετωπίζουν προκλήσεις που σχετίζονται με τη δυναμική φύση των περιπτώσεων σύννεφων και τις διακυμάνσεις της ζήτησης. Οι προγραμματιστές cloud-native πρέπει να χειριστούν την εφήμερη, η οποία μπορεί να τερματιστεί ή να ξεκινήσει συχνά. Επιπλέον, αυτοί οι προγραμματιστές πρέπει να κλιμακώσουν αποτελεσματικά το σύμπλεγμα των πράκτορα με βάση το αίτημα για να εξασφαλίσουν τη βέλτιστη αξιοποίηση των πόρων. Η δυνατότητα αποτελεσματικής διαχείρισης τόσο της κατανομής όσο και της διανομής των πόρων, μαζί με την προσαρμογή στη ζήτηση αλλαγών, διακρίνει τους προγραμματιστές mesos σε ένα περιβάλλον cloud-native.
- Η βιβλιοθήκη προγραμματισμού Fenzo συμβάλλει στον προγραμματισμό των πόρων στο MESOS παρέχοντας προηγμένες δυνατότητες και επεκτασιμότητα. Το Fenzo επιτρέπει την αποτελεσματική συσκευασία των καθηκόντων για την ελαχιστοποίηση του κατακερματισμού και τη βελτιστοποίηση της χρήσης των πόρων. Επιτρέπει επίσης στους χρήστες να καθορίζουν κριτήρια και περιορισμούς προσαρμοσμένης φυσικής κατάστασης, επιτρέποντας την εξαιρετικά προσαρμόσιμη λογική κατανομής πόρων. Με την ενσωμάτωση του Fenzo, τα συμπλέγματα MESOS μπορούν να αποδώσουν αποτελεσματικά τους πόρους σε εργασίες, αυτόματο κλίμακα βάσει της ζήτησης και να εξασφαλίσουν υψηλή διαθεσιμότητα με τη διάδοση εργασιών σε όλες τις ζώνες διαθεσιμότητας.
- Το Apache MESOS χρησιμοποιείται στο Netflix Engineering για διάφορες περιπτώσεις χρήσης, συμπεριλαμβανομένης της ανίχνευσης ανωμαλιών σε πραγματικό χρόνο, της κατάρτισης και της κατασκευής μοντέλων θέσεις εργασίας, της ενορχήστρωσης της μηχανικής μάθησης και του κόμβου που τρέχει.JS Microservices. Το MESOS παρέχει μια ευέλικτη και κλιμακωτή πλατφόρμα που επιτρέπει στην αποτελεσματική λειτουργία της Netflix να χειρίζεται διαφορετικά φόρτο εργασίας. Με τη αξιοποίηση των δυνατοτήτων κατανομής και προγραμματισμού των Mesos, οι μηχανικοί της Netflix είναι σε θέση να εκτελούν σύνθετα φόρτο εργασίας σε μια κατανεμημένη υποδομή.
Αναζήτηση στο Netflix Studio: Χρήση Elasticsearch και Apache Flink για να ευρετήρια τα ομοσπονδιακά δεδομένα GraphQL
Το παραπάνω διάγραμμα αρχιτεκτονικής για τον Τίτο δείχνει τον κύριο του χρησιμοποιώντας το Fenzo για να εκχωρήσει πόρους από πράκτορες mesos. Ο Τίτος παρέχει στενή ενσωμάτωση στο οικοσύστημα Netflix Microservices και AWS, συμπεριλαμβανομένων των ενσωματισμών για την ανακάλυψη υπηρεσιών, την εξισορρόπηση φορτίου με βάση το λογισμικό, την παρακολούθηση και τον αγωγό CI/CD, το Spinnaker, το Spinnaker. Η δυνατότητα να γράφουμε προσαρμοσμένους εκτελεστές στο MESOS μας επιτρέπει να συντονίζουμε εύκολα το χρόνο εκτέλεσης του εμπορευματοκιβωτίου για να χωρέσουμε με το υπόλοιπο του οικοσυστήματος.
Κατανεμημένος προγραμματισμός πόρων με το Apache Mesos
Το Netflix χρησιμοποιεί το Apache MESOS για να εκτελέσει ένα μείγμα παρτίδας, επεξεργασίας ροής και φόρτου εργασίας στυλ υπηρεσίας. Για πάνω από δύο χρόνια, παρατηρήσαμε αυξημένη χρήση για μια ποικιλία περιπτώσεων χρήσης, συμπεριλαμβανομένης της ανίχνευσης ανωμαλιών σε πραγματικό χρόνο, της κατάρτισης και της κατασκευής μοντέλων θέσεις εργασίας, της ενορχήστρωσης της μηχανικής μάθησης και του κόμβου.Microservices με βάση το JS. Η πρόσφατη κυκλοφορία του Apache Mesos 1.Το 0 αντιπροσωπεύει την ωριμότητα της τεχνολογίας που έχει εξελιχθεί σημαντικά από τότε που αρχίσαμε να πειραματίζουμε με αυτήν.
Η αρχική μας χρήση του Apache MESOS ήταν κίνητρο από την κατανομή πόρων με λεπτόκοκκο. Ελλείψει του MESOS ή παρόμοιου διαχειριστή πόρων, θα έπρεπε να παραιτηθούμε από την λεπτή κατανομή των κόκκων για αυξημένο αριθμό περιπτώσεων με υποβέλτιστη χρήση ή να αναπτύξουμε μια τεχνολογία παρόμοια με το mesos ή τουλάχιστον ένα υποσύνολο της.
Η αυξανόμενη υιοθέτηση εμπορευματοκιβωτίων για επεξεργασία ροής και θέσεις εργασίας σε παρτίδες συνεχίζει να οδηγεί τη χρήση στον προγραμματισμό των πόρων που βασίζεται στο MESOS. Πιο πρόσφατα, ο προγραμματιστής επωφελείται από τη συνεργασία με δοχεία με βάση το Docker έφερε ένα σύνολο φόρτων εργασίας στυλ υπηρεσίας σε συστάδες mesos. Παρουσιάζουμε εδώ μια επισκόπηση ορισμένων από τα έργα χρησιμοποιώντας το Apache Mesos σε όλη την Netflix Engineering. Δείχνουμε τις διαφορετικές περιπτώσεις χρήσης που αντιμετωπίζουν και πώς χρησιμοποιούν αποτελεσματικά την τεχνολογία. Για περισσότερες λεπτομέρειες σχετικά με κάθε ένα από τα έργα, παρέχουμε συνδέσμους σε άλλες θέσεις σε παρακάτω τμήματα.
Cloud Native Προγραμματισμός χρησιμοποιώντας το Apache Mesos
Προκειμένου να διαθέσει πόρους από διάφορες περιπτώσεις EC2 σε εργασίες, χρειαζόμαστε έναν διαχειριστή πόρων που καθιστά τους πόρους που είναι διαθέσιμοι για τον προγραμματισμό και πραγματοποιεί την εφοδιαστική της έναρξης και παρακολούθησης των καθηκόντων σε ένα κατανεμημένο σύνολο περιπτώσεων EC2. Το Apache Mesos διαχωρίζει την κατανομή των πόρων “πλαίσια” που επιθυμούν να χρησιμοποιήσουν το σύμπλεγμα, από τον προγραμματισμό των πόρων σε εργασίες από τα πλαίσια. Ενώ ο Mesos καθορίζει πόσους πόρους διατίθενται σε ένα πλαίσιο, το πλαίσιο’Ο προγραμματιστής S καθορίζει ποιοι πόροι θα εκχωρήσουν σε ποιες εργασίες και πότε. Οι προγραμματιστές παρουσιάζονται ένα σχετικά απλό API, ώστε να μπορούν να επικεντρωθούν στη λογική προγραμματισμού και να αντιδρούν σε αποτυχίες, οι οποίες είναι αναπόφευκτες σε ένα κατανεμημένο σύστημα. Αυτό επιτρέπει στους χρήστες να γράφουν διαφορετικούς προγραμματιστές που καλύπτουν διάφορες περιπτώσεις χρήσης, αντί να πρέπει να είναι ο μεμονωμένος μονολιθικός προγραμματιστής για όλες τις περιπτώσεις χρήσης. Το παρακάτω διάγραμμα από την τεκμηρίωση Mesos δείχνει “Πλαίσιο 1” λήψη προσφοράς από “Πράκτορας 1” και να ξεκινήσει δύο εργασίες.
Η κοινότητα Mesos έχει δει πολλαπλούς προγραμματιστές που αναπτύχθηκαν με την πάροδο του χρόνου που καλύπτουν συγκεκριμένες περιπτώσεις χρήσης και παρουσιάζουν συγκεκριμένα API στους χρήστες τους.
Το Netflix εκτελεί διάφορες μικροεπιχειρήσεις σε ένα ελαστικό σύννεφο, AWS EC2. Η λειτουργία των συστάδων MESOS σε ένα φυσικό περιβάλλον σύννεφο μας απαιτούσε να διασφαλίσουμε ότι οι προγραμματιστές μπορούν να χειριστούν δύο πτυχές εκτός από το τι κάνουν οι προγραμματιστές που λειτουργούν σε ένα περιβάλλον κέντρου δεδομένων – αυξημένη εφήμερη των παραγόντων που εκτελούν τα καθήκοντα και την ικανότητα της αυτόματης κλίμακας του συμπλέγματος παράγοντα mesos με βάση τη ζήτηση. Επίσης, οι περιπτώσεις χρήσης που είχαμε κατά νου κάλεσαν έναν πιο προηγμένο προγραμματισμό πόρων από ένα πρώτο είδος ανάθεσης. Για παράδειγμα, η συσκευασία των καθηκόντων σε πράκτορες με τη χρήση CPU, μνήμης και εύρους ζώνης δικτύου προκειμένου να ελαχιστοποιηθεί ο κατακερματισμός των πόρων. Η συσκευασία του bin μας βοηθά επίσης να απελευθερώσουμε όσο το δυνατόν περισσότερους παράγοντες για να διευκολύνουμε την κλιμάκωση του συμπλέγματος των πράκτορα, τερματίζοντας τους αδρανείς πράκτορες χωρίς να τερματίσουμε τις εργασίες λειτουργίας.
Προσδιορισμός ενός κενού σε τέτοιες δυνατότητες μεταξύ των υφιστάμενων προγραμματιστών, πέρυσι συνεισφέραμε μια βιβλιοθήκη προγραμματισμού που ονομάζεται Fenzo. Το Fenzo autoscales το σύμπλεγμα των πράκτορα με βάση τη ζήτηση και αναθέτει πόρους σε εργασίες με βάση πολλαπλούς στόχους προγραμματισμού που αποτελούνται από κριτήρια φυσικής κατάστασης και περιορισμούς. Τα κριτήρια φυσικής κατάστασης και οι περιορισμοί είναι επεκτάσιμες μέσω plugins, με μερικές κοινές υλοποιήσεις ενσωματωμένες, όπως οι εργασίες συσκευασίας και εξάπλωσης δοχείων μιας εργασίας σε ζώνες διαθεσιμότητας EC2 για υψηλή διαθεσιμότητα. Οποιοδήποτε πλαίσιο mesos που τρέχει στο JVM μπορεί να χρησιμοποιήσει τη βιβλιοθήκη Fenzo Java.
Mesos στο Netflix
Εδώ είναι τρία έργα που εκτελούν επί του παρόντος συστάδες Apache Mesos.
Αλογάκι της παναγίας
Το Mantis είναι μια πλατφόρμα επεξεργασίας αντιδραστικής ροής που λειτουργεί ως εγγενής υπηρεσία σύννεφο με έμφαση στις λειτουργικές ροές δεδομένων. Το Mantis καλύπτει ποικίλες περιπτώσεις χρήσης, όπως το ταμπλό σε πραγματικό χρόνο, την ειδοποίηση, την ανίχνευση ανωμαλιών, τη μέτρηση και τη διαδραστική διερεύνηση δεδομένων ροής. Δημιουργήσαμε τον Mantis για να διευκολύνουμε τις ομάδες να αποκτήσουν πρόσβαση σε εκδηλώσεις σε πραγματικό χρόνο και να δημιουργήσουν εφαρμογές πάνω από αυτές. Επί του παρόντος, ο Mantis επεξεργάζεται ροές συμβάντων έως και 8 εκατομμυρίων εκδηλώσεων ανά δευτερόλεπτο και εκτελείται εκατοντάδες θέσεις επεξεργασίας ροής όλο το εικοσιτετράωρο. Μια τέτοια δουλειά επικεντρώνεται σε μεμονωμένους τίτλους, επεξεργάζοντας λεπτές πληροφορίες για να καταλάβουμε εάν, για παράδειγμα, υπάρχουν προβλήματα αναπαραγωγής με το House of Cards, Season 4, Episode 1 σε iPads στη Βραζιλία. Αυτό ισοδυναμεί με την παρακολούθηση εκατομμυρίων μοναδικών συνδυασμών δεδομένων όλη την ώρα.
Η πλατφόρμα Mantis περιλαμβάνει έναν κύριο και ένα σύμπλεγμα πράκτορα. Οι χρήστες υποβάλλουν εφαρμογές επεξεργασίας ροής ως θέσεις εργασίας που εκτελούνται ως ένας ή περισσότεροι εργαζόμενοι στο σύμπλεγμα των πράκτορα. Ο Δάσκαλος χρησιμοποιεί τη βιβλιοθήκη προγραμματισμού Fenzo με το Apache Mesos για να εκχωρήσει βέλτιστα πόρους σε εργασία’εργαζόμενοι. Μία τέτοια εκχώρηση αντικειμενικά θέσεις διαρκούς επεξεργασίας ροής σε πράκτορες χωριστά από εκείνους που εκτελούν μεταβατικές διαδραστικές εργασίες. Αυτό βοηθά στην μείωση του συμπλέγματος των πράκτορα όταν ολοκληρωθούν οι μεταβατικές θέσεις εργασίας. Το παρακάτω διάγραμμα δείχνει την αρχιτεκτονική Mantis. Οι εργαζόμενοι από τις διάφορες θέσεις εργασίας μπορούν να εκτελούνται στον ίδιο πράκτορα χρησιμοποιώντας την απομόνωση των πόρων που βασίζονται σε cgroups.
Τίτος
Ο Τίτος είναι μια πλατφόρμα διαχείρισης θέσεων εργασίας και εκτέλεσης δοχείου Docker Container. Αρχικά, ο Τίτος εξυπηρετούσε θέσεις εργασίας παρτίδας που περιελάμβαναν εκπαίδευση αλγορίθμων (παρόμοιοι τίτλοι για συστάσεις, ανάλυση κυττάρων δοκιμών A/B κ.λπ.) Εκτός από τις ωριαίες εργασίες αναφοράς και ανάλυσης ad-hoc. Πιο πρόσφατα, ο Τίτος έχει αρχίσει να υποστηρίζει θέσεις εργασίας σε στυλ υπηρεσιών (Netflix Microservices) που χρειάζονται συνεπή εμπειρία τοπικής ανάπτυξης καθώς και πιο λεπτή διαχείριση πόρων. Τίτος’ Η αρχική χρήση στυλ υπηρεσίας είναι για την επανεκκίνηση του API χρησιμοποιώντας NodeJs Server Side Nodejs.
Το παραπάνω διάγραμμα αρχιτεκτονικής για τον Τίτο δείχνει τον κύριο του χρησιμοποιώντας το Fenzo για να εκχωρήσει πόρους από πράκτορες mesos. Ο Τίτος παρέχει στενή ενσωμάτωση στο οικοσύστημα Netflix Microservices και AWS, συμπεριλαμβανομένων των ενσωματισμών για την ανακάλυψη υπηρεσιών, την εξισορρόπηση φορτίου με βάση το λογισμικό, την παρακολούθηση και τον αγωγό CI/CD, το Spinnaker, το Spinnaker. Η δυνατότητα να γράφουμε προσαρμοσμένους εκτελεστές στο MESOS μας επιτρέπει να συντονίζουμε εύκολα το χρόνο εκτέλεσης του εμπορευματοκιβωτίου για να χωρέσουμε με το υπόλοιπο του οικοσυστήματος.
Μεσόνιο
Το Meson είναι ένα πλαίσιο ενορχήστρωσης ροής εργασίας γενικού σκοπού που χτίστηκε για τη διαχείριση αγωγών μηχανικής μάθησης.
Ο Meson εξυπηρετεί ένα ετερογενές μείγμα θέσεων εργασίας με ποικίλες απαιτήσεις πόρων για τη CPU, τη μνήμη και το χώρο του δίσκου. Υποστηρίζει τη λειτουργία των θέσεων εργασίας στο Spark μαζί με άλλες θέσεις εργασίας σε ένα κοινό σύμπλεγμα. Οι εργασίες είναι απομονωμένοι πόροι στους παράγοντες που χρησιμοποιούν την απομόνωση που βασίζονται σε cgroups. Ο προγραμματιστής Meson αξιολογεί την ετοιμότητα των εργασιών με βάση ένα γράφημα και ξεκινά τις έτοιμες εργασίες χρησιμοποιώντας προσφορές πόρων από το MESOS. Ο χειρισμός της αποτυχίας περιλαμβάνει την επανεκκίνηση των αποτυχημένων καθηκόντων καθώς και τον τερματισμό των καθηκόντων που αποφασίζονται να έχουν απομακρυνθεί.
Το παραπάνω διάγραμμα δείχνει Meson’αρχιτεκτονική. Η ομάδα Meson εργάζεται επί του παρόντος για την ενίσχυση των δυνατοτήτων προγραμματισμού της χρησιμοποιώντας τη βιβλιοθήκη προγραμματισμού Fenzo.
Συνεχίζοντας εργασία με το Apache Mesos
Αναζήτηση στο Netflix Studio: Χρήση Elasticsearch και Apache Flink για να ευρετήρια τα ομοσπονδιακά δεδομένα GraphQL
Οι μηχανικοί της Netflix δημοσίευσαν πρόσφατα τον τρόπο με τον οποίο δημιούργησαν την αναζήτηση στούντιο, χρησιμοποιώντας τα ρεύματα Apache Kafka, μια διαδικασία πλέγματος δεδομένων Apache Flink και ένα νεροχύτη Elasticsearch για τη διαχείριση του ευρετηρίου. Σχεδίασαν την πλατφόρμα για να λάβουν ένα μέρος του ομοσπονδιακού γραφήματος της Netflix και να το κάνουν αναζητήσιμο. Σήμερα, η αναζήτηση στούντιο εξουσιάζει ένα σημαντικό μέρος της εμπειρίας του χρήστη για πολλές εφαρμογές εντός του οργανισμού.
Στη Μηχανική Περιεχομένου της Netflix, κάθε ομάδα χτίζει και λειτουργεί ανεξάρτητα και λειτουργεί τις υπηρεσίες γραφήματος τομέα (DGS) και ταυτόχρονα συνδέει τον τομέα της με άλλους τομείς σε ένα ενοποιημένο σχήμα GraphQL που εκτίθεται από μια ομοσπονδιακή πύλη. Δεδομένης αυτής της δομής, οι μηχανικοί Netflix Alex Hutter, Falguni Jhaveri και Senthil Sayeebaba εξηγούν το κίνητρο για αναζήτηση στούντιο:
Μόλις οντότητες [. ] είναι διαθέσιμα στο γράφημα, είναι πολύ συνηθισμένο για τους ανθρώπους να θέλουν να αναζητήσουν για μια συγκεκριμένη οντότητα που βασίζεται σε χαρακτηριστικά σχετικών οντοτήτων, e.σολ. Δώστε μου όλες τις ταινίες που βρίσκονται στη φωτογραφία με τον Ryan Reynolds ως ηθοποιό.

Ένα παράδειγμα συνδεδεμένων οντοτήτων στο γράφημα που θέλουν να αναζητήσουν οι χρήστες
Πηγή: https: // netflixtechblog.com/how-netflix-content-engineering-makes-a-federated-searchable-5c0c1c7d7eaf
Σύμφωνα με τους συγγραφείς, σε μια ομοσπονδιακή αρχιτεκτονική γραφικών, κάθε υπηρεσία “θα πρέπει να παράσχει ένα τελικό σημείο που δέχεται ένα ερώτημα και φίλτρα που μπορεί να ισχύουν για τα δεδομένα που η υπηρεσία δεν διαθέτει« και να τα χρησιμοποιήσετε για να προσδιορίσετε τις κατάλληλες οντότητες που πρέπει να επιστρέψει. Χειρότερα, “κάθε υπηρεσία που κατέχει οντότητα θα μπορούσε να απαιτηθεί για να το κάνει αυτό το έργο.”Αυτό το κοινό πρόβλημα της δημιουργίας ομοσπονδιακού γραφήματος που μπορεί να αναζητήσει αναζήτηση LED στη δημιουργία αναζήτησης στούντιο.

Αρχιτεκτονική ευρετηρίου αναζήτησης στούντιο
Πηγή: https: // netflixtechblog.com/how-netflix-content-engineering-makes-a-federated-searchable-5c0c1c7d7eaf
Το παραπάνω διάγραμμα απεικονίζει την αρχιτεκτονική της αναζήτησης στούντιο και πώς διατηρεί ένα δείκτη για ένα τμήμα του ομοσπονδιακού γραφήματος. Τα συμβάντα εφαρμογής και τα συμβάντα αλλαγής δεδομένων (CDC) μεταφέρονται σε schematised kafka ρεύματα. Οι διαδικασίες Data Mesh στο Apache Flink καταναλώνουν αυτά τα συμβάντα και εμπλουτίζουν τα δεδομένα χρησιμοποιώντας ερωτήματα GraphQL που παρέχονται από το χρήστη έναντι της ομοσπονδιακής πύλης. Τα έγγραφα που έχουν ληφθεί τοποθετημένα σε ένα άλλο σχηματισμένο θέμα Kafka πριν από την επεξεργασία από ένα νεροχύτη Elasticsearch σε πλέγμα δεδομένων που τα ευρετήρια σε Elasticsearchearch.
Η ομάδα έκανε ενσωματώσεις με το χέρι νωρίς, αλλά καθώς πλημμύρισε με αιτήματα ενσωμάτωσης με την αναζήτηση στούντιο, αυτό δεν κλιμακώθηκε. “Χρειαζόμασταν να δημιουργήσουμε εργαλεία για να μας βοηθήσουν να αυτοματοποιήσουμε όσο το δυνατόν περισσότερη παροχή των αγωγών.«
Για να επιτρέψει την αυτοματοποίηση, η ομάδα καθόρισε ένα μόνο αρχείο διαμόρφωσης YAML που επέτρεψε στους χρήστες να παρέχουν μια περιγραφή υψηλού επιπέδου του αγωγού τους. Χρησιμοποιούν αυτήν τη διαμόρφωση, με τη σειρά τους, για να δημιουργήσουν προγραμματικά τον αγωγό ευρετηρίασης στο πλέγμα δεδομένων.

Δείγμα .Διαμόρφωση YAML
Πηγή: https: // netflixtechblog.com/how-netflix-content-engineering-makes-a-federated-searchable-5c0c1c7d7eaf
Από το πρότυπο ερωτήματος GraphQL στο αρχείο διαμόρφωσης, η ομάδα δημιουργεί ένα σχήμα Apache AVRO που απαιτείται για τα schematised ρεύματα Kafka και ένα πρότυπο ευρετηρίου που απαιτείται για το Elasticsearch. Τέλος, η ανάπτυξη της αυτοεξυπηρέτησης είναι δυνατή μέσω ενός εργαλείου διεπαφής γραμμής εντολών (CLI) με βάση την Python (CLI).
Οι προκλήσεις που αντιμετωπίζει η ομάδα είναι πώς να εκκινήσετε ένα νέο δείκτη, ενώ δεν υπερφορτώνετε το σύστημα, βελτιωμένη χρήση των αντίστροφων αναζητήσεων και καλύτερη συνέπεια και ανοχή σε ευρετήριο έναντι των δεδομένων εκτός ή των ελλείψεων δεδομένων.
Χρησιμοποιεί το Netflix Apache?
Э э э э э э э э э э э э э э э э э э э э э э э э э э э э э э э э э э
Ы з з з з з з з и и и и п п п п п п з п з з з з з з з з з п. С п п п п п п п п п п п п п п п п п п п п п п п п п п п п п п п п п п п п п п п п п п п п п п п п п п п. ПOчем э э э э э э э э э э э п п п п п п п?
Э э э э э а а а а и е е з з л л л л л л л э э э э э э э э э э э э Κοιτάζοντας το ριμπάγ. С с п п п п п э э э э э э э э э э э э э э э э э э э э э э э э э э э э. Д э э э э д д д и и д д д ρίας н и д д д д д д д д д д д д д д д д д д д д д д д д д д д д д д д д д д д.
И и з а а а а а а а а ы ы з .. Е е е е д п п ж ж ж ж ж ж ж ж ж ж ж ж ж ж ж ж ж ж п п п п п п п п п п п п п п п п п. Орrρά. Пороннαι.
ПON п п е е а а τροφή пρέφ а а а а а τροφήλου. е е е и τροφή ее же жÉ в в ж и и и и ч ч.
Χρησιμοποιεί το Netflix Apache?
Э э э э э э э э э э э э э э э э э э э э э э э э э э э э э э э э э э
Ы з з з з з з з и и и и п п п п п п з п з з з з з з з з з п. С п п п п п п п п п п п п п п п п п п п п п п п п п п п п п п п п п п п п п п п п п п п п п п п п п п п. ПOчем э э э э э э э э э э э п п п п п п п?
Э э э э э а а а а и е е з з л л л л л л л э э э э э э э э э э э э Κοιτάζοντας το ριμπάγ. С с п п п п п э э э э э э э э э э э э э э э э э э э э э э э э э э э э. Д э э э э д д д и и д д д ρίας н и д д д д д д д д д д д д д д д д д д д д д д д д д д д д д д д д д д д.
И и з а а а а а а а а ы ы з .. Е е е е д п п ж ж ж ж ж ж ж ж ж ж ж ж ж ж ж ж ж ж п п п п п п п п п п п п п п п п п. Орrρά. Пороннαι.
ПON п п е е а а τροφή пρέφ а а а а а τροφήλου. е е е и τροφή ее же жÉ в в ж и и и и ч ч.



