Riepilogo:

Discuteremo l’uso di ElaSticSearch e Apache Flink per indicizzare i dati grafici federati nell’architettura di ricerca di Netflix Studio. Questo articolo coprirà il concetto di pianificazione delle risorse distribuite con Apache Mesos e la sua importanza nella gestione di vari carichi di lavoro. Esploreremo anche la pianificazione nativa cloud utilizzando Apache Mesos e la necessità di un gestore delle risorse nell’allocare le risorse alle attività. Inoltre, evidenzieremo l’uso della libreria di pianificazione Fenzo e i suoi contributi alla pianificazione delle risorse in modo efficiente. Infine, mostreremo tre progetti attualmente eseguendo cluster Apache Mesos a Netflix, tra cui Mantis, una piattaforma di elaborazione del flusso reattivo.

Punti chiave:

1. Pianificazione delle risorse distribuite con Apache Mesos: Netflix utilizza Apache Mesos per eseguire batch, elaborazione dello streaming e carichi di lavoro in stile servizio con allocazione delle risorse a grana fine.

2. Aumento dell’adozione di contenitori nella pianificazione delle risorse basata su Mesos: I contenitori hanno guidato l’utilizzo di Mesos per l’elaborazione del flusso, i lavori batch e i carichi di lavoro in stile servizio.

3. Pianificazione nativa di cloud con Apache Mesos: L’allocazione delle risorse è separata dalla pianificazione delle attività utilizzando MESOS, consentendo diversi programmi che si rivolgono a vari casi d’uso.

4. L’uso di Mesos da parte di Netflix nell’ambiente nativo cloud: Netflix garantisce che gli programmatori possano gestire un aumento dell’ephemeeralità degli agenti e automaticamente il cluster di agenti Mesos in base alla domanda.

5. Presentazione della libreria di pianificazione Fenzo: Netflix ha contribuito a Fenzo, una libreria di pianificazione che consente la pianificazione avanzata delle risorse e l’autoscaling nei cluster di Mesos.

6. Mantis: una piattaforma di elaborazione del flusso reattivo: Mantis è un servizio nativo cloud per l’elaborazione del flusso in tempo reale, consentendo l’elaborazione di milioni di eventi al secondo e in esecuzione di vari lavori di elaborazione del flusso.

7. Architettura della piattaforma Mantis: La piattaforma Mantis comprende un cluster master e agente, in cui gli utenti inviano applicazioni di elaborazione del flusso come Jobs.

Domande uniche:

1. Qual è il ruolo di Apache Mesos nella gestione del carico di lavoro di Netflix?
   Apache Mesos consente l’allocazione e la pianificazione delle risorse a grana fine per un mix di batch, elaborazione del flusso e carichi di lavoro in stile servizio su Netflix.
2. In che modo Netflix gestisce l’adozione di contenitori nella pianificazione delle risorse basata su Mesos?
   Netflix sfrutta i contenitori per l’elaborazione del flusso, i lavori batch e i carichi di lavoro in stile servizio, guidando l’uso di cluster Mesos.
3. Quali sfide pone un ambiente nativo cloud per gli programmi Mesos?
   I cluster di mesos operativi in ​​un ambiente nativo cloud richiedono un aumento dell’ephemeeralità degli agenti e il cluster di agenti mesos in base alla domanda.
4. Perché Netflix ha sviluppato la libreria di pianificazione Fenzo?
   Netflix ha introdotto la libreria di pianificazione Fenzo per affrontare un divario nelle funzionalità tra gli scheduler esistenti, consentendo la pianificazione avanzata delle risorse e l’autoscaling nei cluster Mesos.
5. Cos’è la mantide e quali sono i suoi casi d’uso?
   Mantis è una piattaforma di elaborazione del flusso reattivo su Netflix, utilizzata per il dashboard in tempo reale, il rilevamento di anomalie, la generazione metrica ed esplorazione ad-hoc dei dati di streaming.
6. In che modo la piattaforma Mantis gestisce l’elaborazione di milioni di eventi al secondo?
   La piattaforma Mantis comprende un cluster master e agente, in cui le applicazioni di elaborazione del flusso funzionano come lavoratori. Ciò consente un’elaborazione efficiente di milioni di eventi al secondo.
7. Puoi fornire un esempio di attività di attività specifica?
   Mantis elabora approfondimenti a grana fine per rilevare problemi di riproduzione con titoli specifici, come House of Cards, Stagione 4, Episodio 1 su iPad in Brasile.
8. Qual è lo scopo della libreria di pianificazione Fenzo nella piattaforma Mantis?
   La libreria di pianificazione Fenzo viene utilizzata nella piattaforma Mantis per assegnare risorse alle attività in base a più obiettivi di pianificazione e gestire l’autoscaling del cluster agente.
9. In che modo Apache Mesos separa l’allocazione delle risorse e la pianificazione delle attività?
   Apache Mesos separa l’allocazione delle risorse in framework dalla pianificazione delle risorse alle attività, consentendo a diversi programmi di soddisfare vari casi d’uso.
10. Quali progetti a Netflix attualmente eseguono cluster Apache Mesos?
    Tre progetti attualmente in esecuzione di cluster Apache Mesos a Netflix sono Mantis, Titus e Spinnaker.
11. Ciò che distingue gli programmatori di Mesos in un ambiente nativo cloud?
    Gli orari di Mesos in un ambiente nativo cloud devono gestire un aumento dell’ephemeeralità di agenti e automaticamente il cluster di agenti in base alla domanda.
12. In che modo Fenzo contribuisce alla pianificazione delle risorse in Mesos?
    Fenzo fornisce capacità di pianificazione delle risorse avanzate, come le attività di imballaggio e diffusione di bidoni nelle zone di disponibilità. Abilita inoltre un efficiente ridimensionamento e cessazione di agenti inattivi.
13. Quali sono alcuni casi d’uso per Mesos nell’ingegneria Netflix?
    Mesos viene utilizzato per il rilevamento di anomalie in tempo reale, la formazione e i lavori in lotti in lotti di costruzione di modelli, l’orchestrazione dell’apprendimento automatico e il nodo.Microservizi basati su JS a Netflix.

Risposte:

1. Apache Mesos svolge un ruolo vitale nella gestione del carico di lavoro di Netflix consentendo l’allocazione e la pianificazione delle risorse a grana fine per un mix di batch, elaborazione del flusso e carichi di lavoro in stile servizio. Consente un efficiente utilizzo delle risorse da parte delle attività di imballaggio Bin a una singola istanza EC2, evitando l’uso non ottimale e istanze inutili. Inoltre, Mesos si integra perfettamente con i microservizi e l’ecosistema AWS di Netflix, fornendo scoperte di servizi, bilanciamento del carico, monitoraggio e integrazione con la loro pipeline CI/CD, Spinnaker.
2. Netflix gestisce l’adozione di contenitori nella pianificazione delle risorse basata su Mesos sfruttando i vantaggi dei contenitori basati su Docker. I contenitori sono stati sempre più utilizzati per l’elaborazione del flusso, i lavori batch e i carichi di lavoro in stile servizio a Netflix. La facilità di lavorare con i contenitori ha portato all’adozione di cluster Mesos per vari casi d’uso. Usando i contenitori, Netflix ottiene un migliore isolamento tra carichi di lavoro, una distribuzione più rapida e un efficiente utilizzo delle risorse.
3. In un ambiente nativo del cloud, gli orari di Mesos affrontano sfide relative alla maggiore effimera degli agenti e alla necessità di automaticamente il cluster dell’agente Mesos in base alla domanda. L’ambiente elastico di cloud di Netflix su AWS EC2 richiede agli programmi di gestire la natura dinamica del cloud, in cui le istanze possono essere terminate o aggiunte frequentemente. Gli scheduler devono reagire rapidamente a questi cambiamenti e allocare le risorse di conseguenza. Netflix ha affrontato queste sfide sviluppando la libreria di pianificazione Fenzo, che gestisce l’autoscaling e un’allocazione efficiente delle risorse in base a vari obiettivi e vincoli di pianificazione.
4. Netflix ha sviluppato la libreria di pianificazione Fenzo per affrontare i requisiti e le sfide specifici del loro ambiente nativo cloud. Gli scheduler esistenti mancavano di capacità di pianificazione delle risorse avanzate, come l’imballaggio del bidone e la diffusione di attività nelle zone di disponibilità EC2. Fenzo consente agli utenti di definire più obiettivi e vincoli di pianificazione, consentendo un’allocazione efficiente delle risorse alle attività, minimizzando la frammentazione e ottimizzazione dell’utilizzo delle risorse. La libreria è estensibile attraverso i plugin, con implementazioni integrate per obiettivi di pianificazione comuni. Questo contributo di Netflix ha migliorato la gestione e la pianificazione delle risorse nei cluster Apache Mesos.
5. Mantis è una piattaforma di elaborazione del flusso reattivo su Netflix progettata per gestire i flussi di dati operativi. Fornisce vari casi d’uso, tra cui dashboard in tempo reale, avvisi, rilevamento di anomalie, generazione metrica e esplorazione interattiva ad hoc dei dati di streaming. La piattaforma consente ai team di accedere facilmente a eventi in tempo reale e di creare applicazioni sopra di essi. Mantis è in grado di elaborare fino a 8 milioni di eventi al secondo e eseguire numerosi lavori di elaborazione del flusso contemporaneamente. La piattaforma traccia costantemente milioni di combinazioni uniche di dati, fornendo approfondimenti a grana fine.
6. La piattaforma Mantis è costituita da un maestro e un cluster di agenti. Gli utenti possono inviare applicazioni di elaborazione del flusso come lavori, che sono eseguiti da uno o più lavoratori sul cluster degli agenti. Il componente principale utilizza la libreria di pianificazione Fenzo per un’allocazione e un compito efficiente delle risorse. Questa architettura consente a Mantis di gestire l’elaborazione di milioni di eventi al secondo distribuendo il carico di lavoro tra più lavoratori in esecuzione su agenti separati. La piattaforma garantisce un’elevata disponibilità, tolleranza ai guasti e scalabilità, consentendo un’esecuzione regolare dei lavori di elaborazione del flusso.
7. Un esempio di un compito specifico svolto da Mantis è monitorare i problemi di riproduzione con un titolo particolare, come House of Cards, Stagione 4, Episodio 1 su iPad in Brasile. Mantis elabora approfondimenti a grana fine per rilevare se ci sono problemi di riproduzione per milioni di combinazioni uniche di dati. Questo compito prevede il monitoraggio in tempo reale degli eventi di riproduzione, analizzando i dati relativi alla qualità della riproduzione, alle posizioni degli utenti e ai tipi di dispositivi. Identificando e affrontando i problemi di riproduzione, Mantis aiuta a offrire un’esperienza di visualizzazione senza soluzione di continuità agli utenti di Netflix.
8. La Biblioteca di pianificazione Fenzo svolge un ruolo cruciale nella piattaforma Mantis fornendo funzionalità avanzate di pianificazione delle risorse e consentendo l’autoscaling del cluster di agenti. Fenzo assegna risorse a compiti in base a molteplici obiettivi di pianificazione, come Bin Packing, che minimizzano la frammentazione delle risorse. Supporta inoltre la diffusione di compiti di un lavoro in zone di disponibilità EC2, garantendo un’elevata disponibilità. L’architettura estensibile di Fenzo consente agli utenti di definire criteri e vincoli di fitness personalizzati, consentendo il controllo a grana fine sull’allocazione delle risorse. Nel complesso, Fenzo migliora l’efficienza, la scalabilità e la tolleranza ai guasti della piattaforma Mantis.
9. Apache Mesos separa l’allocazione delle risorse e la pianificazione delle attività per consentire la flessibilità e soddisfare vari casi d’uso. L’allocazione delle risorse è gestita dai framework Mesos, che richiedono risorse da Mesos. Gli elenchi dei framework determinano quali risorse assegnare a quali compiti e quando, in base alla propria logica di pianificazione. Mesos fornisce un’API relativamente semplice per gli scheduler per interagire con il sistema di gestione delle risorse sottostante. Questa separazione consente a diversi framework di implementare i propri programmi, ottimizzando l’allocazione delle risorse per i loro casi d’uso specifici, senza la necessità che Mesos sia il singolo programma monolitico.
10. Tre progetti attualmente utilizzano i cluster Apache Mesos su Netflix: Mantis, Tito e Spinnaker. Mantis è una piattaforma di elaborazione del flusso reattivo per flussi di dati in tempo reale, mentre Tito fornisce una stretta integrazione con i microservizi di Netflix e l’ecosistema AWS. Spinnaker è una piattaforma di consegna continua per la distribuzione e la gestione delle applicazioni. Ogni progetto ha requisiti unici e casi d’uso, sfruttando le capacità di Apache Mesos per una gestione efficiente delle risorse, la pianificazione del carico di lavoro e la scalabilità.
11. Gli orari Mesos in un ambiente nativo cloud affrontano sfide relative alla natura dinamica delle istanze del cloud e alle fluttuazioni della domanda. Gli scheduler nativi cloud devono gestire l’epimeralità delle istanze, che può essere terminata o lanciata frequentemente. Inoltre, questi programmi devono ridimensionare in modo efficiente il cluster di agenti in base alla domanda per garantire un utilizzo ottimale delle risorse. La capacità di gestire in modo efficiente sia l’allocazione che il traffico delle risorse, insieme all’adattamento alle modifiche alla domanda, distingue gli scheduler Mesos in un ambiente nativo cloud.
12. La libreria di pianificazione Fenzo contribuisce alla pianificazione delle risorse in Mesos fornendo capacità avanzate ed estensibilità. Fenzo consente un efficiente imballaggio di attività per ridurre al minimo la frammentazione e ottimizzare l’utilizzo delle risorse. Consente inoltre agli utenti di definire criteri e vincoli di fitness personalizzati, consentendo una logica di allocazione delle risorse altamente personalizzabile. Incorporando Fenzo, i cluster di Mesos possono assegnare in modo efficiente risorse a attività, automaticamente in base alla domanda e garantire un’elevata disponibilità diffondendo compiti attraverso le zone di disponibilità.
13. Apache Mesos è utilizzato nell’ingegneria di Netflix per vari casi d’uso, tra cui il rilevamento di anomalie in tempo reale, la formazione e i lavori in batch per la costruzione di modelli, l’orchestrazione dell’apprendimento automatico e l’esecuzione del nodo.Microservizi JS. Mesos offre una piattaforma flessibile e scalabile che consente a Netflix di gestire carichi di lavoro diversi in modo efficiente. Sfruttando le capacità di allocazione e pianificazione delle risorse a grana fine di Mesos, gli ingegneri di Netflix sono in grado di eseguire carichi di lavoro complessi su un’infrastruttura distribuita.

Netflix Studio Search: utilizzando ElaSticSearch e Apache Flink per indicizzare i dati graphql federati

Il diagramma di architettura sopra per Titus mostra il suo padrone usando Fenzo per assegnare risorse dagli agenti Mesos. Tito fornisce una stretta integrazione nel Microservices e nell’ecosistema AWS Netflix, comprese le integrazioni per la scoperta del servizio, il bilanciamento del carico basato su software, il monitoraggio e la nostra pipeline CI/CD, Spinnaker. La possibilità di scrivere esecutori personalizzati in Mesos ci consente di sintonizzare facilmente il runtime del contenitore per adattarci al resto dell’ecosistema.

Pianificazione delle risorse distribuite con Apache Mesos

Netflix utilizza Apache Mesos per eseguire un mix di batch, elaborazione del flusso e carichi di lavoro in stile servizio. Per oltre due anni, abbiamo assistito a un uso maggiore per una varietà di casi d’uso tra cui il rilevamento di anomalie in tempo reale, la formazione e i lavori in batch per la costruzione di modelli, l’orchestrazione dell’apprendimento automatico e il nodo.Microservizi basati su JS. La recente versione di Apache Mesos 1.0 rappresenta la maturità della tecnologia che si è evoluta in modo significativo da quando abbiamo iniziato a sperimentarlo.

Il nostro uso iniziale di Apache Mesos è stato motivato dall’allocazione delle risorse a grana fine a compiti di varie dimensioni che possono essere imballate in una singola istanza EC2. In assenza di Mesos, o un simile gestore delle risorse, avremmo dovuto rinunciare all’allocazione a grana fine per un aumento del numero di istanze con un uso non ottimale o sviluppare una tecnologia simile a Mesos, o almeno un sottoinsieme di esso.

La crescente adozione di contenitori per l’elaborazione del flusso e i lavori batch continua a guidare l’utilizzo nella pianificazione delle risorse basata su Mesos. Più recentemente, lo sviluppatore beneficia di lavorare con contenitori con sede a Docker introdotti in una serie di carichi di lavoro in stile servizio su cluster Mesos. Presentiamo qui una panoramica di alcuni dei progetti che utilizzano Apache Mesos attraverso Netflix Engineering. Mostriamo i diversi casi d’uso che affrontano e come ognuno usano la tecnologia in modo efficace. Per ulteriori dettagli su ciascuno dei progetti, forniamo collegamenti ad altri post nelle sezioni seguenti.

Cloud Native Pianificazione utilizzando Apache Mesos

Al fine di allocare le risorse da varie istanze EC2 alle attività, abbiamo bisogno di un gestore delle risorse che rende le risorse disponibili per la pianificazione e svolge la logistica dell’avvio e del monitoraggio delle attività su un set distribuito di istanze EC2. Apache Mesos separa l’allocazione delle risorse a “framework” Questo desidera utilizzare il cluster, dalla pianificazione delle risorse alle attività dei framework. Mentre Mesos determina quante risorse sono assegnate a un framework, il framework’s lo scheduler determina quali risorse assegnare a quali compiti e quando. Agli programmatori viene presentata un’API relativamente semplice in modo che possano concentrarsi sulla logica di pianificazione e reagire ai guasti, che sono inevitabili in un sistema distribuito. Ciò consente agli utenti di scrivere diversi pianificatori che soddisfano vari casi d’uso, anziché Mesos che deve essere il singolo pianificatore monolitico per tutti i casi d’uso. Il diagramma seguente dalla documentazione di Mesos mostra “Framework 1” ricevere un’offerta da “Agente 1” e lanciare due attività.

La comunità Mesos ha visto più pianificatori sviluppati nel tempo che soddisfano specifici casi d’uso e presentano API specifiche ai propri utenti.

Netflix esegue vari microservizi in una nuvola elastica, AWS EC2. I cluster di mesos operativi in ​​un ambiente nativo cloud ci hanno richiesto di garantire che gli scheduler potessero gestire due aspetti oltre a ciò che gli scheduler che operano in un ambiente di data center – aumentava l’epheemeeralità degli agenti che gestiscono le attività e la possibilità di automaticamente il cluster dell’agente Mesos in base alla domanda. Inoltre, i casi d’uso che avevamo in mente richiedono una programmazione di risorse più avanzata rispetto a un primo tipo di assegnazione. Ad esempio, l’imballaggio del bidone delle attività agli agenti mediante il loro uso di CPU, memoria e larghezza di banda di rete al fine di ridurre al minimo la frammentazione delle risorse. Bin Packing ci aiuta anche a liberare il maggior numero possibile di agenti per alleviare il ridimensionamento del cluster agente interrompendo gli agenti inattivi senza terminare le attività in esecuzione.

Identificando un divario in tali capacità tra gli schelenti esistenti, l’anno scorso abbiamo contribuito con una biblioteca di programmazione chiamata Fenzo. Fenzo autoscala il cluster agente in base alla domanda e assegna risorse a attività in base a molteplici obiettivi di pianificazione composti tramite criteri di fitness e vincoli. I criteri di fitness e i vincoli sono estensibili tramite plug -in, con alcune implementazioni comuni integrate, come l’imballaggio bin e la diffusione di compiti di un lavoro attraverso le zone di disponibilità EC2 per un’alta disponibilità. Qualsiasi framework Mesos che funziona su JVM può utilizzare la libreria Fenzo Java.

Mesos a Netflix

Ecco tre progetti che attualmente eseguono cluster Apache Mesos.

Mantide

Mantis è una piattaforma di elaborazione del flusso reattivo che opera come un servizio nativo cloud con particolare attenzione ai flussi di dati operativi. Mantis copre vari casi d’uso tra cui dashboard in tempo reale, avviso, rilevamento di anomalie, generazione metrica e esplorazione interattiva ad hoc dei dati di streaming. Abbiamo creato Mantis per rendere facile per i team accedere a eventi in tempo reale e creare applicazioni sopra di essi. Attualmente, Mantis sta elaborando flussi di eventi fino a 8 milioni di eventi al secondo e in esecuzione di centinaia di lavori di elaborazione del flusso tutto il cronometro. Uno di questi lavori si concentra su singoli titoli, elaborando approfondimenti a grana fine per capire se, ad esempio, ci sono problemi di riproduzione con House of Cards, Stagione 4, episodio 1 su iPad in Brasile. Ciò equivale a tracciare milioni di combinazioni uniche di dati in ogni momento.

La piattaforma Mantis comprende un cluster master e agente. Gli utenti inviano applicazioni di elaborazione del flusso come lavori che funzionano come uno o più lavoratori sul cluster di agenti. Il master utilizza la libreria di pianificazione Fenzo con Apache Mesos per assegnare ottimale risorse a un lavoro’lavoratori S. Uno di questi obiettivi di assegnazione colloca lavori di elaborazione del flusso perpetui su agenti separati da quelli che eseguono lavori interattivi transitori. Questo aiuta a ridimensionare il cluster dell’agente quando sono completati i lavori transitori. Il diagramma seguente mostra l’architettura di Mantis. I lavoratori dei vari lavori possono essere eseguiti sullo stesso agente utilizzando l’isolamento delle risorse basato su cgroup.

Titus

Titus è una piattaforma di gestione e esecuzione del lavoro container Docker. Inizialmente, Titus ha servito lavori batch che includevano formazione algoritmo (titoli simili per raccomandazioni, analisi delle cellule di test A/B, ecc.) così come lavori orari di report e analisi ad hoc. Più recentemente, Tito ha iniziato a supportare i lavori in stile servizio (microservizi Netflix) che necessitano di un’esperienza di sviluppo locale coerente e di una gestione delle risorse a grana più fine. Titus’ L’utilizzo dello stile di servizio iniziale è per la re-architettura dell’API utilizzando Nodejs lato server.

Il diagramma di architettura sopra per Titus mostra il suo padrone usando Fenzo per assegnare risorse dagli agenti Mesos. Tito fornisce una stretta integrazione nel Microservices e nell’ecosistema AWS Netflix, comprese le integrazioni per la scoperta del servizio, il bilanciamento del carico basato su software, il monitoraggio e la nostra pipeline CI/CD, Spinnaker. La possibilità di scrivere esecutori personalizzati in Mesos ci consente di sintonizzare facilmente il runtime del contenitore per adattarci al resto dell’ecosistema.

Meson

Meson è un framework di orchestrazione e pianificazione del flusso di lavoro generale che è stato creato per gestire le condutture di apprendimento automatico.

Meson si rivolge a un mix eterogeneo di posti di lavoro con requisiti di risorse variabili per la CPU, la memoria e lo spazio su disco. Supporta la gestione dei lavori di scintilla insieme ad altri lavori batch in un cluster condiviso. Le attività sono isolate dalle risorse sugli agenti utilizzando l’isolamento basato su cgroup. Il Meson Scheduler valuta la prontezza delle attività in base a un grafico e lancia le attività pronte utilizzando le offerte di risorse da Mesos. La gestione dei fallimenti include il rilancio compiti falliti e le attività di chiusura determinate per essere andate fuori strada.

Il diagramma sopra mostra Meson’Architettura S. Il team Meson sta attualmente lavorando per migliorare le sue capacità di pianificazione utilizzando la libreria di pianificazione Fenzo.

Continua il lavoro con Apache Mesos

Netflix Studio Search: utilizzando ElaSticSearch e Apache Flink per indicizzare i dati graphql federati

Netflix Engineers ha recentemente pubblicato come hanno creato la ricerca in studio, utilizzando flussi di apache kafka, un processo di mesh dati basato su Apache basato su flink e un sink elasticsearch per gestire l’indice. Hanno progettato la piattaforma per prendere una parte del grafico grafico federato di Netflix e renderlo ricercabile. Oggi, lo studio di ricerca alimenta una parte significativa dell’esperienza utente per molte applicazioni all’interno dell’organizzazione.

All’ingegneria dei contenuti di Netflix, ogni team crea e gestisce in modo indipendente i propri servizi grafici di dominio (DGS) e, allo stesso tempo, collega il suo dominio con altri domini in uno schema grafico unificato esposto da un gateway federato. Data questa struttura, gli ingegneri di Netflix Alex Hutter, Falguni Jhaveri e Senthil Sayebaba spiegano la motivazione per la ricerca in studio:

Una volta entità [. ] sono disponibili nel grafico, è molto comune per le persone voler interrogare per una particolare entità basata su attributi di entità correlate, e.G. Dammi tutti i film che sono attualmente in fotografia con Ryan Reynolds come attore.

Un esempio di entità collegate nel grafico che gli utenti desiderano cercare
Fonte: https: // netflixtechblog.com/how-netflix-content-ingegneria-makes-a-feed-feerated-graph-ricerca-5c0c1c7d7d7d7d7d7d7d7d7d7d7d7d7d7d7d7d7d7d7d7d7d7d7d7d7d7d7ad

Secondo gli autori, in un’architettura grafica federata, ogni servizio “dovrebbe fornire un endpoint che accetta una query e filtri che possano applicarsi ai dati che il servizio non possiede“ e usa quelli per identificare le entità appropriate che dovrebbero tornare. Peggio ancora “, potrebbe essere necessario ogni servizio di possesso di entità per fare questo lavoro.”Questo problema comune di realizzare un grafico federato ha portato alla creazione della ricerca in studio.

Architettura di indicizzazione di ricerca in studio
Fonte: https: // netflixtechblog.com/how-netflix-content-ingegneria-makes-a-feed-feerated-graph-ricerca-5c0c1c7d7d7d7d7d7d7d7d7d7d7d7d7d7d7d7d7d7d7d7d7d7d7d7d7d7d7ad

Il diagramma sopra illustra l’architettura di Studio Search e come mantiene un indice per una parte del grafico federato. Gli eventi di eventi dell’applicazione e modifica dei dati (CDC) eventi sono trasmessi in streaming su flussi di kafka schematizzati. I processi di mesh di dati in Apache Flink consumano questi eventi e arricchiscono i dati utilizzando le query grafiche fornite dall’utente rispetto al gateway federato. I documenti recuperati vengono inseriti su un altro argomento di Kafka schematizzato prima di elaborare da un elasticsearch affli nella mesh dei dati che li indicizza in elasticiarch.

Il team ha fatto integrazioni a mano all’inizio, ma come è stato inondato di richieste di integrare con la ricerca in studio, questo non ha scalato. “Avevamo bisogno di creare strumenti per aiutarci a automatizzare il più possibile il provisioning delle condutture.”

Per consentire l’automazione, il team ha definito un singolo file di configurazione YAML che ha consentito agli utenti di fornire una descrizione di alto livello della loro pipeline. Usano questa configurazione, a sua volta, per creare a livello di programmazione la pipeline di indicizzazione nella mesh dei dati.

Campione .Configurazione YAML
Fonte: https: // netflixtechblog.com/how-netflix-content-ingegneria-makes-a-feed-feerated-graph-ricerca-5c0c1c7d7d7d7d7d7d7d7d7d7d7d7d7d7d7d7d7d7d7d7d7d7d7d7d7d7d7ad

Dal modello di query GraphQL nel file di configurazione, il team genera uno schema APRO APRO richiesto per i flussi di kafka schematizzati e un modello di indice richiesto per ElaSticSearch. Infine, la distribuzione self-service è possibile tramite uno strumento di interfaccia di comando (CLI) basata su Python (CLI).

Le sfide che il team affronta attualmente sono come bootstrap un nuovo indice senza sovraccaricare il sistema, migliorare l’utilizzo delle ricerche inverse e una migliore coerenza e tolleranza all’indice contro i dati obsoleti o mancanti.

Netflix usa Apache?

Об этой сттце

Ыы зарегистрировали подозритеstituire. С помощю ээй ст р ы ыы сможем о imperceде quello. Почему ээо мо л поззти?

Эта страница отображается в тех с лччч, когда автоматическиtal систе quisi которые наршают условия иполззования. Страница перестан scegliere. До этого момента для иполззования сжж google необходимо пхоходить поверку по по по по по.

” ылку запросов. Если ы и ипоеете общий доступ в интернет, проmma. Обратитесь к с ое системому администратору. Подробнеi.

Проверка по слову может также появляться, если вы вводите сложные запросы, обычно распространяемые автоматизированными системами, или же вводите запросы очень часто.

Netflix usa Apache?

Об этой сттце

Ыы зарегистрировали подозритеstituire. С помощю ээй ст р ы ыы сможем о imperceде quello. Почему ээо мо л поззти?

Эта страница отображается в тех с лччч, когда автоматическиtal систе quisi которые наршают условия иполззования. Страница перестан scegliere. До этого момента для иполззования сжж google необходимо пхоходить поверку по по по по по.

” ылку запросов. Если ы и ипоеете общий доступ в интернет, проmma. Обратитесь к с ое системому администратору. Подробнеi.

Проверка по слову может также появляться, если вы вводите сложные запросы, обычно распространяемые автоматизированными системами, или же вводите запросы очень часто.