Riepilogo:

– Google ha creato il proprio hardware di rete e software per il networking Datacenter.

– La loro generazione attuale, Giove Fabrics, può offrire più di 1 petabit/sec di larghezza di banda della bisection totale.

– Google utilizza una topologia chiusura, uno stack di controllo software centralizzato e protocolli personalizzati per progettare le proprie reti Datacenter.

– Hanno distribuito e godendo i vantaggi del software Defined Networking (SDN) per un decennio.

– Le reti DataCenter di Google sono costruite per velocità, modularità e disponibilità e sono infrastrutture condivise.

– Andromeda è l’ultimo stack di networking di Google Cloud Platform, basato su Software Defined Networking (SDN).

– Google sta costruendo un nuovo data center in Nebraska come parte dei suoi $ 9.5 miliardi di investimenti in data center e uffici.

Domande uniche:

1. In che modo Google ha costruito la sua infrastruttura di networking Datacenter?

Google ha creato il proprio hardware e software di rete per collegare tutti i server nei loro datacenter insieme, alimentando i loro sistemi di elaborazione e archiviazione distribuiti. Lo hanno fatto negli ultimi dieci anni.

2. Qual è la capacità della rete di data center di generazione attuale di Google?

La generazione attuale, chiamata tessuto di Jupiter, può offrire più di 1 petabit/sec di larghezza di banda della bisection totale. Questa capacità è sufficiente per 100.000 server per scambiare informazioni a 10 GB/s ciascuno.

3. In che modo Google progetta le sue reti Datacenter?

Google utilizza una topologia chiusura, che prevede l’organizzazione della propria rete attorno a una raccolta di switch più piccoli per fornire le proprietà di un interruttore logico molto più grande. Usano anche uno stack di controllo software centralizzato per gestire migliaia di switch all’interno del data center, facendoli agire come un grande tessuto. Inoltre, creano il proprio software e hardware utilizzando protocolli personalizzati su misura per il data center.

4. Da quanto tempo Google distribuisce e gode dei vantaggi del software Defined Networking (SDN)?

Google ha distribuito e goduto dei vantaggi di SDN da un decennio. Hanno usato SDN per alimentare il loro wan del datacenter, B4 e il loro stack di virtualizzazione della rete SDN, Andromeda.

5. Quali sono le caratteristiche chiave delle reti di dati di Google?

Le reti DataCenter di Google offrono velocità, modularità e disponibilità senza precedenti. Vengono costantemente aggiornati per soddisfare le esigenze di larghezza di banda della loro ultima generazione di server. Queste reti sono anche infrastrutture condivise, alimentando sia l’infrastruttura e i servizi interni di Google, nonché Google Cloud Platform.

6. Cos’è Andromeda e come si collega alla piattaforma di Google Cloud?

Andromeda è un substrato basato su Networking Defined Networking (SDN) per gli sforzi di virtualizzazione della rete di Google. È il punto di orchestrazione per il provisioning, la configurazione e la gestione di reti virtuali e l’elaborazione dei pacchetti in rete all’interno di Google Cloud Platform.

7. Qual è il piano di investimento di Google per i data center e gli uffici?

Google prevede di investire $ 9.5 miliardi di data center e uffici e, come parte di quel piano, stanno costruendo un nuovo data center in Nebraska.

8. Perché Google crea il proprio hardware di rete e software per il networking Datacenter?

Google ha iniziato a costruire il proprio hardware e software di rete perché non c’erano soluzioni esistenti in grado di soddisfare i loro requisiti di elaborazione distribuiti. Hanno continuato a farlo per garantire una grande infrastruttura informatica per i loro datacenter.

9. Quali sono i principi utilizzati da Google nella progettazione delle loro reti Datacenter?

Google ha utilizzato tre principi chiave nella progettazione delle loro reti Datacenter: organizzare la rete attorno a una topologia chiusura, utilizzando uno stack di controllo software centralizzato e costruire il proprio software e hardware utilizzando protocolli personalizzati su misura per il data center.

10. Perché le reti DataCenter di Google sono considerate infrastrutture condivise?

Le reti DataCenter di Google alimentano sia la loro infrastruttura interna e i servizi, nonché la piattaforma di Google Cloud. Ciò significa che le stesse reti sono accessibili agli sviluppatori di tutto il mondo, consentendo loro di sfrastruttura di rete di livello mondiale senza doverlo costruirla da soli.

11. In che modo Google garantisce la disponibilità delle loro reti Datacenter?

Il team operativo di Google ha distribuito e ridistribuito più generazioni della loro rete attraverso la loro infrastruttura per soddisfare le esigenze di larghezza di banda dei loro sistemi distribuiti. Lavorano a stretto contatto con il miglior team di ingegneria e operazione di rete del mondo per garantire la disponibilità delle loro reti.

12. Qual è lo scopo di Andromeda nella piattaforma di Google Cloud?

Andromeda funge da punto di orchestrazione per il provisioning, la configurazione e la gestione di reti virtuali e l’elaborazione dei pacchetti in rete all’interno di Google Cloud Platform. È un componente chiave delle funzionalità di rete della piattaforma.

13. In che modo l’infrastruttura di networking Datacenter di Google utilizza il software Defined Networking (SDN)?

Google ha distribuito SDN nella loro infrastruttura di networking da datacenter per un decennio. Hanno usato SDN per alimentare il loro wan del datacenter, B4 e il loro stack di virtualizzazione della rete, Andromeda. Hanno abbracciato le idee architettoniche di SDN nei loro sistemi di networking.

14. Qual è il significato degli investimenti di Google nei data center e negli uffici?

L’investimento di Google di $ 9.5 miliardi di data center e uffici riflettono il loro impegno nell’espansione delle loro infrastrutture e delle loro capacità. Dimostra la loro fiducia nella crescita dei loro servizi e nella crescente domanda di Google Cloud.

15. In che modo l’infrastruttura di networking Datacenter di Google contribuisce alla piattaforma di Google Cloud?

L’infrastruttura di networking da datacenter di Google è un’infrastruttura condivisa che alimenta sia l’infrastruttura interna e i servizi di Google, nonché la piattaforma di Google Cloud. Ciò consente agli sviluppatori di tutto il mondo di sfruttare le infrastrutture di rete di livello mondiale senza doverlo costruirla da soli, consentendo loro di creare servizi e piattaforme innovative su Internet.

Google svela nuovi data center da $ 750 milioni come parte di $ 9.5b obiettivo

L’apprendimento automatico è parte integrante della gestione dei big data. Come ha affermato Ryan Den Rooijen, Global Le capacità, Insights & Innovation, prima del vertice sull’innovazione dei Big Data di Londra (marzo 2017), “La maggior parte dei problemi che ho osservato si riferisce a come rendere utili questi dati … per guidare un impatto commerciale significativo.” Pertanto, oltre a utilizzare l’apprendimento automatico per prodotti come Google Translate, Google utilizza anche le sue reti neurali per prevedere il PUE dei suoi data center.

Google è il proprio datacenter

VP & GM, Infrastruttura di sistemi e servizi

Google è stato a lungo un pioniere nell’informatica distribuita e nell’elaborazione dei dati, dal file system di Google a MapReduce a BigTable e a Borg. Fin dall’inizio, noi’è noto che la grande infrastruttura informatica come questa richiede una grande tecnologia di networking da data center. Ma quando Google stava iniziando, nessuno ha creato una rete di data center in grado di soddisfare i nostri requisiti di elaborazione distribuita.

Quindi, negli ultimi dieci anni, abbiamo creato il nostro hardware e software di rete per collegare tutti i server nei nostri datacenter, alimentando i nostri sistemi di calcolo e archiviazione distribuiti. Ora abbiamo aperto questa infrastruttura potente e trasformativa per l’uso da parte di sviluppatori esterni tramite Google Cloud Platform.

Al Summit Open Network 2015 abbiamo rivelato per la prima volta i dettagli di cinque generazioni della nostra tecnologia di rete interna. Da Firehose, la nostra prima rete di datacenter internamente, dieci anni fa alla nostra rete Jupiter di ultima generazione, noi’VE ha aumentato la capacità di una singola rete di data center più di 100x. La nostra generazione attuale – tessuti di Giove – può offrire più di 1 petabit/sec di larghezza di banda della bisection totale. Per mettere questo in prospettiva, tale capacità sarebbe sufficiente per 100.000 server per scambiare informazioni a 10 GB/s ciascuno, abbastanza per leggere l’intero contenuto scansionato della Biblioteca del Congresso in meno di 1/10 di secondo.

Abbiamo utilizzato tre principi chiave nella progettazione delle nostre reti di data center:

• Organizziamo la nostra rete attorno a una topologia di chiusura, una configurazione di rete in cui una raccolta di switch più piccoli (più economici) è disposta per fornire le proprietà di un interruttore logico molto più grande.
• Utilizziamo uno stack di controllo software centralizzato per gestire migliaia di switch all’interno del data center, facendoli funzionare efficacemente come un grande tessuto.
• Costruiamo il nostro software e hardware utilizzando il silicio dei fornitori, basandoci meno sui protocolli Internet standard e più sui protocolli personalizzati su misura per il data center.

Nel loro insieme, il nostro stack di controllo di rete ha più in comune con Google’S Architetture di elaborazione distribuita rispetto ai tradizionali protocolli Internet incentrati sul router. Alcuni potrebbero persino dire che noi’Ve ha distribuito e godendo i vantaggi del software Defined Networking (SDN) su Google per un decennio. Qualche anno fa, abbiamo rivelato come SDN ha alimentato Google’S Datacenter Wan, B4, uno del mondo’S più grandi wan. L’anno scorso abbiamo mostrato i dettagli del GCP’SDN Network Virtualization Stack, Andromeda. In effetti, le idee architettoniche per entrambi questi sistemi provengono dai nostri primi lavori nel networking da data center.

Costruire grandi reti di data center non significa solo costruire grandi hardware e software. Esso’s sulla collaborazione con il mondo’Il miglior team di ingegneria e operazione di rete dal primo giorno. Il nostro approccio al networking cambia fondamentalmente l’organizzazione della rete’S Piani di dati, controllo e gestione. Un cambiamento così fondamentale non arriva senza alcuni dossi, ma il nostro team operativo ha più che raggiunto la sfida. Noi’VE distribuito e ridistribuito più generazioni della nostra rete attraverso la nostra infrastruttura su scala planetaria per tenere il passo con le esigenze di larghezza di banda dei nostri sistemi distribuiti.

Mettendo tutto insieme, le nostre reti di data center offrono velocità senza precedenti sulla scala di interi edifici. Sono costruiti per modularità, costantemente aggiornati per soddisfare le insaziabili richieste di larghezza di banda della ultima generazione dei nostri server. Sono gestiti per la disponibilità, soddisfacendo i requisiti di uptime di alcuni dei servizi Internet più esigenti e dei clienti. Soprattutto, le nostre reti di data center sono infrastrutture condivise. Ciò significa che le stesse reti che alimentano tutte le Google’S Infrastruttura e servizi interni alimenta anche Google Cloud Platform. Siamo molto entusiasti di aprire questa capacità fino agli sviluppatori di tutto il mondo in modo che il prossimo grande servizio o piattaforma Internet possa sfruttare l’infrastruttura di rete di livello mondiale senza dover inventarla.

Google Cloud

Inserisci la zona Andromeda: l’ultimo stack di networking di Google Cloud Platform

Andromeda è un substrato basato su Networking Defined Networking (SDN) per i nostri sforzi di virtualizzazione della rete. È il punto di orchestrazione per il provisioning, la configurazione e la gestione di reti virtuali e l’elaborazione dei pacchetti in rete.

Di Amin Vahdat • Lettura di 3 minuti

• Google Cloud
• Infrastruttura
• Sistemi

Google svela nuovi data center da $ 750 milioni come parte di $ 9.5b obiettivo

Con la domanda per Google Cloud, Google sta costruendo un nuovo data center in Nebraska come parte della sua strategia per investire $ 9.5 miliardi di data center e uffici nel 2022.

Google sta mantenendo la sua promessa di spendere $ 9.5 miliardi di nuovi data center e uffici di Google nel 2022 con la presentazione di un nuovo data center da $ 750 milioni in Nebraska.

L’enorme nuovo campus di Google a Omaha, NEB., consisteranno in quattro edifici per un totale di più di 1.4 milioni di piedi quadrati come la domanda di servizi e infrastrutture di Google Cloud è impennata. In Google Cloud’s recente del quarto trimestre, la società ha registrato una crescita delle vendite del 45 % anno su anno a $ 5.5 miliardi.

“[Il nuovo data center] offrirà maggiori opportunità alla comunità locale e più risorse per i nostri clienti per far crescere le proprie attività e utilizzare i servizi digitali,” Ha detto Stacy Trackey Meagher, amministratore delegato di Google Cloud’regione centrale, in una dichiarazione.

Il nuovo Google Data Center in Nebraska fa parte di Mountain View, California.-Ricerca basata e gigante del cloud’S ha il piano di investire un totale di $ 9.5 miliardi di data center e u.S.-uffici basati entro la fine del 2022.

Google è uno dei maggiori spesa per la costruzione di nuovi data center in tutto il mondo, secondo Synergy Research Group, investendo miliardi ogni anno sulla costruzione e equipaggia i data center per iperscale per soddisfare le sue crescenti richieste di clienti cloud. Google, Amazon Web Services e Microsoft hanno le impronte più ampie del data center al mondo, con ciascuna che ospita almeno 60 o più sedi di data center.

I data center sono il “Ancori vitali” Per i clienti e le comunità locali, ha affermato il CEO di Google Sundar Pichai in un post sul blog questo mese.

“I nostri investimenti in data center continueranno ad alimentare gli strumenti e i servizi digitali che aiutano le persone a prosperare,” ha detto Google’S Pichai.

Google’S Piani di espansione del data center

Oltre al nuovo data center in Nebraska, Google prevede di spendere miliardi quest’anno in data center in Georgia, Iowa, Oklahoma, Nevada, Tennessee, Virginia e Texas.

“Nell’u.S. Negli ultimi cinque anni, noi’Ve ha investito oltre 37 miliardi di dollari nei nostri uffici e data center in 26 stati, creando oltre 40.000 posti di lavoro a tempo pieno. Quello’S Oltre agli oltre $ 40 miliardi di ricerca e sviluppo che abbiamo investito nella U.S. Nel 2020 e 2021,” disse Pichai.

I data center abilitano Google Cloud Services and Infrastructure, inclusa la sua offerta di GCP di GCP (GCP) di punta.

Nel 2021, il GCP ha registrato una crescita di oltre l’80 % del volume totale degli affari rispetto al 2020 e una crescita di oltre il 65 % del numero di accordi superiori a $ 1 miliardo.

Complessivamente, Google Cloud ora ha un tasso di esecuzione delle entrate annualizzato di $ 22.16 miliardi.

FAQ di Google Data Center Parte 3

In che modo Google decide dove costruire i suoi data center?

Google sceglie le posizioni dei suoi data center in base a una combinazione di fattori che includono la posizione del cliente, la forza lavoro disponibile, la vicinanza all’infrastruttura di trasmissione, gli sconti fiscali, le aliquote e altri fattori correlati. La sua recente attenzione all’espansione della propria infrastruttura cloud ha aggiunto ulteriori considerazioni, come la domanda dei clienti del cloud aziendale per determinate sedi e la vicinanza ai centri di popolazione ad alta densità.

La scelta di ST. Ghislain, Belgio per un data center (aperto nel 2010) si basava sulla combinazione di infrastrutture energetiche, terreni sviluppabili, un forte supporto locale per i lavori ad alta tecnologia e la presenza di un gruppo tecnologico di aziende che supporta attivamente l’educazione tecnologica nelle scuole e nelle università vicine.

Un clima aziendale positivo è un altro fattore. Ciò, unito alla terra e al potere disponibili, ha reso l’Oklahoma particolarmente attraente, secondo Google’Senior Director of Operations quando è stato annunciato il sito di Pryor Creek. In Oregon, l’ambiente aziendale positivo significa localizzare in uno stato che non ha un’imposta sulle vendite. I commissari locali della contea di Wasco hanno anche esentato Google per la maggior parte delle sue tasse sulla proprietà, richiedendo pur effettuando un pagamento una tantum di $ 1.7 ai governi locali e pagamenti di almeno $ 1 milione ogni anno dopo.

Anche la vicinanza alle fonti di energia rinnovabile sta diventando sempre più importante. Google è strategicamente investito in risorse rinnovabili e considera la propria impronta ambientale quando si trova nuovi data center.

I data center di Google utilizzano l’energia rinnovabile?

Google acquista più energia rinnovabile di qualsiasi società del mondo. It 2016 ha acquistato abbastanza energia per rappresentare più della metà del suo utilizzo energetico. Nel 2017 l’azienda prevede di compensare completamente tutto il suo utilizzo energetico con l’energia rinnovabile al 100 %. Per fare ciò, Google ha firmato 20 accordi di acquisto per 2.6 gigawatt (GW) di energia rinnovabile. Ciò significa che, sebbene l’energia rinnovabile potrebbe non essere disponibile ovunque o nelle dimensioni di Google, Google acquista la stessa quantità di energia rinnovabile che consuma.

Google ha anche commesso $ 2.5 miliardi di finanziamenti azionari per sviluppare energia solare e eolica che può essere aggiunta alla rete elettrica in tutto il mondo. Tale disponibilità a finanziare progetti rinnovabili è nel tentativo di espandere gradualmente il mercato delle energie rinnovabili in termini di disponibile, nonché modificando i modi in cui possono essere acquistate le energie rinnovabili. Nel processo, l’utilizzo di fonti rinnovabili diventa più facile e più conveniente per tutti.

Google

Visualizza del Google Data Center a Hamina, in Finlandia, con una turbina eolica accanto ad essa

Anche la sostenibilità è al centro dei data center. Lo st. Ghislain, Belgio, i data center erano Google’s First a fare affidamento interamente sul raffreddamento gratuito. E quella struttura’L’impianto di purificazione dell’acqua in loco consente ai data center di riciclare l’acqua da un canale industriale piuttosto che toccare la regione’S APPROPRIMENTO ACQUA FRONTE.

Quanta energia utilizzano i data center di Google?

L’uso dell’energia del data center rappresenta una parte considerevole del 5.7 ore terawatt la sua società madre, Alphabet, utilizzata nel 2015. Con una pue media di 1.12 (contro la media del settore di 1.7), Google afferma che i suoi data center utilizzano metà dell’energia di un tipico data center. Una parte in crescita di questo è rinnovabile, fornita attraverso accordi di acquisto di energia.

Che tipo di hardware e software utilizza Google nei suoi data center?

Esso’S No Secret che Google ha creato la propria infrastruttura Internet dal 2004 da componenti delle materie prime, con conseguente comodo data center definito dal software. La progettazione della mesh gerarchica risultante è standard in tutti i suoi data center.

L’hardware è dominato da server personalizzati progettati da Google e Giove, Switch Google introdotto nel 2012. Con le sue economie di scala, Google si contrae direttamente con i produttori per ottenere le migliori offerte.

Yevgeniy Sverdlik

Google’Switch di networking di Jupiter in mostra su Google Cloud il prossimo 2017 a San Francisco

Google’I server e il software di networking eseguono una versione indurita del sistema operativo open source Linux. I singoli programmi sono stati scritti internamente. Includono, al meglio delle nostre conoscenze:

• Google Web Server (GWS)-Server Web basato su Linux personalizzato che Google utilizza per i suoi servizi online.
• Sistemi di archiviazione:
  • Colossus-Il file system a livello cluster che ha sostituito il file system di Google
  • Caffeina – Un sistema di indicizzazione continuo lanciato nel 2010 per sostituire Teragoogle
  • Hummingbird – Algoritmo indice di ricerca principale introdotto nel 2013.

  Google ha anche sviluppato diverse astrazioni che utilizza per la memorizzazione della maggior parte dei suoi dati:

  • Buffer di protocolli: un modo neutro neutro, neutro e estensibile per la serializzare i dati strutturati per l’uso in protocolli di comunicazione, archiviazione dei dati e altro ancora
  • Sstable (tabella delle stringhe ordinate) – una mappa persistente, ordinata e immutabile dalle chiavi ai valori, in cui sia le chiavi che i valori sono stringhe byte arbitrarie. Viene anche usato come uno dei mattoni di BigTable
  • Recordio – Un file che definisce le interfacce IO compatibili con Google’Specifiche

  In che modo Google utilizza l’apprendimento automatico nei suoi data center?

  L’apprendimento automatico è parte integrante della gestione dei big data. Come ha affermato Ryan Den Rooijen, Global Le capacità, Insights & Innovation, prima del vertice sull’innovazione dei Big Data di Londra (marzo 2017), “La maggior parte dei problemi che ho osservato si riferisce a come rendere utili questi dati … per guidare un impatto commerciale significativo.” Pertanto, oltre a utilizzare l’apprendimento automatico per prodotti come Google Translate, Google utilizza anche le sue reti neurali per prevedere il PUE dei suoi data center.

  Google calcola PUE ogni 30 secondi e lo traccia continuamente il carico, la temperatura dell’aria esterna e i livelli per l’attrezzatura meccanica e di raffreddamento. Questi dati consentono agli ingegneri di Google di sviluppare un modello predittivo che analizza le complesse interazioni di molte variabili per scoprire i modelli che possono essere utilizzati per aiutare a migliorare la gestione dell’energia. Ad esempio, quando Google ha preso alcuni server offline per alcuni giorni, gli ingegneri hanno utilizzato questo modello per regolare il raffreddamento per mantenere l’efficienza energetica e risparmiare denaro. Il modello è 99.6 % accurato.

  Nel luglio 2016, Google ha annunciato i risultati di un test di un sistema di intelligenza artificiale da parte della sua acquisizione britannica DeepMind. Quel sistema aveva ridotto il consumo di energia delle sue unità di raffreddamento del data center fino al 40% e PUE complessivo del 15%. Il sistema prevede le temperature con un’ora di anticipo, consentendo di regolare il raffreddamento in anticipo.

  Google fa in affitto lo spazio in altre aziende’ Centri dati?

  SÌ. Google noleggia spazio dagli altri quando ha senso. Non tutti i data center di Google hanno il nome sulla porta. Invece, l’azienda utilizza una varietà di strategie per soddisfare le sue esigenze di data center. Prende in affitto spazio per i siti di memorizzazione nella cache, ad esempio, e utilizza una strategia di build-and-location mista per il suo lancio globale di data center cloud.

  Google è il proprio datacenter

  

  Amin Vahdat

  VP & GM, Infrastruttura di sistemi e servizi

  Le reti di data center costituiscono la base per moderni su scala di magazzini e cloud computing. La garanzia sottostante di comunicazione uniforme e arbitraria tra decine di migliaia di server a 100 GB/s di larghezza di banda con la latenza sub-100us ha trasformato il calcolo e la memoria. Il vantaggio principale di questo modello è semplice ma profondo: l’aggiunta di un server o un dispositivo di archiviazione incrementale a un servizio di livello superiore offre un aumento proporzionale della capacità e della capacità. In Google, la nostra tecnologia di rete del data center Jupiter supporta questo tipo di funzionalità di scala per i servizi di base per i nostri utenti, come Search, YouTube, Gmail e Servizi cloud, come AI e Machine Learning, Calco.

  Abbiamo trascorso gli ultimi otto anni integrando profondamente il circuito ottico a commutazione (OCS) e il multiplexing della divisione Wave (WDM) in Giove. Mentre decenni di saggezza convenzionale hanno suggerito che ciò non era pratico, la combinazione di OCS con la nostra architettura di networking definita dal software (SDN) ha consentito nuove funzionalità: supporto per build di rete incrementale con tecnologie eterogenee; prestazioni più elevate e minore latenza, costo e consumo energetico; Modelli di priorità e comunicazione dell’applicazione in tempo reale; e aggiornamenti a zero in tempo. Jupiter fa tutto questo, riducendo il completamento del flusso del 10%, migliorando la produttività del 30%, utilizzando il 40% in meno di potenza, sostenendo il 30% in meno di costi e offrendo 50 volte in meno di tempo di inattività rispetto alle alternative più note. Puoi leggere di più su come l’abbiamo fatto nel documento che abbiamo presentato oggi a Sigcomm 2022, Jupiter Evolving: trasformare la rete di datacenter di Google tramite switch a circuito ottico e reti definite dal software.

  Ecco una panoramica di questo progetto.

  Reti di data center in evoluzione di Jupiter

  Nel 2015, abbiamo mostrato come le nostre reti di data center di Jupiter si sono ridimensionate su oltre 30.000 server con connettività uniforme da 40 GB/s per server, supportando oltre 1 pb/sec di larghezza di banda aggregata. Oggi Giove supporta più di 6pb/sec di larghezza di banda Datacenter. Abbiamo consegnato questo livello di prestazioni e scala mai visto prima sfruttando tre idee:

  • Software Defined Networking (SDN) – Un piano di controllo logicamente centralizzato e gerarchico per programmare e gestire le migliaia di chip di commutazione nella rete del data center.
  • Topologia vicina – Una topologia di commutazione multistage non bloccante, costruita con chip di switch Radix più piccoli, che può scalare a reti arbitrariamente grandi.
  • Merchant Switch Silicon – Componenti di commutazione Ethernet per uso generale conveniente.

  Costruendo su questi tre pilastri, Giove’L’approccio architettonico ha supportato un cambio di mare nell’architettura dei sistemi distribuiti e ha fissato il percorso per il modo in cui l’intera costruisce e gestisce le reti dei data center.

  Tuttavia, sono rimaste due sfide principali per i data center iperscale. In primo luogo, le reti di data center devono essere distribuite su scala di un intero edificio – forse 40 MW o più infrastrutturali. Inoltre, i server e i dispositivi di archiviazione distribuiti nell’edificio sono sempre in evoluzione, ad esempio passando da 40 GB/s a 100 GB/s a 200 GB/s e oggi interconnessioni di rete native da 400 GB/s. Pertanto, la rete del data center deve evolversi in modo dinamico per tenere il passo con i nuovi elementi che si collegano ad essa.

  Sfortunatamente, come mostrato di seguito, le topologie chiusure richiedono uno strato di colonna vertebrale con supporto uniforme per i dispositivi più veloci che potrebbero connettersi ad esso. La distribuzione di una rete di data center su scala costruttiva ha comportato il pre-distribuzione di un livello molto grande della colonna vertebrale che correva a una velocità fissa dell’ultima generazione della giornata. Questo perché le topologie vicine richiedono intrinsecamente tutto Fanout dai blocchi di aggregazione 1 alla colonna vertebrale; L’aggiunta in modo incrementale alla colonna vertebrale richiederebbe il rientro dell’intero data center. Un modo per supportare nuovi dispositivi in ​​esecuzione a velocità di linea più rapide sarebbe quello di sostituire l’intero livello della colonna vertebrale per supportare la nuova velocità, ma questo sarebbe poco pratico dato che centinaia di singoli rack che ospitano gli interruttori e decine di migliaia di coppie di fibre che attraversano l’edificio.

  

  Fico. Un nuovo blocco di aggregazione (verde) con la velocità della porta 200 GB/s è collegato a 3 vecchi blocchi della colonna vertebrale (blu) con velocità della porta di 100 GB/s e un nuovo blocco della colonna vertebrale (verde) con velocità della porta 200 GB/s. In questo modello, solo il 25% dei collegamenti dal nuovo blocco di aggregazione e il nuovo blocco della colonna vertebrale funziona a 200 GB/s.

  Idealmente, la rete del data center supporterebbe elementi di rete eterogenei in a “Paga man mano che cresci” Modello, aggiungendo elementi di rete solo quando necessario e supportano in modo incrementale la tecnologia di ultima generazione. La rete supporterebbe lo stesso modello di scala idealizzato che consente per server e archiviazione, consentendo l’aggiunta incrementale della capacità della rete, anche se di una tecnologia diversa da precedente.

  In secondo luogo, mentre la larghezza di banda in scala di costruzione uniforme è una forza, diventa limitante se si considera che le reti del data center sono intrinsecamente multi-tenant e continuamente soggette a manutenzione e guasti localizzati. Una singola rete di data center ospita centinaia di servizi individuali con diversi livelli di priorità e sensibilità alla larghezza di banda e alla variazione di latenza. Ad esempio, il servizio di risultati di ricerca web in tempo reale potrebbe richiedere garanzie di latenza in tempo reale e allocazione della larghezza di banda, mentre un lavoro di analisi batch di più ore può avere requisiti di larghezza di banda più flessibili per brevi periodi di tempo. Detto questo, la rete del data center dovrebbe allocare la larghezza di banda e il percorso per i servizi in base a modelli di comunicazione in tempo reale e ottimizzazione consapevole delle applicazioni della rete. Idealmente, se il 10% della capacità della rete deve essere temporaneamente eliminato per un aggiornamento, allora il 10% non dovrebbe essere distribuito uniformemente su tutti gli inquilini, ma ripartito in base ai requisiti di applicazione individuali e alla priorità.

  Affrontare queste sfide rimanenti sembrava inizialmente impossibile. Le reti del data center sono state costruite attorno a topologie gerarchiche su vasta scala fisica in modo tale che il supporto di eterogeneità incrementale e adattamento dinamico dell’applicazione non potesse essere incorporato nella progettazione. Abbiamo rotto questo impasse sviluppando e introducendo Commutazione del circuito ottico (OCS) nell’architettura di Giove. Un interruttore a circuito ottico (illustrato di seguito) mappa una porta di ingresso in fibra ottica su una porta di uscita in modo dinamico attraverso due set di sistemi microelettromeccanici (MEMS) che possono essere ruotati in due dimensioni per creare mapping arbitrari da porta-porto.

  

  Fico. Il funzionamento di un singolo dispositivo OCS mappatura N Input su N fibre di uscita tramite specchi MEMS.

  Abbiamo avuto l’intuizione che potevamo creare topologie logiche arbitrarie per le reti di data center introducendo un livello di intermediazione OCS tra gli switch di pacchetti di data center come mostrato di seguito.

  

  Fico. Blocchi di aggregazione collegati fisicamente tramite fibre agli switch OCS. Una topologia logica può essere realizzata configurando ogni switch OCS per collegare una permutazione di input alle fibre di uscita.

  In questo modo ci ha richiesto di costruire OCS e ricetrasmettitori WDM nativi con livelli di scala, produzione, programmabilità e affidabilità non hanno mai raggiunto prima. Mentre la ricerca accademica ha studiato i benefici degli switch ottici, la saggezza convenzionale ha suggerito che la tecnologia OCS non era commercialmente praticabile. Nel corso di più anni abbiamo progettato e costruito Apollo OCS Questo ora costituisce la base per la stragrande maggioranza delle nostre reti di data center.

  Un vantaggio saliente di OCS è che non sono coinvolti alcun percorso di pacchetti o analisi dell’intestazione. OCS riflette semplicemente la luce da una porta di ingresso a una porta di output con incredibile precisione e poca perdita. La luce viene generata attraverso la conversione elettro-ottica nei ricetrasmettitori WDM già necessari per trasmettere i dati in modo affidabile ed efficiente tra gli edifici del data center. Quindi, OCS diventa parte del Costruire infrastrutture, La velocità dei dati e la lunghezza d’onda agnostica e non richiede aggiornamenti anche quando l’infrastruttura elettrica passa dalla trasmissione e dai tassi di codifica da 40 GB/da 100 GB/s a 200 GB/s e oltre.

  Con un livello OCS, abbiamo eliminato il livello della colonna vertebrale dalle nostre reti di data center, collegando invece blocchi di aggregazione eterogenei in una mesh diretta, per la prima volta andando oltre le topologie Clos nel data center. Abbiamo creato topologie logiche dinamiche che riflettevano sia la capacità fisica che i modelli di comunicazione dell’applicazione. La riconfigurazione della connettività logica osservata dagli switch nella nostra rete è ora una procedura operativa standard, evolvendo dinamicamente la topologia da un modello all’altro senza un impatto visibile con l’applicazione. Lo abbiamo fatto coordinando gli scarichi di collegamento con il software di routing e la riconfigurazione di OCS, basandosi sul nostro piano di controllo di rete definito dal software Orion per orchestrare perfettamente migliaia di operazioni dipendenti e indipendenti.

  

  Fico. Multiple OCS che raggiunge l’ingegneria della topologia

  Una sfida particolarmente interessante è stata che, per la prima volta, il percorso più breve delle topologie a mesh non poteva più fornire le prestazioni e la robustezza richieste dal nostro data center. Un effetto collaterale delle topologie chiuse tipicamente dispiegate è che mentre molti percorsi sono disponibili attraverso la rete, tutti hanno la stessa capacità di lunghezza e collegamento, in modo tale che la distribuzione ignaro dei pacchetti o Bilanciamento del carico valoroso, fornisce prestazioni sufficienti. In Giove, sfruttiamo il nostro piano di controllo SDN per introdurre la dinamica Ingegneria del traffico, adottare tecniche pioniere per Google’S B4 WAN: abbiamo diviso il traffico tra più percorsi più brevi e non shortest osservando la capacità di collegamento, i modelli di comunicazione in tempo reale e la priorità di applicazione individuale (frecce rosse nella figura seguente).

  

  Fico. Le tabelle di flusso sugli interruttori eseguono ingegneria del traffico

  Nel loro insieme, abbiamo riempito completamente completamente le reti di data center di Jupiter che alimentano Google’Sonmati di magazzino, introducendo un certo numero di primi del settore lungo la strada:

  • Switch del circuito ottico come punto di interoperabilità per reti su scala edilizia, supportando perfettamente le tecnologie eterogenee, gli aggiornamenti e i requisiti di servizio.
  • Topologie di rete basate su mesh diretta per prestazioni più elevate, minori latenza, costi più bassi e un consumo energetico inferiore.
  • Topologia in tempo reale e ingegneria del traffico per adattare contemporaneamente la connettività di rete e il percorso per abbinare i modelli di priorità e comunicazione dell’applicazione, il tutto osservando la manutenzione e i guasti in tempo reale.
  • Aggiornamenti di rete senza hit con aggiunta/rimuovere la capacità localizzata, eliminando la necessità di costosi e faticosi “Tutti i servizi fuori” Aggiornamenti di stile che in precedenza richiedevano centinaia di singoli clienti e servizi per spostare i loro servizi per tempi di inattività di costruzione prolungati.

  Mentre la tecnologia sottostante è impressionante, l’obiettivo finale del nostro lavoro è continuare a fornire prestazioni, efficienza e affidabilità che insieme offrono capacità trasformative per i servizi distribuiti più esigenti che alimentano Google e Google Cloud. Come accennato in precedenza, la nostra rete Jupiter consuma il 40% in meno di energia, comporta un costo in meno del 30% e offre 50 volte in meno di tempo di inattività rispetto alle migliori alternative di cui siamo a conoscenza, il tutto riducendo il completamento del flusso del 10% e migliorando la produttività del 30%. Siamo orgogliosi di condividere i dettagli di questa impresa tecnologica a Sigcomm oggi e non vediamo l’ora di discutere le nostre scoperte con la comunità.

  Congratulations and thank you to the countless Googlers that work on Jupiter everyday and to the authors of this latest research: Leon Poutievski, Omid Mashayekhi, Joon Ong, Arjun Singh, Mukarram Tariq, Rui Wang, Jianan Zhang, Virginia Beauregard, Patrick Conner, Steve Gribble, Rishi Kapoor, Stephen Kratzer, Nanfang Li, Hong Liu, Karthik Nagaraj, Jason Ornstein, Samir Sawhney, Ryohei Urata, Lorenzo Vicisano, Kevin Yasumura, Shidong Zhang, Junlan Zhou, Amin Vahdat.

  1. Un blocco di aggregazione comprende un set di rack macchina (calcolo/archiviazione/acceleratore) inclusi interruttori top-of-rack (TOR) collegati da uno strato di interruttori tipicamente co-localizzati.