סיכום:

– גוגל בונה חומרה ותוכנות רשת משלה לרשתות מרכזיות.

– הדור הנוכחי שלהם, בדים יופיטר, יכול לספק יותר מ 1 פטביט/שניות של רוחב פס סך הכל.

– גוגל משתמשת בטופולוגיה CLO.

– הם פורסים ונהנים מהיתרונות של רשתות מוגדרות תוכנה (SDN) מזה עשור.

– רשתות מרכז הנתונים של גוגל בנויות למהירות, מודולריות וזמינות והן תשתיות משותפות.

– אנדרומדה היא ערימת הרשתות האחרונה של פלטפורמת Google Cloud, המבוססת על רשת מוגדרת תוכנה (SDN).

– גוגל בונה מרכז נתונים חדש בנברסקה כחלק מ- 9 $ שלה.5 מיליארד השקעה במרכזי נתונים ומשרדים.

שאלות ייחודיות:

1. איך גוגל בנה את תשתית הרשתות של מרכז הנתונים שלה?

גוגל בונה חומרה ותוכנה ברשת משלה כדי לחבר את כל השרתים במרכזי הנתונים שלהם יחד, ומפעילה את מערכות המחשוב והאחסון המופצות שלהם. הם עושים זאת בעשור האחרון.

2. מה היכולת של רשת DataCenter של Google Denect?

הדור הנוכחי, שנקרא בדים של יופיטר, יכול לספק יותר מ 1 פטביט/שניות של רוחב פס סך הכל. קיבולת זו מספיקה ל 100,000 שרתים להחליף מידע ב 10 ג’יגה -בייט/שניות כל אחד.

3. איך גוגל מעצבת את רשתות ה- DataCenter שלה?

גוגל משתמשת בטופולוגיה Clos, הכוללת סידור הרשת שלהם סביב אוסף של מתגים קטנים יותר כדי לספק את המאפיינים של מתג לוגי גדול בהרבה. הם משתמשים גם בערימת בקרת תוכנה ריכוזית כדי לנהל אלפי מתגים במרכז הנתונים, מה שגורם להם לפעול כבד גדול אחד. בנוסף, הם בונים תוכנה וחומרה משלהם באמצעות פרוטוקולים מותאמים אישית המותאמים למרכז הנתונים.

4. כמה זמן גוגל פורס ונהנה מהיתרונות של רשת מוגדרת על ידי תוכנה (SDN)?

גוגל פורסת ונהנית מהיתרונות של SDN מזה עשור. הם השתמשו ב- SDN כדי להניע את מרכז הנתונים שלהם, B4, וערימת הווירטואליזציה של רשת SDN שלהם, אנדרומדה.

5. מהן תכונות המפתח ברשתות ה- DataCenter של גוגל?

רשתות מרכז הנתונים של גוגל מספקות מהירות, מודולריות וזמינות חסרת תקדים. הם משודרגים כל הזמן כדי לעמוד בדרישות רוחב הפס של דור השרתים האחרון שלהם. רשתות אלה הן גם תשתיות משותפות, ומפעילות הן את התשתיות הפנימיות של גוגל והן את השירותים, כמו גם פלטפורמת Google Cloud.

6. מה זה אנדרומדה ואיך זה קשור לפלטפורמת Google Cloud?

Andromeda הוא מצע מבוסס רשת מוגדרת על ידי תוכנה (SDN) עבור מאמצי הווירטואליזציה של הרשת של גוגל. זוהי נקודת התזמור להקצאת, קביעת תצורה וניהול רשתות וירטואליות ועיבוד מנות ברשת בפלטפורמת Google Cloud.

7. מהי תוכנית ההשקעה של גוגל למרכזי נתונים ומשרדים?

גוגל מתכננת להשקיע 9 דולר.5 מיליארד מרכזי נתונים ומשרדים, וכחלק מהתוכנית הזו הם בונים מרכז נתונים חדש בנברסקה.

8. מדוע גוגל בונה חומרת רשת ותוכנה משלה לרשת לרשתות נתונים?

גוגל החלה לבנות חומרה ותוכנה ברשת משלהם מכיוון שלא היו פתרונות קיימים שיכולים לעמוד בדרישות המחשוב המבוזרות שלהם. הם המשיכו לעשות זאת כדי להבטיח תשתיות מחשוב נהדרות עבור מרכזי הנתונים שלהם.

9. מהם העקרונות שגוגל משמשת לעיצוב רשתות מרכז הנתונים שלהם?

גוגל השתמשה בשלושה עקרונות עיקריים בעיצוב רשתות מרכז הנתונים שלהם: סידור הרשת סביב טופולוגיה קרובה, באמצעות ערימת בקרת תוכנה ריכוזית ובניית תוכנה וחומרה משלה.

10. מדוע רשתות מרכז הנתונים של גוגל נחשבות לתשתית משותפת?

Networks Center Network. המשמעות היא שאותן רשתות נגישות למפתחים ברחבי העולם, ומאפשרים להם למנף תשתיות רשת ברמה העולמית מבלי שתצטרך לבנות אותה בעצמם.

11. כיצד גוגל מבטיחה את הזמינות של רשתות ה- DataCenter שלהם?

צוות התפעול של גוגל פרוס ופרוס מחדש דורות מרובים של הרשת שלהם על פני התשתית שלהם כדי לענות על צרכי רוחב הפס של המערכות המופצות שלהם. הם עובדים בשיתוף פעולה הדוק עם צוות הנדסת הרשת והתפעול הטוב ביותר בעולם כדי להבטיח את זמינות הרשתות שלהם.

12. מה המטרה של אנדרומדה בפלטפורמת Google Cloud?

אנדרומדה משמשת כנקודת התזמור להקצאת, קביעת תצורה וניהול רשתות וירטואליות ועיבוד מנות ברשת בפלטפורמת Google Cloud. זהו מרכיב מרכזי ביכולות הרשת של הפלטפורמה.

13. כיצד תשתית רשת DataCenter Networking של גוגל משתמשת ברשת מוגדרת על ידי תוכנה (SDN)?

גוגל מפרסת את SDN בתשתית הרשתות של מרכז הנתונים שלהם מזה עשור מזה עשור. הם השתמשו ב- SDN כדי להניע את מרכז הנתונים שלהם, B4, כמו גם את ערימת הווירטואליזציה של הרשת שלהם, אנדרומדה. הם אימצו את הרעיונות האדריכליים של SDN במערכות הרשת שלהם.

14. מה המשמעות של ההשקעה של גוגל במרכזי נתונים ומשרדים?

ההשקעה של גוגל בסך 9 $.5 מיליארד מרכזי נתונים ומשרדים משקפים את מחויבותם להרחיב את התשתיות והיכולות שלהם. זה מדגים את אמונם בצמיחת שירותיהם ובביקוש ההולך וגובר לענן גוגל.

15. כיצד תשתית הרשתות של גוגל של גוגל תורמת לפלטפורמת Google Cloud?

תשתית רשת DataCenter של גוגל היא תשתית משותפת שמפעילה הן את התשתית הפנימית של גוגל והן את השירותים, כמו גם את פלטפורמת Google Cloud. זה מאפשר למפתחים ברחבי העולם למנף תשתיות רשת ברמה העולמית מבלי שתצטרך לבנות אותה בעצמם, מה שמאפשר להם ליצור שירותי אינטרנט ופלטפורמות חדשניות.

גוגל חושפת את מרכז הנתונים החדש של 750 מיליון דולר כחלק מ- $ 9.מטרת 5B

למידת מכונה היא אינטגרלית להתמודדות עם ביג דאטה. כפי שראיין דן רויג’ן, יכולות גלובליות מובילות, תובנות וחדשנות, אמר לפני פסגת החדשנות של ביג דאטה בלונדון (מרץ 2017), “רוב הנושאים שציינתי מתייחסים כיצד להפוך את הנתונים הללו למועילים … כדי להניע השפעה עסקית משמעותית.” לכן, בנוסף לשימוש בלמידת מכונות למוצרים כמו Google Translate, גוגל משתמשת גם ברשתות העצבים שלה כדי לחזות את ה- PUE של מרכזי הנתונים שלה.

האם גוגל מחזיקה במרכז הנתונים

VP & GM, מערכות ושירותים תשתיות

גוגל כבר מזמן הייתה חלוץ במחשוב מבוזר ועיבוד נתונים, החל ממערכת קבצים של גוגל למפוצץ ועד BigTable ו- Borg. מההתחלה, אנחנו’ידוע כי תשתיות מחשוב נהדרות כמו זה דורשת טכנולוגיית רשת מעולה של מרכזי נתונים. אבל כשגוגל התחילה, אף אחד לא עשה רשת מרכזי נתונים שיכולה לעמוד בדרישות המחשוב המבוזרות שלנו.

אז בעשור האחרון אנו בונים חומרת ותוכנה של רשת משלנו כדי לחבר את כל השרתים במרכזי הנתונים שלנו יחד, ומפעילים את מערכות המחשוב והאחסון המופצות שלנו. כעת, פתחנו את התשתית החזקה והטרנספורמטיבית הזו לשימוש על ידי מפתחים חיצוניים באמצעות פלטפורמת Google Cloud.

בפסגת הרשת הפתוחה לשנת 2015 חשפנו לראשונה את פרטי חמישה דורות של טכנולוגיית הרשת הביתית שלנו. מ- Firehose, רשת מרכז הנתונים הביתי שלנו, לפני עשר שנים לרשת יופיטר מהדור האחרון שלנו, אנחנו’הגדיל את הקיבולת של רשת מרכזי נתונים יחידה יותר מ- 100X. הדור הנוכחי שלנו – בדים של יופיטר – יכול לספק יותר מ 1 פטביט/שניות של רוחב פס סך הכל. כדי להציב זאת בפרספקטיבה, יכולת כזו תספיק ל 100,000 שרתים להחליף מידע ב 10 ג’יגה -בייט/שניות כל אחד, מספיק כדי לקרוא את כל התוכן הסרוק של ספריית הקונגרס בפחות מ- 1/10 לשנייה.

השתמשנו בשלושה עקרונות עיקריים בעיצוב רשתות מרכז הנתונים שלנו:

• אנו מסדרים את הרשת שלנו סביב טופולוגיה קרובה, תצורת רשת בה מסודרים אוסף של מתגים קטנים יותר (זולים יותר) כדי לספק את המאפיינים של מתג לוגי גדול בהרבה.
• אנו משתמשים בערימת בקרת תוכנה ריכוזית כדי לנהל אלפי מתגים במרכז הנתונים, מה שגורם להם לפעול למעשה כבד גדול אחד.
• אנו בונים תוכנה וחומרה משלנו באמצעות סיליקון מספקים, ונשענים פחות על פרוטוקולי אינטרנט סטנדרטיים ויותר על פרוטוקולים מותאמים אישית למרכז הנתונים.

ביחד, ערימת בקרת הרשת שלנו משותפת יותר עם גוגל’ארכיטקטורות מחשוב מבוזרות מאשר פרוטוקולי אינטרנט מסורתיים-מרכזיים. יש שאולי אפילו יגידו שאנחנו’פרוס ונהנה מהיתרונות של רשתות מוגדרות תוכנה (SDN) בגוגל במשך עשור. לפני מספר שנים חשפנו כיצד SDN מפעילה את גוגל’S Datacenter Wan, B4, אחד העולם’וואנס הגדולים ביותר. בשנה שעברה הראינו את פרטי ה- GCP’ערימת וירטואליזציה של רשת SDN, אנדרומדה. למעשה, הרעיונות האדריכליים לשתי המערכות הללו מגיעים מהעבודה המוקדמת שלנו ברשת מרכזי נתונים.

בניית רשתות מרכזי נתונים נהדרות לא נוגעת רק לבניית חומרה ותוכנה נהדרת. זה’על שיתוף פעולה עם העולם’צוותי הנדסת רשת ותפעול הרשתות הטובים ביותר מהיום הראשון. הגישה שלנו לרשתות משנה את ארגון הרשת באופן מהותי’נתוני S, שליטה ומטוסי ניהול. שינוי מהותי כזה אינו בא בלי כמה בליטות, אך צוות הפעילות שלנו פגש יותר את האתגר. אָנוּ’פרוס ופרוס מחדש דורות מרובים של הרשת שלנו על פני התשתית שלנו בקנה מידה פלנטרי כדי לעמוד בקצב של צרכי רוחב הפס של המערכות המופצות שלנו.

הרשתות של מרכזי הנתונים שלנו מחברים את כל זה, מספקות מהירות חסרת תקדים בהיקף הבניינים שלמים. הם בנויים למודולריות, משודרגים כל העת כדי לעמוד בדרישות רוחב הפס שאינן יודעות שובע של הדור האחרון של השרתים שלנו. הם מנוהלים לצורך זמינות, העומדים בדרישות ה- UPTime של כמה משירותי האינטרנט והלקוחות התובעניים ביותר. והכי חשוב, רשתות מרכז הנתונים שלנו הן תשתית משותפת. המשמעות היא שאותן רשתות שמפעילות את כל גוגל’S תשתיות ושירותים פנימיים גם מכשירים את פלטפורמת Google Cloud. אנו נרגשים ביותר מפתיחת יכולת זו עד למפתחים ברחבי העולם כך ששירות האינטרנט או הפלטפורמה הגדולים הבאים יוכלו למנף תשתיות רשת ברמה העולמית מבלי שנצטרך להמציא אותו.

Google Cloud

הזן את אזור אנדרומדה: ערימת הרשתות האחרונה של פלטפורמת Google Cloud

אנדרומדה הוא מצע מבוסס רשת מוגדרת על ידי תוכנה (SDN) למאמצי וירטואליזציה של הרשת שלנו. זוהי נקודת התזמור להקצאת, קביעת תצורה וניהול רשתות וירטואליות ועיבוד מנות ברשת.

מאת אמין Vahdat • קריאה של 3 דקות

• Google Cloud
• תַשׁתִית
• מערכות

גוגל חושפת את מרכז הנתונים החדש של 750 מיליון דולר כחלק מ- $ 9.מטרת 5B

כביקוש ל- Google Cloud SoArs, גוגל בונה מרכז נתונים חדש בנברסקה כחלק מהאסטרטגיה שלה להשקיע 9 דולר.5 מיליארד מרכזי נתונים ומשרדים בשנת 2022.

גוגל ממלאת את ההבטחה שלה להוציא 9 $.5 מיליארד במרכזי נתונים ומשרדים חדשים של גוגל בשנת 2022 עם חשיפת מרכז נתונים חדש בסך 750 מיליון דולר בנברסקה.

קמפוס גוגל החדש המסיבי באומהה, נב., יורכב מארבעה בניינים בסך הכל יותר מ- 1.4 מיליון רגל מרובע מכיוון שהביקוש לשירותי ענן של גוגל ותשתיות עולה. ב- Google Cloud’הרבעון הרביעי האחרון, החברה דיווחה על צמיחת מכירות של 45 אחוזים משנה לשנה ל -5 דולר.5 מיליארד.

“[מרכז הנתונים החדש] יביא יותר הזדמנות לקהילה המקומית ומשאבים רבים יותר ללקוחותינו להגדיל את עסקיהם ולהשתמש בשירותים דיגיטליים,” אמר סטייסי טראקי מיגר, מנכ”ל Google Cloud’אזור המרכזי, בהצהרה.

מרכז הנתונים החדש של גוגל בנברסקה הוא חלק מ- Mountain View, קליף.-חיפוש מבוסס וענק ענן’התוכנית להשקיע בסך הכל 9 $.5 מיליארד במרכזי נתונים ו- U.ג.-משרדים מבוססים עד סוף 2022.

גוגל היא אחד ההבזקים הגדולים ביותר בבניית מרכזי נתונים חדשים ברחבי העולם, על פי קבוצת Synergy Research Group, ומשקיעה מיליארדים בכל שנה על בניית והצטיידות של מרכזי נתונים בקשת יתר כדי לעמוד בדרישות הלקוחות הענן ההולכות וגדלות שלה. בגוגל, שירותי האינטרנט של אמזון ומיקרוסופט יש את טביעות הרגל הרחבות ביותר של מרכז הנתונים בעולם, כאשר כל אירוח לפחות 60 מיקומי מרכז נתונים או יותר.

מרכזי נתונים הם “עוגנים חיוניים” ללקוחות ולקהילות מקומיות, אמר מנכ”ל גוגל סונדאר פיצ’אי בפוסט בבלוג החודש.

“ההשקעות שלנו במרכזי נתונים ימשיכו להפעיל את הכלים והשירותים הדיגיטליים המסייעים לאנשים ועסקים לשגשג,” אמר גוגל’S Pichai.

גוגל’תוכניות הרחבה של מרכז הנתונים

בנוסף למרכז הנתונים החדש בנברסקה, גוגל מתכננת להוציא מיליארדים השנה על מרכזי נתונים בג’ורג’יה, איווה, אוקלהומה, נבדה, טנסי, וירג’יניה וטקסס.

“ב- U.ג. בחמש השנים האחרונות אנחנו’VE השקיעה יותר מ -37 מיליארד דולר במשרדינו ובמרכזי הנתונים שלנו ב -26 מדינות, ויצרו מעל 40,000 משרות מלאות. זֶה’S בנוסף ליותר מ -40 מיליארד דולר במחקר ופיתוח שהשקענו ב- U.ג. בשנת 2020 ו 2021,” אמר פיצאי.

מרכזי נתונים מאפשרים לשירותי ענן של גוגל ותשתיות, כולל הפלטפורמה של Google Cloud Ship Ship Ship Ship.

בשנת 2021, GCP רשמה יותר מ- 80 אחוז צמיחה בהיקף העסקה הכולל לעומת 2020, ולמעלה מ- 65 אחוז צמיחה במספר העסקאות העולות על מיליארד דולר.

בסך הכל, ל- Google Cloud יש כעת שיעור ריצת הכנסות שנתי של 22 $.16 מיליארד.

שאלות נפוצות בנושא מרכז נתונים של גוגל חלק 3

איך גוגל מחליטה היכן לבנות מרכזי הנתונים שלה?

גוגל בוחרת את מיקומי מרכזי הנתונים שלה על בסיס שילוב של גורמים הכוללים מיקום לקוחות, כוח אדם זמין, קרבה לתשתית העברה, הנחות מס, שיעורי שירות וגורמים קשורים אחרים. ההתמקדות האחרונה שלה בהרחבת תשתית הענן שלה הוסיפה יותר שיקולים, כמו דרישת לקוחות ענן ארגונית למקומות מסוימים וסמיכות למרכזי אוכלוסייה בצפיפות גבוהה.

הבחירה ב- ST. Ghislain, בלגיה למרכז נתונים (שנפתח בשנת 2010) התבססה על שילוב של תשתיות אנרגיה, קרקעות מתפתחות, תמיכה מקומית חזקה במשרות היי -טק ונוכחות של אשכול טכנולוגי של עסקים התומכים באופן פעיל בחינוך הטכנולוגי בבתי הספר ובאוניברסיטאות הסמוכים.

אקלים עסקי חיובי הוא גורם נוסף. זה, יחד עם אדמות וכוח זמינות, הפך את אוקלהומה לאטרקטיבית במיוחד, לפי גוגל’המנהל הבכיר של תפעול כאשר הוכרז על אתר פריור קריק. באורגון, הסביבה העסקית החיובית פירושה איתור במדינה שאין לה מס מכירות. נציבות מחוז Wasco מקומיות פטרו גם את גוגל עבור מרבית הארנונה שלה תוך שהם מחייבים אותה לתשלום חד פעמי של $ 1.7 לממשלות מקומיות ותשלומים של לפחות מיליון דולר בכל שנה אחר כך.

גם הקרבה למקורות אנרגיה מתחדשת הופכת חשובה יותר ויותר. גוגל מושקעת אסטרטגית במשאבים מתחדשים ושוקלת את טביעת הרגל הסביבתית שלה בעת מיקום מרכזי נתונים חדשים.

האם מרכזי נתונים של גוגל משתמשים באנרגיה מתחדשת?

גוגל קונה אנרגיה מתחדשת יותר מכל תאגיד בעולם. זה 2016 הוא קנה מספיק אנרגיה כדי להסביר יותר ממחצית השימוש באנרגיה שלה. בשנת 2017 החברה מצפה לקזז לחלוטין את כל השימוש באנרגיה שלה עם 100 אחוז אנרגיה מתחדשת. לשם כך, גוגל חתמה על 20 הסכמי רכישה עבור 2.6 ג’יגוואט (GW) של אנרגיה מתחדשת. המשמעות היא שלמרות שאנרגיה מתחדשת עשויה להיות לא זמינה בכל מקום או בכמויות צרכי גוגל, גוגל רוכשת את אותה כמות אנרגיה מתחדשת כפי שהיא צורכת.

גוגל גם התחייבה 2 דולר.5 מיליארד מימון הון לפיתוח אנרגיית סולארית ורוח שניתן להוסיף לרשת הכוח ברחבי העולם. הנכונות לממן פרויקטים מתחדשים נמצאת בניסיון להרחיב בהדרגה את שוק האנרגיה המתחדשת מבחינת הקיים, כמו גם על ידי שינוי דרכים שאפשר לרכוש אנרגיה מתחדשת. בתהליך, השימוש במקורות מתחדשים הופך להיות קל יותר וחסכוני יותר עבור כולם.

גוגל

תצוגה של מרכז הנתונים של גוגל בחמינה, פינלנד, עם טורבינת רוח לידה

קיימות היא גם מוקד במרכזי נתונים. סנט. Ghislain, בלגיה, מרכזי נתונים היו גוגל’ראשית לסמוך כולו על קירור בחינם. וגם, המתקן הזה’מפעל טיהור מים באתר מאפשר למרכזי הנתונים שם למחזר מים מתעלה תעשייתית ולא להקיש על האזור’אספקת מים מתוקים.

כמה אנרגיה משתמשים במרכזי נתונים של גוגל?

השימוש באנרגיה של מרכז נתונים מייצג נתח ניכר של 5.7 שעות Terawatt חברת האם שלה, אלפבית, משמשת בשנת 2015. עם PUE ממוצע של 1.12 (לעומת הממוצע בתעשייה של 1.7), גוגל אומרת שמרכזי הנתונים שלה משתמשים במחצית האנרגיה של מרכז נתונים טיפוסי. חלק הולך וגדל מכך ניתן להתחדש, המסופק באמצעות הסכמי רכישת חשמל.

באיזה סוג חומרה ותוכנה משתמשת בגוגל במרכזי הנתונים שלה?

זה’אין סוד שגוגל בנתה תשתית אינטרנט משלה מאז 2004 מרכיבי סחורות, וכתוצאה מכך מרכזי נתונים זריזים מוגדרים על ידי תוכנה. עיצוב הרשת ההיררכי המתקבל הוא סטנדרטי בכל מרכזי הנתונים שלו.

החומרה נשלטת על ידי שרתים מותאמים אישית מעוצבים בגוגל ויופיטר, ה- Switch Google שהוצג בשנת 2012. עם יתרון הגודל שלה, גוגל מתקשר ישירות עם ייצור כדי לקבל את המבצעים הטובים ביותר.

Yevgeniy Sverdlik

גוגל’S יופיטר מתגים מתגי רשת מוצגים ב- Google Cloud Next 2017 בסן פרנסיסקו

גוגל’שרתים ותוכנת רשתות מפעילים גרסה מוקשה של מערכת ההפעלה של קוד פתוח לינוקס. תוכניות בודדות נכתבו בבית. הם כוללים, למיטב ידיעתנו:

• שרת אינטרנט של גוגל (GWS)-שרת אינטרנט מבוסס לינוקס בהתאמה אישית שגוגל משתמשת בו בשירותים המקוונים שלה.
• מערכות אחסון:
  • Colossus-מערכת הקבצים ברמת האשכול שהחליפה את מערכת הקבצים של גוגל
  • קפאין – מערכת אינדקס רציפה שהושקה בשנת 2010 כדי להחליף את TeragoOgle
  • Hummingbird – אלגוריתם אינדקס חיפוש עיקרי שהוצג בשנת 2013.

  גוגל גם פיתחה מספר הפשטות בהן היא משתמשת לאחסון מרבית הנתונים שלה:

  • מאגרי פרוטוקול-דרך נייטרלית, נייטרלית פלטפורמה, ניתנת להרחבה של הסדרת נתונים מובנים לשימוש בפרוטוקולי תקשורת, אחסון נתונים ועוד
  • Sstable (טבלת מיתרים ממוינים) – מפה מתמשכת, מסודרת, בלתי ניתנת לשינוי, ממפתחות לערכים, כאשר גם המפתחות והערכים הם מיתרי בייט שרירותיים. הוא משמש גם כאחד מאבני הבניין של BigTable
  • Recordio – קובץ המגדיר ממשקי IO התואמים ל- Google’מפרטי IO

  כיצד גוגל משתמשת בלמידה במכונה במרכזי הנתונים שלה?

  למידת מכונה היא אינטגרלית להתמודדות עם ביג דאטה. כפי שראיין דן רויג’ן, יכולות גלובליות מובילות, תובנות וחדשנות, אמר לפני פסגת החדשנות של ביג דאטה בלונדון (מרץ 2017), “רוב הנושאים שציינתי מתייחסים כיצד להפוך את הנתונים הללו למועילים … כדי להניע השפעה עסקית משמעותית.” לכן, בנוסף לשימוש בלמידת מכונות למוצרים כמו Google Translate, גוגל משתמשת גם ברשתות העצבים שלה כדי לחזות את ה- PUE של מרכזי הנתונים שלה.

  גוגל מחושבת את ה- PUE כל 30 שניות, ועוקבת ברציפות של העומס, טמפרטורת האוויר החיצונית והרמות לציוד מכני וקירור. נתונים אלה מאפשרים למהנדסי גוגל לפתח מודל חזוי המנתח את האינטראקציות המורכבות של משתנים רבים כדי לחשוף דפוסים שניתן להשתמש בהם כדי לסייע בשיפור ניהול האנרגיה. לדוגמה, כאשר גוגל לקחה כמה שרתים במצב לא מקוון למשך מספר ימים, המהנדסים השתמשו במודל זה כדי להתאים את הקירור לשמירה על יעילות אנרגיה ולחסוך כסף. הדגם הוא 99.6 אחוז מדויק.

  ביולי 2016, גוגל הודיעה על תוצאות ממבחן מערכת AI על ידי הרכישה הבריטית שלה DeepMind. מערכת זו צמצמה את צריכת האנרגיה של יחידות הקירור של מרכז הנתונים שלה בכ- 40% ובסך הכל ב- 15%. המערכת מנבאת טמפרטורות שעה מראש, ומאפשרת להתאים את הקירור בציפייה.

  האם Google Lease Space בחברות אחרות’ מרכזי נתונים?

  כן. גוגל מחזירה מרחב מאחרים כשזה הגיוני. לא לכל מרכז נתונים של גוגל יש את שמו על הדלת. במקום זאת, החברה משתמשת במגוון אסטרטגיות כדי לענות על צרכי מרכז הנתונים שלה. זה שוכר מקום לאתרי מטמון, למשל, ומשתמש באסטרטגיית בנייה ושכירות מעורבת עבור הפעלת מרכז הענן העולמי הגלובלי שלה.

  האם גוגל מחזיקה במרכז הנתונים

  

  אמין ווהדאת

  VP & GM, מערכות ושירותים תשתיות

  רשתות מרכז נתונים מהוות את הבסיס למחשוב סולם מחסן מודרני וענן. ההתחייבות הבסיסית לתקשורת אחידה ושרירותית בין עשרות אלפי שרתים במאה של gb/s של רוחב פס עם תת-100us חביון הפכה את המחשוב והאחסון. היתרון העיקרי של דגם זה הוא פשוט ועם זאת עמוק: הוספת שרת מצטבר או התקן אחסון לשירות ברמה גבוהה יותר מספקת עלייה פרופורציונלית ביכולת השירות וביכולת השירות. בגוגל, טכנולוגיית הרשת של מרכז הנתונים של יופיטר שלנו תומכת ביכולת גודל של סוג זה לשירותי יסוד למשתמשים שלנו, כגון SEARCH, YouTube, Gmail ו- Cloud Services, כגון AI ולמידת מכונה, מחשוב מנוע, ניתוח Bigquery, מאגרי נתונים ועשרות נוספות.

  בילינו את שמונה השנים האחרונות בשילוב עמוק במיתוג מעגלים אופטיים (OCS) ומולטיביות חלוקת גלים (WDM) ביופיטר. בעוד שעשרות שנים של חוכמה קונבנציונאלית הציעו כי פעולה זו אינה מעשית, השילוב של OCS עם ארכיטקטורת הרשתות המוגדרות בתוכנה שלנו (SDN) אפשרה יכולות חדשות: תמיכה בבניית רשת מצטברת עם טכנולוגיות הטרוגניות; ביצועים גבוהים יותר וחביון נמוך יותר, עלות וצריכת חשמל; דפוסי עדיפות ותקשורת של יישומים בזמן אמת; ושדרוגי אפס-מפורסמים. יופיטר עושה את כל זה תוך הפחתת השלמת הזרימה ב -10%, משפר את התפוקה ב -30%, תוך שימוש ב -40% פחות כוח, כשהוא משתרע על עלות של 30% פחות, והעביר זמן השבתה של 50X פחות מהחלופות הידועות ביותר. אתה יכול לקרוא עוד על אופן כך שעשינו זאת בעיתון שהצגנו ב- SIGCOMM 2022 היום, יופיטר מתפתח: שינוי רשת Datacenter של גוגל באמצעות מתגי מעגלים אופטיים ורשתות מוגדרות תוכנה.

  להלן סקירה כללית של פרויקט זה.

  מתפתחות רשתות מרכז נתונים של יופיטר

  בשנת 2015 הראינו כיצד רשתות מרכז הנתונים של יופיטר שלנו הוגדרו ליותר מ -30,000 שרתים עם קישוריות אחידה של 40 ג’יגה-בייט/ש ‘לשרת, ותומכים ביותר מ- 1pb/sec של רוחב פס מצטבר. כיום, יופיטר תומך ביותר מ- 6PB/SEC של רוחב הפס של Datacenter. העברנו את רמת הביצוע והקנה המידה שלא נראית מעולם על ידי מינוף שלושה רעיונות:

  • רשת מוגדרת תוכנה (SDN) – מטוס בקרה ריכוזי והיררכי מבחינה לוגית לתכנת ולנהל את אלפי השבבים המיתוג ברשת מרכז הנתונים.
  • טופולוגיה קרובה – טופולוגיית מיתוג רב-שלבי לא חוסם, שנבנה משבבי מתג Radix קטנים יותר, שיכולים לקנה מידה לרשתות גדולות באופן שרירותי.
  • מתג סוחר סיליקון – חסכוני, סחורה, סחורה למטרה כללית, רכיבי מיתוג אתרנט לרשת אחסון ונתונים מתכנסים.

  על ידי בנייה על שלושת העמודים האלה, יופיטר’גישה אדריכלית תמכה בשינוי ים בארכיטקטורת המערכות המופצות וקבעה את הדרך לאופן בו התעשייה כולה בונה ומנהלת רשתות מרכז נתונים.

  עם זאת, נותרו שני אתגרים עיקריים למרכזי נתונים של היפר -סולם. ראשית, יש לפרוס רשתות מרכז נתונים בהיקף בניין שלם – אולי 40 מגוואט או יותר של תשתיות. יתר על כן, השרתים ומכשירי האחסון שנפרסים לבניין תמיד מתפתחים, למשל עוברים מ- 40GB/s ל- 100GB/s ל- 200GB/s וכיום חיבורי רשת 400 ג’יגה -בייט/ש. לכן, רשת מרכז הנתונים צריכה להתפתח באופן דינמי כדי לעמוד בקצב עם האלמנטים החדשים שמתחברים אליו.

  לרוע המזל, כפי שמוצג להלן, טופולוגיות CLOS דורשות שכבת עמוד שדרה עם תמיכה אחידה במכשירים המהירים ביותר שעשויים להתחבר אליה. פריסת רשת מרכז נתונים מבוססת בקנה מידה מבנה פירושה פריסה מוקדמת של שכבת עמוד שדרה גדולה מאוד שרצה במהירות קבועה של הדור האחרון של היום. הסיבה לכך היא שטופולוגיות קומות דורשות מטבעו הכל לכולם מעריץ מחסימות צבירה 1 לעמוד השדרה; הוספת לעמוד השדרה באופן מצטבר תדרוש חיווט מחדש של כל מרכז הנתונים. אחת הדרכים לתמוך במכשירים חדשים הפועלים בשיעורי קו מהירים יותר היא להחליף את כל שכבת עמוד השדרה כדי לתמוך במהירות החדשה יותר, אך זה לא יהיה מעשי בהתחשב במאות מתלים בודדים המאכלסים את המתגים ועשרות אלפי זוגות סיבים הפועלים על פני הבניין.

  

  תאנה. בלוק צבירה חדש (ירוק) עם מהירות יציאה של 200 ג’יגה -בייט/ש ‘מחובר ל -3 בלוקים עמוד שדרה ישנים (כחול) עם מהירות יציאה של 100 ג’יגה -בייט/שניות וחסימת עמוד שדרה חדשה (ירוק) עם מהירות יציאה של 200 ג’יגה -בתים/שניות. במודל זה, רק 25% מהקישורים מבלוק הצבירה החדש וחסימת עמוד השדרה החדשה פועלים במהירות 200 ג’יגה -בתים/שניות.

  באופן אידיאלי, רשת מרכז הנתונים תתמוך באלמנטים של רשת הטרוגנית ב- “שלם כשאתה צומח” מודל, הוספת אלמנטים ברשת רק בעת הצורך ותמיכה בדור הטכנולוגי האחרון באופן מצטבר. הרשת תתמוך באותו מודל קנה מידה אידיאלי שהוא מאפשר לשרתים ולאחסון, ומאפשר תוספת מצטברת של קיבולת הרשת-גם אם טכנולוגיה שונה ממה שפרסה בעבר-כדי לספק עליית קיבולת פרופורציונאלית ויכולת פעולה הדדית עבור כל בניית המכשירים.

  שנית, בעוד שרוחב הפס האחיד בקנה מידה מבנה הוא חוזק, הוא הופך למגביל כשאתה מחשיב שרשתות מרכז נתונים הן מטבעו רב דייר ומכונות ברציפות לתחזוקה וכישלונות מקומיים. רשת מרכז נתונים יחידה מארחת מאות שירותים בודדים עם רמות שונות של עדיפות ורגישות לרוחב פס ושונות חביון. לדוגמה, הגשת תוצאות חיפוש באינטרנט בזמן אמת עשויה לדרוש ערבויות חביון בזמן אמת והקצאת רוחב פס, בעוד שלמשימה לניתוח אצווה מרובה שעות עשויות להיות דרישות רוחב פס גמישות יותר לפרקי זמן קצרים. בהתחשב בכך, על רשת Data Center להקצות רוחב פס ולפלטות לשירותים המבוססים על דפוסי תקשורת בזמן אמת ואופטימיזציה של הרשת מודעת ליישום. באופן אידיאלי, אם 10% מיכולת הרשת צריכים להיות מורידים באופן זמני לשדרוג, אז אין להפיץ 10% באופן אחיד בכל הדיירים, אלא לחלק על סמך דרישות יישום פרטניות ועדיפות.

  התייחסות לאתגרים שנותרו אלה נראתה בלתי אפשרית בהתחלה. רשתות מרכז הנתונים נבנו סביב טופולוגיות היררכיות בקנה מידה פיזי מאסיבי כך שלא ניתן היה לשלב בתכנון הטרוגניות מצטברת והתאמת יישומים דינמיים. שברנו את המבוי הסתום הזה על ידי פיתוח והצגתנו מיתוג מעגלים אופטיים (OCS) לארכיטקטורת צדק. מתג מעגל אופטי (המתואר למטה) ממפה יציאת קלט סיבים אופטיים ליציאת פלט באופן דינמי דרך שתי קבוצות של מראות מערכות מיקרו-אלקטרומכניות (MEMS) שניתן לסובב בשני ממדים ליצירת מיפויי יציאה לנציאה שרירותית.

  

  תאנה. הפעלה של מכשיר OCS יחיד מיפוי קלט N לסיבי פלט באמצעות מראות MEMS.

  הייתה לנו התובנה שנוכל ליצור טופולוגיות לוגיות שרירותיות לרשתות מרכז נתונים על ידי הצגת שכבת תיווך OCS בין מתגי מנות מרכז נתונים כמוצג להלן.

  

  תאנה. חסימות צבירה מחוברות פיזית באמצעות סיבים למתגי OCS. ניתן לממש טופולוגיה הגיונית על ידי קביעת תצורה של כל מתג OCS כדי לחבר פרמוטציה של קלט לסיבי פלט.

  פעולה זו דרשה מאיתנו לבנות OCS ומשדרי WDM ילידים עם רמות קנה מידה, ייצור, תכנות ואמינות מעולם לא הושגו לפני כן. בעוד שמחקרים אקדמיים בדקו את היתרונות של מתגים אופטיים, החוכמה המקובלת הציעה כי טכנולוגיית ה- OCS אינה קיימת מסחרית. במשך מספר שנים, עיצבנו ובנינו Apollo OCS זה מהווה כעת את הבסיס לרוב המכריע של רשתות מרכז הנתונים שלנו.

  יתרון בולט אחד של OCS הוא ששום ניתוב מנות או ניתוח כותרות לא מעורבים בפעילותה. OCS פשוט משקף אור מיציאת קלט ליציאת פלט עם דיוק מדהים ואובדן מועט. האור נוצר באמצעות המרה אלקטרו-אופטית במשדר WDM שכבר נדרש להעברת נתונים באופן אמין ויעיל בין בנייני מרכז נתונים. מכאן ש- OCS הופך לחלק מה- בניית תשתיות, הוא קצב הנתונים ואגנוסטי אורך הגל, ואינו דורש שדרוגים אפילו כאשר התשתית החשמלית עוברת משיעורי שידור וקידוד של 40 ג’יגה -בייט/שניות עד 100 ג’יגה -בייט ל 200 ג’יגה -בייט/שניות – ומעבר.

  עם שכבת OCS, חיסלנו את שכבת עמוד השדרה מרשתות מרכז הנתונים שלנו, במקום זאת חיברנו את חסימות הצבירה ההטרוגניות ברשת ישירה, לראשונה עוברת מעבר לטופולוגיות קרובה במרכז הנתונים. יצרנו טופולוגיות לוגיות דינאמיות ששיקפו הן יכולת פיזית והן דפוסי תקשורת יישומים. הגדרת מחדש של הקישוריות ההגיונית שנראתה על ידי מתגים ברשת שלנו היא כעת נוהל הפעלה סטנדרטי, המפתח באופן דינמי את הטופולוגיה מתבנית אחת לשנייה ללא השפעה נראית לעין. עשינו זאת על ידי תיאום ניקוז קישורים עם תוכנת ניתוב ותצורה מחדש של OCS, תוך הסתמכות על מטוס בקרת הרשת של תוכנת Orion שלנו כדי לתזמר בצורה חלקה אלפי פעולות תלויות ועצמאיות.

  

  תאנה. OCs מרובים השגת הנדסת טופולוגיה

  אתגר מעניין במיוחד היה שלראשונה, ניתוב הנתיב הקצר ביותר על טופולוגיות רשת לא יכול עוד לספק את הביצועים והחוסן הנדרש על ידי מרכז הנתונים שלנו. תופעת לוואי של טופולוגיות CLOS פרוסות בדרך כלל היא שבעוד שבילים רבים זמינים דרך הרשת, לכולם יש את אותו אורך וקיבולת קישור, כך שהפצת מנות מתעלמת, או איזון עומס אמיץ, מספק ביצועים מספקים. ביופיטר אנו ממנפים את מטוס הבקרה של SDN שלנו כדי להציג דינמיקה הנדסת תנועה, אימוץ טכניקות חלוץ עבור גוגל’S B4 WAN: חילקנו את התנועה בין הנתיבים הקצרים ביותר והלא שורמים ביותר תוך התבוננות בקיבולת קישור, דפוסי תקשורת בזמן אמת ועדיפות יישום פרטנית (חצים אדומים באיור למטה).

  

  תאנה. שולחנות זרימה במתגים מבצעים הנדסת תנועה

  יחד’מחשבים בקנה מידה של מחסן, מציגים מספר ראשונות בתעשייה בדרך:

  • מעגלים אופטיים מתגים כנקודת ההפעלה הדדית לרשתות בקנה מידה, תומך בצורה חלקה בטכנולוגיות, שדרוגים ודרישות שירות הטרוגניות, ודרישות שירות.
  • טופולוגיות רשת מבוססות רשת ישירות לביצועים גבוהים יותר, חביון נמוך יותר, עלות נמוכה יותר וצריכת חשמל נמוכה יותר.
  • טופולוגיה והנדסת תנועה בזמן אמת כדי להתאים בו זמנית קישוריות ופלטות ברשת כדי להתאים לעדיפות ויישום דפוסי תקשורת, והכל תוך התבוננות בתחזוקה וכישלונות בזמן אמת.
  • שדרוגי רשת ללא מכה עם הוסף/הסרת קיבולת מקומיים, מבטלים את הצורך ביקר ועומס “כל השירותים בחוץ” שדרוגי סגנון שדרשו בעבר מאות לקוחות ושירותים בודדים כדי להעביר את שירותיהם להשבתה של בנייה מורחבת.

  בעוד שהטכנולוגיה הבסיסית מרשימה, המטרה הסופית של עבודתנו היא להמשיך ולספק ביצועים, יעילות ואמינות שיחד מספקים יכולות טרנספורמטיביות לשירותים מבוזרים התובעניים ביותר המפעילים את גוגל וגוגל ענן. כאמור, רשת יופיטר שלנו צורכת 40% פחות כוח, כרוכה ב -30% פחות עלות, ומספקת 50X פחות השבתה מהחלופות הטובות ביותר שאנו מודעים אליהן, והכל תוך הפחתת השלמת הזרימה ב -10% ושיפור התפוקה ב -30%. אנו גאים לשתף היום פרטים על הישג טכנולוגי זה ב- Sigcomm, ומצפים לדון בממצאים שלנו עם הקהילה.

  Congratulations and thank you to the countless Googlers that work on Jupiter everyday and to the authors of this latest research: Leon Poutievski, Omid Mashayekhi, Joon Ong, Arjun Singh, Mukarram Tariq, Rui Wang, Jianan Zhang, Virginia Beauregard, Patrick Conner, Steve Gribble, Rishi Kapoor, Stephen Kratzer, Nanfang Li, Hong Liu, Karthik Nagaraj, Jason Ornstein, Samir Sawhney, Ryohei Urata, Lorenzo Vicisano, Kevin Yasumura, Shidong Zhang, Junlan Zhou, Amin Vahdat.

  1. בלוק צבירה כולל קבוצה של מתלים של מכונה (מחשוב/אחסון/מאיץ), כולל מתגי Top Of Rack (TOR) המחוברים על ידי שכבה של מתגים שהוקמו משותפים בדרך כלל.