האם Messenger משתמש ב- MQTT
פרוטוקול MQTT – מכשירי MASTER PABOOY למכשירי IOT
סיכום:
העברת מסרים מיידית או תקשורת בזמן אמת: מאחורי הסצינה
לאנשים רבים, ובמיוחד לאלה העובדים עם צומת.JS, תקשורת בזמן אמת (RTC) עשויה להיראות מוכרת. יישומי צ’אט שנבנו באמצעות צומת.JS הפכו לנקודת מוצא נפוצה עבור מפתחים. עם זאת, השגת תקשורת אמיתית בזמן אמת אינה קלה כמו שזה נראה. במאמר זה אספק סקירה כללית של הנושאים המעשיים העומדים בפני חברות מרכזיות כמו פייסבוק, Slack, Discord ו- Telegram בעת התמודדות עם RTC.
שים לב שמאמר זה מתמקד אך ורק ב- RTC ואינו מכסה נושאים כמו תכנון או קידוד של מערכת מסד נתונים.
נקודות מפתח:
1. תקשורת בזמן אמת היא עדיין נושא מאתגר בגלל קישוריות רשת לא יציבה ונושאים אחרים.
2. הבנת מושגים בסיסיים כמו תקשורת דו כיוונית, שקע רשת, אירועי שרת, סקרים קצרים/ארוכים ו- MQTT חיוני עבור RTC.
3. ניתוח הנתונים שהוחלפו בין דפדפנים לשרתים של יישומי צ’אט עיקריים יכול לספק תובנות חשובות.
4. Messenger Facebook משתמש ב- MQTT דרך WebSocket לצורך שליחה/קבלת הודעות, הקלדה ותכונות אחרות.
5. אינסטגרם משתמשת גם ב- MQTT דרך WebSocket, אך עם API נוסף קורא לתכונות כמו הצגת הודעות ורשימות משתמשים.
6. טלגרם מסתמך אך ורק על WebSocket על כל התכונות שלו.
7. רפיון ואי -הסכמה משלבים את שקע ה- Websocket ו- API קוראים לפונקציונליות שונה.
8. זאלו משתמש בסקרים ארוכים של API ו- HTTP לקבלת הודעות ותכונות אחרות.
9. חברות גדולות מסתמכות מאוד על WebSocket/TCP לתקשורת בזמן אמת.
10. שילוב של WebSocket עם שיחות API מקל על קנה המידה וניהול המערכת.
שאלות:
1. באילו טכנולוגיות משתמשים בפייסבוק מסנג’ר ואינסטגרם לתקשורת בזמן אמת?
גם Messenger Facebook וגם Instagram משתמשים ב- MQTT דרך WebSocket לתקשורת בזמן אמת.
2. מהן כמה תכונות הנתמכות על ידי מערכת התקשורת בזמן אמת של Messenger בזמן אמת?
מערכת התקשורת בזמן אמת של פייסבוק מסנג’ר תומך בתכונות כגון שליחה/קבלת הודעות, הקלדה ובקשות.
3. במה מערכת התקשורת בזמן אמת של אינסטגרם שונה משל המסנג’ר של פייסבוק?
בעוד שאינסטגרם משתמשת גם ב- MQTT דרך WebSocket לתקשורת בזמן אמת, היא מסתמכת בנוסף על קריאות API לפונקציונליות כמו הצגת הודעות ורשימות משתמשים.
4. באיזו טכנולוגיה משתמשים במברק לתקשורת בזמן אמת?
טלגרם מסתמך אך ורק על WebSocket על כל תכונות התקשורת בזמן אמת שלה.
5. כיצד פועלת מערכת התקשורת בזמן אמת של Slack?
Slack משלב שיחות Obstocket ו- API כדי לאפשר קבלת והקלדה של הודעות בזמן אמת, יחד עם פונקציונליות כמו רישום פריטים ושליחת הודעות.
6. מהי הטכנולוגיה שמאחורי מערכת התקשורת בזמן אמת של דיסקורד?
מערכת התקשורת בזמן אמת של Discord משתמשת בשיחות Websocket ו- API לקבלת הודעות, רישום פריטים, שליחת הודעות, הקלדה ופונקציונליות שנראתה.
7. איך זאלו מטפלת בתקשורת בזמן אמת?
זאלו משתמשת בשילוב של API ו- HTTP סקרים ארוכים לתקשורת בזמן אמת. זה תומך בתכונות כמו קבלת הודעות, רישום פריטים, שליחת הודעות, הקלדה ופונקציות שנראו.
8. על מה חברות גדולות מסתמכות על תקשורת בזמן אמת?
חברות גדולות מסתמכות מאוד על WebSocket/TCP לתקשורת בזמן אמת.
9. אילו יתרונות עושה שילוב של WebSocket עם שיחות API מציעות?
שילוב של WebSocket עם שיחות API מקל על קנה המידה וניהול מערכת התקשורת בזמן אמת. ניתן להשתמש בשיחות API לשליחת הודעות מלקוחות ויכולות להשתמש בשכבות תוכנה קיימות לצורך אימות, הרשאה וקצב הגבלת קצב.
10. מדוע חברות מסוימות משתמשות בשילוב של שיחות WebSocket ו- API?
שימוש בשיחות WebSocket ו- API מאפשרות לחברות למנף את המדרגיות של ממשקי API של HTTP לפונקציות מסוימות תוך כדי ליהנות מהיתרונות של WebSocket לצורך העברת הודעות בזמן אמת. בנוסף, זה מאפשר שימוש חוזר בשכבות תוכנות תווך קיימות ומפשט את תהליך הגודל.
11. מדוע מערכת התקשורת בזמן אמת של אינסטגרם נבדלת משל המסנג’ר של פייסבוק?
אינסטגרם פותח בתחילה בנפרד מפייסבוק ומאוחר יותר נרכש. מכאן שיכולים להיות הבדלים במערכות הסנכרון המשמשות את הפייסבוק (מבוסס רשת) ובמערכת האינסטגרם הקיימת.
12. מה המשמעות של הבנת מושגים בסיסיים כמו WebSocket ו- MQTT לתקשורת בזמן אמת?
מושגים בסיסיים כמו WebSocket ו- MQTT חיוניים בהבנת תקשורת בזמן אמת ומאפשרים למפתחים לבנות מערכות יעילות ואמינות יותר.
13. כיצד מדריכים לבניית יישומי צ’אט באמצעות צומת.JS עוזר למפתחים?
הדרכות לבניית יישומי צ’אט באמצעות צומת.JS מספקת למפתחים את הביטחון העצמי הדרוש כדי להתחיל את מסע התקשורת בזמן אמת שלהם. עם זאת, עליהם להיות מודעים לכך שבניית מערכת תקשורת בזמן אמת באמת כרוכה בהתגברות על אתגרים שונים.
14. מדוע קנה מידה של שרת Websocket הוא משימה לא טריוויאלית?
קנה מידה של שרת WebSocket הוא משימה לא טריוויאלית מכיוון ש- WebSocket הוא פרוטוקול תקשורת ממושך הדורש שמירה על חיבור מתמשך יחיד פתוח. בעוד ש- WebSocket יעיל לשליחת הודעות משרתים ללקוחות, השימוש בו למשימות לוגיות אחרות, כמו הקלטת הודעות מלקוחות, יכול להיות מאתגר.
15. מה המטרה לבחון את הנתונים שהוחלפו בין דפדפנים לשרתים של יישומי צ’אט גדולים?
בדיקת הנתונים שהוחלפו בין דפדפנים ושרתים של יישומי צ’אט גדולים מאפשרת למפתחים לקבל תובנות לגבי יישום מעשי של תקשורת בזמן אמת וללמוד ממערכות קיימות.
פרוטוקול MQTT – מכשירי MASTER PABOOY למכשירי IOT
עומסי המשאיות מקודדים בבינארי. ברשת פתוחה בה הנמען הוא מיצרן אחר יתמודד עם בעיות בפענוח זה מכיוון שאין מידע על אופן קידוד עומס ההודעות.
העברת מסרים מיידית או תקשורת בזמן אמת: מאחורי הסצינה
לאנשים רבים, במיוחד החבר’ה העובדים עם צומת.JS, נושא זה לא ממש חדש. יש הרבה הדרכות כמו “צור אפליקציית צ’אט פשוטה באמצעות צומת.JS”, “אפליקציית צ’אט בזמן אמת באמצעות הצומת.JS Express, ושקע.io”, וכו. איכשהו הם גורמים ליישומי צ’אט להיות “שלום עולם” לכל אחד מאיתנו שרוצה להתחיל את המסע שלנו עם צומת.JS. הדבר הטוב בקיומם הוא לתת לך ביטחון עצמי. עד למידה מסוימת, איך אינך בטוח אם אתה מסוגל לבנות משהו כמו Messenger בפייסבוק תוך זמן קצר כל כך (1h אולי?)? הדבר הרע הוא זה זה לא כל כך קל.
העובדה היא שלא משנה כמה מאמץ הוצע, תקשורת בזמן אמת (RTC) היא עדיין נושא חם הן בענף והן בקהילה האקדמית. בשל השפעות רבות מחוץ לשליטה, מבחינת קישוריות רשת לא יציבה, חיבור כפול/קונפליקט, הודעה כפולה וכו ‘., זה מאתגר להשיג חוויה אמיתית בזמן אמת (לא, זה לא זה שאתה מרגיש כמסתיים במדריכי Hello-World. בפוסט זה אני אספק לך סקירה כללית של סוגיות מעשיות שנחשבו על ידי בחורים גדולים כמו פייסבוק, Slack, Discord, Telegram וכו ‘.
שים לב שכפי שמדובר רק בתקשורת בזמן אמת, הייתי מציע לך להסתכל על מושגים בסיסיים כמו תקשורת דו-כיוונית, שקע, אירועים שנשמרו על שרת, סקרים קצרים/ארוכים, MQTT. כמו כן, זה לא קשור לעיצוב מערכת DB או בחירה או קידוד, פשוט RTC.
מהחבר’ה הגדולים
מה היית עושה אם הבוס שלך יבקש ממך לבנות מערכת צ’אט כמו Messenger Facebook, או WhatsApp? להלן הרשימה שתוכל לעבור:
- מצא הדרכה?
- ספר אלקטרוני לעיצוב מערכות
- תכנן אפליקציית צ’אט למיליוני משתמשים בחינוך.io
- יש לקוות שבלוג ההנדסה בפייסבוק הדליף משהו על עבודתם
- גוגל “איך להכין אפליקציית צ’אט” עם יותר משלושה מיליארד תוצאות.
אבל יש צעד חיוני שעליך לעשות, מההתחלה או אחרי כל אותם צעדים: פתח את יישום האינטרנט שלהם, בדוק את הנתונים שהוחלפו בין דפדפנים לשרתים. זֶה’מה אני הולך להראות לך בסעיף הבא, על בסיס התכונות העיקריות של Backend Chat:
- רשום שרשורים, רשימת הודעות
- לשלוח הודעה
- קבל הודעה
- הקלדה
- נראה
מסנג’ר בפייסבוק
טֶכנוֹלוֹגִיָה: MQTT מעל WebSocket
תכונה: שלח/לקבל הודעות, הקלדה, בקשה וכו ‘. בכל רחבי WebSocket
עיין בנתוני התגובה של בקשות שקע האינטרנט שלהם קצה-צ’אט.שָׁלִיחַ.com. כל הבקשות לטעון נתונים, לרשום פריטים, לשלוח/לקבל הודעות, הקלדה, מבוצעות באמצעות פרסום הודעות והרשמה ל- WebSocket ולא API.
אינסטגרם
אותה חברה, וכך אותן טכנולוגיות. אך לא אותו מקור, לכן עם הבדל כלשהו.
טֶכנוֹלוֹגִיָה: MQTT מעל WebSocket + API
תכונה: שלח/קבלת הודעות והקלדה על פני שקע רשת, רשימת פריטי, נצפה, רשימה למשתמש באופן מקוון וכו ‘. מעל API.
מִברָק
טֶכנוֹלוֹגִיָה: WebSocket
תכונה: בכל שקע האינטרנט
רָפוּי
טֶכנוֹלוֹגִיָה: WebSocket + API
תכונה: קבל הודעות והקלדה על פני שקע, רשום פריטי פריטים, שליחת הודעות דרך API.
מַחֲלוֹקֶת
טֶכנוֹלוֹגִיָה: WebSocket + API
תכונה: קבל הודעות על שקע רשת, רשום פריטי פריטים, שליחת הודעות, הקלדה, נראה מעל API.
זאלו
טֶכנוֹלוֹגִיָה: סקרים ארוכים של API ו- HTTP
תכונה: קבל הודעות על סקרים ארוכים, רשימת פריטי רשימה, שליחת הודעות, הקלדה, נראה מעל API.
תורנו
אז אנו מגלים כמה תצפיות:
- בחורים גדולים מסתמכים לחלוטין על WebSocket/TCP
- לא מאוד גדול חבר’ה משלבים את שקע האינטרנט כדי לקבל הודעות מהשרת וממשק API כדי לשלוח הודעות לשרת.
- מקרה זאלו – אין מושג
הנה כמה מהמחשבות שלי:
- בעוד שהביצועים של שימוש בשקע טוב בהרבה מאשר להתקשר לבקשות HTTP, קנה המידה של Server WebSocket הוא משימה לא טריוויאלית מכיוון שמדובר בפרוטוקול תקשורת ממושך מכיוון שהוא שומר על חיבור אחד ומתמשך פתוח. כך משמש רק לשרתים לשלוח הודעות ללקוחות. אם אתה משתמש בו למשימות לוגיות אחרות כמו הקלטת הודעות מלקוחות, אתה מבקש ממנה לעשות את מה שהוא לא אמור לעשות.
- API של HTTP שימושי לשליחת הודעות מלקוחות שכן קנה מידה של ממשקי API חסרי מדינה הוא הרבה יותר קל מכפי שהוא קנה מידה של WebSocket. נוסף.
- למי שיכול לבנות מערכות שקע אינטרנט הניתנות להרחבה, עדיף להעביר לחלוטין את בקשות HTTP להשתמש ב- WebSocket כדי לייעל את העברת ההודעות. זה דורש סנכרון של כל מנגנון בקשת הנתונים, אפילו למשימות שאינן אמיתיות.
- ניתן להבין כי אינסטגרם נקנה, שלא מפותח במקור, על ידי פייסבוק, חייב להיות פער בין פייסבוק’מערכת Synchronization S (מבוססת רשת) ואינסטגרם הקיים.
- עבור אפליקציות כמו Slack, Discord, הן ממנפות את המדרגיות של ממשקי API של HTTP ומשתמשים רק ב- WebSocket כדי לשלוח הודעות משרתים או לבקשות קצב גבוה כמו הקלדה.
- ניתן להסביר את הגישה שעוקבת אחרי זאלו על ידי 3 יתרונות i) תמיכה בדפדפנים ישנים מאוד עם תאימות סקרים ארוכה של HTTP, ולא את WebSocket, ii) Web Zalo יכולה להיות גרסה נוספת לזאלו נייד, iii) קל יותר להגדיל את ה- API מאשר כיס לאינטרנט.
בפעם הבאה, אם אתה שומע מישהו שמציע להשתמש במלואם של WebSocket לשליחה וגם לקבל הודעות, הבחור חייב להיות:
- או חדש לדרישות בזמן אמת וחוסר ניסיון מעשי ובסופו של יום, קשה להדרג את המערכת ולא מסוגלת להתמודד עם התנועה עם התנועה.
- או מאוד ניסיון עם מערכות בקנה מידה גדול כמו פייסבוק או מברק.
מאחורי קלעים
בחלק האחרון הזה, תן’S (תיאורטית) חווים דברים (כאבים ב- A **) שלמורים של Hello World מעולם לא היה סיכוי לספר לך.
שֶׁקַע.io?
נראה כי ספרייה זו היא תרופת פלא קסם מכיוון שהיא עוזרת לנו ממשימות משעממות כמו הקמת שרת, פינג/פונג, לשמור על חי, סשן חנות, בלה בלה. כל מה שאתה יכול להתחיל עם זה אם עובדים עם צומת בזמן אמת.JS. למרבה המזל, יש דברים שתתמודד איתם כמעורבים בהם עמוק.
- אין מנגנון QoS. בקרוב תוכלו לחוות אי נוחות כאשר הרשת בצד הלקוח אינה יציבה כל כך כצפוי. ההודעות אבודות כאשר הקישוריות ממשיכה לעלות ולמטה ו שֶׁקַע.io – מבלי להבטיח את ה- QoS, יכול’לא לסמוך.
- דֵרוּג? כאשר עומס יתר על צומת Websocket, תמלא אותו או החוצה. זֶה’מה שאתה עושה בדרך כלל, נכון? ברגע זה, מתאם Redis יגיע לתמונה כגשר בין צמתים באמצעות Redis Pubsub. העניין הוא שמנגנון ההתקשרות של הספירה של Pubsub בהתאם למספר הצמתים הפיזיים הביא למספר בעיות בעת חיבור לתהליכים אחרים הפולטים הודעות. וגם מכיוון ש- Redis pubsub משמש על כל שרת Redis ולא מספר מסד הנתונים, הודעות מסביבות שונות מתעסקות בקלות.
- שבר גרסה. עד כה, שקע.IO עדיין בפיתוח וכמה תכונות זמינות רק בגרסה האחרונה. כרגע אימצנו אותו, חלקים מסוגים ומתאמים לא הושלמו והיו הרבה שגיאות בשלב הפיתוח.
- ACK באמצעות התקשרות חוזרת. אני לא דון’לא כמו התקשרות חוזרת, זה’זה. אני משתמש רק אֵשׁ וכן לשכוח אירועים, לא יותר, כי אני לא’אני חושב שאני מסוגל לחלוטין להתמודד עם כל תוצאה של שימוש יתר על המידה.
- פינג/פונג לא יציב: אפילו עם קישוריות טובה, שֶׁקַע.io הלקוח עדיין מתנתק לעיתים קרובות לאחר פרק זמן ללא קשר לשינוי פסק זמן ברירת מחדל של פינג/פונג או הגדלת פסק זמן עבור איזון עומס. כל הנושאים הללו היו פתוחים ואם יש לך את זה, זה פשוט שאתה לא בר מזל.
בכללי, שֶׁקַע.io עושה את עבודתו ברמה בסיסית. כדי לאמץ אותו לפרויקט אמיתי עם דרישות יציבות, עדיין יש הרבה יצירות לעשות, אני.ה. QoS מבטיח, קנה מידה, מעקב אחר מעקב אחר זה. החלק המאתגר ביותר הוא לסנכרן את מצב הלקוח והשרת כאשר הניתוק מתרחש.
MQTT
MQTT פופולרי ביישומי IoT בגלל נתוני ההעברה הקטנים שלה ולכן מתאים לרשת הלא אמינה של מכשירים חכמים. הוא מעוצב עם מנגנון פאב/משנה ויש לו תכונות מובנות טובות כמו QoS, מושב מתמשך, הודעה אחרונה. זהו הפרוטוקול המשמש את פייסבוק לאפליקציה בזמן אמת שלהם כאמור-MQTT דרך WebSocket.
ניסינו כי אנחנו רוצים שהאפליקציה שלנו תגיע לראש העולם. אבל, שוב, זה לא כל כך קל.
- שינוי הלך הרוח שלנו. אין מושגים כמו חדר או ניתוב Backend ב- MQTT. החדר הוא להסתדר ב Backend של שֶׁקַע.io ולהקל על יצירת חדר צ’אט, החדרת משתמשים חדשים ופליטה אוטומטית של הודעות לחדרי צ’אט. עם MQTT, אתה צריך לנהל חדר לבד, לפלוט הודעות לכל נושא בעצמך מכיוון שאיך נאזין הנושא תלוי בלקוח. המנוי לנושא מסוים קורה רק לאחר הקמת הקישוריות בזמן שאתה מוגבל לאלץ את הלקוחות לבטל את המנוי או להירשם לנושאים חדשים.
- דֵרוּג? לא, זה רק שיווק או פרסומת, איך שתקראו, כשחבר’ה כמו Mosquitto, Vernemq או EMQ X אומרים שהם יכולים לגודל טוב מאוד. כשניסינו כמה מאותם מתווכי הודעות לאשכולות עם ביקוש תנועה גבוה, נושאים רבים מגיעים והם כואבים מכדי לתקן אחד אחד. ג’EST LA VIE, אתה משתמש במוצרים שלהם, אתה תלוי בהם, ואם הם לא עושים’לא לתקן את הבעיה, מה אנחנו יכולים לומר?
- חיבור סכסוך. זה מאוד מסובך בצד הלקוח. על מנת למנף את תכונת ההפעלה המתמשכת, עלינו לשמור על מזהה הלקוח ללא שינוי-וזו משימה מאתגרת אם האפליקציה אינה מקודדת היטב. פעמים רבות למרות שמגדיר רק מופע חיבור 1 MQTT, באמת לא היה לנו מושג איך לעזאזל כמה מקרים עם אותו תעודת זהות יכולים להתקיים. כתוצאה מכך, הלקוחות בועטים זה בזה ואף אחד מהם לא יכול להתחבר. במקרים אלה, אף אחד אחר מאשר חבר’ה חזיתיים יכולים לפתור את הבעיה.
- בִּטָחוֹן. קשה יותר למלא את דרישות האבטחה למערכת MQTT ועבור א שֶׁקַע.io האחד, בעיקר בגלל ארגון הנושא והירשם דפוס.
אם אתה מבחין, אתה עלול להבין ש- MQTT פגיע יותר מגישה API. סוגיות אבטחה מגיעות לא רק מהיישום שלנו אלא גם ממתווכי הודעות מפלגתיות 3. סוגיית אבטחה ב- EMQ X המאפשרת לעקוף את Auth לשלוח נתונים מזויפים ללקוחות אחרים תוקנה בצוות שלנו והיא עדיין בעיה פתוחה. לפחות, יישום MQTT משפר את האמינות של מערכת הצ’אט שלנו, נמנע מחסרות הודעות כמו בעבר.
סיכום
תקשורת בזמן אמת היא בעיה מאתגרת ודורשת הרבה ידע וניסיון. אותה דרישה, אני.ה. “שליח כמו פייסבוק” ניתן לעשות תוך 1 שעות, 3 שעות, וגם כמה שנים, תלוי במצב.
לְהוֹדוֹת
הייתי רוצה לשלוח את התודה הגדולה שלי לקוואנג מין (א.ק.מונמן מין) לקבלת אישור לתרגם את הפוסט המקורי שלו.
פרוטוקול MQTT – מכשירי MASTER PABOOY למכשירי IOT
![]()
לַחֲלוֹק
- לינקדאין
- טוויטר
- פייסבוק אינסטגרם -> Google+ GooglePlus -> העתק ->

בשנת 2011, לוסי ג’אנג, בן דבנפורט וג’ון פרלו הצטרפו לפייסבוק והחלו לבנות את המסנג’ר בפייסבוק. מכשול גדול במאמץ שלהם היה חביון ארוך בעת שליחת הודעה. השיטה בה השתמשו כדי לשלוח הודעות הייתה אמינה אך איטית. הם גם הצליחו לייעל את זה במידה מסוימת. כמה שבועות לפני ההשקה הם חקרו את פרוטוקול Telemetry Transport (MQTT) של תורים (MQTT). בעזרת MQTT, לוסי ג’אנג והצוות הצליחו לבסס ולשמור על קשר מתמשך עם שרתי הפייסבוק מבלי להפחית את חיי הסוללה.
אז מהו פרוטוקול MQTT?
נוצר בשנת 1999 על ידי ד”ר. אנדי סטנפורד-קלארק מ- IBM וארלן ניפר מארומה, MQTT הוא פרוטוקול העברת הודעות קל על גבי פרוטוקול TCP/IP. MQTT מיועד למכשירים מוגבלים (מכשירים עם רוחב פס זיכרון ורשת ברשת) ורשתות אלחוטיות עם רמות שונות של חביון בגלל חיבור לא אמין.
פרוטוקול MQTT הוא שרת לקוח, מפרסם/מנוי, פרוטוקול הובלת העברת הודעות פתוח ומשקל קל. בלב MQTT נמצאת נקודת התקשורת המרכזית המכונה מתווך MQTT. זה אחראי על פיזור הודעות ללקוחות חוקי.
כל לקוח המפרסם הודעה למתווך MQTT כולל את מידע הניתוב, המכונה נושא. לקוחות רשאים להירשם למספר נושאים ולמתווך את כל ההודעות שפורסמו התואמות את הנושא. הלקוחות לא’צריך להכיר אחד את השני כדי לקבל מידע; הם רק צריכים להירשם לנושאים רלוונטיים.
למשל, דמיין רשת פשוטה של שלושה לקוחות, אני.E A, B ו- C, שם כל אחד מחובר למתווך באמצעות חיבור TCP. לקוח B ו- Client-C נרשמים לנושא: טמפרטורה.

Client-A מפרסם 34.5 לטמפרטורת הנושא. המתווך מזהה זאת ומעביר הודעה זו לכל המנויים, שבמקרה זה הם לקוח B ו- Client-C.

ארכיטקטורת המנויים של המו”ל של MQTT הופכת אותה לפיתרון מדרגי ביותר, מבלי ליצור תלות בין יצרני נתונים לצרכנים.
פורמט הודעה של פרוטוקול MQTT
לכל ההודעות של MQTT יש טביעת רגל קטנה של קוד, ומכאן שהיא פופולרית כפרוטוקול העברת הודעות קלות. כל הודעת MQTT מורכבת מהדברים הבאים:
- כותרת קבועה (2 בתים)
- כותרת משתנה אופציונלית
- מטען הודעה (
- רמת איכות השירות (QoS)
MQTT תומך בתקשורת אחת לאחד, אחד לרבים ורבים לרבים.
על ידי הורדת כמות הנתונים המועברים, MQTT הופכת את עצמה לפרוטוקול מושלם למכשירי IoT מוגבלים.
עומסי המשאיות מקודדים בבינארי. ברשת פתוחה בה הנמען הוא מיצרן אחר יתמודד עם בעיות בפענוח זה מכיוון שאין מידע על אופן קידוד עומס ההודעות.
רמת איכות השירות (QoS) לפרוטוקול MQTT
איכות רמות השירות קובעת כיצד מנוהל התוכן. MQTT משתמש בשלוש רמות QoS שונות. חשוב לבחור את רמת ה- QoS הנכונה לכל הודעה מכיוון שהיא קובעת כיצד הלקוח והשרת מתקשרים כדי להעביר את ההודעה. רמות ה- QoS של MQTT הן כדלקמן:
- QoS 0 : הודעות שנמסרו במיטב המאמצים של סביבת ההפעלה, אך אובדן הודעה יכול להתרחש
- QoS 1 : מסירת הודעות מובטחת אך ניתן ליצור כפילויות
- QoS 2 : הודעה כדי להעביר בדיוק פעם אחת
MQTT מספק לנו אפשרות להגדיר את רמת ה- QoS המתאימה, אך זכור, גבוה יותר ב- QoS, הורד את הביצועים .
אבטחת פרוטוקול MQTT
MQTT מאפשר לך להעביר שם משתמש וסיסמא כמנה MQTT. ניתן לטפל בהצפנת הודעה ברחבי הרשת ללא תלות ב- MQTT עם שכבת שקעים מאובטחים (SSL). יש לו תכונת אימות מינימלית מובנית. שם המשתמש והסיסמה נשלחים כטקסט ברור. כדי להפוך אותה לאבטחה, יש להשתמש בשכבת שקעים מאובטחת (SSL)/ אבטחת שכבת תחבורה (TLS), אך SSL/ TLS אינו פרוטוקול קל משקל.
מומחים רבים בתעשייה מאמינים כי MQTT תמלא תפקיד מרכזי ב- IoT על ידי תרומה לתחומים כמו מעקב מלאי ו- IoT רפואי..
האם Messenger משתמש ב- MQTT


ביום שלישי הצגנו את Facebook Messenger, אפליקציית הודעות עצמאית חדשה המאפשרת לאנשים לשלוח הודעות 1 על 1 או לקבוצות חברים. הצטרפתי לפייסבוק לפני חמישה חודשים עם שני המייסדים האחרים שלי, בן דבנפורט וג’ון פרלו, שעבדו איתי כדי לבנות אפליקציית העברת הודעות קבוצתיות בשם Beluga. האפליקציה החדשה שלנו, Messenger Messenger, מייצגת את הטוב ביותר משני העולמות – היא משלבת את הקלות והפשטות של בלוגה עם קנה מידה ושילוב של הודעות פייסבוק.
היו לי כמה חוויות חיים שהובילו אותי ליצור בלוגה. למשל, קבוצה מאיתנו נפגשה לסרט בפסטיבל הסרטים של טרייבקה בניו יורק, אך השעה שהובילה את הסרט הייתה כישלון תקשורת מוחלט. היה לי חבר שמסר לי ספר כדי להגיד לי שחבר אחר איחר. חסכנו כרטיס לחבר אחר, אבל הוא החליט לא לבוא ואף אחד לא ידע. זה לא היה’עד שעות אחר כך כשחזרתי הביתה שראיתי IM מהחבר שאיחר והודעת דוא”ל מהחבר שערבה. אנו חושבים שליח פייסבוק’היכולת לשלב צ’אט, הודעות טקסט ודוא”ל עוזרת לפתור את הבעיה המדויקת הזו.
התחלנו לבנות את בלוגה ככלי לתיאום קבוצתי אך גילינו שמאפשרת תקשורת קלה, פרטית ומיידית יכולה לשנות את הדרך בה קבוצת אנשים מתחברים זה לזה הרבה יותר רחבה. במקום לשלוח דוא”ל לתמונות החופשה שבועות לאחר טיול, אנשים מתחילים לשתף יותר ברגע. האופי המיידי של ההודעות מאפשר לשיחות קבוצתיות להפעיל באופן ספונטני ומגשר על הפער בין אנשים שמתחברים מהמחשבים שלהם לבין אלה במכשירים ניידים. שָׁלִיחַ’שילוב של צ’אט בפייסבוק הופך כעת לתרחיש זה למציאות.
צלילה למים חדשים
כאשר הצטרפנו לפייסבוק והתחלנו לבנות מסנג’ר, האתגר הטכני הראשון שלנו היה ללמוד את כל ערימת התשתית להודעות פייסבוק. זה היה נהדר לבנות על פלטפורמה מדרגית שכבר השיקה למאות מיליוני משתמשים, אך המערכת הכילה הנחות והחלטות עיצוב מסוימות שלא עשו’זה תמיד די רשת עם המוצר שרצינו לבנות. למרבה המזל, הקולגות החדשים שלנו התרגשו גם מהחזון עבור Messenger והצטרפו למאמץ לוודא שהמערכת תוכל לעשות את מה שאנחנו צריכים.
אחת הבעיות שחווינו הייתה חביון ארוך בעת שליחת הודעה. השיטה בה השתמשנו כדי לשלוח הייתה אמינה אך איטית, והיו מגבלות כמה נוכל לשפר אותה. עם מספר שבועות בלבד עד ההשקה, בסופו של דבר בנינו מנגנון חדש השומר על קשר מתמשך לשרתים שלנו. כדי לעשות זאת מבלי להרוג את חיי הסוללה, השתמשנו בפרוטוקול בשם MQTT שעשינו איתו בבלוגה. MQTT תוכנן באופן ספציפי ליישומים כמו שליחת נתוני טלמטריה לבדיקות חלל וממנה, כך שהוא נועד להשתמש ברוחב פס ובסוללות במשורה. על ידי שמירה על חיבור MQTT והודעות ניתוב דרך צינור הצ’אט שלנו, הצלחנו להשיג לעתים קרובות משלוח טלפון לטלפונים במאות אלפיות השנייה, ולא מספר שניות.
מלבד ביצועים ונושאי אינטגרציה של המערכת, האתגרים הגדולים ביותר היו באמת החלטות מוצרים סביב כיצד לשלב בצורה חלקה ערוצי תקשורת שונים עם ציפיות המשתמש השונות. אנשים מתקשרים אחרת בצ’אט מאשר הם עושים בטלפון – למשל, אתה יכול להתחיל שיחת צ’אט עם “היי אתה שם?” אבל כנראה שלא היית’לא לשלוח את זה כטקסט, בגלל כמובן האדם’שם שם! אתה יכול לנסות להפוך את המערכת לחכמה ולעשות את “ימין” דבר בהרבה מקרים שונים, אבל אם אתה הופך את הכללים למורכבים מדי, זה עשוי להרגיש גם “קִסמִי” ולא כמו ערוץ תקשורת אמין.
כדי להבטיח שהמסנג’ר הרגיש נכון, בדקנו כל הזמן עיצובים שונים עם עמיתינו. כאשר הוצאנו את הבניינים ליותר ויותר אנשים בפייסבוק, קיבלנו משוב עוד יותר ולמדנו היכן ההנחות שלנו שונות מהמציאות. אָנוּ’כל כך נרגש להשיק סוף סוף את מסנג’ר פייסבוק לקהל – ואנחנו מצפים לקבל משוב ממיליוני אנשים נוספים.
אנו מקווים שתיהנו להשתמש בפייסבוק מסנג’ר באותה מידה שנהנינו לבנות אותו!
לוסי ג’אנג, מהנדסת תוכנה, מצפה לעולם לא לנהל שוב את ליל הסרט.
איך להכין שליח מגניב שעובד מהר עם אינטרנט חלש
מדוע אתה צריך להשתמש ב- MQTT ובצומת.JS להודעות בזמן אמת
9 דקות לקרוא
23 במאי 2017
נכון לעכשיו, יותר ויותר יישומים שאנו מפתחים ב- S-Pro דורשים העברת הודעות בזמן אמת והעברת נתונים. ברוב המקרים אנו משתמשים בשקע.ספריית IO לצומת.JS. עם זאת, ישנן אלטרנטיבות שיש להן היתרונות שלהן. MQTT (הובלת טלמטריה של תור הודעות) היא אחת מהן. וזה’זה מה שאנחנו’אני מדבר כאן!
מה זה mqtt
“זהו פרוטוקול פרסום/מנוי, פשוט במיוחד וקל משקל, המיועד למכשירים מוגבלים ורוח רוחב פס נמוך, ברשתות גבוהות או לא אמינות. עקרונות העיצוב הם למזער את דרישות רוחב הפס ומשאבי המכשירים ברשת, תוך ניסיון להבטיח אמינות ומידה מסוימת של הבטחת המסירה. עקרונות אלה מתבררים גם כדי להפוך את הפרוטוקול לאידיאלי של המתהווה “מכונה למכונה” (M2M) או “האינטרנט של הדברים” עולם המכשירים המחוברים, וליישומים ניידים שבהם רוחב הפס וכוח הסוללה נמצאים בפרמיה.” – http: // mqtt.אורג/שאלות נפוצות
לפיכך, MQTT הוא פרוטוקול רשת מפושט הפועל על TCP/IP. זה עוזר להחליף הודעות בין מכשירים באמצעות דפוס המנוי לפרסום. הגרסה הראשונה של הפרוטוקול פותחה על ידי DR. אנדי סטנפורד-קלארק (יבמ) וארלן ניפר (ARCOM) בשנת 1999 ופורסם תחת רישיון ללא תמלוגים. ה- MQTT 3.1.המפרט 1 תוקן על ידי קונסורציום אואזיס בשנת 2014.
למה תרצה את זה?
- קל לשימוש. הפרוטוקול הוא יחידת תוכנית ללא פונקציונליות נוספת, שניתן לשלב בקלות בכל מערכת מורכבת.
- דפוס המנוי לפרסום נוח לרוב הפתרונות. זה מאפשר למכשירים לתקשר ולפרסם/לקבל הודעות שלא היו ידועות או מוגדרות מראש.
- קל לניהול.
- העומס בערוץ התקשורת מצטמצם.
- זה עובד עם חיבור איטי או לא יציב.
- אין הגבלה על פורמט התוכן המועבר.
מה עם הטבות?
- בינארי
- תקורה נמוכה (2+ בתים)
- רמת QoS מרובה
- העברת הודעות לא מקוונות
- נושא תוויות בר +, #
- מסרים שמורים, רצון אחרון וברית, פעימות לב ודברים אחרים ..
לתת’תסתכל על זה!
תקורה בינארית ונמוכה
יש תקורה נמוכה מאוד במבנה הנתונים הבינאריים המועברים. המשמעות היא שבהשוואה לפרוטוקולים רבים אחרים (לדוגמה, עם HTTP) זה כמעט לא טוען את הרשת בהעברת מידע, הנחוצה רק לתפקוד הפרוטוקול. על פי המדידות שנעשו ברשתות 3G, ה- MQTT’קיבולת S גבוהה פי 93 מהשאר (העברת מצב ייצוג) יש את הפרוטוקול שעובר על HTTP.
רמת QoS מרובה
MQTT יכול לציין את רמת איכות השירות (QoS). באופן כללי, יש שלוש רמות:
- QoS 0. הנמען אינו מאשר את קבלת ההודעות. השולח, בהתאם, מעביר את ההודעה פעם אחת בלבד, מבלי לנסות לחדש אותו בעתיד. זה “לשלוח ולשכוח” שיטה.
- QoS 1. מובטח כי המקלט יקבל הודעה לפחות פעם אחת. במקרה זה, המנוי יכול לקבל את אותה ההודעה מספר פעמים. והשולח יבצע ניסיונות חוזרים ונשנים לשליחה עד שהוא יקבל אישור על המסירה המוצלחת של ההודעה.
- QoS 2. נוהל מסירת ההודעות האיטי ביותר תואם לרמה זו של איכות שירות, אך הוא האמין ביותר. התכונה העיקרית שלה היא יישום ה- “מסירת הודעות חד פעמית” אִסטרָטֶגִיָה. הוא מספק נוהל אישור מסירת הודעות עם ארבעה שלבים.
אתה בוחר רמה ספציפית של איכות שירות על בסיס:
- המאפיינים של הנתונים המועברים
- את החשיבות של זה שיועבר.
הודעות לא מקוונות/מושב מתמשך
אפשרות זו יכולה להיות מופעלת או להשבית. מתי “0” מוגדר, המתווך שומר את ההפעלה ואת כל הלקוח’S מנויים. בפעם הבאה שהחיבור נקבע הוא מציג את כל ההודעות מ- QoS1 ו- QoS2 שהתקבלו על ידי המתווך במהלך הניתוק. בהתאם, מתי “1” מוגדר והחיבור מתחדש, הלקוח יצטרך להירשם מחדש לנושאים.
נושא תוויות בר
נושא הוא מחרוזת UTF-8, המשמשת את המתווך לסינון הודעות עבור כל לקוח מחובר. נושא מורכב מרמת נושא אחת או יותר. כל רמת נושא מופרדת על ידי סלאש קדימה (מפריד ברמת נושא).
כאשר לקוח נרשם לנושא הוא יכול להשתמש בנושא המדויק בו פורסמה ההודעה או שהוא יכול להירשם לנושאים נוספים בבת אחת באמצעות תווים כלליים.
תו כללי ברמה אחת הוא תחליף לרמת נושא אחת. סמל הפלוס מייצג תו כללי ברמה אחת בנושא.
בעוד ש- Wildcard ברמה היחידה מכסה רק רמת נושא אחת, תו כללי רב-ברמה מכסה מספר שרירותי של רמות נושא. על מנת לקבוע את הנושאים התואמים, נדרש כי תו כללי הרמות הוא תמיד הדמות האחרונה בנושא וקודמת לו סלאש קדימה.
תכונות אחרות
כמו כן, ל- MQTT יש כמה תכונות מגניבות אחרות כמו הודעות שמורות, צוואה אחרונה וברית ופעילות לב. ניצחנו’t לכסות אותם במאמר זה אך המידע זמין באופן נרחב באינטרנט. אז אם אתה מעוניין, קדימה.
מתווכים ולקוחות לצומת.JS
לתת’לעשות קצת קוד! בחלק זה, אנחנו’תראה לך באיזו קלות אתה יכול לקבל פיתרון עבודה עם צומת.JS. גם אתה’לי להכיר כמה מודולים. לתת’לנסות ליישם סכמה כזו בפועל.
MQTT דורש מתווך, שהוא ליבו של כל פרוטוקול פרסום/מנוי. המתווך אחראי בעיקר על קבלת כל ההודעות, סינון אותן, להחליט מי מעוניין בהן ואז לשלוח את ההודעה לכל הלקוחות המנויים.
כמתווך, אנו נשתמש במוסה.
מוסקה הוא מתווך MQTT כמודול NPM. אתה יכול להשתמש בו גם משורת הפקודה וגם ממודול NPM. במקרה זה, אנו נשתמש בזה כמודול.
כדי לתמוך בהודעות לא מקוונות שנשתמש בו אסקולטטור עם מונגודב. באופן כללי, Ascoltatori היא ספריית פרסום/מנוי פשוטה התומכת במתווכים/פרוטוקולים הבאים:
- Redis, חנות מפתח/ערך שנוצרה על ידי @antirez.
- מונגודב, מסד נתונים מדרגי, בעל ביצועים גבוהים ומכווני מסמכים.
- Mosquitto וכל היישומים של MQTT נוהל.
- RabbitMQ וכל היישומים של AMQP נוהל.
- Zeromq להשתמש באסקולטטור באופנת P2P.
- Qlobberfsq, תור מערכת קבצים משותף.
- אפאצ’ה קפקא, מערכת העברת הודעות מופצות בעלות תפוקה גבוהה.
- ניתוב בלבד לזיכרון, שימוש Qlobber.
אתה יכול לראות את קוד Backend למטה. זהו הקוד של שרת עובד אמיתי הכולל מתווך MQTT, שרת HTTPS לתמיכה בקבלת מנות MQTT באמצעות WebSockets, מתאם Ascoltatori לשמירת הודעות במסד הנתונים של MongoDB.
// דרוש מתווך MQTTvar mosca = דורש ('mosca');// הגדר חיבור ל- MongoDBvar mongo_con = 'mongodb: // localhost: 27017/mqtt';// הגדרות אלה נדרשות כדי לאפשר תכונת הפעלה מתמשכת.// כל ההודעות יאוחסנו ב- MongoDBvar ascoltatore = סוג: 'מונגו',כתובת אתר: mongo_con,pubsubcollection: 'ascoltatori',מונגו: <>>;// הגדרות סופיות עבור מתווך MUSCA MQTTהגדרות var = נמל: 1883,Backend: Ascoltatore,הַתמָדָה: מפעל: מוסקה.הַתמָדָה.מונגו,כתובת אתר: mongo_con>>;// הגדר שרתי HTTP ו- MQTTvar http = dex ('http'),httpserv = http.CreateServer (),mqttserv = Mosca חדש.שרת (הגדרות);// צרף HTTP לשרת MQTTmqttserv.incepthttpserver (httpserv);httpserv.האזנה (3000);// מפעיל כאשר שרת MQTT מוכן לקבל בקשותmqttserv.ב ('מוכן', מוכן);// מפעילה כאשר מתפרסמת הודעה חדשהmqttserv.על ('פורסם', פונקציה (מנות, לקוח) לְנַחֵם.יומן (מנות.נושא + ':' + חבילה.מטען);>);פונקציה מוכנה () לְנַחֵם.log ('שרת Mosca פועל');>
כדי ליישם את לקוח MQTT, אנו נשתמש ב- NPM MQTT.מודול JS.
// דרוש ספריית MQTTvar mqtt = demance ('mqtt');// הגדר את הלקוח המתחבר לשרת MQTT שלנו// נקי: אמצעי שווא אל תתחיל בפגישה חדשה בחיבור מחדש// זה מאפשר לנו להשתמש בתכונה של מפגשים מתמשכים של פרוטוקול MQTT// בנוסף ClientID חייב להיות ייחודי עבור כל מחרוזת לקוחvar client = mqtt.התחבר ('mqtt: // localhost', נקי: שקר,ClientID: 'console_client'>);// מפעילים על Connect// Cleant מנויים בנושא עם QoS: 1 שמשמעותו רמת QoS. הלקוח יקבל את כל ההודעות לחיבור מחדש.// ואז זה מפרסם הודעה חדשה בנושא. הודעה זו תאוחסן ב- DB ונשלחת למנויים. מנויים לא מקוונים עם QoS 1 יקבלו אותו בחיבור מחדש.//לָקוּחַ.ב ('התחבר', פונקציה () לָקוּחַ.הירשם ('/שלום/s-pro',);לָקוּחַ.פרסם ('/שלום/s-pro', 'שלום, s-pro!',);>);// עשה משהו כשמגיע הודעה חדשה.לָקוּחַ.ב- ('הודעה', פונקציה (נושא, הודעה) לְנַחֵם.יומן (נושא + ':' + הודעה.ToString ());>);
לתת’שקול דוגמה אחת נוספת ללקוח’יישום s. במקרה זה, זה יהיה MQTT על פני WebSockets. דוגמה זו תועיל במיוחד עבור לקוחות העובדים עם דפדפנים או יישומים ניידים היברידיים.
כל הקוד יהיה דומה לקודם. ההבדל היחיד הוא הלקוח’הגדרת s.
לקוח = MQTT.התחבר ('ws: // mqtt.TK: 3000/mqtt ', נקי: שקר,ClientID: שם משתמש>); כפי שאתה יכול לראות, כאן אנו מתחברים לשרת שלנו באמצעות שקעים. אתה יכול למצוא את קוד העבודה על שלנו Github. כל הדוגמאות לקוד עובדות בצורה מושלמת, והן שימשו את המחבר במהלך המצגת כדוגמה חיה.
מדרגיות
קטע זה הוא מעבר לתחום של מאמר זה בגלל המרחב שלו. אבל זה’חשוב להזכיר עד כמה ניתן להרחבה פיתרון זה. אתה יכול ליצור תשתית MQTT מדרגית באמצעות צומת.JS, Redis, Haproxy די בקלות. אפשרות נוספת היא שימוש באפצ’י קפקא. בסוף המאמר, אתה’לראות כמה הפניות לפתרונות מעניינים בתחום זה.
סיכום
לכן, במאמר זה, בדקנו ובדקנו בפועל כמה קל להשתמש בפרוטוקול MQTT להודעות באמצעות JavaScript וצומת.JS. ניתן להשתמש במתווך במוסה בצד השרת. יתר על כן, הוא תומך ב- WebSockets. כלומר, במידת הצורך אתה יכול לקבל הודעות ממכשירי IoT ולהעביר אותם ליישומים ניידים או שולחניים באמצעות TCP באמצעות WebSockets. יתר על כן, MQTT ניתן להרחבה מאוד. אבל גם בלי זה, הוא מהיר מאוד ויכול לעבד 10K+ הודעות בשנייה מ- 10K+ חיבורים במקביל.
אם אהבת את זה, הראה את תמיכתך על ידי מחיאת כפיים לנו לשתף עם אנשים אחרים במדיום.



