บทวิเคราะห์เชิงลึกเกี่ยวกับระบบเชื่อมต่อประสิทธิภาพสูง: RoCE v2, InfiniBand, iWARP และทางเลือกใหม่สำหรับศูนย์ข้อมูลยุคใหม่

I. บทสรุปสำหรับผู้บริหาร

ศูนย์ข้อมูลยุคใหม่จำเป็นต้องรองรับเวิร์กโหลดที่มีความต้องการสูง เช่น การประมวลผลประสิทธิภาพสูง (High-Performance Computing - HPC), ปัญญาประดิษฐ์/การเรียนรู้ของเครื่อง (Artificial Intelligence/Machine Learning - AI/ML) และการวิเคราะห์ข้อมูลขนาดใหญ่ (Big Data) แอปพลิเคชันเหล่านี้ต้องการความหน่วงที่ต่ำเป็นพิเศษ (ultra-low latency) แบนด์วิดท์สูง และการใช้งาน CPU น้อยที่สุด โปรโตคอลเครือข่ายแบบดั้งเดิมอย่าง TCP/IP ไม่สามารถตอบสนองความต้องการเหล่านี้ได้ เนื่องจากมีภาระงาน (overhead) และความหน่วงสูง

Remote Direct Memory Access (RDMA) คือเทคโนโลยีสำคัญที่ทำให้ระบบเชื่อมต่อประสิทธิภาพสูงเป็นไปได้ RDMA ช่วยให้คอมพิวเตอร์ในเครือข่ายสามารถถ่ายโอนข้อมูลระหว่างหน่วยความจำได้โดยตรง โดยไม่ต้องผ่านระบบปฏิบัติการหรือ CPU (memory-to-memory) กระบวนการนี้ช่วยลดความหน่วงและภาระของ CPU ลงได้อย่างมาก

• InfiniBand เป็นโครงข่าย (fabric) ที่สร้างขึ้นโดยเฉพาะและเป็นกรรมสิทธิ์ ออกแบบมาเพื่อประสิทธิภาพสูงสุดและการทำงานแบบไม่สูญเสียข้อมูล (lossless) โดยกำเนิด
• RoCE v2 (RDMA over Converged Ethernet) นำข้อดีของ RDMA มาใช้บนเครือข่ายอีเทอร์เน็ตมาตรฐาน ทำให้เป็นตัวเลือกที่สามารถกำหนดเส้นทางได้ (routable) และคุ้มค่ากว่า แต่ต้องมีการตั้งค่าเฉพาะเพื่อให้การทำงานเป็นแบบ lossless
• iWARP เป็นอีกหนึ่งโซลูชัน RDMA-over-Ethernet ที่ทำงานบน TCP แต่โดยทั่วไปแล้วไม่เป็นที่นิยมนักและมีประสิทธิภาพต่ำกว่า RoCE v2

การเลือกระบบเชื่อมต่อที่เหมาะสมเป็นการตัดสินใจเชิงกลยุทธ์ที่ขึ้นอยู่กับความต้องการด้านประสิทธิภาพ งบประมาณ โครงสร้างพื้นฐานที่มีอยู่ และเป้าหมายในการขยายระบบ รายงานฉบับนี้จะวิเคราะห์เทคโนโลยีเหล่านี้ เปรียบเทียบกับอีเทอร์เน็ต/TCP/IP แบบมาตรฐาน และสำรวจทางเลือกใหม่ ๆ เช่น CXL และ NVLink เพื่อเป็นแนวทางในการตัดสินใจที่สำคัญนี้

II. ความรู้เบื้องต้นเกี่ยวกับเครือข่ายประสิทธิภาพสูงและ RDMA

ในโลกดิจิทัลปัจจุบันมีการเติบโตอย่างก้าวกระโดดของแอปพลิเคชันที่ใช้ข้อมูลจำนวนมาก เช่น การประมวลผลประสิทธิภาพสูง (HPC), ปัญญาประดิษฐ์/การเรียนรู้ของเครื่อง (AI/ML) และการวิเคราะห์ข้อมูลขนาดใหญ่ เวิร์กโหลดเหล่านี้จำเป็นต้องย้ายชุดข้อมูลขนาดมหึมาระหว่างโหนดประมวลผลและสตอเรจอย่างรวดเร็วและมีประสิทธิภาพ ตัวอย่างเช่น แอปพลิเคชัน AI มีความอ่อนไหวต่อความสมบูรณ์ของข้อมูลสูงและต้องการเครือข่ายแบบไม่สูญเสียข้อมูล (lossless networks) ซึ่งการสูญเสียข้อความเพียงครั้งเดียวอาจทำให้การฝึกสอนโมเดลทั้งหมดล้มเหลวได้ การรับส่งข้อมูลแบนด์วิดท์สูงก็เป็นสิ่งจำเป็นสำหรับแอปพลิเคชันเหล่านี้ในการประมวลผลข้อมูลอย่างมีประสิทธิภาพ

ข้อจำกัดของอีเทอร์เน็ต TCP/IP แบบดั้งเดิมสำหรับแอปพลิเคชันประสิทธิภาพสูง

แม้ว่าจะเชื่อถือได้สำหรับการใช้งานเครือข่ายทั่วไป แต่อีเทอร์เน็ต TCP/IP แบบดั้งเดิมมีข้อจำกัดที่สำคัญสำหรับแอปพลิเคชันประสิทธิภาพสูง:

• ความหน่วงและภาระของ CPU สูง: การออกแบบของ TCP/IP จะส่งข้อมูลผ่านเลเยอร์ซอฟต์แวร์หลายชั้นในเคอร์เนลของระบบปฏิบัติการ ซึ่งต้องใช้การทำงานของ CPU อย่างมาก กระบวนการนี้เพิ่มความหน่วงอย่างมาก (โดยทั่วไปหลายสิบไมโครวินาที) และสร้างภาระหนักให้กับ CPU สำหรับแอปพลิเคชันที่อ่อนไหวต่อความหน่วง สิ่งนี้กลายเป็นคอขวดที่สำคัญ เนื่องจาก CPU ต้องใช้เวลาในการจัดการการรับส่งข้อมูลของเครือข่ายแทนที่จะรันแอปพลิเคชัน "ภาษี CPU" (CPU tax) ที่เกิดจากการสลับบริบท (context switching) และการคัดลอกข้อมูลนี้เป็นเหตุผลหลักในการนำเทคโนโลยี RDMA มาใช้ ซึ่งจะช่วยลดภาระการประมวลผลของเครือข่ายและทำให้ CPU มีอิสระสำหรับงานของแอปพลิเคชัน
• ข้อจำกัดด้านปริมาณงาน (Throughput): มีหลายปัจจัยที่จำกัดปริมาณงานที่มีประสิทธิภาพของ TCP รวมถึงขนาดของหน้าต่างการส่ง (transmission window size) ขนาดของเซกเมนต์ และการสูญเสียแพ็กเก็ต ขนาดหน้าต่าง TCP มาตรฐาน (ซึ่งมักจะจำกัดอยู่ที่ 65,535 ไบต์) สามารถขัดขวางการใช้งานลิงก์แบนด์วิดท์สูงได้อย่างเต็มที่ โดยเฉพาะบนเครือข่ายที่มีความหน่วงสูง นอกจากนี้ กลไกความน่าเชื่อถือหลักของ TCP—การส่งแพ็กเก็ตซ้ำ—ยังทำให้เกิดความล่าช้าและใช้แบนด์วิดท์เพิ่มเติม ซึ่งส่งผลเสียต่อประสิทธิภาพในเครือข่ายที่มีความแออัดหรือมีการสูญเสียข้อมูล
• ความท้าทายในการขยายระบบ: แม้ว่า TCP/IP จะขยายระบบได้ดีสำหรับเครือข่ายขนาดใหญ่ แต่การออกแบบของมันให้ความสำคัญกับความน่าเชื่อถือโดยทั่วไปมากกว่าประสิทธิภาพล้วน ๆ ทำให้มีประสิทธิภาพน้อยลงสำหรับสถานการณ์ที่ต้องการปริมาณงานสูงสุดและความหน่วงน้อยที่สุด เช่น คลัสเตอร์ HPC ขนาดใหญ่ หรือการอนุมาน AI แบบเรียลไทม์

พื้นฐานของ Remote Direct Memory Access (RDMA) และประโยชน์หลัก

Remote Direct Memory Access (RDMA) ได้รับการพัฒนาขึ้นเพื่อเอาชนะข้อจำกัดของ TCP/IP ในสภาพแวดล้อมที่ต้องการประสิทธิภาพสูง ประโยชน์หลักของมันมาจากการข้ามผ่าน CPU และระบบปฏิบัติการในระหว่างการถ่ายโอนข้อมูล:

• การเข้าถึงหน่วยความจำโดยตรง (Zero-Copy): RDMA ถ่ายโอนข้อมูลโดยตรงจากหน่วยความจำของคอมพิวเตอร์เครื่องหนึ่งไปยังอีกเครื่องหนึ่งโดยไม่ต้องเกี่ยวข้องกับ CPU หรือ OS ของระบบใด ๆ แนวทาง "zero-copy" นี้ช่วยลดบัฟเฟอร์ข้อมูลกลางและการสลับบริบท ซึ่งเป็นสาเหตุหลักของภาระงานในเครือข่ายแบบดั้งเดิม
• ลดความหน่วงและภาระของ CPU: ด้วยการข้ามผ่าน CPU และ OS ทำให้ RDMA ลดความหน่วงในการสื่อสารลงอย่างมากและปลดปล่อยรอบการทำงานของ CPU ให้เป็นอิสระ ซึ่งนำไปสู่การคำนวณที่เร็วขึ้นและการประมวลผลข้อมูลแบบเรียลไทม์ที่ดีขึ้นโดยตรง ตัวอย่างเช่น ความหน่วงของแอปพลิเคชันสามารถลดลงจากประมาณ 50 ไมโครวินาทีด้วย TCP/IP เหลือเพียง 2-5 ไมโครวินาทีด้วย RDMA
• การใช้แบนด์วิดท์ได้สูงขึ้น: เส้นทางข้อมูลที่มีประสิทธิภาพและภาระงานที่ลดลงของ RDMA ช่วยให้แอปพลิเคชันสามารถใช้แบนด์วิดท์เครือข่ายที่มีอยู่ได้ดีขึ้น ส่งผลให้มีปริมาณงานที่มีประสิทธิภาพสูงขึ้น
• การนำไปใช้งานหลัก: เทคโนโลยี RDMA หลักที่ใช้ในปัจจุบันคือ InfiniBand, RoCE (เวอร์ชัน 1 และ 2) และ iWARP

III. RoCE v2: RDMA over Converged Ethernet

RoCE v2 เป็นก้าวสำคัญในเครือข่ายประสิทธิภาพสูง โดยขยายข้อดีของ RDMA ไปยังระบบนิเวศของอีเทอร์เน็ตที่ใช้กันอย่างแพร่หลาย

A. หลักการทางสถาปัตยกรรม

• วิวัฒนาการจาก RoCE v1: RoCE v1 เป็นโปรโตคอล Layer 2 (Ethertype 0x8915) ซึ่งจำกัดการใช้งานอยู่แค่ในโดเมนกระจายสัญญาณอีเทอร์เน็ตเดียว (single Ethernet broadcast domain) และจำกัดความสามารถในการขยายระบบ RoCE v2 แก้ปัญหานี้โดยการทำงานที่ชั้นอินเทอร์เน็ต (internet layer) โดยจะห่อหุ้มทราฟฟิก RDMA ไว้ในแพ็กเก็ต UDP/IP (โดยใช้ UDP destination port 4791) ทำให้สามารถกำหนดเส้นทางข้ามเครือข่าย IP Layer 3 ได้ ความสามารถในการกำหนดเส้นทางนี้เป็นการปรับปรุงที่สำคัญ ทำให้ RoCE v2 สามารถใช้งานในศูนย์ข้อมูลขนาดใหญ่และสภาพแวดล้อมคลาวด์ได้
• การรวม RDMA เข้ากับอีเทอร์เน็ต: RoCE เป็นวิธีการทำ RDMA บนเครือข่ายอีเทอร์เน็ตมาตรฐาน โดยจะแทนที่เลเยอร์เครือข่าย InfiniBand ด้วยส่วนหัวของ IP และ UDP อย่างมีประสิทธิภาพ ในขณะที่ยังคงรักษาเลเยอร์การส่งข้อมูลหลักของ InfiniBand และโปรโตคอล RDMA ไว้ การออกแบบนี้ช่วยให้ RoCE สามารถใช้ประโยชน์จากโครงสร้างพื้นฐานอีเทอร์เน็ตที่มีอยู่ได้
• รูปแบบแพ็กเก็ต: แพ็กเก็ต RoCE v2 ประกอบด้วยส่วนหัวของ IP และส่วนหัวของ UDP ซึ่งห่อหุ้ม RDMA Transport Protocol ไว้ แม้ว่า UDP จะไม่รับประกันลำดับของแพ็กเก็ต แต่มาตรฐาน RoCE v2 กำหนดว่าแพ็กเก็ตที่มีพอร์ตต้นทางและที่อยู่ปลายทางเดียวกันจะต้องไม่ถูกจัดลำดับใหม่
• การประนีประนอมแบบ "ดีที่สุดของทั้งสองโลก": การออกแบบของ RoCE v2 เป็นการประนีประนอมเชิงกลยุทธ์ โดยมีเป้าหมายเพื่อมอบประสิทธิภาพสูงของ RDMA บนแพลตฟอร์มอีเทอร์เน็ตที่ยืดหยุ่น คุ้มค่า และแพร่หลาย แม้ว่าแนวทางนี้จะให้ความเข้ากันได้ในวงกว้าง แต่ก็สร้างความท้าทายที่สำคัญ: การรับประกันประสิทธิภาพแบบไม่สูญเสียข้อมูล (lossless) ที่ RDMA ต้องการบนเครือข่ายอีเทอร์เน็ต ซึ่งโดยเนื้อแท้แล้วเป็นเครือข่ายที่มีการสูญเสียข้อมูล (lossy)

B. โปรไฟล์ประสิทธิภาพ

• ความหน่วง: RoCE Host Channel Adapters (HCAs) สามารถทำความหน่วงได้ต่ำมากถึง 1.3 ไมโครวินาที ในระดับแอปพลิเคชัน RoCE ลดความหน่วงลงเหลือประมาณ 5 ไมโครวินาที ซึ่งเป็นการปรับปรุงอย่างมากเมื่อเทียบกับ 50 ไมโครวินาทีที่พบได้ทั่วไปใน TCP/IP แม้ว่า InfiniBand จะให้ความหน่วงโดยกำเนิดที่ต่ำกว่าเล็กน้อย แต่ประสิทธิภาพของ RoCE ก็ยอดเยี่ยมสำหรับแอปพลิเคชันแบบเรียลไทม์
• แบนด์วิดท์: RoCE v2 รองรับแบนด์วิดท์สูง ด้วยความเร็วสูงถึง 400 Gbps ต่อพอร์ต
• การลดภาระของ CPU: เช่นเดียวกับโปรโตคอล RDMA อื่น ๆ RoCE จะข้ามผ่าน CPU ในการถ่ายโอนข้อมูล การลดภาระนี้จะปลดปล่อยทรัพยากร CPU อันมีค่าสำหรับงานที่ต้องใช้การประมวลผลสูงแทนการประมวลผลเครือข่าย
• ประสิทธิภาพแบบไม่สูญเสียข้อมูล: เพื่อให้มีประสิทธิภาพเทียบเท่ากับ InfiniBand RoCE ต้องพึ่งพาเครือข่ายอีเทอร์เน็ตแบบไม่สูญเสียข้อมูล ซึ่งโดยทั่วไปจะทำได้โดยการใช้คุณสมบัติ Data Center Bridging (DCB) โดยเฉพาะ Priority Flow Control (PFC) และ Explicit Congestion Notification (ECN)

C. โครงสร้างพื้นฐานและการจัดการ

• ข้อกำหนดด้านฮาร์ดแวร์/ซอฟต์แวร์: RoCE ทำงานร่วมกับฮาร์ดแวร์อีเทอร์เน็ตมาตรฐาน เช่น สวิตช์และสายเคเบิล ทำให้องค์กรสามารถใช้โครงสร้างพื้นฐานที่มีอยู่ได้ อย่างไรก็ตาม จำเป็นต้องมี Host Channel Adapters (HCAs) ที่รองรับ RoCE ที่ปลายทาง การสนับสนุนด้านซอฟต์แวร์มีความสมบูรณ์ โดยมีการนำไปใช้ใน Mellanox OFED 2.3+ และรวมอยู่ใน Linux Kernel v4.5+
• การกำหนดค่าเครือข่ายแบบไม่สูญเสียข้อมูล: แม้ว่า RoCE จะใช้อีเทอร์เน็ตมาตรฐาน แต่การสร้างเครือข่าย DCB แบบไม่สูญเสียข้อมูลอาจซับซ้อนกว่าการตั้งค่าเครือข่าย InfiniBand ส่วนประกอบทุกชิ้น ตั้งแต่ปลายทางไปจนถึงสวิตช์ ต้องได้รับการกำหนดค่าอย่างรอบคอบ ซึ่งรวมถึงการตั้งค่า Priority Flow Control (PFC), Enhanced Transmission Selection (ETS) และกลไกการแจ้งเตือนความแออัด เพื่อให้ทำงานข้ามเครือข่าย Layer 3 ได้ คุณลักษณะที่ไม่สูญเสียข้อมูลเหล่านี้จะต้องถูกรักษาไว้ข้ามเราเตอร์ ซึ่งมักทำโดยการจับคู่การตั้งค่าลำดับความสำคัญของ Layer 2 กับการตั้งค่า QoS ของ Layer 3 DSCP
• ข้อควรพิจารณาในการจัดการ: RoCE สามารถจัดการได้ด้วยเครื่องมืออีเทอร์เน็ตมาตรฐาน อย่างไรก็ตาม การรับประกันประสิทธิภาพแบบไม่สูญเสียข้อมูลที่สม่ำเสมอและการจัดการความแออัดในการใช้งาน RoCE v2 ขนาดใหญ่อาจเป็นเรื่องที่ท้าทายและต้องใช้ความเชี่ยวชาญเฉพาะทาง
• ต้นทุนที่ซ่อนอยู่ของ "ความคุ้มค่า": RoCE มักถูกเรียกว่า "คุ้มค่า" เพราะสามารถใช้โครงสร้างพื้นฐานอีเทอร์เน็ตที่มีอยู่ได้ แต่นี่เป็นการกล่าวที่ง่ายเกินไป การบรรลุประสิทธิภาพระดับ InfiniBand จำเป็นต้องมีเครือข่ายอีเทอร์เน็ตแบบไม่สูญเสียข้อมูลที่กำหนดค่าไว้อย่างสมบูรณ์แบบ ความซับซ้อนของการตั้งค่าคุณสมบัติ Data Center Bridging (DCB) เช่น PFC และ ECN อาจสูงกว่าการกำหนดค่าเครือข่าย InfiniBand มาก ความซับซ้อนนี้นำไปสู่ต้นทุนการดำเนินงานที่สูงขึ้นสำหรับการออกแบบเครือข่าย การแก้ไขปัญหา และการจัดการ และอาจต้องใช้สวิตช์อีเทอร์เน็ตที่มีราคาแพงกว่า ด้วยเหตุนี้ การประหยัดค่าฮาร์ดแวร์ในเบื้องต้นจาก RoCE อาจถูกหักล้างด้วยต้นทุนการดำเนินงานที่สูงขึ้นเหล่านี้ การวิเคราะห์ต้นทุนรวมในการเป็นเจ้าของ (Total Cost of Ownership - TCO) อย่างละเอียดจึงเป็นสิ่งจำเป็นเพื่อการเปรียบเทียบที่แม่นยำ

D. แอปพลิเคชันหลัก

RoCE v2 เป็นโซลูชันที่ยอดเยี่ยมสำหรับแอปพลิเคชันในศูนย์ข้อมูลและองค์กรจำนวนมาก เหมาะอย่างยิ่งสำหรับสภาพแวดล้อมที่ต้องการความหน่วงต่ำเป็นพิเศษและปริมาณงานสูง เช่น เวิร์กโหลด AI, การซื้อขายความถี่สูง (high-frequency trading) และการวิเคราะห์แบบเรียลไทม์ นอกจากนี้ยังช่วยปรับปรุงประสิทธิภาพสำหรับแอปพลิเคชันที่ต้องพึ่งพาฐานข้อมูลหรือ I/O ของไฟล์อย่างมาก ยิ่งไปกว่านั้น RoCE v2 ยังช่วยในเรื่องความต่อเนื่องทางธุรกิจและการกู้คืนจากภัยพิบัติโดยการเปิดใช้งานการจำลองข้อมูลที่รวดเร็วและมีประสิทธิภาพ การใช้งานอย่างแพร่หลายในคลัสเตอร์การฝึกสอน AI ตอกย้ำถึงความสำคัญในการประมวลผลยุคใหม่

IV. InfiniBand: โครงข่ายประสิทธิภาพสูงโดยเฉพาะ

InfiniBand เป็นระบบเชื่อมต่อประสิทธิภาพสูงระดับบนสุด ออกแบบมาตั้งแต่ต้นเพื่อให้ความเร็วที่ไม่มีใครเทียบได้ ความหน่วงน้อยที่สุด และความน่าเชื่อถือสูงสำหรับสภาพแวดล้อมการประมวลผลที่มีความต้องการสูง

A. หลักการทางสถาปัตยกรรม

• RDMA โดยกำเนิด: InfiniBand ถูกสร้างขึ้นโดยมี RDMA รวมอยู่ในโปรโตคอลสแต็กทั้งหมด ตั้งแต่ชั้นกายภาพ (physical layer) ขึ้นไป การออกแบบตั้งแต่เริ่มต้นนี้ช่วยให้มั่นใจได้ว่าการทำงานของ RDMA มีประสิทธิภาพสูง สร้างช่องทางข้อมูลโดยตรงและมีการป้องกันระหว่างโหนดโดยไม่ต้องใช้ CPU
• โทโพโลยีแบบ Switched Fabric: InfiniBand ใช้โทโพโลยีแบบ switched fabric สำหรับการเชื่อมต่อแบบจุดต่อจุด (point-to-point) โดยตรงระหว่างอุปกรณ์ สถาปัตยกรรมประกอบด้วย Host Channel Adapters (HCAs) บนโปรเซสเซอร์และ Target Channel Adapters (TCAs) บนอุปกรณ์ต่อพ่วง ทำให้การสื่อสารมีประสิทธิภาพ
• การควบคุมการไหลของข้อมูลแบบ Credit-Based: คุณสมบัติหลักของ InfiniBand คือการควบคุมการไหลของข้อมูลแบบ credit-based อัลกอริทึมระดับฮาร์ดแวร์นี้รับประกันการสื่อสารแบบไม่สูญเสียข้อมูลโดยทำให้แน่ใจว่าผู้ส่งจะส่งข้อมูลก็ต่อเมื่อผู้รับมีพื้นที่บัฟเฟอร์ (เครดิต) เพียงพอที่จะรับข้อมูลได้ ความน่าเชื่อถือโดยกำเนิดนี้ช่วยป้องกันการสูญเสียแพ็กเก็ตและทำให้ InfiniBand แตกต่างจากเทคโนโลยีที่ต้องมีการกำหนดค่าในเลเยอร์ที่สูงกว่าเพื่อให้เป็นแบบ lossless
• มาตรฐานที่เป็นกรรมสิทธิ์: InfiniBand เป็นไปตามมาตรฐานที่เป็นกรรมสิทธิ์ซึ่งกำหนดโดย InfiniBand Trade Association (IBTA) ที่ก่อตั้งขึ้นในปี 1999 ระบบนิเวศถูกครอบงำอย่างมากโดย NVIDIA (ผ่านการเข้าซื้อกิจการ Mellanox) ซึ่งเป็นผู้ผลิตอะแดปเตอร์และสวิตช์ InfiniBand ชั้นนำ

B. โปรไฟล์ประสิทธิภาพ

• ความหน่วงต่ำเป็นพิเศษ: InfiniBand ให้ความหน่วงต่ำที่สุดอย่างสม่ำเสมอ ความหน่วงของอะแดปเตอร์อาจต่ำถึง 0.5 ไมโครวินาที และความหน่วงระหว่างพอร์ตสวิตช์อยู่ที่ประมาณ 100 นาโนวินาที—ซึ่งต่ำกว่า 230 นาโนวินาทีของสวิตช์อีเทอร์เน็ตที่เทียบเคียงกันได้อย่างมีนัยสำคัญ ในระดับแอปพลิเคชัน InfiniBand สามารถทำความหน่วงได้ต่ำถึง 2 ไมโครวินาที เทียบกับ 50 ไมโครวินาทีของ TCP/IP
• ความสามารถด้านปริมาณงานสูง: InfiniBand รองรับอัตราข้อมูลที่สูงมาก เวอร์ชันสมัยใหม่อย่าง HDR และ NDR ให้ความเร็วสูงถึง 200 Gbps และ 400 Gbps ต่อเลน ลิงก์ที่รวมกันสามารถทำปริมาณงานได้สูงขึ้นไปอีก ถึง 800 Gbps (NDR) และแม้กระทั่ง 1.6 Tbps (XDR)
• ประสิทธิภาพของ CPU: จุดแข็งที่สำคัญของ InfiniBand คือความสามารถในการให้ความหน่วงต่ำเป็นพิเศษและแบนด์วิดท์ที่สูงมากโดยแทบไม่มีการใช้งาน CPU การลดภาระการประมวลผลของเครือข่ายนี้เป็นประโยชน์อย่างยิ่งสำหรับเวิร์กโหลดที่ต้องใช้การประมวลผลหนัก
• ประสิทธิภาพโดยการออกแบบ เทียบกับ ประสิทธิภาพโดยการกำหนดค่า: InfiniBand และ RoCE มีความแตกต่างพื้นฐานในแนวทางของตน InfiniBand ถูกออกแบบมาตั้งแต่ต้นสำหรับ RDMA โดยมีเลเยอร์ทางกายภาพและการส่งข้อมูลที่ได้รับการออกแบบมาเพื่อความน่าเชื่อถือในระดับฮาร์ดแวร์ รวมถึงอัลกอริทึมแบบ credit-based โดยกำเนิดสำหรับการสื่อสารแบบไม่สูญเสียข้อมูล ในทางตรงกันข้าม RoCE ทำงานบนอีเทอร์เน็ตมาตรฐานและต้องอาศัยการกำหนดค่าของคุณสมบัติต่าง ๆ เช่น Priority Flow Control (PFC) และ Explicit Congestion Notification (ECN) เพื่อสร้างเครือข่ายแบบไม่สูญเสียข้อมูล ซึ่งหมายความว่า InfiniBand ให้ประสิทธิภาพสูงที่รับประกันได้ทันทีที่แกะกล่อง ในขณะที่ประสิทธิภาพของ RoCE ขึ้นอยู่กับคุณภาพของการกำหนดค่าเครือข่ายอีเทอร์เน็ตพื้นฐาน

C. โครงสร้างพื้นฐานและการจัดการ

• ฮาร์ดแวร์เฉพาะทาง: InfiniBand ต้องการฮาร์ดแวร์เฉพาะทาง ซึ่งรวมถึง Host Channel Adapters (HCAs), สวิตช์, เราเตอร์ และสายเคเบิลที่เป็นกรรมสิทธิ์ ซึ่งโดยทั่วไปส่งผลให้มีการลงทุนเริ่มต้นที่สูงกว่าเมื่อเทียบกับโซลูชันบนอีเทอร์เน็ต
• การจัดการแบบรวมศูนย์: เครือข่าย InfiniBand ได้รับการจัดการโดย Subnet Manager (SM) แบบรวมศูนย์ ซึ่งจะคำนวณและแจกจ่ายตารางการส่งต่อและจัดการการกำหนดค่าต่าง ๆ เช่น พาร์ติชันและ Quality of Service (QoS) แนวทางแบบรวมศูนย์นี้สามารถทำให้การจัดการในคลัสเตอร์ขนาดใหญ่ง่ายขึ้นหลังจากการตั้งค่าเบื้องต้น
• ความเชี่ยวชาญเฉพาะทาง: การติดตั้งและบำรุงรักษาเครือข่าย InfiniBand มักต้องใช้ความรู้เฉพาะทาง ซึ่งอาจเพิ่มต้นทุนการดำเนินงานและสร้างช่วงการเรียนรู้ที่สูงขึ้นสำหรับเจ้าหน้าที่ไอที
• ระบบนิเวศ: ระบบนิเวศของ InfiniBand มีความสมบูรณ์ แต่ถูกครอบงำโดย NVIDIA/Mellanox

D. แอปพลิเคชันหลัก

InfiniBand เป็นมาตรฐานอุตสาหกรรมสำหรับสภาพแวดล้อมการประมวลผลประสิทธิภาพสูง (HPC) และเป็นระบบเชื่อมต่อที่เติบโตเร็วที่สุดสำหรับแอปพลิเคชันเหล่านี้ เป็นเทคโนโลยีหลักที่แนะนำโดย IBTA ความหน่วงต่ำเป็นพิเศษและแบนด์วิดท์สูงเป็นสิ่งจำเป็นสำหรับเวิร์กโหลดที่มีความต้องการสูง เช่น การฝึกสอนโมเดล AI/ML ขนาดใหญ่ การวิเคราะห์ข้อมูลขนาดใหญ่ และการดำเนินการฐานข้อมูลขนาดมหึมา นอกจากนี้ยังมีความสำคัญอย่างยิ่งสำหรับการจำลองขนาดใหญ่ (เช่น การพยากรณ์อากาศ) และบริการทางการเงินความถี่สูง ซึ่งความเร็วและความสมบูรณ์ของข้อมูลมีความสำคัญอย่างยิ่ง ณ เดือนมิถุนายน 2022 ซูเปอร์คอมพิวเตอร์ 62% ใน Top100 ของโลกใช้ InfiniBand

V. iWARP: RDMA over Standard TCP/IP

iWARP (Internet Wide Area RDMA Protocol) เป็นอีกหนึ่งวิธีการในการนำ RDMA ไปใช้งาน ซึ่งโดดเด่นด้วยการใช้ชุดโปรโตคอล TCP/IP มาตรฐาน

A. หลักการทางสถาปัตยกรรม

• RDMA over TCP/IP: iWARP เป็นโปรโตคอลที่นำ RDMA ไปใช้บนเครือข่าย IP มาตรฐาน แตกต่างจาก RoCE ซึ่งใช้ UDP, iWARP ถูกสร้างขึ้นบนโปรโตคอลการส่งข้อมูลที่เชื่อถือได้ เช่น TCP และ SCTP
• ส่วนประกอบหลัก: การทำงานของ iWARP อาศัยส่วนประกอบหลายอย่าง Direct Data Placement Protocol (DDP) ช่วยให้สามารถส่งข้อมูลแบบ zero-copy โดยการวางข้อมูลลงในหน่วยความจำของแอปพลิเคชันโดยตรง Remote Direct Memory Access Protocol (RDMAP) ให้บริการสำหรับการดำเนินการอ่านและเขียนของ RDMA จำเป็นต้องมีเลเยอร์การปรับเปลี่ยนเฉพาะ คือ Marker PDU Aligned (MPA) framing เพื่อให้ DDP ทำงานบน TCP ได้
• ความน่าเชื่อถือ: คุณสมบัติเฉพาะของ iWARP คือความน่าเชื่อถือของมันมาจากโปรโตคอล TCP ที่อยู่เบื้องหลัง ซึ่งแตกต่างจาก RoCE v2 ซึ่งใช้ UDP และต้องการกลไกภายนอก เช่น Data Center Bridging (DCB) เพื่อความน่าเชื่อถือ ด้วยเหตุนี้ iWARP จึงรองรับเฉพาะการสื่อสารที่เชื่อมต่อและเชื่อถือได้เท่านั้น

B. โปรไฟล์ประสิทธิภาพ

• ความหน่วงและปริมาณงานเปรียบเทียบ: แม้ว่า iWARP จะมีความหน่วงต่ำกว่า TCP/IP แบบดั้งเดิม แต่ประสิทธิภาพโดยทั่วไปแย่กว่า RoCE ในปี 2011 ความหน่วงของ iWARP HCA ที่ต่ำที่สุดคือ 3 ไมโครวินาที ในขณะที่ RoCE HCAs ทำได้ถึง 1.3 ไมโครวินาที ผลการทดสอบ (Benchmarks) แสดงให้เห็นอย่างสม่ำเสมอว่า RoCE ส่งข้อความได้เร็วกว่า iWARP มาก โดยมีปริมาณงานสูงกว่า 2 เท่าที่ 40GbE และสูงกว่า 5 เท่าที่ 10GbE
• การลดภาระของ CPU: เช่นเดียวกับโปรโตคอล RDMA อื่น ๆ iWARP ลดภาระของ CPU ให้เหลือน้อยที่สุดโดยเปิดใช้งานการถ่ายโอนหน่วยความจำโดยตรง สามารถใช้ TCP Offload Engines (TOE) กับฮาร์ดแวร์ RDMA เพื่อให้ได้ผลลัพธ์แบบ zero-copy และลดการทำงานของ CPU ลงไปอีก

C. โครงสร้างพื้นฐานและการจัดการ

• ความเข้ากันได้กับอีเทอร์เน็ตมาตรฐาน: ประโยชน์หลักของ iWARP คือความสามารถในการทำงานบนโครงสร้างพื้นฐานอีเทอร์เน็ตมาตรฐานโดยมีการเปลี่ยนแปลงเครือข่ายที่มีอยู่น้อยที่สุด ซึ่งช่วยให้องค์กรสามารถใช้ประโยชน์จากการลงทุนในปัจจุบันได้
• ข้อกำหนดด้านฮาร์ดแวร์: แม้จะเข้ากันได้กับสวิตช์อีเทอร์เน็ตมาตรฐาน แต่ iWARP ยังคงต้องการการ์ดเครือข่ายที่รองรับ iWARP ที่ปลายทาง
• ด้านการบูรณาการ: iWARP ถูกรวมเข้ากับระบบปฏิบัติการหลัก ๆ เช่น Microsoft Windows Server และเคอร์เนล Linux สมัยใหม่ ซึ่งรองรับแอปพลิเคชันอย่าง SMB Direct, iSCSI Extensions for RDMA (iSER) และ Network File System over RDMA (NFS over RDMA)
• ความท้าทายในการจัดการ: การจัดการทราฟฟิก iWARP อาจเป็นเรื่องยาก มันใช้พื้นที่พอร์ตของ TCP ร่วมกัน ซึ่งทำให้การจัดการโฟลว์ซับซ้อนและทำให้ยากต่อการระบุทราฟฟิก RDMA โดยรวมแล้ว iWARP ถือว่าจัดการได้ยากกว่า RoCE

D. ความเกี่ยวข้องในตลาด

• การยอมรับที่จำกัด: iWARP เป็นการใช้งาน RDMA ที่ "ไม่ธรรมดา" หรือ "ใช้น้อย" เมื่อเทียบกับ InfiniBand และ RoCE v2 โซลูชันของมันมี "ความสำเร็จที่จำกัด" เนื่องจากความท้าทายในการนำไปใช้และการติดตั้ง
• ความขัดแย้งของการพึ่งพา TCP: การเลือกออกแบบของ iWARP ที่วาง RDMA ไว้บน TCP ให้ความน่าเชื่อถือและความเข้ากันได้ในตัว แต่ในทางกลับกัน กลับขัดขวางไม่ให้บรรลุประโยชน์หลักของ RDMA ได้อย่างเต็มที่ ภาระงานโดยธรรมชาติของโปรโตคอล TCP แม้จะมีการลดภาระด้วยฮาร์ดแวร์ ดูเหมือนจะทำให้ iWARP ไม่สามารถไปถึงความหน่วงต่ำเป็นพิเศษและปริมาณงานสูงของ InfiniBand หรือ RoCE ได้ การแลกเปลี่ยนด้านประสิทธิภาพนี้ได้นำไปสู่การยอมรับในตลาดที่จำกัด

VI. การวิเคราะห์เปรียบเทียบ: RoCE v2, InfiniBand, iWARP และอีเทอร์เน็ตมาตรฐาน

การเปรียบเทียบอย่างละเอียดเกี่ยวกับประสิทธิภาพ โครงสร้างพื้นฐาน และตัวชี้วัดการดำเนินงานเป็นกุญแจสำคัญในการเลือกระบบเชื่อมต่อประสิทธิภาพสูงที่เหมาะสม

A. เกณฑ์มาตรฐานด้านประสิทธิภาพ

ประสิทธิภาพของระบบเชื่อมต่อเหล่านี้แตกต่างกันอย่างมาก โดยเฉพาะในด้านความหน่วง แบนด์วิดท์ และการใช้งาน CPU

• ความหน่วง:
  • InfiniBand: ให้ความหน่วงต่ำที่สุด ความหน่วงระหว่างพอร์ตสวิตช์อยู่ที่ประมาณ 100 นาโนวินาที ในขณะที่ความหน่วงของอะแดปเตอร์ต่ำถึง 0.5 ถึง 1.3 ไมโครวินาที ความหน่วงในระดับแอปพลิเคชันอาจต่ำถึง 2 ไมโครวินาที
  • RoCE v2: ให้ความหน่วงต่ำเป็นพิเศษ ความหน่วงของสวิตช์อีเทอร์เน็ตอยู่ที่ประมาณ 230 นาโนวินาที ในขณะที่ความหน่วงของ HCA อาจต่ำถึง 1.3 ไมโครวินาที ความหน่วงในระดับแอปพลิเคชันโดยทั่วไปอยู่ที่ประมาณ 5 ไมโครวินาที
  • iWARP: มีความหน่วงสูงกว่า RoCE โดยมีความหน่วงของ HCA รายงานไว้ที่ประมาณ 3 ไมโครวินาที (ข้อมูลปี 2011) มีประสิทธิภาพต่ำกว่า RoCE อย่างสม่ำเสมอ
  • TCP/IP มาตรฐาน: มีความหน่วงสูงสุด โดยมีความหน่วงเที่ยวเดียวตั้งแต่ 10 ถึง 55 มิลลิวินาที ความหน่วงในระดับแอปพลิเคชันโดยทั่วไปอยู่ที่ประมาณ 50 ไมโครวินาที
• แบนด์วิดท์:
  • InfiniBand: รองรับแบนด์วิดท์สูงมาก เวอร์ชันสมัยใหม่อย่าง NDR ให้ความเร็วสูงถึง 400 Gbps ต่อพอร์ต และ XDR สูงถึง 800 Gbps GDR ในอนาคตคาดว่าจะสูงถึง 1.6 Tbps
  • RoCE v2: สามารถทำแบนด์วิดท์ได้สูง รองรับได้ถึง 400 Gbps ต่อพอร์ต
  • iWARP: โดยทั่วไปมีปริมาณงานต่ำกว่า RoCE
  • TCP/IP มาตรฐาน: ปริมาณงานมักถูกจำกัดโดยภาระงานของโปรโตคอลและการส่งซ้ำ ทำให้ยากต่อการใช้ลิงก์แบนด์วิดท์สูงอย่างมีประสิทธิภาพ
• การลดภาระของ CPU:
  • InfiniBand, RoCE v2, iWARP: เทคโนโลยี RDMA ทั้งสามนี้ช่วยลดภาระงานของ CPU ได้อย่างมากโดยการข้ามผ่านระบบปฏิบัติการ ทำให้ทรัพยากร CPU ว่างสำหรับงานอื่น ๆ
  • TCP/IP มาตรฐาน: ทำให้เกิดภาระ CPU สูงเนื่องจากเคอร์เนลมีส่วนร่วมอย่างมากในการประมวลผลข้อมูล
• กลไกแบบไม่สูญเสียข้อมูล:
  • InfiniBand: มีการควบคุมการไหลของข้อมูลแบบ credit-based ในระดับฮาร์ดแวร์โดยกำเนิด ซึ่งรับประกันการสื่อสารแบบไม่สูญเสียข้อมูล
  • RoCE v2: ต้องอาศัยการกำหนดค่าอีเทอร์เน็ตแบบไม่สูญเสียข้อมูล โดยใช้คุณสมบัติ Data Center Bridging (DCB) เช่น PFC และ ECN นอกจากนี้ยังมีกลไกการส่งมอบที่เชื่อถือได้แบบ end-to-end พร้อมการส่งซ้ำด้วยฮาร์ดแวร์
  • iWARP: ใช้การส่งข้อมูลที่เชื่อถือได้ในตัวของ TCP เพื่อความสมบูรณ์ของข้อมูล
  • TCP/IP มาตรฐาน: ใช้โมเดลการส่งมอบแบบ best-effort โดยอาศัยการส่งซ้ำในเลเยอร์ที่สูงกว่าเพื่อรับประกันความน่าเชื่อถือ ซึ่งเป็นการเพิ่มความหน่วง

ตารางต่อไปนี้สรุปลักษณะด้านประสิทธิภาพ:

คุณสมบัติ	InfiniBand	RoCE v2	iWARP	อีเทอร์เน็ต/TCP/IP มาตรฐาน
เทคโนโลยีหลัก	RDMA โดยกำเนิด	RDMA over Ethernet (UDP/IP)	RDMA over Ethernet (TCP/IP)	โปรโตคอลแบบชั้นดั้งเดิม
ความหน่วงแอปพลิเคชันทั่วไป (µs)	2	5	>3 (HCA ปี 2011)	50
ความหน่วงระหว่างพอร์ตสวิตช์ (ns)	100	230	N/A (ขึ้นอยู่กับอีเทอร์เน็ต)	โดยทั่วไปสูงกว่า, ผันแปร
แบนด์วิดท์สูงสุด (Gbps ต่อพอร์ต/ลิงก์)	400 (NDR), 800 (XDR), 1.6T (GDR)	400	โดยทั่วไปต่ำกว่า RoCE	400+ (แต่จำกัดด้วยภาระของโปรโตคอล)
ภาระของ CPU	เกือบศูนย์	ต่ำมาก	ต่ำ	สูง
กลไกแบบไม่สูญเสียข้อมูล	การควบคุมการไหลแบบ Credit-Based โดยกำเนิด	ต้องใช้ Lossless Ethernet (PFC, ECN)	การส่งที่เชื่อถือได้ของ TCP	Best-Effort, อาศัยการส่งซ้ำ
ความสามารถในการกำหนดเส้นทาง (L2/L3)	L3 (ผ่าน Subnet Manager)	L3 (Routable RoCE)	L3	L3 (การกำหนดเส้นทาง IP มาตรฐาน)

B. โครงสร้างพื้นฐานและระบบนิเวศ

• การพึ่งพาฮาร์ดแวร์:
  • InfiniBand: ต้องการชุดฮาร์ดแวร์เฉพาะทางครบชุด รวมถึง InfiniBand HCAs, สวิตช์ และสายเคเบิลที่เป็นกรรมสิทธิ์
  • RoCE v2: ต้องการ HCA ที่รองรับ RoCE แต่ทำงานบนสวิตช์และสายเคเบิลอีเทอร์เน็ตมาตรฐาน ทำให้สามารถรวมเข้ากับเครือข่ายที่มีอยู่ได้
  • iWARP: ต้องการการ์ดเครือข่ายที่รองรับ iWARP แต่สามารถใช้สวิตช์อีเทอร์เน็ตมาตรฐานได้
  • อีเทอร์เน็ตมาตรฐาน: ใช้ NICs และสวิตช์อีเทอร์เน็ตทั่วไปที่มีจำหน่ายอย่างแพร่หลาย
• การผูกขาดโดยผู้จำหน่าย (Vendor Lock-in):
  • InfiniBand: ระบบนิเวศมีจำกัดและถูกครอบงำโดย Mellanox (NVIDIA) ซึ่งอาจสร้างความกังวลเกี่ยวกับการผูกขาดโดยผู้จำหน่าย
  • RoCE v2: ได้รับประโยชน์จากระบบนิเวศอีเทอร์เน็ตขนาดใหญ่และมีการแข่งขันสูงซึ่งมีผู้จำหน่ายหลายราย บางรายเสนอ NICs แบบ "Universal RDMA" ที่รองรับทั้ง RoCE และ iWARP ซึ่งช่วยลดการผูกขาด
  • iWARP: ยังได้รับประโยชน์จากระบบนิเวศอีเทอร์เน็ตที่กว้างขวาง โดยได้รับการสนับสนุนจากผู้จำหน่ายเช่น Intel และ Chelsio
• ความสามารถในการทำงานร่วมกัน:
  • InfiniBand: เนื่องจากเป็นมาตรฐานที่เป็นกรรมสิทธิ์ ส่วนประกอบทั้งหมดต้องเป็นไปตามข้อกำหนดของ IBTA เพื่อให้แน่ใจว่าทำงานร่วมกันได้
  • RoCE v2: พื้นฐานบนอีเทอร์เน็ตมาตรฐานช่วยให้สามารถทำงานร่วมกันได้กว้างขึ้นและง่ายต่อการรวมเข้ากับเครือข่ายที่มีอยู่
  • iWARP: อิงตาม RFCs มาตรฐานของ IETF สำหรับ TCP/IP ทำให้มั่นใจได้ถึงความเข้ากันได้สูงภายในเครือข่าย IP มาตรฐาน

C. ความคุ้มค่า

• การลงทุนเริ่มต้น:
  • InfiniBand: โดยทั่วไปต้องการการลงทุนเริ่มต้นที่สูงกว่าเนื่องจากฮาร์ดแวร์เฉพาะทางและใบอนุญาต สำหรับคลัสเตอร์ AI ขนาดใหญ่ สวิตช์ InfiniBand อาจมีราคาแพงกว่าสวิตช์ RoCE อย่างมาก
  • RoCE v2: มักเป็นตัวเลือกที่คุ้มค่ากว่าเพราะสามารถรวมเข้ากับอีเทอร์เน็ตที่มีอยู่ได้ ซึ่งช่วยลดต้นทุนฮาร์ดแวร์ใหม่ การประหยัดค่าสวิตช์สำหรับคลัสเตอร์ AI ขนาดใหญ่อาจมีนัยสำคัญ (49% ถึง 70% เมื่อเทียบกับ InfiniBand)
  • iWARP: ใช้สวิตช์อีเทอร์เน็ตมาตรฐาน แต่ต้องใช้อะแดปเตอร์เฉพาะทาง ซึ่งยังคงเป็นต้นทุนที่น่าสังเกต
  • อีเทอร์เน็ตมาตรฐาน: โดยทั่วไปเป็นตัวเลือกที่มีต้นทุนต่ำที่สุดเนื่องจากเป็นฮาร์ดแวร์ทั่วไป
• ต้นทุนรวมในการเป็นเจ้าของ (TCO):
  • InfiniBand: มีแนวโน้มที่จะมี TCO ที่สูงกว่าเนื่องจากฮาร์ดแวร์เฉพาะทาง การบำรุงรักษา และความจำเป็นในการฝึกอบรมพนักงานเกี่ยวกับเทคโนโลยีที่เป็นกรรมสิทธิ์
  • RoCE v2: อาจมี TCO ที่ต่ำกว่า แต่ขึ้นอยู่กับเงื่อนไข ความซับซ้อนของการกำหนดค่าและบำรุงรักษาโครงข่ายอีเทอร์เน็ตแบบไม่สูญเสียข้อมูลสามารถเพิ่มต้นทุนการดำเนินงานได้อย่างมาก แม้ว่าต้นทุนฮาร์ดแวร์เริ่มต้นอาจต่ำกว่า แต่ความรู้ความชำนาญและความพยายามที่จำเป็นสำหรับการออกแบบ การแก้ไขปัญหา และการบำรุงรักษาสามารถหักล้างการประหยัดเหล่านี้ได้ ดังนั้น "ความคุ้มค่า" จึงขึ้นอยู่กับทั้งราคาฮาร์ดแวร์และความเชี่ยวชาญและภาระการจัดการขององค์กร
  • iWARP: ความท้าทายในการบูรณาการและการจัดการอาจส่งผลต่อ TCO โดยรวม

ตารางต่อไปนี้ให้ภาพรวมเปรียบเทียบข้อพิจารณาด้านโครงสร้างพื้นฐานและต้นทุน:

คุณสมบัติ	InfiniBand	RoCE v2	iWARP	อีเทอร์เน็ต/TCP/IP มาตรฐาน
ฮาร์ดแวร์เครือข่ายที่ต้องการ	NICs IB เฉพาะ, สวิตช์ IB, สาย IB	NICs ที่รองรับ RoCE, สวิตช์/สายอีเทอร์เน็ตมาตรฐาน	NICs ที่รองรับ iWARP, สวิตช์/สายอีเทอร์เน็ตมาตรฐาน	NICs อีเทอร์เน็ตมาตรฐาน, สวิตช์/สายอีเทอร์เน็ต
ความเข้ากันได้ของเครือข่าย	กรรมสิทธิ์ (มาตรฐาน IBTA)	อีเทอร์เน็ตมาตรฐาน (IEEE)	อีเทอร์เน็ตมาตรฐาน (IETF RFCs)	อีเทอร์เน็ตมาตรฐาน (IEEE)
ความซับซ้อนในการจัดการ	ยาก (SM เฉพาะทาง)	ยาก (การกำหนดค่า Lossless Ethernet)	ยากกว่า RoCE	ง่าย
ต้นทุนฮาร์ดแวร์เริ่มต้น (เปรียบเทียบ)	สูง	ปานกลาง (ใช้ของที่มีอยู่)	ปานกลาง (NICs เฉพาะทาง)	ต่ำ
ต้นทุนรวมในการเป็นเจ้าของ (เปรียบเทียบ)	สูงกว่า	ต่ำกว่า (ขึ้นอยู่กับการจัดการ)	ผันแปร (ความท้าทายในการรวมระบบ)	ต่ำที่สุด
ระบบนิเวศของผู้จำหน่าย	จำกัด (NVIDIA/Mellanox ครอบงำ)	กว้าง (ผู้จำหน่ายอีเทอร์เน็ตหลายราย)	กว้าง (ผู้จำหน่ายอีเทอร์เน็ตหลายราย)	กว้างมาก

D. ความสามารถในการขยายระบบและความยืดหยุ่น

• ความสามารถในการกำหนดเส้นทาง:
  • InfiniBand: ใช้ switched fabric ที่มีการกำหนดเส้นทางแบบรวมศูนย์โดย Subnet Manager (SM) สามารถขยายระบบได้สูง รองรับคลัสเตอร์ที่มีโหนดมากกว่า 100,000 โหนด
  • RoCE v2: การห่อหุ้มด้วย UDP/IP ช่วยให้สามารถกำหนดเส้นทางผ่านเครือข่าย IP Layer 3 ได้ ทำให้สามารถขยายระบบข้ามเครือข่ายขนาดใหญ่และสภาพแวดล้อมคลาวด์ได้ นอกจากนี้ยังรองรับ ECMP สำหรับการกระจายโหลดที่มีประสิทธิภาพ
  • iWARP: สามารถกำหนดเส้นทางผ่านเครือข่าย IP ได้
  • อีเทอร์เน็ตมาตรฐาน: มีความยืดหยุ่นและขยายระบบได้สูง แต่อาจต้องใช้การกำหนดค่าขั้นสูง เช่น สถาปัตยกรรม spine-leaf เพื่อประสิทธิภาพระดับ HPC
• โทโพโลยีเครือข่าย:
  • InfiniBand: เหมาะสำหรับคลัสเตอร์ HPC/AI รองรับโทโพโลยีประสิทธิภาพสูง เช่น Fat Tree, Dragonfly+ และ Torus หลายมิติ
  • RoCE v2: การกำหนดเส้นทางบนพื้นฐาน IP ทำให้สามารถปรับใช้กับโทโพโลยีเครือข่ายได้เกือบทุกรูปแบบ
  • อีเทอร์เน็ตมาตรฐาน: รองรับโทโพโลยีที่หลากหลาย รวมถึง star และ mesh

E. ความน่าเชื่อถือและการควบคุมความแออัด

• ความน่าเชื่อถือ:
  • InfiniBand: ให้ความน่าเชื่อถือในระดับฮาร์ดแวร์โดยกำเนิดด้วยการควบคุมการไหลแบบ credit-based ซึ่งรับประกันการสื่อสารแบบไม่สูญเสียข้อมูล
  • RoCE v2: ต้องอาศัยการกำหนดค่าอีเทอร์เน็ตแบบไม่สูญเสียข้อมูลโดยใช้ PFC และ ETS นอกจากนี้ยังมีกลไกการส่งมอบที่เชื่อถือได้แบบ end-to-end พร้อมการส่งซ้ำแพ็กเก็ตด้วยฮาร์ดแวร์
  • iWARP: ได้รับประโยชน์จากความน่าเชื่อถือโดยธรรมชาติของ TCP ซึ่งให้การแก้ไขข้อผิดพลาดและการส่งซ้ำ
  • TCP/IP มาตรฐาน: เน้นความน่าเชื่อถือผ่านการส่งซ้ำ ซึ่งอาจเพิ่มความหน่วงอย่างมากและลดปริมาณงาน
• การควบคุมความแออัด:
  • InfiniBand: กำหนดกลไกการควบคุมความแออัดของตนเองโดยอิงจากการทำเครื่องหมาย FECN/BECN
  • RoCE v2: ใช้โปรโตคอลการควบคุมความแออัดโดยใช้บิต IP ECN และ Congestion Notification Packets (CNPs) แนวปฏิบัติของอุตสาหกรรมเช่น DCQCN ก็ถูกนำมาใช้เช่นกัน
  • iWARP: อาศัยอัลกอริทึมการควบคุมความแออัดที่เป็นที่ยอมรับของ TCP

F. ความเหมาะสมของแอปพลิเคชัน

• InfiniBand: เป็นตัวเลือกที่เหมาะสำหรับสภาพแวดล้อมที่ต้องการปริมาณข้อมูลสูงสุดและความหน่วงต่ำที่สุด ซึ่งรวมถึงการวิจัยทางวิทยาศาสตร์ การสร้างแบบจำลองทางการเงิน คลัสเตอร์ HPC ขนาดใหญ่ และเวิร์กโหลดการฝึกสอน AI/ML ที่มีความต้องการสูงสุด
• RoCE v2: เป็นที่นิยมในองค์กรที่ต้องการใช้โครงสร้างพื้นฐานอีเทอร์เน็ตที่มีอยู่แต่ยังคงต้องการประสิทธิภาพสูง เหมาะสำหรับเครือข่ายสตอเรจ การวิเคราะห์แบบเรียลไทม์ และบริการคลาวด์ โดยให้ความสมดุลระหว่างประสิทธิภาพและต้นทุน
• iWARP: อาจพิจารณาสำหรับแอปพลิเคชันเฉพาะทางที่โครงสร้างพื้นฐาน TCP/IP ที่มีอยู่เป็นข้อกำหนดที่เข้มงวดและไม่ได้ให้ความสำคัญกับความหน่วงต่ำเป็นพิเศษเป็นอันดับแรก เหมาะสำหรับแอปพลิเคชันเช่น NVMeoF, iSER, SMB Direct และ NFS over RDMA หรือเป็นตัวเลือกต้นทุนต่ำสำหรับสภาพแวดล้อมการทดสอบ
• อีเทอร์เน็ต/TCP/IP มาตรฐาน: ยังคงเป็นตัวเลือกที่ดีที่สุดสำหรับการใช้งานเครือข่ายทั่วไป เช่น LAN ขององค์กรและโครงสร้างพื้นฐานคลาวด์ที่ประสิทธิภาพระดับ HPC/AI ไม่ใช่เป้าหมายหลัก
• ภาวะสามเส้าของประสิทธิภาพ-ต้นทุน-ความซับซ้อน (Performance-Cost-Complexity Trilemma): การวิเคราะห์นี้เผยให้เห็นถึงการแลกเปลี่ยนพื้นฐานเมื่อเลือกระบบเชื่อมต่อ: ภาวะสามเส้าระหว่างประสิทธิภาพ ต้นทุน และความซับซ้อน InfiniBand ให้ประสิทธิภาพสูงสุดและความน่าเชื่อถือโดยกำเนิด แต่มีต้นทุนสูงกว่า RoCE v2 ให้ประสิทธิภาพใกล้เคียงกับ InfiniBand บนอีเทอร์เน็ต ซึ่งอาจลดต้นทุนฮาร์ดแวร์ลง แต่เพิ่มความซับซ้อนในการกำหนดค่าอย่างมาก iWARP ให้บริการ RDMA บน TCP แต่มีประสิทธิภาพต่ำกว่า อีเทอร์เน็ตมาตรฐานมีความคุ้มค่าแต่ขาดประสิทธิภาพสำหรับเวิร์กโหลดที่มีความต้องการสูง ไม่มีโซลูชันใดที่ดีที่สุดเพียงหนึ่งเดียว การเลือกที่ถูกต้องต้องสร้างสมดุลระหว่างปัจจัยทั้งสามนี้ตามความต้องการและความสามารถเฉพาะ

ตารางต่อไปนี้สรุปความเหมาะสมของแอปพลิเคชันสำหรับแต่ละเทคโนโลยี:

เทคโนโลยี	กรณีการใช้งานหลัก	เหมาะสมที่สุดสำหรับ	ไม่ค่อยเหมาะสมสำหรับ
InfiniBand	HPC, การฝึกสอน AI/ML, การวิเคราะห์ข้อมูลขนาดใหญ่, บริการทางการเงิน (Arbitrage)	สภาพแวดล้อมที่ต้องการความหน่วงต่ำสุด แบนด์วิดท์สูงสุด และการรับประกันแบบไม่สูญเสียข้อมูลโดยกำเนิด	เครือข่ายองค์กรทั่วไปที่คำนึงถึงต้นทุน, สภาพแวดล้อมที่ไม่มีความเชี่ยวชาญด้านไอทีเฉพาะทาง
RoCE v2	ศูนย์ข้อมูล, บริการคลาวด์, เครือข่ายสตอเรจ, การวิเคราะห์แบบเรียลไทม์, การอนุมาน AI/ML	องค์กรที่ใช้ประโยชน์จากโครงสร้างพื้นฐานอีเทอร์เน็ตที่มีอยู่เพื่อประสิทธิภาพสูง; ความสมดุลของต้นทุนและประสิทธิภาพ	สภาพแวดล้อมที่การรับประกันแบบไม่สูญเสียข้อมูลโดยกำเนิดเป็นสิ่งที่ไม่สามารถต่อรองได้หากไม่มีความเชี่ยวชาญในการกำหนดค่าอย่างละเอียด
iWARP	NVMeoF, iSER, SMB Direct, NFS over RDMA, สภาพแวดล้อมทดสอบ/พัฒนา	แอปพลิเคชันเฉพาะที่ต้องการ RDMA บน TCP/IP ที่มีอยู่ โดยที่ประสิทธิภาพสูงสุดไม่ใช่สิ่งสำคัญ	คลัสเตอร์ HPC/AI ขนาดใหญ่, แอปพลิเคชันเรียลไทม์ที่อ่อนไหวต่อความหน่วง
อีเทอร์เน็ต/TCP/IP มาตรฐาน	เครือข่ายองค์กรทั่วไป, LANs, การเชื่อมต่ออินเทอร์เน็ต, โครงสร้างพื้นฐานคลาวด์	เครือข่ายอเนกประสงค์ที่แพร่หลาย คุ้มค่า และยืดหยุ่น	การประมวลผลประสิทธิภาพสูง, การฝึกสอน AI/ML และเวิร์กโหลดอื่น ๆ ที่อ่อนไหวต่อความหน่วงและใช้ CPU สูง

VII. ระบบเชื่อมต่อประสิทธิภาพสูงเกิดใหม่และแนวโน้มในอนาคต

ภูมิทัศน์ของเครือข่ายประสิทธิภาพสูงเปลี่ยนแปลงอยู่เสมอ โดยได้แรงหนุนจากเวิร์กโหลดที่ใช้ข้อมูลจำนวนมากและความต้องการประสิทธิภาพที่สูงขึ้น นอกเหนือจากเทคโนโลยี RDMA ที่เป็นที่ยอมรับแล้ว ระบบเชื่อมต่อและแนวโน้มใหม่ ๆ กำลังกำหนดอนาคตของศูนย์ข้อมูล

A. Compute Express Link (CXL)

CXL เป็นระบบเชื่อมต่อสมัยใหม่ที่สร้างขึ้นบนชั้นกายภาพของ PCIe ออกแบบมาสำหรับระบบคอมพิวเตอร์ทั่วไป เป้าหมายหลักคือเพื่อให้การสื่อสารที่รวดเร็วและราบรื่นระหว่าง CPU และตัวเร่งความเร็ว เช่น GPU และ FPGA

คุณสมบัติหลักของ CXL ได้แก่ การถ่ายโอนข้อมูลความเร็วสูง ความเข้ากันได้ในวงกว้าง และการแชร์หน่วยความจำอย่างมีประสิทธิภาพผ่าน Cache Coherency รองรับอุปกรณ์สามประเภท (สำหรับตัวเร่งความเร็ว, อุปกรณ์ที่สอดคล้องกับแคช และตัวขยายหน่วยความจำ) และโทโพโลยีที่ยืดหยุ่น CXL/PCIe Gen5 ให้ปริมาณงานสูงสุด 512 Gbps ด้วยความหน่วงประมาณ 500 นาโนวินาที แม้ว่า InfiniBand จะมีความหน่วงต่ำกว่า (ประมาณ 100 นาโนวินาที) แต่ CXL ก็เหนือกว่าสำหรับการเข้าถึงหน่วยความจำที่มีความหน่วงต่ำซึ่งความสอดคล้องของแคชเป็นสิ่งสำคัญ

การพัฒนาที่สำคัญคือการรวมตัวกันของ Gen-Z และ CXL Consortia ในปี 2022 ซึ่งทำให้ CXL กลายเป็นมาตรฐานอุตสาหกรรมเพียงหนึ่งเดียวสำหรับระบบเชื่อมต่อที่เน้นหน่วยความจำประเภทนี้

CXL แสดงถึงการเปลี่ยนแปลงจากเครือข่ายแบบโหนดต่อโหนดแบบดั้งเดิม (เช่น RoCE และ InfiniBand) ไปสู่ความสอดคล้องของหน่วยความจำและการแยกส่วนทรัพยากร (resource disaggregation) ซึ่งหมายความว่าสำหรับเวิร์กโหลดบางประเภท CXL อาจกลายเป็นระบบเชื่อมต่อหลัก โดยเป็นการเสริมหรือลดความต้องการโครงข่ายเครือข่ายแบบดั้งเดิม

B. NVLink

NVLink เป็นระบบเชื่อมต่อความเร็วสูง แบนด์วิดท์สูง และความหน่วงต่ำที่เป็นกรรมสิทธิ์ของ NVIDIA ออกแบบมาเพื่อการสื่อสารโดยตรงระหว่าง GPU กับ GPU และ GPU กับ CPU ภายในแพลตฟอร์มการประมวลผลแบบเร่งความเร็วของตน

NVLink เป็นส่วนสำคัญของโซลูชันของ NVIDIA สำหรับ AI และ HPC เช่น สถาปัตยกรรม GB200 และ GB300 มีความสำคัญอย่างยิ่งต่อการขยายขนาดการฝึกสอนโมเดล AI โดยให้การถ่ายโอนข้อมูลที่รวดเร็วอย่างยิ่งระหว่าง GPU

NVLink แสดงให้เห็นถึงแนวโน้มไปสู่การบูรณาการในแนวดิ่งและประสิทธิภาพเฉพาะทาง ลักษณะที่เป็นกรรมสิทธิ์ของมันแตกต่างกับมาตรฐานเปิดเช่น RoCE หรือ InfiniBand การออกแบบนี้ช่วยเพิ่มประสิทธิภาพสูงสุดภายในสแต็กฮาร์ดแวร์ของผู้จำหน่ายรายเดียว ในขณะที่ InfiniBand และ RoCE จัดการเครือข่ายทั่วไประหว่างโหนด NVLink จะปรับปรุงการสื่อสารภายในและระหว่างระบบ GPU ให้เหมาะสมที่สุด สร้างสถาปัตยกรรมระบบเชื่อมต่อแบบชั้นที่เทคโนโลยีต่าง ๆ ตอบสนองความต้องการที่แตกต่างกัน

C. ความเร็วอีเทอร์เน็ตในอนาคต

อีเทอร์เน็ตได้พัฒนาจาก 10 Mbps เป็น 400 Gbps และการพัฒนายังคงดำเนินต่อไปด้วยมาตรฐาน 800GbE และ 1.6TbE ที่กำลังจะมาถึง ความเร็วที่สูงขึ้นเหล่านี้จะมีความจำเป็นสำหรับแอปพลิเคชันยุคต่อไป เช่น การคำนวณควอนตัม, AI ขั้นสูง และเทคโนโลยีเสมือนจริง

การเพิ่มขึ้นอย่างต่อเนื่องของความเร็วอีเทอร์เน็ตเป็นประโยชน์โดยตรงต่อ RoCE เนื่องจาก RoCE สร้างขึ้นบนอีเทอร์เน็ต จึงได้รับประโยชน์จากการพัฒนาเหล่านี้โดยอัตโนมัติ ซึ่งช่วยให้สามารถแข่งขันกับ InfiniBand ได้ การเติบโตของบริการคลาวด์กำลังผลักดันการใช้งาน 200GbE และ 400GbE อยู่แล้ว โดยมี 800GbE และ 1.6TbE ตามมาในลำดับต่อไป

ความเกี่ยวข้องอย่างต่อเนื่องของอีเทอร์เน็ตและ RoCE มีความเชื่อมโยงกันอย่างใกล้ชิด เมื่อความเร็วของอีเทอร์เน็ตก้าวหน้าขึ้น RoCE ก็จะกลายเป็นคู่แข่งที่แข็งแกร่งยิ่งขึ้นสำหรับศูนย์ข้อมูลประสิทธิภาพสูง โดยเฉพาะสำหรับองค์กรที่ต้องการใช้ประโยชน์จากการลงทุนในอีเทอร์เน็ตที่มีอยู่และหลีกเลี่ยงระบบนิเวศที่เป็นกรรมสิทธิ์

D. การประมวลผลแบบแยกส่วนและโฟโตนิกส์

• การประมวลผลแบบแยกส่วน (Disaggregated Computing): แนวทางใหม่นี้มีจุดมุ่งหมายเพื่อปรับปรุงประสิทธิภาพของศูนย์ข้อมูลโดยการแยกทรัพยากร เช่น การประมวลผล สตอเรจ และหน่วยความจำออกจากเซิร์ฟเวอร์แบบดั้งเดิม จากนั้นทรัพยากรเหล่านี้จะถูกประกอบขึ้นใหม่เป็นพูลที่ยืดหยุ่นซึ่งเชื่อมต่อกันด้วยเครือข่ายขั้นสูง ผลลัพธ์ที่สำคัญคือการสื่อสารที่เคยเกิดขึ้นภายในเซิร์ฟเวอร์ตอนนี้ต้องข้ามเครือข่าย ซึ่งเพิ่มภาระอย่างมากและทำให้ความหน่วงต่ำเป็นพิเศษมีความสำคัญอย่างยิ่ง แนวโน้มนี้ตอกย้ำความต้องการระบบเชื่อมต่อประสิทธิภาพสูงเช่น RoCE และ InfiniBand และขับเคลื่อนการพัฒนาสิ่งใหม่ ๆ เช่น CXL
• โฟโตนิกส์ในเครือข่ายศูนย์ข้อมูล (Photonics in Data Center Networking): ซิลิคอนโฟโตนิกส์รวมส่วนประกอบทางแสงเข้ากับชิปซิลิคอน ทำให้เกิดระบบเชื่อมต่อด้วยแสงความเร็วสูงและใช้พลังงานต่ำ เทคโนโลยีนี้ให้อัตราการถ่ายโอนข้อมูลที่เร็วกว่ามาก (กว่า 100 Gbps) ความหน่วงต่ำกว่า และประสิทธิภาพการใช้พลังงานที่ดีกว่าทองแดงแบบดั้งเดิม กำลังกลายเป็นสิ่งจำเป็นเพื่อตอบสนองความต้องการด้านทราฟฟิกที่เพิ่มขึ้นในศูนย์ข้อมูลและเปิดใช้งานอีเทอร์เน็ตความเร็วสูงยุคต่อไป

ความสัมพันธ์ระหว่างแนวโน้มเหล่านี้เป็นแบบพึ่งพาอาศัยกัน สถาปัตยกรรมแบบแยกส่วนต้องการเครือข่ายขั้นสูง ซึ่งระบบเชื่อมต่ออย่าง RoCE, InfiniBand และ CXL สามารถให้ได้ ในทางกลับกัน การบรรลุความเร็วที่จำเป็นสำหรับระบบเชื่อมต่อเหล่านี้ โดยเฉพาะสำหรับมาตรฐาน 800GbE และ 1.6TbE ในอนาคต จะต้องพึ่งพาเทคโนโลยีเช่นซิลิคอนโฟโตนิกส์

VIII. ข้อเสนอแนะและบทสรุป

การเลือกระบบเชื่อมต่อประสิทธิภาพสูงเป็นการตัดสินใจเชิงกลยุทธ์ที่สำคัญซึ่งต้องสอดคล้องกับความต้องการเฉพาะ งบประมาณ โครงสร้างพื้นฐาน และวิสัยทัศน์ระยะยาวขององค์กร

• สำหรับประสิทธิภาพดิบสูงสุดและ HPC/AI ที่มีความสำคัญต่อภารกิจ: InfiniBand เป็นมาตรฐานทองคำที่ชัดเจน RDMA โดยกำเนิด, การควบคุมการไหลแบบ credit-based และการออกแบบที่สร้างขึ้นโดยเฉพาะให้ความหน่วงต่ำที่สุดและปริมาณงานสูงสุดพร้อมรับประกันประสิทธิภาพแบบไม่สูญเสียข้อมูล องค์กรที่มีงบประมาณและความเชี่ยวชาญควรเลือก InfiniBand สำหรับคลัสเตอร์ขนาดใหญ่ที่ทุกไมโครวินาทีมีความสำคัญ
• สำหรับประสิทธิภาพสูงพร้อมความคุ้มค่าและการบูรณาการกับอีเทอร์เน็ต: RoCE v2 เป็นทางเลือกที่แข็งแกร่งและได้รับความนิยมเพิ่มขึ้นเรื่อย ๆ ให้ประสิทธิภาพที่เพิ่มขึ้นอย่างมากเมื่อเทียบกับ TCP/IP และสามารถเข้าใกล้ประสิทธิภาพของ InfiniBand ได้โดยใช้โครงสร้างพื้นฐานอีเทอร์เน็ตที่มีอยู่ เหมาะสำหรับองค์กรที่กำลังอัปเกรดศูนย์ข้อมูลโดยไม่ต้องยกเครื่องใหม่ทั้งหมด อย่างไรก็ตาม ตัวเลือกนี้ต้องการความมุ่งมั่นในการกำหนดค่าและจัดการโครงข่ายอีเทอร์เน็ตแบบไม่สูญเสียข้อมูลอย่างรอบคอบ
• สำหรับแอปพลิเคชันเฉพาะทางหรือสภาพแวดล้อม RDMA over TCP แบบดั้งเดิม: iWARP อาจเหมาะสมในบางกรณี โดยเฉพาะอย่างยิ่งในกรณีที่การใช้โครงสร้างพื้นฐาน TCP/IP ที่มีอยู่เป็นสิ่งจำเป็นและประสิทธิภาพสูงสุดไม่ใช่เป้าหมายหลัก อย่างไรก็ตาม ประสิทธิภาพที่ต่ำกว่าและความซับซ้อนในการจัดการที่สูงกว่าจำกัดการใช้งานในการติดตั้งประสิทธิภาพสูงสมัยใหม่
• สำหรับการใช้งานเครือข่ายทั่วไป: อีเทอร์เน็ต/TCP/IP มาตรฐานยังคงเป็นตัวเลือกที่พบบ่อยที่สุดและคุ้มค่าที่สุดสำหรับสภาพแวดล้อมที่ไม่มีความต้องการด้านประสิทธิภาพที่สูงมาก ความง่ายในการใช้งานและฮาร์ดแวร์ทั่วไปทำให้เหมาะสำหรับเครือข่ายองค์กรทั่วไป, LAN และโครงสร้างพื้นฐานคลาวด์มาตรฐาน
• การพิจารณาเทคโนโลยีเกิดใหม่เพื่อรองรับอนาคต: องค์กรควรจับตาดูการพัฒนาของ CXL สำหรับสถาปัตยกรรมที่เน้นหน่วยความจำและแบบแยกส่วน เนื่องจากเป็นส่วนเสริมของโครงข่ายเครือข่ายแบบดั้งเดิมโดยการปรับปรุงการรวมทรัพยากรให้เหมาะสมที่สุด ในทำนองเดียวกัน NVLink มีความสำคัญอย่างยิ่งต่อการปรับปรุงการสื่อสารภายในระบบที่ใช้ GPU ของ NVIDIA อย่างหนัก เทคโนโลยีเหล่านี้แสดงให้เห็นถึงความหลากหลายของระบบเชื่อมต่อสำหรับเลเยอร์ต่าง ๆ ของลำดับชั้นการประมวลผล นอกจากนี้ การพัฒนาอีเทอร์เน็ต 800GbE และ 1.6TbE ควบคู่ไปกับความก้าวหน้าทางโฟโตนิกส์ จะยังคงทำให้ RoCE เป็นตัวเลือกที่ทรงพลังยิ่งขึ้นต่อไป

โดยสรุป ภูมิทัศน์ของเครือข่ายประสิทธิภาพสูงมีความซับซ้อน โดยได้รับแรงผลักดันจากความต้องการของ AI, HPC และการเปลี่ยนแปลงไปสู่การประมวลผลแบบแยกส่วน ในขณะที่ InfiniBand เป็นผู้นำในด้านประสิทธิภาพสูงสุดสำหรับสภาพแวดล้อมเฉพาะทาง RoCE v2 ก็เป็นทางเลือกที่ทรงพลังและยืดหยุ่นซึ่งเชื่อมโยงประโยชน์ของ RDMA เข้ากับความแพร่หลายของอีเทอร์เน็ต การเกิดขึ้นของ CXL และ NVLink บ่งชี้ถึงความหลากหลายเชิงกลยุทธ์ของระบบเชื่อมต่อ ซึ่งปรับปรุงเลเยอร์การสื่อสารที่แตกต่างกันให้เหมาะสมที่สุด โซลูชันที่ดีที่สุดจะเป็นความสมดุลเชิงกลยุทธ์ระหว่างความต้องการด้านประสิทธิภาพ ต้นทุน โครงสร้างพื้นฐานที่มีอยู่ และวิสัยทัศน์ที่มองไปข้างหน้าเสมอ