Alibaba Cloud ลดการใช้ GPU ของ Nvidia ด้วยระบบรวมทรัพยากร Aegaeon

เจาะระบบ Aegaeon ที่ช่วยให้ Alibaba Cloud ลดความต้องการใช้ GPU สำหรับ AI

Alibaba Cloud ระบุว่า บริษัทลดจำนวนหน่วยประมวลผลกราฟิกของ Nvidia ที่ต้องใช้ให้บริการโมเดลภาษาขนาดใหญ่ในระดับมหาศาลได้อย่างมาก ด้วยระบบใหม่ที่เรียกว่า Aegaeon ในการทดสอบเบตาบนแพลตฟอร์มตลาดโมเดลของบริษัท Aegaeon ช่วยลดจำนวน GPU Nvidia H20 ที่ต้องใช้รองรับโมเดลหลายสิบโมเดล ซึ่งรวมถึงโมเดลที่มีพารามิเตอร์สูงสุด 72,000 ล้านตัว จาก 1,192 หน่วยเหลือ 213 หน่วย บริษัทระบุว่า นี่คือการลดจำนวนตัวเร่งการประมวลผลที่ติดตั้งใช้งานลง 82 เปอร์เซ็นต์ โดยยังให้บริการในระดับเดิม ผลการทดสอบนำเสนอในการประชุม Symposium on Operating Systems Principles ที่กรุงโซล ซึ่งเป็นเวทีชั้นนำด้านการวิจัยระบบคอมพิวเตอร์ สำหรับผู้ใช้บริการคลาวด์ ตัวเลขดังกล่าวอาจหมายถึงต้นทุนและค่าไฟที่ลดลง การเข้าถึงชิปที่ขาดแคลนได้ดีขึ้น และประสบการณ์ที่สม่ำเสมอขึ้นเมื่อเรียกใช้โมเดลต่าง ๆ ผ่านแพลตฟอร์มเดียวกัน

ความสำเร็จนี้มุ่งแก้ปัญหาที่ทวีความรุนแรงขึ้นในยุคตลาดโมเดล ผู้ให้บริการคลาวด์ต้องรองรับโมเดลหลายพันรายการพร้อมกันสำหรับนักพัฒนา โมเดลบางตัว เช่น ตระกูล Qwen ของ Alibaba และโมเดลเปิด DeepSeek ได้รับคำขอใช้งานส่วนใหญ่ ส่วนโมเดลอื่น ๆ จำนวนมากแทบไม่มีการใช้งานเป็นเวลานาน ก่อนจะมีคำขอเข้ามาเป็นระลอกสั้น ๆ ระบบให้บริการแบบดั้งเดิมจัดสรร GPU เต็มตัวหรือแบ่งส่วน GPU ขนาดใหญ่ให้กับโมเดลแต่ละอินสแตนซ์ เมื่อโมเดลไม่มีงาน GPU ที่สำรองไว้ก็ถูกใช้งานไม่คุ้มค่า เมื่อมีคำขอเข้ามาแต่มีเรพลิกาที่พร้อมใช้งานไม่เพียงพอ แพลตฟอร์มต้องเพิ่มกำลังประมวลผล ซึ่งต้องแลกกับเวลาโหลดที่นานขึ้นและอัตราการประมวลผลที่ลดลง Aegaeon พยายามปรับวิธีคิดนี้ด้วยการรวมทรัพยากร GPU ของโมเดลหลายตัวเข้าด้วยกัน แล้วจัดตารางงานเป็นช่วงเวลาย่อยลง เพื่อให้ตัวเร่งการประมวลผลแต่ละตัวทำงานได้เต็มที่

Alibaba Cloud อธิบายว่า Aegaeon เป็นวิธีรองรับงาน LLM หลายรายการพร้อมกันโดยไม่สิ้นเปลือง ระบบผสานการจัดตารางงานหลายโมเดลอย่างเข้มข้น เข้ากับกลไกที่ช่วยคงข้อมูลในหน่วยความจำให้พร้อมใช้งานและสลับงานระหว่างโมเดลโดยหน่วงเวลาน้อยที่สุด ทีมวิจัยจากมหาวิทยาลัยปักกิ่งและ Alibaba Cloud ระบุว่า ผลลัพธ์คืออัตราการประมวลผลที่สูงขึ้น การรอคิวที่ลดลง และการใช้ชิปน้อยลงกับบริการที่มีการใช้งานเบาบาง

Aegaeon สร้างขึ้นมาเพื่อแก้ปัญหาอะไร

แพลตฟอร์ม AI สมัยใหม่เผชิญกับความต้องการใช้งานที่กระจายเป็นหางยาว โมเดลยอดนิยมจำนวนไม่มากดึงดูดคำขอประมวลผลส่วนใหญ่ ส่วนโมเดลที่ได้รับความนิยมน้อยกว่าก็ยังสำคัญต่อนักพัฒนา แต่มีผู้เรียกใช้งานเป็นครั้งคราว Alibaba Cloud วัดพบว่า GPU 17.7 เปอร์เซ็นต์ในตลาดโมเดลของบริษัทถูกจัดสรรไว้รองรับคำขอเพียง 1.35 เปอร์เซ็นต์ เมื่อผูกโมเดลไว้กับตัวเร่งการประมวลผลโดยเฉพาะ คลาวด์จึงต้องจ่ายทั้งช่วงเวลาที่ไม่ได้ใช้งานและการเริ่มระบบใหม่บ่อยครั้ง โดยเฉพาะเมื่อรูปแบบการใช้งานมาเป็นระลอกหรือคาดเดาได้ยาก

การให้บริการประมวลผลอนุมานดูเรียบง่ายจากภายนอก แต่ภายในมีรายละเอียดซับซ้อน โมเดลภาษาขนาดใหญ่เก็บน้ำหนักโมเดลและสถานะขณะทำงานไว้ในหน่วยความจำ GPU ระหว่างการสร้างข้อความ ระบบจะดูแลแคชคีย์-แวลู (KV cache) ซึ่งเก็บค่าการทำงานระหว่างทางของโทเค็นที่สร้างไปแล้ว การโหลดน้ำหนักโมเดลจากดิสก์หรือผ่านเครือข่ายใช้เวลานาน การเตรียมแคชคีย์-แวลูให้พร้อมก็ต้องใช้เวลาเช่นกัน แต่เดิมการสลับ GPU จากโมเดลหนึ่งไปยังอีกโมเดลหนึ่งหมายถึงการถอดและโหลดข้อมูลใหม่ ซึ่งมีต้นทุนสูง ภาระดังกล่าวทำให้การแบ่งใช้ทรัพยากรบ่อย ๆ ไม่คุ้มค่า และตัวเร่งการประมวลผลส่วนใหญ่จึงต้องรองรับโมเดลเพียงหนึ่งหรือสองโมเดล Aegaeon ออกแบบมาเพื่อจัดการการเปลี่ยนผ่านเหล่านี้ให้มีประสิทธิภาพยิ่งขึ้น เพื่อให้ GPU แบ่งเวลาให้โมเดลจำนวนมากได้โดยไม่ต้องแลกกับภาระหนัก

ระบบทำงานอย่างไร

Aegaeon เป็นระบบให้บริการหลายโมเดลที่มอง GPU เป็นกลุ่มทรัพยากรร่วม และตัดสินใจว่าจะประมวลผลงานใดในระดับที่ละเอียดมาก แทนที่จะขยายระบบตามระดับคำขอหรือเรพลิกาของโมเดล ระบบจะตัดสินใจในระดับโทเค็น ตัวจัดตารางงานสามารถสลับการสร้างโทเค็นของผู้ใช้และโมเดลต่าง ๆ บน GPU ตัวเดียวกัน โดยคงโครงสร้างข้อมูลสำคัญไว้ในหน่วยความจำ เป้าหมายคือเพิ่มปริมาณงานที่มีประโยชน์ต่อวินาทีให้สูงสุด โดยไม่ทำให้เวลาตอบสนองเกินกรอบที่กำหนดไว้อย่างเข้มงวด

ปรับขนาดอัตโนมัติในระดับโทเค็น

แนวคิดหลักคือการปรับขนาดกำลังรองรับงานในระดับโทเค็น นั่นหมายความว่า Aegaeon สามารถเริ่มให้บริการคำขอของโมเดลหนึ่ง แล้วจัดตารางโทเค็นของอีกโมเดลหนึ่งเข้ามาใช้กำลังประมวลผลที่ยังว่างอยู่ได้อย่างฉวยโอกาส ทั้งหมดนี้ทำได้ภายในชุดการจัดกลุ่มคำขอและการเรียกใช้เคอร์เนลเดียวกัน งานวิจัยระบุว่า Aegaeon รองรับอัตราคำขอที่เข้ามาได้ต่อเนื่องสูงขึ้น 2 ถึง 2.5 เท่า หรือให้ปริมาณงานที่เป็นประโยชน์เพิ่มขึ้น 1.5 ถึง 9 เท่า เมื่อเทียบกับกลุ่มทรัพยากรทางเลือกที่รองรับการแบ่งใช้ GPU ระหว่างโมเดลได้เพียงสองหรือสามโมเดล การทำงานในระดับโทเค็นช่วยเลี่ยงการหยุดรอนานจากการเริ่มเรพลิกาใหม่ และตอบสนองต่อคำขอที่พุ่งสูงขึ้นของโมเดลใดโมเดลหนึ่งได้รวดเร็ว

การใช้หน่วยความจำซ้ำและการประสานงานแคช KV

Aegaeon ลดภาระจากการใช้ทรัพยากรซ้ำ จัดการหน่วยความจำอย่างชัดเจน และประสานข้อมูลในแคชคีย์-แวลูระหว่างโมเดลในระดับที่ละเอียด นักวิจัยระบุว่า วิธีนี้ลดภาระจากการปรับขนาดอัตโนมัติลง 97 เปอร์เซ็นต์เมื่อเทียบกับแนวทางพื้นฐานที่ไม่ได้ปรับให้เหมาะสม การจัดการหน่วยความจำและแคชที่ชาญฉลาดขึ้นช่วยให้ GPU ตัวเดียวเตรียมโมเดลหลายตัวไว้ใช้งานได้โดยไม่ต้องโหลดข้อมูลใหม่ตลอดเวลา ทำให้ตัวเร่งการประมวลผลหนึ่งตัวรองรับได้สูงสุดเจ็ดโมเดลพร้อมกัน เทียบกับขีดจำกัดทั่วไปที่สองหรือสามโมเดลในระบบหลายโมเดลรุ่นก่อน

ผลการวัดจากการทดสอบเบตาในระบบจริง

Alibaba Cloud ระบุว่าได้ทดสอบ Aegaeon ในตลาดโมเดลของบริษัทเป็นเวลาเกินสามเดือน การติดตั้งใช้งานรองรับโมเดลหลายสิบรายการ รวมถึงโมเดลที่มีพารามิเตอร์สูงสุด 72,000 ล้านตัว ตลอดช่วงเวลาดังกล่าว ทีมงานรายงานว่าจำนวน GPU ที่ต้องใช้เพื่อรองรับภาระงานบริการในระดับเดิมลดลงจาก Nvidia H20 จำนวน 1,192 หน่วย เหลือ 213 หน่วย คิดเป็นการประหยัดทรัพยากร 82 เปอร์เซ็นต์ ระบบยังลดผลกระทบต่อเวลาแฝงจากการสลับโมเดลลง 97 เปอร์เซ็นต์ ซึ่งเป็นประโยชน์เมื่อภาระงานสลับไปมาระหว่างโมเดลยอดนิยมกับโมเดลที่มีผู้ใช้น้อยตลอดทั้งวัน

สภาพแวดล้อมของตลาดโมเดลเป็นพื้นที่ทดสอบที่เข้มข้น เพราะมีคำขอพร้อมกันจากผู้ใช้จริง ขนาดคำขอหลากหลาย และโมเดลหลายประเภท ในสภาพแวดล้อมนี้ Aegaeon ทำให้ตัวเร่งการประมวลผลทำงานได้เต็มที่ขึ้น ลดเวลาว่างของบริการที่มีผู้ใช้น้อย และคงการตอบสนองของโมเดลที่มีความต้องการสูงด้วยการจัดตารางงานที่ละเอียดขึ้น การจัดตารางในระดับโทเค็นควบคู่กับการใช้หน่วยความจำซ้ำอย่างรอบคอบดูจะเป็นหัวใจสำคัญที่ช่วยเพิ่มปริมาณงานที่มีประโยชน์ต่อชั่วโมงการใช้งาน GPU

ทีมวิจัยจากมหาวิทยาลัยปักกิ่งและ Alibaba Cloud ให้เหตุผลว่า แนวปฏิบัติในอุตสาหกรรมทำให้เกิดต้นทุนที่สูญเปล่า จากการจัดสรร GPU ให้โมเดลที่มีความต้องการใช้งานเป็นครั้งคราว พวกเขาสรุปประเด็นนี้ไว้อย่างตรงไปตรงมาในงานวิจัย

Aegaeon เป็นผลงานชิ้นแรกที่เผยให้เห็นต้นทุนส่วนเกินจากการให้บริการงาน LLM หลายรายการพร้อมกันในตลาด

ข้อสังเกตนี้สอดคล้องกับรูปแบบที่พบในตลาดโมเดล ผู้ให้บริการตระหนักมานานแล้วว่าความต้องการใช้งานส่วนปลายที่มีปริมาณน้อยทำให้ทรัพยากรติดค้างและเพิ่มต้นทุนให้ทุกฝ่าย แนวทางของ Aegaeon แสดงให้เห็นว่าการออกแบบระบบจัดตารางงานและหน่วยความจำให้เหมาะกับบริการหลายโมเดลสามารถจัดการความสูญเปล่านี้ได้

ความหมายต่อลูกค้าคลาวด์และนักพัฒนา

สำหรับลูกค้า การใช้ GPU น้อยลงต่อปริมาณงานหนึ่งหน่วยอาจนำไปสู่ราคาที่ต่ำลง โควตาที่มากขึ้น และประสิทธิภาพที่คาดการณ์ได้มากขึ้น หากผู้ให้บริการคลาวด์รองรับปริมาณการใช้งานเท่าเดิมได้โดยใช้ตัวเร่งการประมวลผลเพียงราวหนึ่งในห้า ก็จะเพิ่มกำลังรองรับสำหรับช่วงที่มีการใช้งานสูง และลดเวลารอสำหรับการติดตั้งใช้งานใหม่ นักพัฒนาที่เชื่อมโมเดลหลายตัวไว้ในแอปพลิเคชันเดียวก็อาจพบคอขวดจากการเริ่มระบบใหม่และการเปลี่ยนเรพลิกาน้อยลง เมื่อปริมาณการใช้งานเปลี่ยนไปมาระหว่างจุดเรียกใช้งานต่าง ๆ

ผู้ซื้อยังต้องคำนึงถึงประเด็นเชิงปฏิบัติด้วย การแบ่งใช้ทรัพยากรระหว่างหลายโมเดลต้องรักษาการแยกส่วนให้ดี เพื่อไม่ให้ภาระงานของผู้เช่ารายหนึ่งลดคุณภาพบริการหรือทำให้ข้อมูลรั่วไหลไปยังอีกราย ตัวจัดตารางงานต้องเคารพกฎลำดับความสำคัญและความเป็นธรรม เพื่อให้โมเดลยอดนิยมยังตอบสนองได้รวดเร็ว ขณะเดียวกันโมเดลที่ช้ากว่าก็ยังมีความคืบหน้า งานวิจัยระบุว่าการตัดสินใจของ Aegaeon ในระดับโทเค็นออกแบบมาโดยคำนึงถึงเป้าหมายด้านคุณภาพบริการ อย่างไรก็ตาม ผู้ให้บริการคลาวด์ยังต้องมีระบบสังเกตการณ์และควบคุมการใช้งานที่รัดกุม เพื่อควบคุมเวลาแฝงช่วงหางเมื่อขยายการรวมทรัพยากรไปยังกลุ่มระบบขนาดใหญ่ขึ้น

Nvidia จีน และบริบทของชิป AI

Aegaeon เกิดขึ้นในช่วงที่อุปทานตัวเร่งการประมวลผลระดับสูงทั่วโลกตึงตัว และมีมาตรการควบคุมการส่งออกชิป AI ขั้นสูงไปยังจีน Nvidia ออกแบบ H20 สำหรับตลาดจีนเพื่อให้เป็นไปตามกฎดังกล่าว และผู้ให้บริการจีนจำนวนมากใช้ชิปรุ่นนี้สำหรับงานประมวลผลอนุมาน ขณะเดียวกัน ผู้ออกแบบชิปของจีนอย่าง Huawei และ Cambricon ก็กำลังลงทุนพัฒนาทางเลือกภายในประเทศ ซอฟต์แวร์ที่ช่วยให้ GPU แต่ละตัวรองรับงานได้มากขึ้นมีประโยชน์ในทุกตลาด แต่ยิ่งสำคัญในพื้นที่ที่เข้าถึงชิปขั้นสูงที่สุดได้อย่างจำกัด

ผู้บริหารของ Nvidia สื่อสารว่า แนวโน้มทางการเงินระยะใกล้ของบริษัทตั้งอยู่บนสมมติฐานว่าจะมีรายได้จากกลุ่มชิปขั้นสูงในจีนเพียงเล็กน้อยหรือไม่มีเลย เนื่องจากข้อจำกัดด้านนโยบาย บริบทดังกล่าวทำให้ผลลัพธ์ของ Alibaba Cloud มีความสำคัญยิ่งขึ้น หากผู้ให้บริการรายใหญ่ยืดอายุการใช้งานฐานชิปที่ติดตั้งไว้ได้ด้วยซอฟต์แวร์ ก็จะยังขยายบริการต่อไปได้แม้อุปทานตัวเร่งการประมวลผลระดับสูงสุดจะมีจำกัด

Aegaeon เปรียบเทียบกับแนวทางอื่นอย่างไร

จนกระทั่งไม่นานมานี้ ระบบให้บริการหลายโมเดลส่วนใหญ่แบ่งใช้ GPU ตัวเดียวกันได้อย่างปลอดภัยเพียงสองหรือสามโมเดล ก่อนที่ภาระส่วนเกินจะมากกว่าประโยชน์ โมเดลที่เพิ่มขึ้นแต่ละตัวทำให้ต้องสลับบริบทและเกิดแคชไม่พบข้อมูลมากขึ้น อีกทั้งเพิ่มความเสี่ยงที่เวลาแฝงจะแกว่งจนไม่เป็นไปตามเป้าหมาย การออกแบบของ Aegaeon มุ่งลดต้นทุนจากการสลับงานและคงโครงสร้างข้อมูลหลักไว้ในหน่วยความจำระหว่างโมเดล จึงทำให้ตัวเร่งการประมวลผลหนึ่งตัวรองรับได้สูงสุดเจ็ดโมเดลภายใต้เงื่อนไขที่รายงาน

อินสแตนซ์เฉพาะยังเหมาะกับจุดให้บริการที่ต้องการปริมาณงานสูงที่สุด หรือภาระงานที่ต้องการการแยกส่วนอย่างเข้มงวด ส่วนอีกด้านหนึ่ง การประมวลผลอนุมานแบบเซิร์ฟเวอร์เลสที่เริ่มเรพลิกาโมเดลเต็มรูปแบบเมื่อต้องการอาจประหยัดสำหรับโมเดลที่มีผู้ใช้น้อย แต่เริ่มทำงานได้ช้ากว่า Aegaeon เป็นแนวทางกึ่งกลาง โดยรวมทรัพยากรและเตรียมโมเดลให้พร้อม จากนั้นจัดตารางงานเป็นช่วงสั้น ๆ เพื่อเพิ่มอัตราการใช้งานโดยไม่ต้องแลกกับเวลาแฝงที่พุ่งสูง

คำถามทางเทคนิคที่ยังเปิดอยู่และขั้นต่อไป

การทดสอบเบตาดำเนินการในตลาดโมเดลของ Alibaba Cloud ซึ่งเป็นสภาพแวดล้อมขนาดใหญ่ แต่ยังไม่ครอบคลุมบริการทั้งหมด การนำ Aegaeon ไปใช้ในภูมิภาคเพิ่มเติมและผลิตภัณฑ์ที่หลากหลาย เช่น คลัสเตอร์เฉพาะสำหรับองค์กรหรือระบบติดตั้งภายในองค์กร จะช่วยทดสอบการออกแบบภายใต้ข้อจำกัดที่แตกต่างกัน อีกคำถามคือ ตัวจัดตารางงานทำงานอย่างไรเมื่อโมเดลมีความยาวบริบทเพิ่มขึ้น และเมื่อโมเดลหลายสื่อผสานภาษา ภาพ และเสียงเข้าด้วยกัน สถานการณ์เหล่านี้จะทดสอบนโยบายด้านหน่วยความจำและแคชในรูปแบบใหม่

อีกแนวทางวิจัยหนึ่งคือการแบ่งใช้ทรัพยากรระหว่างตัวเร่งการประมวลผลต่างชนิดและระหว่างโหนด หากตัวจัดตารางงานรวมทรัพยากรไม่ได้แค่ GPU ตัวเดียว แต่รวม GPU หลายตัวผ่านโครงข่ายเข้าด้วยกัน ก็อาจเพิ่มประสิทธิภาพได้อีก ตราบใดที่ภาระจากการเชื่อมต่อระหว่างระบบยังต่ำและการจัดวางหน่วยความจำคาดการณ์ได้ หลักฐานที่เผยแพร่จนถึงขณะนี้ชี้ให้เห็นถึงประโยชน์อย่างมากจากการรวมทรัพยากรบนอุปกรณ์เดียว ซึ่งนับเป็นความก้าวหน้าเชิงปฏิบัติที่สำคัญสำหรับภาระงานประมวลผลอนุมานในปัจจุบัน

ข้อเท็จจริงโดยสรุป

• Aegaeon ลดจำนวน GPU ที่ใช้ให้บริการตลาดโมเดลของ Alibaba Cloud จาก Nvidia H20 จำนวน 1,192 หน่วยเหลือ 213 หน่วย หรือลดลง 82 เปอร์เซ็นต์
• ระหว่างการทดสอบเบตาที่กินเวลากว่าสามเดือน ระบบให้บริการโมเดลหลายสิบรายการ รวมถึงโมเดลที่มีพารามิเตอร์สูงสุด 72,000 ล้านตัว
• การทดสอบรายงานว่า GPU หนึ่งตัวรองรับได้สูงสุดเจ็ดโมเดล เทียบกับสองหรือสามโมเดลในระบบรุ่นก่อน
• การจัดตารางงานในระดับโทเค็น การใช้หน่วยความจำซ้ำ และการประสานแคชคีย์-แวลู ช่วยลดภาระจากการปรับขนาดอัตโนมัติลง 97 เปอร์เซ็นต์
• การทดลองพบว่า รองรับอัตราคำขอที่เข้ามาได้ต่อเนื่องสูงขึ้น 2 ถึง 2.5 เท่า หรือให้ปริมาณงานที่เป็นประโยชน์เพิ่มขึ้น 1.5 ถึง 9 เท่า เมื่อเทียบกับแนวทางอื่น
• แนวทางนี้มุ่งแก้ปัญหาความต้องการใช้งานส่วนปลายที่มีปริมาณน้อยในตลาดโมเดล ซึ่งคำขอเพียงส่วนน้อยกลับใช้ GPU เป็นสัดส่วนมาก
• ผลการทดสอบเกิดขึ้นในช่วงที่มาตรการควบคุมการส่งออกจำกัดการเข้าถึงชิป AI ขั้นสูงในจีน และความพยายามพัฒนา GPU ในประเทศกำลังเร่งตัว