ซัมซุงมุ่งลดต้นทุนโทเคน AI ด้วยการใช้หน่วยความจำเซิร์ฟเวอร์ให้คุ้มค่ายิ่งขึ้น

รองรับคำขอ AI ได้มากขึ้นโดยไม่ต้องเพิ่ม GPU

Samsung Electronics พัฒนาวิธีรองรับคำขอที่ส่งพร้อมกันมายังเซิร์ฟเวอร์ปัญญาประดิษฐ์ได้มากขึ้น ด้วยการปรับวิธีจัดสรรหน่วยความจำและถ่ายโอนข้อมูลระหว่างหน่วยประมวลผล คำขอรับสิทธิบัตรที่เผยแพร่ระบุถึงซอฟต์แวร์ที่พิจารณาเวลารอ ต้นทุนการถ่ายโอน และความต้องการหน่วยความจำในอนาคต เพื่อเลือกว่าควรให้โมเดลภาษาขนาดใหญ่ประมวลผลคำขอใดก่อน

เป้าหมายคือการลดความล่าช้าเมื่อหน่วยความจำของหน่วยประมวลผลกราฟิก (GPU) เต็ม ทำให้เซิร์ฟเวอร์เดิมรองรับผู้ใช้ได้มากขึ้น ซัมซุงระบุว่าสิ่งประดิษฐ์นี้เป็นเทคโนโลยีโครงสร้างพื้นฐานสำหรับการอนุมาน AI หรือกระบวนการใช้โมเดลที่ผ่านการฝึกแล้วเพื่อตอบคำถาม ไม่ใช่ฟีเจอร์สำหรับผลิตภัณฑ์ผู้บริโภคโดยเฉพาะ

งานวิจัยอีกชิ้นของซัมซุงแสดงให้เห็นถึงประโยชน์ที่อาจเกิดขึ้นจากการจัดการหน่วยความจำที่ดีขึ้น ในการทดลองด้านสตอเรจแยกต่างหาก ซึ่งใช้ GPU NVIDIA H100 NVL จำนวน 8 ตัว และโซลิดสเตตไดรฟ์ของซัมซุง 10 ตัว ซัมซุงรักษาเวลารอรับโทเคนเอาต์พุตแรกให้ต่ำกว่า 1 วินาทีได้ เมื่อมีผู้ใช้พร้อมกันสูงสุด 240 ราย หากไม่มีการย้ายข้อมูลไปเก็บในสตอเรจ เวลาดังกล่าวเริ่มเพิ่มขึ้นเมื่อมีผู้ใช้เกิน 140 ราย

สิทธิบัตร การทดลองด้านสตอเรจ และอีกโครงการหนึ่งจาก Samsung SDS มุ่งแก้ปัญหาคนละส่วนของเรื่องเดียวกัน นั่นคือหน่วยประมวลผล AI ราคาแพงอาจใช้เวลามากเกินไปกับการย้ายหรือสร้างข้อมูลขึ้นใหม่ สำหรับผู้ให้บริการ การลดงานเหล่านี้อาจช่วยให้ใช้ฮาร์ดแวร์เดิมตอบคำถามได้มากขึ้น และลดต้นทุนต่อโทเคน ซึ่งเป็นหน่วยข้อความขนาดเล็กที่โมเดลภาษาประมวลผลและสร้างขึ้น

เหตุใดหน่วยความจำจึงทำให้การตอบล่าช้า

GPU คำนวณหลายรายการพร้อมกันได้ จึงเหมาะกับการสร้างคำตอบจาก AI อย่างไรก็ตาม หน่วยความจำความเร็วสูงภายใน GPU มีความจุจำกัด หลายบทสนทนาต้องใช้พื้นที่เดียวกัน โดยเฉพาะเมื่อผู้ใช้ส่งเอกสารยาวหรือถามคำถามที่ต้องใช้คำตอบยืดยาว

โมเดลภาษาเก็บบันทึกชั่วคราวจากการคำนวณก่อนหน้าไว้ในโครงสร้างที่เรียกว่าแคชคีย์-แวลู หรือย่อว่า KV cache เปรียบได้กับบันทึกช่วยจำที่ใช้ระหว่างทำงาน การเก็บบันทึกนี้ช่วยให้โมเดลตอบต่อได้โดยไม่ต้องคำนวณสิ่งที่ประมวลผลไปแล้วซ้ำทั้งหมด

การทดลองด้านสตอเรจของซัมซุงใช้ KV cache ประมาณ 3 GB ต่อหนึ่งเซสชัน เมื่อมี 240 เซสชัน ปริมาณแคชรวมในงานดังกล่าวจึงอยู่ที่ราว 720 GB ตัวเลขนี้ช่วยอธิบายว่าเหตุใดการให้บริการผู้ใช้จำนวนมากจึงกลายเป็นปัญหาด้านหน่วยความจำ แม้จะติดตั้งกำลังประมวลผลไว้มากก็ตาม

เมื่อหน่วยความจำความเร็วสูงของ GPU ใกล้เต็ม เซิร์ฟเวอร์สามารถย้ายข้อมูลบางส่วนไปยังหน่วยความจำที่เชื่อมโยงกับหน่วยประมวลผลกลาง (CPU) แล้วดึงกลับมาเมื่อต้องใช้ แต่การถ่ายโอนเหล่านี้ต้องใช้เวลา ส่วนการคำนวณที่ทิ้งไปแล้วขึ้นใหม่ก็ใช้ทรัพยากรเช่นกัน สิทธิบัตรของซัมซุงมุ่งจัดการการแข่งขันแย่งใช้ทรัพยากรนี้ให้มีประสิทธิภาพยิ่งขึ้น

วิธีจัดลำดับงานตามสิทธิบัตร

คำขอสิทธิบัตรของซัมซุงชื่อ Method and Server for Processing Multiple User Requests of a Large Language Model อธิบายตัวจัดตารางงานที่พิจารณาต้นทุนในการให้บริการแต่ละคำขอ ปัจจัยที่นำมาคำนวณประกอบด้วยเวลาที่ผู้ใช้รอ ระยะเวลาที่ต้องใช้ในการถ่ายโอนข้อมูล และปริมาณหน่วยความจำที่คำขอนั้นต้องการ

เซิร์ฟเวอร์ใช้ผลคำนวณเหล่านี้เลือกว่าจะประมวลผลคำขอใดก่อน เรื่องนี้สำคัญเพราะคำขอที่ดูเหมือนพร้อมทำงานอาจต้องถ่ายโอนข้อมูลจำนวนมากก่อน ขณะที่อีกคำขออาจใช้ข้อมูลที่อยู่ใกล้มือได้ การประสานการเลือกเหล่านี้ช่วยลดเวลาที่เสียไปกับการจัดเรียงหน่วยความจำใหม่

วิธีนี้ยังตรวจสอบว่าข้อมูลที่เคยย้ายไปยังหน่วยความจำของ CPU ยังอยู่หรือไม่ หากมีสำเนาที่ใช้ได้ เซิร์ฟเวอร์ก็ย้ายเฉพาะส่วนที่จำเป็นแทนการคัดลอกข้อมูลทั้งหมดซ้ำอีกครั้ง นอกจากนี้ยังถ่ายโอนข้อมูลของผู้ใช้รายหนึ่งไปพร้อมกับที่ GPU กำลังสร้างคำตอบให้ผู้ใช้อีกรายได้ ทำให้การเตรียมข้อมูลและการประมวลผลที่เป็นประโยชน์เกิดขึ้นซ้อนกัน

ซัมซุงยังอธิบายการใช้หน่วยความจำที่มีเหลืออยู่เพียงบางส่วน หากคำขอใหม่ต้องการพื้นที่ 5 หน่วย แต่มีพื้นที่ว่างเพียง 3 หน่วย ระบบก็เริ่มประมวลผลส่วนที่พอดีก่อนได้ แทนที่จะรอให้มีพื้นที่ครบทั้ง 5 หน่วย เป้าหมายในทางปฏิบัติคือทำให้ทรัพยากรที่มีจำกัดยังทำงานได้อย่างคุ้มค่าในช่วงที่มีคำขอหนาแน่น ซัมซุงยังไม่ได้เปิดเผยรายละเอียดการนำวิธีตามสิทธิบัตรนี้ไปใช้เชิงพาณิชย์ หรือผลวัดที่แสดงการปรับปรุงเวลาในการตอบสนองและปริมาณงาน

ผลการวัดของซัมซุงจากการย้ายข้อมูลไปเก็บในสตอเรจ

เอกสารไวท์เปเปอร์เกี่ยวกับ KV cache ของ Samsung Electronics ศึกษาอีกแนวทางหนึ่ง คือเก็บข้อมูลแคชที่นำกลับมาใช้ซ้ำได้ไว้บนโซลิดสเตตไดรฟ์ NVMe โดย NVMe เป็นเทคโนโลยีที่ช่วยให้อุปกรณ์จัดเก็บข้อมูลสื่อสารกับคอมพิวเตอร์ได้รวดเร็วผ่านการเชื่อมต่อ PCIe

การทดสอบใช้ GPU NVIDIA H100 NVL จำนวน 8 ตัว บริการอนุมาน LLaMA-3.1 8B จำนวน 8 ชุดที่ทำงานขนานกัน ซอฟต์แวร์ให้บริการ vLLM และ LMCache ซึ่งเป็นชั้นซอฟต์แวร์โอเพนซอร์สสำหรับจัดการข้อมูล KV cache ที่นำกลับมาใช้ซ้ำได้ ไดรฟ์ Samsung PM1753 จำนวน 10 ตัวถูกรวมเป็นอาร์เรย์ RAID-0 ซึ่งกระจายข้อมูลไปยังหลายไดรฟ์เพื่อเพิ่มประสิทธิภาพการถ่ายโอน

ซัมซุงวัดโหลดผู้ใช้เพิ่มครั้งละ 20 ราย จนถึง 280 รายที่ใช้งานพร้อมกัน ผู้ใช้แต่ละรายส่งคำถามทุก 20 วินาที ทำให้มีปริมาณงานตั้งแต่ 1 ถึง 14 คำถามต่อวินาที ดังนั้น การทดลองจึงทดสอบรูปแบบที่กำหนดไว้ของคำขอซ้ำและการเคลื่อนย้ายแคช

แนวทางนี้มีประโยชน์เมื่อย้ายเซสชันไปมาระหว่าง GPU โดย GPU ปลายทางสามารถโหลดผลการคำนวณที่บันทึกไว้ แทนที่จะประมวลผลพรอมป์ต์ยาวตั้งแต่ต้นซ้ำอีกครั้ง ภายในเครื่องเดียวกัน แคชภายนอกสามารถเก็บไว้ในหน่วยความจำของ CPU หรือในสตอเรจ ส่วนการทำงานข้ามหลายเครื่อง ซัมซุงอธิบายว่าต้องมีทรัพยากรส่วนกลางที่เซิร์ฟเวอร์ที่เกี่ยวข้องเข้าถึงได้

เริ่มตอบเร็วขึ้นและสร้างข้อความได้มากขึ้น

ซัมซุงวัดประสิทธิภาพการให้บริการ 2 ด้าน ได้แก่ เวลาจนได้โทเคนแรก และจำนวนโทเคนต่อวินาที ค่าแรกวัดระยะเวลาที่ผู้ใช้ต้องรอก่อนเริ่มเห็นคำตอบ ส่วนค่าที่สองวัดปริมาณข้อความที่ระบบสร้างได้ในช่วงเวลาหนึ่ง

เมื่อเปิดใช้การย้ายข้อมูลไปเก็บในสตอเรจ การทดสอบรักษาเวลาจนได้โทเคนแรกให้ต่ำกว่า 1 วินาทีได้จนถึงผู้ใช้พร้อมกัน 240 ราย ขณะที่การตั้งค่าที่ไม่ย้ายข้อมูลเริ่มมีเวลาแฝงเพิ่มขึ้นเมื่อเกิน 140 ราย ซัมซุงระบุว่าระบบรองรับผู้ใช้ได้มากขึ้น 1.7 เท่า เมื่อเทียบที่ระดับเวลาแฝงใกล้เคียงกัน ในช่วงผู้ใช้ 20 ถึง 140 ราย การตั้งค่าที่ใช้การย้ายข้อมูลรักษาเวลารอเริ่มต้นไว้ที่ประมาณครึ่งวินาที

เมื่อมีผู้ใช้ 240 ราย ระบบที่ย้ายข้อมูลไปเก็บในสตอเรจสร้างโทเคนเอาต์พุตได้มากกว่าประมาณ 1.5 เท่า ส่วนการตั้งค่าที่ไม่ย้ายข้อมูลเริ่มอิ่มตัวเมื่อมีผู้ใช้ราว 160 ราย ขณะที่ระบบซึ่งนำแคชที่บันทึกไว้กลับมาใช้ยังเพิ่มปริมาณเอาต์พุตได้ตามความต้องการที่เพิ่มขึ้น

ซัมซุงระบุว่าประสิทธิภาพที่ดีขึ้นมาจากการลดการประมวลผลพรอมป์ต์ซ้ำ โมเดลภาษาจะประมวลผลข้อมูลนำเข้าก่อนในขั้นตอนที่เรียกว่า prefill จากนั้นจึงสร้างคำตอบทีละโทเคนในขั้นตอนที่เรียกว่า decode การนำผลการคำนวณที่บันทึกไว้กลับมาใช้ช่วยให้ GPU มีทรัพยากรเหลือสำหรับสร้างคำตอบมากขึ้น

เมื่อใดสตอเรจที่เพิ่มขึ้นจึงคุ้มทุน

การวิเคราะห์ต้นทุนของซัมซุงแสดงให้เห็นว่าฮาร์ดแวร์เพิ่มเติมย่อมมีราคา แม้จะช่วยเพิ่มประสิทธิภาพเมื่อมีความต้องการสูง ในช่วงผู้ใช้พร้อมกันตั้งแต่ 0 ถึง 160 ราย การตั้งค่าทั้งสองแบบมีปริมาณโทเคนที่ประมวลผลได้ใกล้เคียงกัน ขณะที่การตั้งค่าที่ใช้การย้ายข้อมูลมีต้นทุนสูงกว่าประมาณ 4% เนื่องจากเพิ่มอุปกรณ์ NVMe

เมื่อมีผู้ใช้เกิน 180 ราย ปริมาณเอาต์พุตที่สูงขึ้นชดเชยต้นทุนสตอเรจที่เพิ่มมาได้ ที่ผู้ใช้ 240 ราย ซัมซุงคำนวณว่าประสิทธิภาพด้านต้นทุนดีขึ้นประมาณ 1.5 เท่า โดยวัดจากจำนวนโทเคนต่อวินาทีต่อดอลลาร์ ตลอดช่วงเวลาการใช้งาน 3 ปี

กล่าวอีกแบบหนึ่ง การสร้างเอาต์พุตต่อดอลลาร์ได้ดีขึ้น 1.5 เท่า เทียบได้กับต้นทุนต่อหน่วยเอาต์พุตที่ลดลงราวหนึ่งในสามตามวิธีคำนวณดังกล่าว การเปรียบเทียบนี้อ้างอิงอุปกรณ์และรูปแบบงานที่ซัมซุงทดสอบ เศรษฐศาสตร์ของบริการจริงยังขึ้นอยู่กับโมเดล ความยาวของบทสนทนา ปริมาณการใช้งาน และต้นทุนอุปกรณ์ด้วย

ดังนั้น สำหรับผู้ให้บริการคลาวด์ การตัดสินใจในทางปฏิบัติจึงขึ้นอยู่กับความต้องการใช้งานอย่างมาก การเพิ่มสตอเรจอาจทำให้ค่าใช้จ่ายเริ่มต้นสูงขึ้น หากกำลังรองรับของ GPU ที่มีอยู่จัดการงานได้สบายอยู่แล้ว แต่เมื่อเกิดความแออัดต่อเนื่อง การนำแคชกลับมาใช้ซ้ำอาจช่วยให้ชุด GPU เดิมรองรับงานได้มากขึ้นก่อนต้องเพิ่มเซิร์ฟเวอร์

ประหยัดพลังงานไปถึงพัดลมระบายความร้อน

ซัมซุงยังวัดพบว่าการทดลองด้านสตอเรจใช้ไฟฟ้าลดลง ที่ผู้ใช้ 240 ราย ประสิทธิภาพต่อวัตต์ดีขึ้นประมาณ 2.9 เท่า กำลังไฟฟ้ารวมของระบบลดลงเหลือประมาณ 53% เมื่อเทียบกับการตั้งค่าที่ไม่ย้ายข้อมูล หรือลดลงราว 47%

ตามข้อมูลในเอกสารไวท์เปเปอร์ ไดรฟ์ NVMe ที่เพิ่มเข้ามาทำให้การใช้พลังงานเพิ่มขึ้นประมาณ 6% แต่ความต้องการพลังงานของ GPU และระบบระบายความร้อนที่ลดลงชดเชยส่วนที่เพิ่มขึ้นได้มากกว่า ซัมซุงบันทึกการใช้ GPU อยู่ที่ประมาณ 49% เมื่อรูปแบบงานเปลี่ยนไปจากการประมวลผล prefill ที่เข้มข้นซ้ำหลายครั้ง

การเปลี่ยนแปลงดังกล่าวสะท้อนผ่านพัดลมระบายความร้อนด้วย หากไม่ย้ายข้อมูล พัดลมทุกตัวในระบบทำงานที่ความเร็วสูงสุดตามที่คาดไว้คือ 15,000 รอบต่อนาที เมื่อย้ายข้อมูล พัดลมที่ระบายความร้อนให้ CPU หน่วยความจำ และสตอเรจทำงานที่ประมาณ 7,800 รอบต่อนาที ส่วนพัดลมฝั่ง GPU ทำงานที่ประมาณ 9,800 รอบต่อนาที

ผลลัพธ์นี้แสดงให้เห็นว่าอุปกรณ์หนึ่งอาจเพิ่มการใช้ไฟฟ้าเฉพาะจุด แต่ช่วยลดการใช้พลังงานโดยรวมของเซิร์ฟเวอร์ได้ ในการทดลองนี้ การใช้พลังงานดึงผลการคำนวณที่บันทึกไว้กลับมาใช้ช่วยลดค่าใช้จ่ายด้านพลังงานที่สูงกว่าจากการคำนวณซ้ำและการระบายความร้อนที่เกิดขึ้น

สตอเรจต้องรองรับโหลดที่พุ่งสูง

ผลการวัดของซัมซุงยังแสดงให้เห็นว่าแนวทางนี้ต้องการมากกว่าความจุไดรฟ์ที่เหลืออยู่ ปริมาณการรับส่งข้อมูลรวมเฉลี่ยของสตอเรจสูงสุดถึง 37 GB ต่อวินาที และคำขอพร้อมกันจาก GPU อาจดันความต้องการสูงสุดให้เกือบเป็นสองเท่าของค่าเฉลี่ย

จำนวนคำสั่งสตอเรจที่กำลังดำเนินการอยู่มักอยู่ที่ประมาณ 160 รายการ แต่อาจพุ่งถึง 800 รายการ ซัมซุงแนะนำให้มีแบนด์วิดท์สตอเรจอย่างน้อยสองเท่าของความต้องการเฉลี่ย เพื่อรองรับช่วงที่มีโหลดพุ่งสูงโดยยังคงรักษาการตอบสนองไว้ได้

PM1753 มีสเปกความเร็วรับส่งข้อมูลแบบต่อเนื่องสูงสุด 14.5 GB ต่อวินาที และประสิทธิภาพการอ่านแบบสุ่ม 3.3 ล้านครั้งต่อวินาที ในรูปแบบงานที่ทดสอบ การอ่านคิดเป็นประมาณ 92% ของกิจกรรมสตอเรจ และการเขียนคิดเป็น 8% LMCache ย้ายบล็อกแคชขนาดใหญ่ประมาณ 33 MB

เมื่อหลายบริการอ่านบล็อกขนาดใหญ่พร้อมกัน อาจเกิดกระแสคำขอที่สลับคละกัน ระบบสตอเรจจึงต้องรักษาประสิทธิภาพการถ่ายโอนไว้ได้เมื่อผู้ใช้จำนวนมากเริ่มใช้งานพร้อมกัน ความจุแคช ความเร็วในการถ่ายโอน และการจัดตารางงาน ล้วนมีส่วนกำหนดว่าข้อมูลที่บันทึกไว้จะไปถึง GPU ได้เร็วพอที่จะนำมาใช้ประโยชน์หรือไม่

Samsung SDS ย้ายการคำนวณเข้าไปไว้ในหน่วยความจำ

Samsung SDS กำลังจัดการปัญหาการเคลื่อนย้ายข้อมูลด้วยอีกแนวทางหนึ่ง บทความวิจัยเรื่อง PAISE ของบริษัทที่ เผยแพร่ไว้ อธิบายระบบ PIM-Accelerated Inference Scheduling Engine ซึ่งนำเสนอในงาน IEEE HPCA 2025 PAISE ใช้การประมวลผลในหน่วยความจำ (PIM) โดยติดตั้งหน่วยคำนวณไว้ภายในชิปหน่วยความจำ เพื่อให้การคำนวณบางส่วนเกิดขึ้นใกล้กับจุดที่จัดเก็บข้อมูล

Samsung SDS นำระบบไปติดตั้งและตรวจสอบความถูกต้องบนฮาร์ดแวร์ Aquabolt-XL PIM ของซัมซุง โดยทดสอบกับโมเดล GPT-2, OPT และ Llama2 บริษัทระบุว่าความเร็วในการอนุมานเพิ่มขึ้นสูงสุด 48.3% และการใช้พลังงานลดลงประมาณ 11.5%

PAISE เลือกว่าการดำเนินการใดควรทำในหน่วยความจำ และจัดวางข้อมูลให้เหมาะกับฮาร์ดแวร์ นอกจากนี้ยังรวมการคำนวณ attention ขนาดเล็กเข้าด้วยกัน เพื่อให้ประมวลผลขนานได้มีประสิทธิภาพยิ่งขึ้น Samsung SDS รายงานว่า KV cache อัปเดตได้เร็วขึ้น และเห็นประโยชน์ชัดเจนขึ้นเมื่อใช้ batch ขนาดใหญ่ ซึ่งหมายถึงกลุ่มคำขอที่ประมวลผลพร้อมกัน

ทั้งสามโครงการทำงานในส่วนที่ต่างกันของเซิร์ฟเวอร์ สิทธิบัตรจัดตารางคำขอและการถ่ายโอนระหว่างหน่วยความจำ GPU กับ CPU การทดลองด้านสตอเรจเก็บแคชไว้บนไดรฟ์เพื่อนำกลับมาใช้ภายหลัง ส่วน PAISE ย้ายการคำนวณบางส่วนไปทำในฮาร์ดแวร์หน่วยความจำ เมื่อพิจารณาร่วมกัน ทั้งหมดแสดงให้เห็นว่าซัมซุงกำลังพัฒนาหลายแนวทางเพื่อลดเวลาและพลังงานที่ใช้ในการย้ายหรือสร้างข้อมูลเบื้องหลังคำตอบจาก AI ขึ้นใหม่

ประเด็นสำคัญ

• คำขอรับสิทธิบัตรที่ซัมซุงเผยแพร่เสนอการจัดตารางคำขอ AI โดยพิจารณาเวลารอ ต้นทุนการถ่ายโอน และความต้องการหน่วยความจำที่คาดไว้
• วิธีตามสิทธิบัตรมุ่งรองรับผู้ใช้ได้มากขึ้นด้วย GPU ที่มีอยู่ แต่ยังไม่มีการเปิดเผยตัวเลขประสิทธิภาพเชิงพาณิชย์
• การทดสอบสตอเรจอีกชิ้นของซัมซุงรองรับผู้ใช้พร้อมกัน 240 ราย โดยมีเวลารอเริ่มตอบต่ำกว่า 1 วินาที เทียบกับเวลาแฝงที่เริ่มเพิ่มขึ้นเมื่อเกิน 140 รายในกรณีไม่ย้ายข้อมูล
• เมื่อมีผู้ใช้ 240 ราย การย้ายข้อมูลไปเก็บในสตอเรจช่วยเพิ่มปริมาณโทเคนและประสิทธิภาพด้านต้นทุนประมาณ 1.5 เท่า พร้อมเพิ่มประสิทธิภาพต่อวัตต์ 2.9 เท่า
• การเพิ่มสตอเรจทำให้ต้นทุนสูงขึ้นประมาณ 4% เมื่อโหลดไม่มาก ความต้องการใช้งานจึงเป็นปัจจัยสำคัญในการคำนวณความคุ้มค่า
• Samsung SDS ระบุว่า PAISE ซึ่งเป็นระบบแยกต่างหาก ช่วยเพิ่มความเร็วในการอนุมานได้สูงสุด 48.3% ด้วยการคำนวณภายในหน่วยความจำ