เจาะคำกล่าวอ้าง DeepSeek ใช้งบฝึกโมเดล 294,000 ดอลลาร์: เหตุใดต้นทุนจริงของ R1 จึงอยู่ที่หลายล้านดอลลาร์

เหตุใดราคา 294,000 ดอลลาร์จึงสร้างความตกตะลึงให้วงการ AI

เมื่อ DeepSeek เผยแพร่บทความวิชาการที่ผ่านการประเมินโดยผู้ทรงคุณวุฒิเกี่ยวกับโมเดลให้เหตุผล R1 ในวารสาร Nature ตัวเลขหนึ่งก็สะดุดตาผู้คนทั่วโลก นั่นคือ 294,000 ดอลลาร์ พาดหัวข่าวชวนให้เข้าใจว่าโมเดลเรือธงนี้ได้รับการฝึกด้วยต้นทุนเพียงเศษเสี้ยวของที่คู่แข่งในสหรัฐฯ ใช้ตามรายงาน ตัวเลขดังกล่าวเป็นเรื่องจริง แต่ครอบคลุมงานเพียงส่วนแคบ ๆ เท่านั้น เงินจำนวนนี้ใช้กับขั้นตอนการเรียนรู้แบบเสริมกำลังขั้นสุดท้าย ซึ่งช่วยปรับปรุงความสามารถในการให้เหตุผลทีละขั้นของโมเดล ไม่ได้รวมการฝึกก่อน (pretraining) ที่กินเวลาหลายเดือนบนโมเดลพื้นฐานขนาดใหญ่กว่ามาก ซึ่งเป็นรากฐานที่ R1 พึ่งพา

ประสิทธิภาพของ R1 ตั้งอยู่บน DeepSeek V3 ซึ่งเป็นโมเดลภาษาขนาดใหญ่ที่ฝึกด้วยคลังข้อมูลมหาศาล โดยใช้คลัสเตอร์ประมวลผลขนาดใหญ่ ทีมงานเริ่มการเรียนรู้แบบเสริมกำลังเพื่อผลักดันให้โมเดลมีตรรกะและทักษะการแก้ปัญหาดีขึ้น ก็ต่อเมื่อวางรากฐานราคาแพงนี้เสร็จแล้ว การเข้าใจผิดว่าขั้นตอนเก็บรายละเอียดคือโครงการทั้งหมด ทำให้ค่าใช้จ่ายเฉพาะส่วนกลายเป็นพาดหัวข่าว

ความแตกต่างนี้สำคัญ โมเดลที่ทัดเทียมระบบชั้นนำด้านการเขียนโค้ดและคณิตศาสตร์ไม่ได้เกิดขึ้นจากการใช้ชิปเพียงไม่กี่แร็กในช่วงสุดสัปดาห์ แต่ต้องอาศัยการประมวลผลต่อเนื่อง การคัดกรองข้อมูลอย่างกว้างขวาง การทดลองซ้ำ การทำงานด้านความปลอดภัยและการประเมินอย่างรอบคอบ ตลอดจนขั้นตอนปรับแต่งประสิทธิภาพในท้ายที่สุด บทความใน Nature เปิดเผยข้อมูลอันมีค่าเกี่ยวกับขั้นตอนสุดท้ายนี้ แต่ไม่ได้ลบล้างงานหนักที่เกิดขึ้นก่อนหน้า

สิ่งที่บทความใน Nature ระบุไว้จริง ๆ

เอกสารประกอบของ R1 ให้รายละเอียดการเรียนรู้แบบเสริมกำลังโดยใช้ GPU Nvidia H800 จำนวน 512 ตัว โดยระบุว่าการฝึก R1 Zero ในช่วงแรกใช้เวลาประมาณ 198 ชั่วโมง และใช้เวลาเพิ่มอีก 80 ชั่วโมงเพื่อให้ได้ R1 ที่เผยแพร่สู่สาธารณะ ทีมงานยังบันทึกชั่วโมงการทำงานของ GPU ราว 5,000 ชั่วโมง เพื่อสร้างข้อมูลความพึงพอใจที่ใช้ในกระบวนการนี้ เมื่อนำขั้นตอนเหล่านี้มาคิดตามอัตราค่าเช่าทั่วไปของตัวเร่งประมวลผลระดับ H800 ค่าใช้จ่ายรวมจะอยู่ต่ำกว่า 300,000 ดอลลาร์เล็กน้อย ตัวเลขนี้ไม่ได้สะท้อนเวลาและกำลังประมวลผลทั้งหมดที่ต้องใช้เพื่อสร้างโมเดลระดับแนวหน้าขึ้นมาใหม่ตั้งแต่ต้น

บทความยังชี้แจงบริบทด้านฮาร์ดแวร์ด้วย DeepSeek ฝึก R1 โดยใช้ H800 เป็นหลัก ซึ่งเป็นชิปที่ Nvidia ออกแบบสำหรับจีน หลังจากกฎควบคุมการส่งออกของสหรัฐฯ จำกัดการเข้าถึงตัวเร่งประมวลผลระดับสูงกว่า ทีมงานยอมรับว่าใช้ GPU A100 ในงานเตรียมการกับโมเดลขนาดเล็กกว่า ก่อนจะเปลี่ยนมาใช้ H800 สำหรับการเรียนรู้แบบเสริมกำลังหลักของ R1 ผู้อ่านสามารถตรวจสอบรายละเอียดทางเทคนิคและรายการค่าใช้จ่ายได้ในเอกสารที่ผ่านการประเมินโดยผู้ทรงคุณวุฒิ ซึ่งวารสาร Nature เผยแพร่ไว้

ต้นทุนที่แท้จริงของการสร้าง R1 เริ่มจากการฝึก V3 ล่วงหน้า

ข้อมูลของ DeepSeek เองชี้ว่ารายจ่ายก้อนใหญ่ที่สุดคือการฝึกโมเดลพื้นฐาน V3 ล่วงหน้า ซึ่งเป็นรากฐานของ R1 โดย V3 ฝึกด้วย GPU H800 จำนวน 2,048 ตัว เป็นเวลาราวสองเดือน คิดเป็นเวลาทำงานประมาณ 2.79 ล้านชั่วโมง GPU หากใช้อัตราค่าเช่าแบบระมัดระวังที่ราว 2 ดอลลาร์ต่อชั่วโมง GPU สำหรับฮาร์ดแวร์ระดับนี้ เฉพาะการฝึกก่อนก็มีค่าใช้จ่ายเกือบ 5.58 ล้านดอลลาร์ เมื่อนำไปรวมกับค่าใช้จ่ายราว 294,000 ดอลลาร์สำหรับการเรียนรู้แบบเสริมกำลังและการสร้างข้อมูลที่เกี่ยวข้อง ค่าใช้จ่ายด้านการประมวลผลเพื่อให้ได้ R1 ในรูปแบบที่เผยแพร่จึงอยู่ที่เกือบ 5.87 ล้านดอลลาร์

ตัวเลขประมาณการนี้สอดคล้องกับคำอธิบายในบทความว่า ค่าใช้จ่าย 294,000 ดอลลาร์ของ R1 เป็นค่าใช้จ่ายเพิ่มเติมจากโมเดลพื้นฐาน และยังสอดคล้องกับบทวิเคราะห์ภายนอกที่ประเมินว่าขนาดการประมวลผลรวมของ R1 อยู่ในระดับเดียวกับโมเดลเปิดขนาดใหญ่อื่น ๆ แม้ตัวเลขนี้จะดูประหยัดเมื่อเทียบกับงบประมาณที่มีข่าวลือของระบบปิดขนาดใหญ่ที่สุด แต่ก็ห่างไกลจากภาพของโมเดลราคาถูกที่พาดหัวตัวเลขต่ำกว่า 300,000 ดอลลาร์เพียงตัวเดียวสื่อออกมา

การคำนวณชั่วโมง GPU ทำงานอย่างไร

ชั่วโมง GPU เป็นวิธีวัดกำลังประมวลผลอย่างง่าย โดย GPU หนึ่งตัวทำงานหนึ่งชั่วโมงเท่ากับหนึ่งชั่วโมง GPU เวลารวมของการฝึกคำนวณจากจำนวน GPU คูณด้วยจำนวนชั่วโมงที่บันทึกไว้ ส่วนราคาคิดจากต้นทุนของชั่วโมงเหล่านั้นในตลาด ไม่ว่าจะเป็นค่าเช่าคลาวด์หรือค่าเสื่อมราคาและค่าเดินระบบของฮาร์ดแวร์ที่เป็นเจ้าของ นักพัฒนาที่เช่าตัวเร่งประมวลผลมากกว่า 2,000 ตัวเป็นเวลาหลายเดือนจะจ่ายตามจำนวนชั่วโมง ส่วนผู้ที่ซื้อคลัสเตอร์ขนาดเดียวกันต้องจ่ายเงินลงทุนล่วงหน้า จากนั้นจึงมีค่าไฟฟ้า ระบบทำความเย็น พื้นที่ และการบำรุงรักษา

การซื้อคลัสเตอร์ในระดับนี้มีค่าใช้จ่ายสูงกว่าการเช่ามาใช้ฝึกเพียงรอบเดียวมาก การจัดหา GPU ระดับ H800 จำนวน 2,048 ตัว พร้อมระบบเครือข่ายและเซิร์ฟเวอร์ จะมีค่าใช้จ่ายสูงกว่า 51 ล้านดอลลาร์มาก หากอิงราคาตลาดปัจจุบัน และยังไม่รวมเวลาทำงานของวิศวกร ค่าสิทธิ์ใช้ข้อมูล แรงงานด้านการประเมิน พื้นที่จัดเก็บ รวมถึงการทดลองที่ล้มเหลวหลายครั้งก่อนจะเผยแพร่โมเดลสำเร็จ ตัวเลข 5.87 ล้านดอลลาร์จึงควรมองว่าเป็นต้นทุนของการฝึกครั้งใหญ่ที่ประสบความสำเร็จ ไม่ใช่ค่าใช้จ่ายทั้งหมดของงานวิจัยที่ทำให้การฝึกนั้นเกิดขึ้นได้

การเรียนรู้แบบเสริมกำลังเป็นขั้นตอนเก็บรายละเอียด ไม่ใช่งานทั้งหมด

การเรียนรู้แบบเสริมกำลังปรับพฤติกรรมของโมเดลที่ฝึกแล้ว ด้วยการให้รางวัลแก่ผลลัพธ์ที่ต้องการ ในโครงการ R1 DeepSeek ใช้เทคนิคให้คะแนนคำตอบและผลักดันให้โมเดลเลือกแนวทางที่ได้ผลลัพธ์ถูกต้อง นักวิจัยเรียกวิธีนี้ว่าการเรียนรู้แบบเสริมกำลังล้วน โดยไม่ต้องใช้ลำดับความคิดที่มนุษย์เขียนให้ โมเดลสำรวจและทดสอบแนวทางของตัวเอง ได้รับสัญญาณว่าคำตอบถูกต้องหรือไม่ แล้วค่อย ๆ ปรับกลยุทธ์การให้เหตุผลภายในให้ดีขึ้น

ขั้นตอนเก็บรายละเอียดนี้มีประโยชน์ เพราะช่วยเพิ่มประสิทธิภาพด้านคณิตศาสตร์ การเขียนโค้ด และงานวิทยาศาสตร์ ซึ่งต้องมุ่งไปสู่ผลลัพธ์ที่ตรวจสอบได้ อีกทั้งยังมีต้นทุนต่ำกว่าการฝึกก่อนมาก งานหนักยังคงอยู่ที่การเรียนรู้เป็นเวลาหลายเดือน ซึ่งทำให้โมเดลพื้นฐานมีความรู้ด้านภาษาและความสามารถรอบด้าน จากนั้นการเรียนรู้แบบเสริมกำลังจึงปรับแต่งความสามารถเหล่านั้นให้เหมาะกับเป้าหมายเฉพาะ เช่น การให้เหตุผลทีละขั้นและการใช้เครื่องมือ

ชิป กฎควบคุมการส่งออก และฮาร์ดแวร์ที่ DeepSeek ใช้จริง

DeepSeek ฝึกโมเดลภายใต้ข้อจำกัดด้านการจัดหาชิป สหรัฐฯ จำกัดการส่งออกตัวเร่งประมวลผลระดับสูงไปยังจีน จึงเป็นเหตุผลที่ H800 ซึ่งเป็น GPU สำหรับศูนย์ข้อมูลของ Nvidia รุ่นปรับลดสมรรถนะให้เป็นไปตามข้อกำหนดการส่งออก ปรากฏอยู่ในเอกสารของ DeepSeek หลายฉบับ กระแสข่าวในอุตสาหกรรมระบุว่านักวิจัยในจีนอาจหาทางเข้าถึงชิปรุ่นที่เร็วกว่าได้ และมีการวิเคราะห์ถ้อยแถลงของบริษัททีละบรรทัดเพื่อหาคำใบ้เกี่ยวกับแหล่งที่มาของฮาร์ดแวร์ แต่ประเด็นสำคัญต่อเรื่องต้นทุนชัดเจนกว่า นั่นคือ ขั้นตอนการเรียนรู้แบบเสริมกำลังของ R1 ใช้คลัสเตอร์ H800 จำนวน 512 ตัว ขณะที่งานเตรียมการก่อนหน้านั้นใช้ A100 ด้วย

ในเอกสารประกอบ ทีมงานยอมรับข้อเท็จจริงดังกล่าว โดยนักวิจัยอธิบายบทบาทของ A100 ในขั้นตอนเตรียมระบบก่อนการฝึก R1 หลักบน H800

นักวิจัย DeepSeek เขียนว่า: "สำหรับงานวิจัยของเราเกี่ยวกับ DeepSeek-R1 เราใช้ GPU A100 เพื่อเตรียมการทดลองกับโมเดลขนาดเล็กกว่า"

รายละเอียดนี้ช่วยให้เข้าใจได้ว่าเหตุใดทั้งตัวเลขงบประมาณสุดท้ายและการใช้ชิปหลายชนิดจึงเป็นจริงพร้อมกัน โดย H800 อยู่ในบัญชีต้นทุนหลักของการเรียนรู้แบบเสริมกำลัง ส่วน A100 ใช้ในการทดลองก่อนหน้าเพื่อพัฒนาแนวทาง

DeepSeek มีต้นทุนต่ำกว่าคู่แข่งฝั่งตะวันตกมากหรือไม่

ค่าใช้จ่ายด้านการประมวลผลทั้งหมดที่ทำให้เกิด R1 อยู่ที่เกือบ 6 ล้านดอลลาร์ มากกว่า 300,000 ดอลลาร์อย่างชัดเจน แต่ก็ยังเป็นเพียงเศษเสี้ยวของงบประมาณระดับหลายร้อยล้านดอลลาร์ที่มีข่าวลือว่าใช้กับระบบปิดแนวหน้าตลาด นอกจากนี้ยังอยู่ในระดับเดียวกับโมเดลเปิดขนาดใหญ่ เช่น Llama 4 ของ Meta เมื่อวัดจากจำนวนตัวเร่งประมวลผลและระยะเวลาฝึก แม้โครงการเหล่านั้นจะใช้โทเค็นมากกว่าก็ตาม ช่องว่างนี้น่าสนใจ แต่ไม่ใช่การปฏิวัติที่ลดต้นทุนตลอดกระบวนการลงสิบเท่า

เหตุผลหนึ่งที่ผู้อ่านจำนวนมากยังมองว่า DeepSeek เป็นผู้นำด้านต้นทุน คือทีมงานใช้ชิปได้คุ้มค่าภายใต้ข้อจำกัด บริษัทขยายสถาปัตยกรรมแบบ mixture of experts ซึ่งเปิดใช้พารามิเตอร์เพียงส่วนน้อยสำหรับแต่ละโทเค็น จึงประมวลผลได้มากขึ้นต่อชั่วโมง GPU นอกจากนี้ยังอาศัยการให้เหตุผลที่ยาวขึ้นในช่วงอนุมานผล ทำให้ภาระบางส่วนย้ายจากการฝึกก่อนมาอยู่ที่การใช้งานภายหลัง

นักวิจัยยังถกเถียงกันเรื่องแหล่งข้อมูลและการถ่ายทอดความรู้ระหว่างโมเดลด้วย DeepSeek ใช้การกลั่นความรู้ในบางส่วนของระบบนิเวศ โดยโมเดลที่มีความสามารถสูงสร้างคำตอบเพื่อสอนโมเดลที่เล็กกว่าหรือมีต้นทุนต่ำกว่า ทีมงานระบุว่าโมเดลพื้นฐาน V3 เรียนรู้จากการเก็บข้อมูลจากเว็บ ซึ่งมีเนื้อหาที่ AI สร้างขึ้นรวมอยู่ด้วย และอาจรวมถึงผลลัพธ์จากระบบอื่น บทความอธิบายว่าเป็นสิ่งที่เกิดขึ้นโดยไม่ได้ตั้งใจ ไม่ใช่การคัดลอกแนวทางการให้เหตุผลโดยเจตนา ความแตกต่างทางเทคนิคนี้สำคัญต่อทนายความและผู้กำหนดนโยบาย อีกทั้งยังสำคัญต่อผู้ประเมินต้นทุนที่ต้องการเข้าใจว่านักพัฒนาจะทำได้ไกลเพียงใดโดยใช้โทเค็นและกำลังประมวลผลน้อยลง

ผู้เชี่ยวชาญมองต้นทุนและการเข้าถึงอย่างไร

นักวิชาการเรียกร้องให้พิจารณาตัวเลขของ DeepSeek อย่างรอบคอบ พวกเขายอมรับถึงทักษะทางวิศวกรรมที่แท้จริง แต่เตือนว่าไม่ควรเปรียบเทียบต้นทุนอย่างง่ายเกินไป งบฝึกที่ลดลงอาจเป็นประโยชน์ต่อตลาด หากช่วยให้เข้าถึงเทคโนโลยีได้ในราคาถูกลง แต่ตัวเลขพาดหัวมักไม่รวมต้นทุนด้านบุคลากร การทดลอง และโครงสร้างพื้นฐาน

อูมาร์ อิกบัล ผู้ช่วยศาสตราจารย์ด้านวิทยาการคอมพิวเตอร์และวิศวกรรมศาสตร์แห่งมหาวิทยาลัยวอชิงตันในเซนต์หลุยส์ ให้เหตุผลว่าการลดต้นทุนช่วยขยายการเข้าถึงได้ ขณะเดียวกันก็ชี้ถึงข้อแลกเปลี่ยนด้านความเป็นส่วนตัวและความปลอดภัยของ AI บนคลาวด์ในระดับใหญ่

อิกบัลกล่าวว่า: "หากต้องการให้มีการใช้งานเทคโนโลยีอย่างแพร่หลาย เทคโนโลยีนั้นต้องมีราคาที่เข้าถึงได้" พร้อมเสริมว่าการพัฒนาที่มีต้นทุนต่ำลงช่วยให้ทำการทดลองขนาดใหญ่ได้มากขึ้น แต่เตือนว่าบริการ AI บนคลาวด์ทำให้เกิดคำถามจริงจังเกี่ยวกับการควบคุมข้อมูลและความเป็นส่วนตัว

แม้แต่ผู้สนับสนุนแนวทางทางเทคนิคของ DeepSeek ก็เตือนว่าตัวเลขต้นทุนการฝึกที่เผยแพร่กันอย่างกว้างขวางยังเป็นเกณฑ์เปรียบเทียบที่ไม่ครบถ้วน พวกเขาชี้ให้เห็นว่ามีการฝึกซ้ำ รอบการปรับแต่ง และงานด้านข้อมูล ซึ่งอยู่นอกเหนือการฝึกตั้งแต่ต้นจนจบเพียงรอบเดียว

ข้อมูล การกลั่นความรู้ และสิ่งที่น่าจะอยู่ในชุดข้อมูลฝึก

การกลั่นความรู้ใช้คำตอบจากระบบที่มีความสามารถสูงกว่าเพื่อชี้แนะแนวทางให้โมเดลเป้าหมาย นักพัฒนาสามารถสร้างคู่คำถามและคำตอบคุณภาพสูงหลายล้านชุด ร่องรอยการเขียนโค้ด หรือตัวอย่างลำดับความคิด แล้วนำไปปรับแต่งโมเดลให้สร้างพฤติกรรมแบบเดียวกัน วิธีนี้ช่วยยกระดับคุณภาพได้โดยไม่ต้องฝึกส่วนที่มีต้นทุนสูงที่สุดซ้ำอีก นี่เป็นเหตุผลสำคัญที่ทำให้ทีมขนาดเล็กเข้าใกล้หรือทำได้ทัดเทียบบางความสามารถของแล็บขนาดใหญ่ในด้านต่าง ๆ เช่น คณิตศาสตร์และการเขียนโปรแกรม

DeepSeek ระบุว่าโมเดลบางรุ่นที่ผ่านการกลั่นความรู้ในตระกูลโมเดลของบริษัทอาศัยระบบโอเพนซอร์ส เช่น Llama ของ Meta ส่วน V3 บริษัทอธิบายว่าใช้ข้อมูลจากเว็บอย่างกว้างขวาง ซึ่งมีคำตอบที่ AI สร้างขึ้นในปริมาณมาก แนวทางนี้มีทั้งประโยชน์และความเสี่ยง เพราะช่วยเร่งการเรียนรู้รูปแบบทั่วไปได้ แต่ก็อาจนำปัญหาด้านสิทธิ์การใช้งานและคุณภาพที่ไม่ทราบที่มามาด้วย บทความใน Nature ทำให้แวดวงวิชาการเรียกร้องความชัดเจนมากขึ้นว่าใช้ข้อมูลอะไรและเมื่อใด รวมถึงขั้นตอนใดบ้างที่อาศัยป้ายกำกับสังเคราะห์

เหตุใดพาดหัว 294,000 ดอลลาร์จึงแพร่กระจาย และเหตุใดจึงสำคัญ

ตัวเลข 294,000 ดอลลาร์สื่อสารง่ายและหวือหวาพอที่จะส่งผลต่อตลาด ในเดือนมกราคม การเปิดตัว DeepSeek รุ่นแรก ๆ ทำให้เกิดความกังวลแล้วว่าคู่แข่งต้นทุนต่ำจะเข้ามาตัดราคาผู้นำในสหรัฐฯ นักลงทุนเทขายหุ้นผู้ผลิตชิปและบริษัทพันธมิตรด้าน AI บทความวิชาการที่ผ่านการประเมินโดยผู้ทรงคุณวุฒิปลุกกระแสนี้ขึ้นมาอีกครั้ง ด้วยข้อความสั้น ๆ ที่แพร่กระจายเร็วกว่าคำอธิบายตัวเล็กท้ายหน้า ผู้อ่านจำนวนมากและผู้สื่อข่าวบางรายจึงเข้าใจว่าการเรียนรู้แบบเสริมกำลังคือเรื่องราวทั้งหมด

บทความไม่ได้เพียงจุดกระแสความตื่นเต้น แต่ยังยกระดับมาตรฐานความโปร่งใสด้วยการนำเสนอตัวเลขจริงและรายละเอียดวิธีการไว้ในบันทึกทางวิทยาศาสตร์ที่เปิดเผยต่อสาธารณะ ผู้ประเมินผลักดันให้ DeepSeek ลดการใช้ภาษาที่ทำให้โมเดลดูมีลักษณะเหมือนมนุษย์ และชี้แจงประเด็นความปลอดภัย แหล่งข้อมูล และกำลังประมวลผล สิ่งนี้เป็นผลดีต่อทั้งวิทยาศาสตร์และอุตสาหกรรม เพราะช่วยให้แวดวงที่เกี่ยวข้องเข้าใจว่าเทคนิคใดสร้างคุณค่าได้มากที่สุด และต้นทุนส่วนใดยังลดได้ยาก

ผลต่อค่าใช้จ่ายและการแข่งขันในวงการ AI

เศรษฐศาสตร์ของการสร้างโมเดลกำลังเปลี่ยนไป หลังจากขยายขนาดกันมาหลายปี ปัจจุบันหลายทีมให้ความสำคัญกับการปรับแต่งโมเดลและการเปิดโอกาสให้โมเดลใช้เวลาคิดนานขึ้น แทนที่จะเพิ่มขนาดชุดข้อมูลและจำนวนพารามิเตอร์เพียงอย่างเดียว ส่งผลให้ภาระต้นทุนบางส่วนย้ายไปอยู่ในขั้นตอนอนุมานผล ซึ่งโมเดลใช้เวลาคิดนานขึ้นต่อคำถามและใช้กำลังประมวลผลมากขึ้นต่อคำตอบ อย่างไรก็ตาม ผู้ใช้ปลายทางอาจยังเข้าถึงได้ในราคาถูกลง หากประสิทธิภาพที่เพิ่มขึ้นชดเชยเวลาการให้เหตุผลที่ยาวขึ้นได้

สถาปัตยกรรมแบบ mixture of experts ของ DeepSeek การใช้การเรียนรู้แบบเสริมกำลังเพื่อพัฒนาการให้เหตุผล และการกลั่นความรู้แบบเลือกใช้ ล้วนเป็นส่วนหนึ่งของการเปลี่ยนแปลงในอุตสาหกรรมไปสู่การพัฒนาแบบแยกเป็นส่วน ๆ โมเดลเรียนรู้จากกันและกัน ทีมขนาดเล็กต่อยอดจากโมเดลพื้นฐานขนาดใหญ่ และน้ำหนักโมเดลแบบเปิดช่วยให้สตาร์ตอัปเริ่มต้นได้เร็วขึ้น งานศึกษานโยบายเกี่ยวกับแนวโน้มนี้ในยุโรประบุว่าการเปลี่ยนแปลงดังกล่าวอาจช่วยให้บริษัทขนาดเล็กแข่งขันได้ แต่ก็ทำให้การชดเชยต้นทุนคงที่ของการฝึกโมเดลพื้นฐานทำได้ยากขึ้น การแข่งขันด้านราคาอาจทวีความรุนแรง ขณะที่นักพัฒนามองหาวิธีสร้างรายได้อย่างยั่งยืนจากการผนวก AI เข้ากับผลิตภัณฑ์และบริการ

นักวิจัยบางคนเตือนว่าตัวเลขการฝึกที่เผยแพร่ต่อสาธารณะมักประเมินต่ำกว่าความเป็นจริงว่า ต้องใช้อะไรบ้างกว่าจะได้ระบบที่ขัดเกลาจนพร้อมใช้งาน พวกเขาเน้นความแตกต่างระหว่างต้นทุนของการฝึกครั้งสุดท้ายที่สำเร็จ กับงบประมาณทั้งหมดที่ครอบคลุมงานข้อมูล การทดลองที่ล้มเหลว การประเมินความปลอดภัย และงานวิศวกรรมที่กินเวลาหลายเดือน

มาร์ติน เวเชฟ ผู้อำนวยการสถาบัน INSAIT ในสวิตเซอร์แลนด์ ชื่นชมความสำเร็จทางเทคนิค แต่เตือนว่าไม่ควรมองตัวเลขของการฝึกเพียงรอบเดียวว่าเป็นต้นทุนทั้งหมด

เวเชฟกล่าวว่า: "ตัวเลข 5 ถึง 6 ล้านดอลลาร์ทำให้เข้าใจผิด เพราะนับเฉพาะการฝึกเพียงรอบเดียว การพัฒนาโมเดลลักษณะนี้ต้องอาศัยการฝึกและการทดลองหลายรอบ ทำให้ต้นทุนจริงสูงกว่านั้นมาก"

มุมมองนี้สอดคล้องกับหลักฐานเกี่ยวกับ R1 การประหยัดต้นทุนส่วนใหญ่ของโครงการมาจากการเลือกสถาปัตยกรรมอย่างชาญฉลาดและสูตรการเรียนรู้แบบเสริมกำลังที่มีประสิทธิภาพ ไม่ใช่การข้ามขั้นตอนการฝึกก่อนที่มีค่าใช้จ่ายสูง ผลลัพธ์จึงเป็นแนวทางที่น่าเชื่อถือในการสร้างประสิทธิภาพสูงด้วยกำลังประมวลผลน้อยกว่าคู่แข่งบางราย แต่ไม่ใช่วิธีที่ทำให้การฝึกโมเดลแนวหน้ามีต้นทุนต่ำกว่า 300,000 ดอลลาร์

ประเด็นสำคัญ

• ตัวเลข 294,000 ดอลลาร์ของ DeepSeek R1 ครอบคลุมการเรียนรู้แบบเสริมกำลังบน GPU H800 จำนวน 512 ตัว และการสร้างข้อมูลที่เกี่ยวข้อง ไม่ใช่การฝึกโมเดลทั้งหมด
• R1 พึ่งพาโมเดลพื้นฐาน V3 ซึ่งฝึกด้วย GPU H800 จำนวน 2,048 ตัว เป็นเวลาราวสองเดือน หรือประมาณ 2.79 ล้านชั่วโมง GPU
• การประเมินค่าเช่ากำลังประมวลผลระบุว่าการฝึก V3 ล่วงหน้ามีต้นทุนเกือบ 5.58 ล้านดอลลาร์ และต้นทุนรวมเพื่อให้ได้ R1 อยู่ที่ราว 5.87 ล้านดอลลาร์
• การซื้อฮาร์ดแวร์ระดับเดียวกันมีค่าใช้จ่ายสูงกว่าการเช่ามาก โดยคลัสเตอร์ระดับ 2,000 GPU มีราคาสูงกว่า 51 ล้านดอลลาร์ก่อนรวมค่าเดินระบบ
• DeepSeek ใช้ GPU A100 ในงานเตรียมการ ก่อนใช้ H800 สำหรับการเรียนรู้แบบเสริมกำลังหลักของ R1
• ขนาดการประมวลผลของ R1 ใกล้เคียงกับโมเดลเปิดขนาดใหญ่อื่น ๆ มากกว่าที่พาดหัวข่าวช่วงแรกสื่อ แม้ต้นทุนจะดูประหยัดเมื่อเทียบกับงบประมาณระดับหลายร้อยล้านดอลลาร์ที่มีข่าวลือเกี่ยวกับโมเดลปิด
• การเรียนรู้แบบเสริมกำลังช่วยพัฒนาการให้เหตุผลด้วยต้นทุนค่อนข้างต่ำ ขณะที่งานหนักยังอยู่ที่การฝึกก่อนและงานด้านข้อมูล
• ผู้เชี่ยวชาญเตือนว่าตัวเลขต้นทุนการฝึกที่เผยแพร่มักไม่รวมงานวิจัยและพัฒนา การเตรียมข้อมูล และการฝึกที่ล้มเหลวหลายครั้ง ซึ่งทำให้ต้นทุนโครงการจริงสูงขึ้น