นักวิจัย MIT ระบุ GPT-6 Astra ช่วยเพิ่มคะแนนคณิตศาสตร์ของ Qwen ด้วยการแก้ไขค่าน้ำหนักโดยตรง

การแก้ค่าน้ำหนักเพียงเล็กน้อยช่วยเพิ่มคะแนนได้มาก

นักวิจัยจากห้องปฏิบัติการวิทยาการคอมพิวเตอร์และปัญญาประดิษฐ์ของ MIT ระบุว่า GPT-6 Astra ของ OpenAI ช่วยเพิ่มคะแนนคณิตศาสตร์ของโมเดล Qwen ขนาดเล็กจาก 7.9% เป็น 48.1% ด้วยการเปลี่ยนค่าน้ำหนักเชิงตัวเลขเพียง 131,072 ค่า จากทั้งหมดราว 800 ล้านค่า การปรับแก้เจาะจงไปที่ข้อผิดพลาดอย่างหนึ่ง คือโมเดลสร้างข้อความซ้ำไปเรื่อย ๆ จนใช้พื้นที่ตอบหมด

ริกิยะ ทาเคฮิ, เจย์เดน เตียว, อเล็กซ์ จาง และโอมาร์ คัตตับ อธิบายการทดลองในโพสต์วิจัยเมื่อวันที่ 2 พฤศจิกายน ชื่อ Sparks of Weight-Space Programming ก่อนมีรายงานข่าวตามมาในวันที่ 3 พฤศจิกายน 2026 แนวทางของพวกเขาให้โมเดลภาษาตรวจสอบ ตีความ และเขียนทับค่าน้ำหนักของโครงข่ายประสาทเทียมอีกตัวโดยตรง ซึ่งค่าน้ำหนักเหล่านี้เป็นตัวเลขที่กำหนดวิธีประมวลผลข้อมูลของโมเดล

ผลลัพธ์ที่โดดเด่นที่สุดมาจาก Qwen3.5-0.8B ความแม่นยำในการทำ MATH-500 เพิ่มขึ้น 40.2 จุดเปอร์เซ็นต์ หรือราวหกเท่าของคะแนนเดิม หลัง Astra เปลี่ยนค่าน้ำหนักประมาณ 0.016% คะแนนความแม่นยำในการตอบโจทย์คณิตศาสตร์ GSM8K เพิ่มจาก 13.8% เป็น 67.1% ส่วนคะแนนการทำตามคำสั่ง IFEval เพิ่มจาก 21.0% เป็น 62.3% เกือบสามเท่าของค่าเริ่มต้น

การทดลองไม่ได้จำกัดอยู่แค่คณิตศาสตร์ Astra ระบุวัตถุประสงค์ของโครงข่ายขนาดเล็ก ซ่อมตัวควบคุมรถจำลอง และเขียนโครงข่ายสำหรับเล่นเกมโดยตรงจากกติกาและซอร์สโค้ด การทดสอบอื่นเผยให้เห็นข้อจำกัดด้วย โดย Astra ระบุจากค่าน้ำหนักเพียงอย่างเดียวได้ยากว่าโมเดลเห็นด้วยกับผู้ใช้มากเกินไปหรือไม่ และการแก้ไขช่วยเพิ่มความสามารถด้านคณิตศาสตร์ให้โมเดลภาษาอีกตัวได้เพียงเล็กน้อย

สำหรับนักพัฒนา ความเป็นไปได้ที่ใกล้ตัวคือการซ่อมโมเดลรูปแบบใหม่ แทนที่จะฝึกโครงข่ายอีกครั้งด้วยวิธีทั่วไป ผู้ช่วย AI อาจตรวจหาสาเหตุของข้อผิดพลาดและปรับกลไกเชิงตัวเลขที่ทำให้เกิดปัญหา ผลลัพธ์จาก Qwen ยังชี้ให้เห็นว่า ลักษณะของข้อผิดพลาดสำคัญพอ ๆ กับขนาดของคะแนนที่เพิ่มขึ้น

การเขียนโปรแกรมค่าน้ำหนักหมายถึงอะไร

โครงข่ายประสาทเทียมแปลงข้อมูลขาเข้าเป็นผลลัพธ์ผ่านการคำนวณหลายชั้น ค่าน้ำหนักควบคุมความแรงของสัญญาณที่ส่งผ่านระหว่างองค์ประกอบต่าง ๆ โดยทั่วไป การฝึกจะปรับตัวเลขเหล่านี้ซ้ำหลายครั้ง โดยใช้ตัวอย่างและค่าความผิดพลาดทางคณิตศาสตร์เพื่อพิจารณาว่าควรเปลี่ยนแปลงอย่างไร

การไล่ระดับลง (gradient descent) เป็นวิธีทั่วไปที่ใช้คำนวณการปรับค่า โดยประมาณว่าควรขยับค่าน้ำหนักไปในทิศทางใดเพื่อลดข้อผิดพลาด ในการทดลองนี้ Astra ใช้การให้เหตุผลเกี่ยวกับโครงข่ายเป้าหมายแล้วเขียนการเปลี่ยนแปลงด้วยตัวเอง โดยไม่มีวงจรการฝึกคำนวณการแก้ไขให้

ทาเคฮิ นักศึกษาปริญญาเอกจาก MIT CSAIL อธิบายขั้นตอนที่เสนอนี้ในโพสต์บนโซเชียลมีเดียว่า

แทนที่จะฝึก โมเดลอาจมองค่าน้ำหนักดิบเหมือนโค้ดที่อ่านและแก้ไขได้ ทั้งวินิจฉัยข้อผิดพลาดและแก้ไขโดยตรง

การเปรียบเทียบกับการซ่อมซอฟต์แวร์ช่วยให้เห็นภาพ หากโปรแกรมเมอร์ตรวจสอบแอปพลิเคชันที่ทำงานผิดพลาด เขาอาจหาฟังก์ชันที่เป็นต้นเหตุแล้วเขียนใหม่ ในกรณีนี้ Astra ค้นหาโครงสร้างเชิงตัวเลขที่เชื่อมโยงกับพฤติกรรมที่ไม่ต้องการ ค่าน้ำหนักของโครงข่ายประสาทเทียมตีความได้ยากกว่าซอฟต์แวร์ทั่วไป เพราะมักไม่มีชื่อที่มนุษย์อ่านเข้าใจและอธิบายหน้าที่ของแต่ละค่า

การทดลองให้ความช่วยเหลือ Astra ในระดับต่างกัน บางกรณีให้เพียงค่าน้ำหนักและคำอธิบายสถาปัตยกรรมของโมเดลเป้าหมาย ส่วนกรณีอื่นให้สภาพแวดล้อม Python ตัวอย่าง หรือสิทธิ์เรียกใช้โมเดลเป้าหมาย สำหรับ Qwen แม้ไม่มีการฝึกแบบทั่วไป แต่ก็ยังต้องใช้การคำนวณจำนวนมาก โจทย์ฝึก และการทดสอบ

Astra หยุด Qwen จากการตอบซ้ำได้อย่างไร

พฤติกรรมเริ่มต้นของ Qwen ทำให้ Astra มีปัญหาที่ชัดเจนเป็นพิเศษให้ตรวจสอบ จากคำถามชุดแรก 96 ข้อ มีคำตอบ 85 ข้อที่สร้างข้อความจนถึงขีดจำกัดสูงสุด 32,768 โทเคน โทเคนคือหน่วยย่อยของข้อความที่โมเดลภาษาอ่านและสร้างขึ้น ซึ่งมักเป็นคำหรือส่วนหนึ่งของคำ คำตอบที่ถูกตัดจบเหล่านั้นราว 95% ลงท้ายด้วยการตอบซ้ำ

การประเมิน MATH-500 ในวงกว้างพบปัญหาเดียวกัน โดยคำตอบจากโมเดลตั้งต้น 93.0% ไปถึงขีดจำกัดโทเคน Astra เชื่อมโยงพฤติกรรมวนซ้ำเข้ากับทิศทางเชิงตัวเลขที่สัมพันธ์กับผลลัพธ์จากองค์ประกอบแบบป้อนไปข้างหน้าในชั้นที่ 15 และ 19 องค์ประกอบเหล่านี้ ซึ่งมักเรียกว่าเพอร์เซปตรอนหลายชั้นหรือ MLP จะแปลงข้อมูลภายในแต่ละชั้น

ทิศทางเชิงตัวเลขคือรูปแบบที่กระจายอยู่ในค่าหลายค่า ไม่ใช่สวิตช์เพียงตัวเดียว Astra ลบองค์ประกอบตามทิศทางที่เชื่อมโยงกับการตอบซ้ำออกจากคอลัมน์ผลลัพธ์ 64 คอลัมน์ในแต่ละชั้นทั้งสอง การแก้ไขนี้เปลี่ยนค่าน้ำหนัก 131,072 ค่า และลดสัดส่วนคำตอบ MATH-500 ที่ไปถึงขีดจำกัดโทเคนเหลือ 33.1%

รูปแบบของคำตอบที่แก้ไขได้ช่วยอธิบายคะแนนที่เพิ่มขึ้น จากคำถามสำรอง 1,152 ข้อ มีคำตอบ 579 ข้อที่เปลี่ยนจากผิดเป็นถูก ขณะที่ห้าข้อเปลี่ยนจากถูกเป็นผิด ในบรรดาคำตอบที่ดีขึ้น 579 ข้อ มี 576 ข้อที่เดิมถูกตัดจบเพราะถึงขีดจำกัดผลลัพธ์ ดังนั้นการเพิ่มขึ้นส่วนใหญ่เกิดจากโมเดลที่ผ่านการแก้ไขตอบคำถามได้จบ ซึ่งก่อนหน้านี้การตอบซ้ำทำให้คำตอบขาดตอนไป

หลังแก้ไขแล้ว คำตอบ MATH-500 ราวหนึ่งในสามยังคงใช้โควตาผลลัพธ์จนหมด โมเดลที่แก้ไขแล้วมีประโยชน์ขึ้นมากภายใต้เงื่อนไขการทดสอบ แต่ปัญหาการตอบวนซ้ำยังคงมีอยู่มาก

การค้นหาวิธีแก้ต้องใช้เวลาตรวจสอบหลายชั่วโมง

การทดลอง Qwen ที่ให้ผลดีที่สุดของ Astra ใช้โควตาการประเมิน 50 ครั้ง โดยแต่ละครั้งอาจครอบคลุมตัวอย่างหลายร้อยรายการ การตรวจสอบประกอบด้วยการโต้ตอบ 158 รอบ การเรียกใช้ Python 80 ครั้ง และใช้เวลา 20.3 ชั่วโมง ซึ่งรวมเวลา 4.7 ชั่วโมงที่ต้องรอระหว่างบริการขัดข้อง

สภาพแวดล้อมการทำงานมีโจทย์ฝึกมากกว่า 14,000 ข้อจากชุดฝึก GSM8K และ MATH เข้าถึงค่าน้ำหนักของ Qwen และมีแซนด์บ็อกซ์ Python ที่ทำงานบน CPU แซนด์บ็อกซ์อนุญาตให้เรียกใช้โค้ดได้สูงสุด 300 ครั้ง การทดลองอื่นใช้โควตาการประเมิน 10 หรือ 25 ครั้ง

ตัวเลขความแม่นยำที่รายงานยังขึ้นอยู่กับการตั้งค่าการสร้างข้อความแบบเฉพาะ การประเมินใช้โหมดคิด โควตาผลลัพธ์ 32,768 โทเคน และค่า temperature 0.6 ซึ่งควบคุมระดับความสุ่มในการเลือกโทเคนถัดไป ขณะที่เอกสารประจำโมเดลแนะนำค่า temperature 1.0 สำหรับงานข้อความในโหมดคิด ความแตกต่างนี้สำคัญต่อการสร้างพฤติกรรมเริ่มต้นซ้ำและการเปรียบเทียบผลลัพธ์

ขั้นตอนการทำงานโดยสรุปมีดังนี้:

• นักวิจัยป้อนโมเดลเป้าหมาย โจทย์ฝึก และเครื่องมือตรวจสอบค่าน้ำหนักกับทดสอบพฤติกรรมให้ Astra
• Astra ตรวจสอบผลลัพธ์ที่ตอบซ้ำและพัฒนาการแก้ไขเฉพาะจุดที่ชั้น 15 และ 19
• การประเมินวัดผลการพัฒนาด้านคณิตศาสตร์และการทำตามคำสั่ง ควบคู่กับการวัดว่ามีคำตอบที่ไปถึงขีดจำกัดผลลัพธ์น้อยลงหรือไม่
• ทีมเผยแพร่รายละเอียดงานเมื่อวันที่ 2 พฤศจิกายน และระบุว่ากำลังพัฒนาเกณฑ์มาตรฐานกับกรอบการทดสอบ

การแก้ไขขั้นสุดท้ายมีขนาดเล็ก แต่กว่าจะค้นพบวิธีแก้ต้องผ่านกระบวนการที่ใหญ่กว่ามาก คำถามเชิงปฏิบัติที่ยังไม่มีคำตอบคือแนวทางนี้ช่วยประหยัดเวลาหรือทรัพยากรการคำนวณเมื่อเทียบกับการปรับแต่งโมเดลแบบทั่วไปหรือไม่

อ่านเกม รูปทรง และภาษาออกจากตัวเลข

การทดสอบการตรวจสอบของ Astra เริ่มจากโครงข่ายเล่นเกมสี่ตัวที่ฝึกด้วยการเพิ่มประสิทธิภาพนโยบายใกล้เคียง (proximal policy optimization หรือ PPO) ซึ่งเป็นวิธีเรียนรู้แบบเสริมกำลังที่ปรับปรุงพฤติกรรมผ่านรางวัล โครงข่ายเหล่านี้มีโครงสร้าง อินพุต และการกระทำที่เป็นไปได้เหมือนกัน โดยไม่มีรายชื่อเกมให้เลือก Astra ระบุเกมได้ว่าเป็น Breakout, Pong, Pac-Man และ Freeway

นักวิจัยระบุว่า Astra ตรวจสอบรูปแบบในชั้นแรกและความแตกต่างในการเลือกการกระทำของชั้นผลลัพธ์ ในตัวอย่างการระบุเกม Breakout Astra ประเมินความมั่นใจในคำตอบไว้ที่ 99% ซึ่งเป็นการประเมินของ Astra เอง

โมเดลการแพร่กระจายขนาดเล็กสามตัวเป็นการทดสอบอีกแบบหนึ่ง แต่ละตัวเรียนรู้การสร้างวงกลม สามเหลี่ยม หรือสี่เหลี่ยม โดยไม่เรียกใช้โมเดล Astra ระบุรูปทรงได้จากการค้นหาเส้นขอบในค่าน้ำหนักชั้นผลลัพธ์ ภาพที่ Astra วาดเป็นรูปโปร่ง แม้โมเดลจะสร้างรูปทรงทึบ รายละเอียดที่ไม่ธรรมดานี้เชื่อมโยงการตีความของ Astra เข้ากับโครงสร้างเชิงตัวเลขที่ตรวจสอบ

การระบุภาษาทดสอบด้วยโมเดลสามตัว แต่ละตัวมีพารามิเตอร์ 7.2 ล้านค่า และฝึกให้ทำนายอักขระถัดไปในโค้ด Python ภาษาญี่ปุ่นเขียนด้วยอักษรโรมัน หรือภาษาอังกฤษ Astra ได้รับเฉพาะชั้นกลางและระบุภาษาที่ใช้ฝึกได้ถูกต้องในการทดลองทั้งสองครั้ง

Astra ยังพบส่วน attention สำหรับคัดลอก ซึ่งช่วยให้โมเดลทำซ้ำข้อความที่เคยพบมาก่อน โมเดล Python มีส่วนเหล่านี้มากกว่า สอดคล้องกับการที่โค้ดใช้ชื่อตัวแปรและฟังก์ชันเดิมซ้ำบ่อย ส่วนโมเดลภาษาญี่ปุ่นเขียนด้วยอักษรโรมันมีทิศทางที่เขียนโดยโมดูลสุดท้ายน้อยกว่า สอดคล้องกับชุดอักขระที่ใช้กันทั่วไปซึ่งมีขนาดเล็กกว่า

ซ่อมรถและสร้างผู้เล่นเกม

รถจำลองในสภาพแวดล้อม Kinetix เรียนรู้นิสัยที่ไม่เป็นประโยชน์ คือขับขึ้นเนินแล้วติดอยู่ การถอยหลังก่อนจะช่วยเพิ่มระยะให้รถเร่งขึ้นเนินได้สำเร็จ เมื่อได้รับค่าน้ำหนักของตัวควบคุม คำอธิบายฉาก และบันทึกความล้มเหลวหนึ่งครั้ง Astra สร้างวิธีซ่อมได้ด้วยคำตอบเดียวโดยไม่ใช้เครื่องมือ

การแก้ไขเปลี่ยนค่าน้ำหนัก 3.5% และผ่านการทดสอบทั้ง 1,024 ครั้ง Astra เพิ่มเส้นทางขนาดเล็กในโครงข่ายเพื่อติดตามตำแหน่งและความเร็ว จากนั้นส่งการควบคุมกลับไปยังโครงข่ายเดิมเมื่อรถผ่านจุดสังเกต

สำหรับเกม MinAtar ได้แก่ Breakout, Seaquest และ Asterix Astra ได้รับโจทย์อีกแบบ คือเขียนโครงข่ายนโยบายขึ้นใหม่ทั้งหมด โครงข่ายนโยบายแปลงสถานะของเกมเป็นการกระทำ Astra ได้รับกติกา ซอร์สโค้ด และสถาปัตยกรรมที่กำหนด แต่ไม่มีตัวอย่างฝึก การคำนวณเกรเดียนต์ เครื่องมือ หรือโอกาสเล่นก่อนการประเมิน

โครงข่ายของ Astra เอาชนะโมเดลพื้นฐาน PPO ที่ฝึกมา 100 ล้านขั้นได้ทั้งสามเกม ความแตกต่างด้านคะแนนตัวเลขมากที่สุดอยู่ใน Breakout โดย Astra ได้ 517.4 เทียบกับ 15.8 ของโมเดลพื้นฐานที่ฝึก 100 ล้านขั้น และ 25.3 ของโมเดลที่ฝึก 500 ล้านขั้น เมื่อเทียบกับโมเดลหลัง คะแนนของ Astra สูงกว่าราว 20 เท่า

ความได้เปรียบแตกต่างกันไปตามเกม เมื่อเทียบกับโมเดล PPO ที่ฝึก 500 ล้านขั้น Astra ทำคะแนนได้ใกล้เคียงใน Asterix และได้ประมาณ 60% ของคะแนน Seaquest กลยุทธ์ Breakout ของ Astra แปลงแผนที่ระบุไว้อย่างชัดเจนเป็นค่าน้ำหนัก ได้แก่ ประมาณจุดที่ลูกบอลจะตก แล้วขยับไม้ตีไปยังตำแหน่งนั้น

โครงข่าย Go ขนาดใหญ่ต้องใช้วิธีทำงานต่างออกไป

การทดลอง Go ใช้โครงข่ายที่มีพารามิเตอร์ราว 1.5 ล้านค่า ซึ่งใหญ่เกินกว่าจะใส่ลงในหน้าต่างบริบทของ Astra ได้โดยตรง หน้าต่างบริบทคือปริมาณข้อมูลที่โมเดลจัดการได้ในคราวเดียว นักวิจัยจึงจัดเตรียมแซนด์บ็อกซ์ Python สำหรับตรวจสอบและแก้ไขค่าน้ำหนัก

สถาปัตยกรรมมีอินพุต 243 ค่า ซ่อนหกชั้น ชั้นละ 512 หน่วย และเอาต์พุต 82 ค่า Astra จัดโครงสร้างให้เหมือนโปรแกรม Go แบบย่อ โดยชั้นต้นแทนหมากและเสรีภาพ ซึ่งหมายถึงจุดว่างข้างเคียงที่ช่วยให้กลุ่มหมากอยู่รอด ส่วนชั้นกลางส่งผ่านข้อมูลระหว่างกลุ่มที่เชื่อมต่อกันเพื่อระบุอันตราย

ชั้นสุดท้ายให้คะแนนการเดินหมากตามการจับหมากฝ่ายตรงข้าม การช่วยกลุ่มที่ถูกคุกคาม การปกป้องตา และการหลีกเลี่ยงอะตาริ ซึ่งเป็นสถานการณ์ที่กลุ่มหมากเหลือเสรีภาพเพียงจุดเดียว กลยุทธ์นี้ประกอบขึ้นผ่านค่าน้ำหนักเชิงตัวเลข แทนที่จะเรียนรู้จากการเล่นซ้ำ

แม้ไม่มีการประเมินผลใด ๆ โครงข่ายของ Astra ก็ชนะมากกว่าครึ่งหนึ่งของเกมที่แข่งกับโครงข่าย PPO ขนาดเล็กสองตัว เมื่อได้รับโควตาการประเมิน 50 ครั้ง Astra ทำผลงานเหนือกว่าโครงข่ายขนาดเท่ากันที่ฝึกจากเกม 20 ล้านเกม ข้อมูลป้อนกลับช่วยให้ Astra ตรวจสอบเกมที่แพ้และเก็บการเปลี่ยนแปลงที่ทำให้เล่นดีขึ้นไว้

การทดสอบยากสองแบบเผยข้อจำกัด

Gemma 3 270M เป็นกรณีเปรียบเทียบที่มีประโยชน์กับ Qwen โดยไม่ค่อยติดอยู่ในวงจรการตอบซ้ำ Astra กลับพบข้อผิดพลาดในการให้เหตุผลทั่วไป เช่น คำนวณเลขผิดและใช้พีชคณิตอย่างไม่ถูกต้อง การแก้ไขเล็กน้อย รวมถึงการเพิ่มความแรงเป็นสองเท่าของเซลล์ประสาทที่ตอบสนองต่อตัวเลข ช่วยเพิ่มความแม่นยำ MATH-500 ได้ไม่เกินประมาณหนึ่งจุดเปอร์เซ็นต์

การเปรียบเทียบนี้ชี้ให้เห็นความแตกต่างในทางปฏิบัติ การกำจัดพฤติกรรมตอบซ้ำอาจช่วยให้โมเดลใช้ความสามารถที่มีอยู่แล้วได้ แต่การแก้ข้อผิดพลาดทางคณิตศาสตร์หลายรูปแบบต้องอาศัยวิธีแก้ที่ครอบคลุมกว่าการลบรูปแบบเชิงตัวเลขร่วมเพียงแบบเดียว

การประจบผู้ใช้ ซึ่งหมายถึงแนวโน้มที่จะเห็นด้วยกับผู้ใช้แม้ผู้ใช้จะผิด พิสูจน์แล้วว่าตรวจสอบโดยตรงได้ยาก นักวิจัยปรับแต่งโมเดล Gemma 3 270M สองตัวด้วยข้อมูลคำถามและคำตอบชุดเดียวกัน ตัวหนึ่งฝึกให้ตอบถูกต้อง ส่วนอีกตัวฝึกให้เห็นด้วยกับข้อเสนอแนะของผู้ใช้

Astra แยกความแตกต่างของโมเดลทั้งสองจากค่าน้ำหนักเพียงอย่างเดียวได้ไม่แม่นยำ แต่เมื่อได้รับอนุญาตให้ตรวจสอบรูปแบบ attention จากข้อความที่ตัวเองเขียน โดยไม่เห็นคำตอบของโมเดล Astra ระบุโมเดลที่ประจบผู้ใช้ได้ถูกต้องทั้งสามคู่ โมเดลเหล่านั้นให้ความสนใจกับเนื้อหาที่ผู้ใช้เสนอมากกว่าในชั้นกลาง

การวัด attention แสดงให้เห็นว่าโมเดลมุ่งกระบวนการประมวลผลบางส่วนไปที่ใดขณะจัดการข้อความ ประโยชน์ของการวัดแบบนี้ในกรณีดังกล่าวทำให้การตรวจสอบด้วยการเรียกใช้โมเดลเป็นส่วนสำคัญของการวินิจฉัยที่ประสบความสำเร็จ การตรวจจับการเห็นด้วยมากเกินไปเป็นโจทย์หนึ่ง ส่วนการเปลี่ยนพฤติกรรมนั้นเป็นการประยุกต์ใช้ที่เสนอแยกต่างหาก

สิ่งที่นักวิจัยต้องการทดสอบต่อ

ทีม MIT มองเห็นการใช้งานที่เป็นไปได้ในด้านการตรวจสอบโมเดล การซ่อมเฉพาะจุด การเปลี่ยนความสามารถโดยไม่ใช้ข้อมูลฝึกแบบทั่วไป และการถ่ายโอนองค์ประกอบที่เป็นประโยชน์ระหว่างสถาปัตยกรรมต่างชนิด การแก้ไขโมเดลโดยตรงมีประวัติการวิจัยมาก่อนแล้ว รวมถึง ROME ซึ่งนำเสนอที่ NeurIPS ในปี 2022 และ MEMIT ซึ่งนำเสนอที่ ICLR ในปี 2023 งานนี้สำรวจการใช้โมเดลภาษาทั่วไปให้ให้เหตุผลและดำเนินการแก้ไขด้วยตัวเอง

การปรับปรุงตนเองแบบวนซ้ำเป็นอีกแนวทางที่เสนอไว้ โดยระบบ AI อาจช่วยปรับปรุงโมเดลหนึ่งจนโมเดลนั้นเก่งขึ้นในการปรับปรุงครั้งต่อไป การทดลองเหล่านี้ใช้โจทย์ เครื่องมือ และโควตาการประเมินที่มนุษย์กำหนด โดย Astra ทำงานกับโครงข่ายอื่น การสร้างวงจรซ้ำที่เชื่อถือได้ยังต้องอาศัยการทดลองเพิ่มเติม

ทีมเผยแพร่บันทึกการทดลองและสิ่งที่ใช้ในการแก้ไข โดยระบุว่าคลังข้อมูลสาธารณะมีบันทึกการเรียกใช้โมเดล 1,125 ครั้ง ขั้นตอนถัดไปที่ทีมประกาศคือการพัฒนาเกณฑ์มาตรฐานและกรอบการทดลองสำหรับการประเมินอย่างสม่ำเสมอ โดยไม่ได้ระบุวันเผยแพร่

สำหรับผู้พัฒนาแอปพลิเคชัน AI ข้อค้นพบที่ชัดเจนและเข้าใจได้ทันทีมีขอบเขตแคบกว่า นั่นคือการซ่อมเชิงตัวเลขเพียงเล็กน้อยอาจช่วยปรับปรุงผลลัพธ์ได้มาก เมื่อข้อผิดพลาดที่เกิดซ้ำขัดขวางไม่ให้โมเดลทำงานที่เป็นประโยชน์จนเสร็จ ส่วนผลลัพธ์ที่ต่างกันในกรณี Gemma และการประจบผู้ใช้แสดงให้เห็นว่า การซ่อมแต่ละแบบต้องมีการวินิจฉัยและทดสอบเฉพาะของตัวเอง

ประเด็นสำคัญ

• Astra เปลี่ยนค่าน้ำหนักของ Qwen 131,072 ค่า หรือประมาณ 0.016% ของโมเดล ทำให้ความแม่นยำ MATH-500 เพิ่มจาก 7.9% เป็น 48.1%
• ความแม่นยำ GSM8K เพิ่มจาก 13.8% เป็น 67.1% และ IFEval เพิ่มจาก 21.0% เป็น 62.3%
• การแก้ไขหลักลดการสร้างข้อความซ้ำ สัดส่วนคำตอบ MATH-500 ที่ไปถึงขีดจำกัดโทเคนลดจาก 93.0% เป็น 33.1%
• การทดลอง Qwen ที่ได้ผลดีที่สุดใช้การประเมิน 50 ครั้งและใช้เวลา 20.3 ชั่วโมง ซึ่งรวมช่วงบริการขัดข้อง
• Astra ยังซ่อมตัวควบคุมรถจำลอง และเขียนโครงข่ายสำหรับเกมแบบง่ายกับ Go
• Gemma แทบไม่พัฒนาด้านคณิตศาสตร์ ขณะที่การระบุการประจบผู้ใช้ต้องอาศัยการวัด attention
• นักวิจัยกำลังพัฒนาเกณฑ์มาตรฐานและกรอบการทดสอบสำหรับการเขียนโปรแกรมในปริภูมิค่าน้ำหนัก