AI ที่พัฒนาขึ้นเพื่อช่วยงานนักพัฒนาเกม
ทีมวิจัย Honkai AI ของ HoYoverse เปิดตัว Gamer ระบบปัญญาประดิษฐ์ที่เล่นเกมด้วยการดูภาพบนหน้าจอและส่งคำสั่งผ่านแป้นพิมพ์และเมาส์ ในการทดสอบที่มีรายงานว่าใช้เวลา 50 ชั่วโมง ระบบควบคุม Honkai: Star Rail ได้โดยอัตโนมัติ 95% ของเวลาทั้งหมด พร้อมรับมือกับความท้าทายที่มากกว่าการเลือกท่าที่เหมาะสม นั่นคือการจดจำสิ่งที่ต้องทำตลอดการผจญภัยอันยาวนาน
สารบัญ
- AI ที่พัฒนาขึ้นเพื่อช่วยงานนักพัฒนาเกม
- Gamer เปลี่ยนภาพหน้าจอเป็นการกระทำได้อย่างไร?
- ฝึกระบบให้จดจำภารกิจ
- ผลการทำภารกิจวัดอะไรบ้าง?
- ปริศนาเผยให้เห็นประสิทธิภาพที่แตกต่างกันมาก
- เหตุใดการตัดสินใจที่เร็วขึ้นจึงต้องใช้ฮาร์ดแวร์ประสิทธิภาพสูง
- เผยแพร่อะไรแล้ว และอะไรยังอยู่ระหว่างรอ?
- ผู้เล่นเสมือนอาจช่วยทดสอบเกมได้อย่างไร?
- เหตุใดงานนี้จึงมีความหมายมากกว่าแค่ Honkai: Star Rail
- ประเด็นสำคัญ
ทีม miHoYo เผยแพร่หน้าโครงการและบทความวิจัยเมื่อวันที่ 13 พฤศจิกายน 2026 การสาธิตแสดงให้เห็นว่า Gamer ทำภารกิจ พูดคุยกับตัวละคร ต่อสู้กับศัตรูและบอส ไขปริศนา และเล่นมินิเกม 5 ประเภทจนสำเร็จ ระบบรับข้อมูลจากภาพหน้าจอ ไม่ใช่ข้อมูลที่ซ่อนอยู่ภายในเกม
กลุ่มเป้าหมายคือเหล่านักพัฒนาและนักวิจัย HoYoverse ระบุว่า Gamer อาจเป็นเครื่องมือช่วยทดสอบเกม ค้นหาปัญหา และลดงานพัฒนาที่ต้องทำซ้ำ โดยงานวิจัยในระยะยาวอาจขยายไปสู่ปัญญาประดิษฐ์สำหรับหุ่นยนต์ด้วย การทดสอบประสิทธิภาพที่รายงานใช้ฮาร์ดแวร์ศูนย์ข้อมูลประสิทธิภาพสูง ซึ่งรวมถึงหน่วยประมวลผลกราฟิก Nvidia H200
สำหรับผู้เล่น การพัฒนาครั้งนี้จึงเป็นโครงการวิจัย ไม่ใช่ฟีเจอร์เล่นเกมอัตโนมัติแบบใหม่ในทันที ส่วนสำหรับนักพัฒนา ประโยชน์นั้นเป็นรูปธรรมมากกว่า นั่นคือผู้ทดสอบเสมือนที่สามารถลองทำภารกิจผ่านอินเทอร์เฟซที่มองเห็นได้แบบเดียวกับที่คนใช้ แล้วดำเนินต่อไปผ่านบทสนทนา การเดินทาง การต่อสู้ และปริศนา
Gamer เปลี่ยนภาพหน้าจอเป็นการกระทำได้อย่างไร?
Gamer เป็นโมเดลด้านการมองเห็น ภาษา และการกระทำ อธิบายง่าย ๆ คือระบบเชื่อมความสามารถ 3 อย่างเข้าด้วยกัน ได้แก่ การมองเห็นสิ่งที่อยู่บนหน้าจอ การทำความเข้าใจคำสั่ง และการสร้างการกระทำ บทความวิจัยมีชื่อว่า Gamer: A Generalist Vision-Language-Action Foundation Model for Long-Horizon Real-Time Game Agent ชื่อที่ยาวนี้อธิบายเป้าหมายหลักของงาน คือการควบคุมเกมเป็นเวลานาน แทนที่จะทำเพียงการกระทำเดี่ยว ๆ ให้เสร็จสิ้น
ระบบสุ่มเก็บภาพหน้าจอเกม 5 ครั้งต่อวินาที และสร้างคำสั่งแป้นพิมพ์กับเมาส์เทียบเท่ากับการอัปเดต 30 ครั้งต่อวินาที การตัดสินใจแต่ละครั้งครอบคลุมเวลาประมาณ 200 มิลลิวินาที แบ่งเป็น 6 ขั้น ขั้นละราว 33 มิลลิวินาที วิธีนี้ช่วยให้ระบบวางแผนชุดคำสั่งสั้น ๆ ระหว่างการรับภาพสังเกตการณ์ครั้งใหม่
ผู้เล่นอาจเหลือบดูเครื่องหมายบอกจุดหมาย กดปุ่มเดินค้างไว้ และปรับมุมกล้อง Gamer เรียนรู้ความสัมพันธ์ที่ใกล้เคียงกันระหว่างภาพหน้าจอกับคำสั่งอินพุต ระบบสามารถเคลื่อนตัวละคร หมุนกล้อง ใช้เมนู และโต้ตอบกับวัตถุ โดยไม่ต้องพึ่งอินเทอร์เฟซพิเศษที่ส่งข้อมูลสถานะภายในเกมให้
รูปแบบคำสั่งที่เผยแพร่ประกอบด้วยโทเคนปุ่ม 74 รายการ ซึ่งมีกฎการใช้ตัวพิมพ์ใหญ่และตัวพิมพ์เล็กโดยเฉพาะ หากส่งผลลัพธ์ที่ไม่ถูกต้อง ระบบจะถือว่าไม่มีการกระทำ กฎเหล่านี้สำคัญ เพราะระบบ AI ต้องส่งคำสั่งที่ซอฟต์แวร์ตีความได้อย่างน่าเชื่อถือ แม้การให้เหตุผลโดยรวมของระบบจะยังไม่สมบูรณ์แบบก็ตาม
ฝึกระบบให้จดจำภารกิจ
การฝึกเริ่มจากบันทึกกิจกรรมการใช้แป้นพิมพ์และเมาส์ในเกมต่าง ๆ มากกว่า 10,000 ชั่วโมง ข้อมูลเหล่านี้เชื่อมโยงสิ่งที่ปรากฏบนหน้าจอกับการกระทำที่เกิดขึ้น ช่วยให้ Gamer เรียนรู้ทักษะการควบคุมพื้นฐานก่อนจะได้รับมอบหมายให้ทำเป้าหมายที่ยาวขึ้นให้สำเร็จ
จากนั้นนักวิจัยเพิ่มการฝึกตามคำสั่ง โดยมีคำอธิบายเหตุผลในการตัดสินใจและสรุปกิจกรรมก่อนหน้า ข้อมูลการฝึกที่รายงานประกอบด้วยคำกำกับเหตุผลราว 1.2 ล้านรายการ และคำกำกับความจำ 223,000 รายการ ตัวอย่างเหล่านี้ช่วยให้โมเดลเรียนรู้วิธีเลือกขั้นตอนถัดไปและเก็บข้อมูลที่มีประโยชน์ไว้
ความจำเป็นสิ่งสำคัญในภารกิจที่ต้องเดินทางไปมาระหว่างหลายพื้นที่ ระบบอาจต้องจดจำว่าคุยกับตัวละครใดไปแล้ว เส้นทางไหนที่ล้มเหลว และเป้าหมายใดยังทำไม่เสร็จ Gamer สร้างบทสรุปแบบกระชับ เพื่อให้ทำงานต่อได้เมื่อบริบทการทำงานที่ใช้อยู่เต็ม
ทีมยังใช้วิธีที่เรียกว่า sparse reasoning หรือการให้เหตุผลแบบกระจาย แทนที่จะสร้างคำอธิบายยาว ๆ ก่อนขยับทุกครั้ง โมเดลสามารถลงมือทำต่อไปได้ตราบใดที่แผนยังใช้การได้ และใช้เวลาให้เหตุผลมากขึ้นเมื่อสถานการณ์เปลี่ยน วิธีนี้ช่วยเชื่อมการวางแผนอย่างรอบคอบเข้ากับคำสั่งที่รวดเร็วตามที่เกมต้องการ
ผลการทำภารกิจวัดอะไรบ้าง?
นักวิจัยประเมิน Gamer กับภารกิจเสริม 2 ภารกิจใน Honkai: Star Rail ได้แก่ Opportunity Makes the Thief (Part I) และ Bestial Ferocity ทั้งสองภารกิจมีกิจกรรมหลายรูปแบบ ทั้งการเดินทาง พูดคุยกับตัวละคร และต่อสู้กับศัตรู โดยในการทดสอบภารกิจยังมีปริศนาแบบง่ายรวมอยู่ด้วย
หลังการฝึกต่อเนื่องในระยะแรก คะแนนการทำเป้าหมายของภารกิจที่รายงานอยู่ที่ 34.4% และ 47.9% ตามลำดับ หลังการเรียนรู้แบบเสริมแรง คะแนนเพิ่มเป็น 80.0% และ 83.6% ตามลำดับ ภารกิจแรกเพิ่มขึ้น 45.6 จุดเปอร์เซ็นต์ ส่วนภารกิจที่สองเพิ่มขึ้น 35.7 จุดเปอร์เซ็นต์
การเรียนรู้แบบเสริมแรงคือการปรับปรุงระบบผ่านการลองทำ โดยให้คะแนนตามผลลัพธ์ ในกรณีนี้ ทีมใช้วิธีที่เรียกว่า Temporal-Aware GRPO เพื่อเชื่อมรางวัลเข้ากับการกระทำตลอดช่วงการเล่นที่เชื่อมโยงกันด้วยความจำ ปัญหานี้คล้ายกับการเรียนรู้ว่าการตัดสินใจครั้งก่อนหน้าใดช่วยให้งานสำเร็จในอีกหลายนาทีต่อมา
การทดสอบ 50 ชั่วโมงที่ควบคุมได้เอง 95% วัดสัดส่วนเวลาที่ Gamer ควบคุมการเล่นด้วยตัวเอง ส่วนคะแนนเป้าหมายภารกิจวัดความคืบหน้าเมื่อเทียบกับเป้าหมายเฉพาะ ทีมยังอ้างว่าทำภารกิจเนื้อเรื่องหลักสำเร็จมากกว่า 95% ในการทดสอบอัตโนมัติ ซึ่งเป็นการวัดอีกแบบที่มีขอบเขตต่างออกไป ผลลัพธ์ที่เผยแพร่เหล่านี้มาจากผู้พัฒนา และยังไม่มีรายงานการทำซ้ำโดยหน่วยงานอิสระ
ปริศนาเผยให้เห็นประสิทธิภาพที่แตกต่างกันมาก
ผลการเล่นมินิเกมของ Gamer แสดงให้เห็นว่า การสาธิตที่ทำได้ดีอาจเกิดขึ้นควบคู่กับจุดอ่อนที่สำคัญได้ ในบรรดาภารกิจที่ไม่เคยพบมาก่อน 40 รายการ ซึ่งครอบคลุมมินิเกม 7 ประเภท รุ่นที่ฝึกด้วยการเรียนรู้แบบเสริมแรงมีอัตราความสำเร็จเฉลี่ย 49.7% ส่วนการฝึกระยะก่อนหน้าทำได้ 15.0% คิดเป็นการปรับปรุง 34.7 จุดเปอร์เซ็นต์
ผลลัพธ์ที่ดีที่สุดและแย่ที่สุดแตกต่างกันมาก Gamer ทำคะแนนได้ 95.8% ในปริศนา Navigation Compass และ 22.2% ใน Abacus Circuitry ต่างกัน 73.6 จุดเปอร์เซ็นต์ แสดงให้เห็นว่าประสิทธิภาพขึ้นอยู่กับประเภทของปริศนาอย่างมาก
วิดีโอสาธิตแสดงการเล่นที่สำเร็จในมินิเกม 5 ประเภท ขณะที่การประเมินครอบคลุม 7 ประเภท การทดสอบที่กว้างขึ้นช่วยให้นักพัฒนาเห็นภาพความสามารถของระบบได้ละเอียดกว่าเดิม รวมถึงงานที่ระบบยังทำได้ไม่ดี
สำหรับทีมทดสอบ ความแตกต่างเหล่านี้มีความสำคัญในทางปฏิบัติ เอเจนต์ที่นำทางผ่านความท้าทายหนึ่งได้อย่างน่าเชื่อถือ อาจต้องได้รับการดูแลใกล้ชิดขึ้นเมื่อลองอีกความท้าทายหนึ่ง ผลลัพธ์ดังกล่าวเป็นข้อมูลประกอบการตัดสินใจว่า การทดสอบอัตโนมัติอาจช่วยลดงานตรงไหน และยังต้องให้คนตรวจสอบผลลัพธ์อย่างรอบคอบตรงไหน
เหตุใดการตัดสินใจที่เร็วขึ้นจึงต้องใช้ฮาร์ดแวร์ประสิทธิภาพสูง
ทีมวิจัยพัฒนาเอนจินประมวลผลอนุมานชื่อ Streaming-vLLM เพื่อลดความล่าช้าระหว่างการร้องขอให้ตัดสินใจกับการได้รับผลลัพธ์ การประมวลผลอนุมานคือขั้นตอนที่โมเดล AI ซึ่งผ่านการฝึกแล้วนำข้อมูลใหม่มาประมวลผลและสร้างคำตอบหรือการกระทำ
ในการตั้งค่าที่รายงานว่าใช้ Nvidia H200 เอนจินลดเวลาหน่วงตั้งแต่ต้นจนจบของคำขอจาก 1,306 มิลลิวินาทีเหลือ 65.12 มิลลิวินาที หรือเร็วขึ้นราว 20 เท่า กล่าวง่าย ๆ คือความล่าช้าลดจากประมาณ 1.3 วินาทีเหลือราว 0.065 วินาที ซึ่งสำคัญเมื่อเกมยังดำเนินต่อไประหว่างที่ AI กำลังตัดสินใจ
การตั้งค่าที่รายงานใช้โมเดลแบบผสมผู้เชี่ยวชาญ Qwen3.5-35B-A3B โดยกระจายการประมวลผลไปยังอุปกรณ์ 4 เครื่อง โมเดลแบบผสมผู้เชี่ยวชาญจะเปิดใช้งานบางส่วนของโครงข่ายตามงานที่ได้รับ ฮาร์ดแวร์และซอฟต์แวร์ที่ใช้เป็นปัจจัยสำคัญในการทำความเข้าใจตัวเลขความเร็ว เพราะเป็นการตั้งค่าสำหรับงานวิจัย ไม่ใช่ประสิทธิภาพบนคอมพิวเตอร์บ้านทั่วไป
Streaming-vLLM ลดการคำนวณซ้ำ ใช้ข้อมูลที่จัดเก็บไว้ซ้ำ และส่งคำสั่งแรกที่ถูกต้องได้ขณะที่ผลลัพธ์ส่วนที่เหลือยังอยู่ระหว่างการสร้าง การตัดสินใจที่เร็วขึ้นยังช่วยการฝึกด้วย เพราะระบบที่เสียเวลารอน้อยลงสามารถทดลองโต้ตอบได้มากขึ้นในช่วงเวลาเดียวกัน
เผยแพร่อะไรแล้ว และอะไรยังอยู่ระหว่างรอ?
สิ่งที่เผยแพร่สู่สาธารณะประกอบด้วยหน้าโครงการ บทความวิจัย และคลัง GitHub ที่มีโค้ดภายใต้สัญญาอนุญาต Apache-2.0 คลังดังกล่าวอธิบายพรอมต์ รูปแบบคำสั่ง และผลการประเมิน แต่ไม่ได้รวมค่าน้ำหนักโมเดล ซึ่งเป็นค่าตัวเลขที่เรียนรู้และจำเป็นต่อการเรียกใช้งานโมเดลที่ผ่านการฝึกแล้ว
ทีมยังไม่เผยแพร่ข้อมูลฝึกของ Honkai: Star Rail และค่าน้ำหนักโมเดลที่ฝึกหรือปรับแต่งโดยใช้ข้อมูลจากเกมดังกล่าว โดยอ้างเหตุผลด้านความปลอดภัยของข้อมูล ไฟล์สาธารณะที่เผยแพร่เกี่ยวข้องกับงานวิจัยการฝึกทั่วไปในระยะแรกของโครงการ
มีการระบุว่า Streaming-vLLM จะเปิดให้ใช้งานในเร็ว ๆ นี้ แต่ไม่ได้แจ้งกำหนดวันเผยแพร่เอนจินดังกล่าว เมื่อรวมกับการที่ยังไม่มีค่าน้ำหนักโมเดลที่ผ่านการฝึกและความต้องการฮาร์ดแวร์สูง จึงยังมีช่องว่างไม่น้อยระหว่างการอ่านงานวิจัยกับการสร้างระบบที่สาธิตขึ้นมาได้อีกครั้ง
ลำดับการเผยแพร่มีช่วงเวลาสั้น ๆ ดังนี้:
- 13 พฤศจิกายน 2026: ทีมวิจัย Honkai AI เผยแพร่หน้าโครงการ Gamer และบทความวิจัย
- 16 และ 17 พฤศจิกายน 2026: มีรายงานข่าวสาธารณะลงรายละเอียดแนวทางการฝึก การสาธิต และผลการทดสอบประสิทธิภาพ
- ในช่วงที่มีรายงานดังกล่าว: เอนจินประมวลผลอนุมานยังระบุว่าจะเปิดให้ใช้งานในเร็ว ๆ นี้ โดยไม่มีกำหนดวันเผยแพร่
ผู้เล่นเสมือนอาจช่วยทดสอบเกมได้อย่างไร?
HoYoverse ระบุว่าการทดสอบเกมเป็นหนึ่งในการใช้งานที่อาจเป็นไปได้และมีความสำคัญ ภารกิจหนึ่งอาจมีขั้นตอนเชื่อมโยงกันหลายขั้น เช่น เข้าไปหาตัวละคร เริ่มบทสนทนา เดินทางไปพื้นที่อื่น ชนะการต่อสู้ และเก็บไอเทม ปัญหาในขั้นตอนใดขั้นตอนหนึ่งอาจขัดขวางความคืบหน้าของผู้เล่น
แนวทางของ Gamer อาจช่วยให้นักพัฒนาส่งเอเจนต์ไปทำปฏิสัมพันธ์ที่มองเห็นได้เหล่านี้ซ้ำ ๆ ความสามารถในการนำทาง อ่านหน้าจอ และใช้การควบคุมทั่วไปอาจช่วยตรวจสอบว่าเป้าหมายและเมนูทำงานตามที่ตั้งใจหรือไม่ การทำชุดคำสั่งเดิมซ้ำยังช่วยให้นักพัฒนาสร้างปัญหากลับขึ้นมาได้ก่อนแก้ไข
ทีมวิจัยระบุถึงการช่วยเหลือด้านการเข้าถึง และงานวิจัยปฏิสัมพันธ์ระหว่างคนกับคอมพิวเตอร์ว่าเป็นการใช้งานที่อาจเป็นไปได้อื่น ๆ นอกจากนี้ยังคัดค้านการใช้ Gamer เพื่อโกง เข้าถึงระบบโดยไม่ได้รับอนุญาต ใช้ประโยชน์จากช่องโหว่ด้านความปลอดภัย หรือทำร้ายผู้ใช้และการแข่งขันที่เป็นธรรม
ข้อจำกัดเหล่านี้สำคัญ เพราะความสามารถเดียวกันในการควบคุมเกมโดยอัตโนมัติอาจนำไปใช้เพื่อวัตถุประสงค์ที่แตกต่างกันมาก เป้าหมายการพัฒนาที่ระบุไว้คือการวิจัยและการทดสอบที่ได้รับอนุญาต โดยมีมนุษย์กำกับดูแล และให้กฎของเกมเป็นตัวกำหนดการใช้งานจริง
เหตุใดงานนี้จึงมีความหมายมากกว่าแค่ Honkai: Star Rail
HoYoverse ยังมองว่าโลกเกมสามมิติเป็นสภาพแวดล้อมที่มีประโยชน์ต่อการวิจัย ซึ่งอาจนำไปสู่การพัฒนาด้านหุ่นยนต์ในอนาคต เกมมีลำดับของการสังเกต การเลือก และผลลัพธ์ เอเจนต์เห็นสิ่งกีดขวาง เลือกเส้นทาง ลงมือทำ และตรวจสอบว่าสิ่งใดเปลี่ยนแปลงไป
Gamer นำองค์ประกอบหลายส่วนของปัญหานี้มารวมไว้ในระบบเดียว การสังเกตหน้าจอช่วยให้รับรู้ คำสั่งและบทสรุปช่วยในการวางแผน ส่วนคำสั่งแป้นพิมพ์และเมาส์ทำหน้าที่ควบคุม การฝึกข้ามเกมมีเป้าหมายทำให้ทักษะเหล่านี้นำไปใช้ได้มากกว่าภารกิจหรือเกมใดเกมหนึ่ง
หุ่นยนต์จริงต้องเผชิญข้อกำหนดเพิ่มเติม ทั้งเซ็นเซอร์จริง ข้อจำกัดด้านการเคลื่อนไหว และข้อกำหนดด้านความปลอดภัย ผลงานในระยะใกล้ของ Gamer คือแนวทางศึกษาการลงมือทำต่อเนื่องและความจำในสภาพแวดล้อมเสมือน ซึ่งนักวิจัยสามารถทำภารกิจซ้ำและวัดผลได้
ภาพรวมที่เป็นประโยชน์ที่สุดของโครงการนี้มาจากการพิจารณาผลลัพธ์ร่วมกัน ได้แก่ ประสิทธิภาพการทำภารกิจที่ดีขึ้นมากหลังการเรียนรู้แบบเสริมแรง ผลการทำปริศนาที่ไม่สม่ำเสมอ และเวลาหน่วงในการตัดสินใจที่ลดลงอย่างมากบนฮาร์ดแวร์ราคาแพง รายละเอียดเหล่านี้อธิบายทั้งเหตุผลที่นักพัฒนาอาจต้องการผู้ทดสอบแบบนี้ และเหตุใดจึงยังต้องพัฒนาต่อก่อนจะนำมาใช้เป็นเครื่องมือทั่วไป
ประเด็นสำคัญ
- Gamer ของ HoYoverse ควบคุมเกมผ่านภาพหน้าจอและคำสั่งแป้นพิมพ์กับเมาส์
- การทดสอบ 50 ชั่วโมงที่มีรายงานระบุว่า ระบบควบคุมเกมได้เอง 95% ของเวลาทั้งหมด
- คะแนนเป้าหมายของภารกิจเสริม 2 ภารกิจเพิ่มเป็น 80.0% และ 83.6% หลังการเรียนรู้แบบเสริมแรง
- อัตราความสำเร็จเฉลี่ยอยู่ที่ 49.7% ในงานมินิเกม 40 รายการ โดยผลลัพธ์แตกต่างกันมากตามประเภทปริศนา
- เวลาหน่วงในการตัดสินใจลดจาก 1,306 เหลือ 65.12 มิลลิวินาที ในการตั้งค่าที่รายงานว่าใช้ H200
- โครงการมุ่งเน้นการวิจัยและการทดสอบเกม โดยไม่ได้รวมค่าน้ำหนักโมเดลที่ผ่านการฝึกไว้ และระบุว่าเอนจินประมวลผลอนุมานจะเปิดให้ใช้งานในเร็ว ๆ นี้






