KAIST เปิดตัว KORMo-Web เอเจนต์ AI ที่ใช้เว็บไซต์ผ่านการมองหน้าจอ

ใช้เวลาอ่าน 8 นาที
KAIST unveils KORMo-Web, an AI agent that uses websites by watching the screen

โมเดล AI ขนาดเล็กทำงานจริงบนเว็บไซต์

นักวิจัยจาก KAIST เปิดตัว KORMo-Web เอเจนต์ปัญญาประดิษฐ์ที่ควบคุมเว็บไซต์ผ่านการคลิกเมาส์และป้อนข้อมูลด้วยแป้นพิมพ์ โดยโมเดลขนาดเล็กที่สุดทำงานที่ได้รับมอบหมายสำเร็จ 42.3% ทั้งในภาษาเกาหลีและภาษาอังกฤษ จากการประเมินบนเว็บไซต์จริง

สารบัญ
  1. โมเดล AI ขนาดเล็กทำงานจริงบนเว็บไซต์
  2. AI ใช้เว็บไซต์เหมือนคนได้อย่างไร?
  3. สิ่งที่ทีมวิจัยสอนระบบก่อนให้ลงมือทำ
  4. อัตราความสำเร็จ 42.3% หมายความว่าอย่างไร?
  5. เหตุใดข้อมูลประเมินภาษาเกาหลีจึงสำคัญ
  6. โมเดลสามขนาดและเครื่องมือสำหรับเรียกใช้งาน
  7. จากการสาธิตสู่การมอบหมายงานที่ใช้ได้จริง
  8. ประเด็นสำคัญ

ทีมวิจัยนำโดยศาสตราจารย์ Lim Kyung-taek แห่งบัณฑิตวิทยาลัยเทคโนโลยีวัฒนธรรมของ KAIST ประกาศเปิดตัวเมื่อวันที่ 17 พฤศจิกายน 2026 การฝึกระบบใช้ตัวอย่างหน้าจอเว็บมากกว่า 10 ล้านรายการ และข้อมูลการโต้ตอบกับเว็บไซต์มากกว่า 100,000 รายการ เพื่อสอนให้ระบบเข้าใจสิ่งที่เห็นและรู้ว่าควรดำเนินการอย่างไร

KORMo-Web ใช้บริการต่าง ๆ เช่น ChatGPT และ Claude ค้นหาสินค้าบน Naver Shopping และ Coupang ร่างอีเมล และทำกิจกรรมในชุมชนออนไลน์ได้ นักวิจัยยังนำเสนอวิดีโอสาธิตที่ย่อการทำงาน 40 รายการบนเว็บไซต์จริงให้เหลือเพียง 4 นาที

แนวคิดหลักนั้นตรงไปตรงมา แทนที่จะสร้างการเชื่อมต่อซอฟต์แวร์แยกสำหรับแต่ละบริการ ก็ให้ AI เข้าใจหน้าจอเดียวกับที่คนเห็นและควบคุมส่วนต่าง ๆ บนหน้าจอได้

KAIST เปิดตัวโมเดล 3 ขนาด รวมถึงรุ่นที่มีพารามิเตอร์ 4 พันล้านตัว ซึ่งทำงานได้โดยตรงบนคอมพิวเตอร์ส่วนบุคคล ชุดที่เผยแพร่ยังประกอบด้วยน้ำหนักโมเดล ข้อมูลฝึก ข้อมูลประเมินภาษาเกาหลี และโค้ดส่วนขยาย Chrome ทำให้นักพัฒนามีองค์ประกอบที่จำเป็นสำหรับการเรียกใช้และศึกษาระบบ

AI ใช้เว็บไซต์เหมือนคนได้อย่างไร?

KORMo-Web เป็นเอเจนต์ AI หมายความว่าระบบจะลงมือทำเพื่อให้คำขอสำเร็จ แทนที่จะตอบเป็นข้อความเพียงอย่างเดียว ผู้ใช้ป้อนคำสั่ง แล้วระบบจะตีความหน้าจอเว็บ เลือกส่วนควบคุม และป้อนข้อความเพื่อดำเนินการให้ได้ผลตามที่ร้องขอ

ตัวอย่างเช่น งานซื้อสินค้าต้องอาศัยการทำความเข้าใจว่าช่องค้นหาอยู่ตรงไหน การป้อนชื่อสินค้า และการไปยังหน้าผลการค้นหา ส่วนการเตรียมเนื้อหาผ่านบริการ AI อื่นต้องค้นหาช่องป้อนข้อมูล ส่งคำขอ และจัดการกับคำตอบที่ได้รับ

โฆษณา

บริการซอฟต์แวร์หลายแห่งมีส่วนต่อประสานโปรแกรมประยุกต์ หรือ API ซึ่งโปรแกรมอื่นใช้ส่งคำขอข้อมูลหรือสั่งให้ดำเนินการได้ แต่ KORMo-Web มุ่งทำงานผ่านเว็บไซต์ที่มองเห็นได้โดยตรง จึงลดความจำเป็นในการสร้างการเชื่อมต่อเฉพาะสำหรับแต่ละบริการ

Lim อธิบายเป้าหมายดังกล่าวขณะกล่าวถึงโครงการนี้ว่า:

เป้าหมายของเราไม่ใช่การเชื่อมต่อส่วนต่อประสานโปรแกรมประยุกต์ภายนอก (API) ทีละรายการสำหรับแต่ละบริการ แต่คือการให้ AI เข้าใจหน้าจอเหมือนคนและใช้คอมพิวเตอร์ได้โดยตรง

แนวทางนี้ยังแตกต่างจากระบบอัตโนมัติที่อาศัยโครงสร้าง HTML หรือ Document Object Model ซึ่งเรียกโดยย่อว่า DOM ของหน้าเว็บเป็นหลัก โครงสร้างเหล่านั้นอธิบายการจัดวางหน้าเว็บ ส่วนการฝึก KORMo-Web เน้นหน้าจอที่แสดงผลและข้อมูลบันทึกการใช้งานเว็บไซต์ของผู้คน

สิ่งที่ทีมวิจัยสอนระบบก่อนให้ลงมือทำ

นักวิจัยสร้างตัวอย่างฝึกมากกว่า 10 ล้านรายการจากหน้าจอเว็บภาษาเกาหลีและภาษาอังกฤษ รวมถึงเว็บไซต์ที่ใช้กันทั่วไปในเกาหลีใต้ โดยมุ่งสอนให้โมเดลเข้าใจมากกว่าแค่ตำแหน่งของปุ่มหรือช่องข้อความ

ทีมเรียกขั้นตอนนี้ว่า การฝึกเว็บล่วงหน้าในระดับองค์ประกอบย่อย กล่าวอย่างง่ายคือ เป็นการเรียนรู้ส่วนเล็ก ๆ ของเว็บไซต์ก่อนลองทำงานใหญ่ให้สำเร็จ เช่น เมนูอยู่ตรงไหน ปุ่มทำอะไร ช่องป้อนข้อมูลรับอะไรได้บ้าง และส่วนควบคุมอยู่ในสถานะใด

รูปลักษณ์ของปุ่มและหน้าที่ของปุ่มเป็นข้อมูลที่เกี่ยวข้องกันแต่ไม่เหมือนกัน เอเจนต์ต้องระบุส่วนควบคุมที่ถูกต้อง และเข้าใจว่าการใช้ส่วนนั้นช่วยให้งานของผู้ใช้คืบหน้าอย่างไร การฝึกกับรายละเอียดเหล่านี้เป็นพื้นฐานให้ระบบเลือกการดำเนินการได้

จากนั้นนักวิจัยเพิ่มข้อมูลบันทึกการโต้ตอบกับเว็บภาษาเกาหลีและภาษาอังกฤษมากกว่า 100,000 รายการ ลำดับการดำเนินการเหล่านี้ หรือที่เรียกว่าเส้นทางการทำงาน แสดงให้เห็นว่าการใช้เว็บไซต์ดำเนินไปหลายขั้นตอน แทนที่จะมีเพียงการคลิกครั้งเดียว

การฝึกสองขั้นตอนนี้ตอบโจทย์คนละด้าน ตัวอย่างหน้าจอสอนให้เอเจนต์จดจำและตีความสิ่งที่อยู่ตรงหน้า ส่วนข้อมูลการโต้ตอบสอนให้ระบบรู้ว่าลำดับการดำเนินการต่าง ๆ จะนำจากคำสั่งไปสู่งานที่เสร็จสมบูรณ์ได้อย่างไร

โฆษณา

อัตราความสำเร็จ 42.3% หมายความว่าอย่างไร?

KORMo-Web-4B ซึ่งเป็นรุ่นที่มีพารามิเตอร์ 4 พันล้านตัว ทำอัตราความสำเร็จของงานได้ 42.3% ทั้งในภาษาอังกฤษและภาษาเกาหลีบน Online-Mind2Web ซึ่งเป็นการประเมินที่ให้เอเจนต์ทำงานบนเว็บไซต์จริง

หน้าดาวน์โหลด KORMo-Web-4B อย่างเป็นทางการระบุขั้นตอนการประเมินและผลลัพธ์ทั้งหมด โมเดลทุกตัวทำงานเดียวกันบนเว็บไซต์ที่เปิดใช้งานจริง 612 งาน ได้แก่ ภาษาอังกฤษ 300 งาน และภาษาเกาหลี 312 งาน โมเดลแต่ละตัวใช้พรอมต์และรูปแบบการดำเนินการของตนเอง แต่ใช้โมเดลภาษาสำหรับตัดสินตัวเดียวกัน ซึ่งระบุว่าเป็น GPT-6 ให้คะแนนการทดสอบทั้งหมด อัตราความสำเร็จคำนวณจากจำนวนงานทั้งหมด ดังนั้นการทดสอบที่ระบบขัดข้องหรือไม่มีผลลัพธ์จึงนับเป็นความล้มเหลวด้วย หน้าดังกล่าวยังมีลิงก์ไปยังรายละเอียดการทดสอบทั้งหมด พรอมต์ระบบ และโครงสร้างเครื่องมือ

ผลลัพธ์ทั้งหมด ซึ่งระบุอัตราความสำเร็จภาษาอังกฤษและภาษาเกาหลีตามลำดับ ได้แก่ Qwen3.5-4B ที่ 20.0% และ 13.5%; Fara-1.5-4B ที่ 20.7% และ 7.7%; UI-TARS-1.5-7B ที่ 22.3% และ 20.2%; OpenWebRL-4B ที่ 32.7% และ 15.4%; KORMo-Web-4B ที่ 42.3% และ 42.3%; และ KORMo-Web-9B ที่ 51.0% และ 48.1%

นักวิจัยระบุว่า นี่เป็นผลลัพธ์สูงสุดในบรรดาเอเจนต์ที่มีน้ำหนักโมเดลเปิดให้สาธารณชนใช้งาน ซึ่งรวมอยู่ในการเปรียบเทียบ โมเดลทำคะแนนสูงกว่าผลลัพธ์เปรียบเทียบที่ดีที่สุดก่อนหน้านี้ 9.6 จุดเปอร์เซ็นต์ในภาษาอังกฤษ และ 22.1 จุดเปอร์เซ็นต์ในภาษาเกาหลี

ส่วนต่างดังกล่าวทำให้ผลลัพธ์ที่ดีที่สุดก่อนหน้านี้อยู่ที่ 32.7% สำหรับภาษาอังกฤษ และ 20.2% สำหรับภาษาเกาหลี ดังนั้นการพัฒนาในภาษาเกาหลีจึงมีขนาดใหญ่กว่ามาก โดยคะแนนของ KORMo-Web สูงกว่าคะแนนเปรียบเทียบก่อนหน้ามากกว่าสองเท่า

จุดเปอร์เซ็นต์ใช้วัดส่วนต่างระหว่างเปอร์เซ็นต์สองค่า ตัวอย่างเช่น การเพิ่มจาก 20.2% เป็น 42.3% คือการเพิ่มขึ้น 22.1 จุดเปอร์เซ็นต์ ซึ่งช่วยให้เห็นว่าผลลัพธ์ภาษาเกาหลีถือเป็นการเปลี่ยนแปลงสำคัญในการประเมินครั้งนี้

อัตราความสำเร็จยังเป็นตัวชี้วัดความน่าเชื่อถือที่ใช้ได้จริงสำหรับผู้ใช้ด้วย โดยที่ 42.3% หมายความว่าระบบทำงานที่ได้รับมอบหมายสำเร็จไม่ถึงครึ่ง ส่วนอีก 57.7% ไม่จัดอยู่ในกลุ่มที่ทำสำเร็จ จึงยังต้องพัฒนาอีกมากก่อนที่ผู้ใช้จะมอบหมายงานให้ระบบเป็นประจำได้โดยไม่ต้องตรวจสอบผลลัพธ์

เหตุใดข้อมูลประเมินภาษาเกาหลีจึงสำคัญ

KAIST ยังเปิดเผยข้อมูลประเมินภาษาเกาหลีที่ดัดแปลงจากเกณฑ์มาตรฐานหลัก 4 ชุดสำหรับเอเจนต์ส่วนติดต่อผู้ใช้แบบกราฟิก ส่วนติดต่อผู้ใช้แบบกราฟิกคือชุดองค์ประกอบควบคุมที่มองเห็นได้ เช่น ปุ่ม เมนู และกล่องข้อความ ซึ่งผู้ใช้ใช้ควบคุมซอฟต์แวร์

ผู้คนสร้างข้อมูลประเมินภาษาเกาหลีด้วยตนเองเพื่อให้เหมาะกับสภาพแวดล้อมเว็บภาษาเกาหลี ซึ่งเปิดทางให้นักวิจัยทดสอบเอเจนต์บนเว็บไซต์ท้องถิ่นและการใช้ภาษาในประเทศ ควบคู่กับสภาพแวดล้อมภาษาอังกฤษที่มีบทบาทหลักในการพัฒนามาโดยตลอด

คะแนนที่เท่ากันคือ 42.3% ทั้งใน Online-Mind2Web มีประโยชน์เพราะทำให้เปรียบเทียบผลการทำงานภาษาเกาหลีและภาษาอังกฤษได้โดยตรงภายใต้การประเมินที่รายงานไว้ ส่วนผลการพัฒนาที่สูงกว่าเมื่อเทียบกับคะแนนภาษาเกาหลีก่อนหน้านี้ก็ทำให้ส่วนที่เกี่ยวกับภาษาท้องถิ่นเป็นองค์ประกอบสำคัญของการเปิดตัวครั้งนี้

โฆษณา

การเผยแพร่ข้อมูลประเมินช่วยให้นักพัฒนารายอื่นทดสอบระบบของตนกับงานในลักษณะเดียวกันได้ เมื่อใช้ร่วมกับข้อมูลฝึกและข้อมูลบันทึกการโต้ตอบ ก็จะเป็นพื้นฐานที่ชัดเจนยิ่งขึ้นสำหรับศึกษาว่าการฝึกส่วนใดช่วยเพิ่มประสิทธิภาพ

โมเดลสามขนาดและเครื่องมือสำหรับเรียกใช้งาน

ชุดที่เผยแพร่ประกอบด้วยโมเดลที่มีพารามิเตอร์ 4 พันล้านตัว 9 พันล้านตัว และ 11 พันล้านตัว พารามิเตอร์คือค่าตัวเลขภายในที่โมเดลเรียนรู้ระหว่างการฝึก โดยจำนวนพารามิเตอร์เป็นวิธีทั่วไปที่ใช้ระบุขนาดของโมเดล

รุ่น 4B และ 9B พัฒนาต่อยอดจาก Qwen3.5 ส่วนรุ่น 11B ซึ่งเรียกว่า KORMo-Web-11B ใช้โมเดลพื้นฐานตระกูล KORMo ของ KAIST เองเป็นจุดเริ่มต้น โมเดลพื้นฐานคือระบบ AI ที่ผ่านการฝึกอย่างกว้างขวางและสามารถนำไปฝึกต่อเพื่อทำหน้าที่เฉพาะทางมากขึ้น ซึ่งในกรณีนี้คือการใช้งานเว็บไซต์

KORMo-Web-4B ออกแบบมาให้ทำงานได้โดยตรงบนคอมพิวเตอร์ส่วนบุคคล ขนาดที่เล็กลงเป็นหัวใจสำคัญของเป้าหมายทีมวิจัยที่ต้องการให้ผู้ช่วยบนเว็บทำงานบนเครื่องของผู้ใช้เอง แทนการพึ่งพาระบบระยะไกลขนาดใหญ่เพียงอย่างเดียว

สิ่งที่เผยแพร่ไม่ได้มีเพียงโมเดลเท่านั้น KAIST เปิดให้ใช้น้ำหนักโมเดลที่เรียนรู้แล้ว คลังข้อมูลฝึกเว็บขนาดใหญ่ ลำดับการดำเนินการของผู้ใช้ ข้อมูลประเมินภาษาเกาหลี โค้ดส่วนขยาย Chrome คำแนะนำการติดตั้ง วิดีโอ และตัวอย่าง

นักวิจัยไม่ได้ระบุข้อกำหนดขั้นต่ำด้านฮาร์ดแวร์คอมพิวเตอร์ หน้าดาวน์โหลดอย่างเป็นทางการไม่ได้ระบุว่าต้องให้ผู้ใช้ยืนยันก่อนซื้อสินค้าหรือส่งอีเมลและข้อความสาธารณะ เช่น ความคิดเห็นหรือไม่ รายละเอียดเหล่านี้สำคัญสำหรับผู้ที่พิจารณาใช้เอเจนต์ทำงานที่มีการใช้จ่ายเงินหรือติดต่อสื่อสารกับผู้อื่น

จากการสาธิตสู่การมอบหมายงานที่ใช้ได้จริง

การสาธิตครอบคลุมงานที่คุ้นเคยหลายประเภท ได้แก่ การเตรียมเนื้อหาสำหรับงานนำเสนอผ่าน ChatGPT ใช้ Claude ค้นคว้างานวิจัยล่าสุด จัดระเบียบผลลัพธ์ใน Notion และค้นหาสินค้าบนเว็บไซต์ช้อปปิ้ง การร่างอีเมลและทำกิจกรรมในชุมชนออนไลน์ยังขยายการใช้งานไปสู่ภารกิจที่อาจส่งผลลัพธ์ถึงผู้อื่น

วิดีโอความยาว 4 นาทีรวบรวมงานบนเว็บไซต์ 40 รายการไว้ในรูปแบบย่อ สำหรับผู้ที่สนใจใช้งาน อัตราความสำเร็จของงานที่รายงานแยกต่างหากมีประโยชน์กว่าเมื่อต้องประเมินความน่าเชื่อถือ ควบคู่กับการพิจารณาว่างานแต่ละประเภทต้องตรวจสอบมากน้อยเพียงใด

โฆษณา

ผู้ใช้สามารถตรวจทานอีเมลฉบับร่างก่อนส่งได้ การค้นหาสินค้าก็ตรวจสอบกับงบประมาณและข้อกำหนดของผู้ใช้ได้ ส่วนการโพสต์ความคิดเห็นหรือการซื้อสินค้าต้องกำหนดให้ชัดเจนว่าผู้ใช้ต้องอนุมัติการดำเนินการเมื่อใด ความแตกต่างเหล่านี้ทำให้การเลือกงานมีความสำคัญพอ ๆ กับความสามารถในการคลิกส่วนควบคุมที่ถูกต้อง

Lim กล่าวถึงความมุ่งหวังที่จะนำความช่วยเหลือลักษณะนี้มาไว้บนคอมพิวเตอร์ส่วนบุคคลว่า:

ในอนาคต เราหวังว่าจะสร้างสภาพแวดล้อมที่ AI ขนาดเล็กซึ่งติดตั้งบนคอมพิวเตอร์ส่วนบุคคลสามารถทำงานบนเว็บได้หลากหลายประเภทแทนผู้ใช้

KORMo-Web ทำให้ความมุ่งหวังดังกล่าวอยู่ในรูปแบบที่ผู้อื่นตรวจสอบและเรียกใช้งานได้ ทั้งโมเดล 3 รุ่นที่เปิดเผย ทรัพยากรฝึกจำนวนมาก และเครื่องมือทดสอบภาษาเกาหลี ผลลัพธ์ปัจจุบันแสดงให้เห็นความคืบหน้าในการทำงานบนเว็บไซต์จริง ขณะที่งานที่ทำสำเร็จยังมีไม่ถึงครึ่งจากการประเมินที่รายงานไว้

ประเด็นสำคัญ

  • KAIST ประกาศเปิดตัว KORMo-Web เมื่อวันที่ 17 พฤศจิกายน 2026 ในฐานะเอเจนต์ AI ที่ใช้เว็บไซต์ผ่านส่วนควบคุมที่มองเห็นได้
  • การฝึกใช้ตัวอย่างหน้าจอเว็บภาษาเกาหลีและภาษาอังกฤษมากกว่า 10 ล้านรายการ และข้อมูลการโต้ตอบมากกว่า 100,000 รายการ
  • โมเดล 4B ทำอัตราความสำเร็จของงานได้ 42.3% ในทั้งสองภาษา บน Online-Mind2Web
  • โมเดลทำคะแนนนำหน้าโมเดลเปรียบเทียบที่ดีที่สุดก่อนหน้า 9.6 จุดเปอร์เซ็นต์ในภาษาอังกฤษ และ 22.1 จุดในภาษาเกาหลี
  • ชุดที่เผยแพร่ประกอบด้วยโมเดล 3 ขนาด ข้อมูลประเมินภาษาเกาหลี ทรัพยากรฝึก และโค้ดส่วนขยาย Chrome
  • โมเดลขนาดเล็กที่สุดทำงานบนคอมพิวเตอร์ส่วนบุคคลได้ แต่อัตราความสำเร็จที่รายงานยังหมายความว่าผู้ใช้ต้องตรวจสอบงานอีกมาก
แชร์บทความนี้

เรื่องที่คุณอาจชอบ