Baidu เปิดตัว AI มัลติโหมดแบบโอเพนซอร์ส โดยระบุว่าทำคะแนนเหนือ GPT-5 และ Gemini ในการทดสอบด้านการมองเห็น

ใช้เวลาอ่าน 10 นาที
Baidu, Inc. has announced two …

ผู้ท้าชิงรายใหม่แบบโอเพนซอร์สในวงการ AI มัลติโหมด

Baidu เปิดโมเดลมัลติโหมดรุ่นใหม่ ERNIE 4.5 VL 28B A3B Thinking ให้เป็นโอเพนซอร์ส ระบบนี้มีพารามิเตอร์ 28,000 ล้านตัว และประมวลผลภาพ วิดีโอ เอกสาร และข้อความ บริษัทระบุว่าโมเดลทำได้ดีกว่าโมเดลปิดชั้นนำในการทดสอบที่เน้นการมองเห็น ขณะใช้ทรัพยากรน้อยกว่า โดยเผยแพร่ภายใต้สัญญาอนุญาต Apache 2.0 ซึ่งอนุญาตให้ใช้งานเชิงพาณิชย์ได้โดยไม่มีข้อจำกัด หากผลการทดสอบอิสระยืนยันคำกล่าวอ้างนี้ ก็อาจทำให้ Baidu กลายเป็นผู้จัดหารายสำคัญของโมเดลทำความเข้าใจภาพสำหรับองค์กร ซึ่งใช้งานได้บนฮาร์ดแวร์ที่เข้าถึงได้ทั่วไป

สารบัญ
  1. ผู้ท้าชิงรายใหม่แบบโอเพนซอร์สในวงการ AI มัลติโหมด
  2. ความสามารถที่โมเดลอ้างว่าทำได้
  3. โมเดล 28B ทำงานบน GPU ขนาด 80 GB เพียงตัวเดียวได้อย่างไร
  4. การคิดด้วยภาพและการระบุตำแหน่งอย่างแม่นยำ
  5. การทดสอบเทียบกับงานจริง
  6. แนวทางการฝึกและชุดเครื่องมือสำหรับนักพัฒนา
  7. ความหมายต่อองค์กร
  8. การแข่งขันในวงกว้าง: โมเดลเปิดเทียบกับบริการปิด
  9. ข้อจำกัดและคำถามที่ยังไม่มีคำตอบ
  10. ประเด็นสำคัญ

ERNIE 4.5 VL 28B A3B Thinking เปิดใช้งานพารามิเตอร์ราว 3,000 ล้านตัวต่อโทเคน ซึ่งเป็นเพียงส่วนน้อยของจำนวนทั้งหมด ด้วยการออกแบบแบบ Mixture of Experts ที่ส่งข้อมูลเข้าไปยังเครือข่ายผู้เชี่ยวชาญที่เกี่ยวข้องที่สุด การเปิดใช้งานเฉพาะบางส่วนช่วยลดการประมวลผลและการใช้หน่วยความจำ โดยยังคงความสามารถของโมเดลขนาดใหญ่ไว้ Baidu ระบุว่าโมเดลรันการอนุมานได้บน GPU ขนาด 80 GB เพียงตัวเดียว และยังให้ผลลัพธ์ที่แข็งแกร่งในการทำความเข้าใจเอกสาร ตีความแผนภูมิ และให้เหตุผลจากภาพที่ซับซ้อน

คุณสมบัติเด่นที่ Baidu เรียกว่า Thinking with Images ช่วยให้โมเดลซูมเข้าและออกจากภาพระหว่างให้เหตุผล ตรวจสอบบริเวณเล็ก ๆ เพื่อหาเบาะแส และนำสิ่งที่พบเฉพาะจุดมาประกอบกับภาพโดยรวม พฤติกรรมนี้คล้ายวิธีที่คนแก้ปัญหาจากภาพ และช่วยทำงานอย่างการอ่านข้อความในแผนภาพทางเทคนิคที่มีรายละเอียดหนาแน่น ตรวจหาข้อบกพร่องในสายการผลิต หรือระบุตำแหน่งอ้างอิง เช่น ขั้วต่อสีน้ำเงินใต้สลักตัวที่สอง

Baidu ยังชูจุดเด่นด้านการระบุตำแหน่งวัตถุในภาพที่แม่นยำขึ้น การทำตามคำสั่งสำหรับงานภาพได้ดีขึ้น การใช้เครื่องมือซึ่งรวมถึงการค้นหาภาพ และความสามารถในการทำความเข้าใจวิดีโอพร้อมรับรู้ลำดับเวลา โมเดลมาพร้อมชุดเครื่องมือสำหรับเชื่อมต่อกับ Transformers, vLLM และ FastDeploy รวมถึงชุดเครื่องมือฝึกและปรับแต่งโมเดลที่ชื่อ ERNIEKit ในตลาดที่มีการแข่งขันสูงและระบบภาพกับภาษาชั้นนำส่วนใหญ่ยังเป็นโมเดลปิด การเปิดตัวครั้งนี้จึงเป็นทางเลือกใหม่แบบเปิดสำหรับนักพัฒนาและบริษัท พร้อมสัญญาอนุญาตที่เอื้อต่อธุรกิจ

โฆษณา

ความสามารถที่โมเดลอ้างว่าทำได้

Baidu แบ่งความสามารถของโมเดลออกเป็น 6 ด้าน ได้แก่ การให้เหตุผลจากภาพ การแก้โจทย์ STEM การระบุตำแหน่งวัตถุในภาพ การเชื่อมต่อเครื่องมือ การทำความเข้าใจวิดีโอ และการวิเคราะห์ภาพแบบไดนามิก ในทางปฏิบัติ ระบบสามารถอ่านข้อความและสรุปใบแจ้งหนี้หรืองบการเงิน วิเคราะห์แผนภูมิและตาราง ให้เหตุผลจากแผนผังวงจรและโจทย์เรขาคณิต ชี้วัตถุหรือบริเวณที่ต้องการในภาพได้อย่างแม่นยำ เรียกใช้เครื่องมือภายนอกเพื่อค้นหารูปภาพอ้างอิง และติดตามเหตุการณ์ที่เกิดขึ้นในช่วงต่าง ๆ ของวิดีโอ

ในตารางจัดอันดับที่แสดงในเอกสารของ Baidu โมเดลนี้ถูกนำเสนอว่าทำคะแนนได้เทียบเท่าหรือเหนือกว่า OpenAI GPT-5 High และ Google Gemini 2.5 Pro ในการทดสอบด้านการมองเห็นหลายรายการ ซึ่งรวมถึงการตอบคำถามเกี่ยวกับแผนภูมิ การทำความเข้าใจเอกสาร และการทดสอบให้เหตุผลจากภาพหลายขั้นตอน บริษัทยังชูข้อได้เปรียบด้านความเร็ว โดยอ้างว่าการอนุมานเร็วกว่าโมเดลใกล้เคียงที่มีความแม่นยำระดับเดียวกัน 2-3 เท่า

ขณะนี้ยังไม่มีห้องปฏิบัติการอิสระตรวจสอบผลการทดสอบเหล่านี้ ชุดทดสอบมักให้คะแนนกับการจดจำรูปแบบ การจัดรูปแบบพรอมต์ หรือเทคนิคเฉพาะทาง มากกว่าความน่าเชื่อถือในการใช้งานจริงที่มีเงื่อนไขหลากหลาย บริษัทที่ประเมิน ERNIE 4.5 VL 28B A3B Thinking ควรทดลองใช้งานเฉพาะทางกับเอกสาร สภาพแสง มุมกล้อง และนโยบายความปลอดภัยของตนเอง ก่อนตัดสินใจนำไปใช้จริง

แม้ต้องคำนึงถึงข้อจำกัดดังกล่าว ขอบเขตงานที่รองรับก็ยังครอบคลุมกว้างขวาง การผสานความสามารถด้านการให้เหตุผล การระบุตำแหน่ง และการใช้เครื่องมือ ทำให้โมเดลเหมาะกับเวิร์กโฟลว์แบบเอเจนต์ เช่น อ่านคำร้องสินไหมที่เข้ามาในระบบประกันภัย ตรวจจับความผิดปกติในการดำเนินงานคลังสินค้า หรือช่วยช่างเทคนิควิเคราะห์ปัญหาอุปกรณ์จากภาพถ่ายพร้อมคำอธิบายและวิดีโอสั้น

โฆษณา

โมเดล 28B ทำงานบน GPU ขนาด 80 GB เพียงตัวเดียวได้อย่างไร

หัวใจสำคัญคือ Mixture of Experts ซึ่งเป็นการออกแบบที่มีเครือข่ายย่อยเฉพาะทางหลายชุดอยู่เบื้องหลังตัวจัดเส้นทาง สำหรับแต่ละโทเคนหรือแพตช์ภาพ ตัวจัดเส้นทางจะเลือกเปิดใช้งานผู้เชี่ยวชาญเพียงบางส่วน มีเพียงเครือข่ายที่ถูกเลือกเท่านั้นที่ประมวลผล ดังนั้นในแต่ละขั้นระบบจึงทำงานเสมือนเป็นโมเดลขนาดเล็ก ขณะที่กลุ่มผู้เชี่ยวชาญทั้งหมดช่วยเพิ่มขีดความสามารถเมื่อพิจารณาหลายขั้นตอนและหลายงาน โครงสร้างนี้เพิ่มอัตราการประมวลผลได้ เพราะพารามิเตอร์ส่วนใหญ่ไม่ได้ทำงานในแต่ละครั้ง

การเปิดใช้งานเฉพาะบางส่วนช่วยลดความต้องการหน่วยความจำและต้นทุนการประมวลผล โมเดลหนาแน่นที่มีพารามิเตอร์ 28,000 ล้านตัวต้องใช้ฮาร์ดแวร์มากกว่านี้จึงจะทำงานได้ด้วยความเร็วที่เหมาะสม เมื่อเปิดใช้งานพารามิเตอร์ราว 3,000 ล้านตัวต่อโทเคน Baidu จึงระบุได้ว่าโมเดลภาพและภาษารันการอนุมานบน GPU ตัวเดียวได้ ทำให้ห้องปฏิบัติการจำนวนมากเข้าถึงการทดสอบได้ อย่างไรก็ตาม การออกแบบนี้ก็เพิ่มความซับซ้อน วิศวกรต้องมีตัวจัดเส้นทางที่รวดเร็วและสมดุล จัดการภาระงานอย่างรอบคอบ และใช้เทคนิคฝึกที่มีเสถียรภาพ เพื่อป้องกันไม่ให้ผู้เชี่ยวชาญเพียงไม่กี่ชุดรับภาระทั้งหมด

โฆษณา

การคิดด้วยภาพและการระบุตำแหน่งอย่างแม่นยำ

โมเดลภาพและภาษาแบบดั้งเดิมรับภาพที่มีความละเอียดตายตัวแล้วสร้างคำตอบเป็นข้อความ ส่วน Thinking with Images เพิ่มขั้นตอนการวางแผนเข้ามา โมเดลจะแบ่งคำถามออกเป็นขั้น ๆ เสนอว่าจะตรวจดูบริเวณใดต่อ ตัดภาพส่วนหนึ่งมาแสดงด้วยความละเอียดสูง อ่านข้อความหรือวัดเรขาคณิตภายในบริเวณนั้น แล้วปรับแผน จากนั้นทำซ้ำจนรวบรวมหลักฐานได้เพียงพอสำหรับตอบคำถาม ความสามารถนี้ยังทำงานย้อนกลับได้เมื่อโจทย์ต้องการให้ชี้ตำแหน่ง โดยแปลงคำให้เป็นพิกัดพิกเซลแล้ววาดกรอบหรือมาสก์

การระบุตำแหน่งที่แม่นยำขึ้นมีความสำคัญเมื่อภาพมีรายละเอียดปะปนกันหรือเป็นภาพทางเทคนิค ในงานการผลิต ชิ้นส่วนสองชิ้นอาจดูแทบไม่ต่างกันจนกว่าจะซูมเข้า ในแบบเขียนทางวิศวกรรม สัญลักษณ์ที่เปลี่ยนไปเพียงไม่กี่พิกเซลก็เปลี่ยนความหมายได้ ส่วนการถ่ายภาพทางการแพทย์ สิ่งแปลกปลอมขนาดเล็กอาจส่งผลต่อการวินิจฉัย ระบบที่สลับระหว่างบริบทของภาพโดยรวมกับรายละเอียดเฉพาะจุดได้ พร้อมอธิบายขั้นตอนที่ทำ จะช่วยให้ผู้ปฏิบัติงานตรวจสอบย้อนหลังได้ชัดเจนขึ้นและแก้ไขข้อผิดพลาดได้

การทดสอบเทียบกับงานจริง

ตารางผลทดสอบจากผู้ขายมักรวมคะแนนจากการประเมินหลายรูปแบบ บางการทดสอบใช้ภาพที่ชัดเจนและตัดขอบภาพไว้อย่างสมบูรณ์แบบ บางชุดตั้งคำถามที่มีอยู่แล้วในข้อมูลฝึก แต่การใช้งานจริงมีทั้งแสงสะท้อน ภาพเบลอจากการเคลื่อนไหว ฟอนต์แปลกตา วัตถุบดบัง และป้ายกำกับหลายภาษา ประสิทธิภาพอาจเปลี่ยนไปเมื่อข้อมูลอยู่นอกขอบเขตที่ใช้ฝึก ด้วยเหตุนี้ คำกล่าวอ้างที่ว่าโมเดลทำคะแนนเหนือ GPT-5 หรือ Gemini ในการทดสอบบางรายการจึงควรมองเป็นจุดเริ่มต้น ไม่ใช่ข้อสรุป

แนวทางที่น่าเชื่อถือกว่าคือการประเมินตามลักษณะงาน ทีมงานด้านเอกสารอาจรวบรวมไฟล์ตัวแทนหลายร้อยฉบับ แล้ววัดความแม่นยำในการดึงข้อมูลแต่ละช่อง โดยใช้เฉลยที่มนุษย์ตรวจสอบแล้ว สำหรับงานด้านภาพ สามารถจำลองสภาพการผลิตและติดตามค่าความแม่นยำและอัตราการตรวจพบจากกรอบหรือมาสก์ ส่วนการวิเคราะห์แผนภูมิอาจสร้างกราฟสังเคราะห์ที่มีกรณีสุดขอบ เช่น สเกลลอการิทึมหรือชุดข้อมูลแบบซ้อนกัน วิธีนี้ช่วยให้เห็นพฤติกรรมของโมเดลและรูปแบบความผิดพลาดได้ชัดเจนขึ้น

โฆษณา

แนวทางการฝึกและชุดเครื่องมือสำหรับนักพัฒนา

โมเดล ERNIE 4.5 ใช้กระบวนการฝึกที่ผสานการเรียนรู้แบบมีผู้สอนดั้งเดิมเข้ากับการเรียนรู้แบบเสริมกำลังสำหรับงานมัลติโหมด เอกสารกล่าวถึงกลยุทธ์ที่เรียกว่า GSPO และ IcePop เพื่อเพิ่มเสถียรภาพให้ตัวจัดเส้นทางและปรับการกำหนดรางวัลระหว่างฝึก MoE ให้ดีขึ้น พร้อมใช้การสุ่มตัวอย่างที่ปรับระดับความยากแบบไดนามิก เพื่อให้โมเดลได้เห็นตัวอย่างที่ยากขึ้นเมื่อพัฒนาความสามารถ ผลลัพธ์คือระบบที่วางแผนให้เหตุผลหลายขั้นตอนจากภาพ แผนภูมิ และวิดีโอได้ แทนที่จะคาดเดาในการประมวลผลครั้งเดียว

ตระกูลโมเดลนี้มีทั้งรุ่นข้อความอย่างเดียวและรุ่นภาพกับภาษา ตั้งแต่โมเดลหนาแน่นขนาดเล็กมากไปจนถึงระบบ MoE ขนาดใหญ่ที่มีพารามิเตอร์รวมหลายแสนล้านตัว Baidu ระบุว่าสถาปัตยกรรมช่วยให้ใช้พารามิเตอร์ร่วมกันระหว่างรูปแบบข้อมูลได้ ทำให้องค์ประกอบด้านข้อความและภาพได้รับประโยชน์จากกันและกันโดยไม่ลดคุณภาพด้านภาษา การฝึกและการอนุมานทำงานบนแพลตฟอร์ม PaddlePaddle ของบริษัท ซึ่งทีมงานรายงานว่ามีอัตราการใช้ฮาร์ดแวร์สูงเมื่อทำงานในระดับใหญ่

สำหรับนักพัฒนา Baidu มีชุดเครื่องมือให้ใช้งาน ERNIEKit รองรับการปรับแต่งโมเดล การเพิ่มประสิทธิภาพตามความชอบ และการทำควอนไทซ์เพื่อให้ใช้งานได้อย่างมีประสิทธิภาพด้านทรัพยากร โมเดลภาพและภาษาสามารถให้บริการผ่านชุดเครื่องมือที่ใช้กันทั่วไป เช่น Transformers และ vLLM ส่วนการอนุมานในระบบใช้งานจริงรองรับ FastDeploy สัญญาอนุญาต Apache 2.0 ช่วยขจัดข้อจำกัดหลายประการในการใช้งานเชิงพาณิชย์ หน้าโมเดลอย่างเป็นทางการอยู่บน Hugging Face ส่วนโค้ดและสูตรการฝึกอยู่ใน คลังโค้ด GitHub ของ Baidu

โฆษณา

ความหมายต่อองค์กร

สัญญาอนุญาตแบบเปิดและการอนุมานบน GPU ตัวเดียวทำให้โมเดลนี้น่าสนใจสำหรับทีมที่ต้องการใช้ AI วิเคราะห์ภาพแบบส่วนตัวภายในองค์กร โดยไม่ส่งข้อมูลไปยังผู้ให้บริการคลาวด์ ภาคธุรกิจที่ใช้เอกสารจำนวนมากสามารถทดลองระบบรับเอกสารอัจฉริยะสำหรับสัญญา ใบแจ้งหนี้ และคำร้องสินไหม ผู้ผลิตสามารถสร้างจุดตรวจสอบคุณภาพที่ผสานการมองเห็นเข้ากับคำแนะนำด้วยภาษาให้พนักงานสายการผลิต ส่วนธุรกิจค้าปลีกและโลจิสติกส์อาจใช้การระบุตำแหน่งเพื่อค้นหาสินค้าและตรวจสอบป้ายในคลังสินค้า ขณะที่ทีมบริการลูกค้าสามารถเพิ่มข้อมูลประกอบคำตอบแชตด้วยการอ่านข้อความจากแผนภูมิหรือภาพหน้าจอที่แนบมา

ต้นทุนเป็นปัจจัยสำคัญ หลายองค์กรไม่สามารถกันคลัสเตอร์ GPU ระดับ H100 ไว้ให้แอปพลิเคชันเดียวได้ ระบบที่รันบนการ์ดขนาด 80 GB เพียงใบเดียวช่วยลดอุปสรรคสำหรับโครงการนำร่องและการใช้งานระยะแรก การผสานความสามารถด้านการระบุตำแหน่ง การใช้เครื่องมือ และการทำความเข้าใจวิดีโอ ยังเหมาะกับเวิร์กโฟลว์แบบเอเจนต์ที่โมเดลอ่าน ค้นหา คลิก และให้เหตุผลต่อเนื่องหลายขั้นตอนเพื่อทำงานให้เสร็จ แนวทางนี้สอดคล้องกับกระแสที่มุ่งสู่เอเจนต์ซึ่งใช้งานคอมพิวเตอร์และทำงานผ่านอินเทอร์เฟซมาตรฐาน แทนการเรียกใช้ API ที่พัฒนาขึ้นเฉพาะ

การแข่งขันในวงกว้าง: โมเดลเปิดเทียบกับบริการปิด

การเปิดตัวครั้งนี้เกิดขึ้นในปีที่วงการมีโมเดลเปิดออกมาจำนวนมาก DeepSeek เปิดตัวโมเดลภาษาขนาดใหญ่แบบ MoE ซึ่งมีพารามิเตอร์รวมหลายแสนล้านตัว แต่เปิดใช้งานเพียงไม่กี่หมื่นล้านตัวต่อโทเคน พร้อมรายงานคะแนนสูงในการทดสอบทั่วไปด้วยต้นทุนการฝึกเพียงเศษเสี้ยวของระบบปิด ส่วน Marco o1 ของ Alibaba เน้นการให้เหตุผลด้วยเทคนิคอย่างการปรับแต่งโมเดลด้วยห่วงโซ่ความคิดและการวางแผนที่มีการค้นหานำทาง เพื่อจัดการงานปลายเปิดที่ไม่มีรางวัลเชิงตัวเลขชัดเจน

ห้องปฏิบัติการในจีน รวมถึง Baidu, Alibaba และบริษัทอื่น ๆ กำลังเปิดตัวโมเดลที่มีความสามารถภายใต้สัญญาอนุญาตที่เอื้อต่อการใช้งานมากขึ้น การเปิดให้เข้าถึงช่วยให้นักพัฒนาในภูมิภาคสร้างระบบโดยพึ่งพาบริการกรรมสิทธิ์น้อยลง และยังกดดันผู้ให้บริการทั่วโลกให้แสดงเหตุผลของราคาพรีเมียมด้วยข้อได้เปรียบที่ชัดเจนด้านความน่าเชื่อถือ เครื่องมือ หรือการเชื่อมต่อระบบ ช่องว่างระหว่างประสิทธิภาพของโมเดลเปิดกับโมเดลปิดแคบลงในหลายด้าน โดยเฉพาะงานเฉพาะทางอย่างการวิเคราะห์แผนภูมิและการดึงข้อมูลจากเอกสาร

ข้อจำกัดและคำถามที่ยังไม่มีคำตอบ

ยังมีข้อแลกเปลี่ยนอยู่ โมเดลภาพและภาษายังคงต้องใช้ GPU ขนาด 80 GB เพื่อให้ได้ผลลัพธ์ดีที่สุด ทำให้ใช้งานบนอุปกรณ์ผู้บริโภคจำนวนมากไม่ได้ หน้าต่างบริบทอยู่ที่ 128K โทเคน ซึ่งเป็นประโยชน์กับ PDF ขนาดยาว แต่ก็ยังมีขีดจำกัดเมื่อรวมภาพหลายภาพ ข้อความจาก OCR และคำสั่งต่าง ๆ เข้าด้วยกัน การจัดเส้นทางของ MoE อาจทำให้การติดตั้งใช้งานในวงกว้างซับซ้อนขึ้น เพราะวิศวกรต้องติดตามสมดุลของผู้เชี่ยวชาญและป้องกันความหน่วงพุ่งสูงจากจุดที่มีการส่งงานไปกระจุกตัว

โฆษณา

ความปลอดภัยยังเป็นประเด็นสำคัญ ระบบวิเคราะห์ภาพอาจถูกหลอกด้วยรูปแบบโจมตีหรือความสัมพันธ์ลวง โมเดลที่ตัดภาพและซูมดูเองต้องหลีกเลี่ยงอคติยืนยันความเชื่อ ซึ่งทำให้แผนยังคงมุ่งตรวจบริเวณที่ไม่ถูกต้อง องค์กรย่อมต้องการบันทึกการตรวจสอบที่ชัดเจนของแต่ละขั้นตอนในห่วงโซ่ความคิด เมื่อโมเดลทำงานในโหมดคิด หรืออย่างน้อยต้องมีร่องรอยแบบมีโครงสร้างของการเรียกใช้เครื่องมือและกรอบระบุตำแหน่ง Baidu ระบุว่าโมเดลผ่านการเรียนรู้แบบเสริมกำลังสำหรับมัลติโหมดและการปรับให้สอดคล้องกับการระบุตำแหน่งแล้ว แต่ยังต้องมีการประเมินจากบุคคลที่สามอย่างกว้างขวางเพื่อสร้างความเชื่อมั่น

ประเด็นสำคัญ

  • Baidu เปิดตัว ERNIE 4.5 VL 28B A3B Thinking โมเดลมัลติโหมดแบบโอเพนซอร์สภายใต้ Apache 2.0 ซึ่งอนุญาตให้ใช้งานเชิงพาณิชย์
  • โมเดลอ้างว่าทำคะแนนเหนือ GPT-5 High และ Gemini 2.5 Pro ในการทดสอบที่เน้นการมองเห็น โดยยังรอการตรวจสอบอิสระ
  • ใช้การออกแบบแบบ Mixture of Experts โดยเปิดใช้งานพารามิเตอร์ราว 3,000 ล้านตัวจากทั้งหมด 28,000 ล้านตัวต่อโทเคน เพื่อลดการประมวลผลและการใช้หน่วยความจำ
  • รันการอนุมานได้บน GPU ขนาด 80 GB เพียงตัวเดียว ช่วยลดอุปสรรคในการทดลองนำร่องและทดสอบภายในองค์กร
  • คุณสมบัติเด่น ได้แก่ Thinking with Images สำหรับเวิร์กโฟลว์ซูมและตรวจสอบภาพ การระบุตำแหน่งวัตถุในภาพที่ดีขึ้น และการทำความเข้าใจวิดีโอ
  • ความสามารถหลัก 6 ด้านมุ่งรองรับการให้เหตุผลจากภาพ งาน STEM การระบุตำแหน่ง การใช้เครื่องมือ การวิเคราะห์วิดีโอ และการวางแผนวิเคราะห์ภาพแบบไดนามิก
  • การฝึกประกอบด้วยการเรียนรู้แบบเสริมกำลังสำหรับมัลติโหมด โดยใช้ GSPO และ IcePop รวมถึงการสุ่มตัวอย่างที่ปรับระดับความยากเพื่อเพิ่มเสถียรภาพให้ MoE
  • เครื่องมือสำหรับนักพัฒนาประกอบด้วย ERNIEKit การรองรับ Transformers, vLLM และ FastDeploy รวมถึงหน้าโมเดลและคลังโค้ดสาธารณะ
  • กรณีใช้งานครอบคลุมการประมวลผลเอกสาร การควบคุมคุณภาพการผลิต งานคลังสินค้า และบริการลูกค้า
  • ข้อจำกัด ได้แก่ ความต้องการ GPU ขนาด 80 GB หน้าต่างบริบท 128K ความซับซ้อนของการจัดเส้นทาง MoE และคำถามที่ยังค้างอยู่เกี่ยวกับความทนทานและความปลอดภัย
แชร์บทความนี้

เรื่องที่คุณอาจชอบ