Alibaba เปิดตัว Qwen3 Omni โมเดล AI มัลติโหมดแบบโอเพนซอร์ส

ผู้ท้าชิงรายใหม่ในวงการ AI มัลติโหมดแบบโอเพนซอร์ส

Alibaba เปิดตัว Qwen3 Omni โมเดลมัลติโหมดที่ครอบคลุมความสามารถหลากหลาย ทั้งอ่านข้อความ ดูภาพ ฟังเสียง และรับชมวิดีโอ โดยตอบกลับได้ทั้งข้อความและเสียงพูดที่เป็นธรรมชาติ บริษัทวางตำแหน่งโมเดลนี้เป็นโมเดล omni แบบ native ที่ทำงานครบวงจรตั้งแต่ต้น หมายความว่าโมเดลได้รับการออกแบบตั้งแต่แรกให้จัดการอินพุตเหล่านี้ร่วมกัน แทนที่จะมองการพูดหรือการมองเห็นเป็นส่วนเสริมที่นำมาติดตั้งภายหลัง การเปิดตัวเกิดขึ้นในช่วงที่หลายองค์กรกำลังชั่งน้ำหนักต้นทุนและการควบคุมระหว่างโมเดลโอเพนซอร์สกับระบบปิดอย่าง GPT 4o และ Gemini 2.5 Pro จุดแตกต่างสำคัญคือการเข้าถึง Qwen3 Omni เผยแพร่ภายใต้สัญญาอนุญาต Apache 2.0 ซึ่งอนุญาตให้นำไปใช้เชิงพาณิชย์ แก้ไข และเผยแพร่ต่อได้โดยไม่เสียค่าใช้จ่าย ช่วยลดอุปสรรคสำหรับทีมที่ต้องการโฮสต์ระบบเองหรือเปิดตัวผลิตภัณฑ์โดยไม่ต้องจ่ายค่าบริการรายผู้ใช้หรือผูกติดกับผู้ให้บริการรายใดรายหนึ่ง

Qwen3 Omni ยังขยายขีดความสามารถเกินกว่าชุดข้อมูลสามประเภทที่พบได้ทั่วไป ได้แก่ ข้อความ ภาพ และเสียง โดยวิเคราะห์วิดีโอได้ด้วย ซึ่งก่อนหน้านี้ความสามารถดังกล่าวมีอยู่เป็นหลักในแพลตฟอร์มปิด โมเดลรองรับ 119 ภาษาสำหรับข้อความ 19 ภาษาสำหรับอินพุตเสียง และ 10 ภาษาสำหรับเอาต์พุตเสียง ครอบคลุมภาษาหลักและภาษาถิ่นบางภาษา เช่น กวางตุ้ง เอกสารเบื้องต้นเน้นการตอบสนองแบบสตรีมมิงที่ให้ความรู้สึกเหมือนสนทนา มากกว่าการประมวลผลเป็นชุด โดยเริ่มส่งแพ็กเก็ตเสียงได้ในเวลาราวหนึ่งในสี่วินาที และวิดีโอในเวลาราวครึ่งวินาที นี่เป็นเกณฑ์สำคัญสำหรับผู้ช่วยที่ต้องโต้ตอบแทรก ถามเพื่อความชัดเจน และส่งต่องานได้อย่างรวดเร็วในสถานการณ์จริง เช่น การโทรขอความช่วยเหลือหรือไกด์บนมือถือ

การเปิดตัวครั้งนี้มีโมเดลสามเวอร์ชันที่ปรับให้เหมาะกับงานต่างกัน Instruct เป็นโมเดลสนทนาที่มีความสามารถครบถ้วน Thinking เน้นการให้เหตุผลที่ซับซ้อนและกระบวนการคิดหลายขั้น โดยส่งออกเป็นข้อความ ส่วน Captioner เชี่ยวชาญด้านการบรรยายเสียง ซึ่งเป็นงานที่ต้องให้ความสำคัญกับอัตราการหลอนข้อมูลที่ต่ำ นักพัฒนาสามารถเข้าถึงน้ำหนักโมเดลผ่านฮับโมเดลยอดนิยม ใช้งาน API ที่มีตัวเลือก Flash ซึ่งทำงานเร็วขึ้น หรือปรับแต่งโมเดลเพื่อควบคุมโดเมนและรูปแบบการสื่อสาร ผลการทดสอบมาตรฐานที่บริษัทเผยแพร่แสดงให้เห็นว่าโมเดลทำได้ดีในงานด้านเสียง การฟัง และวิดีโอ ขณะเดียวกันก็รักษาประสิทธิภาพด้านข้อความและภาพให้แข่งขันกับระบบชั้นนำได้

อะไรทำให้ Qwen3 Omni แตกต่าง

การเลือกใช้เทคนิคหลายอย่างทำให้ Qwen3 Omni แตกต่างจากโมเดลอื่น ประการแรก กระบวนการฝึกผสานข้อมูลแบบโมดัลเดียวและข้ามโมดัลตั้งแต่เริ่มต้น ก่อนขยายขนาดต่อเนื่องทั้งในช่วง pretraining และ post-training ประการที่สอง โมเดลใช้สถาปัตยกรรม Mixture of Experts ซึ่งเปิดใช้งานพารามิเตอร์เพียงบางส่วนสำหรับแต่ละโทเค็น วิธีนี้อาจเพิ่มปริมาณงานที่ประมวลผลได้และลดต้นทุนการอนุมาน ซึ่งสำคัญต่อแอปพลิเคชันแบบเรียลไทม์และการใช้งานภายใต้ข้อจำกัดด้านฮาร์ดแวร์ ประการที่สาม ระบบแยกการให้เหตุผลและการพูดออกเป็นสององค์ประกอบที่ทำงานประสานกัน เรียกว่า Thinker และ Talker โดย Thinker รับหน้าที่หลักด้านการทำความเข้าใจและให้เหตุผลแบบมัลติโหมด ส่วน Talker แปลงตัวแทนระดับสูงให้เป็นเสียงพูดที่รักษาจังหวะและลักษณะน้ำเสียง

โมเดลสามเวอร์ชันสำหรับความต้องการที่แตกต่าง

Alibaba Cloud เปิดตัวตัวเลือกสามแบบในตระกูล Qwen3 Omni 30B A3B เพื่อให้ทีมเลือกใช้ได้เหมาะกับงาน:

• Instruct ผสาน Thinker และ Talker รองรับอินพุตข้อความ ภาพ เสียง และวิดีโอ พร้อมเอาต์พุตทั้งข้อความและเสียงพูด
• Thinking เน้นการให้เหตุผลเชิงลึกและกระบวนการคิดหลายขั้น รองรับอินพุตมัลติโหมดแบบเดียวกัน แต่ส่งออกเฉพาะข้อความ
• Captioner มุ่งเน้นการบรรยายและให้คำอธิบายเสียงโดยมีอัตราการหลอนข้อมูลต่ำ เหมาะกับการวิเคราะห์สื่อ การเข้าถึงเนื้อหา และกระบวนการกลั่นกรองเนื้อหา

API เพิ่มเวอร์ชัน Flash ที่มุ่งลดความหน่วงและรองรับการทำงานพร้อมกันได้มากขึ้น ซึ่งสำคัญสำหรับผู้ที่สร้างผู้ช่วยศูนย์บริการลูกค้าหรือไกด์ชอปปิงที่ต้องรับมือกับปริมาณการใช้งานที่พุ่งสูงโดยไม่ทำให้คำตอบล่าช้า

เจาะลึกสถาปัตยกรรม Thinker และ Talker

Qwen3 Omni แบ่งหน้าที่เพื่อให้การพูดเป็นธรรมชาติและการให้เหตุผลมีความยืดหยุ่น Thinker คือโมเดลมัลติโหมดหลัก ทำหน้าที่จัดแนวและผสานคุณลักษณะจากข้อความ ภาพ เสียง และวิดีโอ ก่อนสร้างตัวแทนระดับโทเค็นที่ใช้กำหนดคำตอบ ส่วน Talker เป็นระบบสร้างเสียงพูดโดยเฉพาะ แทนที่จะรับเอาต์พุตจาก Thinker ในรูปข้อความ Talker จะปรับเงื่อนไขโดยอิงคุณลักษณะจากเสียงและภาพโดยตรง การออกแบบนี้ช่วยให้ Talker จัดแนวทำนองการพูดและลักษณะน้ำเสียงให้สอดคล้องกับสิ่งที่เห็นและได้ยิน จึงช่วยปรับปรุงการแปลและคุณลักษณะด้านการพากย์เสียง เช่น จังหวะ การเน้นคำ และอารมณ์

เพื่อลดความหน่วงของเสียงพูด Talker ใช้วิธี autoregressive แบบหลาย codebook เพื่อทำนายโทเค็นเสียงแบบไม่ต่อเนื่อง จากนั้นโครงข่ายประสาทเทียมแบบคอนโวลูชัน Code2Wav ที่มีขนาดเล็กจะแปลงโทเค็นเหล่านั้นเป็นรูปคลื่นเสียง เนื่องจาก Talker แยกการทำงานจากข้อความของ Thinker โมดูลภายนอกจึงสามารถปรับหรือกรองเอาต์พุตของ Thinker ก่อนสร้างเสียงพูดได้ ทำให้ขั้นตอนด้านความปลอดภัยทำได้จริงยิ่งขึ้น เพราะสามารถตรวจสอบตามนโยบายและดึงข้อมูลมาใช้ได้ระหว่างขั้นคิดกับขั้นพูด ประสิทธิภาพสตรีมมิงเป็นหัวใจสำคัญ ตัวเลขที่บริษัทอ้างถึงระบุว่าเริ่มส่งแพ็กเก็ตเสียงได้ในเวลาราว 234 มิลลิวินาที และแพ็กเก็ตวิดีโอในเวลาราว 547 มิลลิวินาที ระบบยังทำงานต่ำกว่าค่า real time factor ที่ 1 ซึ่งหมายความว่าสามารถสร้างเสียงได้เร็วกว่าระยะเวลาเล่นเสียงนั้น แม้จะจัดการคำขอหลายรายการพร้อมกัน

สถาปัตยกรรมนี้ใช้ Mixture of Experts ทั้งกับ Thinker และ Talker โดยโมเดล Mixture of Experts ประกอบด้วยเครือข่ายผู้เชี่ยวชาญขนาดเล็กจำนวนมากและเครือข่ายเกตที่กำหนดเส้นทางให้แต่ละโทเค็นไปยังเครือข่ายเพียงไม่กี่ตัว มีเพียงพารามิเตอร์ส่วนน้อยที่ทำงานต่อโทเค็น จึงรองรับการทำงานพร้อมกันได้สูงและช่วยให้การอนุมานตอบสนองได้รวดเร็ว สำหรับนักพัฒนา สิ่งนี้อาจเป็นความแตกต่างระหว่างผู้ช่วยที่แทรกและโต้ตอบได้ กับบอตที่รอให้ถึงตาของตัวเองจึงค่อยพูด

วิธีพัฒนาและสิ่งที่รองรับ

ประสิทธิภาพด้านเสียงเริ่มต้นที่ตัวเข้ารหัส Qwen3 Omni เปิดตัว Audio Transformer ที่สร้างขึ้นตั้งแต่ต้นและฝึกด้วยข้อมูลแบบมีผู้กำกับดูแลราว 20 ล้านชั่วโมง ชุดข้อมูลฝึกส่วนใหญ่เป็นข้อมูลรู้จำเสียงพูดอัตโนมัติภาษาจีนและอังกฤษ พร้อมข้อมูลเพิ่มเติมจากภาษาและงานอื่นที่เน้นการทำความเข้าใจเสียง ตัวเข้ารหัสมีพารามิเตอร์ราว 600 ล้านตัว รองรับแคชสตรีมมิงเพื่อลดความหน่วง และทำงานแบบออฟไลน์เพื่อวิเคราะห์งานต่าง ๆ เช่น การบันทึกเสียงยาว ๆ จากนั้นตัวเข้ารหัสจะส่งข้อมูลเข้าสู่แกนมัลติโหมดผ่านขั้นตอนการจัดแนว เพื่อให้โมเดลให้เหตุผลข้ามรูปแบบข้อมูลได้

การทำ pretraining มีสามขั้นตอน ในขั้นจัดแนวตัวเข้ารหัส ตัวเข้ารหัสภาพและเสียงได้รับการฝึกและจัดแนว ขณะที่ตรึงโมเดลภาษาหลักไว้ไม่ให้เปลี่ยนแปลง ขั้นฝึกทั่วไป ทีมขยายการฝึกไปถึงราว 2 ล้านล้านโทเค็น ซึ่งประกอบด้วยข้อความ เสียง ภาพ รวมถึงวิดีโอและคู่ข้อมูลเสียงกับวิดีโอบางส่วน ส่วนขั้นฝึกบริบทระยะยาว ขยายความยาวโทเค็นสูงสุดจาก 8,192 เป็น 32,768 พร้อมเพิ่มลำดับเสียงและวิดีโอที่ยาวขึ้น การทำ post-training ประกอบด้วย supervised fine-tuning การกลั่นความรู้จากโมเดลครูที่มีประสิทธิภาพสูงกว่า และการปรับนโยบายโดยใช้ทั้งกฎและการประเมินจากโมเดลสำหรับ Thinker ส่วน Talker ผ่านกระบวนการฝึกสี่ขั้นตอนโดยใช้ตัวอย่างเสียงพูดมัลติโหมดหลายร้อยล้านรายการร่วมกับการทำ pretraining อย่างต่อเนื่อง โดยมุ่งลดการหลอนข้อมูลและปรับปรุงคุณภาพเสียง

ความสามารถและข้อจำกัดของตระกูลโมเดลที่มีพารามิเตอร์ 30,000 ล้านตัวนี้ครอบคลุมหลายด้าน Qwen3 Omni รองรับ 119 ภาษาสำหรับข้อความ 19 ภาษาสำหรับอินพุตเสียง และ 10 ภาษาสำหรับเอาต์พุตเสียง Thinking Mode รองรับหน้าต่างบริบท 65,536 โทเค็น ส่วน Non Thinking Mode รองรับ 49,152 โทเค็น โมเดลรองรับอินพุตได้สูงสุด 16,384 โทเค็น และเอาต์พุตได้สูงสุด 16,384 โทเค็น โดยกระบวนการคิดที่ยาวที่สุดอาจมีได้ถึง 32,768 โทเค็น ความจุระดับนี้ช่วยจัดการบทถอดเสียงที่ซับซ้อน การประชุมยาว ๆ หรือฐานโค้ดและเอกสารที่ยาวเกินกว่าจะป้อนให้โมเดลอื่นได้โดยไม่แบ่งเป็นส่วน

ผลทดสอบ จุดแข็ง และการตีความคำกล่าวอ้าง

จากผลทดสอบมาตรฐาน 36 รายการ Alibaba ระบุว่า Qwen3 Omni ทำคะแนนสูงสุดใน 22 รายการ และเป็นผู้นำในกลุ่มโมเดลโอเพนซอร์ส 32 รายการ ผลด้านข้อความและการให้เหตุผลประกอบด้วยคะแนน 65.0 ใน AIME25 สูงกว่าตัวเลข 26.7 ที่เปิดเผยสำหรับ GPT 4o อย่างมาก และคะแนน 76.0 ใน ZebraLogic ซึ่งสูงกว่าคะแนน 57.9 ที่เผยแพร่สำหรับ Gemini 2.5 Flash ส่วน WritingBench ได้ 82.6 เทียบกับ 75.5 ของ GPT 4o ในด้านการพูดและเสียง อัตราความผิดพลาดของคำ (WER) ใน Wenetspeech อยู่ที่ 4.69 และ 5.89 จากชุดทดสอบมาตรฐานสองชุด สูงกว่าผล 15.30 และ 32.27 ที่รายงานสำหรับ GPT 4o มาก ขณะที่ Librispeech other ได้ WER ลดลงเหลือ 2.48 ซึ่งถือว่าต่ำเมื่อเทียบกับโมเดลใกล้เคียง

ผลด้านภาพและการมองเห็นประกอบด้วยคะแนน 59.7 ใน HallusionBench, 57.0 ใน MMMU pro และ 56.3 ใน MathVision full ซึ่งแต่ละรายการสูงกว่า GPT 4o ตามรายงานของบริษัท ด้านการทำความเข้าใจวิดีโอ โมเดลได้คะแนน 75.2 ใน MLVU สูงกว่าตัวเลข 71.0 ของ Gemini 2.0 Flash และ 64.6 ของ GPT 4o งานด้านดนตรีก็มีพัฒนาการเช่นกัน โดยได้คะแนน 93.0 ใน GTZAN และ 52.0 ใน RUL MuchoMusic ตัวเลขเหล่านี้สะท้อนทิศทางการออกแบบได้อย่างสอดคล้อง Qwen3 Omni วางมาตรฐานไว้สูงในด้านเสียงและการทำความเข้าใจภาพและเสียง ขณะเดียวกันก็รักษาความสามารถด้านข้อความและภาพได้ดี

ผลทดสอบมาตรฐานมีประโยชน์ แต่ยังเป็นการทดสอบภายใต้เงื่อนไขควบคุม ชุดข้อมูลและวิธีให้คะแนนอาจเอื้อประโยชน์ต่อข้อมูลฝึกบางประเภท การใช้งานจริงจะเผยให้เห็นความท้าทายใหม่ ๆ เช่น ไมโครโฟนที่มีเสียงรบกวน สำเนียง กล้องโทรศัพท์ที่ภาพไม่ชัด และการเปลี่ยนบริบทอย่างรวดเร็ว โมเดลมัลติโหมดเองก็ต้องแลกเปลี่ยนความสามารถเช่นกัน การฝึกให้ครอบคลุมหลายรูปแบบข้อมูลอาจลดประสิทธิภาพด้านข้อความเพียงอย่างเดียวลงเล็กน้อย เมื่อเทียบกับโมเดลขนาดใหญ่ที่เน้นข้อความเป็นหลัก ทีมงานควรทดลองใช้งานโดยเจาะจงกับข้อมูลของตนเอง แล้วเลือกใช้กลยุทธ์โมเดลแบบผสมหากจำเป็น หลายองค์กรจับคู่โมเดลมัลติโหมดขนาดเล็กที่ฟังและมองเห็นได้ กับโมเดลข้อความขนาดใหญ่ที่ใช้ร่างรายงานหรืออีเมล ใบอนุญาต Apache แบบเปิดช่วยให้จัดวางระบบเช่นนี้ได้ง่ายขึ้นโดยไม่ติดขัดกับขั้นตอนจัดซื้อ

เปรียบเทียบกับ GPT 4o, Gemini 2.5 Pro และ Gemma 3n

OpenAI วางมาตรฐานใหม่ด้วย GPT 4o ซึ่งรวมข้อความ ภาพ และเสียงเข้าด้วยกันอย่างแนบแน่นและพูดได้เป็นธรรมชาติ ส่วน Qwen3 Omni เพิ่มการวิเคราะห์วิดีโอเข้ามาในรายการอินพุต Google มีความสามารถวิเคราะห์วิดีโอใน Gemini 2.5 Pro แต่ยังเป็นโมเดลปิด ขณะที่ Google ยังมี Gemma 3n ซึ่งเป็นโมเดลเปิดและรองรับอินพุตข้อความ ภาพ เสียง และวิดีโอ แต่ส่งออกได้เฉพาะข้อความ Qwen3 Omni ส่งออกได้ทั้งข้อความและเสียงพูด จึงเพิ่มขอบเขตการใช้งานแบบโต้ตอบ เช่น การแปลสดหรือการส่งต่องานระหว่างตัวแทนในศูนย์บริการลูกค้า

อีกประเด็นที่สร้างความแตกต่างคือเงื่อนไขใบอนุญาต Qwen3 Omni เผยแพร่ภายใต้ Apache 2.0 พร้อมสิทธิการใช้งานสิทธิบัตร ทำให้บริษัทสามารถนำไปใช้ แก้ไข และเปิดตัวผลิตภัณฑ์ได้โดยไม่ต้องเปิดเผยซอร์สโค้ดหรือจ่ายค่าธรรมเนียมระหว่างใช้งาน ส่วนโมเดลปิดต้องเสียค่าเข้าถึงและจำกัดการใช้งานไว้กับแพลตฟอร์มของผู้ให้บริการ โมเดลเปิดสมัยใหม่มักมีข้อควรเข้าใจอย่างหนึ่ง คือเปิดให้ใช้ทั้งน้ำหนักโมเดลและโค้ดสำหรับใช้งาน แต่สูตรการสร้างโมเดลขึ้นใหม่ทั้งหมด รวมถึงข้อมูลฝึกที่ผ่านการคัดสรร มักไม่เปิดเผยต่อสาธารณะ สำหรับผู้ใช้งานจำนวนมาก เป้าหมายหลักคือการรันโมเดล ปรับแต่ง และผสานเข้ากับระบบที่ใช้งานจริง ซึ่งทำได้ในกรณีนี้

ความหน่วงอยู่ในระดับแข่งขันได้ Alibaba ระบุว่าเริ่มส่งแพ็กเก็ตเสียงได้ในเวลาราว 234 มิลลิวินาที และวิดีโอราว 547 มิลลิวินาที ซึ่งอยู่ในระดับเดียวกับระบบสนทนาชั้นนำ บริษัทต่าง ๆ ต้องประเมินเป้าหมายระดับการให้บริการนอกเหนือจากเวลาเริ่มส่งแพ็กเก็ต เช่น เวลาที่เนื้อหาจะมีความเสถียรและเวลาตอบกลับทั้งหมดสำหรับคำตอบยาว ๆ Qwen3 Omni ยังมี API เวอร์ชัน Flash ที่ตอบสนองเร็วขึ้นไปอีก คล้ายกับแพ็กเกจที่เน้นความเร็วในระบบนิเวศอื่น

การเข้าถึง ราคา และโควตาใช้งานฟรี

นักพัฒนาสามารถทดลองใช้ Qwen3 Omni ได้หลายช่องทาง น้ำหนักโมเดลมีให้ใช้งานบนฮับโมเดลรายใหญ่ ส่วน API เปิดให้ใช้งานตามต้องการ พร้อมโควตาฟรีหนึ่งล้านโทเค็นสำหรับข้อมูลทุกประเภทเป็นเวลา 90 วันหลังเปิดใช้งาน คิดค่าบริการต่อหนึ่งพันโทเค็น อินพุตข้อความมีราคา 0.00025 ดอลลาร์ อินพุตเสียงราคา 0.00221 ดอลลาร์ อินพุตภาพและวิดีโอราคา 0.00046 ดอลลาร์ เอาต์พุตข้อความมีราคา 0.00096 ดอลลาร์ต่อหนึ่งพันโทเค็น เมื่ออินพุตเป็นข้อความอย่างเดียว หรือ 0.00178 ดอลลาร์เมื่ออินพุตมีภาพหรือเสียง หากขอเอาต์พุตทั้งข้อความและเสียง ส่วนเสียงมีราคา 0.00876 ดอลลาร์ต่อหนึ่งพันโทเค็น ส่วนข้อความไม่มีค่าใช้จ่าย

ราคาเหล่านี้ต่ำกว่าบริการปิดหลายราย จึงรองรับการทดลองได้โดยไม่ต้องกังวลกับค่าใช้จ่ายสูง บริษัทระบุว่าราคาใน Thinking Mode และ Non Thinking Mode เท่ากัน ส่วนเอาต์พุตเสียงจำกัดให้ใช้ได้เฉพาะ Non Thinking Mode แพลตฟอร์มยังแสดงขีดจำกัดบริบทและตัวเลือกโมเดลไว้ใน Model Studio ซึ่งบริษัทสามารถเลือกโมเดลตามความเร็ว คุณภาพ และราคา ดูรายละเอียดอย่างเป็นทางการได้ที่หน้า Alibaba Cloud Model Studio ผ่านลิงก์นี้

ตัวอย่างการใช้งาน ตั้งแต่ศูนย์บริการลูกค้าจนถึงเครื่องมือสื่อ

Qwen3 Omni ออกแบบมาสำหรับงานที่การมองเห็น การฟัง และการพูดสร้างความแตกต่างได้ ตัวอย่างต่อไปนี้แสดงให้เห็นขอบเขตการใช้งาน:

• ฝ่ายสนับสนุนด้านเทคนิคแบบเรียลไทม์ ผู้ช่วยสามารถรับภาพจากกล้องโทรศัพท์พร้อมฟังลูกค้า แล้วให้คำแนะนำทีละขั้นตอนด้วยเสียงพูดที่เป็นธรรมชาติ
• การถอดเสียงและแปลหลายภาษา โมเดลถอดเสียงการประชุม การโทร หรือการบรรยายได้หลายภาษา จากนั้นสรุปเป็นภาษาอังกฤษหรือตอบกลับด้วยเสียงในอีกภาษาหนึ่ง
• การบรรยายเสียงและติดแท็กเพลง โมเดล Captioner เขียนคำอธิบายเสียงที่มีอัตราการหลอนข้อมูลต่ำ รวมถึงเสียงพื้นหลังและลักษณะของดนตรี ซึ่งเป็นประโยชน์ต่อการค้นหาและการจัดการสิทธิ
• การทำความเข้าใจวิดีโอ โมเดลตอบคำถามเกี่ยวกับเหตุการณ์ในคลิป ติดตามเหตุการณ์ และสรุปฉากได้
• OCR และการรับเอกสาร การผสานการมองเห็นเข้ากับภาษาเอื้อให้ดึงข้อมูลจากแบบฟอร์มหรือใบเสร็จ แล้วตรวจสอบความถูกต้องตามบริบท
• ผู้ช่วยสำหรับผู้บริโภค อุปกรณ์สวมใส่หรือโทรศัพท์สามารถใช้โมเดลแปลเมนู ระบุสถานที่สำคัญ และรองรับฟีเจอร์การเข้าถึง เช่น บรรยายสิ่งรอบตัว

นักพัฒนาสามารถปรับแต่งรูปแบบการสนทนาและบุคลิกของโมเดลผ่าน system prompt ได้ นอกจากนี้ยังรองรับการใช้เครื่องมือ โดยโมเดลเรียกใช้บริการภายนอกเพื่อค้นคืนข้อมูล คำนวณ หรือค้นหาฐานข้อมูลได้ ทำให้สร้างรูปแบบการทำงานแบบเอเจนต์ ซึ่งโมเดลวางแผน เรียกใช้เครื่องมือ และรายงานผลกลับมาเป็นเสียงพูดได้

ใบอนุญาตและผลต่อองค์กร

ใบอนุญาต Apache 2.0 เป็นองค์ประกอบสำคัญของการเปิดตัวครั้งนี้ อนุญาตให้นำไปใช้เชิงพาณิชย์ แก้ไข และเผยแพร่ต่อ พร้อมให้สิทธิการใช้งานสิทธิบัตรที่ช่วยลดความเสี่ยงทางกฎหมายเมื่อนำโมเดลไปผสานเข้ากับระบบกรรมสิทธิ์ของบริษัท องค์กรสามารถฝัง Qwen3 Omni ไว้ในผลิตภัณฑ์หรือขั้นตอนทำงานภายในได้โดยไม่เสียค่าธรรมเนียมให้ผู้ให้บริการ และไม่จำเป็นต้องเปิดซอร์สโค้ดส่วนที่แก้ไข นี่เป็นข้อดีสำหรับภาคธุรกิจที่อยู่ภายใต้การกำกับดูแล ซึ่งต้องควบคุมเส้นทางข้อมูลและการบันทึกข้อมูล น้ำหนักโมเดลที่เปิดให้ใช้งานยังรองรับการติดตั้งภายในองค์กรหรือโฮสต์บนคลาวด์ที่เชื่อถือได้

การเปิดโมเดลไม่ได้ช่วยแก้ปัญหาทุกข้อโดยอัตโนมัติ โดยทั่วไปจะไม่มีข้อมูลฝึกและโค้ดฝึกทั้งหมดรวมมาด้วย ชุมชนจึงไม่สามารถสร้างกระบวนการพัฒนาเดิมขึ้นใหม่ได้ทั้งหมด สำหรับธุรกิจจำนวนมาก เรื่องนี้ยอมรับได้ เพราะเป้าหมายหลักคือรันโมเดล ปรับแต่ง และบรรลุเป้าหมายระดับการให้บริการ การเปิดตัวนี้ยังสนับสนุนแนวคิดการใช้โมเดลหลายตัวร่วมกัน ทีมสามารถผสานโมเดลมัลติโหมดแบบเปิดที่ทำงานรวดเร็วกับโมเดลกรรมสิทธิ์ขนาดใหญ่กว่าเมื่อเห็นว่าเหมาะสม หรือเลือกใช้ระบบเปิดทั้งหมดเพื่อหลีกเลี่ยงข้อจำกัดของแพลตฟอร์ม ไม่ว่าจะเลือกแนวทางใด การมีโมเดลที่เข้าใจวิดีโอและรองรับเสียงภายใต้ใบอนุญาตที่ยืดหยุ่นก็ช่วยขยายขอบเขตการพัฒนาโดยไม่ต้องเจรจายืดเยื้อ

ความเสี่ยง มาตรการป้องกัน และสิ่งที่ควรประเมินต่อ

โมเดลมัลติโหมดก่อให้เกิดคำถามด้านความปลอดภัยและการรักษาความปลอดภัยที่มากกว่าการประมวลผลข้อความ อินพุตเสียงและวิดีโออาจมีข้อมูลอ่อนไหว ส่วนเสียงพูดที่สร้างขึ้นอาจทำให้เข้าใจผิด หากไม่มีการยึดโยงกับข้อมูลหรือผ่านการกรอง Alibaba ระบุถึงขั้นตอนการควบคุมที่โมดูลภายนอกสามารถสกัดเอาต์พุตของ Thinker ก่อนที่ Talker จะสร้างเสียงพูดได้ การออกแบบนี้รองรับการตรวจสอบตามนโยบาย การค้นคืนข้อมูล หรือการกรองโดยทีม red team อย่างไรก็ตาม องค์กรยังควรตรวจสอบความปลอดภัยของเนื้อหาในสภาพแวดล้อมและภูมิภาคที่ใช้งานจริง รวมถึงการป้องกัน prompt injection การควบคุมความเป็นส่วนตัว และการขอความยินยอมก่อนบันทึกหรือวิเคราะห์

ควรทดสอบคำกล่าวอ้างด้านประสิทธิภาพกับข้อมูลจริง สำเนียง ศัพท์เฉพาะของแต่ละวงการ และเสียงพื้นหลังอาจทำให้คุณภาพการรู้จำเสียงพูดอัตโนมัติลดลง แสงน้อยหรือภาพเบลอจากการเคลื่อนไหวอาจลดความสามารถในการทำความเข้าใจภาพ การใช้เครื่องมือและการประสานงานระหว่างเอเจนต์ยังทำให้เกิดข้อผิดพลาดรูปแบบใหม่ เช่น เรียกใช้เครื่องมือผิดหรือทำงานวนซ้ำ จำเป็นต้องมีนโยบายกำกับดูแลสำหรับการบันทึกข้อมูล การตรวจสอบโดยมนุษย์ และการย้อนกลับการเปลี่ยนแปลง สุดท้าย โครงสร้างพื้นฐานก็สำคัญ การให้บริการเสียงแบบเรียลไทม์ในวงกว้างต้องวางแผนอย่างรอบคอบทั้งด้านปริมาณงาน หน่วยความจำ GPU และการลดภาระเมื่อระบบแน่น แม้ Mixture of Experts จะช่วยเพิ่มประสิทธิภาพ แต่ทีมก็ต้องจัดขนาดคลัสเตอร์และแคชให้รองรับช่วงที่มีคำขอพุ่งสูงและบริบทที่ยาว

ประเด็นสำคัญ

• Alibaba เปิดตัว Qwen3 Omni เป็นโมเดลเปิดภายใต้ Apache 2.0 รับอินพุตข้อความ ภาพ เสียง และวิดีโอ พร้อมเอาต์พุตทั้งข้อความและเสียงพูด
• ระบบใช้สถาปัตยกรรม Thinker และ Talker ร่วมกับ Mixture of Experts เพื่อรองรับการทำงานพร้อมกันและการสตรีมเสียงพูดที่มีความหน่วงต่ำ
• บริษัทระบุเวลาเริ่มส่งแพ็กเก็ตไว้ที่ราว 234 มิลลิวินาทีสำหรับเสียง และราว 547 มิลลิวินาทีสำหรับวิดีโอ โดยมีค่า real time factor ต่ำกว่า 1
• มีโมเดลสามเวอร์ชัน ได้แก่ Instruct สำหรับการโต้ตอบครบรูปแบบ Thinking สำหรับการให้เหตุผลเชิงลึกด้วยข้อความ และ Captioner สำหรับการบรรยายเสียง
• การฝึกใช้ Audio Transformer ที่พัฒนาขึ้นเฉพาะและฝึกด้วยข้อมูลราว 20 ล้านชั่วโมง รวมถึงคลังข้อมูลมัลติโหมดราว 2 ล้านล้านโทเค็น
• ตามผลทดสอบที่บริษัทเผยแพร่ Qwen3 Omni เป็นผู้นำในการทดสอบด้านเสียง วิดีโอ และการให้เหตุผลหลายรายการ ขณะยังแข่งขันได้ในด้านข้อความและการมองเห็น
• ราคาต่อหนึ่งพันโทเค็นอยู่ในระดับต่ำ พร้อมโควตาฟรีหนึ่งล้านโทเค็นผ่าน API เป็นเวลา 90 วัน และมีน้ำหนักโมเดลให้ดาวน์โหลดเพื่อโฮสต์เอง
• ใบอนุญาต Apache 2.0 อนุญาตให้ใช้เชิงพาณิชย์ แก้ไข และเผยแพร่ต่อ พร้อมสิทธิการใช้งานสิทธิบัตร ช่วยลดการผูกติดกับผู้ให้บริการ
• องค์กรควรทดสอบความปลอดภัย ความหน่วง และความแม่นยำกับข้อมูลจริง พร้อมวางแผนด้านการกำกับดูแลและโครงสร้างพื้นฐานเพื่อรองรับงานแบบเรียลไทม์