Alibaba เปิดตัว Qwen3-Omni: โมเดล AI มัลติโหมดโอเพนซอร์ส

คู่แข่งมัลติโหมดโดยกำเนิดเปิดให้ใช้ซอร์สโค้ด

Alibaba เปิดตัว Qwen3-Omni โมเดลปัญญาประดิษฐ์มัลติโหมดโดยกำเนิดที่รับข้อความ รูปภาพ เสียง และวิดีโอเป็นข้อมูลนำเข้า และตอบกลับเป็นข้อความหรือเสียงสังเคราะห์ โมเดลนี้เปิดให้ใช้เป็นโอเพนซอร์สภายใต้สัญญาอนุญาต Apache 2.0 ซึ่งอนุญาตให้นำไปใช้เชิงพาณิชย์ ดัดแปลง และเผยแพร่ต่อ พร้อมมอบสิทธิ์การใช้งานสิทธิบัตร การผสานความสามารถที่หลากหลายเข้ากับสัญญาอนุญาตแบบเปิดกว้างทำให้ Qwen3-Omni แข่งขันโดยตรงกับระบบปิดชั้นนำจากสหรัฐฯ ขณะเดียวกันก็ลดอุปสรรคในการนำไปใช้สำหรับสตาร์ตอัป นักวิจัย และองค์กรขนาดใหญ่

Qwen3-Omni สอดรับกับทิศทางของอุตสาหกรรมที่มุ่งสู่โมเดลแบบ omni ซึ่งออกแบบมาให้เข้าใจและทำงานข้ามรูปแบบข้อมูลได้แบบเรียลไทม์ Alibaba ระบุว่า Qwen3-Omni สร้างขึ้นเป็นระบบมัลติโหมดครบวงจรตั้งแต่ต้น ต่างจากระบบที่นำความสามารถด้านเสียงหรือภาพมาต่อเสริมบนโมเดลข้อความ โดยโมเดลประมวลผลเสียงและวิดีโอโดยตรงระหว่างคิด และสร้างเสียงผ่านโมดูลเสียงเฉพาะ จึงรักษาจังหวะการสนทนา น้ำเสียง และบริบทได้โดยไม่ต้องรอให้ประมวลผลไฟล์ทั้งหมดเสร็จ

รุ่นแรกเป็นตระกูลโมเดลพารามิเตอร์ 30,000 ล้านตัว ซึ่งใช้การออกแบบแบบ Mixture of Experts เพื่อให้การอนุมานรวดเร็วและปรับขนาดได้ Alibaba รายงานว่าเวลาแฝงก่อนแพ็กเก็ตแรกต่ำสุดอยู่ที่ 234 มิลลิวินาทีสำหรับเสียง และ 547 มิลลิวินาทีสำหรับวิดีโอ โดยมีค่า RTF (อัตราเรียลไทม์) ต่ำกว่าหนึ่งแม้มีคำขอพร้อมกัน ระบบรองรับ 119 ภาษาสำหรับข้อความ 19 ภาษาสำหรับการรับเสียง และ 10 ภาษาสำหรับการส่งออกเสียง เปิดทางสู่การพัฒนาผู้ช่วยหลายภาษา ศูนย์บริการลูกค้า และบริการแปลสด

การเปิดตัวเกิดขึ้นในช่วงที่ Alibaba วางตำแหน่งธุรกิจคลาวด์ให้เป็นผู้ให้บริการ AI แบบครบวงจร และโมเดลโอเพนซอร์สจากจีนกำลังได้รับความนิยมบนแพลตฟอร์มนักพัฒนา ภายในไม่กี่วัน โมเดลย่อยของ Qwen3-Omni ก็ขึ้นสู่อันดับต้น ๆ ของรายการยอดนิยมบน Hugging Face สะท้อนความสนใจอย่างมากจากชุมชนทั่วโลก บริษัทยังเปิดให้บริการ API รุ่นที่เร็วขึ้น พร้อมโฮสต์ไฟล์น้ำหนักโมเดลเพื่อให้ดาวน์โหลดและติดตั้งใช้งานในเครื่องได้โดยตรง

อะไรทำให้ Qwen3-Omni แตกต่าง

Qwen3-Omni ออกแบบมาให้คิดและพูดควบคู่กัน ส่วน Thinker รับผิดชอบการให้เหตุผลแบบมัลติโหมด ส่วน Talker แปลงผลลัพธ์จาก Thinker เป็นเสียงพูดที่เป็นธรรมชาติ โดยอาศัยคุณลักษณะด้านเสียงและภาพโดยตรง การแยกส่วนเช่นนี้ช่วยให้นักพัฒนาแทรกระบบดึงข้อมูล การตรวจสอบความปลอดภัย หรือตรรกะทางธุรกิจในขั้น Thinker ก่อนที่ระบบจะพูดข้อความใด ๆ ซึ่งเป็นประโยชน์กับกระบวนการทำงานที่มีกฎระเบียบกำกับ

Thinker และ Talker

Thinker เป็นโมเดลภาษาขนาดใหญ่ที่ฝึกด้วยข้อความ เสียง รูปภาพ และวิดีโอ รวมราว 2 ล้านล้านโทเคน โดยใช้การจัดเส้นทางแบบ Mixture of Experts เพื่อเปิดใช้งานพารามิเตอร์เพียงบางส่วนในแต่ละโทเคน ช่วยลดต้นทุนการประมวลผลและเพิ่มปริมาณงาน ส่วน Talker เป็นระบบสร้างเสียงขนาดเล็กที่ใช้วิธี autoregressive แบบหลาย codebook เพื่อรักษาเอกลักษณ์ของเสียงและท่วงทำนองการพูด พร้อมเครือข่าย Code2Wav ขนาดกะทัดรัดสำหรับเรนเดอร์เสียงอย่างรวดเร็ว

สตรีมมิงเรียลไทม์และการแคช

เวลาแฝงมีความสำคัญต่อการสนทนา Alibaba รายงานว่าระบบสตรีมมิงเริ่มส่งโทเคนเสียงแรกที่ได้ยินภายในเวลาราวหนึ่งในสี่วินาทีสำหรับเสียง และราวครึ่งวินาทีสำหรับบริบทวิดีโอ ระบบเสียงประกอบด้วยตัวเข้ารหัส Audio Transformer รุ่นใหม่ที่ฝึกด้วยเสียงแบบมีผู้กำกับ 20 ล้านชั่วโมง ส่วนใหญ่เป็นข้อมูล ASR ภาษาจีนและอังกฤษ พร้อมครอบคลุมภาษาอื่น ๆ ทั่วโลก ตัวเข้ารหัสรองรับทั้งการแคชออนไลน์สำหรับการโทรสดและการเข้ารหัสออฟไลน์สำหรับงานแบบชุด

ภาษาและบริบทยาว

นักพัฒนาสามารถป้อนพรอมต์และบทถอดเสียงที่ยาวได้ Thinking Mode รองรับบริบทสูงสุด 65,536 โทเคน โดยมีสายการให้เหตุผลยาวได้สูงสุด 32,768 โทเคน ส่วน Non Thinking Mode รองรับสูงสุด 49,152 โทเคน โมเดลรับข้อมูลนำเข้าสูงสุด 16,384 โทเคน และสร้างข้อความขาออกได้สูงสุด 16,384 โทเคน ปัจจุบันระบบเสียงรองรับภาษาขาออก 10 ภาษา ซึ่งเป็นจำนวนที่ใช้งานได้จริงสำหรับโครงการนำร่องระดับโลกด้านบริการลูกค้าและงานภาคสนาม

โมเดล โหมด และราคา

Alibaba เปิดตัวโมเดลตระกูล 30B จำนวน 3 รุ่น เพื่อให้ทีมเลือกปรับใช้ตามความต้องการ รุ่น Instruct รวมระบบ Thinker และ Talker ทั้งชุด รองรับข้อมูลนำเข้าเป็นเสียง วิดีโอ และข้อความ แล้วสร้างผลลัพธ์เป็นข้อความและเสียง รุ่น Thinking มุ่งเน้นการให้เหตุผลที่ซับซ้อนและห่วงโซ่ความคิดแบบยาว ใช้ข้อมูลนำเข้ามัลติโหมดชุดเดียวกัน แต่ส่งออกเป็นข้อความเท่านั้น จึงเหมาะกับงานวิจัย การวิเคราะห์ และบันทึกขององค์กรที่ต้องปฏิบัติตามข้อกำหนด ส่วนรุ่น Captioner เป็นโมเดลเฉพาะทางที่ปรับแต่งเพิ่มเติมสำหรับการบรรยายเสียง โดยมุ่งสร้างคำอธิบายเพลง คำพูด และเสียงผสมที่แม่นยำ พร้อมลดอัตราการหลอนข้อมูล

ดาวน์โหลด Qwen3-Omni ได้จากคลังโมเดล ดูโค้ดและไฟล์น้ำหนักได้บน GitHub และใช้งานผ่าน API ของ Alibaba Cloud ซึ่งมีตัวเลือก Flash ที่เร็วขึ้นสำหรับบริการแบบโต้ตอบ ผู้ใช้ใหม่ได้รับโควตาฟรี 1 ล้านโทเคน ใช้ได้ 90 วันหลังเปิดใช้งาน สำหรับการใช้งานแบบชำระเงิน คิดราคาต่อ 1,000 โทเคน ข้อความขาเข้าคิด 0.00025 ดอลลาร์ ข้อมูลนำเข้าที่เป็นรูปภาพหรือวิดีโอคิด 0.00046 ดอลลาร์ และข้อมูลเสียงขาเข้าคิด 0.00221 ดอลลาร์ สำหรับผลลัพธ์ ข้อความคิด 0.00096 ดอลลาร์เมื่อข้อมูลนำเข้าเป็นข้อความเท่านั้น และเพิ่มเป็น 0.00178 ดอลลาร์เมื่อข้อมูลนำเข้ามีรูปภาพหรือเสียง หากนักพัฒนาขอผลลัพธ์ทั้งข้อความและเสียง ส่วนเสียงคิด 0.00876 ดอลลาร์ต่อ 1,000 โทเคน ส่วนข้อความไม่มีค่าใช้จ่าย

API รองรับผลลัพธ์เสียงเฉพาะใน Non Thinking Mode การเลือกเช่นนี้ช่วยให้จัดตารางการส่งเสียงสตรีมมิงได้ง่ายขึ้นและหลีกเลี่ยงความขัดแย้งกับการให้เหตุผลแบบมีโครงสร้างที่ใช้เวลานาน ทีมที่ต้องการห่วงโซ่ความคิดที่ละเอียดสามารถใช้โมเดล Thinking เพื่อวางแผนหรือดึงข้อมูล แล้วส่งคำตอบสุดท้ายต่อให้ระบบเรนเดอร์เสียงหรือโมเดล Instruct เพื่อสร้างเสียงพูด

เกณฑ์ทดสอบและวิธีอ่านผล

Alibaba รายงานผลที่แข็งแกร่งจากการทดสอบสาธารณะ 36 รายการ โดยได้คะแนนระดับแนวหน้าถึง 22 รายการ และนำในกลุ่มโมเดลเปิด 32 รายการ ตัวเลขชี้ให้เห็นถึงระบบที่สมดุล รักษาคุณภาพด้านข้อความและภาพไว้ได้ พร้อมพัฒนาความสามารถด้านเสียง จุดเด่นรวมถึงคะแนนงานให้เหตุผลที่ Qwen3-Omni ทำได้ 65.0 ใน AIME25 และ 76.0 ใน ZebraLogic ส่วน WritingBench ได้ 82.6 ด้านการถอดเสียง โมเดลมีอัตราความผิดพลาดของคำ 4.69 และ 5.89 ใน Wenetspeech และ 2.48 ใน Librispeech other ซึ่งถือว่าต่ำมากสำหรับชุดข้อมูลดังกล่าว คะแนนด้านการแท็กและจำแนกเพลง เช่น 93.0 ใน GTZAN และ 52.0 ใน RUL-MuchoMusic แสดงให้เห็นถึงความสามารถในการจับแนวเพลงและคุณลักษณะของเสียง

ผลทดสอบด้านภาพและคณิตศาสตร์ก็แสดงให้เห็นถึงจุดแข็งเช่นกัน HallusionBench ได้ 59.7, MMMU_pro ได้ 57.0 และ MathVision_full ได้ 56.3 ส่วนการทำความเข้าใจวิดีโอ Qwen3-Omni ได้ 75.2 ใน MLVU ผลดังกล่าวทำให้โมเดลมีคะแนนเหนือกว่าโมเดลปิดหลายรุ่นในการทดสอบเฉพาะเหล่านี้ รวมถึง GPT 4o และ Gemini 2.0 Flash ตามตัวเลขที่ Alibaba เผยแพร่

ผลทดสอบไม่ได้ครอบคลุมทุกสถานการณ์ที่ผู้ใช้ต้องเจอ การสนทนาจริงอาจมีเสียงรบกวนมาก สำเนียงหลากหลาย และสภาพแสงที่เปลี่ยนไป ขณะที่งานธุรกิจมักต้องเรียกใช้เครื่องมือหลายอย่างต่อเนื่อง บทวิจารณ์อิสระในช่วงแรกชี้ว่าโมเดลขนาดเล็กบางรุ่นยังมีปัญหาเมื่อต้องทำงานนอกเหนือจากการทดสอบที่จัดเตรียมไว้ แม้จะทำคะแนนได้ดีในตารางจัดอันดับ นักพัฒนาควรทดลองใช้งานจริงกับข้อมูลของตนเอง โดยเฉพาะกรณีเฉพาะอย่างศัพท์เฉพาะในอุตสาหกรรม แผนภาพเฉพาะทาง หรือเสียงผู้พูดที่ซ้อนทับกัน

เปรียบเทียบกับ GPT 4o, Gemini และ Gemma

Qwen3-Omni เข้าสู่การแข่งขันที่มี GPT 4o จาก OpenAI และ Gemini 2.5 จาก Google ซึ่งเป็นระบบที่มีความสามารถสูงและผสานอยู่ในแพลตฟอร์มขนาดใหญ่แล้ว ทั้งสองเป็นระบบปิด ผู้ใช้จ่ายเงินตามจำนวนครั้งที่เรียกใช้ และไม่มีสิทธิตามกฎหมายในการดัดแปลงโมเดลพื้นฐานหรือเผยแพร่ต่อ Qwen3-Omni เผยแพร่ภายใต้ Apache 2.0 ซึ่งเป็นสัญญาอนุญาตแบบเปิดกว้าง อนุญาตให้ใช้เชิงพาณิชย์ แก้ไขโค้ดและไฟล์น้ำหนัก และเผยแพร่ต่อได้ ทั้งยังมีสิทธิ์ใช้งานสิทธิบัตร การผสานเงื่อนไขเหล่านี้ช่วยลดความเสี่ยงทางกฎหมายสำหรับบริษัทที่ต้องฝัง AI ไว้ในผลิตภัณฑ์หรือระบบส่วนตัวโดยตรง

ในด้านการใช้งาน Qwen3-Omni รับข้อความ รูปภาพ เสียง และวิดีโอ และตอบกลับได้ทั้งข้อความหรือเสียง GPT 4o รับข้อความ รูปภาพ และเสียงเป็นข้อมูลนำเข้า และตอบกลับเป็นข้อความกับเสียง แต่การตั้งค่าหลักไม่รองรับคลิปวิดีโอเป็นข้อมูลนำเข้า Gemini 2.5 Pro วิเคราะห์ข้อมูลวิดีโอได้ และให้ผลลัพธ์เป็นข้อความกับเสียงผ่านบริการของ Google Alibaba วางตำแหน่ง Qwen3-Omni ให้เป็นระบบมัลติโหมดโดยกำเนิด ซึ่งถือว่าเสียงและภาพเป็นองค์ประกอบหลัก ไม่ใช่ส่วนเสริมบนแกนโมเดลข้อความ

Google ยังให้บริการ Gemma 3n ในรูปแบบโอเพนซอร์สภายใต้ Apache 2.0 ด้วย Gemma 3n รับวิดีโอ เสียง ข้อความ และรูปภาพได้ แต่ส่งออกได้เฉพาะข้อความ สำหรับทีมที่ต้องการระบบเปิดเต็มรูปแบบพร้อมการสร้างเสียงพูดสด Qwen3-Omni อาจเป็นตัวเลือกเดียวในขณะนี้ที่มีสัญญาอนุญาตแบบเปิดกว้างและสร้างเสียงพูดได้ทันทีโดยไม่ต้องติดตั้งส่วนเสริม

เหตุใด Apache 2.0 จึงสำคัญต่อผู้ใช้งาน

สัญญาอนุญาตเป็นตัวกำหนดว่าโมเดลจะทำงานที่ใดและนำไปพัฒนาเป็นผลิตภัณฑ์ได้อย่างไร Apache 2.0 อนุญาตให้ปรับแต่งโมเดลเพิ่มเติมและเผยแพร่ต่อในรูปแบบปิดได้ โดยไม่บังคับให้เปิดเผยโมเดลต่อยอด ทั้งยังมีสิทธิ์ใช้งานสิทธิบัตรและสัญญาอนุญาตสำหรับการสนับสนุนโครงการ สำหรับอุตสาหกรรมที่มีกฎกำกับและตรวจสอบสิทธิในทรัพย์สินทางปัญญา เงื่อนไขเหล่านี้ช่วยลดความเสี่ยงในการผสานระบบ บริษัทสามารถติดตั้ง Qwen3-Omni บนเซิร์ฟเวอร์ของตนเอง บนคลาวด์ที่เลือก หรือที่อุปกรณ์ปลายทาง พร้อมเก็บโมเดลที่ปรับแต่งเองไว้เป็นส่วนตัว

การใช้งานในองค์กรและการพัฒนา

Qwen3-Omni รองรับงานได้หลากหลาย ระบบข้อความและเสียงหลายภาษาสามารถขับเคลื่อนการถอดเสียงในศูนย์บริการลูกค้าและการแปลสดระหว่าง 19 ภาษาขาเข้าและ 10 ภาษาขาออก โมเดลบรรยายเสียงช่วยอธิบายเพลง เสียงแวดล้อม และคลิปเสียงผสมให้บรรณาธิการ นักจดหมายเหตุ และเครื่องมือช่วยการเข้าถึง ส่วนระบบประมวลผลภาพอ่านภาพหน้าจอและภาพถ่ายเพื่อทำ OCR และวิเคราะห์เค้าโครง ซึ่งช่วยทำงานหลังบ้านและขั้นตอนรับลูกค้าใหม่ให้เป็นระบบอัตโนมัติ

การทำความเข้าใจวิดีโอเป็นความสามารถสำคัญ เจ้าหน้าที่บริการช่วยเหลือสามารถวิเคราะห์คลิปสั้นจากโทรศัพท์เพื่อระบุไฟแสดงข้อผิดพลาดหรือสายเคเบิลที่ต่อผิด แอปบำรุงรักษาสามารถตรวจดูสตรีมสดเพื่อยืนยันว่ามีการเปิดวาล์วแล้ว เนื่องจาก Thinker และ Talker ทำงานควบคู่กัน ระบบจึงเริ่มพูดได้ขณะประมวลผลเฟรมที่เข้ามาอย่างต่อเนื่อง ทำให้จังหวะการโต้ตอบเป็นธรรมชาติคล้ายมนุษย์ในกรณีใช้งานแบบไม่ต้องใช้มือ

การแยกขั้นคิดและขั้นพูดอย่างชัดเจนช่วยให้นักพัฒนาควบคุมระบบได้ ระบบดึงข้อมูลสามารถนำเอกสารของบริษัทมาใช้ ตัวกรองนโยบายสามารถคัดกรองเนื้อหา และการตรวจสอบความปลอดภัยสามารถตรวจสายการให้เหตุผลก่อนที่ Talker จะสร้างเสียง รูปแบบนี้เหมาะกับผู้ช่วยสำหรับผู้บริโภคที่ต้องรักษาภาพลักษณ์แบรนด์ เครื่องมือสรุปข้อมูลสำหรับองค์กรที่ต้องป้องกันการรั่วไหลของข้อมูล และเครื่องมือภาคสนามที่ต้องให้คำแนะนำทีละขั้นตอน

การใช้เครื่องมือและเอเจนต์

สามารถเชื่อมต่อ Qwen3-Omni กับเครื่องมือและบริการภายนอกเพื่อทำงานที่ซับซ้อนได้ เช่น เรียกใช้การค้นหา สอบถามฐานข้อมูล หรือสั่งให้ระบบจัดการเวิร์กโฟลว์ทำงาน Alibaba ยังพัฒนากรอบการทำงานสำหรับเอเจนต์บนแพลตฟอร์มคลาวด์ เพื่อให้ทีมที่เขียนโค้ดน้อยหรือเขียนโค้ดเต็มรูปแบบสามารถประกอบเครื่องมือ จัดตารางงาน และนำระบบขึ้นใช้งานจริงได้ ด้วยหน้าต่างบริบทที่มากกว่า 49,000 โทเคนใน Non Thinking Mode โมเดลจึงรองรับเซสชันหลายขั้นตอนที่ยาวนานและติดตามการดำเนินการก่อนหน้าได้

การนำไปใช้ ตลาด และกลยุทธ์

ความสนใจจากนักพัฒนาเกิดขึ้นอย่างรวดเร็ว โมเดลในตระกูล Qwen3 ครองหลายอันดับต้น ๆ บนกระดานโมเดลยอดนิยมหลัก โดย Qwen3-Omni-30B-A3B มักขึ้นอันดับหนึ่ง การปรากฏตัวดังกล่าวสะท้อนกระแสโมเดลเปิดจากจีนที่กำลังได้รับความสนใจทั้งในแวดวงวิจัยและอุตสาหกรรม

สัญญาณจากตลาดก็ชี้ไปในทิศทางเดียวกัน หุ้น Alibaba ปรับขึ้นจากความเชื่อมั่นที่เพิ่มขึ้นต่อการผลักดันธุรกิจ AI และคลาวด์ของบริษัท หลังนักวิเคราะห์ปรับเพิ่มคำแนะนำและกองทุนทั่วโลกกลับมาให้ความสนใจ บริษัทกำลังขยายศูนย์ข้อมูลเพื่อรองรับลูกค้านอกประเทศจีน โดยเปิดศูนย์แห่งใหม่ในบราซิล ฝรั่งเศส และเนเธอร์แลนด์ และวางแผนเพิ่มกำลังรองรับในภูมิภาคอื่น Alibaba ยังลงทุนอย่างหนักในโครงสร้างพื้นฐาน AI โดยให้คำมั่นว่าจะใช้จ่ายหลายหมื่นล้านดอลลาร์ในช่วงสามปีข้างหน้า และระบุว่าเม็ดเงินลงทุนด้าน AI โดยรวมจะเพิ่มขึ้น

ความร่วมมือด้านฮาร์ดแวร์เป็นส่วนหนึ่งของแผน Alibaba ประกาศความร่วมมือด้านซอฟต์แวร์กับ Nvidia เพื่อผสานเครื่องมือพัฒนา AI สำหรับงานต่าง ๆ เช่น การฝึก การจำลอง และการตรวจสอบความถูกต้อง บริษัทยังเผยโฉมโมเดล Qwen3 Max ขนาดใหญ่ขึ้น ซึ่งมีพารามิเตอร์มากกว่า 1 ล้านล้านตัว สำหรับการสร้างโค้ดขั้นสูงและพฤติกรรมของเอเจนต์ แสดงให้เห็นว่า Qwen3-Omni เป็นส่วนหนึ่งของตระกูลโมเดลที่ครอบคลุมตั้งแต่ผู้ช่วยแบบโต้ตอบไปจนถึงโมเดลวิจัยขนาดใหญ่

เสียงจาก Alibaba

Eddie Wu ประธานเจ้าหน้าที่บริหารของ Alibaba Group กล่าวถึงทิศทางบริษัทในการประชุมประจำปีที่หางโจว โดยระบุว่า AI และคลาวด์เป็นเครื่องยนต์คู่ที่จะขับเคลื่อนการเติบโตระยะถัดไป พร้อมเปิดเผยแผนขยายศูนย์ข้อมูลในต่างประเทศและกระชับความร่วมมือด้านการฝึกและการนำระบบไปใช้งาน

Wu ใช้คำกล่าวของเขาอธิบายเหตุผลที่บริษัทเพิ่มการลงทุนด้าน AI

AI และคลาวด์เป็นเครื่องยนต์ขับเคลื่อนการเติบโตของ Alibaba ควบคู่ไปกับอีคอมเมิร์ซ เราจะเพิ่มการใช้จ่ายและขยายกำลังรองรับเพื่อให้ตอบสนองความต้องการทั่วโลก

Lin Junyang นักวิจัยในทีม Qwen อธิบายว่าโครงการนี้นำผลงานก่อนหน้าในด้านเสียงและภาพมาต่อยอดเป็นระบบใหม่ได้อย่างไร

เรานำโครงการพื้นฐานด้านเสียงและภาพมาผสานกันเพื่อสร้าง Qwen3 Omni

ความเสี่ยง ข้อจำกัด และประเด็นที่ต้องติดตาม

แม้ผลทดสอบจะโดดเด่น แต่ก็ยังมีคำถามที่ต้องอาศัยการใช้งานจริงจึงจะตอบได้ เสียงในโลกจริงอาจมีเสียงรบกวนรอบข้างมาก เสียงพูดทับซ้อนกัน หรือสำเนียงที่พบไม่บ่อย วิดีโอมักมีแสงสะท้อน ภาพเบลอจากการเคลื่อนไหว หรือวัตถุบดบัง หากบริการของคุณต้องการความสามารถในการตรวจพบสิ่งต่าง ๆ ในแผนภาพเฉพาะทางได้อย่างครอบคลุมสูง หรือการถอดเสียงระดับที่ผ่านเกณฑ์กำกับดูแลในสาขาเฉพาะ ควรเผื่อเวลาสำหรับการคัดกรองข้อมูลและปรับแต่งโมเดลให้เข้ากับขอบเขตงาน

รุ่นปัจจุบันรองรับภาษาสำหรับสร้างเสียงพูด 10 ภาษา ซึ่งครอบคลุมตลาดจำนวนมากแล้ว แต่ทีมที่ต้องการรองรับภาษากลุ่มเล็กหรือภาษาที่ใช้น้อยจะต้องใช้ผลลัพธ์ข้อความหรือเครื่องมือสร้างเสียงจากภายนอก การแยก Thinker กับ Talker ก็ทำให้ต้องเลือกแนวทาง บางองค์กรอาจต้องการเก็บการให้เหตุผลแบบยาวไว้ในรูปข้อความเท่านั้น แล้วสังเคราะห์เสียงเฉพาะคำตอบสุดท้าย ขณะที่บางองค์กรอาจยอมรับผลลัพธ์ที่สั้นลงเพื่อแลกกับการตอบด้วยเสียงที่เร็วขึ้น ควรทดสอบทางเลือกเหล่านี้ให้สอดคล้องกับเป้าหมายด้านประสบการณ์ผู้ใช้

สัญญาอนุญาตโอเพนซอร์สเป็นข้อได้เปรียบสำหรับผู้พัฒนาผลิตภัณฑ์ แต่ก็หมายความว่าทุกคนสามารถดัดแปลงโมเดลได้เช่นกัน บริษัทควรใช้ตัวกรองเนื้อหา ระบบตรวจจับการใช้งานในทางที่ผิด และการติดตามการใช้งานเพื่อป้องกันการนำไปใช้ผิดวัตถุประสงค์ ในอีกด้านหนึ่ง Apache 2.0 มีสิทธิ์ใช้งานสิทธิบัตรซึ่งช่วยลดความเสี่ยงด้านทรัพย์สินทางปัญญาสำหรับผู้ใช้งาน เป็นปัจจัยสำคัญสำหรับทีมกำกับดูแลการปฏิบัติตามข้อกำหนดขององค์กร

สิ่งที่ได้คือผู้ช่วยมัลติโหมดที่คิดข้ามข้อความ ภาพ และเสียงได้ด้วยจังหวะที่ใกล้เคียงมนุษย์ หาก Qwen3-Omni ยังคงพิสูจน์ความสามารถได้เมื่อนำไปใช้นอกการประเมินที่จัดเตรียมไว้ ก็อาจกลายเป็นตัวเลือกมาตรฐานสำหรับทีมที่ต้องการควบคุมการทำงานในเครื่อง ค่าใช้จ่ายที่คาดการณ์ได้ และชุมชนนักพัฒนาที่กว้างขวาง

ประเด็นสำคัญ

• Qwen3-Omni รับข้อความ รูปภาพ เสียง และวิดีโอเป็นข้อมูลนำเข้า และส่งออกเป็นข้อความกับเสียงพูด
• โมเดลเป็นโอเพนซอร์สภายใต้ Apache 2.0 พร้อมสิทธิ์ใช้งานสิทธิบัตรสำหรับการใช้งานเชิงพาณิชย์
• Thinker รับผิดชอบการให้เหตุผล ส่วน Talker สร้างเสียงพูด ทั้งคู่ใช้ Mixture of Experts เพื่อเพิ่มความเร็ว
• เวลาแฝงก่อนแพ็กเก็ตแรกที่รายงานอยู่ที่ 234 มิลลิวินาทีสำหรับเสียง และ 547 มิลลิวินาทีสำหรับวิดีโอ
• รองรับ 119 ภาษาสำหรับข้อความ 19 ภาษาสำหรับเสียงขาเข้า และ 10 ภาษาสำหรับเสียงขาออก
• มีโมเดลให้เลือก 3 รุ่น ได้แก่ Instruct, Thinking และ Captioner
• ราคา API เริ่มต้นที่ 0.00025 ดอลลาร์ต่อข้อความ 1,000 โทเคน พร้อมทดลองใช้ฟรี 1 ล้านโทเคน
• ผลทดสอบแสดงความเป็นผู้นำในเกณฑ์ทดสอบด้านเสียง วิดีโอ และการให้เหตุผลหลายรายการ
• อันดับบน Hugging Face และความสนใจจากนักลงทุนเป็นสัญญาณถึงการนำไปใช้ที่รวดเร็ว
• Alibaba กำลังขยายศูนย์ข้อมูลและกระชับความร่วมมือกับ Nvidia พร้อมขยายตระกูล Qwen3