อาลีบาบาเปิดตัว Qwen3-Omni โมเดล AI พหุรูปแบบแบบโอเพนซอร์ส

โมเดลพหุรูปแบบโดยกำเนิดเปิดตัวในรูปแบบโอเพนซอร์ส

Alibaba Cloud เปิดตัว Qwen3-Omni โมเดล AI พหุรูปแบบที่ผสานข้อความ ภาพ เสียง และวิดีโอไว้ในระบบเดียวตั้งแต่ต้น การเปิดตัวครั้งนี้ขยายขอบเขตการแข่งขันด้านผู้ช่วยแบบเรียลไทม์ ด้วยการรวมความสามารถที่หลากหลายเข้ากับสัญญาอนุญาตโอเพนซอร์สที่เอื้อต่อภาคธุรกิจ โมเดลรองรับข้อมูลนำเข้าทั้งสี่รูปแบบ และตอบกลับได้ทั้งข้อความหรือเสียงพูดที่เป็นธรรมชาติ เปิดให้ดาวน์โหลด แก้ไข และนำไปใช้เชิงพาณิชย์ได้ฟรีภายใต้ Apache 2.0 ซึ่งเป็นสัญญาอนุญาตแบบผ่อนปรนที่ให้สิทธิด้านสิทธิบัตรด้วย การเคลื่อนไหวนี้ทำให้อาลีบาบากลายเป็นทางเลือกที่น่าเชื่อถือแทนผลิตภัณฑ์กรรมสิทธิ์ของ OpenAI และ Google พร้อมเปิดทางให้นักพัฒนาควบคุมได้เต็มที่ว่าจะใช้งานโมเดลที่ใดและอย่างไร

Qwen3-Omni เป็นส่วนหนึ่งของตระกูลโมเดล Qwen ที่ขยายขอบเขตการใช้งานอย่างต่อเนื่อง ทีมพัฒนาระบุว่าโมเดลรุ่นใหม่นี้ฝึกด้วยคลังข้อความขนาดใหญ่ รวมถึงข้อมูลเสียงและภาพจำนวนมหาศาล ก่อนปรับแต่งให้ตอบสนองได้ดีระหว่างการสนทนาสด โมเดลเปิดตัวสามรุ่นหลักซึ่งตอบโจทย์การใช้งานทั่วไป ได้แก่ Instruct ที่รองรับข้อมูลหลายรูปแบบและพูดตอบได้ Thinking ที่เน้นการให้เหตุผลกับโจทย์ยากและบริบทยาว และ Captioner ที่เชี่ยวชาญการบรรยายเสียงโดยมีอาการหลอนต่ำ ช่องทางเผยแพร่มีทั้งคลัง GitHub อย่างเป็นทางการ ฮับโมเดลอย่าง Hugging Face และ API ที่ให้บริการผ่านระบบโฮสต์ พร้อมตัวเลือก Flash ที่ประมวลผลได้เร็วขึ้น การเปิดตัวช่วงดึกยังมีระบบ Qwen3 TTS รุ่นใหม่และโมเดลแก้ไขภาพด้วย สะท้อนความพยายามสร้างชุดเครื่องมือครบวงจรสำหรับการโต้ตอบแบบพหุรูปแบบ

เหตุใดการเปิดตัวครั้งนี้จึงสำคัญ

ผู้ช่วยพหุรูปแบบกำลังเปลี่ยนจากเดโมไปสู่การใช้งานจริงในภาคธุรกิจ องค์กรต้องการโมเดลเดียวที่ฟัง ดู อ่าน และให้เหตุผลได้แบบเรียลไทม์ ก่อนพูดตอบด้วยจังหวะที่เป็นธรรมชาติ Qwen3-Omni มุ่งตอบโจทย์นี้โดยตรง การเปิดให้ใช้งานอย่างเสรีควบคู่กับคะแนนที่บริษัทระบุว่าอยู่ในระดับล้ำสมัยจากการทดสอบด้านเสียงพูด เสียง ภาพ และวิดีโอหลายชุด ทำให้การประกาศครั้งนี้มีความสำคัญต่อผู้ซื้อที่ต้องการความยืดหยุ่น ควบคุมราคาได้ และติดตั้งใช้งานในระบบของตนเอง

จุดต่างของ Qwen3-Omni เมื่อเทียบกับ GPT-4o และ Gemini

คู่แข่งเป็นผู้ทำให้แนวคิดโมเดล omni ที่มองเห็น ได้ยิน และพูดได้เป็นที่นิยม OpenAI รวมข้อความ ภาพ และเสียงไว้ในระบบเดียวด้วย GPT-4o ส่วน Google ขยายความสามารถวิเคราะห์วิดีโอให้ Gemini 2.5 ในบางระดับบริการ Qwen3-Omni สร้างขึ้นตั้งแต่ต้นให้เป็นระบบครบวงจรแบบ end-to-end สำหรับข้อมูลนำเข้าทั้งสี่ประเภท โมเดลเข้าใจวิดีโอได้ เช่น ตรวจจับฉากและติดตามเหตุการณ์ รับภาพนิ่งและเอกสารเพื่อทำ OCR และเชื่อมโยงคำตอบกับข้อมูลต้นทาง ฟังเสียงพูด และอ่านข้อความได้ คำตอบส่งออกเป็นข้อความหรือเสียงพูด ช่วยให้เอาต์พุตเรียบง่ายสำหรับการโต้ตอบสด โดยไม่ต้องรับมือกับความซับซ้อนของการสร้างภาพหรือวิดีโอ

ความแตกต่างสำคัญคือการเปิดให้ใช้งาน Qwen3-Omni เผยแพร่ภายใต้ Apache 2.0 ซึ่งเปิดทางให้องค์กรดาวน์โหลดน้ำหนักโมเดล รันบนโครงสร้างพื้นฐานของตนเอง และปรับแต่งพฤติกรรมให้เหมาะกับแต่ละอุตสาหกรรมได้โดยไม่ต้องเจรจาสัญญาอนุญาต ระบบกรรมสิทธิ์จำกัดการติดตั้งใช้งานเอง หรือเรียกเก็บเงินตามจำนวนโทเค็นสำหรับทุกการโต้ตอบ ส่วนตระกูลโมเดลเปิดอีกรายของ Google อย่าง Gemma ยังคงรองรับเฉพาะข้อความ จึงไม่ได้ครอบคลุมพหุรูปแบบในระดับเดียวกัน สำหรับทีมที่ต้องการใช้โมเดลเปิดเป็นมาตรฐานเดียวกันกับงานเสียง ภาพ และข้อความ Qwen3-Omni จึงเข้ามาเติมช่องว่างนี้

ความเร็วสำหรับการสนทนาสด

อาลีบาบาเผยตัวเลขเวลาแฝงเชิงทฤษฎีจนถึงแพ็กเก็ตแรกที่ประมาณ 234 มิลลิวินาทีสำหรับเสียง และประมาณ 547 มิลลิวินาทีสำหรับวิดีโอ ช่วงเวลาดังกล่าวสอดคล้องกับความคาดหวังของมนุษย์ในการผลัดกันพูด และทำให้การใช้งานแบบเรียลไทม์ในหลายพื้นที่เป็นไปได้เมื่อใช้ร่วมกับการสตรีมที่มีประสิทธิภาพ ตัวเลขที่รายงานวัดจากระบบภายใน ดังนั้นผลในการใช้งานจริงจะแตกต่างไปตามฮาร์ดแวร์ จำนวนงานพร้อมกัน และสภาพเครือข่าย ถึงอย่างนั้น เวลาแฝงที่ต่ำกว่าปัจจัยเรียลไทม์หนึ่งภายใต้ภาระงานก็บ่งชี้ว่าการออกแบบมุ่งรองรับการใช้งานจริง

เจาะลึกสถาปัตยกรรม

โมเดลใช้การออกแบบสองส่วนที่ทีมเรียกว่า Thinker และ Talker โดย Thinker รับหน้าที่ทำความเข้าใจและให้เหตุผลกับข้อมูลหลายรูปแบบ อ่านข้อความ วิเคราะห์พิกเซล และรับฟังคุณลักษณะของเสียง จากนั้นวางแผนและเรียบเรียงเนื้อหา ส่วน Talker มุ่งเน้นด้านเสียงพูด โดยแปลงตัวแทนระดับสูงให้เป็นเสียงธรรมชาติสำหรับการตอบกลับแบบสตรีม การแยกหน้าที่เช่นนี้ช่วยให้ระบบเสียงดำเนินไปตามจังหวะของตัวเอง ขณะที่โมเดลภาษาคิดล่วงหน้า

ทั้งสองส่วนใช้ Mixture of Experts ซึ่งเป็นเทคนิคที่ฝึกโครงข่ายย่อยเฉพาะทางจำนวนมาก แต่เปิดใช้เพียงบางส่วนต่อโทเค็นแต่ละตัว วิธีนี้เพิ่มอัตราการประมวลผลเมื่อต้องรองรับงานพร้อมกันจำนวนมาก โดยไม่ต้องเปิดใช้พารามิเตอร์ทั้งหมดในทุกขั้นตอน ระบบประมวลผลเสียงใช้วิธี autoregressive แบบ multi-codebook ที่บีบอัดเสียงให้เป็นรหัสดิจิทัลแบบไม่ต่อเนื่อง จากนั้นโครงข่ายคอนโวลูชัน Code2Wav ขนาดเล็กจะแปลงรหัสเหล่านั้นเป็นรูปคลื่นเสียง วิธีนี้ช่วยลดความหน่วงโดยยังรักษาเอกลักษณ์ของเสียงและท่วงทำนองการพูดไว้ ทำให้เสียงฟังดูเป็นหุ่นยนต์น้อยลงแม้มีเวลาแฝงต่ำ

Talker แยกการทำงานออกจากตัวแทนข้อความของ Thinker และรับเงื่อนไขจากคุณลักษณะด้านเสียงและภาพโดยตรง การออกแบบนี้ช่วยให้เสียงพูดสอดคล้องกับสิ่งที่เกิดขึ้นบนหน้าจอในการโต้ตอบระหว่างเสียงกับภาพ ในฝั่งการรับรู้ ตัวเข้ารหัส Audio Transformer ฝึกด้วยข้อมูลเสียงแบบมีผู้กำกับดูแลราว 20 ล้านชั่วโมง การฝึกก่อนเริ่มใช้งานดำเนินเป็นขั้นตอน ทีมเริ่มจากปรับตัวเข้ารหัสให้สอดคล้องกัน ฝึกด้วยโทเค็นราว 2 ล้านล้านรายการจากข้อความ เสียง ภาพ และวิดีโอ แล้วขยายบริบทเพื่อรองรับเซสชันที่ยาวขึ้น การฝึกหลังจากนั้นประกอบด้วยการปรับแต่งแบบมีผู้กำกับดูแล การกลั่นความรู้ และการปรับประสิทธิภาพทั้ง Thinker และ Talker

รุ่น ภาษา และขีดจำกัดบริบท

Qwen3-Omni เปิดตัวในชื่อ Qwen3-Omni-30B-A3B โดยมีสามรุ่นให้ใช้งานทั่วไป รุ่น Instruct รับข้อมูลเสียง วิดีโอ และข้อความ แล้วส่งออกเป็นข้อความและเสียงพูด รุ่น Thinking มุ่งเน้นการให้เหตุผลที่ซับซ้อน การคำนวณทางคณิตศาสตร์เป็นขั้นตอน และการวางแผน โดยส่งออกเป็นข้อความ ส่วน Captioner ปรับแต่งมาสำหรับบรรยายเสียงอย่างละเอียด นอกจากนี้ยังมีตัวเลือก Flash บนระบบโฮสต์ที่มุ่งให้การโต้ตอบผ่าน Alibaba Cloud เร็วขึ้น

การรองรับหลายภาษาเป็นอีกจุดเน้น โมเดลพื้นฐานรองรับ 119 ภาษาสำหรับข้อความ 19 ภาษาสำหรับข้อมูลเสียงขาเข้า และ 10 ภาษาสำหรับเสียงพูดขาออก รวมถึงภาษาถิ่นที่ใช้อย่างแพร่หลาย เช่น ภาษากวางตุ้ง ความครอบคลุมนี้ช่วยให้การติดตั้งใช้งานทั่วโลกง่ายขึ้น โดยเฉพาะบริการเสียงที่ต้องปรับให้เข้ากับสำเนียงและอักษรในแต่ละพื้นที่

เซสชันสามารถมีความยาวได้มาก Thinking Mode รองรับหน้าต่างบริบทสูงสุด 65,536 โทเค็น ส่วน Non Thinking Mode รองรับ 49,152 โทเค็น กำหนดจำนวนโทเค็นสูงสุดสำหรับข้อมูลนำเข้าและส่งออกไว้ที่ 16,384 โทเค็น ส่วนการให้เหตุผลที่ซับซ้อนสามารถมีลำดับขั้นยาวได้ถึง 32,768 โทเค็น API คิดค่าบริการตามจำนวนโทเค็นต่อ 1,000 โทเค็น โดยแยกราคาสำหรับข้อความ เสียง และข้อมูลภาพหรือวิดีโอ รวมถึงข้อความหรือเสียงขาออก บัญชีใหม่ได้รับโควตาฟรีหนึ่งล้านโทเค็น ครอบคลุมทุกประเภทข้อมูล เป็นเวลา 90 วันหลังเปิดใช้งาน

การทดสอบมาตรฐานและแนวทางอ่านผล

อาลีบาบารายงานผลการทดสอบจากเกณฑ์ประเมิน 36 รายการ ครอบคลุมข้อความและการให้เหตุผล เสียงพูดและเสียง ภาพและการมองเห็น ตลอดจนงานวิดีโอแบบผสานเสียงกับภาพ บริษัทระบุว่า Qwen3-Omni ทำคะแนนระดับล้ำสมัยใน 22 การทดสอบ และเป็นผู้นำในกลุ่มโมเดลโอเพนซอร์สใน 32 การทดสอบ ทีมยังระบุว่าโมเดลทำได้ดีกว่า GPT-4o และ Gemini 2.5 Pro ในการประเมินด้านเสียงและเสียงร่วมกับภาพหลายรายการ หมวดการทดสอบประกอบด้วยการรู้จำเสียงพูด การทำความเข้าใจเสียง การตอบคำถามจากเสียงและภาพ การบรรยายวิดีโอ และการสร้างเสียงพูด สำหรับงานที่เน้นข้อความ โมเดลมีรายงานว่าทำได้ใกล้เคียงกับโมเดลในตระกูล Qwen ที่เน้นข้อความ

ผลการทดสอบเป็นแนวทางอ้างอิง ไม่ใช่เครื่องรับประกัน ชุดทดสอบมีขอบเขต รูปแบบคำสั่ง และกฎการให้คะแนนแตกต่างกัน ผู้ให้บริการเป็นผู้เลือกตัวชี้วัดที่จะเผยแพร่ และการทดสอบแต่ละครั้งอาจเอื้อให้สถาปัตยกรรมหรือข้อมูลฝึกบางแบบได้เปรียบ การใช้งานจริงต้องรับมือกับเสียงรบกวน ไมโครโฟนหลากหลาย การตัดฉากที่รวดเร็ว และสำเนียงที่แตกต่างกัน ทีมงานควรประเมินด้วยตัวอย่างข้อมูลของตนเอง ทดสอบความทนทานต่ออาการหลอนภายใต้แรงกดดัน และวัดต้นทุนเทียบกับปริมาณงาน อย่างไรก็ตาม ความหลากหลายของงานในผลทดสอบที่รายงานแสดงให้เห็นว่าโมเดลฝึกโดยให้ความสำคัญกับพหุรูปแบบตั้งแต่ต้น ไม่ได้เพิ่มเข้ามาภายหลังผ่านอะแดปเตอร์

ในเอกสารอย่างเป็นทางการ ทีม Qwen อธิบายว่า Qwen3-Omni เป็นโมเดลหลายภาษาที่ประมวลผลข้อความ ภาพ เสียง และวิดีโอได้โดยกำเนิด และส่งคำตอบแบบสตรีมทั้งข้อความและคำพูด การออกแบบมุ่งรักษาความเป็นธรรมชาติของเสียงพูด ขณะที่โมเดลภาษาวางแผนขั้นตอนถัดไป

สิ่งที่นักพัฒนาสร้างได้ในวันนี้

ในคลังโค้ดและเดโมมีคู่มือสำหรับงานทั่วไปที่ใช้งานได้ดีอยู่แล้วโดยไม่ต้องปรับแต่งมาก ทีมสามารถเริ่มจากตัวอย่างง่าย ๆ แล้วขยายไปสู่ฟีเจอร์สำหรับใช้งานจริงเมื่อมีความมั่นใจมากขึ้น

กรณีใช้งานทั่วไป

ตัวอย่างต่อไปนี้สอดคล้องกับจุดแข็งของโมเดลด้านการรับรู้ การให้เหตุผล และเสียงพูด:

• รู้จำเสียงพูดหลายภาษาสำหรับการโทร การประชุม และสื่อแบบสด
• แปลเสียงพูดระหว่างคู่ภาษาที่ใช้อย่างแพร่หลาย พร้อมตอบกลับเป็นเสียงพูด
• บรรยายเสียงสำหรับเสียงจากสภาพแวดล้อมและการติดแท็กเพลง
• ทำ OCR กับเอกสารและภาพหน้าจอ พร้อมตอบโดยอ้างอิงตำแหน่งข้อมูล
• ตอบคำถามเกี่ยวกับภาพสำหรับแผนภาพหรือแดชบอร์ดที่ซับซ้อน
• บรรยายวิดีโอ สรุปไฮไลต์ และตรวจจับเหตุการณ์เพื่อค้นหาในคลิปยาว
• ตอบคำถามจากเสียงและภาพสำหรับการฝึกอบรม การสนับสนุน และเนื้อหาสอนวิธีทำ
• ให้ความช่วยเหลือด้านเทคนิคแบบเรียลไทม์ โดยฟัง มอง และแนะนำวิธีแก้ปัญหา
• เวิร์กโฟลว์แบบเอเจนต์ที่เรียกใช้เครื่องมือและ API ภายนอกเพื่อทำงานให้เสร็จ

สามารถกำหนดพฤติกรรมผ่าน system prompt เพื่อปรับบุคลิก น้ำเสียง และรูปแบบคำตอบ โมเดลรองรับการสตรีมแบบเรียลไทม์ จึงส่งคำตอบบางส่วนได้ระหว่างที่ยังให้เหตุผลต่อ รูปแบบนี้เหมาะกับผู้ช่วยเสียงมากกว่า เพราะการหยุดสั้น ๆ และการถามเพื่อขอความชัดเจนอย่างรวดเร็วเป็นธรรมชาติกว่าการเงียบเป็นเวลานาน สำหรับการใช้งานที่มีความละเอียดอ่อน ควรวางระบบความปลอดภัยให้ครอบคลุมทั้งการเสริมความแข็งแกร่งของพรอมป์ต์ ตัวกรองเนื้อหาสำหรับข้อความและเสียง และกลไกนโยบายที่บันทึกบริบทกับการตัดสินใจ

การประเมินความคุ้มค่าและสัญญาอนุญาตสำหรับองค์กร

การเผยแพร่ภายใต้ Apache 2.0 มีความสำคัญ สัญญาอนุญาตนี้อนุญาตให้ใช้เชิงพาณิชย์ เผยแพร่ แจกจ่าย แก้ไข และให้สิทธิช่วงได้ อีกทั้งยังมีใบอนุญาตสิทธิบัตรที่ช่วยลดความเสี่ยงทางกฎหมายเมื่อนำโมเดลไปฝังในผลิตภัณฑ์ องค์กรสามารถรัน Qwen3-Omni บนคลัสเตอร์ส่วนตัวหรือคลาวด์ที่เชื่อถือได้ ปรับแต่งด้วยข้อมูลของตน และเผยแพร่ซอฟต์แวร์โดยไม่ต้องจ่ายค่าธรรมเนียมการใช้งานให้ผู้ให้บริการ การผสานข้อดีเหล่านี้ช่วยลดการผูกติดกับผู้ให้บริการรายเดียว และลดอุปสรรคในการทดลองใช้ข้ามทีม

อาลีบาบาชี้ถึงระบบนิเวศที่เติบโตขึ้นรอบตระกูล Qwen บริษัทระบุว่ากลุ่มโมเดลเผยแพร่โมเดลออกมาแล้วหลายร้อยรุ่นนับตั้งแต่เปิดตัวจุดตรวจสอบ Qwen รุ่นแรก และมียอดดาวน์โหลดรวมหลายร้อยล้านครั้ง นักพัฒนาเผยแพร่โมเดลต่อยอดหลายหมื่นรายการบนฮับสาธารณะ ซึ่งช่วยย่นระยะเวลาจากต้นแบบสู่การใช้งานจริง สำหรับอุตสาหกรรมที่มีการกำกับดูแล ระบบพหุรูปแบบที่ติดตั้งและดูแลเองอาจช่วยให้ปฏิบัติตามข้อกำหนดด้านถิ่นที่อยู่ของข้อมูลและการตรวจสอบย้อนหลัง พร้อมควบคุมต้นทุนการอนุมานได้อย่างคาดการณ์ได้

ต้นทุนและการปฏิบัติการ

การรันโมเดลพหุรูปแบบต้องมีการวางแผน หน่วยความจำ GPU แบนด์วิดท์ของพื้นที่จัดเก็บสำหรับเสียงและวิดีโอ ตลอดจนเครือข่ายความเร็วสูงสำหรับการสตรีม ล้วนส่งผลต่อการตอบสนอง API ที่คิดค่าบริการตามจำนวนโทเค็นช่วยให้เริ่มต้นได้ง่าย ขณะที่ทีมโครงสร้างพื้นฐานประเมินขนาดคลัสเตอร์ โควตาฟรีหนึ่งล้านโทเค็นเป็นเวลา 90 วันเพียงพอสำหรับตรวจสอบความเป็นไปได้ ปรับแต่งพรอมป์ต์ และประเมินคุณภาพด้วยข้อมูลภายใน เมื่อปริมาณงานเพิ่มขึ้น องค์กรมักใช้โมเดลหลายประเภทผสมกัน โมเดลเปิดรองรับงานประจำวันส่วนใหญ่ได้ ส่วน API กรรมสิทธิ์อาจใช้กับกรณีเฉพาะที่ซับซ้อนหรือฟีเจอร์เฉพาะทาง วิธีนี้ช่วยลดค่าใช้จ่ายพร้อมรักษาความยืดหยุ่น

ความเสี่ยงและการใช้งานอย่างรับผิดชอบ

ความสามารถในการทำความเข้าใจเสียงและวิดีโอช่วยให้สร้างผลิตภัณฑ์ที่น่าสนใจได้ แต่ก็เพิ่มความเสี่ยงจากการนำไปใช้ในทางที่ผิด การสังเคราะห์เสียงสามารถเลียนแบบลักษณะเสียงได้ แม้โดยปกติโมเดลจะไม่ได้สร้างเสียงของบุคคลเป้าหมายโดยเฉพาะก็ตาม เอเจนต์เรียลไทม์ที่เฝ้าดูและฟังผู้ใช้ต้องมีขั้นตอนขอความยินยอมที่ชัดเจน การจัดเก็บข้อมูลอย่างปลอดภัย และนโยบายลบข้อมูล ทีมกฎหมายควรตรวจสอบการเคลื่อนย้ายข้อมูลระหว่างการบันทึกบนอุปกรณ์ เซิร์ฟเวอร์ และบันทึกระบบ พร้อมกำหนดระยะเวลาเก็บรักษาให้สอดคล้องกับข้อกำกับ

องค์กรควรทดสอบโมเดลอย่างเข้มข้นในด้านอาการหลอน อคติ และเนื้อหาที่ไม่ปลอดภัย การบรรยายเสียงอาจตีความเสียงผิดในสภาพแวดล้อมที่มีเสียงปะปน การบรรยายวิดีโออาจพลาดบริบทเมื่อมีการตัดฉาก ส่วนบริบทที่ยาวอาจทำให้โมเดลค่อย ๆ เบี่ยงเบนจากคำสั่ง แผนประเมินที่ออกแบบมาดีควรมีพรอมป์ต์เชิงปฏิปักษ์ ครอบคลุมสำเนียงและภาษาถิ่น และทดสอบขอบเขตความปลอดภัยแบบ red teaming วงจรรับข้อเสนอแนะที่เปิดให้ผู้ใช้ปลายทางรายงานปัญหาจะช่วยให้โมเดลพัฒนาขึ้น พร้อมทำให้การใช้งานมีผู้รับผิดชอบชัดเจน

วิธีเริ่มต้นใช้งาน

นักพัฒนาสามารถดาวน์โหลดน้ำหนักโมเดลและตัวอย่างจากคลัง GitHub อย่างเป็นทางการของ Qwen3-Omni คู่มือเริ่มต้นแบบรวดเร็วแสดงวิธีรันโมเดลด้วยไลบรารียอดนิยมอย่าง Transformers และ vLLM นอกจากนี้ยังมีอิมเมจ Docker และเดโมเว็บ UI สำหรับทดลองใช้อย่างรวดเร็ว ทีมที่ต้องการสร้างต้นแบบด้วยเสียงพูดแบบสตรีมก่อนลงทุนด้านโครงสร้างพื้นฐานสามารถใช้บริการโฮสต์ผ่าน API ของอาลีบาบา ส่วนฮับโมเดลมีจุดตรวจสอบที่พร้อมใช้งานและคู่มือจากชุมชนสำหรับการปรับแต่งกับการประเมินผล

ลิงก์: Qwen3-Omni บน GitHub

ประเด็นสำคัญ

• อาลีบาบาเปิดตัว Qwen3-Omni เป็นโอเพนซอร์สภายใต้ Apache 2.0 พร้อมสิทธิด้านสิทธิบัตร เปิดให้ใช้เชิงพาณิชย์และเผยแพร่ต่อได้ฟรี
• โมเดลรับข้อความ ภาพ เสียง และวิดีโอ พร้อมตอบกลับเป็นข้อความหรือเสียงพูดที่เป็นธรรมชาติผ่านการสตรีมแบบเรียลไทม์
• มีให้ใช้งานสามรุ่น ได้แก่ Instruct สำหรับการโต้ตอบหลายรูปแบบ Thinking สำหรับการให้เหตุผลซับซ้อน และ Captioner สำหรับการบรรยายเสียง
• เวลาแฝงที่รายงานอยู่ที่ประมาณ 234 มิลลิวินาทีสำหรับเสียง และประมาณ 547 มิลลิวินาทีสำหรับวิดีโอ โดยออกแบบมาเพื่อรองรับการผลัดกันพูดอย่างเป็นธรรมชาติ
• รองรับ 119 ภาษาสำหรับข้อความ 19 ภาษาสำหรับเสียงขาเข้า และ 10 ภาษาสำหรับเสียงขาออก รวมถึงภาษากวางตุ้ง
• จากการทดสอบ 36 รายการ อาลีบาบารายงานว่าโมเดลทำคะแนนระดับล้ำสมัยใน 22 รายการ และเป็นผู้นำในกลุ่มโมเดลเปิดใน 32 รายการ โดยเด่นด้านเสียงและวิดีโอ
• หน้าต่างบริบทรองรับสูงสุด 65,536 โทเค็นใน Thinking Mode ส่วนจำนวนโทเค็นสูงสุดสำหรับข้อมูลนำเข้าหรือส่งออกอยู่ที่ 16,384
• API ให้โควตาฟรีหนึ่งล้านโทเค็นเป็นเวลา 90 วัน และคิดค่าบริการต่อ 1,000 โทเค็นในข้อมูลแต่ละรูปแบบ
• กรณีใช้งานมีทั้งการถอดเสียง การแปล OCR การติดแท็กเพลง การทำความเข้าใจวิดีโอ และผู้ช่วยแบบเรียลไทม์
• องค์กรติดตั้งใช้งานเอง ปรับแต่ง และผสาน Qwen3-Omni เข้ากับระบบได้ พร้อมใช้มาตรการคุ้มครองด้านความปลอดภัย ความเป็นส่วนตัว และการปฏิบัติตามข้อกำหนด