Alibaba เปิดตัว Qwen3-Omni: โมเดล AI มัลติโหมดแบบโอเพนซอร์ส

เหตุใดเรื่องนี้จึงสำคัญในตอนนี้: AI มัลติโหมดแบบเปิดกำลังก้าวสู่กระแสหลัก

Alibaba เปิดตัว Qwen3-Omni โมเดลปัญญาประดิษฐ์แบบมัลติโหมดที่เปิดให้ใช้งานได้ฟรี รับข้อมูลนำเข้าได้ทั้งข้อความ ภาพ เสียง และวิดีโอ พร้อมตอบกลับเป็นข้อความหรือเสียงพูดธรรมชาติแบบเรียลไทม์ บริษัทระบุว่าโมเดลนี้เป็นระบบออมนิโมดัลแบบครบวงจรที่ทำงานได้โดยกำเนิดรุ่นแรก ซึ่งผสานข้อมูลนำเข้าทั้งสี่ประเภทไว้ในโมเดลเดียว แทนที่จะนำมาต่อเติมภายหลัง การเปิดตัวเกิดขึ้นในตลาดที่ระบบชั้นนำจาก OpenAI และ Google ยังคงเป็นกรรมสิทธิ์และปิดซอร์ส ทำให้เห็นความแตกต่างชัดเจนระหว่างแพลตฟอร์มปิดกับทางเลือกโอเพนซอร์สที่ทุกคนดาวน์โหลด แก้ไข และนำไปใช้งานได้ภายใต้สัญญาอนุญาต Apache 2.0

จุดเด่นที่นำเสนอเข้าใจง่าย: องค์กรและนักพัฒนาจะได้โมเดลที่ทำงานข้ามรูปแบบข้อมูลได้ โดยมีความหน่วงต่ำ รองรับภาษาหลากหลาย และมีเครื่องมือปรับแต่งคำตอบ ผลกระทบไม่ได้จำกัดอยู่แค่การวัดผลทางเทคนิค สัญญาอนุญาตแบบเปิดที่เป็นมิตรต่อองค์กรช่วยลดการผูกติดกับผู้ให้บริการรายเดียว และเปิดทางให้องค์กรเลือกใช้งานโมเดลบนโครงสร้างพื้นฐานของตนเอง ความแตกต่างนี้มีความหมายอย่างยิ่งในช่วงที่หลายบริษัทพยายามสร้างสมดุลระหว่างต้นทุน การควบคุม และประสิทธิภาพของระบบ AI

Qwen3-Omni เปิดตัวหลังจากมีโมเดลออมนิรุ่นใหม่ออกมาหลายระลอก GPT-4o ของ OpenAI ผสานข้อความ ภาพ และเสียง ส่วน Gemini 2.5 Pro ของ Google เพิ่มความสามารถวิเคราะห์วิดีโอ แต่ระบบเหล่านั้นยังคงเป็นบริการแบบชำระเงินและปิดซอร์ส Qwen3-Omni รวมความเข้าใจวิดีโอ การรับเสียงพูด และการสร้างเสียงพูดไว้ในชุดเดียวที่ชุมชนนักพัฒนาตรวจสอบและนำไปต่อยอดได้ การเปิดตัวครั้งนี้ยังสะท้อนการเติบโตของโครงการ AI แบบเปิดจากจีน ซึ่งได้รับความนิยมสูงบนแพลตฟอร์มนักพัฒนาและกำลังเปลี่ยนแผนที่การแข่งขัน

Qwen3-Omni คืออะไร และทำงานอย่างไร

Qwen3-Omni ใช้การออกแบบสองส่วนที่เรียกว่า Thinker และ Talker โดยแต่ละส่วนปรับให้เหมาะกับขั้นตอนการทำงานที่แตกต่างกัน Thinker จัดการการทำความเข้าใจข้อมูลหลายรูปแบบ การให้เหตุผล และการสร้างข้อความ ส่วน Talker แปลงผลลัพธ์ที่ผ่านการอนุมัติให้เป็นเสียงพูด และประสานเสียงพูดกับภาพ ทั้งสองส่วนอาศัยสถาปัตยกรรม Mixture of Experts ซึ่งแบ่งโมเดลออกเป็นกลุ่มพารามิเตอร์เฉพาะทาง โดยเปิดใช้เฉพาะส่วนที่จำเป็น วิธีนี้ช่วยให้การประมวลผลอนุมานเร็วขึ้นและรองรับการขยายขนาดได้ดีขึ้น เพราะโมเดลไม่ต้องประมวลผลพารามิเตอร์ทุกตัวในทุกคำขอ

อธิบาย Thinker และ Talker

ใน Qwen3-Omni ส่วน Thinker รับข้อมูลนำเข้า ผสานสัญญาณจากข้อความ ภาพ เสียง และวิดีโอ แล้วสร้างคำตอบหลักในรูปแบบข้อความ ขั้นตอนนี้รองรับการให้เหตุผลจากบริบทยาว การใช้เครื่องมือ การดึงข้อมูล และตัวกรองความปลอดภัย จุดสำคัญคือ Talker ไม่จำเป็นต้องอาศัยโทเคนข้อความของ Thinker เป็นเงื่อนไขโดยตรง แต่จะประมวลผลจากคุณลักษณะด้านเสียงและภาพโดยตรง ทางเลือกนี้ช่วยให้ระบบสร้างเสียงพูดที่สอดคล้องกับจังหวะและการเน้นเสียงของผู้พูดต้นฉบับระหว่างการแปล หรือปรับจังหวะการพูดให้เข้ากับสิ่งที่ปรากฏบนหน้าจอได้ อีกทั้งยังควบคุมขั้นตอนการทำงานได้ เพราะโมดูลภายนอกสามารถตรวจทานหรือปรับผลลัพธ์ของ Thinker ก่อนที่ Talker จะแปลงเป็นเสียง

สำหรับการสร้างเสียงพูด Qwen3-Omni ใช้วิธีออโตรีเกรสซีฟแบบหลายโค้ดบุ๊ก เพื่อทำนายโทเคนเสียงแบบกระชับ แล้วแปลงเป็นรูปคลื่นเสียงด้วยเครือข่าย Code2Wav น้ำหนักเบา การออกแบบนี้ช่วยลดความหน่วงโดยยังคงรายละเอียดของเสียงไว้ ส่วนตัวเข้ารหัสเสียงที่เรียกว่า Audio Transformer ได้รับการฝึกตั้งแต่ต้นเพื่อรองรับทั้งการใช้งานแบบสตรีมมิงและออฟไลน์

ออกแบบมาเพื่อการสตรีมมิงที่มีความหน่วงต่ำ

Qwen3-Omni มุ่งรองรับการใช้งานสดแบบสนทนา ระบบรายงานค่าความหน่วงตั้งแต่ต้นทางถึงแพ็กเก็ตแรกที่ประมาณ 234 มิลลิวินาทีสำหรับเสียง และประมาณ 547 มิลลิวินาทีสำหรับวิดีโอ โดยมีอัตราเรียลไทม์ต่ำกว่าหนึ่ง ซึ่งหมายความว่าสามารถสร้างผลลัพธ์ได้เร็วเท่ากับหรือเร็วกว่าความเร็วที่ได้รับข้อมูลนำเข้า เรื่องนี้สำคัญต่อเอเจนต์เสียง ผู้ช่วยสำหรับศูนย์บริการลูกค้า การถอดเสียงการประชุม และทุกกรณีที่ความล่าช้าทำให้การสนทนาสะดุด

ภาษาที่รองรับและขีดจำกัดบริบท

โมเดลรองรับ 119 ภาษาสำหรับข้อความ 19 ภาษาสำหรับข้อมูลเสียงขาเข้า และ 10 ภาษาสำหรับเสียงขาออก อีกทั้งยังรองรับการโต้ตอบที่ยาวนาน Thinking Mode มีหน้าต่างบริบท 65,536 โทเคน และห่วงโซ่การให้เหตุผลที่ยาวที่สุดอยู่ที่ 32,768 โทเคน ส่วน Non Thinking Mode ใช้บริบท 49,152 โทเคน ข้อมูลนำเข้าและผลลัพธ์มีขีดจำกัดสูงสุดอย่างละ 16,384 โทเคน ขีดจำกัดเหล่านี้กำหนดปริมาณเนื้อหาที่โมเดลรับและสร้างได้ในการใช้งานหนึ่งครั้ง ซึ่งมีความสำคัญเป็นพิเศษกับบทถอดเสียงวิดีโอและเอกสารยาว

รุ่นและตัวเลือกการติดตั้งใช้งาน

Alibaba เปิดตัว Qwen3-Omni-30B-A3B สามรุ่น โดยแต่ละรุ่นปรับแต่งให้เหมาะกับงานที่ต่างกัน

รุ่น Instruct ผสาน Thinker และ Talker เข้าด้วยกัน รับข้อความ ภาพ เสียง และวิดีโอ แล้วตอบกลับได้ทั้งข้อความและเสียงพูด รุ่น Thinking เน้นงานให้เหตุผลและงานที่ต้องคิดเป็นลำดับยาว รับข้อมูลนำเข้าแบบเดียวกัน แต่สร้างผลลัพธ์เป็นข้อความเท่านั้น จึงเหมาะกับสถานการณ์ที่ต้องการคำตอบเป็นลายลักษณ์อักษรอย่างละเอียดมากกว่าเสียงพูด ส่วนรุ่น Captioner ปรับแต่งเพิ่มเติมสำหรับการเขียนคำบรรยายเสียง และสร้างคำอธิบายข้อความอย่างละเอียดโดยเน้นลดการหลอนข้อมูล เมื่อนำทั้งสามรุ่นมารวมกัน จะครอบคลุมการโต้ตอบหลายรูปแบบในวงกว้าง การให้เหตุผลเชิงลึก และการทำความเข้าใจเสียงเฉพาะทาง

Qwen3-Omni ใช้งานได้ทั้งบนเครื่องและผ่านคลาวด์ นักพัฒนาสามารถดาวน์โหลดน้ำหนักโมเดลจากคลังทางการและแหล่งรวมโมเดลของชุมชน หรือเรียกใช้รุ่น Flash ที่เร็วกว่าได้ผ่าน API ของ Alibaba เอกสารโครงการมีคู่มือเริ่มต้นใช้งาน ตัวอย่างขั้นตอนสำหรับงานต่าง ๆ เช่น การรู้จำเสียงพูด การแปล การวิเคราะห์เพลง OCR และบทสนทนาภาพและเสียง รวมถึงคำแนะนำสำหรับติดตั้งใช้งานด้วย Docker คลัง GitHub อยู่ที่นี่: https://github.com/QwenLM/Qwen3-Omni.

สำหรับทีมที่ทดลองใช้ API แบบโฮสต์ Alibaba มอบโควตาฟรีหนึ่งล้านโทเคนสำหรับข้อมูลหลายรูปแบบ ซึ่งใช้ได้ 90 วันหลังเปิดใช้งาน เมื่อใช้ API การสร้างเสียงขาออกจะรองรับเฉพาะ Non Thinking Mode รายละเอียดเหล่านี้มีความสำคัญต่อการวางแผนโครงการนำร่องและประเมินต้นทุนในช่วงทดลองระยะแรก

ภาพรวมกระบวนการฝึก

Qwen3-Omni ผ่านกระบวนการฝึกหลายขั้นตอน ซึ่งผสานการฝึกล่วงหน้าขนาดใหญ่เข้ากับการฝึกหลังการฝึกที่เจาะจง Audio Transformer ทำหน้าที่เป็นตัวเข้ารหัสเสียง โดยมีพารามิเตอร์ประมาณ 0.6 พันล้านตัว ผ่านการฝึกด้วยข้อมูลเสียงแบบมีผู้กำกับดูแล 20 ล้านชั่วโมง ชุดข้อมูลประกอบด้วยการรู้จำเสียงพูดภาษาจีนและอังกฤษประมาณ 80 เปอร์เซ็นต์ การรู้จำเสียงพูดภาษาอื่น 10 เปอร์เซ็นต์ และงานทำความเข้าใจเสียง 10 เปอร์เซ็นต์ ตัวเข้ารหัสนี้ออกแบบมาเพื่อรองรับทั้งการแคชแบบเรียลไทม์และการประมวลผลออฟไลน์

การฝึกล่วงหน้ามีสามขั้นตอน ขั้นแรกเรียกว่าการจัดแนวตัวเข้ารหัส โดยฝึกตัวเข้ารหัสภาพและเสียง ขณะที่ตรึงแกนหลักของโมเดลภาษาไว้ วิธีนี้ป้องกันไม่ให้ความสามารถด้านการรับรู้ของโมเดลเสื่อมลงระหว่างการผสานข้อมูลในช่วงต้น ขั้นที่สองเรียกว่าการฝึกทั่วไป ใช้ชุดข้อมูลราว 2 ล้านล้านโทเคน ซึ่งครอบคลุมข้อความ เสียง ภาพ และวิดีโอรวมถึงตัวอย่างภาพและเสียงในสัดส่วนที่น้อยกว่า ขั้นที่สามขยายความยาวโทเคนสูงสุดจาก 8,192 เป็น 32,768 พร้อมเพิ่มเนื้อหาเสียงและวิดีโอความยาวมากเพื่อเสริมความสามารถในการจัดการลำดับข้อมูลยาว

การฝึกหลังการฝึกมุ่งพัฒนาทั้งการให้เหตุผลและคุณภาพเสียงพูด Thinker ผ่านการปรับแต่งแบบมีผู้กำกับดูแล การถ่ายทอดความรู้จากโมเดลที่เก่งกว่าไปยังโมเดลที่เล็กกว่า และการปรับแต่งด้วย GSPO โดยผสมผสานผลตอบรับตามกฎกับการให้คะแนนโดยใช้โมเดลเป็นผู้ตัดสิน ส่วน Talker ผ่านกระบวนการสี่ขั้นตอน โดยใช้ตัวอย่างเสียงพูดแบบมัลติโหมดหลายร้อยล้านรายการและฝึกต่อเนื่องด้วยข้อมูลที่คัดสรรมา เป้าหมายคืออัตราการหลอนข้อมูลที่ต่ำลงและเสียงพูดที่เป็นธรรมชาติมากขึ้น

ประสิทธิภาพและจุดเด่น

จากผลการทดสอบสาธารณะที่บริษัทเปิดเผย Qwen3-Omni ทำผลงานได้ดีในด้านเสียง การทำความเข้าใจเสียงและวิดีโอ พร้อมรักษาคะแนนสูงในด้านข้อความและภาพ โมเดลติดอันดับนำในลีดเดอร์บอร์ดแบบเปิดหลายรายการ และมีผลทดสอบแข่งขันกับระบบปิดได้

ด้านข้อความและการให้เหตุผล โมเดลได้คะแนน 65.0 ใน AIME25 และ 76.0 ใน ZebraLogic ส่วน WritingBench ได้ 82.6 ด้านเสียงพูดและเสียง โมเดลมีอัตราความผิดพลาดของคำอยู่ที่ 4.69 และ 5.89 บน Wenetspeech และ 2.48 บน Librispeech other งานด้านดนตรีก็ทำได้ดีเช่นกัน โดยได้ 93.0 ใน GTZAN และ 52.0 ใน RUL MuchoMusic ด้านภาพและการมองเห็น HallusionBench ได้ 59.7, MMMU pro ได้ 57.0 และ MathVision full ได้ 56.3 ส่วนด้านวิดีโอ รายงานคะแนน 75.2 ใน MLVU หากการประเมินจากภายนอกทำซ้ำผลเหล่านี้ได้ ตัวเลขดังกล่าวชี้ว่าโมเดลมีความสมดุลระหว่างงานข้อความแบบดั้งเดิมกับการทำความเข้าใจเสียงและวิดีโอขั้นสูง

มีสองประเด็นที่ควรพิจารณา ประการแรก ผลลัพธ์จำนวนมากเป็นข้อมูลที่บริษัทรายงานเอง การทดสอบซ้ำโดยหน่วยงานอิสระในชุดทดสอบที่หลากหลายขึ้นจะช่วยให้เห็นภาพประสิทธิภาพในการใช้งานจริงได้ครบถ้วนกว่า ประการที่สอง การสร้างโมเดลเดียวให้รองรับข้อมูลนำเข้าทั้งสี่ประเภทอาจต้องแลกกับข้อจำกัดบางด้าน เอกสารของบริษัทมุ่งแสดงให้เห็นว่าโมเดลทำได้ดีทัดเทียมกันในแต่ละรูปแบบข้อมูล แต่ผู้รีวิวในชุมชนบางรายสังเกตว่า Qwen รุ่นก่อนหน้าที่เน้นข้อความเป็นหลักให้ผลลัพธ์ด้านข้อความล้วนในงานเฉพาะบางประเภทได้ดีกว่าเล็กน้อย นี่เป็นข้อแลกเปลี่ยนที่พบได้ทั่วไปในโมเดลเฉพาะทางกับโมเดลอเนกประสงค์ รุ่นปัจจุบันลดช่องว่างดังกล่าวลง พร้อมเปิดความสามารถข้ามรูปแบบข้อมูลที่โมเดลเฉพาะทางทำไม่ได้

ราคา โควตา และข้อจำกัดการใช้งาน

Qwen3-Omni เป็นโอเพนซอร์สสำหรับติดตั้งใช้งานในเครื่องภายใต้สัญญาอนุญาต Apache 2.0 หากเข้าถึงผ่าน API ของ Alibaba ในรูปแบบบริการที่มีการจัดการ จะคิดค่าบริการตามจำนวนโทเคน Thinking Mode และ Non Thinking Mode ใช้อัตราค่าบริการต่อโทเคนเท่ากัน การสร้างเสียงขาออกมีให้เฉพาะใน Non Thinking Mode

ค่าใช้จ่ายข้อมูลนำเข้าต่อ 1,000 โทเคน

• ข้อความขาเข้า: 0.00025 ดอลลาร์สหรัฐ
• เสียงขาเข้า: 0.00221 ดอลลาร์สหรัฐ
• ภาพหรือวิดีโอขาเข้า: 0.00046 ดอลลาร์สหรัฐ

ค่าใช้จ่ายผลลัพธ์ต่อ 1,000 โทเคน

• ข้อความขาเข้าเป็นข้อความเท่านั้น: ข้อความขาออก 0.00096 ดอลลาร์สหรัฐ
• ข้อความขาออกเมื่อข้อมูลนำเข้ามีภาพหรือเสียง: 0.00178 ดอลลาร์สหรัฐ
• ข้อความและเสียงขาออก: ส่วนเสียงมีค่าใช้จ่าย 0.00876 ดอลลาร์สหรัฐ ส่วนข้อความใช้ฟรี

ระดับใช้งานฟรี: หนึ่งล้านโทเคนสำหรับข้อมูลหลายรูปแบบ ใช้ได้ 90 วันหลังเปิดใช้งาน หน้าต่างบริบทมีขนาดใหญ่พอสมควร โดยอยู่ที่ 65,536 โทเคนใน Thinking Mode และ 49,152 โทเคนใน Non Thinking Mode ข้อมูลนำเข้าต่อครั้งสูงสุด 16,384 โทเคน และผลลัพธ์สูงสุด 16,384 โทเคน ห่วงโซ่การให้เหตุผลที่ยาวที่สุดมี 32,768 โทเคน ขีดจำกัดเหล่านี้ช่วยกำหนดวิธีแบ่งสื่อและเอกสารยาวเป็นส่วน ๆ เมื่อนำไปใช้งานจริง

เหตุใดจึงสำคัญต่อองค์กร

สัญญาอนุญาตเป็นหัวใจสำคัญของเรื่องนี้ Apache 2.0 ให้สิทธิ์ใช้งานเชิงพาณิชย์ แก้ไข และเผยแพร่ต่อได้ รวมถึงให้สิทธิ์ใช้สิทธิบัตร ซึ่งช่วยลดความเสี่ยงทางกฎหมายเมื่อโมเดลกลายเป็นส่วนหนึ่งของระบบกรรมสิทธิ์ ไม่มีข้อบังคับให้เผยแพร่ผลงานดัดแปลง จึงเอื้อต่อบริษัทที่ต้องการเก็บโมเดลเวอร์ชันปรับแต่งเพิ่มเติมไว้เป็นความลับ นี่ตรงข้ามกับระบบปิดแบบกล่องดำที่อยู่ภายใต้การควบคุมของผู้ให้บริการ ซึ่งอาจเปลี่ยนราคา ขีดจำกัดการเรียกใช้ และพฤติกรรมของโมเดลได้โดยผู้ใช้ไม่มีทางคัดค้าน

การเปิดตัวครั้งนี้ยังส่งผลต่อการตัดสินใจด้านสถาปัตยกรรม หลายองค์กรกำลังเปลี่ยนไปใช้ระบบที่มีหลายโมเดล โดยผสมโมเดลเปิดและโมเดลปิดตามประเภทงาน ใช้โมเดลขนาดเล็กที่ทำงานเร็วกับงานทั่วไปควบคู่กับโมเดลขนาดใหญ่สำหรับการให้เหตุผลที่ซับซ้อน และเก็บงานบางประเภทไว้ภายในองค์กรเพื่อควบคุมข้อมูล ความสามารถที่ครอบคลุมของ Qwen3-Omni ทำให้เป็นตัวเลือกสำหรับงานที่ใช้เสียงมาก การใช้งานหลายภาษา และเวิร์กโฟลว์ที่มีวิดีโอเป็นองค์ประกอบสำคัญ การจัดการข้อมูลหลายรูปแบบในโมเดลเดียวอาจช่วยลดจำนวนระบบแยกส่วนที่ต้องฝึกและดูแลรักษา

อย่างไรก็ตาม การนำไปใช้งานให้ประสบความสำเร็จยังต้องอาศัยการจัดการอย่างรอบคอบ การตรวจสอบความปลอดภัย มาตรการคุ้มครองความเป็นส่วนตัว ชุดเครื่องมือประเมินผล และกระบวนการปรับแต่งโมเดลยังเป็นสิ่งจำเป็น การเปิดซอร์สช่วยให้ตรวจสอบและปรับแต่งได้ง่ายขึ้น แต่ก็ทำให้ผู้ใช้นำไปใช้งานต้องรับผิดชอบด้านความปลอดภัยและการปฏิบัติตามข้อกำหนดด้วย ทีมที่ลงทุนใน MLOps การใช้เครื่องมือ และกลไกป้องกัน จะดึงคุณค่าจากโมเดลได้มากที่สุด

กรณีใช้งาน: ตั้งแต่ศูนย์บริการลูกค้าถึงงานบริการภาคสนาม

Alibaba ชูกรณีใช้งานหลากหลายที่สอดคล้องกับจุดแข็งของโมเดล การถอดเสียงและแปลหลายภาษาสามารถทำงานร่วมกับการสร้างเสียงพูดที่มีความหน่วงต่ำสำหรับการสนทนาสด การเขียนคำบรรยายเสียงช่วยสนับสนุนการผลิตสื่อและการเข้าถึงเนื้อหา ส่วน OCR และการทำความเข้าใจเอกสารครอบคลุมภาพแบบฟอร์ม ใบเสร็จ และแผนภาพ การติดแท็กเพลงและวิเคราะห์เสียงช่วยงานคลังสื่อและเครื่องมือสร้างสรรค์ ขณะที่การทำความเข้าใจวิดีโอช่วยจัดทำดัชนี ค้นหา และทำตามคำแนะนำจากวิดีโอสอนหรือวิดีโอแนะนำอุปกรณ์

ตัวอย่างหนึ่งคือการสนับสนุนด้านเทคนิค ลูกค้าสามารถสตรีมวิดีโอจากโทรศัพท์ ขณะที่โมเดลอ่านข้อความบนหน้าจอ ฟังเสียงแวดล้อม และให้คำแนะนำทีละขั้นตอนด้วยเสียงพูด อีกตัวอย่างคือผู้ช่วยแบบสวมใส่ที่แปลเมนูหรือป้ายต่าง ๆ ได้แบบเรียลไทม์ นักพัฒนายังควบคุมพฤติกรรมของโมเดลด้วยพรอมป์ต์ระบบเพื่อกำหนดน้ำเสียง บุคลิก และขอบเขตความเชี่ยวชาญ พร้อมเชื่อมต่อระบบดึงข้อมูล เครื่องคิดเลข หรือเครื่องมือจากบุคคลที่สามเพื่อเพิ่มความสามารถได้

สัญญาณการใช้งานและบริบททั่วโลก

กระแสตอบรับในช่วงแรกบ่งชี้ว่าชุมชนนักพัฒนาให้ความสนใจสูง โมเดล Qwen3-Omni หลายรุ่นไต่อันดับขึ้นสู่กลุ่มโมเดลที่กำลังได้รับความนิยมบนฮับ AI ยอดนิยม โดยมีโมเดล Qwen รุ่นอื่นติดอันดับต้น ๆ เพิ่มเติมด้วย กระแสนี้สะท้อนการเปลี่ยนแปลงในวงกว้างไปสู่ระบบเปิดจากทีมในจีนที่กำลังแข่งขันโดยตรงกับผู้เล่นรายใหญ่จากตะวันตก ในตลาดหุ้น หุ้น Alibaba ในฮ่องกงปรับขึ้นเล็กน้อยกว่า 4 เปอร์เซ็นต์ในวันที่การเปิดตัวได้รับความสนใจอย่างมาก

ทางเลือกแบบเปิดจะเพิ่มแรงกดดันด้านราคาและกลยุทธ์ผลิตภัณฑ์ให้กับระบบปิด โดยเฉพาะกรณีใช้งานที่เน้นเสียงและวิดีโอ องค์กรที่ต้องการทดลองแนวคิดโดยไม่ต้องผ่านขั้นตอนจัดซื้อที่ยืดเยื้อ สามารถใช้งานโมเดลออมนิโมดัลได้ในต้นทุนต่ำ หากประสิทธิภาพในโลกจริงสอดคล้องกับผลทดสอบที่รายงาน การเปิดตัวครั้งนี้อาจเร่งการใช้ผู้ช่วยมัลติโหมดในศูนย์บริการลูกค้า การผลิตสื่อ การศึกษา การถอดเสียงทางการแพทย์ และการบำรุงรักษาในภาคอุตสาหกรรม

สรุปประเด็นสำคัญ

• Qwen3-Omni เป็นโมเดลโอเพนซอร์สที่รับข้อความ ภาพ เสียง และวิดีโอ แล้วตอบกลับเป็นข้อความและเสียงพูด โดยปรับให้เหมาะกับการใช้งานแบบเรียลไทม์
• ระบบใช้สถาปัตยกรรม Thinker และ Talker ร่วมกับ Mixture of Experts เพื่อเพิ่มความเร็วและรองรับการขยายขนาด พร้อม Audio Transformer และตัวแปลงเสียง Code2Wav ที่พัฒนาขึ้นเฉพาะ
• ตั้งเป้าความหน่วงไว้ที่ประมาณ 234 มิลลิวินาทีสำหรับเสียง และประมาณ 547 มิลลิวินาทีสำหรับวิดีโอ พร้อมสตรีมมิงที่มีอัตราเรียลไทม์ต่ำกว่าหนึ่ง
• รองรับ 119 ภาษาสำหรับข้อความ 19 ภาษาสำหรับเสียงขาเข้า และ 10 ภาษาสำหรับเสียงขาออก พร้อมหน้าต่างบริบทขนาดยาวสูงสุด 65,536 โทเคน
• มีให้เลือกสามรุ่น ได้แก่ Instruct สำหรับรับและส่งข้อมูลหลายรูปแบบเต็มรูปแบบ, Thinking สำหรับการให้เหตุผลด้วยข้อความเท่านั้น และ Captioner สำหรับเขียนคำบรรยายเสียงอย่างละเอียด
• เปิดซอร์สภายใต้ Apache 2.0 พร้อมโควตาฟรีหนึ่งล้านโทเคนสำหรับทดลองใช้ API และคิดค่าบริการตามจำนวนโทเคนสำหรับการเข้าถึงแบบโฮสต์
• ผลทดสอบที่บริษัทรายงานแสดงให้เห็นประสิทธิภาพที่ดีในด้านเสียงพูด เสียง วิดีโอ และข้อความ พร้อมคะแนนระดับแนวหน้าหลายรายการ
• องค์กรมีทางเลือกในการติดตั้งใช้งาน ปรับแต่ง และรัน AI มัลติโหมดได้โดยไม่มีค่าใช้จ่ายด้านใบอนุญาตและไม่ผูกติดกับผู้ให้บริการ โดยต้องลงทุนด้านการประเมินผลและความปลอดภัย
• ชุมชนนักพัฒนานำโมเดลไปใช้เพิ่มขึ้นอย่างรวดเร็ว โดยโมเดล Qwen กำลังได้รับความนิยมบนแพลตฟอร์มนักพัฒนา และความสนใจต่อระบบ AI แบบเปิดจากจีนเพิ่มขึ้น