Alibaba เปิดตัว Qwen3 Omni โมเดล AI พหุสื่อแบบโอเพนซอร์ส

เหตุใดการเปิดตัวครั้งนี้จึงสำคัญในเวลานี้

Alibaba เปิดตัว Qwen3 Omni โมเดลปัญญาประดิษฐ์พหุสื่อที่ประมวลผลข้อความ ภาพ เสียง และวิดีโอในระบบเดียว ท่ามกลางการแข่งขันด้าน AI ระดับโลกที่ทวีความเข้มข้นขึ้น โมเดลนี้ดาวน์โหลดและใช้งานได้ภายใต้สัญญาอนุญาต Apache 2.0 ซึ่งให้สิทธิ์แก่บริษัทต่าง ๆ อย่างกว้างขวางในการนำเทคโนโลยีไปรัน ปรับแก้ และนำไปใช้ในผลิตภัณฑ์เชิงพาณิชย์ การรองรับข้อมูลหลายรูปแบบอย่างครอบคลุมควบคู่กับสัญญาอนุญาตที่เปิดกว้าง ทำให้โมเดลนี้กดดันระบบปิดของบริษัทชั้นนำจากสหรัฐฯ โดยตรง

จังหวะเวลาของการเปิดตัวโดดเด่นเป็นพิเศษ บริษัทตะวันตกยังคงทุ่มเงินให้กับ AI แบบกรรมสิทธิ์และโครงสร้างพื้นฐานเบื้องหลัง ขณะที่กลุ่มวิจัยจีนกำลังดึงดูดนักพัฒนาด้วยโมเดลที่เปิดให้เข้าถึงได้ Qwen3 Omni ไต่อันดับขึ้นอย่างรวดเร็วบนชาร์ตชุมชนนักพัฒนาของ Hugging Face สะท้อนว่าฐานนักพัฒนากำลังนำโมเดลนี้ไปใช้งานในวงกว้าง สำหรับ Alibaba การเปิดตัวครั้งนี้ส่งสัญญาณว่าผู้ให้บริการคลาวด์รายใหญ่ที่สุดของจีนตั้งใจแข่งขันเพื่อชิงงาน AI จากทั่วโลก ไม่ใช่เพียงพื้นที่ในแวดวงวิจัยเท่านั้น

จุดเด่นของโมเดลนี้อธิบายได้ง่าย ๆ คือ โมเดลพื้นฐานหนึ่งเดียวที่รับภาษา ภาพ เสียง และวิดีโอ แล้วตอบกลับเป็นข้อความหรือเสียงพูดธรรมชาติได้อย่างรวดเร็วแบบสตรีมมิง หากประสิทธิภาพตามที่ Alibaba รายงานเป็นจริงในการใช้งานทั่วไป องค์กรต่าง ๆ ก็อาจนำไปใช้สร้างผู้ช่วย บริการถอดเสียง และเครื่องมือวิเคราะห์ได้โดยไม่ต้องจ่ายค่าธรรมเนียมการใช้งานให้แพลตฟอร์มปิด และไม่ต้องนำโมเดลแยกกันมาต่อเข้าด้วยกันสำหรับข้อมูลแต่ละประเภท

Qwen3 Omni คืออะไรและทำอะไรได้บ้าง

Qwen3 Omni เป็นโมเดลพื้นฐานที่สร้างขึ้นเพื่อรองรับการโต้ตอบพหุสื่อโดยตรง รับข้อมูลเข้าได้ 4 ประเภท ได้แก่ ข้อความ ภาพ เสียง และวิดีโอ และสร้างผลลัพธ์ได้ 2 รูปแบบ คือข้อความและเสียงพูด การตอบกลับสามารถสตรีมได้เกือบเรียลไทม์ ผู้ใช้จึงพูดคุยกับระบบหรือหันกล้องไปยังฉากหนึ่ง แล้วเริ่มได้ยินคำตอบระหว่างที่ระบบประมวลผลภาพแต่ละเฟรม

Alibaba เปิดตัวโมเดล 3 เวอร์ชัน เพื่อให้ทีมเลือกความสามารถให้เหมาะกับการใช้งาน แต่ละเวอร์ชันใช้โมเดลแกนหลักขนาด 30,000 ล้านพารามิเตอร์ ซึ่งเลือกเปิดใช้ผู้เชี่ยวชาญเฉพาะส่วนระหว่างอนุมานเพื่อเพิ่มประสิทธิภาพ โดยมีรุ่นต่าง ๆ ดังนี้

• Instruct เป็นโมเดลโต้ตอบแบบเต็มรูปแบบ รองรับข้อมูลเข้าเป็นเสียง วิดีโอ และข้อความ และสร้างผลลัพธ์ได้ทั้งข้อความและเสียงพูด
• Thinking เป็นโมเดลที่เน้นการให้เหตุผล สำหรับคำตอบที่ใช้กระบวนการคิดเป็นลำดับยาว รับข้อมูลเข้าแบบเดียวกัน แต่สร้างผลลัพธ์เป็นข้อความเท่านั้น
• Captioner เป็นรุ่นปรับแต่งเพิ่มเติมสำหรับบรรยายเสียงอย่างละเอียด โดยมุ่งลดการหลอนข้อมูลขณะอธิบายแหล่งกำเนิดเสียงและเหตุการณ์ต่าง ๆ

นักพัฒนาสามารถดาวน์โหลดน้ำหนักโมเดลจาก GitHub และ Hugging Face หรือเรียกใช้ปลายทางที่ Alibaba ดูแลผ่าน API ซึ่งยังมีรุ่น Flash ที่ทำงานเร็วขึ้นสำหรับการใช้งานที่ต้องการลดเวลาแฝง

เบื้องหลังการออกแบบ Thinker และ Talker

ระบบนี้ใช้สถาปัตยกรรมสององค์ประกอบที่ Alibaba เรียกว่า Thinker และ Talker โดย Thinker รับผิดชอบการให้เหตุผลข้ามข้อมูลหลายรูปแบบ ระบบผสานเบาะแสจากข้อความ ตัวเข้ารหัสภาพ และตัวเข้ารหัสเสียง จากนั้นวางแผนและสร้างโทเคนข้อความที่แทนคำตอบหรือการกระทำที่ต้องการ ส่วน Talker จะแปลงแผนนั้นเป็นเสียงพูดธรรมชาติ พร้อมรักษาจังหวะและน้ำเสียงให้สอดคล้องกับบริบทด้านภาพและเสียง

องค์ประกอบทั้งสองใช้แนวทาง Mixture of Experts โดยเปิดใช้พารามิเตอร์เพียงบางส่วนในแต่ละขั้นตอน ช่วยกระจายภาระงานไปยังผู้เชี่ยวชาญแต่ละส่วนและเพิ่มปริมาณงานที่รองรับได้เมื่อมีคำขอเข้ามาพร้อมกัน การออกแบบนี้ช่วยให้โมเดลรักษาเวลาแฝงให้ต่ำได้แม้ให้บริการผู้ใช้หลายรายพร้อมกัน

Talker ไม่ได้พึ่งพาการแทนข้อความภายในของ Thinker แต่สามารถรับข้อมูลจากคุณลักษณะด้านเสียงและภาพได้โดยตรง จึงสร้างเสียงพูดระหว่างการแปลหรือการช่วยเหลือแบบสดได้เป็นธรรมชาติมากขึ้น เพราะระบบรักษาลีลาและลักษณะเนื้อเสียงให้เข้ากับฉากได้ การแยกองค์ประกอบยังมีประโยชน์ต่อการปฏิบัติงานด้วย โมดูลภายนอก เช่น ระบบค้นคืนข้อมูลหรือตัวกรองความปลอดภัย สามารถตรวจสอบและปรับข้อความที่ Thinker เสนอก่อนที่ Talker จะสร้างเสียงพูด

เพื่อให้เสียงพูดรวดเร็วและชัดเจน Talker คาดการณ์ลำดับ multi codebook แบบออโตรีเกรสซีฟ และใช้เครือข่าย Code2Wav น้ำหนักเบาสังเคราะห์เฟรมเสียงได้ทันที แนวทางนี้ช่วยลดความล่าช้าโดยไม่ลดทอนรายละเอียดของคุณภาพเสียง

ความเร็ว ขนาดการรองรับ และภาษา

เวลาแฝงมีความสำคัญต่อการโต้ตอบด้วยเสียงและวิดีโอ Qwen3 Omni รายงานเวลาแฝงก่อนส่งแพ็กเก็ตแรกอยู่ที่ประมาณ 234 มิลลิวินาทีสำหรับเสียง และประมาณ 547 มิลลิวินาทีสำหรับวิดีโอ การตอบสนองตั้งแต่ต้นจนจบยังอยู่ภายในหนึ่งเท่าของเวลาจริง แม้ให้บริการหลายคำขอพร้อมกัน จึงช่วยให้การสนทนาเป็นไปอย่างต่อเนื่อง

โมเดลรองรับภาษาอย่างครอบคลุม โดยรองรับข้อความ 119 ภาษา เข้าใจเสียงพูด 19 ภาษา และพูดได้ 10 ภาษา ครอบคลุมภาษาหลักของโลกและภาษาถิ่น เช่น ภาษากวางตุ้ง ทำให้ทีมผลิตภัณฑ์สามารถสร้างผู้ช่วยสำหรับผู้ใช้ทั่วโลกได้โดยไม่ต้องเปลี่ยนโมเดลตามภูมิภาค

หน้าต่างบริบทออกแบบมาสำหรับการใช้งานเป็นเวลานาน Thinking Mode รองรับ 65,536 โทเคน ส่วน Non Thinking Mode รองรับ 49,152 โทเคน ข้อมูลเข้าสูงสุดและผลลัพธ์สูงสุดอยู่ที่ 16,384 โทเคนต่อรายการ และห่วงโซ่การให้เหตุผลที่รองรับได้ยาวที่สุดอยู่ที่ 32,768 โทเคน โมเดลสามารถวิเคราะห์และสรุปคลิปเสียงที่ยาวได้ถึงประมาณ 30 นาที

วิธีฝึกโมเดลของ Alibaba

ความสามารถด้านการทำความเข้าใจเสียงมีตัวช่วยหลักคือ Audio Transformer ที่ Alibaba พัฒนาขึ้นเองชื่อ AuT Alibaba ฝึก AuT ตั้งแต่เริ่มต้นด้วยข้อมูลเสียงที่ติดป้ายกำกับประมาณ 20 ล้านชั่วโมง ข้อมูลส่วนใหญ่เน้นการรู้จำเสียงพูดอัตโนมัติภาษาจีนและอังกฤษ อีกส่วนหนึ่งเป็นข้อมูลจากภาษาอื่นและงานที่มุ่งให้เข้าใจเสียงได้กว้างขึ้น AuT มีพารามิเตอร์ราว 600 ล้านตัว และปรับแต่งให้รองรับทั้งแคชแบบสตรีมมิงและงานประมวลผลออฟไลน์

การฝึกล่วงหน้าดำเนินไป 3 ขั้นตอน ในขั้นจัดแนวตัวเข้ารหัส ทีมฝึกตัวเข้ารหัสภาพและเสียงโดยตรึงโมเดลแกนภาษาส่วนหลักไว้ เพื่อช่วยรักษาคุณภาพการรับรู้ จากนั้นฝึกทั่วไปด้วยชุดข้อมูลประมาณ 2 ล้านล้านโทเคน ครอบคลุมข้อความ เสียง และภาพ โดยมีข้อมูลวิดีโอและวิดีโอพร้อมเสียงในสัดส่วนที่น้อยกว่า ขั้นสุดท้ายเป็นการฝึกบริบทระยะยาว โดยขยายความยาวลำดับจาก 8,192 โทเคนเป็น 32,768 โทเคน และเพิ่มข้อมูลเสียงกับวิดีโอที่ยาวขึ้น เพื่อให้แน่ใจว่าโมเดลติดตามลำดับข้อมูลที่ยืดเยื้อได้

การฝึกหลังการฝึกเพิ่มความสามารถในการทำตามคำสั่งและการปรับให้สอดคล้องกับหลักความปลอดภัย สำหรับ Thinker ทีมใช้การปรับแต่งแบบมีผู้สอน การถ่ายทอดความรู้จากโมเดลที่แข็งแกร่งไปยังโมเดลที่อ่อนกว่า และการปรับประสิทธิภาพ GSPO โดยใช้การผสมผสานระหว่างกฎกับข้อเสนอแนะจาก LLM ในฐานะผู้ตัดสิน ส่วน Talker ผ่านการฝึก 4 ขั้นตอน ซึ่งผสานตัวอย่างเสียงพูดพหุสื่อหลายร้อยล้านรายการเข้ากับการฝึกล่วงหน้าอย่างต่อเนื่องบนข้อมูลที่คัดสรรแล้ว เป้าหมายคือการลดการหลอนข้อมูล พร้อมเพิ่มความชัดเจนและการถ่ายทอดอารมณ์ของเสียงพูด

ผลทดสอบ จุดแข็ง และข้อจำกัด

จากการทดสอบสาธารณะ 36 รายการที่ครอบคลุมข้อความ เสียงพูด ภาพ และวิดีโอ Alibaba รายงานว่า Qwen3 Omni ครองอันดับหนึ่ง 22 รายการ และนำหน้าโมเดลเปิดอื่น ๆ ใน 32 รายการ ผลลัพธ์ชี้ว่าโมเดลทำได้ดีในงานที่เน้นเสียง และมีผลการแข่งขันที่สูสีในด้านข้อความและภาพ

การให้เหตุผลและการเขียน: โมเดลทำคะแนนได้ 65.0 ใน AIME25 ทิ้งห่างผลคะแนน 26.7 ของ GPT 4o รุ่นปี 2024 อย่างมาก ส่วน ZebraLogic ได้ 76.0 สูงกว่า Gemini 2.5 Flash ที่ 57.9 สำหรับ WritingBench โมเดลทำคะแนนได้ 82.6 สูงกว่า GPT 4o ที่ได้ 75.5

เสียงพูดและเสียง: ในชุดทดสอบ Wenetspeech มีรายงานอัตราความผิดพลาดของคำที่ 4.69 และ 5.89 ต่ำกว่า GPT 4o ซึ่งอยู่ที่ 15.30 และ 32.27 มาก ส่วน LibriSpeech other มีอัตราความผิดพลาดลดลงเหลือ 2.48 โมเดลยังทำได้ดีในการจำแนกเพลง โดยได้ 93.0 ใน GTZAN และ 52.0 ใน RUL MuchoMusic ซึ่งทั้งสองรายการสูงกว่า GPT 4o

ภาพและวิดีโอ: โมเดลได้ 59.7 ใน HallusionBench, 57.0 ใน MMMU pro และ 56.3 ใน MathVision full ซึ่งสูงกว่า GPT 4o ทั้งหมดในชุดผลทดสอบเดียวกัน ในการทดสอบความเข้าใจวิดีโอ MLVU Qwen3 Omni ทำคะแนนได้ 75.2 นำหน้า Gemini 2.0 Flash ที่ 71.0 และ GPT 4o ที่ 64.6

ตัวเลขเหล่านี้น่าประทับใจ แต่ทีมต่าง ๆ ควรพิจารณาผลลัพธ์ในบริบท Alibaba ปรับแต่งระบบให้รักษาคุณภาพด้านข้อความและภาพไว้ พร้อมโดดเด่นด้านเสียงพูดและการโต้ตอบพหุสื่อ ผู้สังเกตการณ์กลุ่มแรกตั้งข้อสังเกตว่าโมเดลข้อความล้วนจากตระกูลเดียวกันยังอาจนำหน้าในงานภาษาล้วนบางประเภท ซึ่งเป็นข้อแลกเปลี่ยนตามปกติเมื่อเปลี่ยนจากการฝึกข้อมูลรูปแบบเดียวมาเป็นระบบพหุสื่อที่ครอบคลุม บททดสอบที่แท้จริงคือประสิทธิภาพในการทำงานประจำวันจริง

สัญญาอนุญาตแบบเปิด การเข้าถึง และราคา

Qwen3 Omni เผยแพร่ภายใต้ Apache 2.0 สัญญาอนุญาตนี้อนุญาตให้ใช้งานเชิงพาณิชย์ ปรับแก้ และเผยแพร่ต่อได้ พร้อมให้สิทธิ์ด้านสิทธิบัตร องค์กรต่าง ๆ สามารถฝังโมเดลไว้ในผลิตภัณฑ์ นำไปรันบนฮาร์ดแวร์ของตนเองหรือบนคลาวด์ที่เชื่อถือได้ และจัดส่งผลิตภัณฑ์แบบปิดได้โดยไม่ต้องเปิดเผยการปรับเปลี่ยนที่เป็นกรรมสิทธิ์ สัญญาอนุญาตนี้ขจัดอุปสรรคทางกฎหมายที่พบได้บ่อย ซึ่งทำให้ทีมต่าง ๆ ไม่สามารถใช้โมเดลขั้นสูงในสภาพแวดล้อมที่มีการกำกับดูแล

โมเดลในตระกูลนี้ดาวน์โหลดได้จาก GitHub และ Hugging Face ส่วนทีมที่ต้องการใช้บริการที่มีผู้ดูแลสามารถใช้ API ของ Alibaba ซึ่งมีตัวเลือก Flash สำหรับการตอบสนองที่รวดเร็วขึ้น Alibaba ให้โควตาฟรี 1 ล้านโทเคนครอบคลุมทุกประเภทข้อมูลเป็นเวลา 90 วันหลังเปิดใช้งาน เพื่อให้ทีมประเมินความสามารถก่อนชำระเงิน

วิธีคิดราคาโทเคน

คิดค่าบริการต่อ 1,000 โทเคน โทเคนคือหน่วยข้อความขนาดเล็กหรือส่วนข้อมูลของสื่อรูปแบบอื่น และเป็นหน่วยวัดมาตรฐานสำหรับต้นทุนการประมวลผลในข้อมูลทุกประเภท Alibaba ระบุราคาโทเคนเท่ากันสำหรับโหมด Thinking และ Non Thinking โดยมีข้อยกเว้นเพียงข้อเดียว คือเสียงพูดขาออกมีให้ใช้เฉพาะใน Non Thinking Mode

ค่าใช้จ่ายข้อมูลเข้า: ข้อความขาเข้าคิด 0.00025 ดอลลาร์ต่อ 1,000 โทเคน หรือประมาณ 25 เซนต์ต่อ 1 ล้านโทเคน เสียงขาเข้าคิด 0.00221 ดอลลาร์ต่อ 1,000 โทเคน หรือประมาณ 2.21 ดอลลาร์ต่อ 1 ล้านโทเคน ภาพและวิดีโอขาเข้าคิด 0.00046 ดอลลาร์ต่อ 1,000 โทเคน หรือประมาณ 46 เซนต์ต่อ 1 ล้านโทเคน

ค่าใช้จ่ายผลลัพธ์: ข้อความขาออกคิด 0.00096 ดอลลาร์ต่อ 1,000 โทเคน เมื่อพรอมป์ต์มีแต่ข้อความ หากข้อมูลเข้ามีภาพหรือเสียง ข้อความขาออกจะคิด 0.00178 ดอลลาร์ต่อ 1,000 โทเคน เมื่อขอผลลัพธ์ทั้งข้อความและเสียง ส่วนเสียงจะคิด 0.00876 ดอลลาร์ต่อ 1,000 โทเคน ในกรณีนี้ ข้อความไม่มีค่าใช้จ่าย

กรณีใช้งานที่พร้อมใช้ในวันนี้

แอปพลิเคชันที่เน้นเสียงและวิดีโอมีโอกาสได้รับประโยชน์ การถอดเสียงและแปลหลายภาษาสำหรับฝ่ายบริการลูกค้าและการปรับเนื้อหาสื่อให้เหมาะกับแต่ละภูมิภาค สามารถใช้โมเดลเดียวที่ฟัง เข้าใจบริบท และตอบกลับเป็นเสียงพูดได้ รุ่น Captioner เน้นการบรรยายเสียง ซึ่งเหมาะกับการติดแท็กสื่อ การตรวจสอบการออกอากาศ และการค้นคืนข้อมูลเพลง

งานด้านภาพ เช่น การรู้จำอักขระด้วยแสง การระบุตำแหน่งวัตถุ และการตอบคำถามเกี่ยวกับภาพหรือวิดีโอ ก็เหมาะกับโมเดลนี้เช่นกัน เจ้าหน้าที่สนับสนุนอาจดูภาพสดจากกล้องโทรศัพท์ที่เล็งไปยังแล็ปท็อป แล้วบอกว่าควรตรวจสอบสายใด พร้อมบรรยายขั้นตอนด้วยความเร็วที่เป็นธรรมชาติ Alibaba สาธิตการแปลเมนูร้านอาหารแบบเรียลไทม์ผ่านอุปกรณ์สวมใส่ สถานการณ์เหล่านี้แสดงให้เห็นว่าเหตุใดเวลาแฝงในการสตรีมและคุณภาพเสียงพูดจึงสำคัญ

Qwen3 Omni ยังรองรับการสนทนาภาพและเสียง สามารถสนทนาโดยอ้างอิงทั้งสิ่งที่ได้ยินและสิ่งที่เห็น จดจำบริบทต่อเนื่องระหว่างการใช้งานเป็นเวลานาน และนำเสนอความรู้ภายนอกที่เกี่ยวข้องเมื่อเชื่อมต่อกับเครื่องมือ นักพัฒนาสามารถกำหนดน้ำเสียงและพฤติกรรมผ่านพรอมป์ต์ระบบ สร้างผู้ช่วยเฉพาะด้าน และส่งผลลัพธ์ของ Thinker ผ่านตัวกรองความปลอดภัยที่กำหนดเองก่อนสร้างเสียงพูด

เปรียบเทียบกับ GPT 4o, Gemini 2.5 และ Gemma 3n

Qwen3 Omni เข้าร่วมกลุ่มโมเดล omni ที่มุ่งประมวลผลข้อมูลหลายประเภทในระบบเดียว GPT 4o ของ OpenAI รองรับข้อมูลเข้าที่เป็นข้อความ ภาพ และเสียง และให้บริการในรูปแบบระบบปิด Gemini 2.5 Pro ของ Google วิเคราะห์วิดีโอได้เช่นกันและเป็นระบบปิด ส่วน Gemma 3n ของ Google ใช้สัญญาอนุญาตแบบเปิดและรับข้อมูลเข้าเป็นข้อความ ภาพ เสียง และวิดีโอ แต่สร้างผลลัพธ์เป็นข้อความเท่านั้น โมเดลของ Alibaba รับข้อมูลเข้าทั้ง 4 ประเภทเช่นกัน และยังสร้างเสียงพูดได้ ซึ่งมีความสำคัญต่อผู้ช่วยและการแปลสด

ความเปิดกว้างเป็นความแตกต่างที่ใช้ได้จริง โดยเปิดน้ำหนักโมเดล Qwen3 Omni ภายใต้ Apache 2.0 บริษัทต่าง ๆ จึงสามารถรันโมเดลภายในองค์กร ปรับให้เข้ากับข้อกำกับของอุตสาหกรรม และควบคุมการไหลของข้อมูลได้ โมเดลปิดยังคงครองความได้เปรียบในงานขั้นสูงบางประเภท แต่ข้อกำหนดด้านสัญญาอนุญาตและที่ตั้งข้อมูลอาจจำกัดการนำไปใช้ในอุตสาหกรรมที่มีข้อมูลอ่อนไหว หลายองค์กรอาจเลือกใช้ระบบแบบผสม โดยใช้โมเดลเปิดเพื่อควบคุมต้นทุนและการใช้งาน พร้อมใช้บริการแบบชำระเงินในงานที่ทำผลงานได้ยากจะเทียบเคียง

อีกความแตกต่างคือแนวทางการนำไปใช้งานจริง Alibaba สร้างตระกูล Qwen ที่ครอบคลุมโมเดลหลากหลายหลายร้อยรุ่น และรายงานว่ามีนักพัฒนานำไปใช้อย่างแพร่หลาย หากการโต้ตอบด้วยเสียงพูดและวิดีโอแบบสดของ Qwen3 Omni ทำได้ตามผลทดสอบในการใช้งานประจำวัน ก็จะเป็นทางเลือกที่น่าเชื่อถือสำหรับทีมที่ต้องการผู้ช่วยหลายภาษา เวลาแฝงต่ำ และสามารถโฮสต์เองได้

การใช้งานและสัญญาณจากตลาด

เห็นได้ชัดถึงการมีส่วนร่วมของนักพัฒนา Qwen3 Omni ขึ้นสู่อันดับต้น ๆ ของรายการเทรนด์บน Hugging Face และโมเดลอื่น ๆ ของ Alibaba ก็ครองหลายอันดับในกลุ่มหัวตาราง แรงส่งนี้สะท้อนการเปลี่ยนแปลงในวงกว้าง โดยโมเดลเปิดจากห้องปฏิบัติการของจีนกำลังได้รับความนิยมในชุมชนทั่วโลก

Alibaba Cloud ระบุว่าตระกูล Qwen มียอดดาวน์โหลดทั่วโลกมากกว่า 400 ล้านครั้ง และบริษัทเปิดตัวโมเดลมาแล้วกว่า 300 รุ่นนับตั้งแต่เริ่มพัฒนาตระกูลนี้ นักลงทุนตอบรับในเชิงบวก หุ้น Alibaba ในฮ่องกงปรับขึ้นเล็กน้อยกว่า 4 เปอร์เซ็นต์ในวันที่ Qwen3 Omni ขึ้นสู่จุดสูงสุดของชาร์ตชุมชนนักพัฒนา สะท้อนว่าตลาดกำลังจับตาความก้าวหน้าด้าน AI ของบริษัท

ยังมีการถกเถียงกันด้วยว่า “เปิด” หมายถึงอะไร โมเดลเผยแพร่ภายใต้ Apache 2.0 และมีน้ำหนักโมเดลให้ใช้งาน แต่สูตรการฝึกฉบับเต็มเพื่อสร้างโมเดลซ้ำจากข้อมูลดิบยังไม่ได้เปิดเผย ผู้ที่ยึดนิยามอย่างเคร่งครัดอาจเรียกสิ่งนี้ว่า “น้ำหนักโมเดลแบบเปิด” สำหรับองค์กรส่วนใหญ่ เงื่อนไขของสัญญาอนุญาตคือสิ่งสำคัญ และเงื่อนไขดังกล่าวเปิดให้จัดส่งผลิตภัณฑ์ได้โดยไม่ต้องจ่ายค่าธรรมเนียมต่อผู้ใช้หรือต่อที่นั่ง

ประเด็นที่ควรจับตาด้านความปลอดภัยและธรรมาภิบาล

องค์กรต่าง ๆ จะตั้งคำถามว่าผลคะแนนที่เพิ่มขึ้นตามรายงานแปรเปลี่ยนเป็นพฤติกรรมที่คาดการณ์ได้และปลอดภัยเมื่อมีภาระงานสูงหรือไม่ ระบบเสียงพูดมีความเสี่ยงเฉพาะตัว ตั้งแต่การฟังคำสั่งผิดไปจนถึงการสังเคราะห์เสียงที่สมจริง ทีมควรกำหนดมาตรการป้องกันสำหรับการยืนยันตัวตน การกรองเนื้อหา และการเก็บรักษาข้อมูล การแยก Thinker ออกจาก Talker ช่วยสนับสนุนการควบคุมเหล่านี้ เพราะชั้นความปลอดภัยสามารถดักตรวจข้อความก่อนสร้างเสียงพูดได้

ความพร้อมด้านการปฏิบัติงานจะเป็นอีกประเด็นสำคัญ องค์กรที่นำโมเดลเปิดมาใช้ในวงกว้างมักลงทุนใน MLOps ระบบปรับแต่งโมเดล และการประเมินผล Qwen3 Omni ลดความจำเป็นในการจัดการโมเดลหลายตัว เพราะรองรับข้อความ เสียง ภาพ และวิดีโอได้ในที่เดียว ซึ่งอาจช่วยให้โครงสร้างพื้นฐานง่ายขึ้นและเร่งรอบการพัฒนาผลิตภัณฑ์ โดยเฉพาะการติดตั้งภายในองค์กรหรือบนคลาวด์อธิปไตยที่ต้องปฏิบัติตามกฎระเบียบระดับภูมิภาค

Alibaba ระบุแผนงานขั้นต่อไปไว้แล้ว รวมถึงการรู้จำผู้พูดหลายคนที่ดีขึ้น การรู้จำข้อความในวิดีโอ การเรียนรู้จากข้อมูลเสียงและวิดีโอร่วมกันที่มีประสิทธิภาพยิ่งขึ้น และเอเจนต์อัตโนมัติที่ทำงานได้มากขึ้น เป้าหมายเหล่านี้สอดคล้องกับด้านที่ลูกค้าจะผลักดันให้โมเดลพัฒนาก่อน เมื่อนำโครงการทดลองไปสู่การใช้งานจริง

ประเด็นสำคัญ

• Qwen3 Omni เป็นโมเดลเดียวที่รับข้อความ ภาพ เสียง และวิดีโอ และสร้างข้อความกับเสียงพูดได้ด้วยความเร็วแบบสตรีมมิง
• Alibaba เผยแพร่น้ำหนักโมเดลภายใต้ Apache 2.0 ซึ่งอนุญาตให้ใช้งานเชิงพาณิชย์ ปรับแก้ และเผยแพร่ต่อ พร้อมให้สิทธิ์ด้านสิทธิบัตร
• เปิดตัว 3 รุ่น ได้แก่ Instruct สำหรับการโต้ตอบเต็มรูปแบบ, Thinking สำหรับการให้เหตุผลระยะยาวและสร้างข้อความ และ Captioner สำหรับบรรยายเสียงโดยมุ่งลดการหลอนข้อมูล
• Thinker และ Talker แยกการให้เหตุผลออกจากการสร้างเสียงพูด โดยใช้ Mixture of Experts เพื่อรักษาเวลาแฝงให้ต่ำเมื่อมีคำขอพร้อมกัน
• เวลาแฝงก่อนส่งแพ็กเก็ตแรกตามรายงานอยู่ที่ประมาณ 234 มิลลิวินาทีสำหรับเสียง และราว 547 มิลลิวินาทีสำหรับวิดีโอ โดยยังตอบสนองภายในหนึ่งเท่าของเวลาจริง
• โมเดลรองรับข้อความ 119 ภาษา เข้าใจเสียงพูด 19 ภาษา และพูดได้ 10 ภาษา รวมถึงภาษาถิ่นอย่างภาษากวางตุ้ง
• AuT ตัวเข้ารหัสเสียงที่มีพารามิเตอร์ 600 ล้านตัวและฝึกด้วยข้อมูลราว 20 ล้านชั่วโมง เป็นรากฐานสำคัญของความเข้าใจเสียงพูด
• ผลทดสอบแสดงว่าโมเดลนำหน้าในการทดสอบ 22 จาก 36 รายการ และนำหน้าโมเดลเปิดใน 32 รายการ โดยทำได้ดีในด้านเสียงพูด ดนตรี ภาพ และวิดีโอ
• ราคา API เริ่มต้นที่ 0.00025 ดอลลาร์ต่อ 1,000 โทเคนข้อความขาเข้า และ 0.00096 ดอลลาร์ต่อ 1,000 โทเคนข้อความขาออก พร้อมช่วงทดลองฟรี 1 ล้านโทเคนเป็นเวลา 90 วัน
• ยอดใช้งานบน Hugging Face เพิ่มขึ้นอย่างรวดเร็ว และ Alibaba รายงานว่าตระกูล Qwen มียอดดาวน์โหลดหลายร้อยล้านครั้ง ขณะที่องค์กรต่าง ๆ ประเมินโมเดลเปิดเพื่อใช้งานจริง