DeepSeek OCR บีบอัดข้อความเป็นภาพ ลดต้นทุน AI และขยายบริบทที่ประมวลผลได้

วิธีใหม่ในการบีบอัดเอกสารยาวให้พอดีกับบริบทของ AI

DeepSeek เปิดตัว DeepSeek-OCR ระบบวิชันภาษา (vision language) ที่บีบอัดข้อความยาวด้วยการแปลงเป็นภาพ แล้วกู้คืนเนื้อหาเมื่อโมเดลต้องการ วิธีนี้ช่วยลดจำนวนโทเคนที่โมเดลภาษาขนาดใหญ่ต้องประมวลผลลง 7-20 เท่า ขึ้นอยู่กับการตั้งค่าและประเภทเอกสาร ขณะยังคงความแม่นยำสูงเมื่อบีบอัดในระดับปานกลาง DeepSeek ระบุว่าระบบถอดรหัสได้แม่นยำราว 97 เปอร์เซ็นต์เมื่อบีบอัดประมาณ 10 เท่า และยังให้ผลลัพธ์ที่เป็นประโยชน์ได้แม้ใช้อัตราบีบอัดสูงกว่านั้น โครงการนี้เผยแพร่ทั้งโค้ดและน้ำหนักโมเดล เปิดให้นักพัฒนาใช้งาน และมุ่งแก้หนึ่งในต้นทุนสูงสุดของ AI สมัยใหม่ นั่นคือการจัดการบริบทยาวในราคาที่เหมาะสม

ระบบทำงานเป็นสองขั้นตอน ตัวเข้ารหัสภาพชื่อ DeepEncoder แปลงหน้าข้อความ ตาราง แผนภูมิ และเค้าโครงรูปแบบอื่นให้เป็นชุดโทเคนภาพขนาดกะทัดรัด จากนั้นโมเดลภาษาขนาดเล็ก DeepSeek3B MoE A570M จะถอดรหัสโทเคนเหล่านั้นกลับเป็นข้อความที่มีโครงสร้าง วิธีนี้ช่วยรักษาเค้าโครงและรูปแบบเมื่อจำเป็น รองรับหลายภาษา และส่งออกได้ทั้งข้อความธรรมดาหรือผลลัพธ์แบบมีโครงสร้าง เช่น ตาราง Markdown

เหตุผลที่เรื่องนี้สำคัญเกี่ยวข้องกับโทเคน ซึ่งเป็นหน่วยพื้นฐานที่โมเดลภาษาใช้รับและสร้างข้อความ โทเคนที่มากขึ้นหมายถึงการใช้หน่วยความจำและเวลาแฝงสูงขึ้น ซึ่งทำให้ต้นทุนเพิ่มตามไปด้วย นอกจากนี้ โมเดลยังมีขีดจำกัดตายตัวว่าครั้งหนึ่งจะมองเห็นบริบทได้มากเพียงใด DeepSeek-OCR จัดเก็บบริบทเป็นภาพและเรียกดูอีกครั้งผ่านโทเคนภาพ จึงเป็นทางเลือกหน่วยความจำต้นทุนต่ำกว่าสำหรับการใช้งานต่อเนื่องยาวนานและเอกสารขนาดใหญ่ อีกทั้งอาจขยายหน้าต่างบริบทที่ใช้งานได้จริงให้ไกลเกินกว่าที่ข้อความเพียงอย่างเดียวจะรองรับ

ความสามารถในการรองรับปริมาณมากเป็นหัวใจสำคัญของข้อเสนอ ฝึกโมเดลด้วยหน้า PDF ราว 30 ล้านหน้าในเกือบ 100 ภาษา และเสริมข้อมูลสังเคราะห์สำหรับแผนภูมิ สูตร และภาพประกอบ ในด้านการประมวลผล ทีมรายงานว่า GPU Nvidia A100 หนึ่งตัวสามารถประมวลผลได้มากกว่า 200,000 หน้าต่อวัน ส่วนคลัสเตอร์เซิร์ฟเวอร์ลักษณะเดียวกัน 20 เครื่องรองรับได้ราว 33 ล้านหน้าต่อวัน ตัวเลขเหล่านี้ชี้ให้เห็นถึงศักยภาพของกระบวนการดิจิไทซ์เอกสารและสร้างข้อมูลฝึกจำนวนมากได้อย่างรวดเร็ว

การแปลงข้อความเป็นภาพช่วยลดจำนวนโทเคนได้อย่างไร

โมเดลภาษาอ่านข้อมูลนำเข้าเป็นโทเคน ไม่ใช่คำหรือตัวอักษร บทความหรือรายงานทั่วไปอาจถูกแปลงเป็นโทเคนหลายพันหน่วย กลไก attention ภายในทรานส์ฟอร์เมอร์ส่วนใหญ่เปรียบเทียบโทเคนเป็นคู่ ๆ และภาระงานจะเพิ่มขึ้นอย่างรวดเร็วเมื่อชุดข้อมูลยาวขึ้น บริบทที่ยาวทำให้ใช้หน่วยความจำและเวลามากขึ้น และเมื่อใช้งานในขนาดใหญ่ก็กลายเป็นปัญหาด้านงบประมาณ

โทเคนและหน้าต่างบริบทคืออะไร

โทเคนคือส่วนย่อยของภาษาที่โมเดลเข้าใจ คำสั้น ๆ อาจใช้หนึ่งโทเคน ส่วนคำยาวอาจแยกเป็นหลายโทเคน และเครื่องหมายวรรคตอนก็นับด้วย จำนวนโทเคนสูงสุดที่โมเดลพิจารณาได้ในคราวเดียวเรียกว่าหน้าต่างบริบท ไฟล์ที่ใช้จริงจำนวนมากมีขนาดเกินขีดจำกัดนี้ ผู้ใช้จึงต้องตัดเอกสารให้สั้นลงหรือจ่ายค่าใช้จ่ายสูงเพื่อใช้โมเดลที่รองรับบริบทยาวเป็นพิเศษ

เหตุใดพิกเซลจึงอาจประหยัดกว่าข้อความในการจัดเก็บ

ตัวเข้ารหัสภาพแปลงภาพเป็นตารางแพตช์ขนาดเล็กลง จากนั้นบีบอัดตารางดังกล่าวเป็นชุดโทเคนภาพ ตัวเข้ารหัสของ DeepSeek ใช้บล็อกบีบอัดเพื่อลดจำนวนโทเคนก่อนส่งคุณลักษณะไปยังตัวถอดรหัส ตัวอย่างในเอกสารทางเทคนิคกล่าวถึงภาพขนาด 1,024 x 1,024 พิกเซล ซึ่งเริ่มต้นด้วยโทเคนแพตช์ 4,096 หน่วย ก่อนลดเหลือโทเคนบีบอัด 256 หน่วย แล้วจึงส่งต่อเข้าสู่ระบบวิชันภาษา หากโทเคน 256 หน่วยนั้นเก็บสาระสำคัญของหน้าที่หากแปลงเป็นข้อความจะใช้โทเคนตั้งแต่ 1,500 หน่วยขึ้นไปได้ ก็จะประหยัดได้ทันที

หลักการแลกเปลี่ยนนั้นตรงไปตรงมา แทนที่จะเก็บบริบทยาวเป็นโทเคนข้อความ ระบบจะเก็บภาพสแนปช็อตเป็นโทเคนภาพขนาดกะทัดรัด แล้วสร้างความหมายกลับมาเมื่อต้องการ วิธีนี้ช่วยควบคุมการใช้หน่วยความจำ รักษาเค้าโครงและแผนภาพ และหลีกเลี่ยงข้อจำกัดบางประการของตัวตัดคำเป็นโทเคน แต่ต้องแลกกับขั้นตอนเข้ารหัสและถอดรหัสที่เพิ่มขึ้น รวมถึงความแม่นยำที่ค่อย ๆ ลดลงเมื่อใช้อัตราบีบอัดสูงมาก

เบื้องหลังโมเดล DeepEncoder และตัวถอดรหัส

DeepEncoder ผสานแนวคิดที่เป็นที่รู้จักสองอย่าง ได้แก่ การรับรู้เฉพาะจุดและการทำความเข้าใจภาพรวม โดยใช้โครงข่ายหลัก Segment Anything Model เพื่อจับบริเวณและขอบอย่างละเอียด และโมดูลรูปแบบ CLIP เพื่อทำความเข้าใจเค้าโครงเชิงความหมายในภาพรวม ระหว่างสองส่วนนี้มีตัวบีบอัดแบบคอนโวลูชันที่ลดจำนวนโทเคนภาพลงอย่างมากก่อนส่งต่อไปยังระบบภาษา ตัวเข้ารหัสรองรับโหมดความละเอียดหลายระดับ ผู้ใช้จึงกำหนดงบประมาณโทเคนให้เหมาะกับความซับซ้อนของแต่ละหน้าได้ สไลด์เรียบง่ายอาจใช้โทเคนไม่มาก ส่วนหน้าข่าวที่มีเนื้อหาแน่นหรือภาพประกอบทางวิทยาศาสตร์ที่ซับซ้อนอาจต้องใช้มากกว่า

ตัวถอดรหัสเป็นโมเดลภาษาแบบ Mixture of Experts ที่ออกแบบให้มีพารามิเตอร์ 3 พันล้านตัว โดยเปิดใช้งานราว 570 ล้านพารามิเตอร์ต่อโทเคน การเลือกใช้ผู้เชี่ยวชาญช่วยให้โมเดลมุ่งเน้นเนื้อหาแต่ละประเภทได้ โดยไม่ต้องใช้พารามิเตอร์ครบทั้ง 3 พันล้านตัวกับทุกโทเคน วิธีนี้ช่วยลดการประมวลผลโดยยังรักษาคุณภาพไว้ ระบบส่งออกได้ทั้งข้อความธรรมดา รักษาโครงสร้างเป็น Markdown และดึงข้อมูลจากตารางกับแผนภูมิออกมาเป็นรูปแบบที่เครื่องอ่านได้ นอกจากนี้ยังรองรับ OCR หลายภาษาและตีความแผนภาพ โครงสร้างทางเคมี และรูปทรงเรขาคณิตได้

ค่าตั้งต้นมี Tiny, Small, Base และ Large รวมถึงโหมดไดนามิกสำหรับหน้าที่ซับซ้อนมาก โดยแต่ละโหมดกำหนดสมดุลระหว่างขนาดภาพกับจำนวนโทเคน DeepSeek แนะนำให้เริ่มจาก Small สำหรับหน้าเอกสารทั่วไป แล้วค่อยปรับเพิ่มเมื่อเนื้อหาหนาแน่นหรือเค้าโครงมีความท้าทาย

ผลการทดสอบและตัวเลขความแม่นยำบอกอะไร

การบีบอัดจะมีประโยชน์ก็ต่อเมื่อตัวถอดรหัสกู้คืนข้อความได้อย่างแม่นยำ DeepSeek รายงานว่าการถอดรหัสมีความแม่นยำราว 97 เปอร์เซ็นต์เมื่ออัตราบีบอัดต่ำกว่า 10 เท่า แต่ลดเหลือประมาณ 60 เปอร์เซ็นต์เมื่อบีบอัดราว 20 เท่า ทีมยังแสดงตัวอย่างที่โทเคนภาพ 100 หน่วยแทนเอกสารซึ่งหากจัดเก็บเป็นข้อความจะใช้ 700-800 โทเคน โดยยังมีความแม่นยำราว 97 เปอร์เซ็นต์ในการทดสอบเฉพาะด้าน ตัวเลขเหล่านี้สอดคล้องกับข้อเสนอที่ว่าการบีบอัดระดับปานกลางให้สมดุลที่ดีที่สุดระหว่างการประหยัดกับความแม่นยำ

ในการทดสอบ OmniDocBench ซึ่งเป็นเกณฑ์มาตรฐานด้านความเข้าใจเอกสารที่ใช้กันทั่วไป โมเดลทำได้ดีกว่าระบบ OCR ที่เป็นที่รู้จักหลายระบบโดยใช้โทเคนน้อยกว่า จำนวนโทเคนที่ต้องใช้แตกต่างกันไปตามประเภทเอกสาร สไลด์และโบรชัวร์เรียบง่ายอาจใช้โทเคนภาพราว 64 หน่วยต่อหน้า ส่วนแมกกาซีนหรือหนังสือพิมพ์ที่มีหลายคอลัมน์และภาพจำนวนมากอาจต้องใช้หลายร้อยโทเคน ระบบสามารถรักษาหรือตัดรูปแบบการจัดหน้าก็ได้ ขึ้นอยู่กับการตั้งค่าของผู้ใช้

ตัวชี้วัดด้านการประมวลผลมีเป้าหมายสูง ทีมระบุว่า Nvidia A100 หนึ่งการ์ดประมวลผลได้มากกว่า 200,000 หน้าต่อวัน และคลัสเตอร์ 20 เซิร์ฟเวอร์ประมวลผลได้ราว 33 ล้านหน้าต่อวัน โค้ดสำหรับฝึกและอนุมานโมเดล รวมถึงน้ำหนักโมเดล เผยแพร่ภายใต้สัญญาอนุญาตแบบเปิดกว้าง การผสานกันขององค์ประกอบเหล่านี้เอื้อต่อการทดลองอย่างรวดเร็วทั้งในงานวิจัยและระบบใช้งานจริง

ผลที่อาจเกิดกับต้นทุน AI หน่วยความจำ และการออกแบบผลิตภัณฑ์

ผลิตภัณฑ์ AI จำนวนมากไปต่อได้ยากเมื่อบทสนทนาหรือชุดเอกสารยาวขึ้น การเก็บบริบทก่อนหน้าเป็นโทเคนภาพช่วยให้โมเดลมีชั้นหน่วยความจำที่ประหยัดกว่า ระบบสามารถสรุปหรือบีบอัดบทสนทนาก่อนหน้าเป็นภาพ แล้วถอดรายละเอียดกลับมาเฉพาะเมื่อจำเป็น วิธีนี้ช่วยให้บริบทข้อความที่กำลังใช้งานมีขนาดเล็ก ขณะยังเรียกคืนข้อเท็จจริง การอ้างอิง และเค้าโครงจากขั้นตอนก่อนหน้าได้ อีกทั้งยังช่วยให้โมเดลจัดการหน้าที่มีตารางซับซ้อนหรือสมการ ซึ่งตัวตัดคำเป็นโทเคนแบบเดิมมักประมวลผลได้ไม่ดี

สำหรับผู้ใช้ วิธีนี้เปิดทางให้ทำงานจริงได้สะดวกขึ้น ผู้ช่วย AI สามารถรับไฟล์ PDF สัญญา และสเปรดชีตฉบับเต็ม เก็บความจำไว้ในรูปแบบกะทัดรัด แล้วเรียกคืนส่วนที่ต้องการพร้อมโครงสร้างเดิมได้เมื่อต้องการ การคัดลอกแถวจากตารางหรือดึงคำบรรยายภาพประกอบก็ทำได้ตรงไปตรงมา เพราะตัวถอดรหัสสร้างโครงสร้างกลับมา ไม่ใช่แค่ตัวอักษรดิบ แนวทางนี้ยังชี้ให้เห็นถึงความเป็นไปได้ของระบบค้นหาในองค์กรที่จัดทำดัชนีภาพหน้าเอกสารแบบบีบอัด แล้วถอดรหัสเฉพาะข้อความบางส่วนเมื่อต้องการ

สำหรับนักพัฒนาและนักวิจัย ปริมาณงานที่ประมวลผลได้มีความสำคัญ ระบบสร้างคลังข้อมูลฝึกขนาดใหญ่สำหรับโมเดลภาษาและวิชันได้ โดยประมวลผลหลายแสนหน้าต่อ GPU ต่อวัน ความเร็วนี้ช่วยสร้างข้อมูลกำกับสำหรับการฝึกได้ในต้นทุนต่ำลง อุตสาหกรรมที่พึ่งพาแผนภูมิและแบบฟอร์ม เช่น การเงิน สาธารณสุข และวิทยาศาสตร์ อาจได้เห็นกระบวนการดิจิไทซ์ที่รวดเร็วขึ้นและรักษาโครงสร้างได้ดีขึ้น อย่างไรก็ตาม ต้องระมัดระวังเมื่อใช้ผลลัพธ์ที่บีบอัดเป็นข้อมูลฝึกในขั้นต่อไป เพราะความผิดพลาดเล็กน้อยในการถอดรหัสอาจสะสมเป็นป้ายกำกับที่มีสัญญาณรบกวนเมื่อขยายการใช้งานในวงกว้าง

ข้อจำกัด ความเสี่ยง และคำถามที่ยังเปิดอยู่

การบีบอัดที่สูงขึ้นช่วยลดจำนวนโทเคน แต่ทำให้ความเที่ยงตรงลดลง เมื่อบีบอัดราว 20 เท่า ความแม่นยำที่รายงานลดเหลือประมาณ 60 เปอร์เซ็นต์ งานหลายประเภทอาจยอมรับข้อผิดพลาดเล็กน้อยได้ แต่ชื่อ ตัวเลข และข้อสัญญาทางกฎหมายต้องกู้คืนได้เกือบสมบูรณ์ ผู้ใช้จึงต้องกำหนดแนวทางให้หน้าสำคัญใช้โหมดบีบอัดต่ำ และสงวนการบีบอัดสูงไว้สำหรับบริบทที่ไม่จำเป็นต้องสร้างข้อความกลับมาได้ตรงต้นฉบับ

อีกประเด็นคือความสามารถในการให้เหตุผล โมเดลให้เหตุผลกับโทเคนข้อความได้ดีเพราะได้รับการฝึกมาในรูปแบบนั้น ส่วนโทเคนภาพมีอคติเชิงอุปนัยที่แตกต่างออกไป ตัวถอดรหัสต้องสร้างข้อความกลับมาก่อนจึงจะให้เหตุผลได้ ขั้นตอนที่เพิ่มขึ้นนี้อาจส่งผลต่องานที่ต้องใช้การคิดเป็นลำดับยาว ทีมงานควรทดสอบการให้เหตุผลหลายขั้นตอนเมื่อบริบทสำคัญอยู่หลังชั้นภาพ และพิจารณาวิธีสำรองสำหรับงานที่ต้องการความแม่นยำสูง

เวลาแฝงและการวางแผนโครงสร้างพื้นฐานยังเป็นเรื่องสำคัญ ขั้นตอนเข้ารหัสและถอดรหัสที่เพิ่มขึ้นย่อมเพิ่มภาระงาน ประโยชน์ด้านการประหยัดจะเริ่มชัดเมื่อเอกสารมีขนาดใหญ่หรือบทสนทนายาวขึ้น ผู้ให้บริการควรทดสอบเวลาประมวลผลจริง หน่วยความจำ และต้นทุนกับเอกสารหลายประเภท เพื่อกำหนดเกณฑ์ว่าจะบีบอัดเมื่อใดและจะส่งข้อความดิบเมื่อใด รูปแบบการจัดเก็บก็เปลี่ยนไปด้วย โดยภาพหรือเทนเซอร์ที่คล้ายภาพจะมาแทนไฟล์ข้อความดิบ ซึ่งอาจส่งผลต่อระบบค้นคืนข้อมูลและกระบวนการกำกับดูแลการปฏิบัติตามข้อกำหนด

ความเป็นส่วนตัวและความปลอดภัยต้องได้รับการใส่ใจ การบีบอัดไฟล์อ่อนไหวเป็นภาพหรือโทเคนภาพไม่ได้ทำให้ความเสี่ยงหมดไป ต้องใช้การควบคุมสิทธิ์เข้าถึง การเข้ารหัส และบันทึกการตรวจสอบกับข้อมูลที่บีบอัดด้วย เอกสารบางประเภท เช่น ภาพสแกนความละเอียดต่ำหรือลายมือที่อ่านยาก ยังคงเป็นความท้าทายสำหรับโมเดล การเลือกโหมดไดนามิกและการตรวจทานโดยมนุษย์ยังเป็นแนวทางที่รอบคอบสำหรับงานสำคัญ

วิธีทดลองใช้ DeepSeek OCR วันนี้

หน้าโครงการบน Hugging Face มีรายละเอียดโมเดล คำแนะนำเริ่มต้นใช้งาน และไฟล์ให้ดาวน์โหลด โค้ดและน้ำหนักโมเดลยังมีอยู่บน GitHub ภายใต้สัญญาอนุญาตแบบเปิดกว้าง ซึ่งครอบคลุมการใช้ทั้งเชิงวิชาการและเชิงพาณิชย์ นักพัฒนาเริ่มต้นได้ที่นี่: หน้าโมเดลบน Hugging Face และที่นี่: คลังโค้ดบน GitHub

การตั้งค่าอ้างอิงระบุ Python 3.12.9 และ CUDA 11.8 พร้อมไลบรารีที่ต้องใช้ ได้แก่ PyTorch, Transformers, Tokenizers, Einops, Addict, Easydict และ Flash Attention แนะนำให้ใช้ GPU ของ Nvidia เพื่อความเร็ว โหมดตั้งต้นเปิดให้ผู้ใช้เลือกระหว่างรายละเอียดกับต้นทุนได้ สำหรับเอกสารธุรกิจทั่วไป โหมด Small เป็นจุดเริ่มต้นที่เหมาะสม ส่วนหน้าเอกสารวิทยาศาสตร์หรือกฎหมายที่มีเนื้อหาหนาแน่นอาจได้ประโยชน์จากความละเอียดสูงขึ้นหรือโหมดไดนามิก

ขั้นตอนการทำงานทั่วไปคือแปลง PDF เป็นภาพแต่ละหน้า ป้อนแต่ละหน้าเข้า DeepEncoder ด้วยความละเอียดที่เลือก แล้วถอดรหัสโทเคนภาพที่ได้ด้วยโมเดลภาษา ผลลัพธ์อาจเป็นข้อความธรรมดาสำหรับการค้นหา หรือ Markdown ที่รักษาตารางและหัวข้อไว้ คลังโค้ดบน GitHub มีสคริปต์สำหรับประมวลผลเป็นชุดและคำแนะนำเพื่อเพิ่มปริมาณงาน ทีมงานควรติดตามความแม่นยำเมื่อเพิ่มอัตราบีบอัด และตั้งค่าหน้าสำคัญอย่างระมัดระวัง

ประเด็นสำคัญ

• DeepSeek-OCR บีบอัดข้อความยาวด้วยการจัดเก็บเป็นภาพ แล้วกู้คืนเนื้อหาเมื่อต้องการด้วยตัวถอดรหัส
• ลดการใช้โทเคนได้ราว 7-20 เท่า ขึ้นอยู่กับการตั้งค่าและความซับซ้อนของเอกสาร
• รายงานความแม่นยำในการถอดรหัสราว 97 เปอร์เซ็นต์เมื่อบีบอัดประมาณ 10 เท่า และราว 60 เปอร์เซ็นต์เมื่อบีบอัดประมาณ 20 เท่า
• สถาปัตยกรรมผสาน DeepEncoder กับตัวถอดรหัสแบบ Mixture of Experts ซึ่งเปิดใช้งานราว 570 ล้านพารามิเตอร์ต่อโทเคน
• มีโหมดตั้งแต่ Tiny ถึง Large และตัวเลือกไดนามิกสำหรับหน้าที่ซับซ้อนมาก ให้ผู้ใช้กำหนดงบประมาณโทเคนได้โดยตรง
• ผลการทดสอบแสดงประสิทธิภาพที่ดีบน OmniDocBench โดยใช้โทเคนน้อยกว่าระบบ OCR ยอดนิยมที่ใช้เปรียบเทียบ
• ตัวเลขการประมวลผลที่รายงาน ได้แก่ มากกว่า 200,000 หน้าต่อวันบน GPU Nvidia A100 หนึ่งตัว และราว 33 ล้านหน้าต่อวันบนคลัสเตอร์ 20 เซิร์ฟเวอร์
• ผลลัพธ์แบบมีโครงสร้างรองรับตาราง Markdown และข้อมูลแผนภูมิ รวมถึงแผนภาพ สูตร และหลายภาษา
• เผยแพร่โค้ดและน้ำหนักโมเดลแบบโอเพนซอร์สบน Hugging Face และ GitHub ภายใต้สัญญาอนุญาตแบบเปิดกว้าง
• กรณีใช้งานที่เหมาะสม ได้แก่ หน่วยความจำบริบทยาวที่มีต้นทุนต่ำลง การดิจิไทซ์เอกสารขนาดใหญ่ และการสร้างข้อมูลฝึก โดยควรตั้งค่าอย่างระมัดระวังสำหรับงานที่ต้องการความแม่นยำสูง