การพลาดอัปเดตความปลอดภัยทำระบบสาธารณสุขสิงคโปร์ขัดข้อง กระทบนัดหมาย 4,000 ครั้ง

ความบกพร่องที่ป้องกันได้ในระบบสาธารณสุข 3 คลัสเตอร์

ผู้รับเหมาดำเนินการอัปเดตความปลอดภัยที่จำเป็นไม่เสร็จ ส่งผลให้ระบบสาธารณสุขภาครัฐของสิงคโปร์ขัดข้องเมื่อวันที่ 13 ตุลาคม ทำให้ต้องเลื่อนนัดผู้ป่วยนอกประมาณ 4,000 ครั้ง และผู้ป่วยบางรายต้องรอนานถึง 2 ชั่วโมง เหตุขัดข้องกินเวลาราว 9 ชั่วโมงครึ่ง และส่งผลกระทบต่อ NHG Health, National University Health System และ SingHealth

ตัน เกียต โฮว์ รัฐมนตรีอาวุโสแห่งรัฐด้านสาธารณสุข กล่าวว่า การอัปเดตดังกล่าวเกี่ยวข้องกับบริการระบบชื่อโดเมน (DNS) ที่ใช้ร่วมกัน หน่วยงานเทคโนโลยีสุขภาพแห่งชาติ Synapxe ว่าจ้างผู้ให้บริการให้ดำเนินงานนี้ แต่การดำเนินการไม่เสร็จก่อนถึงกำหนดเปลี่ยนแปลงระบบทั่วโลก ตันระบุว่าความบกพร่องนี้ป้องกันได้ พร้อมกล่าวขอโทษต่อเหตุขัดข้องซึ่งไม่ควรเกิดขึ้น

ผลการสอบสวนยังอธิบายว่าเหตุใดโครงสร้างพื้นฐานสำรองจึงแก้ปัญหาไม่ได้ ระบบสาธารณสุขภาครัฐของสิงคโปร์มีศูนย์ข้อมูล 2 แห่ง แต่ทั้งสองแห่งพึ่งพาบริการ DNS และการตั้งค่าความปลอดภัยชุดเดียวกัน การย้ายระบบปฏิบัติงานจากศูนย์หนึ่งไปยังอีกศูนย์จึงยังคงเผชิญปัญหาที่ต้นเหตุ

ไม่มีรายงานเหตุการณ์ที่กระทบต่อความปลอดภัยของผู้ป่วยอันเป็นผลจากเหตุขัดข้องนี้ ผู้สอบสวนไม่พบการโจมตีทางไซเบอร์ การเข้าถึงโดยไม่ได้รับอนุญาต การบุกรุกระบบ หรือการสูญหายของข้อมูลผู้ป่วย ผลกระทบโดยตรงคือบริการสะดุด เวลารอนานขึ้น และต้องจัดตารางนัดหมายใหม่

สิ่งที่ผู้ป่วยและเจ้าหน้าที่พบเจอ

บริการที่ได้รับผลกระทบมีทั้งการจองนัดหมาย การลงทะเบียนผู้มาติดต่อ การจ่ายยา และการเรียกเก็บเงิน ปัญหาการเชื่อมต่อในแต่ละคลัสเตอร์แตกต่างกัน เหตุขัดข้องจึงไม่ได้เกิดขึ้นในลักษณะเดียวกันทุกสถาบัน

ผลกระทบต่อผู้ป่วยมีมากกว่าการที่หน้าจอคอมพิวเตอร์โหลดไม่ขึ้น บางคนต้องรอรับบริการนานขึ้น ขณะที่บางคนถูกเลื่อนนัดผู้ป่วยนอกไปเป็นเวลาอื่น มีการเลื่อนนัดหมายประมาณ 4,000 ครั้ง อย่างไรก็ตาม ตัวเลขนี้นับจำนวนครั้งของการนัด ไม่ใช่จำนวนผู้ที่ได้รับความไม่สะดวกทั้งหมดในช่วงระบบขัดข้อง

สถาบันสาธารณสุขใช้ขั้นตอนปฏิบัติงานในช่วงระบบล่ม ซึ่งเป็นแนวทางที่ใช้เมื่อระบบคอมพิวเตอร์ตามปกติไม่พร้อมใช้งาน พร้อมจัดเจ้าหน้าที่เพิ่มเติมและให้บริการดูแลที่จำเป็นต่อไปด้วยกระบวนการทำงานแบบใช้เอกสาร รวมถึงเวชระเบียนผู้ป่วยบางส่วนที่เข้าถึงได้ในรูปแบบอ่านอย่างเดียวแยกต่างหาก

เวชระเบียนแบบอ่านอย่างเดียวช่วยให้เจ้าหน้าที่ตรวจดูข้อมูลได้ แต่ไม่สามารถแก้ไขผ่านระบบนั้นได้ ข้อมูลผู้ป่วยบางส่วนดังกล่าวช่วยให้แพทย์เข้าถึงข้อมูลที่จำเป็นระหว่างบริการตามปกติขัดข้อง ขณะเดียวกัน เจ้าหน้าที่ยังต้องรับมือกับภาระงานเพิ่มเติมจากกระบวนการที่ปกติทำผ่านระบบอิเล็กทรอนิกส์

ลำดับเหตุการณ์ที่ระบบขัดข้อง

ข้อมูลของ Synapxe ระบุว่าเหตุการณ์เริ่มขึ้นเมื่อเวลาประมาณ 7.10 น. วันที่ 13 ตุลาคม บริการต่าง ๆ เริ่มทยอยกลับมาใช้งานได้เมื่อเวลาประมาณ 15.00 น. และบริการที่ได้รับผลกระทบทั้งหมดกลับมาใช้งานได้ภายในเวลา 16.37 น. นับจากเวลาเริ่มต้นที่รายงานจนถึงการกู้คืนระบบครบถ้วนเป็นเวลา 9 ชั่วโมง 27 นาที สอดคล้องกับคำอธิบายโดยประมาณว่าเหตุขัดข้องกินเวลาราว 9 ชั่วโมงครึ่ง

• 13 ตุลาคม เวลาประมาณ 7.10 น.: ปัญหาทางเทคนิคที่กระทบการเชื่อมต่อเครือข่ายเริ่มส่งผลให้บริการในคลัสเตอร์สาธารณสุขภาครัฐทั้งสามแห่งขัดข้อง
• 13 ตุลาคม เวลาประมาณ 15.00 น.: บริการที่ได้รับผลกระทบเริ่มทยอยกลับมาใช้งานได้
• 13 ตุลาคม เวลา 16.37 น.: บริการที่ได้รับผลกระทบทั้งหมดกลับมาใช้งานได้แล้ว ตามข้อมูลของ Synapxe
• 13 ตุลาคม เวลาประมาณ 17.40 น.: Synapxe ออกแถลงการณ์เพิ่มเติมเพื่อยืนยันว่าระบบกลับมาใช้งานได้แล้ว
• 3 พฤศจิกายน: สมาชิกสภาผู้แทนราษฎรมีกำหนดซักถามรัฐบาลเกี่ยวกับเหตุระบบขัดข้อง ผลกระทบต่อผู้ป่วย และความน่าเชื่อถือของระบบสำรอง

ในช่วงแรก Synapxe ระบุว่าเป็นปัญหาทางเทคนิคที่กระทบการเชื่อมต่อเครือข่าย และกล่าวว่ายังไม่มีข้อบ่งชี้ว่าเป็นเหตุการณ์ไซเบอร์ระหว่างที่การสอบสวนยังดำเนินอยู่ ผลการสอบสวนภายหลังระบุว่าการพลาดอัปเดตความปลอดภัยเป็นสาเหตุ และยืนยันว่าข้อมูลผู้ป่วยไม่ได้ถูกบุกรุกหรือสูญหาย

เหตุใดบริการ DNS เพียงระบบเดียวจึงสำคัญมาก

บริการ DNS ช่วยให้ระบบคอมพิวเตอร์ค้นหาและเชื่อมต่อกับแอปพลิเคชันได้ โดยทำงานคล้ายสมุดรายชื่อ ระบบจะสอบถามว่าบริการหนึ่งอยู่ที่ใด แล้ว DNS จะให้ข้อมูลที่จำเป็นสำหรับการเชื่อมต่อ หากสมุดรายชื่อที่ใช้ร่วมกันนี้ทำงานผิดปกติ แอปพลิเคชันหลายรายการที่แยกจากกันอาจเข้าถึงได้ยากหรือเข้าใช้ไม่ได้

อัปเดตความปลอดภัยที่จำเป็นนั้นใช้กับ DNS ส่วนกลางที่ใช้ร่วมกัน เมื่อผู้รับเหมาดำเนินการไม่เสร็จก่อนกำหนดเปลี่ยนแปลงระบบทั่วโลก จุดพึ่งพาทางเทคนิคที่ระบบสาธารณสุขภาครัฐใช้ร่วมกันจึงกลายเป็นจุดล้มเหลว

ตันกล่าวว่ามีการแจ้งการเปลี่ยนแปลงนี้ล่วงหน้าแล้ว ความบกพร่องหลักในการดำเนินงานจึงอยู่ที่การเตรียมการที่จำเป็นสำหรับการเปลี่ยนแปลงตามกำหนดไม่เสร็จสิ้น การติดตามคำสั่งเป็นเพียงส่วนหนึ่งของกระบวนการ และจำเป็นต้องยืนยันด้วยว่างานนั้นเสร็จสมบูรณ์จริง

มาตรการแก้ไขของรัฐบาลรวมถึงการปรับปรุงการติดตามและตรวจสอบการเปลี่ยนแปลงทางเทคนิคที่สำคัญ ในทางปฏิบัติ องค์กรที่รับผิดชอบระบบต้องมีวิธีที่เชื่อถือได้ในการยืนยันว่าได้ติดตั้งอัปเดตที่จำเป็นแล้ว ก่อนการเปลี่ยนแปลงที่เตรียมไว้จะมีผล

เหตุใดศูนย์ข้อมูล 2 แห่งจึงยังไม่เพียงพอ

ระบบสาธารณสุขภาครัฐมีโครงสร้างพื้นฐานสำรอง รวมถึงศูนย์ข้อมูล 2 แห่ง การจัดระบบเช่นนี้ช่วยให้ย้ายบริการได้เมื่อสถานที่ใดแห่งหนึ่งหรือโครงสร้างพื้นฐานบางส่วนของสถานที่นั้นใช้งานไม่ได้ อย่างไรก็ตาม ในเหตุการณ์นี้ ศูนย์ข้อมูลทั้งสองแห่งพึ่งพาบริการ DNS และการตั้งค่าความปลอดภัยชุดเดียวกัน

ดังนั้น การสลับไปใช้อีกศูนย์จึงทำให้ระบบกลับไปเผชิญปัญหาเดิมที่ยังไม่ได้รับการแก้ไข ศูนย์อีกแห่งเป็นสถานที่สำรองสำหรับให้บริการ แต่การพึ่งพาระบบร่วมกันทำให้ไม่สามารถใช้เป็นช่องทางกู้คืนที่มีประสิทธิภาพสำหรับความขัดข้องครั้งนี้

รัฐบาลกำลังจัดการปัญหาการพึ่งพาระบบร่วมกันและปรับปรุงแนวทางกู้คืน ซึ่งเป็นส่วนหนึ่งของมาตรการตอบสนอง ประเด็นในทางปฏิบัติคือระบบสำรองจะยังทำงานได้หรือไม่ เมื่อบริการที่ทั้งระบบหลักและระบบสำรองใช้ร่วมกันเกิดขัดข้อง

ฮาเรช สิงการาจู สมาชิกสภาผู้แทนราษฎรที่ได้รับการเสนอชื่อ ขอคำชี้แจงว่าระบบมีระบบสำรองที่เป็นอิสระหรือไม่ ควรใช้เวลานานเท่าใดในการกู้คืนบริการ และบรรลุเป้าหมายดังกล่าวหรือไม่ ส่วนโจน เปเรรา สมาชิกสภาผู้แทนราษฎร สอบถามว่าเหตุใดโครงสร้างพื้นฐานสำรองจึงป้องกันระบบขัดข้องไม่ได้ และขอข้อมูลจำนวนผู้ป่วยที่ได้รับผลกระทบ

Synapxe ยังคงต้องรับผิดชอบ

Synapxe กำลังทบทวนข้อผูกพันตามสัญญาของผู้ให้บริการ และจะดำเนินการอย่างเหมาะสมหากพบว่ามีการละเมิดสัญญา ตันกล่าวว่าหน่วยงานยังคงต้องรับผิดชอบต่อความพร้อมใช้งานของระบบสำคัญ ไม่ว่าจะจัดจ้างบุคคลภายนอกหรือไม่ก็ตาม

ทั้งความรับผิดชอบของผู้รับเหมาในการดำเนินการอัปเดต และความรับผิดชอบของ Synapxe ในการดูแลให้ระบบสาธารณสุขเชื่อถือได้ ล้วนเป็นส่วนหนึ่งของการแก้ไขปัญหา การว่าจ้างองค์กรอื่นให้ดำเนินงานทางเทคนิคไม่ได้ทำให้หน่วยงานพ้นจากความรับผิดชอบในการกำกับดูแลระบบที่โรงพยาบาล คลินิก และผู้ป่วยต้องพึ่งพา

ยังไม่มีการระบุชื่อผู้ให้บริการ บทลงโทษตามสัญญา หรือกำหนดเวลาสำหรับการดำเนินมาตรการแก้ไขให้แล้วเสร็จ แคสแซนดรา ลี สมาชิกสภาผู้แทนราษฎร ขอทราบความคืบหน้าการสอบสวนและมาตรการลดโอกาสเกิดเหตุขัดข้องซ้ำ

Synapxe แต่งตั้งคณะผู้เชี่ยวชาญจากองค์กรที่มีลักษณะงานด้านวิศวกรรมใกล้เคียงกัน เพื่อทบทวนผลการสอบสวนและมาตรการแก้ไขที่เสนอ รวมถึงระบุแนวทางปรับปรุงเพิ่มเติม กระทรวงสาธารณสุขจะกำกับดูแลการดำเนินมาตรการแก้ไขและตรวจสอบประสิทธิผล

การวินิจฉัยปัญหาให้เร็วขึ้นเป็นส่วนหนึ่งของแผนกู้คืน

ระบบตรวจติดตามตรวจพบความผิดปกติระหว่างเกิดเหตุ แต่การค้นหาปัญหาที่ต้นเหตุและกู้คืนบริการอย่างปลอดภัยต้องใช้เวลา การตรวจพบว่ามีสิ่งผิดปกติกับการระบุให้ชัดเจนว่าต้องซ่อมแซมอะไร เป็นคนละขั้นตอนของการตอบสนอง

Synapxe กำลังปรับปรุงระบบตรวจติดตามและการวินิจฉัยข้อขัดข้องเพื่อช่วยให้กู้คืนได้เร็วขึ้น สำหรับระบบที่ให้บริการหลายคลัสเตอร์สาธารณสุข ความท้าทายคือการสืบหาปัญหาผ่านบริการที่ใช้ร่วมกัน แทนที่จะตรวจสอบแต่ละแอปพลิเคชันที่ได้รับผลกระทบแยกกัน

ในแถลงการณ์หลังบริการกลับมาใช้งานได้ Synapxe กล่าวถึงประสบการณ์ของผู้ป่วยและผู้มาติดต่อ รวมถึงการทำงานร่วมกับสถาบันสาธารณสุขว่า:

ระหว่างเกิดเหตุขัดข้อง ผู้ป่วยและผู้มาติดต่อที่สถาบันสาธารณสุขภาครัฐบางแห่งต้องรอนานขึ้นเพื่อรับบริการบางประเภท

"ทีมงานของเราทำงานอย่างใกล้ชิดกับคลัสเตอร์สาธารณสุขภาครัฐ เพื่อกู้คืนบริการที่ได้รับผลกระทบให้เร็วที่สุดเท่าที่จะทำได้

เวลาที่รายงานแสดงให้เห็นว่าการกู้คืนเกิดขึ้นเป็นระยะ บริการบางส่วนเริ่มกลับมาเมื่อเวลาประมาณ 15.00 น. ซึ่งเร็วกว่าการกู้คืนบริการที่ได้รับผลกระทบทั้งหมดมากกว่า 1 ชั่วโมงครึ่ง เจ้าหน้าที่จึงต้องจัดการช่วงเวลาที่การดำเนินงานตามปกติทยอยกลับมาไม่พร้อมกัน

ดูแลให้บริการรักษาพยาบาลดำเนินต่อได้เมื่อระบบขัดข้อง

สถาบันสาธารณสุขยังคงให้บริการดูแลที่จำเป็นได้ ด้วยการจัดเจ้าหน้าที่เพิ่มเติม ใช้เวชระเบียนบางส่วนในรูปแบบอ่านอย่างเดียว และดำเนินขั้นตอนด้วยมือ ตันรายงานว่าไม่มีเหตุการณ์ที่กระทบต่อความปลอดภัยของผู้ป่วยอันเป็นผลจากระบบขัดข้อง แม้ผู้ป่วยต้องเผชิญความล่าช้าและมีการเลื่อนนัดหมายหลายพันครั้ง

รัฐบาลมีแผนเสริมความแข็งแกร่งให้ระบบปฏิบัติงานช่วงระบบล่ม เตรียมความพร้อมของเจ้าหน้าที่ และจัดการฝึกซ้อมเป็นประจำ รวมถึงการฝึกรับมือระบบขัดข้องบางส่วน เหตุขัดข้องบางส่วนอาจทำให้บางแอปพลิเคชันยังใช้งานได้ ขณะที่บางรายการเข้าใช้ไม่ได้ เจ้าหน้าที่จึงต้องพิจารณาว่ากระบวนการใดดำเนินต่อได้ตามปกติ และกระบวนการใดจำเป็นต้องใช้ทางเลือกอื่น

มาตรการตอบสนองขณะนี้มีเป้าหมายที่เชื่อมโยงกัน 3 ประการ ได้แก่ ป้องกันไม่ให้เกิดเหตุซ้ำด้วยการควบคุมการเปลี่ยนแปลงทางเทคนิคให้ดีขึ้น ลดขอบเขตผลกระทบจากความขัดข้องด้วยการจัดการจุดพึ่งพาร่วมกัน และดูแลให้บริการรักษาพยาบาลดำเนินต่อได้ด้วยการเตรียมความพร้อมด้านปฏิบัติการที่เข้มแข็งขึ้น

สำหรับผู้ป่วย ความสำเร็จหมายถึงมีนัดหมายที่ถูกยกเลิกหรือล่าช้าน้อยลงเมื่อเกิดปัญหาทางเทคนิค สำหรับบุคลากรสาธารณสุข หมายถึงการเข้าถึงข้อมูลที่จำเป็นได้อย่างเชื่อถือได้ และมีขั้นตอนปฏิบัติงานที่ใช้ได้จริงในช่วงระบบขัดข้อง ตันกล่าวว่าเทคโนโลยีด้านสาธารณสุขต้องมีความน่าเชื่อถือมากขึ้น พร้อมรับประกันว่าเจ้าหน้าที่จะยังดูแลผู้ป่วยได้อย่างปลอดภัยเมื่อระบบขัดข้อง

ประเด็นสำคัญ

• การพลาดอัปเดตความปลอดภัยเป็นสาเหตุให้ระบบขัดข้องเมื่อวันที่ 13 ตุลาคม ครอบคลุมคลัสเตอร์สาธารณสุขภาครัฐทั้งสามแห่งของสิงคโปร์
• มีการเลื่อนนัดผู้ป่วยนอกประมาณ 4,000 ครั้ง และผู้ป่วยบางรายต้องรอนานถึง 2 ชั่วโมง
• บริการเริ่มขัดข้องเมื่อเวลาประมาณ 7.10 น. และกู้คืนได้ครบถ้วนภายในเวลา 16.37 น.
• ศูนย์ข้อมูลทั้งสองแห่งพึ่งพาบริการ DNS และการตั้งค่าความปลอดภัยชุดเดียวกัน จึงไม่สามารถสลับไปใช้โครงสร้างพื้นฐานสำรองได้อย่างมีประสิทธิภาพ
• ไม่มีรายงานเหตุการณ์ที่กระทบต่อความปลอดภัยของผู้ป่วยอันเป็นผลจากเหตุขัดข้อง และผู้สอบสวนไม่พบการโจมตีทางไซเบอร์หรือการสูญหายของข้อมูลผู้ป่วย
• Synapxe กำลังทบทวนข้อผูกพันของผู้รับเหมา ขณะที่กระทรวงสาธารณสุขจะกำกับดูแลมาตรการแก้ไขและตรวจสอบประสิทธิผล