Data Center ระดับ 3 ออกแบบระบบไฟฟ้าอย่างไร? จากสถานีไฟฟ้าถึง Server ต้องไม่มีจุดที่ซ่อมแล้วทั้งระบบดับ

เมื่อประเทศไทยกำลังเข้าสู่ยุค Hyperscale Data Center และ AI Data Center ที่แต่ละโครงการอาจต้องการกำลังไฟฟ้าตั้งแต่หลักสิบไปจนถึงหลักร้อยเมกะวัตต์ คำถามเรื่อง “ความมั่นคงของระบบไฟฟ้า” จึงไม่ได้หมายถึงเพียงว่า มีไฟฟ้าจากการไฟฟ้าเพียงพอหรือไม่

แต่ต้องถามลึกลงไปว่า ถ้า Transformer ต้องหยุดซ่อม Server จะดับหรือไม่? ถ้า UPS ชุดหนึ่งถูกถอดออก Generator ยังสามารถส่งไฟไปถึง Server ได้หรือไม่? ถ้า Busway หรือ Switchboard ด้านหนึ่งเกิดปัญหา AI Cluster จะยังทำงานต่อได้หรือไม่?

และที่สำคัญที่สุดคือ เราสามารถหยุดอุปกรณ์ไฟฟ้าส่วนหนึ่งเพื่อบำรุงรักษาตามแผน โดยไม่ต้องปิดโหลด IT ที่สำคัญได้หรือไม่?

นี่คือหัวใจของ Data Center ระดับที่เน้น Concurrent Maintainability หรือพูดง่าย ๆ ว่า “ซ่อมได้ โดย Server ไม่ต้องดับ”

ในประเทศไทย การรับรอง Data Center มีมาตรฐาน วสท.022012 เป็นหนึ่งในกรอบสำคัญ ขณะที่ในระดับสากลสามารถอ้างอิงแนวทางอย่าง ANSI/BICSI 002 ซึ่งปัจจุบันมีฉบับปี 2024

ประเด็นสำคัญจึงไม่ใช่การถามว่า Data Center มี Generator กี่เครื่อง หรือมี UPS กี่ชุด แต่คือการพิสูจน์ว่า ตั้งแต่สถานีไฟฟ้าจนถึง Power Supply ของ Server มีเส้นทางอื่นรองรับโหลดได้จริงเมื่อเส้นทางหนึ่งถูกนำออกจากระบบ

Data Center ไม่ได้มีไฟเพียง “ไฟหลวงกับ Generator”

หลายคนเข้าใจระบบไฟฟ้า Data Center ว่ามีไฟจากการไฟฟ้าเป็นแหล่งหลัก และเมื่อไฟดับ Generator ก็ทำงาน ความจริงซับซ้อนกว่านั้นมาก

ระบบพลังงานของ Data Center สำคัญมักประกอบด้วยอย่างน้อย 3 ชั้น

• ชั้นแรกคือ Utility Grid จาก MEA หรือ PEA ซึ่งเป็นแหล่งพลังงานปกติ
• ชั้นที่สองคือ UPS และ Energy Storage ทำหน้าที่รับโหลดทันทีเมื่อ Utility หายไป โดย Server แทบไม่รู้สึกว่าเกิดการเปลี่ยนแหล่งจ่ายไฟ
• ชั้นที่สามคือ Standby Generator ซึ่งเข้ามารับภาระระยะยาวหลังจาก Start และสร้างแรงดันกับความถี่ได้เสถียรแล้ว

นอกจากนี้ Data Center ยุคใหม่อาจมี BESS, Solar PV, Gas Engine, Fuel Cell, CHP หรือ Microgrid เข้ามาเสริมระบบอีกด้วย แต่ต้องเข้าใจให้ถูกต้องว่า UPS ไม่ใช่แหล่งพลังงานสำรองระยะยาว

UPS คือ “สะพาน” ที่ทำให้ IT Load ไม่ดับระหว่างช่วง Utility หายและ Generator กำลังเริ่มต้น ขณะที่ Generator คือแหล่งพลังงานสำรองที่สามารถรองรับเหตุไฟดับเป็นเวลานาน โดยระยะเวลาขึ้นอยู่กับปริมาณเชื้อเพลิงและความสามารถในการเติมเชื้อเพลิง Solar PV ก็เช่นเดียวกัน

แม้ช่วยลดการใช้พลังงานจาก Grid ได้ แต่ Solar เพียงอย่างเดียวไม่สามารถถือเป็น Firm Backup Source ได้ เพราะเราไม่สามารถสั่งให้ดวงอาทิตย์ผลิตไฟในเวลาที่ต้องการได้

หากต้องการให้ Renewable มีบทบาทด้าน Resilience มากขึ้น จะต้องทำงานร่วมกับ BESS และ Microgrid Control ที่เหมาะสม

มีสายไฟเข้ามาสองสาย ไม่ได้แปลว่ามีไฟสองแหล่งจริง

นี่เป็นหนึ่งในความเข้าใจผิดที่พบได้บ่อยที่สุด

Data Center อาจมี Incoming Feeder สองชุด หรือแม้แต่มี Meter สองตัว แต่หากสายทั้งสองย้อนกลับไปใช้ Transformer หรือ Substation ต้นทางเดียวกัน เมื่ออุปกรณ์ต้นทางนั้นเสีย สองสายก็สามารถดับพร้อมกันได้ ดังนั้น การออกแบบระบบไฟฟ้าระดับสูงต้องทำ Common-mode Failure Analysis

กล่าวคือ ไม่ดูเฉพาะสิ่งที่เห็นอยู่หน้าอาคาร แต่ต้องไล่ย้อนกลับไปว่า

• Feeder A มาจากไหน?
• Feeder B มาจากไหน?
• ใช้ Bus เดียวกันหรือไม่?
• ใช้ Transformer เดียวกันหรือไม่?
• Cable Route เดินอยู่ใน Trench เดียวกันหรือไม่?
• Protection System มีจุดร่วมกันหรือไม่?

หากใช้ Utility สอง Substation แต่ทั้งสองยังพึ่งพา Upstream Infrastructure เดียวกัน ความเป็นอิสระก็อาจยังไม่สมบูรณ์ หลักการเดียวกันนี้ใช้กับระบบทุกส่วนของ Data Center Redundancy ที่มองเห็น ไม่ได้หมายความว่า Independence มีอยู่จริง

จาก Substation ต้องเริ่มแบ่ง A และ B

เมื่อไฟเข้ามาถึง Receiving Substation ของ Data Center ระบบจะประกอบด้วยอุปกรณ์จำนวนมาก เช่น Circuit Breaker, Current Transformer, Voltage Transformer, Metering, Main Bus, Protective Relay, Transformer และระบบ SCADA หรือ EPMS

แนวคิดสำคัญคือการแบ่งระบบออกเป็น A Train และ B Train ให้ได้มากที่สุด ตัวอย่างเช่น Transformer ต้องมีจำนวนและกำลังเพียงพอที่เมื่อหนึ่งชุดถูกนำออกเพื่อบำรุงรักษา อุปกรณ์ที่เหลือยังรองรับ Critical Load ได้ตาม Design Scenario

Bus ต้องสามารถแยก Section ได้ Protection ต้องออกแบบให้เกิด Selective Coordination

กล่าวคือ เมื่อเกิด Fault ที่จุดใด Breaker ที่อยู่ใกล้ Fault ที่สุดควรตัดก่อน ไม่ใช่ปล่อยให้ Main Breaker ตัดจน Data Hall ทั้งหมดดับ และสิ่งที่มักถูกมองข้ามคือระบบควบคุม

หากมี Transformer สองชุด แต่ Protective Relay ใช้ Power Supply ชุดเดียว หรือมี A Train และ B Train แต่ทั้งสองถูกควบคุมผ่าน PLC ตัวเดียว PLC ตัวนั้นก็กลายเป็น Single Point of Failure นี่คือเหตุผลที่คำว่า N+1 หรือ 2N ต้องพิจารณาทั้งระบบ ไม่ใช่ดูเพียงจำนวนอุปกรณ์หลัก

N+1 กับ 2N ไม่เหมือนกัน

สมมติระบบต้องการ Transformer จำนวน 3 ชุดเพื่อรองรับโหลด หากติดตั้งเพิ่มอีก 1 ชุด จะเรียกว่า N+1 หมายความว่าเมื่ออุปกรณ์หนึ่งชุดถูกถอดออก ระบบยังมี Capacity พอ แต่ 2N หมายถึงการมีระบบสมบูรณ์อีกหนึ่งชุด เช่น A System รองรับโหลดได้ทั้งหมด และ B System ก็รองรับโหลดได้ทั้งหมดเช่นกัน

อย่างไรก็ตาม 2N จะมีความหมายก็ต่อเมื่อ A และ B ไม่ได้มีจุดร่วมสำคัญ

ถ้า UPS A และ UPS B ใช้ Switchboard ตัวเดียวกัน หรือใช้ Control Power ชุดเดียว ในทางกายภาพเราอาจมี 2N แต่ในทาง Reliability เราอาจยังมี Single Point of Failure อยู่ ดังนั้น จำนวนอุปกรณ์ไม่สำคัญเท่าสถาปัตยกรรมของระบบ

Generator ไม่ได้มีไว้เพียง “ติดเมื่อไฟดับ”

ใน Data Center ระดับสำคัญ Generator Plant ถือเป็นโรงไฟฟ้าขนาดย่อม อาจประกอบด้วย Generator หลายเครื่อง, Paralleling Switchgear, Synchronizing System, Generator Controller, Fuel Tank, Fuel Transfer Pump, Cooling, Ventilation, Exhaust System และ Black-start Control

สมมติ Critical Load ต้องใช้ Generator 2 MW จำนวน 4 เครื่อง หากออกแบบ N+1 อาจติดตั้ง 5 เครื่อง ทำให้สามารถหยุด Generator หนึ่งเครื่องเพื่อบำรุงรักษา โดยอีก 4 เครื่องยังรองรับโหลดได้ แต่การคำนวณ Generator ไม่สามารถดูเพียงผลรวม MW เพราะต้องพิจารณาอีกหลายปัจจัย เช่น

• Step Load
• Motor Starting
• UPS Rectifier
• Battery Recharge
• Harmonic
• Power Factor
• Chiller Restart
• รวมถึงอุณหภูมิพื้นที่ติดตั้ง

โดยเฉพาะประเทศไทยซึ่งมีอุณหภูมิแวดล้อมสูงกว่าค่ามาตรฐานที่อุปกรณ์บางรุ่นถูกออกแบบมา Generator อาจเกิด Derating ได้

อีกจุดที่สำคัญคือ ต่อให้มี Generator 10 เครื่อง แต่ใช้ Fuel Transfer Pump เพียงตัวเดียวเมื่อ Pump ตัวนั้นเสีย Generator ทั้ง 10 เครื่องก็อาจไม่มีเชื้อเพลิง ดังนั้น Reliability ต้องพิจารณาถึง Fuel System, Control System และ Auxiliary System ไม่ใช่เฉพาะตัว Generator

สิ่งที่เกิดขึ้นภายในไม่กี่วินาทีหลังไฟฟ้าดับ

ลองนึกภาพว่า Utility หายไปทันที สิ่งแรกที่เกิดขึ้นคือ UPS ต้องรับโหลด IT ต่อทันที

Server จึงไม่ควรดับจากนั้น Generator ได้รับคำสั่ง Start เมื่อเครื่องยนต์ขึ้นรอบ แรงดันและความถี่เข้าสู่ค่าที่กำหนด Generator Breaker จึงปิดเข้าระบบโหลดถูก Transfer ไปยัง Emergency หรือ Standby Power System UPS Rectifier กลับมารับไฟจาก Generator

จากนั้น UPS จึงค่อยเริ่ม Recharge Battery ตามอัตราที่ควบคุมไว้ ทั้งหมดนี้ต้องเกิดขึ้นเป็น Sequence ที่ออกแบบและทดสอบมาแล้ว ดังนั้นแบตเตอรี่ UPS ไม่ได้ถูกกำหนดเพียงว่า “ต้องสำรองได้ 10 นาที”

แต่ต้องถามว่า 10 นาทีนั้นเพียงพอหรือไม่สำหรับ

• Generator Start
• Generator Stabilization
• Transfer
• การ Start ซ้ำหากครั้งแรกไม่สำเร็จ
• และการรับมือกับ Generator Failure ตาม Sequence of Operation

ช่วงประมาณ 5-15 นาทีอาจพบได้ในงานออกแบบหลายระบบ แต่ตัวเลขที่เหมาะสมต้องมาจาก Reliability Study ของแต่ละ Data Center

UPS คือหัวใจที่ทำให้ Server “ไม่รู้ว่าไฟดับ”

UPS ที่ Data Center นิยมใช้คือระบบ Online Double-conversion หลักการคือ AC → DC → AC ไฟจาก Utility ถูกแปลงเป็น DC ก่อน จากนั้น Inverter สร้าง AC ใหม่ให้โหลดจึงช่วยแยก Server ออกจากปัญหา Voltage Sag, Surge, Transient และความผันผวนด้าน Frequency ได้มากกว่าการต่อโหลดเข้ากับ Grid โดยตรง

สำหรับ Data Center ระดับสำคัญ แนวทางที่แข็งแรงคือ UPS A → Server PSU A และ UPS B → Server PSU B แต่ละเส้นทางต้องสามารถรับโหลดตาม Design Condition ได้

หาก UPS A ถูกนำออกเพื่อบำรุงรักษา Server ยังสามารถรับไฟจาก UPS B หาก Battery A ต้องเปลี่ยน ระบบ B ยังเดินต่อ หาก Output Switchboard A ถูกแยก ระบบ B ยังสามารถรองรับ Critical IT Load ได้ นี่คือภาพของ Concurrent Maintainability ที่แท้จริง

จาก UPS ถึง Server ยังมีอุปกรณ์อีกหลายชั้น

หลังออกจาก UPS ไฟฟ้ายังไม่ได้ไปถึง Server ทันที

โดยทั่วไปอาจต้องผ่าน

• UPS Output Switchboard
• PDU
• RPP
• Busway
• Tap-off Unit
• Rack PDU
• ก่อนเข้าสู่ Server PSU

ทุกจุดสามารถกลายเป็น Single Point of Failure ได้

ใน Data Hall สมัยใหม่ Busway ได้รับความนิยม เพราะสามารถเพิ่มหรือย้าย Rack ได้สะดวกกว่าเดินสายกลับไปหา PDU ทุกครั้ง แต่ถ้าออกแบบสำหรับระบบสำคัญ ควรแยก Busway A และ Busway B ลงมาจนถึง Rack

ภายใน Rack ก็มี Rack PDU A และ Rack PDU B จากนั้นจึงเข้าสู่ Server PSU A และ Server PSU B เส้นทางจึงมีลักษณะประมาณ Power Train A → Busway A → Rack PDU A → PSU A และ Power Train B → Busway B → Rack PDU B → PSU B

จุดสำคัญคือเส้นทาง A และ B ต้องถูกแยกในเชิงกายภาพให้เหมาะสมด้วย เพราะหาก Busway A และ B เดินอยู่ติดกันจนเหตุไฟไหม้หรือ Water Leak ครั้งเดียวทำลายได้ทั้งคู่ การมีสองเส้นทางก็ช่วยได้ไม่เต็มที่

Server มี PSU สองตัว ก็ยังไม่แปลว่า Redundant

Server สำหรับระบบสำคัญมักมี Power Supply Unit หรือ PSU อย่างน้อยสองชุด แต่ยังต้องตรวจสอบ Capacity ของแต่ละชุด สมมติ Server ใช้ไฟสูงสุด 1,600 W หากมี PSU 2 × 2,000 W

ปกติสองชุดอาจแบ่งโหลดกัน แต่เมื่อ PSU A หายไป PSU B ยังสามารถรับโหลด 1,600 W ทั้งหมดได้ นี่คือ Redundancy แต่ถ้า Server ใช้ 3,000 W และติดตั้ง PSU 2 × 2,000 W ซึ่งต้องใช้ทั้งสองตัวจึงรองรับโหลดได้

การมี PSU สองตัวนั้นเป็นเพียงการเพิ่ม Capacity ไม่ใช่ Redundancy คำว่า “มีสองชุด” จึงไม่ได้แปลว่า “สำรอง” เสมอไป

AI Data Center ทำให้โจทย์ไฟฟ้ายากขึ้นอีก

AI Data Center แตกต่างจาก Data Center แบบดั้งเดิมอย่างมาก GPU Rack รุ่นใหม่สามารถมี Power Density สูงมาก เมื่อ Server ใช้ไฟมากขึ้น ความร้อนที่เกิดขึ้นก็สูงขึ้นตามไปด้วย ดังนั้นการรักษาไฟให้ GPU ทำงานต่อ แต่ปล่อยให้ Cooling System หยุด อาจเป็นอันตราย โดยเฉพาะ Direct-to-Chip Liquid Cooling

ระบบ Cooling Distribution Unit หรือ CDU, Pump และ Control System กลายเป็น Infrastructure ที่มีความสำคัญใกล้เคียงกับระบบไฟฟ้า หาก Pump หยุดทันที แต่ GPU ยังใช้พลังงานหลายสิบกิโลวัตต์ต่อ Rack อุณหภูมิของ Chip และ Coolant สามารถเพิ่มขึ้นอย่างรวดเร็ว ดังนั้น AI Data Center ต้องคิดถึง Thermal Ride-through

ไม่ใช่เฉพาะ Electrical Ride-through

อุปกรณ์อย่าง CDU Controller, Pump ที่จำเป็น และระบบควบคุมบางส่วน อาจต้องได้รับไฟจาก UPS หรือมี Energy Ride-through ของตัวเอง นี่คือเหตุผลที่การออกแบบ AI Data Center ไม่สามารถแยกระบบไฟฟ้าออกจากระบบ Cooling ได้อีกต่อไป

Power Reliability และ Cooling Reliability กำลังกลายเป็นระบบเดียวกัน

Data Center ระดับ 3 ไม่ได้หมายความว่า “ไม่มีวันดับ”

จุดนี้ต้องทำความเข้าใจให้ถูกต้อง แนวคิดระดับ F3 เน้นเรื่อง Concurrent Maintainability หมายความว่าองค์ประกอบหรือเส้นทางที่กำหนดสามารถถูกหยุดเพื่อบำรุงรักษา โดย Critical Load ยังสามารถทำงานต่อผ่านเส้นทางอื่น แต่ระหว่างที่ระบบส่วนหนึ่งอยู่ใน Maintenance Mode ระดับ Redundancy อาจลดลง

หากในช่วงนั้นเกิด Fault ครั้งที่สอง ระบบก็ยังอาจได้รับผลกระทบได้ ขึ้นอยู่กับสถาปัตยกรรมและ Failure Scenario ดังนั้นไม่ควรโฆษณาว่า “ระดับ 3 ไม่มีวันดับ” ข้อความที่แม่นยำกว่าคือ “ระบบถูกออกแบบให้สามารถนำองค์ประกอบและเส้นทางที่กำหนดออกเพื่อบำรุงรักษาได้ โดยไม่กระทบ Critical IT Load ภายใต้ขอบเขตความล้มเหลวและสถานการณ์ที่ได้รับการออกแบบไว้” หากต้องการ Fault Tolerance สูงขึ้น ก็ต้องออกแบบไปอีกระดับหนึ่ง

จะรู้ได้อย่างไรว่าแบบที่วาดมานั้น “ระดับ 3 จริง”?

คำตอบคือ ต้องทดสอบด้วยการสมมติว่าอุปกรณ์เสียหรือถูกถอดออก ไม่ใช่เพียงดู Single-line Diagram แล้วเห็นว่ามีเส้นสีแดงกับสีน้ำเงิน

วิศวกรต้องลองถามทีละจุดว่า

• ถอด Transformer 1 ได้ไหม?
• ถอด UPS A ได้ไหม?
• ปิด Switchboard A ได้ไหม?
• เปลี่ยน Battery ได้ไหม?
• บำรุงรักษา Busway ได้ไหม?
• ถอด Rack PDU A ได้ไหม?

หากคำตอบคือ “ทำไม่ได้ เพราะ Server จะดับ” จุดนั้นอาจยังไม่สอดคล้องกับเป้าหมาย Concurrent Maintainability ที่กำหนดไว้

นอกจากนี้ยังต้องทำการศึกษาทางวิศวกรรม เช่น

• Load Flow
• Short Circuit
• Protection Coordination
• Arc Flash
• Harmonic
• Grounding
• Battery Autonomy
• Generator Transient
• และ Integrated Systems Testing

ท้ายที่สุดต้องทดสอบ Failure Mode จริง เช่นจำลอง Utility Loss ทดสอบ Generator Start ทดสอบ Maintenance Bypass ทดสอบ Server Dual-cord Failover และในโครงการที่ Critical มาก อาจมีการทดสอบลักษณะ Black-building หรือ Integrated Failure Simulation เพราะระบบที่ “ออกแบบให้สำรอง” กับระบบที่ “พิสูจน์แล้วว่าสำรองได้จริง” เป็นคนละเรื่องกัน

Data Center ที่ดีไม่ได้มีอุปกรณ์สำรองมากที่สุด

เมื่อประเทศไทยกำลังจะมี Data Center ขนาดใหญ่เพิ่มขึ้นอย่างรวดเร็ว Data Center ที่ดีไม่ได้มีอุปกรณ์สำรองมากที่สุด เมื่อประเทศไทยกำลังจะมี Data Center ขนาดใหญ่เพิ่มขึ้นอย่างรวดเร็ว การพูดเรื่องมาตรฐานระบบไฟฟ้าจึงไม่ควรหยุดอยู่ที่คำว่า

• N+1
• 2N
• Generator
• หรือ UPS

เพราะการซื้ออุปกรณ์เพิ่มเป็นเรื่องง่าย แต่การออกแบบให้ทุกองค์ประกอบทำงานร่วมกันโดยไม่มี Hidden Single Point of Failure เป็นเรื่องที่ยากกว่ามาก

Data Center ที่มี Generator จำนวนมากอาจยังล้มเหลวได้จาก Fuel Pump เพียงตัวเดียว Data Center ที่มี UPS สองชุดอาจยังดับทั้งหมดจาก Control System ชุดเดียว Data Center ที่มี Utility สองสายอาจยังดับพร้อมกัน เพราะย้อนกลับไปหา Substation เดียว และ Server ที่มี PSU สองตัวก็อาจไม่ได้มี Redundancy หากแต่ละตัวรับโหลดทั้งหมดไม่ได้

ดังนั้นหัวใจของการออกแบบระบบไฟฟ้า Data Center ระดับสูงจึงไม่ใช่ “เรามีของสำรองกี่ชิ้น?” แต่คือ “เมื่อเราถอดของชิ้นนี้ออก ระบบส่วนที่เหลือยังเดินต่อได้จริงหรือไม่?”

สำหรับยุค AI Infrastructure คำถามนี้ยิ่งสำคัญกว่าเดิม เพราะประเทศไทยกำลังดึงดูด Data Center ที่ใช้ไฟฟ้าระดับหลายสิบหรือหลายร้อยเมกะวัตต์ และ GPU Cluster ที่มีมูลค่ามหาศาล

ทุกนาทีของ Downtime อาจหมายถึงความเสียหายทางเศรษฐกิจจำนวนมาก ดังนั้น Data Center ที่ดีจึงไม่ได้หมายถึงอาคารที่มี Generator มากที่สุด หรือ UPS ใหญ่ที่สุด แต่คือ Data Center ที่สามารถพิสูจน์ได้ตั้งแต่ Utility → Substation → Transformer → Generator → UPS → Switchboard → Busway → Rack PDU → Server PSU ว่าเมื่อถึงเวลาบำรุงรักษา เราสามารถซ่อมระบบได้ โดย Compute ที่สำคัญของประเทศยังคงทำงานต่อไป

นี่ต่างหากคือความหมายของ Resilient Infrastructure สำหรับ Data Center และ AI Economy ยุคใหม่