สถาปัตยกรรมระบบระบายความร้อนแบบ Direct-to-Chip สำหรับ AI Data Center (ตอนที่ 1) รับความร้อนจาก Chip จนถึง CDU

การเติบโตของ Artificial Intelligence กำลังเปลี่ยนโครงสร้างของ Data Center อย่างรวดเร็ว

ในอดีต Data Center ส่วนใหญ่สามารถใช้ระบบ Air Cooling ระบายความร้อนจาก Server ได้อย่างเพียงพอ แต่เมื่อเข้าสู่ยุค GPU, Generative AI และ High-Performance Computing กำลังไฟฟ้าต่อ Rack เพิ่มสูงขึ้นอย่างมาก ทำให้การใช้ลมเย็นเพียงอย่างเดียวเริ่มเข้าใกล้ข้อจำกัดทางวิศวกรรม

เทคโนโลยีที่กำลังมีบทบาทสำคัญจึงเป็น Direct-to-Chip Liquid Cooling หรือ D2C

หลักการสำคัญคือแทนที่จะพยายามทำให้อากาศทั้งห้องเย็น ระบบจะนำสารหล่อเย็นเข้าไปสัมผัสบริเวณที่เกิดความร้อนสูงที่สุดโดยตรง ผ่าน Cold Plate ที่ติดตั้งอยู่กับ CPU และ GPU

อย่างไรก็ตาม การทำความเข้าใจ Direct-to-Chip ไม่ควรมองเพียง Cold Plate เพราะระบบระบายความร้อนของ AI Data Center จริง ๆ เป็นสถาปัตยกรรมที่เชื่อมต่อกันตั้งแต่ Chip → Cold Plate → Technology Cooling System → CDU → Facility Water System → Heat Rejection

เพื่อให้เห็นภาพ ผมขอยกตัวอย่าง AI Data Center ที่มี IT Load 100 MW

AI Data Center 100 MW คือภาระความร้อนเกือบ 100 MW

จุดแรกที่ต้องเข้าใจคือ พลังงานไฟฟ้าที่ GPU, CPU, Memory, Storage และอุปกรณ์เครือข่ายใช้ ในที่สุดเกือบทั้งหมดจะเปลี่ยนเป็นความร้อน

ดังนั้น หาก AI Data Center มี IT Load เท่ากับ 100 MW ระบบระบายความร้อนก็ต้องจัดการความร้อนใกล้เคียง 100 MW thermal ออกจาก Data Hall อย่างต่อเนื่องตลอด 24 ชั่วโมง

นี่คือสาเหตุที่ระบบ Cooling กลายเป็นหนึ่งในหัวใจสำคัญที่สุดของ AI Infrastructure

Direct-to-Chip รับความร้อนจากต้นกำเนิดโดยตรง

Direct-to-Chip ใช้ Cold Plate ติดตั้งสัมผัสกับบริเวณสร้างความร้อนสูงของ GPU และ CPU

ภายใน Cold Plate มีช่องทางขนาดเล็กให้สารหล่อเย็นไหลผ่านและรับความร้อนจาก Chip โดยตรง

ข้อดีคือระยะทางการถ่ายเทความร้อนสั้นกว่าการปล่อยให้ความร้อนออกสู่อากาศ แล้วจึงนำอากาศไปผ่าน Cooling Coil

โดยทั่วไป Direct-to-Chip สามารถรับความร้อนจากอุปกรณ์ IT ได้ประมาณ 70-85%

ตัวเลขจริงขึ้นอยู่กับหลายปัจจัย เช่น

• สัดส่วนกำลังไฟฟ้าของ GPU และ CPU
• จำนวนอุปกรณ์ที่ติด Cold Plate
• การออกแบบ Server Board
• Contact Resistance
• อัตราการไหลของสารหล่อเย็น
• อุณหภูมิสารหล่อเย็นขาเข้า
• และการกระจายโหลดระหว่าง Server และ Rack

สำหรับกรณีตัวอย่างนี้ กำหนด D2C Capture ไว้ที่ประมาณ 80% ดังนั้นจาก Heat Load 100 MW ประมาณ 80 MW จะถูกนำออกผ่าน Direct-to-Chip ส่วนอีกประมาณ 20 MW ยังคงระบายออกสู่อากาศ

แม้ใช้ D2C ก็ยังต้องมี Air Cooling

ประเด็นนี้สำคัญมาก Direct-to-Chip ไม่สามารถรับความร้อนทั้งหมดจาก Server ได้ เพราะอุปกรณ์บางส่วนไม่ได้ติด Cold Plate เช่น

• Memory Module
• Power Supply Unit
• Network Interface Card
• Storage Device
• Mainboard
• Voltage Regulator
• รวมถึงอุปกรณ์กระจายกำลังบางประเภท

ความร้อนประมาณ 20 MW ที่เหลือจึงยังต้องถูกนำออกด้วยระบบ Fan Wall หรือ CRAH อากาศร้อนจากด้านหลัง Rack จะถูกดูดผ่าน Cooling Coil แล้วจึงส่งอากาศเย็นกลับไปยังด้านหน้าของ Rack

ระบบควรใช้ร่วมกับ Hot-Aisle หรือ Cold-Aisle Containment เพื่อลดการผสมกันระหว่างอากาศร้อนและอากาศเย็น ดังนั้น Direct-to-Chip ไม่ได้ทำให้ Air Cooling หายไป  แต่ทำให้ขนาดและภาระของ Air Cooling ลดลงอย่างมาก

จาก Cold Plate สู่ Technology Cooling System

ความร้อนประมาณ 80 MW ที่รับจาก GPU และ CPU จะถูกส่งต่อเข้าสู่วงจร Technology Cooling System หรือ TCS

TCS เป็น Closed Loop ระหว่าง Cold Plate ภายใน Server กับ Heat Exchanger ใน CDU

ในกรณีตัวอย่างนี้ใช้สารหล่อเย็นประเภท Propylene Glycol ประมาณ 25% หรือ PG25
กำหนดอุณหภูมิสารหล่อเย็นขาเข้าประมาณ 32°C เมื่อรับความร้อนจาก GPU และ CPU แล้ว อุณหภูมิจะเพิ่มขึ้นเป็นประมาณ 40°C ดังนั้น ΔT เท่ากับประมาณ 8°C

สารหล่อเย็นจะไหลผ่าน Rack Supply Manifold เข้า Cold Plate ก่อนรวมกลับทาง Rack Return Manifold

องค์ประกอบสำคัญของระบบใน Rack ได้แก่ Cold Plate, Supply/Return Manifold, Flexible Hose, Quick Disconnect Coupling, วาล์วปรับสมดุลการไหล รวมถึง Temperature, Pressure และ Leak Detection Sensor

อัตราการไหลสูง ไม่ได้หมายความว่าใช้น้ำสูง

สำหรับภาระความร้อน D2C ประมาณ 80 MW และ ΔT 8°C อัตราการไหลของ PG25 ตามสมดุลความร้อนอยู่ที่ประมาณ 9,050 ลูกบาศก์เมตรต่อชั่วโมง

ตัวเลขนี้อาจดูสูงมาก แต่ต้องเน้นว่า 9,050 m³/h เป็นอัตราการหมุนเวียนของสารหล่อเย็น ไม่ใช่ปริมาณสารหล่อเย็นที่ถูกใช้ทิ้งในแต่ละชั่วโมง สารหล่อเย็นจะหมุนเวียนอยู่ใน Closed Loop และนำกลับมาใช้ซ้ำอย่างต่อเนื่อง

นี่เป็นความแตกต่างสำคัญระหว่าง Circulation Flow กับ Water Consumption ซึ่งมักถูกสับสนเมื่อพูดถึง Liquid Cooling

CDU คือหัวใจของระบบ

จาก TCS สารหล่อเย็นจะไหลเข้าสู่ Coolant Distribution Unit หรือ CDU

CDU ทำหน้าที่สำคัญ 4 ประการ

• หนึ่ง ถ่ายเทความร้อนจาก TCS ไปยัง Facility Water System
• สอง แยกของเหลวทั้งสองวงจรไม่ให้ผสมกัน
• สาม ควบคุมอุณหภูมิและอัตราการไหลของ TCS
• และสี่ รักษาความดันและความเสถียรของวงจร Cold Plate

ในระบบที่ต้องการความน่าเชื่อถือสูง CDU สามารถออกแบบแบบ 2N Redundancy เช่น

• CDU-A ทำงานเป็น Active
• CDU-B เป็น Standby
• และ CDU แต่ละชุดสามารถรองรับ D2C Load ได้เต็มประมาณ 80 MW

หากชุดหนึ่งขัดข้อง อีกชุดต้องสามารถรับภาระต่อได้ทันที

นี่เป็นแนวคิดเดียวกับระบบไฟฟ้าสำรองของ Data Center คือไม่ควรมี Single Point of Failure

Heat Exchanger แยกโลกของ Server ออกจากโลกของ Cooling Tower

องค์ประกอบสำคัญภายใน CDU คือ Plate Heat Exchanger

PG25 ฝั่ง TCS และน้ำฝั่ง Facility Water System จะไหลอยู่คนละด้านของแผ่นโลหะ

ความร้อนสามารถถ่ายเทผ่านแผ่นได้ แต่ของเหลวไม่ผสมกัน

การแยกวงจรมีความสำคัญอย่างมาก เพราะช่วยป้องกันตะกรัน สารเคมี และสิ่งปนเปื้อนจาก Facility Water หรือ Cooling Tower ไม่ให้เข้าสู่ Server

นอกจากนี้ยังช่วยแยกระดับความดัน ลดผลกระทบเมื่อเกิดการรั่ว และทำให้ซ่อมบำรุง Facility Water System ได้โดยไม่ต้องเปิดวงจร TCS

สำหรับ AI Data Center ที่อุปกรณ์ IT มีมูลค่าสูง ความสะอาดและความเสถียรของสารหล่อเย็นจึงเป็นเรื่อง Critical

มาถึงจุดนี้ ความร้อนถูกรับจาก Chip และส่งผ่าน TCS มายัง CDU เรียบร้อยแล้ว แต่ CDU เป็นเพียงจุดส่งต่อ ความร้อนทั้งหมดยังไม่ได้ออกไปจาก Data Center จริง ๆ

ตอนที่ 2 ซึ่งเป็นตอนจบ จะพาไปดูฝั่ง Facility Water System และ Heat Rejection ว่าทำไมภาระที่ปลายทางอาจมากกว่า IT Load ประเด็นการใช้น้ำของ Cooling Tower ข้อจำกัดเรื่อง Wet-Bulb และ Dew Point ในภูมิอากาศไทย ไปจนถึงโอกาสของอุตสาหกรรมไทยในห่วงโซ่นี้