Dompelkoeling vs. Direct-naar-chipkoeling: wat dit betekent voor uw leidingspecificaties

Inleiding: de beslissing die te laat komt

De meeste datacenteringenieurs maken hun keuze voor koeltechnologie - onderdompeling of directe-to-chip - op basis van doelstellingen voor rackdichtheid en kapitaalbudget. De leidingspecificatie komt later en wordt vaak behandeld als een uitvoeringsdetail in plaats van als ontwerpdriver. Die volgorde is een vergissing.

Het vloeistofsysteem dat u rond de door u gekozen koelarchitectuur bouwt, is niet uitwisselbaar. Een leidingspecificatie die is geschreven voor directe-naar-chip (D2C) koude-plaatkoeling zal - letterlijk en operationeel - mislukken als deze wordt aangepast naar een-fase-onderdompeling, en omgekeerd. Nu GPU-rackdichtheden routinematig de 50 kW overschrijden en AI-workloads richting 100 kW per rack gaan, is het niet langer optioneel om de pijpspecificaties in de schematische ontwerpfase goed te krijgen. Eén enkel lek in een D2C-systeem kan binnen enkele seconden een heel rack met $400.000 aan GPU-hardware platleggen.

Deze gids is geschreven voor mechanische en loodgieters die de beslissing over de koelarchitectuur al hebben genomen (of nog maken) en die keuze moeten vertalen naar een verdedigbare, ASHRAE--conforme leidingspecificatie.

 

 

Direct naar chip vloeistofkoeling datacenter GPU rack CDU

 

1. Twee architecturen, twee totaal verschillende Fluid Loop Logics

Voordat u een leidingschema aanraakt, moet u begrijpen dat immersiekoeling en D2C op fundamenteel verschillende hydraulische principes werken.

Rechtstreeks-naar-Chip (D2C)circuleert vloeistof -, meestal gedeïoniseerd water of een water-glycolmengsel - door koude platen die rechtstreeks op CPU's, GPU's en ASIC's zijn gemonteerd. Warmte wordt geabsorbeerd aan het chipoppervlak en naar een Coolant Distribution Unit (CDU) gevoerd, die deze uitwisselt met het watersysteem van de faciliteit. Het resultaat is een dicht, onder druk staand netwerk van pijpen met een kleine- diameter, spruitstukken, snel- koppelingen en koude platen, die allemaal tegelijkertijd in hydraulisch evenwicht moeten werken.

Enkel-fasige immersiekoelingdompelt hele serverborden onder in een diëlektrische vloeistof - meestal een synthetische koolwaterstof of technische vloeistof - in een tank. Warmte wordt van alle componenten overgedragen naar de vloeistof, die vervolgens door een externe warmtewisselaar wordt gepompt. Het externe leidingnetwerk is minimaal: in wezen twee aansluitingen per tank (aanvoer en retour) die naar een CDU of koelcircuit van de faciliteit lopen.

Het architectonische verschil is groot: D2C verdeelt de hydraulische uitdaging over tientallen aansluitpunten per rack; onderdompeling consolideert het in een eenvoudige, lage- externe lus. Alles stroomafwaarts in uw leidingspecificaties vloeit voort uit dit onderscheid.

 

2. Selectie van leidingmateriaal: waar ASHRAE de grens bepaalt

ASHRAE TC 9.9 en TC 9.6 zijn expliciet over materiaalcompatibiliteit. Voor D2C water-gebaseerde koelcircuits verbiedt de richtlijn zink, aluminium en messing die meer dan 15% zink bevatten -, die allemaal de galvanische corrosie versnellen in de aanwezigheid van behandeld water. In praktische termen sluit dit standaard geelkoperen fittingen en gegalvaniseerde stalen buizen uit, die nog steeds gebruikelijk zijn in HVAC-hydronische systemen.

Voor de Technology Cooling System (TCS)-lus - de secundaire lus die koude platen rechtstreeks bedient -304 of 316 roestvrij staalis de standaardspecificatie. De TCS-lus bevat doorgaans gedeïoniseerd of sterk behandeld water, dat feitelijk agressiever is ten opzichte van corrosie dan gemeentelijk water, omdat het vrijwel geen buffercapaciteit heeft. Bij elk rek is een isolatieklep, geschikt voor de werkdruk van het systeem en vervaardigd uit roestvrij staal 316, vereist voor zowel routineonderhoud als noodisolatie van lekkages.

Voor dompelkoeling verschuift de materiële uitdaging volledig. De diëlektrische vloeistof is chemisch inert ten opzichte van de meeste metalen, maar tast agressief elastomeren aan. - Standaard EPDM- en Buna-N-pakkingen die in HVAC-toepassingen worden gebruikt, zullen binnen enkele maanden na contact met op koolwaterstoffen-gebaseerde diëlektrische vloeistoffen opzwellen en afbreken. Het leidingmateriaal zelf (roestvrij koolstofstaal) is over het algemeen compatibel, maar elke pakking, O--ring en flexibele verbinding in de externe lus moet worden gespecificeerd als PTFE of een fluorpolymeermateriaal dat geschikt is voor de specifieke gebruikte vloeistof.

 

3. Leidingmaat, stroomsnelheid en drukval

ASHRAE TC 9.6 stelt een maximale vloeistofsnelheid in van2,1 m/s voor buisdiameters groter dan 3 inchom erosie bij fittingen en bochten te voorkomen. Beneden 3 inch ligt de praktische limiet dichter bij 1,5–1,8 m/s voordat het risico op geluidsoverlast en erosie onaanvaardbaar toeneemt. Deze limieten zijn van toepassing op beide koelarchitecturen, maar zorgen voor zeer verschillende maatresultaten.

In D2C-systemen wordt het debiet bepaald door de thermische belasting van elke koude plaat. Naarmate de TDP (Thermal Design Power) van de chip toeneemt - werken moderne H100 GPU's op een TDP van 700 W, terwijl de volgende- generatie versnellers worden geprojecteerd op 1.000 W+ - de stroomvraag per koude plaat proportioneel stijgt. Voor een rek van 50 kW met D2C-koeling is mogelijk 8 tot 12 liter koelvloeistof per minuut nodig bij het rekspruitstuk, verdeeld over 8 tot 16 afzonderlijke koude platen. Dit drijft de noodzaak van zorgvuldig hydraulisch balanceren: parallelle koude platen moeten de stroom gelijkmatig verdelen, anders zullen de heetste chips - meestal die aan het einde van de verdeelleiding - geen koelcapaciteit meer hebben.

Bij onderdompelingssystemen transporteert de externe leidinglus de warmtebelasting van de volledige tank, maar met een veel lagere snelheid en druk, omdat het aandrijfmechanisme in de tank convectie en pompen met lage- snelheid is, en geen geforceerde hoge- drukstroom. Een dompeltank van 250 kW heeft doorgaans slechts 20–30 liter per minuut nodig via de externe warmtewisselaarlus, bij systeemdrukken die zelden hoger zijn dan 2–3 bar.

De beslissing over de routering boven het hoofd of onder de vloer heeft ook invloed op de afmetingen. In de ASHRAE-richtlijnen wordt opgemerkt dat onder de vloer leidingen rekening moeten houden met de dikte van de isolatie en de afstand tussen de buizen. - Het toevoegen van 50 mm aan de buisdiameter wanneer rekening wordt gehouden met isolatiewikkeling is een veel voorkomende planningsfout die coördinatieconflicten veroorzaakt met verhoogde- vloertegellay-outs.

 

4. Isolatiekleppen, zeven en lekcontrole: het specificatiedetail dat de uptime beschermt

Dit is waar leidingspecificaties direct de operationele veerkracht bepalen, en waar de meeste specificatiedocumenten worden onderschreven.

Voor D2C-systemenmoet elk rek een isolatieklep hebben op zowel de toevoer- als de retourzijde, waardoor een enkel rek kan worden geïsoleerd en leeggemaakt voor onderhoud zonder aangrenzende rekken uit te schakelen. Het voorkeurskleptype voor deze toepassing is een3-delige kogelkraan met schroefdraadin 304 of 316 roestvrij staal. Het ontwerp van het drie-huislichaam is hier van cruciaal belang: in tegenstelling tot kleppen uit één- of twee- delen, kan het op zijn plaats worden gedemonteerd - zonder de leiding door te snijden of het kleplichaam van de leiding te verwijderen - om de afdichtingen te vervangen of de zitting schoon te maken. In een live datacenteromgeving waar het minimaliseren van de downtime van racks van het grootste belang is, is dit in-line-onderhoudsgemak een betekenisvol operationeel voordeel en geen specificatieluxe.

Stroomopwaarts van elk rekspruitstuk is een roestvrijstalen Y-zeef vereist om de micro-kanalen van de koude plaat te beschermen tegen vervuiling door deeltjes. Koudeplaatgeometrieën voor GPU's met hoge-prestaties gebruiken kanaalbreedtes zo smal als 0,5–1,0 mm; een deeltje van 200 micron kan een kanaal gedeeltelijk blokkeren en een gelokaliseerde hotspot creëren die thermische monitoring mogelijk pas ondervindt als de chipthrottling begint. Specificeer filters met een maaswijdte van 50 micron of fijner op de TCS-lus, volgens de ASHRAE TC 9.9-richtlijnen voor waterkwaliteit.

Op de retourpoot voorkomt een roestvrijstalen terugslagklep de terugstroom door de CDU-warmtewisselaar wanneer een rek wordt geïsoleerd of een pomp wordt uitgeschakeld - een terugstroomgebeurtenis die warme vloeistof in de toevoerleiding kan introduceren en de koelvloeistoftemperatuur over de hele rij kan verhogen voordat de bedieningselementen reageren.

Voor server-naar-verdeelstukverbindingen specificeert u droge-break quick-ontkoppelingsfittingen met een maximaal toegestane lekkage van 1 kubieke centimeter per ontkoppelingscyclus, in overeenstemming met de OCP-verbindingsnormen (Open Compute Project). Flexibele slangsegmenten bij deze verbindingen moeten worden vastgezet met extra klemmen op intervallen van 150 mm om doorzakken-geïnduceerde drukval en spanning op de fittingdraden te voorkomen.

Voor dompelsystemen, is de isolatiespecificatie eenvoudiger maar niet triviaal. Elke tank heeft toevoer- en retourisolatiekleppen nodig die geschikt zijn voor de volledige tankstroom, plus een monsterpoort voor monitoring van de vloeistofkwaliteit. Specificeer de externe lusverbindingen in een materiaal dat compatibel is met de specifieke diëlektrische vloeistof. - bevestig de compatibiliteit schriftelijk met de vloeistofleverancier voordat u de specificatie afrondt, aangezien bedrijfseigen vloeistofformuleringen variëren.

De lekdetectiekabel moet over de volledige lengte van alle D2C-toevoerleidingen worden gelegd, op het laagst bereikbare punt van elke pijpenbak of kabelgoot. Voor onderdompelingssystemen zijn punt-sensorlekdetectoren op elke tankbasis en op de CDU voldoende, aangezien er weinig externe leidingverbindingen zijn en goed-zichtbaar.

 

 

Leadtek 3-delige kogelkraan met schroefdraad

 

5. Een praktische specificatiechecklist voordat u deze voor de bouw uitgeeft

Voordat uw leidingspecificaties het technische team verlaten, verifieert u het volgende aan de hand van de door u gekozen koelarchitectuur:

Materiële naleving: Alle bevochtigde metalen zijn vrij van zink- en aluminiumlegeringen (D2C); alle elastomeren zijn compatibel gebleken met diëlektrische vloeistofchemie (onderdompeling)

Snelheidscontrole: Maximaal 2,1 m/s bij leidingen groter dan of gelijk aan 3" diameter, volgens ASHRAE TC 9.6

Isolatiekleppen: Eén driedelige kogelkraan met schroefdraad per rek, aanvoer en retour, met in--onderhoudsmogelijkheden (D2C)

Zeef beoordeling: Minder dan of gelijk aan 50 micron mesh op TCS-toevoer, stroomopwaarts van elk rekspruitstuk (D2C)

Plaatsing van de terugslagklep: CDU-retourbeen, elke rackretourtak (D2C)

Snel-ontkoppel specificatie: Droge- breuk, minder dan of gelijk aan 1 cc gemorst, OCP--conform (D2C)

Lekdetectie: Doorlopende kabel op alle voedingstrajecten (D2C); puntsensoren op tankbasis en CDU (onderdompeling)

Vrije ruimte onder de vloer: Buitendiameter buis plus isolatie plus 50 mm vrije ruimte tussen de oversteek bevestigd in model met lege vloer

Waterbehandelingsplan: Locatie-specifiek chemieprogramma ingeschakeld vóór systeemvulling, met gespecificeerd doorlopend monitoringprotocol

 

Conclusie: Specificeer het leidingsysteem dat past bij de koelarchitectuur, en niet andersom

Het besluit over de koeltechnologie en de leidingspecificatie zijn geen opeenvolgende stappen. - Het is één geïntegreerd technisch besluit. De keuze tussen onderdompeling en D2C-koeling bepaalt de hydraulische logica, materiaalbeperkingen, isolatiestrategie en lekrisicoprofiel van uw gehele vloeistofsysteem. Als u probeert een generieke HVAC-hydronische leidingspecificatie aan te passen aan een van beide architectuur, zal dit een systeem opleveren dat operationeel ondermaats presteert en onnodige blootstelling aan onderhoud creëert.

Betrek uw leidingspecificaties bij het schematisch ontwerp, naast de selectie van de koelarchitectuur. Gebruik ASHRAE TC 9.6 en TC 9.9 als uw basisconformiteitskader, en verifieer elke materiaalkeuze aan de hand van de werkelijke vloeistofchemie in uw systeem - en niet een generieke 'water'-aanname. De 30 minuten die nodig zijn om het type isolatieklep en de zeefmaaswijdte in de specificatiefase goed te krijgen, zullen aanzienlijk meer dan 30 minuten besparen op toekomstige stilstand.

 

Veelgestelde vragen

Vraag: Kan ik standaard HVAC-koolstofstalen buizen gebruiken voor een directe-naar-chipkoellus?

Koolstofstaal wordt gebruikt in de gekoeldwatercircuits aan de -zijde van de faciliteit (FWS), maar het is niet geschikt voor het Technology Cooling System (TCS)-circuit dat rechtstreeks koude platen bedient. De TCS-lus zorgt voor zeer gezuiverd water met een laag ionengehalte, dat corrosiever is voor koolstofstaal dan behandeld HVAC-water. Specificeer roestvrij staal 304 of 316 voor alle TCS-lusleidingen en fittingen.

Vraag: Waarom specificeert mijn CDU-fabrikant een andere leidingaansluitingsmaat dan mijn koudeplaatleverancier?

CDU's en koude platen zijn vaak afkomstig van verschillende fabrikanten en ontworpen volgens verschillende aannames van de interne stromingsweerstand. Het niet overeenkomen van de aansluitgrootte is een hydraulisch balanceringsprobleem: als de CDU 10 l/min verwacht bij 2 bar en de koude platen gezamenlijk 14 l/min nodig hebben om de chipjunctietemperaturen te behouden, zijn de specificaties van geen van beide leveranciers verkeerd - het systeemontwerp heeft ze niet op elkaar afgestemd. Een hydraulisch model van de volledige TCS-lus, van CDU-uitlaat tot elke koude plaat en terug, moet worden voltooid voordat de afmetingen van de aansluitingen worden bepaald.

Vraag: Hoe vaak moeten Y-filters op een D2C-koelcircuit worden gereinigd?

Inspecteer de zeefmanden maandelijks tijdens de eerste 90 dagen dat ze in bedrijf zijn. - Nieuwe leidingsystemen stoten deeltjes uit naarmate de coating van de buizen uithardt en de fittingen bezinken. Na de inloopperiode is een driemaandelijkse inspectie doorgaans voldoende voor gesloten-lussystemen met voortdurende monitoring van de waterkwaliteit. Als uw CDU een verschildruksensor over de zeef heeft, stelt u een alarm in op 0,3 bar delta-P als basislijn voor de schone- mand.

Vraag: Zijn dompelkoelingsleidingen eenvoudiger te specificeren dan D2C?

Het externe leidingnetwerk voor dompelkoeling is aanzienlijk eenvoudiger - minder aansluitpunten, lagere druk en geen verdeelstukverdeling op rack-niveau. De materiaalspecificatie is echter complexer omdat de compatibiliteit van diëlektrische vloeistoffen moet worden geverifieerd voor elk elastomeer, pakking en flexibele connector in het systeem. De manier waarop de materiaalcompatibiliteit in een onderdompelingssysteem verkeerd gaat, is langzaam en moeilijk te detecteren: degradatie van de afdichting gedurende 12 tot 18 maanden, gevolgd door geleidelijk vloeistofverlies en vervuiling, in plaats van de onmiddellijke en zichtbare lekkage die D2C-systemen veroorzaken.

Vraag: Wat is de minimale vloerhoogte die vereist is voor D2C-koelleidingen onder een verhoogde vloer?

De ASHRAE-richtlijnen stellen geen universeel minimum vast, omdat dit afhangt van de buisdiameter, de isolatiespecificatie en of de buizen elkaar kruisen. Een praktische planningsregel is om rekening te houden met de grootste buisbuitendiameter in het traject, plus 75 mm isolatie aan alle zijden, plus 50 mm vrije ruimte boven voor crossover-buizen, plus 25 mm onder voor steunen. Voor een 4- voedingsleiding met 25 mm isolatie levert dit een minimale vloerruimte op die ongeveer 300 mm - groter is dan de 250 mm ruimte die gebruikelijk is in oudere datacenters met verhoogde vloeren. Dit is een beperking die de moeite waard is om vroegtijdig te identificeren.