• Cloud & Data Platform
  • Lenovo
  • Case story

Det er de færreste datacentre, som hvert år skal behandle og opbevare adskillige petabytes data. Det er også de færreste datacentre, hvor der direkte er menneskeliv på spil. Men sådan er det hos Aarhus Universitet's GenomeDK. Deres nyeste udvidelse sætter nye standarder på HPC-feltet. En installation med et nyt vandkølingssystem, som skåner miljøet og rækker ud i fremtiden.

At High Performance Computing-udviklingen går rasende stærkt, lyder næsten som en dårlig it-joke. Hvad der foregår i de enorme chassiser, er for de fleste af os svært at begribe. Her gradbøjer man velkendte definitioner som tid, kapacitet og performance i ekstrem grad. Dét til trods er der også på HPC-feltet et udviklingskapløb, som det er tilfældet ved alle andre teknologier. De enorme kræfter, der er på spil i HPC, kan skabe store, ja endda kritisk værdifulde resultater – til gavn for os alle.

Derfor er det også en stor fornøjelse at dele historien om HPC-eventyret hos GenomeDK, som tilbyder lager og regnekraft til danske sygehuse og til livsvigtig forskning. Med en helt ny, state-of-the-art HPC-installation fra Lenovo har teamet i det aarhusianske serverrum aktivt skubbet på udviklingen. Og vi har været med hele vejen.

I videoen herunder kan du opleve ankomsten af det over ét ton tunge rack til Aarhus Universitet. Husk lyd for den fulde oplevelse! Kontakt os, hvis du vil vide mere om vores HPC-kompetencer.

Kontakt os

Et globalt forgangsprojekt

”Ét er selve teknologien - men patienterne og forskningen, de er sagens kerne”, indleder Dan Søndergaard, HPC Chefkonsulent hos GenomeDK. ”Vi lever af at levere beregnings- og lagerkapacitet primært til forskere og hospitaler. Vi favner bredt, men vores speciale er inden for de datatunge områder og særligt life sciences. Det hele handler om data – både opbevaring og beregning på data”, siger han og fortsætter:

”Vi er 11 år gamle nu og kom ret hurtigt ind i forskning; omkring 2015 startede vi op på det kliniske. På dét tidspunkt var vi et forgangsprojekt for denne type samarbejde i Norden. Og det er vi stadig. Vi dækker hele landet og har nu over 700 brugere, som tilgår og deler vores ressourcer på sikker vis. Vi har et fast samarbejde med Aarhus Universitet og Region Midtjylland omkring klinisk forskning, men også decideret produktion. Det betyder, at de hver dag kører patientdata igennem GenomeDK, hvilket naturligvis stiller store krav til både data- og driftssikkerhed”.

Et skridt ind i fremtiden

Dan og GenomeDK’s arbejde i datacenteret har med andre ord en stor betydning for os alle. Med dét sagt, er vi nødt til at tage et kig bag facaden for at begribe perspektiverne og mulighederne med GenomeDK’s nye Lenovo-installation. ”Vi udvider hele tiden vores kapacitet for at leve op til brugernes behov. Den store stigning i behovet for regnekraft betyder dog, at vi bliver udfordret på fysisk plads i datacenteret. Her kommer denne meget dense installation ind og gør en forskel”, fortæller Dan Søndergaard.

”For det første fremtidssikrer den os. Med dette indkøb alene har vi firedoblet vores nuværende kapacitet og er forberedt helt op til seks gange. Vi har købt ét rack og én CDU, en Cooling Distribution Unit, og kombinationen af den ekstremt kompakte hardware og den store kølekapacitet i CDU’en betyder, at vi kan udvide langt ud i fremtiden”.

Karl Hansen, HPC og AI Salgschef hos Lenovo, er ikke i tvivl om, at Dan og GenomeDK’s valg af system har et stort potentiale: ”De har taget skridtet videre med deres valg af teknologi og fremtidssikret deres installation”, siger han og supplerer: ”Det særlige er investeringen i en CDU, i vanddistributionen. Det giver en række fordele. Eksempelvis er der ingen blæsere i noderne, og allerede her spares op mod 20% af strømforbruget. Derudover er der effektiviteten ved at vandkøle frem for at luftkøle udstyret, for GenomeDK har valgt en såkaldt DWC-løsning; Direct Water Cooled. Her køler vand alle komponenterne, og det fylder en brøkdel af en luftkølet løsning”, lyder det.

Specifikation

  • 60 Lenovo Thinksystem vandkølede SD665-noder

  • Hver node har 2x AMD Genoa 9654 CPU med 96 kerner = 11.520 CPU-kerner i alt!

  • Der er 8 GB RAM per core, i alt 92.16 TB RAM

  • Koblet sammen med 200 Gbps Infiniband netværk

  • Alt leveret i ét 42U rack, som vejer godt 1 ton

  • FS600 CDU’en kan levere op til 600 kW køling og leveres med intern manifold, der tillader tilslutning af op til 6 racks

Grønnere it?

I udgangspunktet er it meget lidt grønt. Derfor må vi sætte ind, hvor vi kan, og det er gør både GenomeDK og Lenovo. ”I gamle dage brugte et rack måske 5 kW – i dag 80 kW eller mere. Derfor er der et stort fokus på at nedbringe forbruget”, slår Karl Hansen fast. Et faktum, Dan og GenomeDK nikker genkendende til: ”Takket være et kæmpe forarbejde i vores team og facility management kunne vi sikre, at der var vand og strøm nok til rådighed. Det er en meget stor kapacitet”, fortæller han og tilføjer, ”Vores datacenter forbruger jo rigtig meget strøm, og derfor gør vi også alt, vi kan, for at minimere energiforbruget. Med denne installation kan vi levere en meget stor mængde kapacitet med et rimeligt forbrug af energi”.

Karl Hansen fra Lenovo stemmer i: ”Med Lenovo Neptune, som denne teknologi hedder, består gevinsten af flere ting. Bedre udnyttelse af energien og bedre ydelse fra løsningen, konsolideret drift med besparelser på strøm, som i dag er en væsentlig udgift. Et eksempel: Hvis man køber et HPC-cluster for DKK 30 mio., så koster det cirka DKK 15 mio. at forsyne det med strøm i dets levetid”.

Småt er godt

I en tid, hvor mange ting ikke kan blive store nok, går HPC-udviklingen lidt den modsatte vej. Bevares, som det også ses på billederne til denne historie, så er GenomeDK’s Lenovo-installation alt andet end lille. Men i HPC-målestok er den ganske beskeden. Dét er en god ting og helt bevidst. ”Vi kan ikke længere bygge kompakte noder med normale CPU’er uden vandkøling. For bare 1-2 år siden kunne vi bygge chassiser på to U, hvilket er en rack-unit på 4,5 cm med plads til 4 noder. Men den nye generation CPU’er bruges op til +500 watt, hvilket i en så kompakt enhed ikke længere kan køles med luft. Det har øget pladskravet i serverrummene, og selv udgifter til kabling og netværk er udfordret. Derfor vælger Dan og GenomeDK vandkøling. På den måde kan vi stadig skabe meget kompakte og tætte infrastrukturer; og så er det 3.000 gange mere effektivt at fjerne varme med vand i forhold til luft. Det er ren fysik”, slår Karl Hansen fast.

 

Lang holdbarhed

Dan Søndergaard sætter ord på GenomeDK’s måde at forbruge HPC-it på. ”Vi får flere petabyte nye data ind om året, og meget af det skal per lov opbevares i 15 år. Det medfører løbende store datamigreringer og vedligehold. Og det håndterer vi”, fortæller han. Dette peger vel i retningen af et stort forbrug af udstyr? Men også her tænker Dan og kollegerne fremad: ”Vi gør det anderledes end andre HPC-anlæg. Vi har aldrig købt et anlæg, brugt det i fem år og derefter skrottet det. Vi tror ganske enkelt ikke på dén model. I stedet sikrer vi, at vi løbende kan udvide, efterhånden som kapaciteten bliver nødvendig. Ligesom med vores nye anlæg. Det betyder også, at vores mange brugere ikke oplever store ændringer eller manuelle datamigreringer – og så er det langsigtet og mere bæredygtigt, fordi kapaciteten ikke står uudnyttet”.

Varme til fremtiden?

Lang levetid på udstyr og store strømbesparelser er ikke de eneste gevinster ved vandkølet HPC: Et direkte vandkølet system kan i princippet levere returvarme direkte tilbage til fjernvarmenettet. Og dermed har Aarhus Universitet og GenomeDK endnu en mulighed at opdyrke i fremtiden. En mulighed for at genanvende al strøm-varme direkte til opvarmning af vand og bygninger.

Neptune water cooling datacenter, Danoffice IT

Vækker allerede opsigt

I Danoffice IT er GenomeDK’s sag ganske særlig. Dels grundet dens tekniske beskaffenhed, dels grundet det værdifulde udbytte af GenomeDK – men også grundet samarbejdets karaktér. ”Vandkølende HPC-systemer er et vigtigt fokusområde for os i Lenovo”, siger Karl Hansen. ”Vi har været på markedet med vores Neptune vandkøling i mere end 10 år, og i denne udvikling er vi meget glade for vores samarbejde med Danoffice IT. De er vores foretrukne samarbejdspartner på HPC. Vores kontakt Palle Gram gør virkelig et godt stykke arbejde, og vi stoler på hinanden – et godt eksempel på, at mennesker handler med mennesker. Og allerede nu har det vakt opsigt, at vi har kunnet levere dette vandkølede system til Dan og GenomeDK”, lyder det fra Karl Hansen, HPC og AI Salgschef hos Lenovo.

”Et samarbejde som dette er utroligt værdifuldt. Vi lærer hele tiden en masse om de nye teknologier, som er på markedet, og de muligheder, de giver. Muligheder, som over tid bliver til løsninger, som kommer forskere og patienter til gode”, slutter Dan Fabricius Søndergaard, HPC chefkonsulent hos GenomeDK.

Læs flere case stories