Mikä on tekoälydatakeskus? [Video ja tietokilpailu]

Lyhyt vastaus: Tekoälydatakeskus on tiheästi toimiva paikka, jossa virransyöttö, jäähdytys, verkko ja tallennustila keskittyvät koulutus- ja palvelumallien ympärille, ei palvelinhuoneeseen, jossa on ylimääräisiä näytönohjaimia. Sirut saavat mainetta; rakennus päättää , toimivatko ne. Jos kuvat eivät pääse lähtemään, jälkiasenna pieni solu; useimpien tiimien kannattaa vuokrata.

Keskeiset tiedot:

Sirut vs. rakentaminen: Virta, jäähdytys, kangas ja tallennustila ratkaisevat, toimivatko kiihdyttimet.

Paikkoja, ei palatseja: Asenna kaksi räkkiä, kun dataa ei voi siirtää; älä osta kampusta.

Keskiarvo vs. mediaani: Kahdeksalla ajokerralla mediaani hid alkaa alusta; käytä 18 tunnin keskiarvoa.

Väärinkäytön estäminen: Älä anna PUE-arvoa kahdelle räkille sekahallissa.

Havainnollistavia tuloksia: Kahdeksan juoksua on pieni kartta, eikä se tarkoita 50 %:n säästöä tuotannossa.

Artikkelit, joita saatat haluta lukea tämän jälkeen:

🔗 Onko tekoäly luotettava? Video ja tietokilpailu
Tutustu tekoälyn luotettavuuteen mukaansatempaavan videon ja interaktiivisen tietokilpailun avulla.

🔗 Tekoälyn hyödyntäminen arkielämässä
Tutustu käytännön tapoihin, joilla tekoäly voi yksinkertaistaa arkipäivän tehtäviä ja rutiineja.

🔗 Tekoälyn hyödyntäminen työpaikalla
Opi käytännön tapoja hyödyntää tekoälyä älykkäämpään työpaikan tuottavuuteen.

🔗 Voiko tekoäly ajatella itse?
Ymmärrä, voiko tekoäly aidosti ajatella itsenäisesti tai järkeillä.

Miten se eroaa "tavallisesta" datakeskuksesta

Perinteiset hallit optimoivat sekakuormituksen ja käyttöajan monien pienten palveluiden kesken. Välität redundanssista, totta kai, ja PUE:sta käsitteenä – ylimääräisestä energiasta, jonka rakennus kuluttaa watin laskentatehon tuottamiseen. Et yleensä suunnittele jokaista käytävää räkin ympärille, joka käyttäytyy kuin kannettava lämmitinkeskus.

Tekoälysivustot kääntävät suhteet päälaelleen. Tiheys kasvaa. Verkosta tulee rakennelma, jota ilman koulutustyö ei voi ontua. Tallennustilan on pidettävä tarkastuspisteet liikkeessä tai kiihdyttimet käyttämättöminä, kuten kilpahevoset liikenneruuhkassa.

Kulttuurissakin on eroja. Yritysten operatiivinen tiimi ajattelee tikettejä ja muutosikkunoita. Tekoälyoperatiivinen tiimi ajattelee työjonoja ja sairasta oloa, kun solmu kaatuu pitkällä aikavälillä. Molempia voisi kai silti kutsua "datakeskuksiksi", koska ne ovat sitä. Nimi vain peittää putkiston.

Ei moraalinen arvojärjestys. Eri koneet, sama sukunimi.

Näytönohjaimet, kiihdyttimet ja virtaa kuluttava teline

Kävele perinteisellä korotetulla lattialla, niin hyllyt näyttävät lähes kohteliailta. Kävele tekoälyrivillä, niin ne näyttävät siltä kuin ne haluaisivat niellä koko rakennuksen.

Erottuva laitteisto ei ole nerokas CPU. Se on kiihdytinalusta: GPU:t tai muut tekoälypiirit, jotka on pakattu palvelimiin, sitten räkkeihin ja lopuksi riveihin, jotka jakavat suuren kaistanleveyden omaavan rakenteen. GPU yhdistää toisiinsa stitch-piirit joksikin, joka voi teeskennellä olevansa yksi jättimäinen kiihdytin; klusterirakenne tekee saman tempun rivitasolla. Rinnakkaiskoulutus toimii vain, jos nämä linkit pysyvät paksuina ja ennustettavina. Jos se menetetään, "klusteri" on kasa kalliita työasemia, jotka jakavat postinumeron.

Virta seuraa siruja. Ei kömpelö toimiston virranjakokeskus. IT-kuormaa megawatteina, kun halli täyttyy – en keksi lukua. Tiheys räkkiä kohden on juonenkäänne. Vähemmän räkkejä. Jokainen kuin pieni uuni. Rajoittavana tekijänä on usein sähköasema, ei näytönohjainten toivelista. Tiedättehän, miten se menee: hankinta haluaa lisää kiihdyttimiä; sähköyhtiö haluaa pitkän keskustelun ja erittäin suuren shekin.

Yhdestä hieman hölmöstä kielikuvasta en pääse eroon: teline on nälkäinen eläin. Voit kasvattaa nopeamman sellaisen. Sinun täytyy silti ruokkia sitä ja silti pitää liata kuumuus pois. Jos jätät kumman tahansa tekemättä, siitä tulee erittäin kallis paperipaino.

Virta, lämpö ja jäähdytysongelma

Sähkö sisään. Lämpö ulos. Siinäpä koko uskonto.

Tiheät räkit purkavat lämpöä tavalla, jota ilman ei ole koskaan tarvinnut käsitellä. Ilmaa voi työntää kovemmin – takaovien lämmönvaihtimet, kuumemmat käytävät, älykäs suojaus – ja se toimii tiettyyn pisteeseen asti. Sitten nestettä ilmestyy:

• Suoraan sirulle jäähdytys

• Jäähdytysnestesilmukat, jotka saavat laitoshuoneen näyttämään kemiantehtaalta

• Muutaman suunnittelun syventyminen hämmästyttää edelleen ihmisiä, joiden mielestä veden ja tarjoilijoiden ei pitäisi jakaa samaa lausetta

Mikään tässä ei ole hohdokasta. Kaikki on tuotetta, koska kaasupolkimesta, joka kuristaa, olet jo maksanut etkä voi hyödyntää sitä täysin.

PUE on edelleen tärkeä. Se on suhdeluku, ei persoonallisuus. Operaattorit jahtaavat sitä, koska jokainen tuulettimiin ja pumppuihin käytetty watti on watti, joka ei mennyt näytönohjaimelle. En lainaa "tyypillistä" lukua; ilmasto ja se, miten raja vedetään, siirtävät sitä, ja teeskennelty tarkkuus on pahempi kuin ei mitään. Vesikin on mukana tarinassa. Jotkut kasvit siemailevat. Jotkut kulauttavat. Haihdutusjäähdytys on tehokasta, kunnes joki tai kuivuus tekee siitä poliittisen.

Verkostoituminen: miksi materiaalilla on yhtä suuri merkitys kuin siruilla

Ihmiset valokuvaavat näytönohjaimia. Heidän pitäisi valokuvata kytkimet.

Koulutus on keskustelua. Tuhannet kiihdyttimet vaihtavat gradientteja, parametreja ja mallin sirpaleita tiiviissä synkronoinnissa. Jos verkostossa on häiriöitä, koko työ odottaa hitaimman hypyn. Siksi tekoälyhallit keskittyvät pakkomielteisesti suuren kaistanleveyden verkkoihin, pieneen viiveeseen ja topologioihin, jotka eivät katkea linkin katketessa. InfiniBand-tyyppiset verkostot, Ethernet samassa roolissa, GPU-yhteydet laatikon sisällä, kaapelointi, jonka on oltava oikein ensimmäisellä kerralla.

Päättely on eri asia. Mallin tarjoilussa huomio kiinnittyy häntälatenssiin – hitaaseen vastaukseen, ei keskimääräiseen. Erä- vs. reaaliaikainen eroaa persoonallisuudesta. Koulutusklusteri haluaa runsaasti kollektiivista ja lähes kaikkien puolelta tulevaa liikettä. Palveleva laivasto haluaa useita pienempiä pyyntöjä ja erillisyyttä ilman ruuhkaa kuormituksen tasaajalla.

Huono puoli tässä vaiheessa: ihmiset kohtelevat verkkoa putkistona ja siruja ravintolana. Tässä rakennuksessa putkisto on ravintola. Jos et tee sitä, ostat keittiön, joka ei voi ottaa vastaan ​​kotiinkuljetusta.

Koulutus vs. päättely: kaksi rakennusta, joskus kirjaimellisesti

Koulutus on kuin kampanja. Kokoat klusterin, syötät sille dataa, tarkistat sen tuntikausia tai viikkoja ja rukoilet, että rakennelma pysyy tapahtumattomana. Se on eräpainotteinen, kaistanleveyttä ahne, hiljaisen kärsivällinen – kunnes viallinen solmu ottaa pienen pisteen suorituksesta. Yksikin toimimaton kiihdytin tiiviisti kytketyssä työssä voi pysäyttää koko kuoron.

Päättely on kuin näyteikkuna. Jo koulutetut mallit vastaavat nyt kysymyksiin, luokittelevat kuvia ja tuottavat tekstiä. Latenssilla on merkitystä. Hieman vanhempi kiihdytin asiakkaan lähellä voi päihittää mantereen päässä olevan glamour-kiihdyttimen.

Eli tilanne jakautuu. Koulutuskeskukset jahtaavat tehoa, maata ja tiheyttä. Päättelypaikat jahtaavat viivettä ja läsnäoloa. Hybridihallejakin on olemassa, koska pääoma ei ole loputonta. No – ei aina kahta rakennusta. Joskus yksi sali samettiköydellä ja kahdella jäähdytyssilmukalla.

Tässä kohtaa konesalit, hyperskaalatut kampukset ja paikalliset haarukat (on-prem) ovat esillä. Hyperskaalaajat rakentavat skaalautuvia järjestelmiä, jotka saavat meidät muut näyttämään siltä kuin järjestelisimme huonekaluja. Kolot myyvät tiheyttä räkeittäin. Paikallista kehitystä tapahtuu edelleen silloin, kun dataa ei voi siirtää.

Tallennuskapasiteetti, tarkistuspisteet ja nälkäiset sirut

Kukaan ei laita rinnakkaistiedostojärjestelmää esitteen kanteen.

Harjoitusdatan on saavuttava riittävän nopeasti, jotta näytönohjaimet eivät näprää jalkojaan. Tarkistuspisteiden on laskeuduttava, jotta kaatuminen ei heitä viikkoa hukkaan. Mallipainojen on latauduttava ennen kuin palveleva replika on käytettävissä. Tallennuskapasiteetin – ei vain kapasiteetin – määrä on hiljainen pullonkaula. Voit käyttää omaisuuksia kiihdyttimiin ja tyhjentää ne virtuaalikoneille suunnitellulla kohteliaalla taulukolla.

Kaava on tuttu: kiiltävä klusteri, työjono ja I/O-odotus, joka tuijottaa takaisin kuin karkea lasku. Laskennan klusterointi ilman datapolun klusterointia on tapa saada erittäin kallis tyhjäkäynti. Pidä sirut ruokittuina tai myönnä ostaneesi veistoksen.

Ohjelmisto, orkestrointi ja epähohdokas operatiivinen kerros

Laitteisto on julkkis. Aikatauluttajat tekevät työn.

Tekoälydatakeskus on hyödytön, jos työt eivät löydä näytönohjaimia, jos kaksi tiimiä ei voi jakaa klusteria ilman nyrkkitappelua, jos epäonnistunutta rankkia ei voida korvata, jos laiteohjelmisto ajautuu hidastetusti, kunnes verkko pettää. Orkestrointi, havaittavuus, tehonrajoitus – epähohdokas operatiivinen kerros, josta tiedät, että sillä on merkitystä.

Minulla on heikko kohta tätä tasoa kohtaan. Myös silloin, kun väärin määritetty verkkokortti esiintyy jäähdytysongelmana koko iltapäivän ajan... sen huomaa kantapään kautta.

Kun solmu kuolee kesken ajon

Solmu kaatuu. Muutosikkunat törmäävät edelleen harjoitusajoihin, jotka eivät välitä kalenteristasi. Aikataulutat isoja töitä joukkoajoituksella, eristät päättelypooleja ja kirjoitat runbookeja virheille, jotka näyttävät "työn hitaalta", kunnes ne näyttävät "työn kuolleelta". Redundanssi on edelleen tärkeää - teho, jäähdytys, polut, tallennustila - mutta vikatila on vähemmän siisti kuin vanha yhdeksikköjen käyttöaikaa kuvaava liukumäki. Päättely: replikoi, tyhjennä sairas solmu, jatka vastaamista. Koulutus haluaa tarkistuspisteitä, ei optimismia.

Sijainti, vesi, sähköverkko ja naapurit

Et pudota tällaista mökin viereen maisemien takia.

Verkkoonliityntä on usein todellinen paikanvalintaprosessi. Maan hankkiminen on helppoa verrattuna sähköasemaan ja sähkölaitokseen, jolla on muita asiakkaita. Jäähdytysvedestä, jos sitä käyttää, tulee naapuriongelma heti, kun sade on rankkaa. Melua. Visuaalista massaa. Lämpöä raja-aidalla. Kaavoituskomiteat löytävät mielipiteitä "pilvestä" heti, kun se tarvitsee peltoa ja jokea.

Latenssi vetää toiseen suuntaan. Päättely viihtyy käyttäjien ja yhteenliitäntöjen lähellä. Koulutus voi piiloutua halvemmilla sähkömarkkinoilla ja viileämmässä ilmastossa. Alan toimijat puhuvat ikään kuin olisi olemassa yksi täydellinen paikka. Sellaista ei ole. On olemassa kompromissi lehdistötiedotteen kanssa.

Jäljelle jäänyt lämpö ja kutsumaton uuni

Esitteet rakastavat tätä kohtaa. Putkista hukkalämpö koteihin, uima-altaisiin, kasvihuoneisiin; se on kaunis lause. Joskus piirin kierto on aito. Joskus kampus on väärässä paikassa ja lämpö pääsee silti ilmaan. Olen skeptinen esiteversiota kohtaan; en ole skeptinen fysiikkaa kohtaan.

Kuka tarvitsee sellaisen (ja kenen kannattaisi vuokrata)

Useimpien ihmisten ei tarvitse omistaa yhtäkään näistä saleista.

Tylsä lista:

• Hyperskaalaajat, koska tuote on laivasto

• Labs, kun jonotusaika on pullonkaula tai dataa ei voida siirtää

• Pankki, sairaalaryhmä, hallitus tai valmistaja, jolla on salainen tietokanta - paikallisesti tai yksityisesti - voi olla rationaalinen, vaikka se olisikin virheellinen

Kaikkien muiden pitäisi vuokrata. Tekoälyvalmiilla tiheydellä varustettu konesali. Pilvivaraus. Hallittu klusteri. Saat kiihdyttimet ilman, että sinun tarvitsee samalla toimia voimalaitoksen operaattorina. Romantiikka haalistuu ensimmäisen kerran, kun joku kysyy, kuka on jäähdytyssilmukan päivystäjä klo 3 aamuyöllä.

Myönnän, että ylpeyden tunne on läsnä. Klusterin omistaminen tuntuu kuin omistaisi ennustamisen keinot. Sitten sähkölasku saapuu ja ylpeys istahtaa alas.

Mihin rakennus on tarkoitettu

Mitä siis oikein on tekoälydatakeskus? Se on erikoistunut, tiheästi rakennettu kampus, jossa kiihdyttimet, virransyöttö, jäähdytys, verkko ja tallennustila on järjestetty koulutus- ja palvelumallien ympärille – ei yleiskäyttöinen IT-keskus, jossa on näytönohjain nurkassa. Se näyttää varastolta. Se käyttäytyy kuin matematiikkaa tekevä voimalaitos.

Jos et muista mitään muuta: sirut saavat mainetta; sähköasema, jäähdytysneste ja verkko päättävät, olivatko sirut hyvä idea. Koulutus ja päättely voivat jakaa katon; ne haluavat silti erilaisia ​​tapoja. Useimpien organisaatioiden pitäisi vuokrata. Muutamien pitäisi rakentaa. Naapurit huomaavat kumman tahansa.

Pilvellä on aina ollut rakennus. Nykyään rakennuksella on mielipiteitä.

Käytännön esimerkki: Kahden telineen harjoitussolu, josta kuvat eivät pääse poistumaan

Skenaario

Tomos on infrastruktuuripäällikkö Kestrel Precisionilla, 400 hengen valmistajalla West Midlandsissa. Heillä on jo pieni paikallinen halli: ERP, tiedostojen jakaminen, virtuaalikoneet, se sekalainen naapurusto, josta tämä artikkeli alkoi. Ilmajäähdytys. Tavallinen Ethernet. SAN, joka on täysin ystävällinen toimistolevyille.

Konenäkötiimin on koulutettava tarkastusmalli tehdaskuvien avulla. Kuvia ei voi siirtää pois työmaalta. Ne näyttävät prosessin, jota yritys ei aio tallentaa pilvilevylle, ei edes yksityiselle. Hankinnan ratkaisu on neljä kaksoiskiihdytinpalvelinta ja dia nimeltä "tekoälydatakeskuksemme". Palvelimet sijoitetaan kahteen olemassa olevaan räkkiin, koska tilaa on, ja tila tuntui rajoitteelta.

Ei ole. Kahden viikon sisällä näytönohjaimet kuulostavat kiireisiltä ja sitten hiljaa hidastuvat. Työt ryömivät, kun tarkistuspiste osuu SAN-verkkoon. Solmu kaatuu yhdentoista tunnin kohdalla ja suoritus on vain... poissa. Tomos ei ole jättänyt ostamatta siruja. Hän on ostanut kasan kalliita työasemia, joilla on sama postinumero. Rakennus oli edelleen yrityshalli.

He eivät tarvitse kampusta, uutta sähköasemaa tai jokea. He tarvitsevat pienen solun, joka toimii kuin pienoiskoossa oleva tekoälydatakeskus: virran, jota räkit voivat oikeasti pitää sisällään, lämmön, joka poistuu ilman sirujen kypsentämistä, verkon, josta koulutustehtävä voi puhua, tallennustilan, joka voi ottaa vastaan ​​tarkistuspisteen, ja runbookin solmun kaatumisen varalta. Koska kuvat eivät voi poistua, ratkaisu ei ole vuokrata kolohäkkiä 40 minuutin päästä. Kahden räkin jälkiasennus on.

Mitä solu tarvitsee

• Mitattu tehobudjetti kyseiselle riville, virransyöttöyksiköistä, ei näytönohjaimen toivelistalta. Jos ylimääräinen kapasiteetti ei riitä syöttämään neljää palvelinta harjoituskuormalla, keskustelu pysähtyy siihen ja he tarkastelevat tiheämpää väriä, eivät ihmettä

• Ilman jäähdytystä ei koskaan pyydetty hoitamaan tällä tiheydellä: takaovien lämmönvaihtimia, jos halli kestää ne, tai pientä nestekiertoa, jos se kestää sen. Jos kumpaakaan, palvelimia ei käytetä

• Neljän solmun välillä on erillinen suuren kaistanleveyden verkko, ei toimiston Ethernet-verkkoa. Jos toimittajalla on luettelossa vain 10 Gb:n kytkin, se ei ole klusteri

• Paikallinen nopea tallennustila tarkastuspisteille ja harjoitussirpaleille, ei virtuaalikoneen SAN-verkolle

• Aikatauluttaja, tarkistuspisteväli ja kirjallinen uudelleenkäynnistyspolku. Laitteisto on julkkis. Tämä kerros on tehtävä

• Aidattu päättelylaatikko tehdaslinjalle, erillään harjoituskeskustelusta, koska tarjoilu haluaa häntälatenssia ja eristystä, ei kollektiivista

• Lupa kirjata virransyöttö, näytönohjaimen kellot, rajoitustapahtumat ja työseinäkello. Jos he eivät voi tarkastaa näitä, he valokuvaavat näytönohjaimet ja ohittavat kytkimet

Esimerkkiohje

Tomos ilmaisee tämän tilatiedoissaan yleiskielellä:

Älkää kutsuko tätä tekoälykampukseksi. Rakentakaa kahden räkin koulutussolu olemassa olevaan halliin neljälle kaksoiskiihdytinpalvelimelle. Tehdaskuvat pysyvät paikan päällä. Onnistuminen on seuraava: neljä solmua suorittavat 12 epochin tarkastus- ja koulutusreseptin ilman lämpökuristusta, kirjoittavat tarkastuspisteen minuuteissa, ei kymmenissä minuuteissa, ja jatkavat kyseisestä tarkastuspisteestä, kun rivi tapetaan tarkoituksella. Jäähdytyksen on pidettävä näytönohjaimet harjoituskelloissaan. Verkon on oltava näiden neljän yksikön yhteinen rakenne, ei polku toimistopinon läpi. Tallennustilan on ruokittava siruja. Jos takaoven lämmönvaihtimet eivät sovi, sanokaa se ja lopettakaa. Älkää antako PUE-arvoa kahdelle räkille sekahallissa. Se luku olisi teatteritaso.

Sitten hän lisää tämän itse koulutustehtävään:

Tarkastuspiste 30 minuutin välein paikalliselle pika-altaalle. Jos jokin rankki laskee, aloita uudelleen viimeisimmästä suoritetusta tarkastuspisteestä. Älä odota SAN-pistettä. Älä jatka harjoittelua, jos kellot ovat pudonneet lämmöstä. Kirjaa se ylös ja pysähdy, jotta näemme pysähtymisen.

Hyvä tunti näyttää tältä: kaikki kahdeksan näytönohjainta harjoituskelloilla, tarkistuspistetiedosto on saapunut, työ edelleen käynnissä. Huono tunti näyttää tältä: tuulettimet täydellä teholla, kellot alas, tarkistuspiste 2 % kirjoitetaan kymmenen minuutin jälkeen ja joku toimistossa sanoo "klusteri on toiminnassa". Toiminnassa ei ole harjoitusta.

Kuinka testata sitä

He kirjoittavat testin ennen jälkiasennusta, mikä onkin koko demoversioon luottamattomuuden ydin.

• Sama 12 aikakauden resepti, samat 120 000 tarkastuskuvaa, kahdeksan ajoa

• Ajoitus on seinäkellon mittainen valmiin reseptin suhteen, mukaan lukien kaikki uudelleenkäynnistykset, mitattuna työn lähettämisestä epookin 12 viimeiseen tarkastuspisteeseen

• Lämmön siirtyminen: GPU-kellot pysyvät harjoitustavoitteessa ajon ajan. Kaasurajoitustapahtuma on epäonnistunut, vaikka työ lopulta päättyisi

• Tallennusvälitys: tarkistuspisteen kirjoitusaika, mediaani ja huonoin aika työlokista

• Kankaan läpivienti: työ ei joudu odottamaan kollektiivisesti, kun palkkaluokka on terve. Jos he eivät näe tätä odotusta, instrumentointi ei ole tehty

• Kahdessa kahdeksasta ajosta rankki lopetetaan tarkoituksella kiinteällä askeleella uudelleenkäynnistyspolun testaamiseksi

• Päättely on erillinen 200 kuvan testi tehdaslinjalta aidatulle tarjoilualueelle. Harjoittelun onnistuminen ei lasketa tarjoiluonnistukseksi

• Ne tallentavat virransyöttöyksiköiden räkkien tehon 15 minuutin näytteissä, joten kenenkään ei tarvitse keksiä megawattia

Hyväksyntä solun kutsumiselle tekoälyvalmiiksi: 8/8 reseptiä valmistuu; 0/8 näyttää lämpökuristusta; molemmat keskeytetyt suoritukset jatkuvat; tarkistuspisteet pysyvät minuuteissa. Jos he eivät pääse tähän, heillä on silti palvelinhuone hienoine näytönohjaimineen.

Tulos

Havainnollistava tulos tekaistusta kahdeksan juoksun testistä, ei julkaistu Kestrel-kuva.

Oletukset: neljä kaksoiskiihdytinpalvelinta kahdessa räkissä; yksi tarkastusmalli; 120 000 still-kuvaa; kahdeksan ajoa kiinteällä 12-epochisella reseptillä; seinäkello sisältää uudelleenkäynnistyksiä, kunnes resepti on valmis; rajoitus tarkoittaa harjoituskellon kirjattua pudotusta; tarkistuspisteen aika on kirjoitusaika, ei toiveaika; räkin teho on PDU-näytteitä, ei kampuksen PUE-arvoa.

Ennen jälkiasennusta tavallisissa ilmajäähdytteisissä räkeissä toimiston Ethernet-verkossa ja virtuaalitietokoneen SAN-verkossa olevat näytönohjaimet:

• Kahdeksasta juoksusta viisi suoritettiin ensimmäisellä yrityksellä. Seinäkellon mediaani näiden viiden joukossa: 14 tuntia

• Kolme kahdeksasta joutui aloittamaan alusta noin tunnin 11 kohdalla tapahtuneen katkoksen jälkeen (kaksi solmun kaatuessa vanhentuneen tarkastuspisteen vuoksi ja yksi tarkastuspisteen täyttäessä SAN:n). Välitön uudelleenyritys, ei yön yli keskeytystä kellossa: 11 tuntia hukkaan heitettyä plus 14 tunnin toinen yritys, eli 25 tuntia valmiin reseptin saamiseen näillä kolmella

• Keskimääräinen aika reseptin valmistumiseen kaikissa kahdeksassa, uudelleenkäynnistykset mukaan lukien: 18 tuntia. (Viisi 14 tunnissa, kolme 25 tunnissa. Kaikkien kahdeksan mediaani on edelleen 14, mikä piilottaisi uudelleenkäynnistykset. Siksi keskiarvo on tässä lähtötaso.)

• Lämpökuristimella on havaittu ongelmia 7/8 ajossa. Mediaaniaika alennetuilla kellotaajuuksilla: 3 tuntia 14 tunnin yrityksessä

• Tarkistuspisteen kirjoitusaika: mediaani 22 minuuttia

• Rank-kill ei ollut testi, jonka he olisivat voineet läpäistä. Heillä ei ollut juoksukirjaa. Kaksi tapaturmaista kuolemaa olivat löydös

• Kahden räkin IT-huippukuormitus koulutuksen aikana: noin 18 kW. Rivillä oli watteja. Siinä ei ollut jäähdytystä tai kangasta

Kahden räkin takaoven lämmönvaihtimien, neljän solmun välisen erillisen verkon, pienen NVMe-varanto tarkastuspisteille, 30 minuutin tarkastuspisteytys ja uudelleenkäynnistyksen suorituskirjan jälkeen:

• 8/8 suoriutui ensimmäisellä yrityksellä. Seinäkellon mediaani: 9 tuntia

• Lämpökaasu: 0/8

• Tarkistuspisteen kirjoitusaika: mediaani 90 sekuntia. Erän huonoin: 3 minuuttia

• Kaksi tahallista rynnäkkökisaa jatkuivat molemmat viimeisen 30 minuutin tarkastuspisteen jälkeen. Ylimääräinen seinäkello näillä kahdella ajolla: noin 40 minuuttia kummallakin, diagnoosi mukaan lukien, joten ne kaksi olivat lähellä 9 tuntia 40 minuuttia. Kahdeksan still-kierroksen keskiarvo on 9 tuntia

• IT-huippukuormitus edelleen noin 18 kW. Samat piirit. Erilainen rakennuksen käyttäytyminen

Tässä otoksessa keskimääräinen reseptin valmistumisaika laski 18 tunnista 9 tuntiin eli 9 tuntiin kerrallaan, yhteensä 72 tuntia kahdeksan ajon aikana. Valmis ensimmäisellä kerralla -luku laski 5/8:sta 8/8:aan. Kaasurajoitus laski 7/8:sta 0/8:aan. Viimeinen luku kertoo, ostivatko he kiihdyttimiä vai paperipainoja. He eivät kutsu ajan muutosta 50 %:n tuotannonsäästöksi. Kahdeksan ajoa on pieni ja helppo sarja.

Nämä luvut ovat esimerkkiarvio, joka perustuu mainittuun testiin, pieneen otokseen, yhteen malliin ja yhteen sekahalliin. Ne eivät ole PUE-arvo, eivät kampuksen megawattia eivätkä todiste siitä, että Kestrelin pitäisi rakentaa koulutuspaikka pellolle. Lokien tarkistus tapahtui 9 tunnin sisällä; sitä ei piilotettu. 18 kW:n luku on pyöristetty PDU-lukema, ei sähkölasku. He eivät muuntaneet 72 tuntia kustannukseksi, koska tehtaan yhdistetty sähkön hinta olisi tehnyt siitä tekaistun liiketoimintasuunnitelman.

Syöttötarkistus oli erillinen ja pienempi: 200 rivikuvaa aidatulle alueelle, kaikki paikan päällä. Se on päättelyä, ei harjoittelua. Näiden kahden yhdistäminen olisi ollut hybridihallin virhe pienoiskoossa.

Mikä voi mennä pieleen

• Hankintaosasto kutsuu neljää palvelinta jatkuvasti "tekoälydatakeskukseksi". Nimi peittää putkiston, ja seuraava hankinta on lisää näytönohjaimia samalle sairaskäytävälle

• Takaovien vaihtajat menevät sisään eikä kukaan ota vesipuolta käyttöön. Tuulettimet huutavat yhä. Kellot käyvät yhä

• Verkko on yksi kytkin ilman ylimääräistä polkua. Yksi vikaantunut linkki ja "klusteri" on jälleen neljä työasemaa

• Tarkistuspisteet pysyvät SAN-verkossa, koska NVMe-pooli oli "vaiheessa kaksi". Vaihe kaksi ei saavu ennen seuraavaa kuollutta solmua

• He antavat PUE-arvon kahdelle telineelle sekahallissa. Ilmasto, raja ja muu ERP-rivi tekevät tästä suhteesta pukuasun

• Koulutus ja tarjoilu ovat yhteisiä. Tarkastuspistetulva saa tehtaan linjan odottamaan. Häntälatenssi on siellä tuote, ei tiheys

• Solmu lakkaa toimimasta ja joku käsittelee sitä käyttöaikapyyntönä tarkastuspisteen uudelleenkäynnistyksen sijaan. Yritysoperaatiot ja tekoälyoperaatiot puhuvat toistensa ohi koko iltapäivän

• He olisivat voineet vuokrata häkin, mutta kuvat eivät voi poistua. Tämän rajoitteen unohtaminen lähettää heidät pilvikeskusteluun, jossa heidän on pakko rentoutua

Käytännöllinen noutoruoka

Tässä muodossa tekoälydatakeskus ei ole varasto eikä näytönohjaimen lasku. Se on solu, joka antaa kiihdyttimien suorittaa ajon loppuun: niiden varastoima teho, poistuva lämpö, ​​​​rakenne, tarkastuspiste ja joku koukussa, kun arvonimi kuolee. Kestrel ei tarvinnut kampusta. He tarvitsivat kaksi räkkiä lopettaakseen teeskentelyn. Useimpien tiimien pitäisi vuokrata tämä toimintatapa. Muutamien, joilla on salainen datajoukko ja halli, joka kestää lämpöä, tulisi rakentaa solu ja kieltäytyä liukumäestä.

Usein kysytyt kysymykset

Mikä on tekoälydatakeskus?

Tiheästi rakennettu laskentakeskus, jossa teho, jäähdytys, verkko ja tallennustila keskittyvät rinnakkaiseen koulutukseen ja mallien tarjoiluun, eivät siististi rivittyjä yleiskäyttöisiä palvelimia. Se on suunniteltu siten, että valtava määrä kiihdyttimiä voi kouluttaa ja palvella malleja ilman, että ne sulavat, jumittuvat verkossa tai odottavat levyllä. Tavallinen yrityshalli on sekalaista naapurustoa. Tekoälyhalli on monokulttuuria, jonka arvon yksikkönä toimii kiihdytin, kuten näytönohjaimet tai TPU-tyyliset sirut. Se näyttää varastolta ja käyttäytyy kuin matematiikkaa tekevä voimalaitos.

Miten tekoälyllä toimiva datakeskus eroaa tavallisesta datakeskuksesta?

Perinteiset hallit optimoivat sekakuormia ja käyttöaikaa monissa pienissä palveluissa. Tekoälysivustot kääntävät suhteet toisin päin: tiheys kasvaa, verkosta tulee rakennelma, jota ilman koulutustyö ei voi ontua, ja tallennustilan on pidettävä tarkistuspisteet liikkeessä tai kiihdyttimet käyttämättöminä. Yritysten operatiivinen toiminta ajattelee tikettejä ja muutosikkunoita. Tekoälyoperatiivinen toiminta ajattelee työjonoja ja sairasta tunnetta, kun solmu kaatuu myöhään pitkällä aikavälillä. Voit silti kutsua molempia datakeskuksiksi. Nimi vain peittää putkiston.

Miksi tekoälyyn perustuvat datakeskukset kuluttavat niin paljon virtaa?

Erottuva laitteisto ei ole nerokas CPU. Se on kiihdytinalusta: näytönohjaimet tai muut tekoälysirut, jotka on pakattu palvelimiin, sitten telineisiin ja sitten riveihin, jotka jakavat suuren kaistanleveyden omaavan rakenteen. Tiheys telinettä kohden on juonen käänne: vähemmän telineitä, jokainen pieni uuni. Megawatteja IT-kuormaa ilmestyy, kun halli täyttyy, vaikka tyypillisen luvun keksiminen ei ole vaivan arvoista. Rajoittavana tekijänä on usein sähköasema, ei näytönohjainten toivelista.

Miten tekoälyllä tehtäviä datakeskuksia jäähdytetään?

Tiheät räkit purkavat lämpöä tavalla, jota ilman ei ole koskaan tarvinnut käsitellä. Ilmaa voi työntää voimakkaammin takaluukun lämmönvaihtimilla, kuumemmilla käytävillä ja älykkäällä suojauksella. Sitten neste ilmaantuu: suoraan sirulle suuntautuva jäähdytys, jäähdytysnestesilmukat ja upottaminen muutamiin malleihin. Kaasua rajoittava kiihdytin on jo maksettu, eikä sitä voida hyödyntää täysin. PUE on silti tärkeä, koska jokainen tuulettimiin ja pumppuihin käytetty watti on watti, joka ei mennyt näytönohjaimelle. Myös vesi on mukana tarinassa: jotkut laitokset siemailevat, jotkut nielevät.

Miksi verkottuminen on yhtä tärkeää kuin näytönohjaimet?

Koulutus on keskustelua: tuhannet kiihdyttimet vaihtavat gradientteja, parametreja ja mallin sirpaleita tiiviissä synkronoinnissa. Jos verkostossa on häiriöitä, koko työ odottaa hitaimman hypyn. Siksi tekoälyhallit keskittyvät pakkomielteisesti suuren kaistanleveyden verkkoihin, pieneen latenssiin, InfiniBand-tyyppisiin verkostoihin tai Ethernetiin samassa roolissa sekä topologioihin, jotka eivät taitu kahtia linkin katketessa. Päättely välittää häntälatenssista, monista pienemmistä pyynnöistä ja eristäytymisestä. Tässä rakennuksessa putkisto on ravintola.

Mihin tekoälydatakeskusta käytetään: koulutukseen vai päättelyyn?

Koulutus on kuin kampanja: kokoa klusteri, syötä sille dataa, tarkastuspisteitä uskollisesti ja suorita tuntikausia tai viikkoja. Päättely on kuin shopfront: mallit, jotka on jo koulutettu, vastaavat nyt, ja latenssilla on merkitystä. Koulutuskampukset jahtaavat valtaa, maata ja tiheyttä. Päättelypaikat jahtaavat latenssia ja läsnäoloa. Hybridihallit ovat olemassa, koska pääoma ei ole loputonta, joskus yksi halli kahdella jäähdytyssilmukalla. Hieman vanhempi kiihdytin asiakkaan lähellä voi voittaa mantereen päässä olevan glamour-kiihdyttimen.

Miksi tallennustilalla on merkitystä tekoälydatakeskuksessa?

Harjoitusdatan on saavuttava riittävän nopeasti, jotta näytönohjaimet eivät näprää jalkojaan. Tarkistuspisteiden on laskeuduttava, jotta kaatuminen ei heitä viikkoa hukkaan. Mallipainojen on latauduttava ennen kuin palveleva replika on käytettävissä. Hiljainen pullonkaula on tallennuskapasiteetin lisäksi myös tallennuskapasiteetin suuruus. Voit käyttää omaisuuksia kiihdyttimiin ja tyhjentää ne virtuaalikoneille suunnitellulla kohteliaalla taulukolla.

Mitä tapahtuu, kun solmu kaatuu kesken suorituksen?

Yksikin tiukasti kytköksissä olevan harjoitustyön toimimaton kiihdytin voi pysäyttää koko kuoron. Koulutus haluaa tarkistuspisteitä, ei optimismia. Päättely tyhjentää sairaan solmun, pitää replikan vastaamassa ja pysyy aktiivisena. Muutosikkunat törmäävät edelleen harjoitusajoihin, jotka eivät välitä kalenteristasi. Redundanssi on edelleen tärkeä virransyötön, jäähdytyksen, polkujen ja tallennuksen kannalta, mutta vikatila on vähemmän siisti kuin vanha yhdeksikköä käyttöaikaa kuvaava liukumäki.

Miten tekoälydatakeskus vaikuttaa sähköverkkoon, veteen ja naapureihin?

Verkkoonliityntä on usein todellinen paikan valintaprosessi. Maan hankkiminen on helppoa verrattuna sähköasemaan ja sähkölaitokseen, jolla on muita asiakkaita. Jäähdytysvedestä, jos sitä käyttää, tulee naapuriongelma heti, kun sade on rankkaa, samoin kuin melusta, visuaalisesta massasta ja lämmöntuotannosta raja-aidalla. Koulutus voi piiloutua halvemmille sähkömarkkinoille ja viileämpään ilmastoon. Päättelykyky pitää käyttäjien läheisyydestä. Ei ole olemassa yhtä täydellistä paikkaa. On kompromissi lehdistötiedotteen kanssa.

Pitääkö minun omistaa tekoälydatakeskus vai pitäisikö minun vuokrata se?

Useimpien ihmisten ei tarvitse omistaa tällaista halleja. Hyperskaalaajat rakentavat, koska tuote on laivasto. Laboratoriot rakentavat, kun jonotusaika on pullonkaula tai data ei pääse lähtemään. Pankki, sairaala, valtio tai valmistaja, jolla on salainen datajoukko, voi tehdä paikallisesta tai yksityisestä kolokaatiohäkistä järkevän. Kaikkien muiden tulisi vuokrata: tekoälyvalmiin konesalipalvelun, pilvivarauksen tai hallitun klusterin. Saat kiihdyttimet ilman, että sinusta tulee voimalaitoksen operaattori.

Viitteet

1. IEA - www.iea.org

2. LBNL - datacenters.lbl.gov

3. Vihreä ruudukko - www.thegreengrid.org

4. LBNL - datacenters.lbl.gov

5. LBNL - datacenters.lbl.gov

6. Käytettävyysinstituutti - journal.uptimeinstitute.com

7. NVIDIA - kehittäjä.nvidia.com

8. NVIDIA - docs.nvidia.com

9. NVIDIA - docs.nvidia.com

10. NVIDIA - docs.nvidia.com

11. Google Cloud - docs.cloud.google.com

Löydä uusimmat tekoälytuotteet virallisesta tekoälyavustajakaupasta

Tietoa meistä