NVIDIA-grafiikkasuorittimien käyttö tekoälyn koulutuksessa

NVIDIA-grafiikkasuorittimien käyttö tekoälyn koulutuksessa

Lyhyt vastaus: Käytä NVIDIA-näytönohjaimia tekoälyn koulutukseen varmistamalla ensin, että ajuri ja näytönohjain ovat näkyvissä nvidia-smi- , asentamalla sitten yhteensopivan frameworkin/CUDA-pinon ja suorittamalla pienen "model + batch on CUDA" -testin. Jos muisti loppuu, pienennä erän kokoa ja käytä sekatarkkuutta samalla, kun seuraat käyttöastetta, muistia ja lämpötiloja.

Keskeiset tiedot:

Perustarkistukset : Aloita komennolla nvidia-smi ; korjaa ajurien näkyvyys ennen frameworkien asentamista.

Pinoyhteensopivuus : Pidä ajurin, CUDA-ajonaikaisen ympäristön ja kehysversiot yhdenmukaisina kaatumisten ja hauraiden asennusten estämiseksi.

Pieni onnistuminen : Varmista, että yksi eteenpäin suuntautuva koe suoritetaan CUDA:ssa ennen kuin skaalaat kokeita.

VRAM-kuri : Käytä yhdistettyä tarkkuutta, gradienttien kertymistä ja tarkistuspisteitä suurempien mallien sovittamiseksi.

Seurantatottumukset : Seuraa käyttöastetta, muistin toimintamalleja, tehoa ja lämpötiloja, jotta huomaat pullonkaulat varhaisessa vaiheessa.

Artikkelit, joita saatat haluta lukea tämän jälkeen:

🔗 Kuinka rakentaa tekoälyagentti
Suunnittele agenttisi työnkulku, työkalut, muisti ja turvatoimet.

🔗 Tekoälymallien käyttöönotto
Määritä ympäristöt, pakkausmallit ja toimita tuotantoon luotettavasti.

🔗 Kuinka mitata tekoälyn suorituskykyä
Valitse mittarit, suorita arviointeja ja seuraa suorituskykyä ajan kuluessa.

🔗 Kuinka automatisoida tehtäviä tekoälyn avulla
Automatisoi toistuvaa työtä kehotteiden, työnkulkujen ja integraatioiden avulla.

1) Kokonaiskuva – mitä teet, kun "harjoittelet GPU:lla" 🧠⚡

Kun koulutat tekoälymalleja, teet enimmäkseen valtavan määrän matriisimatematiikkaa. Näytönohjaimet on rakennettu tällaista rinnakkaista työtä varten, joten kehykset, kuten PyTorch, TensorFlow ja JAX, voivat siirtää raskaan työn näytönohjaimelle. ( PyTorch CUDA -dokumentaatio , TensorFlow-asennus (pip) , JAX-pikaopas )

Käytännössä "NVIDIA-grafiikkasuorittimien käyttö harjoittelussa" tarkoittaa yleensä:

  • Malliparametrisi sijaitsevat (pääasiassa) GPU VRAM -muistissa

  • Eräsi siirretään RAM-muistista VRAM-muistiin jokaisessa vaiheessa

  • Eteenpäinheittosi ja taaksepäin suuntautuvat syöttösi toimivat CUDA-ytimillä ( CUDA-ohjelmointiopas )

  • Optimointipäivityksesi tapahtuvat (mieluiten) näytönohjaimella

  • Seuraat lämpötiloja, muistia ja käyttöastetta, jotta et tee virheitä 🔥 ( NVIDIA nvidia-smi -dokumentaatio )

Jos se kuulostaa paljolta, älä huoli. Se on enimmäkseen tarkistuslista ja muutamia tapoja, jotka rakennat ajan myötä.

2) Mikä tekee NVIDIA GPU AI -koulutusasetelmasta hyvän version 🤌

Tämä on "älä rakenna taloa hyytelölle" -osio. Hyvä asetelma NVIDIA-näytönohjainten käyttö tekoälykoulutuksessa -oppaaseen on sellainen, jossa on vähän dramaattista. Vähädraama on vakaa. Vakaa on nopea. Nopea on... no, nopea 😄

Hyvässä harjoitusasetelmassa on yleensä:

  • Riittävästi VRAM-muistia erän kokoon + malliin + optimointitiloihin

    • VRAM on kuin matkalaukun tila. Voit pakata älykkäämmin, mutta et voi pakata loputtomasti.

  • Yhteensopiva ohjelmistopino (ajuri + CUDA-ajonaikainen + framework-yhteensopivuus) ( PyTorch Get Started (CUDA-valitsin) , TensorFlow-asennus (pip) )

  • Nopea tallennustila (NVMe auttaa paljon suurten tietojoukkojen kanssa)

  • Kohtuullinen suoritin ja RAM , jotta datan lataus ei rasita näytönohjainta ( PyTorch Performance Tuning Guide )

  • Jäähdytys- ja tehonkulutustilaa (aliarvostettua, kunnes se on jo liikaa 😬)

  • Toistettavissa oleva ympäristö (venv/conda tai kontit), jotta päivitykset eivät aiheuta kaaosta ( NVIDIA Container Toolkitin yleiskatsaus )

Ja vielä yksi asia, jonka ihmiset unohtavat:

3) Vertailutaulukko - suosittuja tapoja harjoitella NVIDIA-näytönohjaimilla (ominaisuuksineen) 📊

Alla on nopea lunttilappu ”mikä sopii?”. Hinnat ovat suuntaa antavia (koska todellisuus vaihtelee), ja kyllä, yksi näistä kennoista on hieman epämääräinen, tarkoituksella.

Työkalu / Lähestymistapa Paras Hinta Miksi se toimii (enimmäkseen)
PyTorch (vanilja) PyTorch useimmat ihmiset, useimmat projektit Ilmainen Joustava, valtava ekosysteemi, helppo virheenkorjaus - myös kaikilla on mielipiteitä
PyTorch Lightning Lightning-dokumentaatio tiimit, strukturoitu koulutus Ilmainen Vähentää vakiomallia, selkeyttää silmukoita; tuntuu joskus "taialta", kunnes se ei enää olekaan
Hugging Face Transformers + Trainer Trainer -dokumentit NLP + LLM -hienosäätö Ilmainen Paristoilla varustettu harjoittelu, loistavat oletusasetukset, nopeat voitot 👍
Accelerate -dokumentit moni-GPU ilman kipua Ilmainen Tekee DDP:stä vähemmän ärsyttävän, sopii skaalaukseen ilman kaiken uudelleenkirjoittamista
DeepSpeed ​​ZeRO -dokumentit isot mallit, muistitemput Ilmainen Nollapisteet, kuormituksen poisto, skaalaus – voi olla hankalaa, mutta tyydyttävää, kun se napsahtaa kohdalleen
TensorFlow + Keras TF -asennus tuotantomaisia ​​​​putkistoja Ilmainen Vahvat työkalut, hyvä käyttöönottotarina; jotkut rakastavat sitä, jotkut eivät hiljaa pidä siitä
JAX + Flax JAX -pikaopas / Flax-dokumentaatio tutkimus + nopeusnörtit Ilmainen XLA-kääntäminen voi olla uskomattoman nopeaa, mutta virheenkorjaus voi tuntua…abstraktilta
NVIDIA NeMo NeMo-yleiskatsaus puhe + LLM-työnkulut Ilmainen NVIDIA-optimoitu pelinrakentaja, hyvät reseptit - tuntuu kuin kokkaisi hienolla uunilla 🍳
Docker + NVIDIA Container Toolkit -työkalupakin yleiskatsaus toistettavissa ympäristöissä Ilmainen ”Toimii minun koneellani” muuttuu muotoon ”toimii meidän koneillamme” (useimmiten, taas)

4) Vaihe yksi - varmista, että näytönohjaimesi näkyy oikein 🕵️♂️

Ennen kuin asennat tusinan verran asioita, tarkista perusasiat.

Asiat, joiden haluat olevan totta:

  • Kone näkee GPU:n

  • NVIDIA-ajuri on asennettu oikein

  • GPU ei ole jumissa tekemässä jotain muuta

  • Voit kysellä sitä luotettavasti

Klassinen tarkistus on:

Mitä etsit:

Jos nvidia-smi epäonnistuu, lopeta siihen. Älä asenna vielä frameworkeja. Se on kuin yrittäisi leipoa leipää, kun uuni ei ole kytkettynä pistorasiaan. ( NVIDIA System Management Interface (NVSMI) )

Pieni inhimillinen huomautus: joskus nvidia-smi toimii, mutta harjoittelu epäonnistuu silti, koska frameworkisi käyttämä CUDA-ajonaikainen ympäristö ei vastaa ajurin odotuksia. Et ole tyhmä. Se on... vain niin 😭 ( PyTorch Get Started (CUDA-valitsin) , TensorFlow-asennus (pip) )

5) Rakenna ohjelmistopino - ajurit, CUDA, cuDNN ja "yhteensopivuustanssi" 💃

Tässä ihmiset menettävät tunteja. Kikka on: valitse polku ja pysy siinä .

Vaihtoehto A: Kehykseen sidottu CUDA (usein helpoin)

Monissa PyTorch-koontiversioissa on oma CUDA-ajonaikainen ympäristö, joten et tarvitse koko CUDA-työkalupakkia asennettuna koko järjestelmään. Useimmiten tarvitset vain yhteensopivan NVIDIA-ajurin. ( PyTorch Aloitusopas (CUDA-valitsin) , Aiemmat PyTorch-versiot (CUDA-pyörät) )

Hyvät puolet:

  • Vähemmän liikkuvia osia

  • Helpommat asennukset

  • Toistettavissa paremmin ympäristöstä riippuen

Haittoja:

  • Jos sekoitat ympäristöjä rennosti, voit hämmentyä

Vaihtoehto B: Järjestelmän CUDA-työkalupakki (enemmän hallintaa)

Asennat CUDA-työkalupakin järjestelmään ja sovitat kaiken siihen. ( CUDA Toolkitin dokumentaatio )

Hyvät puolet:

  • Enemmän hallintaa mukautettuihin rakenteisiin, joitakin erikoistyökaluja

  • Kätevä tiettyjen operaatioiden kääntämiseen

Haittoja:

  • Lisää tapoja sekoittaa versioita ja itkeä hiljaa

cuDNN ja NCCL ihmisen näkökulmasta

Jos harjoittelet usean näytönohjaimen kanssa, NCCL on paras ystäväsi – ja toisinaan jopa oikukas kämppiksesi. ( NCCL-yleiskatsaus )

6) Ensimmäinen GPU-harjoittelukertasi (PyTorch-esimerkkiajattelutapa) ✅🔥

Jotta voit seurata NVIDIA-grafiikkasuorittimien käyttöä tekoälykoulutuksessa , et tarvitse ensin massiivista projektia. Tarvitset vain pienen onnistumisen.

Keskeiset ideat:

  • Tunnista laite

  • Siirrä malli näytönohjaimeen

  • Siirrä tensorit GPU:lle

  • Varmista, että eteenpäin suuntautuva syöttö kulkee siellä ( PyTorch CUDA -dokumentaatio )

Asiat, jotka tarkistan aina mielenterveyteni etukäteen:

Yleinen "miksi se on hidas?" -kysymys

  • Tiedonlataajasi on liian hidas (GPU odottaa käyttämättömänä) ( PyTorch Performance Tuning Guide )

  • Unohdit siirtää tiedot näytönohjaimeen (ups)

  • Eräkoko on pieni (GPU vajaakäytössä)

  • Suoritat raskasta suorittimen esikäsittelyä harjoitusvaiheessa

Ja kyllä, näytönohjaimesi näyttää usein "ei niin kiireiseltä", jos pullonkaulana on data. Se on kuin palkaisit kilpa-autoilijan ja pakottaisit hänet odottamaan polttoainetta joka kierroksella.

7) VRAM-peli - eräkoko, sekoitettu tarkkuus ja räjähtämättömyys 💥🧳

Useimmat käytännön harjoitusongelmat liittyvät muistiin. Jos opit yhden taidon, opettele VRAM-muistin hallinta.

Nopeita tapoja vähentää muistin käyttöä

”Miksi VRAM-muisti on edelleen täynnä pysäytyksen jälkeen?” -hetki

Kehykset usein tallentavat välimuistia suorituskyvyn parantamiseksi. Tämä on normaalia. Se näyttää pelottavalta, mutta se ei aina ole vuoto. Opit lukemaan kaavoja. ( PyTorch CUDA semantiikka: välimuistin allokaattori )

Käytännön tapa:

8) Saat näytönohjaimen oikeasti toimimaan - suorituskyvyn viritys, joka on aikasi arvoista 🏎️

"GPU-koulutuksen toimimaan saaminen" on ensimmäinen askel. Nopea sen saaminen on toinen askel.

Vaikuttavat optimoinnit

Eniten huomiotta jätetty pullonkaula

Tallennus- ja esikäsittelyputkesi. Jos datajoukkosi on valtava ja tallennettu hitaalle levylle, näytönohjaimestasi tulee kallis tilanlämmitin. Erittäin edistynyt ja erittäin hieno tilanlämmitin.

Ja pieni tunnustus: Olen "optimoinut" mallia tunnin ajan vain huomatakseni, että lokitietojen kerääminen oli pullonkaula. Liika tulostaminen voi hidastaa koulutusta. Kyllä, se voi hidastaa.

9) Usean GPU:n koulutus - DDP, NCCL ja skaalaus ilman kaaosta 🧩🤝

Kun haluat lisää nopeutta tai suurempia malleja, siirryt moni-GPU-järjestelmään. Tässä kohtaa asiat muuttuvat teräviksi.

Yleisiä lähestymistapoja

  • Datan rinnakkaiskäyttö (DDP)

    • Jaa erät näytönohjainten välillä, synkronoi liukuvärit

    • Yleensä oletusarvoinen ”hyvä”-vaihtoehto ( PyTorch DDP -dokumentaatio )

  • Malli rinnakkainen / Tensori rinnakkainen

    • Jaa malli näytönohjainten kesken (erittäin suurille malleille)

  • Putkilinjan rinnakkainen

    • Jaa mallikerrokset vaiheisiin (kuten liukuhihna, mutta tensoreille)

Jos olet vasta aloittamassa, DDP-tyylinen koulutus on paras vaihtoehto. ( PyTorch DDP -opetusohjelma )

Käytännön vinkkejä usean näytönohjaimen käyttöön

  • Varmista, että näytönohjaimet ovat yhtä tehokkaita (sekoittaminen voi aiheuttaa pullonkauloja)

  • Katso yhteenliitäntä: NVLink vs. PCIe ovat tärkeitä synkronointia vaativissa työkuormissa ( NVIDIA NVLink -yleiskatsaus , NVIDIA NVLink -dokumentaatio )

  • Pidä näytönohjainkohtaiset eräkoot tasapainossa

  • Älä unohda prosessoria ja tallennustilaa – usean näytönohjaimen käyttö voi pahentaa datan pullonkauloja

Ja kyllä, NCCL-virheet voivat tuntua arvoitukselta, joka on kääritty mysteeriin, joka on kääritty kysymykseen "miksi nyt". Et ole kirottu. Todennäköisesti. ( NCCL-yleiskatsaus )

10) Seuranta ja profilointi - epähohdokkaita juttuja, jotka säästävät sinulta tunteja 📈🧯

Et tarvitse hienoja kojelaudanpätkiä aloittaaksesi. Sinun täytyy huomata, kun jokin on pielessä.

Tärkeimmät seurattavat signaalit

  • Näytönohjaimen käyttöaste : onko se jatkuvasti korkea vai piikikäs?

  • Muistin käyttö : vakaa, kiipeävä vai outo?

  • Virrankulutus : epätavallisen alhainen voi tarkoittaa vajaakäyttöä

  • Lämpötilat : Jatkuvasti korkeat lämpötilat voivat rajoittaa suorituskykyä

  • Suorittimen käyttö : dataputken ongelmat näkyvät tässä ( PyTorch Performance Tuning Guide )

Profiloiva ajattelutapa (yksinkertainen versio)

  • Jos näytönohjaimen käyttöaste on alhainen - data- tai suorittimen pullonkaula

  • Jos GPU on tehokas mutta hidas - ytimen tehottomuus, tarkkuus tai malliarkkitehtuuri

  • Jos harjoitusnopeus laskee satunnaisesti - lämpörajoitus, taustaprosessit, I/O-häiriöt

Tiedän, että monitorointi kuulostaa epäkiitokselta. Mutta se on kuin hammaslangan käyttöä. Ärsyttävää, ja sitten yhtäkkiä elämäsi paranee.

11) Vianmääritys - tavalliset epäillyt (ja epätavallisemmat) 🧰😵💫

Tämä osio on pohjimmiltaan: "samat viisi asiaa, ikuisesti"

Ongelma: CUDA-muisti loppui

Korjaukset:

Ongelma: Harjoittelu suoritetaan vahingossa suorittimella

Korjaukset:

  • varmista, että malli on siirretty Cudaan

  • varmista, että tensorit siirretään cudaan

  • tarkista kehyslaitteen kokoonpano ( PyTorch CUDA -dokumentaatio )

Ongelma: Oudot kaatumiset tai laiton muistin käyttö

Korjaukset:

Ongelma: Odotettua hitaampi

Korjaukset:

Ongelma: Usean näytönohjaimen jumiutuminen

Korjaukset:

Pieni takautuva huomio: joskus korjaus on kirjaimellisesti uudelleenkäynnistys. Se tuntuu hölmöltä. Se toimii. Tietokoneet ovat sellaisia.

12) Kustannukset ja käytännöllisyys - oikean NVIDIA-näytönohjaimen ja kokoonpanon valitseminen ilman liiallista ajattelua 💸🧠

Kaikki projektit eivät tarvitse suurinta näytönohjainta. Joskus näytönohjainta tarvitaan riittävästi .

Jos hienosäädät keskikokoisia malleja

Jos koulutat isompia malleja alusta alkaen

Jos teet kokeiluja

  • Haluat nopean iteraation

  • Älä käytä kaikkea rahaa näytönohjaimeen ja sitten tuhlaa tallennustilaa ja RAM-muistia

  • Tasapainoinen järjestelmä voittaa epätasaisen (useimpina päivinä)

Ja totta puhuen, voit tuhlata viikkoja jahtaamalla "täydellisiä" laitteistovalintoja. Rakenna jotain toimivaa, mittaa ja säädä sitten. Todellinen vihollinen on palautesilmukan puuttuminen.

Loppusanat - Kuinka käyttää NVIDIA-grafiikkasuorittimia tekoälyn koulutukseen menettämättä järkeäsi 😌✅

Jos et ymmärrä mitään muuta tästä NVIDIA-grafiikkasuorittimien käyttöä tekoälyn koulutuksessa käsittelevästä , ota tämä:

NVIDIA-näytönohjainten harjoittelu on yksi niistä taidoista, jotka tuntuvat pelottavilta, mutta yhtäkkiä se onkin vain... normaalia. Kuten ajamisen oppiminen. Aluksi kaikki on äänekästä ja hämmentävää ja puristat rattia liian lujaa. Sitten eräänä päivänä kruisailet, siemailet kahvia ja korjaat rennosti eräkoko-ongelmaa kuin se ei olisi iso juttu ☕😄

Usein kysytyt kysymykset

Mitä tekoälymallin kouluttaminen NVIDIA-näytönohjaimella tarkoittaa

NVIDIA-näytönohjaimella kouluttaminen tarkoittaa, että malliparametrisi ja koulutuseräsi sijaitsevat GPU VRAM -muistissa, ja raskas matematiikka (eteenpäin siirtäminen, takaisinprop-syöttäminen, optimointivaiheet) suoritetaan CUDA-ytimien kautta. Käytännössä tämä tarkoittaa usein sitä, että malli ja tensorit sijaitsevat CUDA-muistissa , ja sitten pidetään silmällä muistia, käyttöastetta ja lämpötiloja, jotta läpimenoaika pysyy tasaisena.

NVIDIA-näytönohjaimen toiminnan varmistaminen ennen minkään muun asentamista

Aloita komennolla nvidia-smi . Sen pitäisi näyttää näytönohjaimen nimi, ajuriversio, nykyinen muistin käyttö ja kaikki käynnissä olevat prosessit. Jos nvidia-smi epäonnistuu, odota PyTorch/TensorFlow/JAX-komennon käyttöä ja korjaa ensin ajurin näkyvyys. Se on näytönohjaimen koulutuksen perustarkistus "onko uuni kytkettynä".

Järjestelmän CUDA:n ja PyTorchin mukana tulevan CUDA:n välillä valitseminen

Yleinen lähestymistapa on käyttää framework-pakettiin sisältyvää CUDAa (kuten monet PyTorch-pyörät), koska se vähentää liikkuvien osien määrää – tarvitset pääasiassa yhteensopivan NVIDIA-ajurin. Koko järjestelmän CUDA-työkalupakin asentaminen tarjoaa enemmän hallintaa (mukautetut koontiversiot, käännöstoiminnot), mutta se tuo myös lisää mahdollisuuksia versioiden yhteensopimattomuuksiin ja hämmentäviin suorituksenaikaisiin virheisiin.

Miksi harjoittelu voi olla hidasta jopa NVIDIA-näytönohjaimella

Usein grafiikkasuoritin kärsii syöttöputken ylikuormituksesta. Ladattavat datalataajat, raskas suorittimen esikäsittely harjoitusvaiheessa, pienet eräkoot tai hidas tallennus voivat kaikki saada tehokkaan grafiikkasuorittimen käyttäytymään kuin tyhjäkäynnillä oleva tilanlämmitin. Datalataajien työläisten lisääminen, kiinnitetyn muistin käyttöönotto, esilatauksen lisääminen ja lokitietojen karsiminen ovat yleisiä ensimmäisiä toimia ennen mallin syyllistämistä.

Kuinka estää "CUDA-muisti loppu" -virheet NVIDIA GPU -koulutuksen aikana

Useimmat korjaukset ovat VRAM-taktiikoita: eräkoon pienentäminen, sekatarkkuuden (FP16/BF16) käyttöönotto, gradientin kertymisen käyttö, sekvenssin pituuden/rajauskoon lyhentäminen tai aktivoinnin tarkistuspisteiden käyttö. Tarkista myös muut muistia kuluttavat GPU-prosessit. Jonkin verran kokeilua ja erehdystä on normaalia - VRAM-budjetoinnista tulee käytännön GPU-koulutuksen ydin.

Miksi VRAM-muisti voi näyttää täydeltä harjoitusskriptin päättymisen jälkeen

Kehykset usein tallentavat GPU-muistia välimuistiin nopeuden takaamiseksi, joten varattu muisti voi pysyä korkeana, vaikka varattua muistia vähenisi. Se voi muistuttaa vuotoa, mutta usein kyse on välimuistin allokoijan toiminnasta suunnitellulla tavalla. Käytännössä tapana on seurata kaavaa ajan kuluessa ja verrata "varattua vs. varattua" sen sijaan, että keskityttäisiin yhteen hälyttävään tilannekuvaan.

Kuinka varmistaa, ettei malli harjoittele hiljaisesti suorittimen avulla

Järkevyystarkistus alkuvaiheessa: confirm torch.cuda.is_available() palauttaa True , verify next(model.parameters()).device näyttää cuda ja aja yksi eteenpäin suuntautuva läpimeno ilman virheitä. Jos suorituskyky tuntuu epäilyttävän hitaalta, varmista myös, että eräsi siirretään näytönohjaimeen. On yleistä siirtää malli ja vahingossa jättää data jäljelle.

Yksinkertaisin tie usean GPU:n koulutukseen

Data Parallel (DDP-tyylinen koulutus) on usein paras ensimmäinen askel: jaa erät näytönohjainten välillä ja synkronoi gradientit. Työkalut, kuten Accelerate, voivat tehdä usean näytönohjaimen käytöstä vähemmän työlästä ilman täydellistä uudelleenkirjoitusta. Varaudu lisämuuttujiin – NCCL-tiedonsiirto, yhteenliitäntöjen erot (NVLink vs. PCIe) ja pahentuneet datapullonkaulat – joten asteittainen skaalaus vakaan yhden näytönohjaimen ajon jälkeen sujuu yleensä paremmin.

Mitä NVIDIA GPU -koulutuksen aikana kannattaa seurata ongelmien havaitsemiseksi varhaisessa vaiheessa

Tarkkaile näytönohjaimen käyttöä, muistin käyttöä (vakaa vs. nopea), virrankulutusta ja lämpötiloja – nopeuden rajoittaminen voi hiljaisesti kuluttaa nopeutta. Pidä silmällä myös suorittimen käyttöä, koska dataputken ongelmat näkyvät usein siinä ensimmäisenä. Jos käyttöaste on piikikäs tai alhainen, epäile I/O:ta tai datalataajia; jos se on korkea, mutta askelaika on silti hidas, profiloi ytimet, tarkkuustila ja askelaikajakauma.

Viitteet

  1. NVIDIA - NVIDIA nvidia-smi -dokumentaatio - docs.nvidia.com

  2. NVIDIA - NVIDIA System Management Interface (NVSMI) - kehittäjä.nvidia.com

  3. NVIDIA - NVIDIA NVLink -yleiskatsaus - nvidia.com

  4. PyTorch - PyTorchin aloitusopas (CUDA-valitsin) - pytorch.org

  5. PyTorch - PyTorch CUDA -dokumentaatio - docs.pytorch.org

  6. TensorFlow - TensorFlow-asennus (pip) - tensorflow.org

  7. JAX - JAX-pikaopas - docs.jax.dev

  8. Halausnaamat - Kouluttajan dokumentit - huggingface.co

  9. Lightning-tekoäly - Lightning-dokumentaatio - lightning.ai

  10. DeepSpeed ​​- ZeRO-dokumentit - deepspeed.readthedocs.io

  11. Microsoft Research - Microsoft Research: ZeRO/DeepSpeed ​​- microsoft.com

  12. PyTorch-foorumit - PyTorch-foorumi: mallin tarkistaminen CUDA:ssa - discuss.pytorch.org

Löydä uusimmat tekoälytuotteet virallisesta tekoälyavustajakaupasta

Tietoa meistä

Takaisin blogiin