CLM-8B juuri julkaistu: Uusi avoimen tekoälyn malli, joka väittää olevansa jopa 9 kertaa nopeampi kuin Jev agenteille

Lyhyt vastaus: CLM-8B on avoin kontrastiivinen kielimalli , jonka tarkoituksena on tehdä nopeita agenttien päätöksiä. Tekijän mukaan latenssi on jopa noin 9 kertaa pienempi kuin Jev-luokan vastaavilla. Nämä luvut ovat edelleen vahvistamattomia julkaisun ulkopuolella. Jos rakennat koodausagentteja, testaa ne itse A/B-testillä ennen kuin luotat kaavioihin.

Keskeiset tiedot:

Latenssiväitteet: Käsittele ~9× Jev-kiihtyvyyttä tekijän raportoimana, kunnes muut toistavat sen.

Arviointivaljaat: Pidä työkalut ja kehotteet korjattuina A/B-testauksen aikana CLM-8B:tä.

Hybridipino: Käytä CLM:ää kuumiin silmukoihin; pidä hitaampi päättelijä uusille tehtäville.

Avoimet painot: Vahvista Apachen lisenssitiedostot ennen kaupallisten haarukoiden lähettämistä.

Väärinkäyttöriski: Ota käyttöön palautuvia työkaluja ja salaisuuksia, kun agentit päättävät millisekunneissa.

Mitä CLM-8B yrittää olla ⚡

Kontrastiivisen kielimallin kouluttaminen, kuten tätä pudotusta kannattavat ihmiset kuvailevat, keskittyy tilojen ja toimintojen yhdistämiseen sen sijaan, että maksimoitaisiin seuraavan merkin todennäköisyyttä erikseen. Selkeästi sanottuna: mallia ohjataan kuvaamaan "tässä on tilanne" "tässä on siirtoon", enemmänkin kuin politiikan asiantuntija kuin kirjailija. Tämä on se System 1 -analogia, jota tutkijat jatkuvasti tavoittelevat – nopea, assosiatiivinen, päätöksentekoon perustuva – toisin kuin System 2:n pitkä ajatusketju, joka polttaa merkkejä samalla kun se ajattelee ääneen.

CLM-8B on ensimmäinen julkinen painotus kyseisessä sarjassa. Se on positionoitu avoimeksi tutkimusjulkaisuksi, jolla on Apache 2.0 -lisenssi pudotukseen liittyvään uutisointiin, mikä on tärkeää, jos haluat hienosäätää, julkaista tai haarautua ilman asianajajapiknikkiä. Jacky Kwok esitteli työn; Azalia Mirhoseinivahvisti sitä; ja laajempi viitekehys antaa ymmärtää Stanfordin ja NVIDIAn yhteistyöhön perustuvan tiimin työn. Nimetyt tutkijat, julkiset painotukset, avoin koodi – ei anonyymi vuoto. Kolmannen osapuolen replikaatio on vielä alkuvaiheessa, joten pidä skeptisyys jossain "mielenkiintoisen" ja "näytä minulle riippumaton hallitus" -välillä.

Kokoluokka on kahdeksan miljardia parametria, mikä on niin pieni, että laboratoriot ja itsenäiset kehittäjät voivat isännöidä sitä myymättä munuaista sadan tunnin ajaksi. Suuremmasta CLM-35B -jatko-osasta on jo puhuttu. On vielä epäselvää, pitääkö isompi sisarus latenssijutun vai vaihtaako se nopeuden syvyyteen, mutta tiekartta on selvä: tämän on tarkoitus olla perhekortti, ei kertaluonteinen demokortti.

•  Keskittyminen: tila → toimintosilmukat agenteille, ei esseen kirjoittamiselle
•  Lisensointia kuvailtiin Apache 2.0:ksi julkaisun yhteydessä
•  Tyyli: Järjestelmä 1 / päätöksentekoon keskittyvä koulutustarina
•  Jatkoa: suurempi CLM-35B mainittiin suunnitelmana

System 1 -tyyli vs. tavallinen Token-juoksumatto 

Useimmat tuntemasi tuotanto-oikeuden maisterit luovat tekstiä yhden tokenin kerrallaan. Tämä toimii erinomaisesti proosan, koodin dumpin ja huolellisen päättelyn jäljitysten kanssa. Siksi agentti, joka tarvitsee kaksikymmentä mikropäätöstä minuutissa, voi tuntua hitaalta, vaikka malli olisi "älykäs". Jokainen askel maksaa autoregressiivisen veron.

Kontrastiivisen kielimallin puheenvuoro kääntää painopisteen. Sen sijaan, että pyydettäisiin verkkoa kertomaan tiensä vastaukseen, sitä koulutetaan suosimaan oikeaa toimintoa tietyssä tilassa – ajattele kontrastiivista vetämistä hyvien ja huonojen siirtojen välillä, älä vain sujuvia jatkoja. Rakentajat tietävät jo kaavan: joskus et tarvitse tuhannen sanan perustelua; mallin on kirjoitettava pytest rm -rf sijaan . Nopeat silmukat välittävät tästä erottelusta.

Tämä ei kuitenkaan tarkoita, etteikö CLM-8B voisi tuottaa tekstiä. Se tarkoittaa, että koulutustavoite ja arviointitarina ovat kallistuneet agenttisen kontrollin suuntaan. Tämä on erilainen tuotemuoto kuin "keskustelumalli, joka voi myös kutsua työkaluja". Alan yritykset ovat vuosia kehittäneet malleja työkaluista puhumisen parantamiseksi, mutta ovat silti pullonkauloja itse keskustelussa. Päätös ensin -malli on sellainen sivuttainen siirto, joka joko näyttää ilmeiseltä jälkikäteen tai epäonnistuu, kun vertailuarvot sotkeutuvat. Molemmat lopputulokset ovat mahdollisia.

Väitetty nopeus ja penkkien tulokset (käsitellään väitteinä)

Tässä on se osa, joka ohjaa sosiaalisen median julkaisuja: mainostajat väittävät päättelevänsä jopa noin 9 kertaa nopeammin kuin Jev-luokan mallit. Pienen hienosäädön jälkeen he raportoivat myös vahvoja agenttisen koodauksen tuloksia - DeepSWE:n onnistumisprosentti on noin 81,6 % ja Terminal-Bench 2.1:n noin 87,6 %. Joissakin arvioinneissa he kuvailevat nolla-shot-suorituskykyä Jevin tasolle, kun taas latenssi pysyy paljon lyhyempänä. Yhdessä julkaisukeskustelun yhteydessä kelluvassa klusteriyhteenvedossa mainittiin noin 32 ms:n luokan vasteajat terminaalitestausasetuksilla. Muotoile tämä huolellisesti: raportoitu ja väitetty, ei itsenäisesti auditoitu tässä artikkelissa.

Jos nuo latenssiluvut yleistyvät, käytännön hyöty on vähemmän näytönohjaimia samanaikaista agenttia kohden tai enemmän agentteja näytönohjainta kohden. Koodausagentit, jotka rikkovat komentotulkin, ovat erityisen herkkiä, koska seinäkellon odotuspinot; 200 ms:n päätös ja 30 ms:n päätös tuntuvat eri tuotteilta muutaman sadan vuorokauden jälkeen. Käyttäjät usein syyttävät "mallin tyhmyyttä", kun terävämpi ongelma on interaktiivinen viive.

Silti – ja tämä on aikuisten valvontaa käsittelevä kappale – tekijänoikeuspenkit markkinoivat, kunnes joku muu toistaa ne jaetulla laitteistolla jaettujen kehotteiden avulla. Pienet hienosäätötulokset voivat myös piilottaa paljon rakennustelineitä. Vahvat DeepSWE- ja Terminal-Bench-luvut ovat jännittäviä juuri siksi, että nämä ohjelmistot rankaisevat hauraita agentteja, mutta jännitys ei ole replikointia. Pidä tarralappua, jossa lukee CLAIM 9×:n ja 32 ms:n luokan luvun kohdalla. 

Vertailutaulukko: Token-by-Token LLM-ohjelmat vs. CLM-tyylinen kehystys

Taulukot auttavat, kun markkinointikieli muuttuu epäselväksi. Tässä taulukossa vertaillaan tyypillisiä oikeustieteen kandidaatin (LLM) luomistapoja tutkijoiden kuvaamaan kontrastiivisen kielimallin tarinaan. Solut ovat tarkoituksella hieman epätasaisia, koska konkreettiset vertailut ovat aina epätasaisia.

Käytä taulukkoa mentaalimallina, älä tuomiona. Tuotetiimien on silti mitattava omaa valjastamistaan: työkalukaaviot, uudelleenyrityskäytäntö ja ympäristön melu vaikuttavat pisteisiin enemmän kuin diaesitys myöntää.

Kuka on melun takana 👤

Attribuutiolla on merkitystä, koska avoimet tekoälyjulkaisut vaihtelevat huolellisista laboratoriojulkaisuista mysteeritorrentteihin. Tälläkin on kasvot. Jacky Kwok esitteli CLM:n; Azalia Mirhoseini auttoi viemään sitä laajempaan kuvaan; uutisointi kehystää johdonmukaisesti Stanfordin ja NVIDIAn linkittämää tutkimusyhteistyötä. Se ei taianomaisesti tee jokaisesta luvusta totta, mutta se tuo maineen peliin. Nimettyjen tutkijoiden avoimet julkaisut joutuvat yleensä stressitestien kohteeksi nopeammin kuin anonyymit dumpit - kollegat rakastavat julkista kohdetta.

Rakentajille käytännön seuraus on käyttöoikeus. Avoimet painotukset ja Apache 2.0 -tyyppinen lisenssi (kuten julkaisun yhteydessä käsiteltiin) tarkoittavat yleensä, että voit kokeilla kaupallisesti vähemmillä ongelmilla kuin pelkkiin tutkimuslisensseihin verrattuna. Tarkista itse julkaisun varsinaiset lisenssitiedostot ennen kuin lähetät mitään; kattavuusyhteenvedot eivät ole sopimus. Se saattaa kuulostaa pedanttiselta, mutta lisenssien pedanttius pelastaa startup-yritykset.

Sosiaalisen vahvistuksen kaava on tuttu: tutkijan viesti, arvostettuja vahvistinlainauksia, sitten aalto "agentit vihdoin ratkaistu" -viestejä. Suodata ihmiset, jotka jakavat valjaiden tietoja. Yhden onnistuneen koodausajon kuvakaappaukset ovat tunnelmateatteria, eivät tiedettä. 🛰️

Miksi tilasta toimintaan -silmukat omaavat agenttisen koodauksen 

Agenttikoodaus on julma ympäristö. Malli näkee repo-tilannevedoksen, shell-transkriptin tai ehkä epäonnistuneen testin, ja sen on valittava muokkaus tai komento. Onnistuminen on useammin binaarinen kuin chat. Joko testi muuttuu vihreäksi tai ei. Tämä palkitsemismuoto suosii käytäntöjä, jotka valitsevat toiminnot puhtaasti, verrattuna malleihin, jotka kirjoittavat kauniita epäonnistumisesseitä.

Kontrastiiviset koulutustarinat sopivat tähän maailmaan, koska ne ohjaavat verkkoa eksplisiittisesti kohti suositeltuja toimintoja tietyssä tilassa. Ajattele sitä kuin opettaisit nuoremmalle insinöörille "kun näet tämän virheluokan, tartu tähän korjausmalliin" sen sijaan, että "kirjoita blogikirjoitus siitä, miksi kääntäjät ovat vaikeita". Nuorempi insinööri tarvitsee edelleen harkintakykyä; oikotie vain vähentää jahkailemista.

Latenssi pahenee tässä. Oletetaan, että agentti suorittaa keskimäärin kahdeksankymmentä työkaluaskelta keskikokoisen virheenkorjauksen tekemiseen. Lyhennä 150 ms askelta kohden ja saat takaisin kaksitoista sekuntia seinäkelloaikaa – mikä on ero työnkulkutilan ja käyttäjän Alt-Tab-näppäimen painalluksen välillä sähköpostin tarkistamiseksi. Tiimit, jotka ylläpitävät agenttilaivoja, huomaavat saman matematiikan myös pilvilaskuissa. Väitetty suuruusluokkaa oleva päättelykiihtyvyys Jev-luokan vertaiseen verrattuna, vaikka se olisikin luonnossa "vain" 4×, järjestää silti kapasiteettisuunnittelun uudelleen.

Käytän kokouksissa jatkuvasti epävarmaa kielikuvaa: merkki merkiltä -keskustelumallit ovat kuin reitin pohtimista jokaisessa risteyksessä, kun taas System 1 -tyylinen ohjain on enemmänkin kuin lihasmuistia kaupunkiajossa. Lihasmuisti pettää uudessa kaupungissa. Samoin tekee kapeasti viritetty toimintamalli, kun repo-kulttuuri on omalaatuinen. Uusille arkkitehtuurivalinnoille halutaan edelleen harkitsevia tiloja; halutaan refleksejä viidenteenkymmenenteen "korjaa tuonti ja suorita uudelleen" -kohtaan. Hybridipinot – nopea CLM:n kaltainen ohjain ja raskaampi päättelijä kovilla haaroilla – ovat luultavasti se paikka, johon vakavasti otettavat järjestelmät päätyvät, vaikka julkaisupisteet myisivätkin vain yhden sankarimallin. 🚦

Kannattaa myös mainita ääneen: agenttisen koodauksen penkit, kuten DeepSWE ja Terminal-Bench, palkitsevat tukirakenteita. Valjaiden laatu, työkalujen sallittujen listat ja palautumiskehotteet voivat muuttaa onnistumisprosentteja kaksinumeroisin luvuin. Kun näet ~81,6 % tai ~87,6 % pienen hienosäädön jälkeen, kannattaa perehtyä painojen taustalla oleviin tekijöihin. Se ei ole varjopuoli, vaan se kertoo, miten kenttä toimii.

Avoimet painot, hienosäätö ja 35B Shadow 

Avoimet painot muuttavat väitteen sosiaalista dynamiikkaa. Suljetut API-mallit voivat näyttää kaavion ja jättää sinut arvailemaan kontaminaatiosta, dekoodauskikoista tai salaisista järjestelmäkehotteista. Ladattavien parametrien avulla voit ainakin tökkiä asiaa. CLM-8B:n hienosäätö sisäiseen koodausympäristöösi – lint-sääntöihisi, käyttöönotto-CLI:hisi, monorepo-topologiaasi – on realistinen tie kiiltäviin bench-lukuihin, ei nolla-shot-taikaa ensimmäisenä päivänä.

Apache 2.0 -kehystys (jutun mukaan) on rakentajaystävällinen: patenttien myöntämisen kieli, selkeät uudelleenjakelunormit, vähemmän "vain tutkimus" -ansoja. Jälleen kerran: lue tiedostot. Jutun kirjoittajat tekevät yhteenvetoja; lakimiehet erikoistuvat.

Suunniteltu CLM-35B on etenemissuunnitelman liukumäki. Suuremmat mallit saavat usein takaisin harkintakykynsä ja menettävät osan "pienen ja ilkeän nopean" viehätyksestä, ellei tiivistys tai spekulatiiviset temput pidä latenssia kurissa. Jos kahdeksan miljardin versio on urheiluauto ja 35 miljardin versio on matkailuauto, tiimit saattavat pitää molemmat: 8B:n kuumille kehitysvaiheille, 35B:n kovalle suunnittelulle. Tai suurempi malli saattaa yksinkertaisesti hallita, jos laitteisto halpenee jatkuvasti. Se, kumpi tulevaisuus saapuu, on vielä epäselvää; tulevaisuuden julkaisutiedot ratkaisevat sen, ei tämä kappale.

Yksi avoimen agentin malleihin liittyvä hienovarainen riski: ihmiset liittävät ne CI:hin ilman nopeusrajoituksia ja huomaavat välittömän injektion haitallisten README-tiedostojen kautta. Nopeat mallit vahvistavat väärinkäyttöä samalla tavalla kuin ne vahvistavat käytännön arvoa. Kaiteet eivät ole valinnaisia ​​cosplay-pelejä; ne ovat tuotteita. 

• Hienosäädä omia jälkiäsi ennen laadun arvioimista
• Pidä hitaampi päättelykone pakoluukuna uusille tehtäville
• Instrumentin latenssi p50/p95 valjaissasi, ei vain tarkkuus
• Oletetaan, että 35B siirtää Pareto-rajaa jälleen

Jev-vertailun lukeminen ilman lumisadetta 

Vertailut Jev-luokan malleihin tekevät retorista työtä. Ne luovat vertaisen agenttisen nopeustason sisällä, joten "jopa 9 kertaa nopeammalla" on referenssi. Suhteelliset väitteet tarvitsevat ankkurin, ja se on järkevää. Vaarana on koko arviointipinon romahtaminen yhdeksi kertojaksi. Eräkoko, tarkkuus, dekoodausasetukset, kontekstin pituus ja työkalukutsujen sarjoittaminen muokkaavat kaikki sitä, mitä "nopeampi" tarkoittaa, ja nämä nupit näkyvät harvoin samassa diassa.

Kun klusteriyhteenveto viittaa noin 32 ms:n luokan vastauksiin terminaalin testiasetuksilla, "vastausta" tulee käsitellä monitulkintaisena otsikkona, kunnes joku selventää, tarkoittaako se ensimmäistä tokenia, täyden toiminnon JSON-tiedostoa vai välimuistissa olevaa etuliitettä. Nämä erot muuttavat markkinoinnin millisekunneista suunnittelutunteja. Vertailukelpoinen nollapisteiden laatu ja pienempi latenssi ovat unelmapari; jos riippumattomat ryhmät vahvistavat edes puolet tästä unelmasta, CLM-tyylinen koulutus ansaitsee pysyvän paikan arkkitehtuurikokouksissa.

Siihen asti, kohtele Jeviä pikemminkin kilpailukertomusna kuin vakiintuneena tulostaulukkona. Kilpailut myyvät julkaisuja. Tuotantosi KPI-mittarit eivät välitä tarinasta. Mittaa tehtävien onnistumista, ratkaistun tiketin tuottamaa rahaa ja ihmisen puuttumisen astetta. Jos kontrastiivinen kielimalli voittaa nämä, juhli. Jos se voittaa vain Twitterin, jatka matkaa. 🚶

Pieni ristiriitahetki: kilpailunarratiivit pitävät edelleen pintansa. Ne pakottavat laboratoriot julkaisemaan numeroita huolettoman tunnelman sijaan. Älä vain sekoita tulostaulua urheiluun.

Mitä tämän julkaisun täytyy onnistuakseen 

Jotta CLM-8B:llä olisi merkitystä uutissyklin ulkopuolella, muutamien asioiden on toteututtava:

• Replikointi: ulkopuolisten ryhmien tulisi pystyä vertaamaan otsikon latenssia ja koodauksen onnistumisasteita dokumentoituihin resepteihin.
• Hyödynnä läpinäkyvyyttä: jaa agentin kääreen tiedot, jotka tuottivat DeepSWE- ja Terminal-Bench-pisteet.
• Dokumentit, jotka eivät oleta laboratoriotelepatiaa: selkeät hienosäätöskriptit, eval-komennot ja laitteistohuomautukset.
• Virhetila: näytä, missä System 1 -tyyliset päätökset epäonnistuvat - uudet API:t, epäselvät tiketit, turvallisuusherkät toiminnot.
• Päivityspolku: selvennä, miten CLM-35B liittyy tähän, jotta tiimit eivät ylisovita pinoaan 8B:n umpikujaan.

Jos nuo laatikot pysyvät tyhjinä, mallista tulee jälleen yksi mielenkiintoinen paperipaino. Jos ne täyttyvät, agenttialustat saavat konkreettisen komponenttivalinnan: harkitsevan oikeustieteen maisterin tutkielman (LLM) perusteelliseen ajatteluun ja kontrastiivisen nopean mallin nykiville käsille. Tällainen työnjako tuntuu aikuismaisemmalta kuin teeskentely, että yhden megamallin pitäisi tehdä kaikki työt kaikilla viivebudjeteilla.

Käytännön vinkkejä rakentajille, jotka käyttävät lähetysagentteja 

Sinun ei tarvitse kirjoittaa pinoasi uudelleen huomenna. Tarvitset suunnitelman päätöksenteonopeiden mallien arviointiin. Aloita rajaamalla agentistasi latenssikriittinen osa – ehkä terminaalin mikrosilmukka tai "valitse seuraava grep" -vaihe – ja hienosäädä CLM-8B:tä A/B:llä nykyistä työjuhtaasi vasten. Pidä johtosarja vakiona. Kirjaa kaikki.

Tarkkaile hiljaisia ​​regressioita: mallit, jotka vastaavat välittömästi varmoilla väärillä toimilla, ovat huonompia kuin hitaasti oikeat mallit korkean riskin repositorioissa. Lisää varmennusvaiheita. Suosi palautuvia työkaluja. Budjetoi toinen mallikutsu, kun luotettavuus on alhainen – kyllä, se syö osan nopeusvoitosta, ja se on ihan ok. Nopeus ilman jarruja on se, miten demoista tulee käyttökatkoksia.

Organisaatiopuolella päivitä kapasiteettiarkkeja sarakkeella "toiminnot sekunnissa GPU:ta kohden" pelkkien tokeneiden sekunnissa sijaan. Agenttien työkuormat välittävät päätöksistä, eivät poetry-suorituskyvystä. Jos kirjoittajien ~9× väite säilyy edes osittain laitteistosi kanssa, laskentataulukkosi näyttää erilaiselta. Jos ei, olet oppinut halvalla.

Ja operaatioiden turvallisuuden nimissä älkää liittäkö tuotantosalaisuuksia kokeelliseen agenttiin vain siksi, että malli tuntui "turvalliselta". Nopeasti avattavat mallit helpottavat sellaisten varjojärjestelmien perustamista, joita kukaan ei tarkista. Prosessilla on edelleen merkitystä. 

Avoimet ketjut edelleen roikkuvat 

Muutamat ratkaisemattomat ketjut estävät minua käyttämästä täydellistä mainostilaa:

• Kuinka suuri osa raportoidusta koodausonnistuksesta johtuu painoista verrattuna hienosäätödataan ja kääreeseen, on epäselvää.
• Järjestelmä 1:n rajaus voi ohentua, kun tehtävät vaativat pitkän horisontin suunnittelua paikallisten refleksien sijaan.
• CLM-35B saattaa säilyttää latenssitarinan tai asettua jälleen yhdeksi vahvaksi keskikokoiseksi LLM:ksi.
• Kontrastiiviset toiminta-asetukset voivat muuttua hauraiksi jakelun muuttuessa - uudet kielet, uudet pilvi-CLI:t, kilpailevat repositoriot.
• Turvallisuustarina kaipaa edelleen täyteläisyyttä, kun toiminnot tapahtuvat millisekunneissa.

Nuo eivät ole tiimin haukkumiseen tarkoitettuja löytöjä. Ne ovat tarkistuksia, jotka jokaisen vakavasti otettavan käyttöönottoarvioinnin tulisi suorittaa. Ennakkojulkaisut ansaitsevat tarkkaa tarkastelua ja kitkaa, eivät sokkoasennuksia.

Lopputulos 

CLM-8B on avoin, Apache-kehitetty (kattavuuden mukaan) kontrastiivinen kielimalli, jonka tarkoituksena on tutkia agenttien nopeaa tilasta toimintaan -käyttäytymistä. Jacky Kwok esitteli sen julkisesti Azalia Mirhoseinin vahvistuksen pohjalta ja se on kehitetty Stanfordin/NVIDIA:an linkitettynä tutkimuksena. Otsikkoväitteet – jopa noin 9 kertaa nopeampi kuin Jev-luokan päättely, vahvat DeepSWE- ja Terminal-Bench-tulokset pienen hienosäädön jälkeen, vertailukelpoinen nollapisteiden laatu paljon pienemmällä latenssilla, mukaan lukien noin 32 ms:n luokan päätevasteiden käsittely – ovat kirjoittajien raportoimia ja odottaa edelleen laajaa kolmannen osapuolen vahvistusta. Suurempi CLM-35B on tulossa.

Jos rakennat agenttisia koodausjärjestelmiä, tämä on keskittyneen arvioinnin, ei uskonnon, arvoinen. Käsittele sitä ehdokkaana System 1 -ohjaimena hybridipinossa, mittaa omat valjaat ja pidä CLAIM-tarra jokaisessa kaaviossa, kunnes itsenäisiä ajoja tulee. Mielenkiintoinen osa ei ole taas yksi keskustelumalli uudella logolla. Mielenkiintoinen osa on se, voiko päätöksentekoon perustuva koulutus saada agentit tuntemaan olonsa välittömiksi tekemättä heistä holtittomasti vääriä.

Käytännön esimerkki: Latenssikriittisen agentin mikrosilmukan arvioinnin rakentaminen CLM-8B:lle

Kirjoittajien kaaviot juuri julkaistusta CLM-8B:stä: Uusi avoimen tekoälyn malli, joka väittää olevansa jopa 9 kertaa nopeampi kuin Jev agenteille, voivat näyttää vakuuttavilta; ainoa ääni, jolla on merkitystä, on oma valjastasi. Näin brittiläinen indie-työkalutiimi käsitteli CLM-8B:tä ehdokkaana System 1 -ohjaimeksi – ei chat-korvikkeeksi – ja mittasi sen omalla terminaalimikrosilmukallaan.

Skenaario

Sam pyörittää pientä tuotetta, joka käyttää jo valmiiksi raskaampaa koodausagenttia monitiedostojen refaktorointiin. Kivulias puoli on kuuma silmukka: lue epäonnistunut testitranskriptio, valitse seuraava komentotulkki tai muokkaustoiminto, suorita se ja toista. Käyttäjät valittavat vähemmän tylsistä vastauksista kuin talvihanskojen viiveestä viidenkymmenen työkalun vaiheen yli. Sosiaalisen median julkaisut vahvistavat kontrastiivisen kielimallin painotuksia ja väitettyä ~9-kertaista nopeutumista Jev-luokan vertaisiin verrattuna, sekä vahvoja DeepSWE/Terminal-Bench-lukuja pienen hienosäädön jälkeen. Sam kieltäytyy kirjoittamasta tuotantoa uudelleen painokaaviossa.

He luovat yhden latenssikriittisen mikrosilmukan: kaksikymmentä korjattua vikasietojäljitystä omasta monorepostaan. Nykyinen työjuhta pysyy harkitsevana polkuna uusille arkkitehtuuritiketeille. CLM-8B – jos sitä isännöidään ja sen jäljityksiä hienosäädetään – saa kilpailla vain "valitse seuraava palautuva toiminto" -vaiheessa, ja hitaampi päättely toimii pakoluukkuna, kun luottamus on alhainen.

Tavoitteena on A/B, joka pitää valjaat vakiona: samat työkalut, sama sallittujen lista, sama uudelleenyrityskäytäntö. Kirjaa toiminnot sekunnissa, p50/p95-latenssi, tehtävien onnistuminen ja ihmisten tekemät toimet – ja päätä sitten, ansaitsevatko avoimet painot paikan.

Mitä avustaja tarvitsee

• Kaksikymmentä anonymisoitua epäonnistuneiden testien jälkiä oikeasta työstä (vain syötteet + sallitut työkalut)
• Kiinteä agenttikääre: työkalukaavio, sallittujen luettelo, enimmäisvaiheet ja ”kutsu hidas päättelijä” -haara
• Nykyisen mallin lähtöpisteet samoille kahdellekymmenelle tehtävälle
• CLM-8B-isännän laitteistohuomautuksia (GPU-luokka, tarkkuus, eräkäsittely), joten "nopeammalla" on viittaus
• VÄITTÄMÄN tarrasääntö: tekijä DeepSWE / Terminal-Bench / ~9× / ~32 ms luvut pysyvät merkittyinä, kunnes tämä valjaat toistavat jotain
• Ihmisomistaja, joka tarkistaa virheelliset mutta nopeat toimet ennen minkäänlaista CI-kiinnitystä

Esimerkkiohje

Autat minua suunnittelemaan reilun A/B:n CLM-8B:lle nopeaksi tila→toiminta-ohjaimeksi koodausagentissamme. Käytä vain liittämiäni johtosarjatietoja. Älä keksi latenssikertoimia, DeepSWE-pisteitä tai lisenssiehtoja.

Tehtävä: Laadi kahdestakymmenestä tehtävänimestäni ja nykyisistä lähtötilanteen muistiinpanoistani (1) pisteytystaulukko, jossa on sarakkeet Tehtävä / Malli / Vaiheet / Seinäkello / Onnistui (hyväksytty/hylätty) / Ihmisen puuttuminen asiaan (kyllä/ei) / Muistiinpanot, (2) kuuden kohdan protokolla, joka pitää kääreen samanlaisena eri malleissa, ja (3) selkeällä arkipäiväisellä sanamuodolla laadittu päätössääntö sille, milloin CLM-8B voi omistaa mikrosilmukan verrattuna siihen, milloin eskaloimme asian hitaaseen päättelijään.

Rajoitukset: Iso-Britannian englanti. Merkitse jokainen tekijän raportoima luku VÄITTEEKSI, jos se esiintyy. Suosi palautuvia työkaluja. Kielletään "agents finally solved" -ilmaus. Jos liitteestäni puuttuu metriikka, kirjoita [NEED MEASUREMENT] arvaamisen sijaan.

Tuloste: pisteytystaulukon otsikko ja yksi täytetty esimerkkirivi paikkamerkeillä, protokollaluettelomerkit ja sitten eskalointi-/säilytyssääntö. Ei johdantoa.

Kuinka testata sitä

• Suorita samat kymmenen jälkiä nykyisellä työjuhtalla ja CLM-8B-hienosäädöllä identtisellä kääreellä. Varmista, että vain seinäkello ja onnistuminen eroavat toisistaan ​​– ei työkaluluettelot.
• Kysy: ”Mikä tekijän kaavio saattaa muuttaa tuotantoa tällä viikolla?” Hyvä vastaus: ei mitään, ennen kuin tämä valjaat osoittavat voittoa sekä onnistumisessa että latenssissa.
• Ääritapaus: CLM-8B vastaa noin 30 ms:ssa tuhoisalla komentoehdotuksella - vahvista sallittujen luettelo ja ihmisen tarkistus, niin huomaat sen ennen CI:tä.
• Reunatapaus: uusi API-tiketti kahdenkymmenen jäljen ulkopuolella - varmista, että hidas päättelijä omistaa sen, ei refleksimalli.
• Hyväksymistarkistukset: (1) ei keksittyä 9×-väitettä mitattuna tuloksena, (2) p50- ja p95-latenssit kirjataan, (3) onnistumisen nimittäjä on kaksikymmentä tehtävää, (4) virheelliset nopeat toimenpiteet lasketaan, (5) Apachen/lisenssin tarkistus tapahtuu offline-tilassa ennen kaupallisten toimitussuunnitelmien laatimista.

Tulos

Havainnollistava tulos (esimerkkiarvio yhdelle kolmen hengen työkalutiimille kahdellakymmenellä kiinteällä monorepo-jäljellä, ei riippumaton laboratoriotoistaminen kirjoittajien työpisteillä): Perustason työjuhta suoritti 14/20 jäljitystä ilman ihmisen apua; askelten mediaanilatenssi noin 180 ms; kaksi jäljitystä tarvitsi ihmisen väärän muokkauksen jälkeen. CLM-8B:n kevyen hienosäädön jälkeen sisäisissä jäljityksissä (sama kääre) 15/20 läpäisi ilman apua; askelten mediaanilatenssi noin 45 ms heidän yhden GPU:n isännällään; yksi ylimääräinen vääränlainen nopea toiminto havaittiin sallittujen listalla ennen käyttöönottoa. Kahdenkymmenen jäljityksen sarjan seinäkello laski noin 38 minuutista noin 22 minuuttiin varmennusvaiheet mukaan lukien. Hygieniatarkistuslistalla (valjaat pidettiin vakiona, CLAIM-otsikot säilytettiin kirjoittajien kaavioissa, hidasta päättelijää käytettiin edelleen uusille tiketeille, ei tuotantosalaisuuksia kokeellisessa agentissa) 5/5 tarkistustehtävästä läpäisi. Rajoitukset: pieni tehtäväjoukko, yksi laitteistoluokka, hienosäätötietojen laatu on hallitsevaa; Tämä ei vahvista kirjoittajien ~9×- tai DeepSWE-lukuja tämän valjaan ulkopuolella.

Oman versiosi mittaamiseksi: jäädytä kaksikymmentä jälkiä; pisteytä ensin nykyinen malli; isännöi CLM-8B:tä dokumentoidulla tarkkuudella/asetuksilla; aja uudelleen samalla kääreellä; raportoi onnistuminen/n, p50/p95, interventiot ja se, käsiteltiinkö mitään CLAIM-numeroa faktana.

Mikä voi mennä pieleen

• Kaavioiden palvonta: Lähetys ~9× dialla ilman omaa p95:tä.
• Väärät ja nopeat toimenpiteet: Välittömät ja varmat virheet päihittävät hitaat ja oikeat, korkean riskin repoissa.
• Valjaiden ajautuminen: Työkalukehotteiden vaihtaminen mallien välillä ja sen kutsuminen mallivoitoksi.
• Yhden sankarin pino: harkitsevan päättelyn poistaminen uusista arkkitehtuuritöistä.
• Lisenssien luovutus: Luotetaan kattavuusyhteenvetoihin varsinaisten painotustietorekisterilisenssitiedostojen sijaan.
• Varjo-CI: Nopean avoimen agentin liittäminen putkistoihin ilman nopeusrajoituksia tai injektion tarkistusta.

Käytännöllinen noutoruoka

CLM-8B on kohdennetun arvioinnin arvoinen ehdokas System 1 -ohjaimeksi agenttiseen koodaukseen - avoimet painot, päätöspohjainen tarina, kirjoittajan ilmoittamat nopeusväittämät. Se ei ole uskontunnustus eikä todistettu 9×-nopeus pinollesi, ennen kuin valjaat niin sanovat. Pidä kääre vakiona, kirjaa toiminnot sekunnissa ja väärin päin tapahtuva nopeus, käytä hitaampaa pakoluukkua ja jätä CLAIM-tarra jokaiseen painokaavioon, kunnes itsenäisiä ajoja (mukaan lukien sinun) laskeutuu.

Usein kysytyt kysymykset

Mikä on CLM-8B ja miksi agenttien rakentajat puhuvat siitä?

CLM-8B on ensimmäinen julkinen painotus Contrastive Language Model -tuotelinjassa – avoin tutkimusjulkaisu, joka on esitelty agenttien nopeaksi päätöksentekosilmukaksi, ei vain yhdeksi keskusteluaivoksi. Harjoitustarina yhdistää tilat toimintoihin enemmänkin System 1 -refleksin kuin hitaan seuraavan merkin esseenä. Kahdeksan miljardin parametrinsa ansiosta se on riittävän pieni monille laboratorioille ja itsenäisille kehittäjille, ja Apache 2.0 -lisenssi on kehystetty kattavuuteen pudotuksen ympärillä. Julkaisupostauksissa esitetyt luvut ovat kirjoittajien raportoimia väitteitä, eivät itsenäisiä laboratorioiden uusintoja.

Miten CLM-8B väittää olevansa jopa 9 kertaa nopeampi kuin Jev agenttien osalta?

Mainostajat väittävät päättelyn olevan jopa noin 9 kertaa nopeampaa kuin Jev-luokan mallit, ja Chatting kertoo noin 32 ms:n vasteajat terminaalin testiasetuksilla. Kevyen hienosäädön jälkeen he raportoivat myös vahvoja agenttisen koodaustuloksia – DeepSWE noin 81,6 % ja Terminal-Bench 2.1 noin 87,6 % – sekä jonkin verran Jev-tasoa vastaavaa nollapisteiden laatua huomattavasti pienemmällä latenssilla. 9× ja millisekuntilukuja käsitellään väitteinä, kunnes kolmannet osapuolet toistavat ne jaetulla laitteistolla. Suhteellinen nopeus edellyttää edelleen eräkoon, tarkkuuden ja dekoodausasetusten määrittämistä.

Miten kontrastiivisen kielimallin koulutus eroaa tyypillisistä oikeustieteen maistereista?

Useimmat tuotantotason oikeustieteen maisterit (LLM) luovat yhden tokenin kerrallaan, mikä toimii proosassa ja pitkissä päättelyissä, mutta vaatii agentin jokaista mikropäätöstä. Kontrastiivisen kielimallin koulutus, kuten promoottorit sitä kuvailevat, ohjaa verkkoa kartoittamaan tilanteet haluttuihin liikkeisiin – enemmän kuin politiikan asiantuntija kuin romaanikirjailija. Tämä System 1 -kehystys suosii nopeita tilasta toimintaan -silmukoita sen sijaan, että kerrottaisiin loputtomasti työkalukutsujen välillä. CLM-8B voi edelleen tuottaa tekstiä; tavoite- ja arviointitarina ovat kallistuneet agenttisen kontrollin suuntaan.

Kuka julkaisi CLM-8B:n, ja onko se todella avoin?

Jacky Kwok esitteli työn; Azalia Mirhoseini tarkensi sitä; kattavuus kuvaa Stanfordin ja NVIDIAn yhteistyön pohjana olevan tiimityön, johon kuuluu nimettyjä tutkijoita, julkisia painotuksia ja avointa koodia. Julkaisun lisensointi on kehystetty Apache 2.0:n mukaisesti, mikä on tärkeää hienosäädön ja toimituksen kannalta – mutta lue repon lisenssitiedostot ennen kuin luotat kattavuusyhteenvetoihin. Nimetyt avoimet julkaisut läpäisevät yleensä stressitestauksen nopeammin kuin anonyymit vedokset. Vielä varhaista laajamittaiselle kolmannen osapuolen replikoinnille.

Miksi tilasta toimintaan -silmukat ovat niin tärkeitä agenttiselle koodaukselle?

Agenttikoodaus on usein binääristä: testi joko menee vihreäksi tai ei, joten selkeät toimintavalinnat voittavat kauniit epäonnistumisanalyysit. Latenssikertoimet kasvavat kymmenien työkaluvaiheiden välillä – sekä askeleen lyheneminen että seinäkello- ja pilvilaskutoimitukset muuttuvat. Väitetty suuruusluokkaa oleva kiihtyvyys Jev-luokan vertaiseen verrattuna, vaikka se luonnossa olisi "vain" 4×, järjestää silti kapasiteettisuunnittelun uudelleen. Hybridipinot – nopea CLM:n kaltainen ohjain ja raskaampi päättelijä kovilla haaroilla – ovat realistinen pitkän aikavälin muoto.

Pitäisikö minun luottaa DeepSWE:n ja Terminal-Benchin CLM-8B-pisteisiin?

Nämä ohjelmistopaketit rankaisevat hauraita tekijöitä, minkä vuoksi ~81,6 % DeepSWE- ja ~87,6 % Terminal-Bench 2.1 -arvoista pienen hienosäädön jälkeen näyttävät jännittäviltä. Agenttipenkit palkitsevat myös tukirakenteiden käyttöä: valjaiden laatu, työkalujen sallittujen listat ja palautumiskehotteet voivat parantaa menestystä kaksinumeroisin luvuin. Perehdy painojen taustalla oleviin tekijöihin ennen kuin käsittelet taulukkoa vakiintuneena tieteenä. Kirjoittajapenkit markkinoivat, kunnes joku muu kopioi ne dokumentoiduilla resepteillä.

Mitä minun tulisi tietää CLM-35B:stä ja 8B-mallin hienosäädöstä?

Suurempi CLM-35B-jatko-osa mainitaan suunnitelmana; on epäselvää, säilytetäänkö latenssijuttu vai vaihdetaanko nopeus syvyyden hyväksi. CLM-8B:n hienosäätö omilla lint-säännöillä, CLI:n käyttöönotto ja monorepo-jäljitykset ovat realistinen tie vahvoihin lukuihin – ei nolla-shot-taikaa ensimmäisenä päivänä. Tiimit saattavat pitää molemmat koot, jos ne päätyvät: 8B kuumille silmukoille, 35B kovalle suunnittelulle. Avoimet painot helpottavat myös väärinkäyttöä, joten suojakaiteet ja nopeusrajoitukset ovat tuote, eivät valinnainen cosplay.

Miten minun pitäisi lukea Jev-vertauksia ilman, että saan lunta?

Jev-luokkavertailut antavat "jopa 9 kertaa nopeamman" vertaisankkurin, mikä auttaa myyntipuhetta laskeutumaan. Vaarana on erän koon, tarkkuuden, kontekstin pituuden ja työkalukutsujen sarjoittamisen tiivistäminen yhdeksi kertoimeksi. Kun Chatter viittaa ~32 ms:n luokkavastauksiin, kysy, tarkoittaako se ensimmäistä tokenia, täyden toiminnon JSONia vai välimuistissa olevaa etuliitettä. Mittaa tehtävän onnistumista, ratkaistun tiketin hintaa ja ihmisen puuttumisen määrää pinossasi. Kilpailunarratiivit pakottavat laboratoriot julkaisemaan numeroita; tuotannon KPI:si ratkaisevat edelleen.

Mitä rakentajien tulisi tehdä ennen CLM-8B:n asettamista tuotantoagentteihin?

Rajaa latenssikriittinen siivu – kuten terminaalin mikrosilmukka – ja hienosäädä A/B nykyistä työjuhtaasi vasten pitäen valjaat vakiona. Tarkkaile vääriä mutta nopeita toimia; lisää varmennus, suosi palautuvia työkaluja ja budjetoi hitaampi päättelyjärjestelmä, kun luotettavuus on alhainen. Seuraa toimintoja sekunnissa GPU:ta kohden, älä vain tokeneita sekunnissa. Älä liitä tuotantosalaisuuksia kokeellisiin agentteihin ja jätä CLAIM-tarra jokaiseen painokaavioon, kunnes omat ajosi laskeutuvat umpeen.

Miten luon reilun latenssin mikrosilmukan arvioinnin CLM-8B Just Dropped -vaatimuksille?

Jäädytä pieni joukko todellisia epäonnistuneiden testien jälkiä, säilytä sama työkalukaava ja sallittujen lista eri malleissa ja kirjaa vaiheet, seinäkello, onnistumiset ja ihmisen tekemät toimenpiteet. Käytä CLM-8B:tä vain "valitse seuraava palautuva toiminto" -vaiheessa, jos pidät harkitsevan pakoluukun uusille tiketeille. Merkitse tekijän ~9×, DeepSWE ja millisekuntiluvut VAATIMUKSEKSI, kunnes tämä valjaat osoittaa voittoa onnistumisessa ja latenssissa yhdessä. Tämä keskittynyt arviointi on parempi kuin tuotannon uudelleenkirjoittaminen diaesityksessä.

Viitteet

1. Halaavat kasvot — Kontrastiivinen kielimalli (CLM-v0.1-8B) — huggingface.co
2. GitHub — Kontrastiivinen-LM / CLM — github.com
3. Stanfordin yliopisto – Azalia Mirhoseini – cs.stanford.edu
4. Jacky Kwok — jackyk02.github.io
5. X — Jacky Kwokin esittely — x.com
6. DeepSWE — deepswe.datacurve.ai
7. Snorkkelin tekoäly — Terminal-Bench 2.1 — snorkel.ai
8. Jev — jevtypesafeai.com