ServiceNow'n AutoSynthData muuttaa agenttien epäonnistumiset koulutuskultaaksi

Lyhyt vastaus: ServiceNow CoreAI:n AutoSynthData muuntaa agenttien epäonnistumiset ja opettajien onnistumiset validoineiksi synteettisiksi SFT-tehtäviksi, kun yritykset tarvitsevat ympäristöosaamista pelkkien benchmark-pisteiden sijaan. Se puhdistaa aukot ominaisuusmäärittelykorteiksi, moninkertaistaa todennettavissa olevan työn ja sitten tarkistaa laadun ennen hienosäätöä. Kirjoittajien raportoima EnterpriseOps Gym -työkalu parantaa suorituskykyä, jos opettajan vahvuus, todentajan laatu ja ympäristön tarkkuus ovat linjassa.

Keskeiset tiedot:

Ominaisuuskortit: Puhdista viat korteille, jotta generaattorit eivät koskaan näe alkuperäisiä tunnisteita.

Todentajan auditoitavuus: Suosi SQL:n lopputilan tarkistuksia, jotka hylkäävät mutatoituneita virheellisiä tuloksia.

Vaikeusaste: Harjoittele vain tehtäviä, jotka kohde ratkaisee harvoin ja jotka opettaja yleensä läpäisee.

Ihmisen tekemä tarkastus: Pidä ihmisen tekemä tarkastus tärkeiden käytäntöjen ja peruuttamattomien toimenpiteiden kohdalla ennen uudelleenkoulutusta.

Liikkuva rajaseutu: SFT:n jälkeen arvioi uudelleen ja siirrä kohdevaihe jäljellä olevia aukkoja kohti.

Yritysten tekoälyagentit epäonnistuvat harvoin yleistietämyksen puutteen vuoksi. He epäonnistuvat, koska ympäristö on spesifinen: tikettikäytännöt, skeemavirheet, työkalusopimukset, siementietokannat, tietoartikkelit ja järjestelmärajat ylittävät työnkulut, jotka eivät näytä oppikirjademolta. Malli, joka pärjää hyvin avoimissa vertailuissa, voi silti jumiutua, jos seuraavan vaiheen on noudatettava muutosikkunaa, CMDB-suhdetta tai varmentajaa, joka tarkistaa lopullisen tilan sujuvan keskustelun sijaan.

ServiceNow CoreAI / ServiceNow-AI julkaisi AutoSynthDatan hyökätäkseen suoraan tähän aukkoon. Nimetty kirjoittaja Esakkivel Esakkiraja kuvailee prosessin, joka muuntaa kohdeagentin epäonnistumiset – yhdessä vahvemman opettajan onnistumisten – validoiduiksi synteettisiksi koulutustehtäviksi, jotka on räätälöity yritysympäristöihin. Tarkoituksena ei ole kerätä lisää keskustelulokia. Tarkoituksena on moninkertaistaa vaativa, todennettavissa oleva työ, joka käyttää samaa kykyä uusissa olosuhteissa, jotta ohjattu hienosäätö voi paikata ympäristökohtaisia ​​aukkoja.

Tässä artikkelissa käydään läpi EnterpriseOps Gymin ydinajatus, tehtäväabstraktio, generointi- ja laadunvalvontasilmukka, jaettu arkkitehtuuri ja kirjoittajien raportoimat tulokset hybridi- ja ITSM-ympäristöissä. Artikkeli pysyy tutkimuksen kuvaamassa sisällössä: synteettisten tehtävien liikkuva opetussuunnitelma, ei väite, että jokin yritys on yhtäkkiä ratkaistu.

Miksi ympäristöosaaminen on parempi kuin laaja-alainen kyvykkyys

Yritykset tarvitsevat agentteja, jotka työskentelevät heidän ympäristössään – järjestelmissään, säännöissään ja datan tilassa. Laaja kyvykkyys ei ole sama asia kuin ympäristöosaaminen. Agentti voi tietää, miten IT-palvelunhallinta yleensä toimii, mutta silti ohittaa paikallisen käytännön, joka kieltää tietyt siirtymät, tai työkalun, joka päivittää liittyvän taulukon vasta, kun edellytetty tietue on olemassa.

Yksittäiset epäonnistumiset ovat informatiivisia, mutta oheita harjoitusdatana. Yksikin katkennut kehityskaari osoittaa heikkoutta; se ei tarjoa kymmeniä lähellä olevia tilanteita, jotka opettaisivat mallille palautumisen vaihtelusta huolimatta. Tiimit tarvitsevat monia uusia tehtäviä, jotka käyttävät samaa ominaisuutta eri tavalla, pysyvät suoritettavissa ympäristön sisällä, tuntuvat realistisilta käyttäjän pyynnöistä ja pysyvät todennettavissa tulostesteillä.

Tämä on AutoSynthDatan taustalla oleva suunnittelupaine. Epäonnistumiset toimivat signaaleina kykykorteille. Korteista tulee uusien tehtävien generaattoreita. Vahvempi opettaja osoittaa onnistuneita kehityskaaria. Suodattimet ja varmentajat päättävät, mitä ohjattuun hienosäätöjoukkoon lisätään. Koulutuksen jälkeen arviointi siirtää rajaa jäljellä oleviin aukkoihin. Silmukka on opetussuunnitelman muotoinen eikä kertaluonteinen datadump.

Kehystämisellä on merkitystä ammattilaisille. Jos tallennat vain epäonnistuneita kehotteita, on olemassa riski, että kysely sovitetaan liikaa samoihin kokonaisuuksiin ja fraseerauksiin. Jos luot vain rajoittamattomia synteettisiä kysymyksiä, on olemassa riski, että tehtävät ovat mahdottomia, epärealistisia tai todentamattomia. AutoSynthData sijoittuu näiden ääripäiden väliin: se puhdistaa epäonnistuneen ominaisuusmäärittelyksi ja luo sitten uudelleen tehtäviä, jotka säilyttävät kovan ytimen samalla, kun pinnan muoto ja hallittavat ulottuvuudet muuttuvat.

Käytännön tehtävän muoto: järjestelmä, kehote, todentaja

Toimiva abstraktio agenttiselle työlle on: tehtävä on yhtä kuin järjestelmämäärittely, käyttäjäkehote ja todentaja. Jokainen osa sisältää rajoituksia, jotka pitävät synteettisen datan maadoitettuna ja luotettavana.

Järjestelmän spesifikaatio kattaa rajoitteet, käytännöt ja alkutilan – esimerkiksi tietokannan alkuarvot ja tietoartikkelit. Sen on pysyttävä yhteensopivana käytettävissä olevien työkalujen ja tilan kanssa. Mielivaltaiset vaikeusasterajoitukset, jotka jättävät huomiotta työkalusopimukset tai alkuarvon realismin, luovat usein hauraita tehtäviä, jotka opettavat väärän läksyn.

Käyttäjäkehotteen laadulla on kolme linssiä. Toteutettavuus kysyy, onko olemassa pätevä kehityskaari. Realismi kysyy, olisiko käyttäjä uskottavasti pyytänyt tätä. Vaikeusaste kysyy, paljastaako tehtävä agentin nykyisen heikkouden sen sijaan, että se ratkaisisi jonkin kohteen jo luotettavasti. Kehote, joka on kohteelle triviaali, tuhlaa koulutusbudjettia; kehote, joka on mahdoton, tuhlaa arviointiluottamusta.

Todentajan laatu riippuu johdonmukaisuudesta, luotettavuudesta ja täydellisyydestä. Liian löyhät ja heikot kehitysradat läpäisevät. Liian rajoittava yhteen kehityskaareen ja pätevät vaihtoehtoiset ratkaisut epäonnistuvat. Yritysympäristöt suosivat usein SQL-pohjaisia ​​tai tilaan perustuvia tulostarkistuksia, koska ne luokittelevat maailman agentin toimien jälkeen, eivätkä agentin kulkeman tarkan merkkipolun perusteella.

AutoSynthData nojaa tähän kolmikkoon, jotta luotu työ pysyy maanläheisenä. Generaattorit eivät keksi vapaasti kelluvia tietokilpailuja. Ne tuottavat tehtäviä, jotka voidaan suorittaa ympäristösovittimessa ja arvioida todentajilla, jotka välittävät vaadituista lopputilan ominaisuuksista.

Diagnostisesta arvioinnista ominaisuusspesifikaatiokortteihin

Putki alkaa kohdeagentin ja ympäristössä olevan vahvemman opettajan diagnostisella arvioinnilla. Rinnakkaiset suoritukset paljastavat, missä kohde epäonnistuu ja missä opettaja onnistuu. Nämä vastakkaiset tapaukset ovat raaka-ainetta opetussuunnitelman suunnittelulle.

Seuraavaksi on vuorossa tiivistäminen puhdistetuiksi ominaisuusmäärittelykorteiksi. Kortti tallentaa testattavan ominaisuuden, asiaankuuluvat työkalut tai työnkulun muodon, missä kohde epäonnistuu ja missä opettaja onnistuu, vaaditut lopputilan ominaisuudet ja ulottuvuudet, jotka voivat muuttua uusien tehtävien keksimisen yhteydessä. Ratkaisevasti generaattori ei vastaanota alkuperäisiä kehotteita, entiteettejä, trajektorioita tai todentajan tietoja – ainoastaan ​​kortit.

Tuo puhdistus on tarkoituksellinen ylisovittamisen vastainen siirto. Jos generaattori näkisi tarkat epäonnistuneiden tikettien numerot, tietoartikkelien tunnukset tai opettajan jäljet, se olisi taipuvainen parafraasaamaan sama jakso. Kortit pakottavat abstraktioon: opeta ominaisuus hallittavan variaation alaisena, ei ulkoa opeteltua instanssia.

Kun kortit ovat luotuja, järjestelmä luo niistä uusia tehtäviä. Opettaja sitten esittelee onnistuneita kehityskaaria ohjattua hienosäätöä varten. Nämä demonstraatiot eivät ole vapaamuotoisia neuvoja; ne ovat ympäristöön perustuvia onnistumisia, jotka läpäisevät samanlaisen varmennuksen, josta opetussuunnitelmassa on kyse.

Kaksivaiheinen rakenneskaala. Kohdevaihe keskittyy aukkojen ympärillä oleviin tarkistettuihin ydinnäytteisiin – voimakkaimman signaalin tehtäviin lähellä kohtaa, jossa heikko agentti rikkoutuu. Kertolaskuvaihe luo uusia variantteja hyväksytyistä kohteista. Kertolaskunäytteet eivät voi johtaa uusiin kertolaskukierroksiin, mikä rajoittaa ajautumista. Tämä sääntö on pieni mutta tärkeä: rajaton rekursiivinen vaihtelu voi harhailla pois kortin nimeämästä ominaisuudesta.

Jaettu ohjain, ympäristösovitin ja liikkuva rajaseutu

Arkkitehtuuriltaan AutoSynthData käyttää jaettua ohjainta ja ympäristösovitinta. Ohjain koordinoi diagnostiikkaa, karstausta, luontia, opettajien demoja, laatuportteja ja erätarkistusta. Sovitin yhdistää nämä vaiheet konkreettiseen yritysympäristöön – työkaluihin, tilaan, käytäntöihin ja varmentajiin – joten sama ohjaussilmukka voi kohdistua eri alueisiin ilman, että opetussuunnitelman logiikkaa tarvitsee kirjoittaa uudelleen tyhjästä.

Ohjatun hienosäädön jälkeen prosessi arvioidaan uudelleen. Opetussuunnitelma siirtyy sitten kohti jäljellä olevia aukkoja: liikkuvaa rajaseutua staattisen tietojoukon sijaan. Työssä kuvatut kokeet keskittyvät ohjattuun hienosäätöön. Sama silmukka voisi tukea vahvistusoppimista myöhemmin; tämä suunta merkitään suunnitelluksi , ei väitetä valmistuneeksi.

Yritystiimeille arkkitehtuurioppitunti on modulaarinen. Ohjainten ei tulisi koodata vain yhtä tikettimallia. Adapterien tulisi paljastaa riittävästi tilan ja työkalujen tarkkuutta, jotta todentajat voivat olla merkityksellisiä. Opetussuunnitelman tulisi käsitellä arviointituloksia seuraavana syötteenä, ei kertaluonteisena tulostauluna.

EnterpriseOps Gym on ympäristö, jossa tätä lähestymistapaa havainnollistettiin. Se on laaja-alainen yritysagenttiympäristö, jossa on noin 1 150 asiantuntijoiden kuratoimaa tehtävää kahdeksalla eri toimialueella, noin 512 työkalua, noin 164 tietokantataulukkoa, konttisuoritus, SQL-pohjainen tulosten varmennus, käytäntöihin perustuvat toiminnot, hybriditoimialueiden välinen skenaario, toteutettavuus- ja hylkäystestaus sekä pitkän horisontin tilalliset trajektorit. AutoSynthDataa ei esitetä kyseisen salin keksijänä; sali on synteesisilmukan stressitestausalusta.

Näytetason laadunvalvonta, joka pitää synteettiset tehtävät luotettavina

Synteettisten agenttien data menee pieleen generoimalla ilman portteja. AutoSynthData kuvaa näytetason laadunvalvontaa useilla toisiaan täydentävillä tarkistuksilla.

Ratkaisijan vaikeusastesuodatin ohjaa joukkoa kohti tehtäviä, jotka ovat vaikeita kohteelle ja ratkaistavissa opettajalle. Kuvattu konfiguraatio suosii tehtäviä, jotka kohde ratkaisee korkeintaan yhdessä kolmesta yrityksestä, kun taas opettaja onnistuu vähintään kahdessa kolmesta yrityksestä. Tällä alueella ohjatut demot voivat opettaa jotain, mitä heikko malli ei jo hallitse.

Positiivinen todentaminen edellyttää, että referenssitulos läpäisee todentajan. Negatiivinen todentaminen edellyttää, että mutatoidut väärät tulokset hylätään. Yhdessä ne testaavat sekä tarkistimen hyväksymis- että hylkäyspuolta. Jos vain positiiviset tulokset tarkistetaan, salliva todentaja voi hyväksyä roskat. Jos vain negatiiviset tulokset tarkistetaan, liian tiukka todentaja voi hylätä pätevän työn.

Kritiikki- ja korjaussilmukka, jossa on uudelleenyritysten raja, pyrkii korjaamaan tehtäviä, jotka epäonnistuvat tarkistuslinjoissa, sen sijaan, että jokainen läheltä piti -tilanne hylättäisiin välittömästi. Uudelleenyritysten rajat ovat tärkeitä: loputtomat korjaukset voivat keksiä yhä keinotekoisempia rajoituksia vain läpäistäkseen tarkistuslistan.

Erätason metatarkastelussa tarkastellaan sitten koko joukkoa kattavuuden, monimuotoisuuden, redundanssin ja epäonnistuneiden tavoitteiden osalta. Näyteportit pitävät yksittäiset kohdat pätevinä; erätarkastelu estää opetussuunnitelmaa kasautumasta yhden kapean epäonnistumistavan ympärille tai kloonaamasta lähes kaksoiskappaleita.

Nämä kontrollit selittävät, miksi prosessi voi käyttää tuntikausia tuhansien näytteiden tuottamiseen käsittelemättä volyymia sopivuuden korvikkeena. Nopeus vaihtelee aihealueen ja opettajan koon mukaan, mutta laadunvalvonnan tarina on johdonmukainen: vaikeusaste, positiivinen ja negatiivinen varmennus, korjaus rajoitusten puitteissa ja sitten metatarkastus.

Raa'at epäonnistumiset vs. kortit vs. validoidut SFT-joukot

On hyödyllistä vertailla, mihin kukin artefakti sopii. Raakalokit ovat diagnostisia. Ominaisuuskortit ovat generatiivisia sopimuksia. Validoituja, valvottuja hienosäätöjoukkoja käytetään käytännössä harjoituksiin.

EnterpriseOps Gym -sivuston hybridi- ja ITSM-tilannevedoksissa kirjoittajan raportoimissa ajoissa käytettiin kohteena Gemma-4-26B-A4B-it-malaria. Hybridi yhdisti kyseisen kohteen ja opettajana toimivan Qwen3.8-27B:n ja tuotti noin 2 000 hybridinäytettä noin 18 tunnissa, parhaan tarkistuspisteen ollessa epookissa 5. Keskimääräinen Pass@1-arvo nousi 7,2 prosenttiyksikköä – noin 35 prosenttia suhteessa vertailuarvoon – ja todentajan onnistumisprosentti nousi 63,01 prosentista 68,55 prosenttiin, mikä kuroi umpeen noin 59 prosenttia Pass@1-erosta referenssimalliin verrattuna.

ITSM yhdisti saman kohteen DeepSeek-V4.1-Flashin opettajaksi ja tuotti noin 1 994 näytettä noin 66 tunnissa, mikä oli pidempi aika osittain suuremman opettajan ja osittain puuttuvien prosessioptimointien vuoksi. Keskimääräinen Pass@1-arvo nousi 18,77 prosentista 27,18 prosenttiin.

Lue nämä luvut yrityksen tutkimustuloksina tästä kuntosalista testatuilla aloilla – älä itsenäisenä kolmannen osapuolen replikaationa tai yleismaailmallisena yritystakuuna. Hyödyt näkyvät siellä, missä opettajien vahvuus, todentajien laatu ja ympäristön vastaavuus kohtaavat.

Mitä ammattilaisten tulisi kopioida silmukasta

Vaikka pinosi ei olisikaan ServiceNow'n tutkimusputki, malli siirtyy. Aloita parittaisella arvioinnilla, jossa on tuotantomaista kohdetta ja vahvempi opettaja luotettavassa hiekkalaatikossa. Muunna kontrastivirheet ominaisuuskorteiksi, jotka poistavat tunnisteet ja trajektorit. Luo tehtäviä, jotka vaihtelevat sallittuja mittoja säilyttäen samalla vaaditut lopputilan ominaisuudet. Pyydä opettajaa osoittamaan onnistumisia. Porttaa vaikeusasteilla, positiivisella ja negatiivisella varmennuksella, rajoitetulla korjauksella ja erädiversiteetin tarkastelulla. Hienosäädä, arvioi uudelleen ja siirrä raja-aluetta.

Kiinnitä erityistä huomiota todentajan suunnitteluun. EnterpriseOps Gym -tyyliset SQL-tulostarkistukset ja käytäntöihin perustuvat operaatiot havainnollistavat, miksi chat-rubriikit itsessään ovat heikkoja tilatyöskentelyssä. Jos todentajasi ei pysty erottamaan mutatoituja vääriä tuloksia oikeista lopputuloksista, synteettinen skaala vahvistaa kohinaa.

Kunnioita myös moninkertaistamisperiaatteen henkeä: hyväksyttyjen kohteiden varianttien ei tulisi loputtomasti tuottaa lisää variantteja palaamatta tarkistettuihin ytimiin. Ajelehtiminen on hiljaista. Opetussuunnitelma, joka hitaasti keksii eksoottisempia rajoitteita, saattaa silti läpäistä pinnallisia suodattimia jättäen alkuperäisen ominaisuuden alikehittyneeksi.

Lopuksi, käsittele hybridi- ja eri alojen välistä työtä ensisijaisena stressitapauksena. Jokapäiväiset käyttäjät eivät jää yhden työkalusiilon sisälle. Hybriditehtävät, pitkän horisontin kehityskaaret sekä kieltäytymis- tai toteutettavuustestaus ovat paikkoja, joissa ympäristöosaaminen näkyy – tai epäonnistuu äänekkäästi.

Varoitukset, rajoitukset ja hyötyjen huolellinen tulkinta

Kirjoittajien raportoimat EnterpriseOps Gym -tulokset ovat informatiivisia signaaleja, eivätkä ne ole kaikenkattava takuu. Julkaistut hybridi- ja ITSM-hyödyt koskevat kyseisiä alueita ja mallipareja kuvatussa asetelmassa. Muut alueet, heikommat opettajat, meluisammat todentajat tai pinnallisempi ympäristötarkkuus voivat pienentää tai poistaa hyödyn.

Laatu riippuu kolmesta pilarista, joita mikään markkinointiteksti ei voi ohittaa. Opettajan vahvuus asettaa demonstraatioiden ylärajan. Todentajan laatu asettaa tunnisteiden ja suodattimien luotettavuuden. Ympäristöuskollisuus määrittää, selviävätkö opitut toimintatavat kosketuksista tuotantojärjestelmiin, sääntöihin ja datan tilaan.

AutoSynthDatan kokeiluissa korostetaan ohjattua hienosäätöä. Vahvistusoppimista mainitaan saman silmukan mahdollisena myöhempänä käyttötapana, joka on suunniteltu eikä toteutettu raportoidussa työssä. Lukijoiden ei tule sekoittaa opetussuunnitelmaan sopivaa datamoottoria valmiiseen RL-koulutusväitteeseen.

Lukijoiden ei myöskään pidä sekoittaa synteesiprosessia itse harjoitteluympäristöön. EnterpriseOps Gym tarjoaa kuratoidut tehtävät, työkalut, taulukot, säilön ja varmennusrakenteen. AutoSynthData käyttää tällaista ympäristöä muuttaakseen epäonnistumiset koulutuskultaksi. Anna molemmille osille oikea tunnustus: kuntosali painottaa agentteja; prosessi moninkertaistaa opetettavia tehtäviä diagnosoiduista aukoista.

Hiekkalaatikossa ei myöskään ole ilmaisia ​​lounaita laskenta- ja kalenteriajassa. Hybridisynteesi suoritettiin noin kahdentuhannen näytteen osalta tuntien luokkaa; ITSM kesti kauemmin raskaamman opettajan ja aikaisemman prosessorimallin ansiosta. Tiimien tulisi budjetoida opettajan päättely, uudelleenyritykset kritiikin tai korjauksen osalta sekä uudelleenarviointi jokaisen opetussuunnitelman vaiheen jälkeen.

Opetussuunnitelma-ajattelu yritysagenttitiimeille

AutoSynthDatan syvin idea on opetussuunnitelmallinen eikä pelkästään generatiivinen. Epäonnistumiset diagnosoivat. Kortit abstraktoivat. Generointi moninkertaistaa. Laadunvalvonta validoi. SFT päivittää kohteen. Uudelleenarviointi siirtää rajoja. Tämä sarja käsittelee agentin kehittämistä sarjana ympäristöön perustuvia oppitunteja yhden offline-jäljitysvedoksen sijaan.

Opetussuunnitelma-ajattelu muuttaa sitä, miten johtajat kohdistavat työpanosta. Sen sijaan, että pyydettäisiin vain lisää tikettejä tai ihmisten tekemiä annotaatioita, kysytään, mitkä ominaisuudet epäonnistuvat edelleen vaihtelun aikana, onko näillä ominaisuuksilla puhtaat lopputilaominaisuudet ja voiko vahvempi opettaja osoittaa ne luotettavasti. Jos opettaja ei onnistu tarpeeksi usein, synteettinen SFT opettaa epäluotettavaa käyttäytymistä. Jos lopputilaominaisuudet ovat epätarkkoja, todentajat kiistelevät validien strategioiden kanssa.

Se muuttaa myös tapaa, jolla puhutaan menestyksestä. Pass@1-kuilun osittainen kurominen umpeen hybridipohjaiseen referenssimalliin tai ITSM Pass@1 -tason nostaminen 1900-luvun yläpäästä 300-luvun yläpäähän kirjoittajien raportoimissa ajoissa on edistystä mitatussa ympäristöosaamisessa. Se ei ole todiste siitä, että jokainen työnkulku, jokainen käytäntö tai jokainen hylkäystapaus on ratkaistu. Säilytä liikkuva rajaseudun kieli: jäljellä olevista aukoista tulee seuraava Target-vaihe, ei jälkikäteen ajateltu liukumäki.

Ohjelmasuunnittelussa yhdistä tämä silmukka ihmisen suorittamaan tarkistukseen, kun panokset ovat korkeat – turvallisuuskäytännöt, peruuttamattomat toimenpiteet, säännelty data – ja anna automaattisten porttien hoitaa tarkasti määriteltyjen tilatarkistusten määrää. Synteettinen data toimii parhaiten, kun ympäristö voi sanoa kyllä ​​tai ei SQL-tyyppisellä selkeydellä. Se kamppailee, kun menestys on subjektiivista makua.

Suunnitteluhuomautuksia vaikeudesta, realismista ja kieltäytymisestä

Vaikeusasteen kohdistaminen ansaitsee toisen tarkastelun. Tehtävien suosiminen, jotka kohde ratkaisee korkeintaan kolmanneksen ajasta, pitää koulutuksen poissa triviasta. Opettajan vaatiminen onnistumaan vähintään kahdessa kolmasosassa ajasta pitää demot poissa kolikonheitoista. Tuo taso on käytännöllinen kompromissi haasteen ja opittavuuden välillä.

Realismi on edelleen pehmeämpi kriteeri, mutta silti olennainen. Yrityskäyttäjät pyytävät asioita, jotka sopivat heidän rooleihinsa ja järjestelmiinsä. Pelkästään kovuuden ohjaamat generaattorit voivat keksiä monimutkaisia ​​​​monirajoitteisia pulmia, joita yksikään operaattori ei pyytäisi. Ominaisuuskortit, jotka listaavat muuttuvia ulottuvuuksia, auttavat, mutta ihmisten tai meta-arvioinnin on silti havaittava surrealistisia kehotteita.

Kieltäytymis- ja toteutettavuustestaus, jotka ovat osa EnterpriseOps Gymin laajempaa suunnittelua, muistuttavat tiimejä siitä, että pätevyyteen kuuluu myös ei-sanominen. Vain suoritettavissa oleville tehtäville optimoitu liukuhihna voi alikouluttaa kieltäytymisen. AutoSynthData-tyyppisiä silmukoita laajennettaessa tulisi sisällyttää kortteja, joissa oikea lopullinen ominaisuus on turvallinen hylkääminen käytännön mukaisesti, ei pelkästään tietokannan tilan onnistunut muutos.

Pitkän horisontin tilalliset trajektorit herättävät toisen suunnitteluhuomautuksen. Opettajien demojen on pysyttävä johdonmukaisina useiden työkalukutsujen välillä. Todentajat, jotka tarkistavat vain taulukon viimeisen rivin, saattavat jättää huomiotta käytäntöjen väliset katkokset. Todentajien suunnittelun täydellisyys tarkoittaa niiden ominaisuuksien kattamista, jotka todella määrittelevät kyseisen ominaisuuden onnistumisen – mukaan lukien rajoitukset, joiden on pysyttävä voimassa koko ajan, ei vain lopussa.

Loppuyhteenveto

AutoSynthData, ServiceNow CoreAI / ServiceNow-AI:sta ja Esakkivel Esakkirajan julkisessa artikkelissa kirjoittama, on prosessi, joka muuntaa kohdeagenttien epäonnistumiset ja opettajien onnistumiset validoiduiksi synteettisiksi koulutustehtäviksi yritysympäristöihin. Se abstraktoi epäonnistumiset puhdistetuiksi ominaisuusmäärittelykorteiksi, luo uusia tehtäviä vuotamatta alkuperäisiä kehotteita tai trajektorioita, kerää opettajien demonstraatioita ja valvoo näyte- ja erätason laadunvalvontaa ennen valvottua hienosäätöä.

Käytännön mentaalinen malli on tehtävä järjestelmämäärittelynä, käyttäjän kehotteena ja todentajana – jossa toteutettavuus, realismi ja vaikeusaste pidetään jännitteessä, ja todentajat eivät ole liian löyhiä eivätkä lukittuja yhteen polkuun. Kohde- ja kertomisvaiheet, ei lisäsyöttöä -sääntö kerrotuille näytteille, jaettu ohjain ja ympäristösovitin sekä SFT:n jälkeinen uudelleenarviointi luovat liikkuvan rajan jäljellä olevien aukkojen yli.

EnterpriseOps Gymillä kirjoittajien raportoimat hybriditulokset Gemma-4-26B-A4B-it:llä ja Qwen3.8-27B:llä osoittavat noin kaksituhatta näytettä noin 18 tunnissa ja merkittäviä Pass@1- ja todentajan onnistumisprosentteja, mikä kuroa umpeen suurta osaa kuilusta referenssimalliin nähden. ITSM, jossa opettajana on DeepSeek-V4.1-Flash, osoittaa Pass@1-arvon nousevan 18,77 prosentista 27,18 prosenttiin noin 1 994 näytteellä pidemmällä aikavälillä. Käsittele näitä lukuja tutkittuina signaaleina tietyillä osa-alueilla, jotka riippuvat opettajasta, todentajasta ja ympäristön tarkkuudesta – ja pidä vahvistusoppiminen suunniteltuna silmukan jatkeena, ei lopullisena väitteenä.

Jos muistat yhden lauseen: yritysagentit kehittyvät, kun virheistä tulee abstrakteja, moninkertaisia ​​ja todennettuja oppitunteja järjestelmissä, joita heidän on käytettävä päivittäin – eivät silloin, kun tiimit vain toistavat samaa rikkinäistä tikettiä.

Käytännön esimerkki: ITSM-tapausten laajentaminen jäädytetystä kuntosalityyppisestä epäonnistumisjoukosta

Skenaario

Brittiläinen yritysalustatiimi – esimerkiksi keskikokoinen finanssipalveluiden operatiivinen ryhmä, joka käyttää ServiceNow-tyylistä ITSM:ää muutosikkunoilla, CMDB-suhteilla ja käytäntöihin perustuvilla siirtymillä – käyttää tuotantomaista agenttia, joka kompastelee jatkuvasti samaan työluokkaan: ristiintaulukointipäivityksiin, joiden on noudatettava hyväksyntävaatimusta, tietoartikkelihakuihin, jotka ovat ristiriidassa paikallisten muutosten jäädytysten kanssa, ja hybridipyyntöihin, jotka ylittävät ITSM:n viereisiin operatiivisiin työkaluihin.

He jäädyttävät yksityisen EnterpriseOps Gym -tyyppisen ohjelmistokokonaisuuden (konttiympäristö, SQL-tulosten tarkistukset, siementaulukot, käytäntösäännöt), jotta tulokset ovat vertailukelpoisia viikosta toiseen. Diagnostiikka-ajot osoittavat kohdeagentin epäonnistuvan, kun taas vahvempi opettaja onnistuu. Johto haluaa lisää koulutussignaalia ilman samojen tikettinumeroiden ja entiteetti-ID:iden toistamista. AutoSynthData (tai vastaava synth-from-failures-silmukka, jos tutkimusputki on portitettu heidän pinossaan) on sopiva ehdokas: muuntaa kontrastivirheet puhdistetuiksi ominaisuusmäärittelykorteiksi, luo uusia tehtäviä, kerää opettajien demoja ja sitten – kriittisesti – ihmisen suorittama synteettisten jälkien tarkistus ennen uudelleenkoulutusta.

Gym Pass@1:ssä ei toimiteta mitään yksinään. Synteettistä dataa käsitellään ehdokasopetussuunnitelmana, ei vapaana totuutena.

Mitä avustaja tarvitsee

• Pääsy jäädytettyyn kuntosalityyppiseen ympäristösovittimeen: työkalut, siementila, käytännöt ja SQL-vahvistimet (tai vastaavat tilapohjaiset) varmentajat.
• Parittaiset arviointilokit: tavoitteiden epäonnistumiset verrattuna opettajien onnistumisiin samoissa tehtävissä.
• Korttikaavio, joka tallentaa ominaisuudet, työkalut/työnkulun muodon, epäonnistumis-/onnistumiskontrastin, vaaditut lopputilan ominaisuudet ja sallitut variaatiodimensiot – ilman alkuperäisiä kehotteita, entiteettejä, trajektorioita tai todentajan sisäisiä osia.
• Henkilökohtaiset tunnistetiedot ja käytäntöjen tarkistussäännöt (tikettitunnukset, käyttäjätunnukset, CI-nimet, säännellyt kentät) ennen kuin mikään poistuu hiekkalaatikosta tai siirtyy generaattorin kehotteeseen.
• Ihmisen tarkastelujono näytteistettyjä synteettisiä tehtäviä ja opettajan jäljityksiä varten (toteutettavuus, realismi, todentajan luotettavuus, hylkäämis-/toteuttamattomuustapaukset).
• Selkeät pysäytysehdot: Kohdista ja sitten kerro vaiheet; kerrotut näytteet eivät johda muihin kertolaskikierroksiin.

Esimerkkiohje

Alustan liidi opetussuunnitelman ylläpitäjälle (tai orkestrointiassistentille, joka vain luonnostelee kortteja ja tarkastelee paketteja – se ei kouluta uudelleen tai ylennä malleja):

"Suorita diagnostiikka Pass@1 jäädytetyille ITSM- ja hybridilohkoille nykyistä kohdetta ja nimettyä opettajaa vasten. Jokaisesta vertailusta, jossa kohde epäonnistuu ja opettaja onnistuu vähintään kahdessa kolmesta kokeesta, laadi puhdistettu ominaisuusspesifikaatiokortti: nimeä ominaisuus, listaa asiaankuuluvat työkalut, ilmoita vaaditut lopputilan ominaisuudet ja listaa hallittavat ulottuvuudet (prioriteettialue, siihen liittyvä CI-luokka, muutosikkunan merkintä, tietoristiriitatyyppi). Poista tikettinumerot, käyttäjätunnukset, CI-nimet ja raakatrajektorit. Luo kohdevaiheen erä uusia tehtäviä vain näistä korteista. Pyydä opettajaa osoittamaan onnistumiset. Käytä vaikeusaluetta (tavoite ≤1/3, opettaja ≥2/3), positiivista ja negatiivista varmennusta sekä rajoitettua kritiikkiä/korjausta. Laadi arviointipaketti, jossa on 5 % stratifioituja näytteitä sekä jokainen hylkäämis-/toteuttamattomuuskortti. Älä aloita SFT:tä, ennen kuin kaksi tarkistajaa on hyväksynyt paketin ja PII-tarkistukset ovat läpäisseet. Kun SFT on tehty ehdokastarkistuspisteessä, arvioi uudelleen jäädytetty sarja ja pidätetty tarkka vastaavuusjoukko, jota emme koskaan käyttäneet luonnissa. Raportoi kattavuus vikaluokan ja regressioasteen mukaan verrattuna edelliseen tuotantotarkistuspisteeseen. Älä edistä." "Pistemäärä kuntosalilla yksinään."

Kuinka testata sitä

1. Perustason lukitus: Kirjaa Pass@1- ja todentajan onnistumisprosentit jäädytetylle paketille epäonnistumisluokan mukaan (edellytysjärjestys, muutosikkunan hylkääminen, hybridityökalujen välinen ristiriita, tietoristiriita). Pidä paketin ja siementen arvot muuttumattomina syklin ajan.
2. Korttien tarkastus: Tarkista pistokokein, että generaattorit eivät koskaan vastaanota alkuperäisiä kehotteita, entiteettejä tai opettajan jälkiä – ainoastaan ​​kortteja.
3. Näytelaadun tarkistus: Varmista, että positiiviset trajektorit läpäisevät varmentajat ja mutatoidut väärät tulokset epäonnistuvat. Hylkää tehtävät, jotka ovat triviaaleja kohteelle tai kolikonheittoja opettajalle.
4. Ihmisen tarkistus: Tarkastajat merkitsevät jokaisen näytteen säilytettäväksi/korjattavaksi/hylättäväksi toteutettavuuden, realistisuuden ja käytäntöjenmukaisuuden perusteella. Seuraa tarkastajien välistä yhteisymmärrystä jaetusta osajoukosta.
5. Täsmälleen sama kuin muistaminen: Ehdokkaan SFT:n jälkeen pisteytä sellaisten todellisten (tai aiemmin jäädytettyjen) tehtävien pito, joita ei koskaan käytetty karstauksen tai generoinnin syötteenä. Pisteytä erikseen harjoitustehtävien lähes parafraasit pinnallisen ulkoa oppimisen havaitsemiseksi.
6. Regressioportti: Mikä tahansa virheluokka, joka pahenee edelliseen tuotannon tarkistuspisteeseen verrattuna, estää etenemisen, kunnes se selitetään tai korjataan.

Tulos

Älä keksi tässä paistoprosenttilukuja. Käytä mittaussuunnitelmaa ja merkitse julkaistut tutkimusluvut ARTIKKELIVÄITTEEKSI, kun lainaat niitä.

Mittaussuunnitelma (mitä tämän tiimin tulisi raportoida):

• Vika-arvoluokkien kattavuus: niiden diagnosoitujen aukkoluokkien osuus, jotka tuottivat ≥N hyväksyttyä kohdevaiheen tehtävää laadunvalvonnan jälkeen (määritä N etukäteen, esim. 20 hyväksyttyä tehtävää luokkaa kohden).
• Holdout-täsmäys: Hyväksytty 1:llä / todentajan onnistuminen koskemattomalla holdoutilla ennen ehdokas-SFT:tä vs. sen jälkeen (samat siemenet, sama todentaja).
• Regressioaste: niiden vikaantumisluokkien lukumäärä, joissa Pass@1 epäonnistuu verrattuna edelliseen tuotannon tarkistuspisteeseen; estä, jos jokin turvallisuuden kannalta kriittinen luokka taantuu.
• Arviointituotot: säilytä / korjaa / pudotusprosentit ihmisarviointipakkauksessa; jos pudotusprosentti nousee, keskeytä kertominen ja korjaa kortit tai vahvistajat.
• Scrub-virheet: PII-/käytäntötarkistuksissa epäonnistuneiden näytteiden lukumäärä ennen tarkistuksen hyväksymistä (tavoite: nolla karkaa SFT-joukkoon).

ARTIKKELIN VÄITE (kirjoittajan raportoima EnterpriseOps Gymillä - ei tämän tiimin mittaama tulos): Hybridiajot, joissa Gemma-4-26B-A4B-it oli kohteena ja Qwen3.8-27B opettajana, tuottivat noin 2 000 näytettä noin 18 tunnissa, keskimääräisen Pass@1-arvon noustessa noin 7,2 prosenttiyksikköä ja todentajan onnistumisasteen noustessa 63,01 prosentista 68,55 prosenttiin. ITSM, jossa DeepSeek-V4.1-Flash oli opettajana, nosti keskimääräisen Pass@1-arvon 18,77 prosentista 27,18 prosenttiin noin 1 994 näytteellä pidemmän ajon (~66 tuntia) aikana. Käsittele näitä tutkittuina signaaleina tietyillä aloilla ja parituksina, ei yleisenä takuuna Ison-Britannian tuotantopinolle.

Havainnollistava ohjelmamuoto (oletukset, ei mitatut hyödyt): Jos tiimi hyväksyy noin 2 000 laadunvalvonnalla tarkkailtua näytettä yhdelle ITSM-syklille, budjetoi opettajan päätelmät ja arvioinnin 5 %:n ositetun otannan avulla ja edistää vain silloin, kun keskeytys ei heikennä turvallisuuskriittisten luokkien tilannetta, he voivat rehellisesti sanoa, että "tulos" on prosessin kypsyys – auditoitu opetussuunnitelma, puhdistetut jäljet ​​ja vertailukelpoiset jäädytettyjen järjestelmien erot – ei luvattu prosentuaalinen parannus.

Mikä voi mennä pieleen

• Synteettisen sisällön käsittely vapaana totuutena: Ihmisen tarkistuksen tai negatiivisen varmennuksen ohittaminen antaa salliville varmentajille mahdollisuuden hyväksyä roskaa laajamittaisesti.
• Entiteettivuoto: Alkuperäisten tikettitunnusten tai opettajan jälkien syöttäminen generaattoriin altistaa parafraasien ylisovittamiselle; tämän estämiseksi on olemassa kortteja.
• Rajaton kertolasku: Kerrottujen näytteiden antaminen jatkaa kierroksia ajautuu pois nimetystä ominaisuudesta.
• Kuntosalipisteiden toimitus: Mainostaminen, koska jäädytetyn sviitin Pass@1:n määrä nousi, kun taas odotusajan tai tuotannon varjoliikenteen määrä heikkeni.
• Heikko opettajan osaamistaso: Jos opettaja ei pysty ylittämään ≥2/3 onnistumisasteikkoa, SFT opettaa epäluotettavia demoja.
• Sumeat varmentajat: Keskusteluperusteiset arviointiperusteet arvioivat sujuvat väärät loppukokeet onnistuneiksi osavaltiokohtaisten tarkistusten sijaan.
• Alikoulutuksen aiheuttama kieltäytyminen: Vain täydellisten mutaatioiden optimointi jättää muutosikkunan ja käytäntöjen heikkenemisen hauraaksi.
• PII-koodinvaihto: Synteettiset kehotteet, jotka palauttavat oikeat CI- tai käyttäjätunnukset pintapuolisen hankaamisen jälkeen.

Käytännöllinen noutoruoka

Käytä AutoSynthData-tyylisiä silmukoita – tai vastaavaa synth-from-failures-mallia, jos ServiceNow CoreAI -prosessi ei ole käytettävissä vuokrauksessasi – moninkertaistaaksesi vaikeita, todennettavia ITSM-tapauksia diagnosoiduista aukoista. Puhdista kykykorteiksi, portaa vaikeusaste ja positiivinen/negatiivinen varmennus, poista henkilötiedot ja ihmisen tarkistamat näytteet ennen SFT:tä. Mittaa vikaantumisluokan kattavuutta, tarkkaa vastaavuutta ja regressioastetta. Viittaa ARTIKKELIN VÄITTEESEEN Gym-lukuja vain ulkoisen tutkimuksen kontekstina. Synth-data on opetussuunnitelman polttoainetta, ei takuuta: auditoi näytteitä, pidä sarja jäädytettynä reilun vertailun mahdollistamiseksi äläkä koskaan toimita Gym-pisteytyksenä yksinään.

Usein kysytyt kysymykset

Mikä on AutoSynthData ja mihin ongelmaan se kohdistuu?

AutoSynthData on Esakkivel Esakkirajan kuvaama ServiceNow CoreAI / ServiceNow-AI -prosessi, joka yhdistää kohdeagentin epäonnistumiset ja vahvemman opettajan voitot validoituihin synteettisiin koulutustehtäviin yritysympäristöissä. Se keskittyy ympäristöosaamiseen – paikallisiin käytäntöihin, skeemoihin, työkaluihin ja tilaan – yleistietämyksen sijaan. Tarkoituksena on moninkertaistaa vaativa, tarkistettava työ, jotta ohjattu hienosäätö voi korjata ympäristökohtaisia ​​aukkoja saman rikkinäisen tiketin toistamisen sijaan.

Miksi ympäristöosaaminen eroaa laajasta malliosaamisesta?

Yritysagentit kompastelevat usein, koska ympäristö itsessään on erityinen: tikettikäytännöt, skeemaomituisuudet, työkalusopimukset, siementietokannat ja järjestelmien väliset työnkulut. Malli, joka näyttää vahvalta avoimissa vertailuissa, voi silti jumiutua muutosikkunaan, CMDB-suhteeseen tai lopullista tilaa tarkastavaan varmentajaan. Laaja kyvykkyys ei ole sama asia kuin tietää, miten järjestelmäsi, sääntösi ja datasi tila käyttäytyvät käytäntöjen ohjaamissa siirtymissä.

Mitä käytännön tehtävämuotoa AutoSynthData käyttää?

Toimiva muoto on tehtävä, joka on yhtä kuin järjestelmäspesifikaatio, käyttäjäkehotte ja todentaja. Järjestelmäspesifikaatio sisältää rajoituksia, käytäntöjä ja alkutilan, kuten tietokannan alkuarvot ja tietoartikkelit. Käyttäjäkehotteet pisteytetään toteutettavuuden, realistisuuden ja vaikeusasteen perusteella. Todentajat nojaavat ihanteellisessa tapauksessa SQL-pohjaisiin tai tilaan perustuviin tulostarkistuksiin, jotta ne arvioivat maailman agentin toimien jälkeen, eivätkä pelkästään tarkkaa kulkemaa merkkipolkua.

Miten desinfioidut ominaisuusspesifikaatiokortit estävät ylisovituksen?

Diagnostiikka-ajot vertailevat tilanteita, joissa tavoite epäonnistuu ja opettaja onnistuu, ja tiivistävät sitten nämä tapaukset puhdistetuiksi ominaisuusmäärittelykorteiksi. Kortti tallentaa ominaisuuden, työkalut tai työnkulun muodon, epäonnistumisen/onnistumisen vertailun, vaaditut lopputilan ominaisuudet ja ulottuvuudet, jotka voivat vaihdella. Generaattori ei koskaan näe alkuperäisiä kehotteita, entiteettejä, trajektorioita tai varmentajien tietoja – vain kortteja – joten uudet tehtävät painavat ydinosaa ilman, että ulkoa opeteltua jaksoa parafrasoidaan.

Mitkä ovat Target- ja Multiply-vaiheet putkessa?

Kohdevaihe keskittyy ydintarkastettuihin näytteisiin aukkojen ympärillä – voimakkaimman signaalin tehtäviin lähellä kohtaa, jossa heikko agentti rikkoutuu. Kertolaskuvaihe kehittää hyväksyttyjen kohteiden uusia variantteja. Kerrotut näytteet eivät voi johtaa uusiin kertolaskukierroksiin, mikä pitää ajautumisen pois nimetystä ominaisuudesta kurissa. Ohjatun hienosäädön jälkeen uudelleenarviointi siirtää opetussuunnitelmaa kohti jäljellä olevia aukkoja liikkuvana rajana staattisen kaatopaikan sijaan.

Miten näytetason laadunvalvonta pitää synteettiset tehtävät luotettavina?

Ratkaisijan vaikeusastesuodatin suosii tehtäviä, jotka kohde ratkaisee korkeintaan yhdessä kolmesta yrityksestä, kun taas opettaja onnistuu vähintään kahdessa kolmesta. Positiivinen todentaminen tarvitsee läpäistäkseen referenssipolun; negatiivinen todentaminen vaatii mutatoituneita vääriä tuloksia epäonnistuakseen. Kritiikki- ja korjaussilmukka, jossa on uudelleenyritysten raja, yrittää korjata läheltä piti -tilanteita, ja erätason metatarkastus tarkistaa kattavuuden, monimuotoisuuden, redundanssin ja epäonnistuneet tavoitteet koko joukosta.

Mitä arkkitehtuuria AutoSynthData käyttää eri yritysalueilla?

Se yhdistää jaetun ohjaimen ympäristösovittimeen. Ohjain suorittaa diagnostiikan, karstauksen, luonnin, opettajien demot, laatutestit ja erätarkistukset. Sovitin kytkee nämä vaiheet konkreettiseen hiekkalaatikkoon – työkalut, tila, käytännöt ja varmentajat – joten sama ohjaussilmukka voi osoittaa eri alueille ilman, että opetussuunnitelman logiikkaa tarvitsee kirjoittaa uudelleen tyhjästä.

Mitä EnterpriseOps Gym on tässä tutkimuskontekstissa?

EnterpriseOps Gym on laajamittainen yritysagenttiympäristö, jota käytetään stressitestausalustana. Siinä on noin 1 150 asiantuntijoiden kuratoimaa tehtävää kahdeksalla eri alueella, noin 512 työkalua, noin 164 tietokantataulukkoa, konttisuoritus, SQL-pohjainen tulosten varmennus, käytäntöjen ohjaamat toiminnot, hybridi-skenaariot ja pitkän horisontin tilalliset trajektorit. AutoSynthDataa ei markkinoida kyseisen kuntosalin keksijänä; kuntosali näyttää synteesisilmukan toiminnassa.

Mitä kirjoittajien raportoimia tuloksia näkyy hybridi- ja ITSM-asetuksissa?

EnterpriseOps Gymillä Hybrid-alustalla kohteena Gemma-4-26B-A4B-it ja opettajana Qwen3.8-27B tuottivat noin 2 000 näytettä noin 18 tunnissa, Pass@1-keskiarvon noustessa noin 7,2 prosenttiyksikköä ja todentajan onnistumisasteen noustessa 63,01 prosentista 68,55 prosenttiin. ITSM, jossa opettajana käytettiin DeepSeek-V4.1-Flash-alustaa, nosti Pass@1-keskiarvon 18,77 prosentista 27,18 prosenttiin noin 1 994 näytteen perusteella pidemmällä aikavälillä. Näitä tulee käsitellä tutkittuina signaaleina tietyillä laitepareilla, ei yleisenä tuotantotakuuna.

Mitä virheitä tiimien tulisi välttää käyttäessään synth-from-failures-silmukoita?

Älä käsittele synteettistä dataa ilmaisena totuutena äläkä jätä ihmisen tarkistusta ja negatiivisten tietojen varmennusta huomiotta. Vältä alkuperäisten tikettitunnusten tai opettajien jälkien syöttämistä generaattoriin, moninkertaistettujen näytteiden antamista jatkaa kierroksia tai mainostamista Gym Pass@1:ssä yksinään, kun odotus- tai varjoliikenne pahenee. Tarkkaile myös heikkoja opettajia menestysalueen alapuolella, epätarkkoja keskustelurutiineja osavaltiotarkastusten sijaan, alikoulutuksen saaneiden hylkäämistapauksia ja henkilötietojen karkaamista pinnallisen harjoittelun jälkeen.

Viitteet

1. Halaava Kasvo — AutoSynthData — huggingface.co
2. EnterpriseOps-kuntosali — enterpriseops-gym.github.io
3. arXiv — arxiv.org
4. GitHub — EnterpriseOps-Gym — github.com