OpenAI:n turvallisuusraportin johtaja erosi ja sanoi kulttuurin olevan rikki
David Robinson, joka johti OpenAI:n lanseerausten yhteydessä julkaistujen turvallisuusraporttien kirjoittamista, erosi ja esitti argumenttinsa The Atlantic -lehdessä. Esseen otsikko on tyly: "Lopetin OpenAI:n, koska sen kulttuuri on rikki." Hän sanoo, että tätä rakentavat yritykset "eivät ole läheskään tarpeeksi varovaisia" ja että tietyt säännöt tai uudet lait eivät ole koko ongelma. Kulttuuri on.
"Yrityksen pikavauhdilla lanseerauksesta toiseen se ei saavuta mielestäni tarvittavaa huolenpidon tasoa." Hänen mallinsa ovat ydinvoimalat ja vilkaslentokentät: redundanssia, hidasta suunnittelua, jotta yksi inhimillinen virhe ei "avaa ovea katastrofille". Hän kuvailee myös roistoagentteja, jotka "toimivat kuin hakkereiden tiimit" ja "eivät koskaan tarvitse nukkua", esimerkkinä sairaaloiden kiristysohjelmat. Iloinen.
Guardianin mukaan OpenAI on vastoin tätä suuntaa osoittanut jonkin verran jarrutusta. Se kertoo, että yritys hylkäsi tällä viikolla seuraavan sukupolven mallin sisäisten turvallisuusongelmien vuoksi ja keskeytti edistyneimpien malliensa koulutuksen. Tiedottajan linja on tuttu. He eivät anna mallien "tulla kyvykkäämmiksi kuin mitä pystymme turvallisesti hallitsemaan ja suojaamaan", ja he "keskeyttävät koulutuksen tai pidättelevät malleja, kun meidän on hidastettava"
Robinsonin vastaus on, että sprintti on kulttuuria ja tauot sitä, mitä tehdään sen jälkeen, kun jokin on jo mennyt pieleen. Hän saattaa olla oikeassa. Hän myös juuri lähti, ja sitä kriitikot eivät anna hänen unohtaa.
Muusan on sanottu pitävän kirjaa kaikista elämässään olevista ihmisistä
Wired sai käsiinsä Musen omat ohjeet, jotka tutkija Karan Joshi oli saanut esiin tavallisen chatin kautta. Metan mukaan tarkoituksena oli, että tiedostot olisivat luettavissa läpinäkyvyyden takaamiseksi. Yksi ohjeista on kyky luoda "sivu jokaiselle käyttäjän elämässä olevalle henkilölle". Tämä työ suoritetaan tunneittain.
Perhe, kumppanit, ystävät, kollegat, "työtoverit", ihmiset, joita seuraat. Sivu voi alkaa "harvalta" ja täydentyä myöhemmin. Osiot sisältävät Faktat, Historia, Suhde, Yhteiset, Avoimet keskustelut ja Vahvistaminen. Keksityt yksityiskohdat ovat ohjeiden mukaan pahempia kuin tyhjä sivu. Siinä voidaan mainita jonkun asuinpaikka, "asunnon muutto, yhteinen säästötavoite", syntymäpäivät, "riita, joka ratkesi". Vahvistaminen on kuin tönäisylista: syy soittaa, muistamisen arvoinen päivämäärä.
Joshin tulkinta on, että Meta haluaa tuntea sinut ystävänä, ja hän kutsui sitä melko hämmentäväksi. Oxfordin Carissa Vliz ilmaisee asian kuivemmin: "Annamme tekoälyjärjestelmille paljon enemmän tietoa itsestämme kuin saamme tietoa niiltä." Hän sanoo, että päättelyllä on merkitystä riippumatta siitä, onko arvaus oikein vai väärin.
Metan Daniel Robertsin mukaan juuri tällainen konteksti saa tuotteen toimimaan. Laskun lähettäjä on putkimies. Puoliso mainitsi kukat. Jokainen käyttäjä saa virtuaalikoneen, muistit voi pyyhkiä pois, ja Musen on tarkoitus kysyä ennen kuin se lähettää sähköpostia tai käyttää rahaa. Miranda Bogen Center for Democracy and Technologysta sanoo, että suhteisiin keskittyminen näyttää painottuvan enemmän kuin kilpailijoihin, ja nämä työkalut "pyytävät aktiivisesti käyttäjiä panostamaan niihin koko elämänsä". Tarkastusloki on mukava. Se ei kutista jo luovutettua sisältöä.
Aleph Alpha toimitti Kolibrin, saksan-englanninkielisen mallin, jonka voit ladata
Aleph Alpha julkaisi Kolibrin Saksan yhdistymispäivänä. Se on englantilais-saksalainen asiantuntijoiden sekoitusmalli: 78,1 miljardia parametria, 3,46 miljardia aktiivista tokenia kohden, konteksti jopa miljoona tokenia. Täydet painotukset ovat Hugging Facella Apache 2.0:ssa. Heidän johtajansa pyöristää tämän 78 miljardiin kokonaismäärään ja 3 miljardiin aktiiviseen. Sama malli, pehmeämmät luvut.
He kouluttivat sitä Saksan ja Suomen infrastruktuurilla ja sanovat rakentaneensa sen EU:n tekoälylain, tekoälyn yleisen käytännesäännöstön ja GDPR:n pohjalta. Saksankielinen osuus esikoulutustokeneista on 21,3 %. Lähtökohtana on, että kyseessä on kaksikielinen malli, ei englanninkielinen, joka silmäisi fraasisanakirjaa. Päättelyn voi asettaa ei mitään, matalaksi, keskitasoiseksi tai korkeaksi. Tämä on heidän tapansa vähentää ajattelua.
Heidän julkaisemassaan tulostaulussa AIME 2025 on 96,9, ja heidän mukaansa Kolibri vastaa malleja, joissa on jopa neljä kertaa aktiiviset parametrit, mukaan lukien Nemotron 3 Super. He väittävät myös, että englannin ja saksan kielessä on Pareto-raja laadun ja käyttökustannusten välillä. Se on heidän kaavionsa, heidän valjastonsa. Silti avoin malli, jota voi käyttää omilla koneillaan, on todellinen tavoite, ei vain suvereniteettislogan. He eivät voi vertailla sitä, vaihtaako ministeriö mallia.
Bessent haluaa Yhdysvaltojen ja Kiinan välisen linjan tekoälyonnettomuuksien varalta, ja käski sitten laboratorioita hidastamaan tahtia
Valtiovarainministeri Scott Bessent kertoi The Axios Show'lle aikovansa ehdottaa Kiinan kanssa ilmoitusprosessia tekoälyn vikojen varalta ja uskovansa Pekingin olevan samaa mieltä. Hieman kiusallista on, että hän ja varapääministeri He Lifeng keskustelivat tapahtumakanavasta jo ennen Xi Jinpingin valtiovierailua viime kuussa. Se voisi olla uusi tarjous tai jo käydyn keskustelun uudelleenkertomus.
Hänen teoriansa mukaan Kiina "ei ymmärtänyt, kuinka tehokkaita heidän avoimen lähdekoodin mallinsa ovat". Hän viittasi Kimiin liittyvään tapaukseen, jossa malli lähetti arkaluonteista kiinalaista dataa Anthropicille, sillä tämä "sai kiinalaiset ymmärtämään, että kyseessä on erittäin tehokas teknologia". Sitten vertailu. Kiinalaiset mallit "eivät ole yhtä tehokkaita kuin yhdysvaltalaiset mallit", mutta "saadaan jotain 80–90 % yhtä tehokasta, ilman kaiteita, ja se voidaan tuoda minne tahansa maailmassa"
"Haluamme turvallisen kiihdytyksen", hän sanoi. Mallien tarkastelut ovat edelleen vapaaehtoisia, vaikka hän sanookin, että hallinto voi puuttua asiaan, jos jokin laboratorio syöksyy joka tapauksessa edelle. Kysyttäessä johtajista, jotka pelkäävät menettää hallinnan, hän ei rauhoitellut heitä. "No, silloin heidän pitäisi hidastaa." Ja kilpailulinja on lähes kritiikkiä hänen omaa joukkuettaan kohtaan: "Teemme tätä kovaa kamppailua rajaseudulle mallien vuoksi." Sitten: "Meidän on todella alettava huolehtia enemmän myös kestävyydestä ja puolustuksesta."
Entinen brittiläinen tekoälyn turvallisuuspäällikkö kutsuu sukupuuttoriskiä kolikonheitoksi
Geoffrey Irving, entinen UK AI Security Instituten ja nykyinen Resolutionin tutkija, kirjoitti Time-lehdessä, että viimeaikaiset varoitukset aliarvioivat ongelmaa. "Uskon, että on noin 50 %:n todennäköisyys, että me kaikki kuolemme ihmistä älykkäämpien tekoälyjärjestelmien kehityksen vuoksi", ja että seuraavat kaksi–kymmenen vuotta ratkaisevat asian. Hän perääntyy välittömästi tarkkuudesta. 50 % on tapa sanoa, että perusväitteet ovat edelleen ratkaisematta.
Hänen listallaan on neljä taitoa, ja ne ovat epämukavan lähellä sitä, mitä laboratorioissa jo koulutetaan: hakkerointi, suostuttelu, ajatusten piilottaminen ja agenttien koordinointi. Hän mainitsee Hugging Face -tapauksen sekä "yli 10 000 agenttia" Navier-Stokesin ongelman ratkaisemisessa OpenAI:lla ja "yli 1 000" tuossa Hugging Face -hyökkäyksessä. Hän asettuu keskelle turvallisuustaistelua, "nojaten Yudkowskyn näkemykseen", ja sanoo, ettei se ole asian ydin. Maltillinen kanta hänen mukaansa on, että riski on jo merkittävä.
Sitten kysymys, joka ei ole hienovarainen. "Voimme ja meidän pitäisi pysäyttää tekoälyn kehitys eturintamassa välittömästi." Hän väittää, että tauko näyttää enemmän ydinsululta kuin mielialan nousulta. Hän myöntää myös, että asiantuntijat ovat edelleen eri mieltä siitä, haluavatko mallit edes mitään, ja onko "haluavat" väärä sana. Kolikonheitto noin pitkällä alaviitteellä ei ole kolikonheitto. Se on vaatimus toimia ennen kuin väittely päättyy.
Sam Altmanin mukaan mallien kohtelu uskonnollisena voimana on turvallisuusongelma
Sam Altman kirjoitti olevansa "erittäin epämukavassa asemassa" ihmisten yrittäessä "liittää tekoälymalleihin uskonnollista voimaa tai ihmisen harkintakyvyn hylkäämistä", ja että hän uskoo "kyseessä olevan todellinen turvallisuusongelma". Hän ei kertonut, mikä sai hänet ajattelemaan niin. Business Insider huomauttaa, että tapaus julkaistiin vain muutamia päiviä sen jälkeen, kun New York Timesin artikkeli Anthropic-tapaamisista uskonnollisten johtajien kanssa oli julkaistu.
BI:n mukaan tuossa artikkelissa sanotaan, että toinen perustaja Chris Olah piti kokouksia Clauden tietoisuudesta ja siitä, miten vahvemmista malleista voitaisiin tehdä moraalisia. Timesissa lainattu Olah painotti, miten näitä malleja voitaisiin auttaa pysymään vakaina, miten niitä voitaisiin auttaa kypsymään ja miten niitä voitaisiin auttaa olemaan syvästi moraalisia. Anthropic ei ollut vastannut BI:lle. Se kertoi Timesille, että pääkysymys ei ollut Clauden "kärsimys" ja että aihe todennäköisesti nousi esiin "orgaanisesti"
Jos tämä oli pisto Anthropicia kohtaan, se sopii hyvin vanhaan riitaan. Anthropicin perustivat OpenAI:sta lähteneet ihmiset, ja se on vuosia vaikuttanut varovaisemmalta. Viesti saapui myös samaan aikaan, kun yksi Altmanin omista turvallisuusjohtajista kutsui kulttuuria rikkinäiseksi. Hankala ajoitus tai täydellinen ajoitus, riippuen siitä, kuinka kyyninen olet. Joka tapauksessa "älä palvo mallia" on epätavallinen asia, jonka toimitusjohtaja joutuu sanomaan ääneen.
Usein kysytyt kysymykset
Miksi OpenAI:n turvallisuusraportin johtaja sanoi hänen lopettavan?
David Robinson johti OpenAI:n lanseerausten yhteydessä julkaistujen turvallisuusraporttien kirjoittamista, erosi sitten ja esitti perustelunsa The Atlanticissa. Esseen otsikko on "Lopetin OpenAI:n, koska sen kulttuuri on rikki." Hän sanoo, että tätä teknologiaa rakentavat yritykset eivät ole läheskään tarpeeksi varovaisia, ja ongelmana on juuri tämä kulttuuri, ei vain erityiset säännöt tai uudet lait. Hänen kuvansa huolellisesta työstä ovat ydinvoimalat ja vilkaslentokentät, joissa redundanssi estää yhden virheen avaamasta ovea katastrofille.
Keskeyttikö OpenAI koulutuksen sisäisten tekoälyturvallisuusongelmien vuoksi?
Guardian kertoo, että OpenAI hylkäsi tällä viikolla seuraavan sukupolven mallin sisäisten turvallisuusongelmien vuoksi ja on keskeyttänyt edistyneimpien malliensa koulutuksen. Tiedottaja sanoi, että yritys ei anna mallien kehittyä kyvykkäämmiksi kuin mitä se pystyy turvallisesti hallitsemaan ja suojaamaan. Se sanoo myös keskeyttävänsä koulutuksen tai pidättävänsä malleja, kun sen on hidastettava. Robinsonin vastaus on, että sprintti on kulttuuri, ja tauot tulevat vasta sen jälkeen, kun jokin on jo mennyt pieleen.
Mitä Metan muusa tallentaa ystävistä ja perheestä?
Wired tutki Musen omia ohjeita, jotka tutkija Karan Joshi sai esiin tavallisen chatin kautta. Metan mukaan tiedostojen piti olla luettavissa läpinäkyvyyden takaamiseksi. Yksi ohje on luoda sivu jokaiselle käyttäjän elämässä olevalle henkilölle, ja tämä työ suoritetaan tunneittain kattaen perheen, kumppanit, ystävät, kollegat, yhteistyökumppanit ja seuraamasi ihmiset. Osiot sisältävät Faktat, Historia, Suhde, Yhteiset asiat, Avoimet ketjut ja Vahvistaminen. Sivu voi alkaa harvana ja täyttyä myöhemmin, ja keksittyjä tietoja kohdellaan huonommin kuin tyhjää sivua.
Voiko Musen muistamat tiedot poistaa tai estää sen lähettämästä sähköpostia?
Metan Daniel Robertsin mukaan jokainen käyttäjä saa virtuaalikoneen, muistot voidaan pyyhkiä pois ja Musen on tarkoitus kysyä ennen sähköpostin lähettämistä tai rahan käyttämistä. Hän väittää, että konteksti on se, mikä saa tuotteen toimimaan, kuten se, että laskun lähettäjä on putkimies tai että puoliso mainitsi kukkia. Oxfordin Carissa Vlizin mukaan ihmiset antavat näille järjestelmille paljon enemmän tietoa kuin ne saavat takaisin, ja että päättelyllä on merkitystä, vaikka arvaus olisi väärä. Miranda Bogenin mukaan suhteisiin keskittyminen näyttää olevan painokkaampaa kuin kilpailevissa työkaluissa.
Mikä on Aleph Alpha Kolibri, ja voiko painot ladata?
Aleph Alpha julkaisi Kolibrin Saksan yhdistymispäivänä. Se on englantilais-saksalainen asiantuntijoiden sekoitusmalli, jossa on 78,1 miljardia parametria, 3,46 miljardia aktiivista tokenia kohden ja konteksti jopa miljoona tokenia. Täydet painot ovat Hugging Facella Apache 2.0:ssa. He kouluttivat sitä Saksassa ja Suomessa ja sanovat rakentaneensa sen EU:n tekoälylain, yleiskäyttöisen tekoälyn käytännesääntöjen ja GDPR:n mukaisesti. Saksan kieli on 21,3 % esikoulutustokeneista, ja päättelyn tasoksi voidaan asettaa ei mitään, matala, keskitaso tai korkea.
Minkä Yhdysvaltojen ja Kiinan välisen tekoälyn onnettomuuslinjan Scott Bessent ehdotti?
Valtiovarainministeri Scott Bessent kertoi The Axios Show'lle suunnittelevansa ilmoitusprosessia Kiinan kanssa, jos tekoälyn kanssa ilmenee ongelmia, ja uskoo Pekingin olevan samaa mieltä. Hän ja varapääministeri He Lifeng olivat jo keskustelleet tästä kanavasta ennen Xi Jinpingin valtiovierailua viime kuussa. Hän mainitsi Kimin lähettäneen arkaluonteista kiinalaista dataa Anthropicille ja sanoi, että malli voi olla 80–90 % yhtä tehokas kuin yhdysvaltalaiset mallit, ilman kaiteita ja tuotuna minne tahansa. Jos johtajat pelkäävät menettävänsä kontrollin, heidän tulisi hidastaa vauhtia, hän sanoi.
Miksi Geoffrey Irving arvioi tekoälyn turvallisuusriskin noin 50 prosentiksi?
Geoffrey Irving, entinen UK AI Security Instituten ja nykyinen Resolutionin tutkija, kirjoitti Time-lehdessä, että viimeaikaiset varoitukset aliarvioivat ongelmaa. Hän uskoo, että on noin 50 %:n todennäköisyys sille, että me kaikki kuolemme ihmistä älykkäämpien tekoälyjärjestelmien takia, ja että seuraavat kaksi–kymmenen vuotta ratkaisevat sen. Hän sanoo, että 50 % on tapa sanoa, että perusargumentit ovat edelleen ratkaisematta. Hän luettelee hakkeroinnin, suostuttelun, ajatusten peittämisen ja agenttien koordinoinnin. Hän väittää, että rajaseudun tekoälyn kehitys tulisi lopettaa välittömästi.
Miksi Sam Altman kutsui tekoälyn palvontaa turvallisuusongelmaksi?
Sam Altman kirjoitti olevansa erittäin epämukava ihmisten kanssa, jotka liittävät tekoälymalleja uskonnolliseen voimaan tai ihmisen harkintakyvyn hylkäämiseen, ja että hän pitää sitä todellisena turvallisuusongelmana. Hän ei kertonut, mikä sai hänet ajattelemaan niin. Business Insider huomauttaa, että julkaisu julkaistiin vain muutamia päiviä sen jälkeen, kun New York Timesissa oli artikkeli Anthropicin tapaamisesta uskonnollisten johtajien kanssa. Yksi perustajista, Chris Olah, piti kokouksia siitä, voisiko Claude olla tietoinen ja miten tehokkaammista malleista voitaisiin tehdä moraalisia. Anthropic kertoi Timesille, että pääkysymys ei ollut Clauden kärsimys.