Maailmanmallin neljä oppimisparadigmaa

Pari kirjoitukselle kolmiosaisesta silmukasta. Valvomon maailmanmalli ei ole yksi malli. Se on neljä oppimisparadigmaa, kukin eri tehtävässä.

1 · Vahvistusoppiminen — päätöksenteko

Agentti havaitsee tilan, tekee toiminnon, saa palkkion ja uuden tilan, ja päivittää politiikkaansa maksimoidakseen pitkän aikavälin palkkion. Maailmanmallissa agentti kohtelee simulaattoria hiekkalaatikkona: se ajaa monta kuviteltua koetta hallitakseen ohjaustehtävän ennen kuin koskee oikeaan järjestelmään.

2 · Palkkio-oppiminen — ”hyvän” määrittely

Täydellisen palkkioyhtälön käsin kirjoittaminen fyysiselle maailmalle on vaikeaa. Joten järjestelmä rakentaa palkkionsa operaattorin käyttäytymisestä: asiantuntijan demonstraatiosta tai vertailusta (”suunnitelma A on turvallisempi kuin B”). Referenssisilmukassamme signaali on yksinkertaisin rehellinen — operaattorin ohitus. Ohita toiminto, ja sen tyypin paino laskee, avoimesti:

// reward-store.ts — ohitus on negatiivinen palkkio
if (feedback.verdict === "override") {
  after = Math.max(WEIGHT_FLOOR, before * (1 - this.learningRate));
} else {
  // hyväksyntä nostaa painon takaisin kohti arvoa 1
  after = before + (DEFAULT_WEIGHT - before) * this.learningRate;
}

Lopullinen järjestys on simScore × weight, joten silmukka siirtyy mitattavasti kohti sitä, minkä operaattorit hyväksyvät, ja pois siitä, minkä he hylkäävät — syklien yli, jotka voi lukea lokista.

3 · Ohjattu & generatiivinen — maailmamoottori

Generatiiviset mallit (diffuusio, autoregressiiviset transformerit) oppivat ympäristön säännöt parillisesta datasta: kun annetaan kehysten historia (X) ja toiminto (A), ennusta seuraava tila (Y). Tuo koulutettu moottori on simulaattori, jossa vahvistusagentti harjoittelee.

4 · Itseohjattu — tiivistys

Ennen mitään päätöstä raakasyötteet — pikselit, tiheät anturigrafit — tiivistetään latentiksi esitykseksi. Itseohjatut konenäkö- ja graafienkooderit oppivat tuon rakenteen ilman ihmisen merkitsemiä nimiöitä, ennustamalla osan datasta, jonka ne piilottivat itseltään.

Miten ne kytkeytyvät

• Generatiiviset / ohjatut mallit rakentavat simulaattorin.
• Palkkio-oppiminen hienosäätää sitä pitäen siirtymät ihmisen ja fysiikan rajoissa.
• Vahvistusoppiminen vie agentin etsimään turvallisinta, tehokkainta politiikkaa.
• Itseohjattu oppiminen syöttää kaikkia kolmea tiiviillä näkymällä todellisuuteen.

Lue seuraavaksi

• Kolmiosainen silmukka — Lifetime World Model V1
• Ontologia elää tiimin aivoissa
• Mallisi ei voita kohinatasoasi

Risto Anton Paarni — toimitusjohtaja, Lifetime Oy · päätoimittaja, Lifetime Scope Journal. Referenssikoodi: src/agents/world-model/reward-store.ts; arkkitehtuuri: docs/FIELD_NOTE_WORLD_MODEL_V1_LOOP_2026.md. Kommentaari suunnitelmasta; ei taloudellisia ehtoja tai kumppanuusväitteitä.