Abstraktid
Sisukord (2 lk)
Abstraktid
Sisukord
Sissejuhatus
Naturaalne vs tehisintellekt.
Arenguline lähenemine.
Mõtlemise tüübid ja omadused
Mõtlemine areng tasanditeks jaotatuna
Naturaalsed
Kultuurilised
Miks Piaget ei sobi
Klassikaline tingimine
Operantne tingimine
Kinnitustüübid
Kinnituskavad
Tegevus tulenevalt deprivatsioonist vs “hea” reinforcement learningus.
Kinnitus vaid siis, kui oli deprivatsioon
Operantne tegevus (püüdlev tegevus ja escape), vältiv tegevus ja allasurumine
Mudel
Ülesandepüstitus
TI mudelid käesoleva ülesandepüstituse suhtes, lühidalt
Lahendusarhidektuurid
Klassikaline võrk
Kajamälu
Ajaliste mustrite õppimine
Sisendite mustrite õppimine
Assotsiatiivsed sõlmed
Ennustatavad tegevusrakud
Võrgu tööprotsessi kirjeldus
Operantne võrk
Operantsed rakud
Operantsed assotsiatiivsed sõlmed
Operantsed kajamälu rakud
Operantsed kajamälu mustrid
Operantsed tegevusrakud
Võrgu tööprotsessi kirjeldus
Õppimise protsess
Tegevuse protsess
Operantne mäng
Operantsed assotsiatiivsed rakud diskriminantsetele stiimulitele
Operantsed sensoorsed rakud (diskriminantsed stiimulid)
Võrgu tööprotsessi kirjeldus
Mitmeastmeline operantne tegevus
Lihtsas keskkonnas navigatsiooni näide (Tolman)
Edasine arendus
Mitmest objektist mõtlemise võime
Primaatide võimete kirjeldus
Probleemilahendajad tehisintellektis
Hüpoteetilise tööprotsessi kirjeldus ilma võrgu detailse kirjelduseta
Märgilise mõtlemise teke, jagatud tähelepanu, internaliseerimine
Huvipakkuvad TI kognitiivsed arhitektuurid
Kokkuvõte
Kirjandus
Mõisted, indeks
Lisa1 – Simulaatori ja simulatsioonide kasutamise juhend
Lisa 2 - Katsed
Katseülesannete kirjeldus
Joont mööda sõit
Klassikaline
Operantne. Lisaks joone kõrval sõit
Joonele tagasi sõitmine peale joone kaotamist
Klassikaline – kajamälu
Operantne – kajamälu ja diskriminantsed stiimulid)
Mittepööratavate tegevuste vältimine
Operantne – kajamälu, diskriminantsed stiimulid, mitme tuleviku ajahetke operantse hinnangu arvestamine
Tee planeerimine lihtsas keskkonnas – navigatsioon labürindis, kus iga teelõik on ise värvi
Operantne – kajamälu, diskriminantsed stiimulid, mitmeastmeline operantne tegevus
Katsete tulemused, tabelid õppimise kiiruse kohta

Sissejuhatus (2-3 lk)
Probleem, mida lahendada tahan
Õppimine, mis ei tea ette, mida vaja õppida. Ei tea süntaksit, info organiseeritust. Ei tea, kust sisenditest mis infot tuleb. Siiski on kaks põhimõtet, millele võib toetuda: seotud sündmuste ruumiline lähedus ning ühesuunaline ajaline järgnevus.
Ei ole plaani, mida ja kuidas õppida. 
Info koguneb aja jooksul. 
On sensoorne ja motoorne. Tuleb ühendada eri tajumodaalsusi ning tegevusi.
Õppimine peab olema kiire, kui loogiliselt piisav kogemus olemas on.
Sama süsteem omandatud kogemuse põhjal peab suutma motoorset tegevust juhtida.
Vastama klassikalise tingituse omadustele.
Vastama operantse tingimise omadustele.
Olema võimeline taipamiseks, ehk hüppeliseks vigade vähenemiseks
Olema sobiv süsteem, milles hiljem saavad hakata toimuma märgilised protsessid, mis omakorda hakkavad seda süsteemi juhtima kultuuriliselt (s.o teistelt isenditelt õpitud ideede ja tegevuskavade järgi).
Info esitus-struktuur. Mis info? Mis kujul? Kuidas, millega ühendatud? Kus? Millised on protsessid? Mudeli erinevad piirkonnad.
Naturaalne vs tehisintellekt. 
Ebaintuitiivne vs “tundub kasulik”. Intellekt vs tehisintellekt, kui meie spetsiifilised soovid ja tööriistad nende täitmiseks.
Arenguline lähenemine. 
Arengulise lähenemise meetod psühholoogias, tulemaks toime alt-üles meetodil detailide leidmisega terviksüsteemidest.
Üldiselt üksikule
Arhitektuur vs detailid – ülalt-alla vs alt-üles. Detaile on juba palju. 
Mõtlemise tüübid ja omadused
Mõtlemise definitsioon (mõni rida)
Miks eelistan töös kasutada sõna “mõtlemine”, sõna “tingimine” või “tingitus” asemel.
Mõtlemise areng tasanditeks jaotatuna (2-3 lk)
(Toomela, Võgotski)
On peamiselt juba kirjeldatud seminaritöös. Ruumi kokkuhoiu mõttes on parem viidata: hoiab kokku 2.5-3.5 lk.
Naturaalsed
Üksiktunnused, 
Tunnuste kombinatsioonid, mustrid 
Objektid. Nende tasandite muud võimed.
Kultuurilised
Sümbolid: 
Sünkreetsed,
Prototüüpsed, 
Komplekssed (eksemplar), 
Teadusmõistelised,
Süsteemsed.
Internaliseerimine. Kuidas sümbolid toimivad “tarkvarana”-na naturaalsete tasandite “riistvaral”.
(Võgotski)
Mida eelnev tähendab mudeli seisukohast (0.5 lk)
Naturaalne vs sümboliline. Naturaalne kujuneb sammhaaval teatud omadustest, hiljem toimub areng teatud muude omaduste lisandudes. Sümboliline vs metamõtlemine (paremini eristamaks sümbolilise mõtlemise tasemeid ja mudeleid).
Miks Piaget ei sobi (0.5 lk)
Erinevus Piaget ning Võgotski teooria vahel. Internaliseerimine ja kuidas see selgitab üleminekut naturaalselt sümbolilisele mõtlemisele.

Klassikaline tingimine (1-2 lk)
(Bakaeksami õpik -> muud allikad)
Stiimul alati enne reaktsiooni
Esmane ja teisene seos
Ennustamisväärtuse lisatingimus (nonredundancy), näide
Operantne tingimine (2-3 lk)
(Skinner)
Kinnitustüübid
Positiivne kinnitus, negatiivne kinnitus, positiivne karistus, negatiivne karistus. Extinction.
Kinnituskavad
Ratio, interval. Fixed, variable. Osalise sarrustuse suurem mõju.
Muud ebatavalisemad kinnituskavad (wikipedia -> muud allikad)
Muu
Tegevus tulenevalt deprivatsioonist või hetke-eelistuse määrast.
Kinnitus vaid siis, kui oli deprivatsioon
Operantne tegevus 
püüdlev tegevus ja escape, 
vältiv tegevus 
allasurumine
Mudel
Ülesandepüstitus (1-2 lk)
Lühike loetelu olulistest omadustest, mida mudel peaks avaldama.
TI mudelid käesoleva ülesandepüstituse suhtes, lühidalt
Assotsiatiivse võrgu üldidee, Kak’i närvivõrk (0.5 lk)
Koheselt õppiv võrk
Kohoneni ja Grossbergi võrkude üldidee, kvantiseerimine (1 lk)
Võrk, mis suudab kvantiseerida andmeid, ka mitmedimensionaalseid
Reinforcement learning sarnasus ja erinevus (0.5-1 lk)
Tegevus tulenevalt deprivatsioonist / soovitud tasemest vs “hea” reinforcement learningus.
“Õppimine vigade tegemise läbi”-idee.
Goal-driven learning (1-2 lk)
Raamat veel lugemata, kuid esimesed muljed:
Naturaalse mõtlemise kontekstis on ainutl Task Goals. Lisaks oletatavasti pole “planeerimist”. Teadmised vs kogemus.
Õppimise väline külg, vs sisemine andmete esitus. Esimene puudutab “mängu” ja välise “otsingu” teemat (meetod, kuidas “mängida”, kuidas “otsida” ja mis mehhanism seda meetodit ellu viib), teine kogemusi organiseeriva närvivõrgu struktuuri. Mäng ja otsing võivad mõnel määral ise olla operantselt õpitud ja teostatud, seega enne mängu ja otsingu modelleerimist oleks vaja lihtsalt operantset mudelit, et näha, mida see ise omandada suudab, kuivõrd goal-driven learningu käitumist avaldama hakkab.
Goal-Driven õppimine vs goal-driven tegevus (sh tegevus olukorras, kus pole midagi vaja õppida).
Lisaks kasulik võrgu töökoormuse, näiteks sisemise tähelepanu, fokusseerimisel, et töötaksid vaid võrgu kõige olulisemad piirkonnad (optimiseerimine – arvuti puhul protsessori jõudlus ja mälukasutus, naturaalse võrgu puhul energiakasutus, teatud juhtudel ka aeg). See osa võib ja võib ka mitte olla operantselt juhitav; näib potentsiaalsem kasutusala, kuid mittepakiline.
Lahendusarhidektuurid
Klassikaline võrk
Kajamälu (1 lk)
Ehituse kirjeldus. Fikseeritud samplingu vs dünaamilise samplingu küsimus.
Ajaliste mustrite õppimine (1 lk)
Kajamälu ühendatuna mustrite õppimisega
Sisendite mustrite õppimine (1 lk)
Mustreid õppivad sõlmed üle mitme sisendi.
Erinevad hierarhilised mudelid – kõrvutipaiknevatest elementidest mustrid või hajusad. Variant - 2 taset : kõrvuti, siis hajusad (kombinatoorsed).
Assotsiatiivsed sõlmed (2-3 lk)
Assotsiatiivse võrgu rakkude asendamine kvantiseerivate sõlmedega, nende eelised. 
Kvantiseerivate sõlmede sisendite matemaatika.
Ennustatavad tegevusrakud (1-2 lk)
Ennustatud väärtuse valem, 
Ennustamata jäänud väärtuse valem.
Kvantiseerivate/assotsiatiivsete sõlmede väljundite väärtuste korrigeerimise matemaatika. 
Hajuvus-standardhälve.
Täiendatud ennustatud väärtuse valem
Võrgu tööprotsessi kirjeldus (2-3 lk)
Klassikaline õppimine, protsess
Üksiktunnused
Nonredundancy. Ennustatava väärtuse muutus. Sealhulgas kahe sõltumatu ning ennustava mustri õppimine ja korraga esinemise õppimine.
Tunnuste kombinatsioonid (mustrid)
Klassikaline tingitus, tegevuse protsess
Sama, mis õppimine. 
Tegevuste intensiivsuste vahel valiku valem.
Operantne võrk
Operantsed rakud (2-3 lk)
Eelistatud väärtus, tegelik väärtus (hinnang). Väärtuse differentsiaal (tuletis).
 Hetke ennustatud diferentsiaal. 
Tulevikku ennustatud diferentsiaal. 
Tulevikku ennustatud diferentsiaali muut (teine tuletis).
Operantsed assotsiatiivsed sõlmed (1-2 lk)
Õppimisel
Operantses tegevuses
Operantsed kajamälu rakud (0.5 lk)
Operantses tegevuses
Operantsed kajamälu mustrid (3-4 lk)
Õppimine
Tegevuse ennustamine ( põhiosa jaotuse mahust). Pole veel programmis realiseerinud. Seos kinnituskavadega.
Osalise sarrustuse suurem mõju.
Operantsed tegevusrakud (1-2 lk)
Klassikaline pool, 
Operantne pool, konvergentsete ennustuste valem
Võrgu tööprotsessi kirjeldus (2-3 lk)
Õppimise protsess
Tegevuse protsess
Operantne mäng (1 lk)
Vigade tegemine ning tundmatute tegevuste sooritamine, idee Reinforcement Learning raamatust.
Operantsed assotsiatiivsed rakud diskriminantsetele stiimulitele (2 lk)
Õppimine 
Tegevuse ennustamine (pole veel programmis realiseeritud, kohe järgmisena kavas)
Võrgu tööprotsessi kirjeldus (2-3 lk)
Õppimisel
Tegevuses. 
Motoorse kontrolli näide.
Tee planeerimine
Mitmeastmeline operantne tegevus, tööprotsessi kirjeldus (2-3 lk)
Kohene taipamine – on ainult üks tee.
Objektide-tööriistade kasutamine pole siin tasemel veel võimalik
Operantsed sensoorsed rakud (diskriminantsed stiimulid) (2-3 lk)
Diskriminantne sensoorne rakk v.s operantne diskriminantne sensoorne rakk
Primitiivses keskkonnas tee planeerimise / lihtsa taipamise protsess
Lihtsas keskkonnas navigatsiooni näide (2-3 lk)
(Tolman)  
Navigatsiooni näide.	
Edasine arendus
(Köhler, Leontjev, Tomasello)
Mitmest objektist mõtlemise võime
Võimaldab tööriistade kasutamise tekke.
Primaatide võimete kirjeldus (2-3 lk)
Taipamise näited. Mõtlemine tegevusse põimitud.
Probleemilahendajad tehisintellektis (2-3 lk)
Means-ends analysis
Goal-driven learning
Hüpoteetilise tööprotsessi kirjeldus ilma võrgu detailse kirjelduseta (3-4 lk)
Skeem. Taipamine iteratiivse kognitiivse otsingu läbi
Näited:
Banaani puuotsast kättesaamine
Pähkli purustamine
Küünlaleegi kustutamine parvel
Edaspidi 
Edaspidises uurimuses lisaks vaja lisada uuesti tunnuste kombinatsioonide / objektide – s.o hierarhilise mälu mudel.
Märgilise mõtlemise teke, jagatud tähelepanu, internaliseerimine (3 lk)
Võgotski, Toomela, Tomasello lühikokkuvõte, selgitusega, kuidas see seostub mudelis pakutud võrguga.
Huvipakkuvad TI kognitiivsed arhitektuurid (2-3 lk)
Soar (pole veel lähemalt uurinud)	
Täpsustavad küsimused (1 lk)
Kokkuvõte (1-2 lk)
Mida kirjeldasin
Mida lisasin
Mida saab peale hakata sellega, rakendusi
Mis edaspidi.
Viited (2-3 lk)
Lisad
Lisa 1 – Mõisted, indeks
Lisa 2 – Simulaatori ja simulatsioonide kasutamise juhend
Lisa 3 - Katsed
Katseülesannete kirjeldus
Joont mööda sõit
Klassikaline
Operantne. Lisaks joone kõrval sõit
Joonele tagasi sõitmine peale joone kaotamist 
Klassikaline – kajamälu
Operantne – kajamälu ja diskriminantsed stiimulid
Mittepööratavate tegevuste vältimine
Operantne – kajamälu, diskriminantsed stiimulid, mitme tuleviku ajahetke operantse hinnangu arvestamine
Tee planeerimine lihtsas keskkonnas – navigatsioon labürindis, kus iga teelõik on ise värvi
Operantne – kajamälu, diskriminantsed stiimulid, mitmeastmeline operantne tegevus
Katsete tulemused, tabelid õppimise kiiruse kohta

Kokku 55 – 77.5
Piirang: ~40lk