{"id":910,"date":"2023-01-02T07:51:57","date_gmt":"2023-01-02T07:51:57","guid":{"rendered":"https:\/\/web.htk.tlu.ee\/digitaru\/tarkvara2\/?post_type=chapter&p=910"},"modified":"2023-01-02T07:51:57","modified_gmt":"2023-01-02T07:51:57","slug":"pildi-kategoriseerimine-masinoppega-protsessi-ulevaade","status":"publish","type":"chapter","link":"https:\/\/web.htk.tlu.ee\/digitaru\/tarkvara2\/chapter\/pildi-kategoriseerimine-masinoppega-protsessi-ulevaade\/","title":{"raw":"Pildi kategoriseerimine masin\u00f5ppega - protsessi \u00fclevaade","rendered":"Pildi kategoriseerimine masin\u00f5ppega – protsessi \u00fclevaade"},"content":{"raw":"

Pildi kategoriseerimine masin\u00f5ppega\uf0c1<\/a><\/h1>\r\n\u00dclesanne, mida lahendama hakkame, on kategoriseerimine. Anname arvutile ette \u00fche pildi ning arvuti annab vastuseks kategooria, millesse see pilt kuulub. Kategooria all m\u00f5eldakse siis seda, milline objekt (v\u00f5i objektid) on pildil. Kui n\u00e4iteks pildil on loom, annab arvuti teada, et see kuulub \"looma\" kategooriasse. Kui pildil on inimene, siis \"inimene\" kategooriasse jne. Vaatame siin peat\u00fckis, millised on sammud, mida sellise kategoriseerija tegemise jaoks on vaja l\u00e4bi teha.\r\n\r\n
\r\n

Treeningandmete (piltide) leidmine\uf0c1<\/a><\/h2>\r\nSelleks, et masin saaks \u00f5ppida, kuidas \u00fcks v\u00f5i teine objekt v\u00e4lja n\u00e4eb, on tal vaja n\u00e4idisandmeid \u00f5ppimiseks. See t\u00e4hendab, et treenimiseks on vaja koguda pilte. Mida rohkem n\u00e4idisandmeid on, seda paremini saab masin \u00f5ppida. Ei ole \u00fchest vastust, kui palju on piisav kogus mingi \u00fclesande jaoks. Me v\u00f5ime siin n\u00e4ite jaoks \u00f6elda, et 100 pilti on piisav, et mingisuguseid tulemusi juba saavutada. Aga \u00fcldselt l\u00e4hevad need kogused miljonitesse. Teisest k\u00fcljest - mida rohkem on treeningandmeid (pilte), seda rohkem v\u00f5tab treenimine aega.\r\n\r\nLisaks kogusele on t\u00e4htis ka piltide sobivus. Pildid peaks olema \u00fcksteisest v\u00f5imalikult erinevad, et n\u00e4rviv\u00f5rk saaks n\u00e4ha erinevaid kujusid ja v\u00e4rve. Soovitatav on v\u00f5tta pildid, kus on v\u00f5imalikult v\u00e4he h\u00e4irivaid faktoreid. See aitab v\u00e4ltida olukorda, kus n\u00e4rviv\u00f5rk \u00f5pib selgeks vale omaduse, mida esineb sageli, kuid ei ole defineeriv pildi juures. (Kui n\u00e4iteks treenida j\u00e4neseid tuvastama piltidelt, kus on alati porgand, siis v\u00f5ib n\u00e4rviv\u00f5rk \u00f5ppida hoopis porgandit tuvastama kui j\u00e4nest).\r\n\r\nSamuti tasub proovida treeningandmete moonutamist (venitamine, p\u00f6\u00f6ramine, m\u00fcra lisamine)\r\nenne treenimist, et tulemuseks oleks t\u00f6\u00f6kindlam n\u00e4rviv\u00f5rk.\r\nSee v\u00f5imaldab saada rohkem kasu samast pildist, sest sama pilti saab mitut eri moodi moonutada.\r\nT\u00e4psemalt saab lugeda ja n\u00e4iteid vaadata\r\nsiit<\/a>.\r\n\r\n<\/section>
\r\n

Mudeli koostamine\uf0c1<\/a><\/h2>\r\nMudeli all peame siin kohal silmas n\u00e4rviv\u00f5rku ja selle struktuuri. N\u00e4rviv\u00f5rgu struktuur on disainitud ja defineeritud programmeerija poolt enne treenimist. See sisaldab endas informatsiooni selle kohta, palju neuroneid n\u00e4rviv\u00f5rgus on ja kuidas need omavahel \u00fchendatud on. Piisava suurusega n\u00e4rviv\u00f5rk on alati v\u00f5imeline \u00f5ppima klassifitseerima, aga sobiv struktuur kiirendab \u00f5ppimist.\r\n\r\nSiin \u00fclesandes on soovitatav kasutada j\u00e4rjestikkust (PyTorch\/Keras: Sequential<\/span><\/code>) mudelit. See t\u00e4hendab, et pilt kui sisendandmed l\u00e4heb \u00fckshaaval l\u00e4bi kihtide. Iga kihi v\u00e4ljund on j\u00e4rgneva kihi sisend. Viimase kihi v\u00e4ljundiks on iga pildi kategooriasse kuuluvuse t\u00f5en\u00e4osus.\r\n\r\nEsimeste kihtide \u00fclesanne on tuvastada osalisi omadusi nagu n\u00e4iteks silm\/nina\/suu. Selle jaoks on parim kasutada konvolutsioonilisi (convolutional<\/em>) kihte. Tegu on kihtidega, mis v\u00f5tavad arvesse vaid lokaalseid v\u00e4\u00e4rtuseid korraga. Teisis\u00f5nu, konvolutsioonilised kihid \u00f5pivad mustreid k\u00f5rvutiste andmete (nt pikslite) vahel, mis on t\u00e4pselt mida me soovime visuaalandmete puhul. N\u00e4rviv\u00f5rgul ei ole tavaliselt optimaalne otsida mustreid kahes pildi eriotstes asetsevate pikslite vahel.\r\n\r\nJ\u00e4rgmisena on soovitatav kasutada kihte (ehk aktivatsioonifunktsioone), mis hindavad omaduste t\u00e4htsust ja v\u00e4hendavad lineaarsust (ehk v\u00f5imaldavad n\u00e4rviv\u00f5rgul \u00f5ppida raskemaid mustreid). Selleks sobivad n\u00e4iteks ReLU<\/span><\/code>, tanh<\/span><\/code> v\u00f5i sigmoid<\/span><\/code> kihid.\r\n\r\nJ\u00e4rgmisena on soovitatav kasutada ahenduskihte (pooling<\/em>), mis v\u00f5imaldavad tuvastada objekti hoolimata selle asukohast pildil. Saab \u00f6elda, et tegu on kihtidega, mis madaldavad andmete resolutsiooni, l\u00fc\u00fces mitme lokaalse neuroni v\u00e4\u00e4rtused kokku. Kuna nende v\u00e4ljundid on v\u00e4iksemad nende sisenditest, kiirendavad need kihid ka edaspidiseid arvutusi. Seesuguseid kihte on olemas mitut liiki: n\u00e4iteks max pooling<\/em>, average pooling<\/em> ja sum pooling<\/em> kihid.\r\n\r\nJ\u00e4rgmisena tasub lihtsustada kihi struktuuri, selle jaoks on olemas flattening<\/em> kiht, mis muudab kihi kuju lihtsamini hallatavaks j\u00e4rgnevate kihtide jaoks (nt 2D -> 1D). Seej\u00e4rel tuleb k\u00f5ik tuvastatud omadused omavahel kombineerida, et j\u00f5uda objekti klassi\r\nkohta j\u00e4reldusele. Selle jaoks on t\u00e4ielikult \u00fchendatud kiht (dense<\/em> ehk fully connected layer<\/em>), mis \u00fchendab k\u00f5ikide omaduste v\u00e4\u00e4rtused.\r\n\r\nP\u00f5hjalikuma \u00fclevaate kihtide ja nende omaduste kohta leiab\u00a0siit<\/a>.\r\n\r\n<\/section>
\r\n

Treeningandmete osadeks jagamine\uf0c1<\/a><\/h2>\r\nN\u00fc\u00fcd on olemas n\u00e4rviv\u00f5rk mida treenida, kui ka piisavalt pilte, mille peal treenida. Selleks, et treenida ja tulemust kontrollida, on vaja andmed jagada osadeks, et m\u00e4\u00e4rata, millistel osadel treenitakse n\u00e4rviv\u00f5rku ja millistel osadel kontrollitakse tulemust.\r\nAndmete osadeks jagamiseks on mitmeid erinevaid v\u00f5imalikke lahendusi.\r\nSiin tutvustame \u00fchte lihtsamatest lahendustest, mis eeldab, et andmed jagatakse kolmeks osaks:\r\ntreeningandmestik (training set<\/em>), valideerimisandmestik (validation set<\/em>), testandmestik (test set<\/em>).\r\n\r\nTreeningandmestik<\/strong> (training set<\/em>) andmed on pildid, mille peal n\u00e4rviv\u00f5rk \u00f5pib. Treeningandmed moodustavad enamuse kogu hulgast. Neid pilte kasutab n\u00e4rviv\u00f5rk selleks, et leida n\u00e4rviv\u00f5rgu neuronite kaalud.\r\n\r\nValideerimisandmestik<\/strong> (validation set<\/em>) koosneb piltidest, mida kasutatakse treenimise vahepeal. Valideerimisandmeid on tunduvalt v\u00e4hem treeningandmetest. Neid pilte kasutatakse selleks, et korrigeerida mudeli parameetreid. N\u00e4iteks kasutatakse seda hulka, et leida parim neuronite arv kihis. Samuti aitab see hulk v\u00e4ltida \u00fcletreenimist.\r\n\r\nTestandmestik<\/strong> (test set<\/em>) koosneb on piltidest, mida kasutatakse l\u00f5pliku hinnangu andmiseks. Tegu on piltidega, mida n\u00e4rviv\u00f5rk pole siiani n\u00e4inud. Kuna need andmed pole treenimist m\u00f5jutanud, siis see aitab simuleerida reaalset olukorda. Nende andmete peal arvutatakse ka n\u00e4rviv\u00f5rgu l\u00f5plik t\u00e4psus.\r\n\r\nP\u00f5hjalikuma \u00fclevaate treeningandmete gruppidest leiab\r\nsiit<\/a>.\r\n\r\nOsade suuruste jaoks puudub alati toimiv lahendus, kuid osad v\u00f5imalikud osakaalud on n\u00e4iteks (treening-, valideerimis-, testiandmestiku suhted):\r\n