Gervitauganet

Úr Wikipediu, frjálsa alfræðiritinu
Stökkva á: flakk, leita

Gervitauganet[breyta]

Engin samhljóða skilgreining hefur verið samþykkt meðal vísindamanna, en algengast er að skilgreina gervitauganet sem mengi einfaldra vinnslueininga (oft nefndar sellur eða neurons) þar sem heildar hegðun stjórnast af tengingum á milli vinnslueininganna og stuðlum þeirra. Hugmyndin kemur af þekkingu okkar á starfsemi heilans, lífræðilegum tauganetum gerðum úr taugafrumum og taugaendum.

Saga gervitauganeta[breyta]

Fyrsta fræðigreinin um gervitauganet, sem var jafnframt fyrsta fræðigreinin um gervigreind var skrifuð 1943 af Warren McCulloch og Walter Pitts. Þeir settu saman kenningar um virkni og uppbyggingu taugafruma í heilanum, kenningar Russells og Whiteheads um yrðingarökfræði og tölvunarkenningar Alan Turing. Niðurstaða þeirra var líkan af gervitaugafrumum sem hver um sig gátu verið í „kveikt“ ham eða „slökkt“ ham þar sem hami var náð með áreiti tengdra gervitaugafruma. Þeir sýndu fram á að niðurstöðu hvaða reiknanlegs falls f(x) sem er mátti ná með neti slíkra gervitaugafruma. Þeir vörpuðu því einnig fram í greininni að slík gervitauganet gætu lært, sem Danold Hebb sannaði að var rétt sex árum síðar með einfaldri uppfærsluaðferð á vigt tenginganna á milli eininganna. Marvin Minsky og Dean Edmonds byggðu fyrstu gervitauganetstölvuna (SNARC) árið 1951 úr 3000 lömpum og afgangssjálfstýringu úr B-24 sprengjuflugvél. Tölvan hafði 40 gervitauganetsfrumur (sellur). Rekja má aðferðafræði bæði samtengingasinna og rökfræðisinna innan gervigreindar til skrifa McCulloch og Pitts.

Stærðfræðilegt líkan sellu[breyta]

Sellur í gervitauganeti byggjast á einfaldri stærðfræðiformúlu:

Lát gefna sellu k hafa m fjölda inntaka og vikt úttak sellu k er X_1 \cdots X_mog vikt b_k \cdot w_1 \cdots w_m úttak sellu k er  \Upsilon

 \Upsilon_k = \sum_{j=0}^m \varphi(w_{kj} X_j)

Skot-aðgerð tauganetssellu[breyta]

 \varphi í módelinu hér að ofan er skot-aðgerð (activation function) sem ákvarðar skotþunga útttaksins.

Algengt, en þó alls ekki algilt, er að nota sigmoid(x) aðgerð sem skot-aðgerð:

\delta = \frac {1}{1+e^{-x}}

Tegundir gervitauganeta[breyta]

Skipta má gervitauganetum niður með ýmsum hætti:

- Eftir notkun:
Flokkun (Classification),
Klössun (Clustering),
Nálgun falls (Function approximation),
Spá eða áætlun (Prediction)
- Eftir tegundum innri tenginga:
Statísk (Feedforward),
Dýnamísk(Feedback)
- Eftir grannfræði:
Einnar lags,
Fjöllaga,
Hálf/full Endurlaga (Limited/fully recurrent),
Sjálf-skipulögð
- Eftir Þjálfunaraðferð:
Leiðbeinandi (Supervised),
Sjálfstæð (Unsupervised)

Algengast er að einingar tauganeta sé raðað upp þannig að upplýsingarnar fari í eina átt, svonefnd feed-forward net.

Tauganet af þessu tagi eru statisk líkt og sérhæfð tauganeti í auga, eftir að þau hafa lært verður þeim ekki auðveldlega breytt. Þau hafa það sem líkja má við langtímaminni en ekkert skammtímaminni. Þau hafa hins vegar mjög mikla aðlögunarhæfni og geta túlkað gögn sem þau hafa aldrei séð áður. Ef reynt er að bæta við "þekkingu" netanna eftir þjálfun, kemur upp staða sem nefnd er “catastrophic forgetting”. Eina leiðin til þess að þjálfa þau aftur t.d. þegar ný mynstur koma upp sem það getur ekki túlkað, er að bæta þeim við fyrri upplýsingar og þjálfa netið frá grunni.

Flækjustuðull gervitauganeta[breyta]

Flækjustuðull gervitauganeta er veldisfall af fjölda inntaka en hvert inntak er vídd í fylki. Það reynir því mjög á hönnuð netsins að beita rakhnífi Occams því þjálfun gervitauganets með tugi eða hundruð inntaka getur verið gríðarlega tímafrek aðgerð.

Þjálfun gervitauganeta[breyta]

Þjálfun gervitauganeta byggist á því að breyta vigtum tenginganna þar til netið hefur lært að þekkja viðfangsefnið, þetta er ekki svo mjög ólíkt því hvernig við lærum sjálf. Perceptron þálfunarregla niðurstöður úr netinu eru bornar saman við réttar niðurstöður og vikt breytt eftir því.

Til eru mjög margar aðferðir við þjálfun gervitauganeta, en sú algengasta er er backpropagation sem Bryson og Ho uppgötvuðu um 1970 en hún er til í ótal útgáfum. Megin inntak hennar er að byrjað er á að setja litla slembitölu fyrir hverja vikt, þjálfunargögnin eru svo keyrð í gegnum netið og úttakið reiknað út. Úttakið er borið saman við rétta lausn og villan send í hina áttina í gegnum netið. Viktin er leiðrétt með delta reglunni, [[Widorow og Hoff algrím]], einnig kallað LMS Least Mean Square) þar sem villan er litla delta, alfa er þjálfunar hraðall (learning rate). Þjálfunar hraðallinn segir til um hve stór stökk á að taka í hvert skipti. þetta er endurtekið þar til villan er ásættanleg (ef hún verður það). Fjöldi skipta sem netið fer í gegnum gögnin er nefnd Epochs.