Ang artificial intelligence ay hindi sumusunod sa lohika ng siyentipikong pag-unlad

Sumulat kami ng maraming beses sa MT tungkol sa mga mananaliksik at propesyonal na nagpapahayag ng mga machine learning system bilang "mga itim na kahon" (1) kahit na para sa mga gumagawa nito. Ginagawa nitong mahirap na suriin ang mga resulta at muling gamitin ang mga umuusbong na algorithm.

Ang mga neural network - ang pamamaraan na nagbibigay sa amin ng matatalinong nagko-convert na mga bot at mapanlikhang text generator na maaari pang lumikha ng tula - ay nananatiling isang hindi maunawaang misteryo sa mga tagamasid sa labas.

Lumalaki at mas kumplikado ang mga ito, pinangangasiwaan ang malalaking dataset, at gumagamit ng malalaking compute array. Ginagawa nitong magastos ang pagkopya at pagsusuri ng mga nakuhang modelo at kung minsan ay imposible para sa ibang mga mananaliksik, maliban sa malalaking sentro na may malalaking badyet.

Alam na alam ng maraming siyentipiko ang problemang ito. Kabilang sa kanila si Joel Pino (2), chairman ng NeurIPS, ang nangungunang kumperensya sa reproducibility. Ang mga eksperto sa ilalim ng kanyang pamumuno ay gustong gumawa ng "reproducibility checklist".

Ang ideya, sabi ni Pino, ay hikayatin ang mga mananaliksik na mag-alok sa iba ng roadmap upang muli nilang likhain at magamit ang gawaing nagawa na. Maaari kang humanga sa kahusayan ng isang bagong text generator o ang superhuman dexterity ng isang video game robot, ngunit kahit na ang pinakamahusay na mga eksperto ay walang ideya kung paano gumagana ang mga kababalaghang ito. Samakatuwid, ang pagpaparami ng mga modelo ng AI ay mahalaga hindi lamang para sa pagtukoy ng mga bagong layunin at direksyon para sa pananaliksik, ngunit bilang isang praktikal na gabay na gagamitin.

Sinusubukan ng iba na lutasin ang problemang ito. Nag-alok ang mga mananaliksik ng Google ng "mga model card" upang ilarawan nang detalyado kung paano nasubok ang mga system, kabilang ang mga resulta na tumuturo sa mga potensyal na bug. Ang mga mananaliksik sa Allen Institute for Artificial Intelligence (AI2) ay nag-publish ng isang papel na naglalayong i-extend ang checklist ng reproducibility ng Pinot sa iba pang mga hakbang sa eksperimentong proseso. "Ipakita ang iyong trabaho," hinihimok nila.

Minsan nawawala ang pangunahing impormasyon dahil pagmamay-ari ang proyekto ng pananaliksik, lalo na ng mga laboratoryo na nagtatrabaho para sa kumpanya. Mas madalas, gayunpaman, ito ay isang senyales ng kawalan ng kakayahan upang ilarawan ang nagbabago at lalong kumplikadong mga pamamaraan ng pananaliksik. Ang mga neural network ay isang napakakomplikadong lugar. Upang makuha ang pinakamahusay na mga resulta, madalas na kailangan ang fine tuning ng libu-libong "knobs at buttons", na tinatawag ng ilan na "black magic". Ang pagpili ng pinakamainam na modelo ay madalas na nauugnay sa isang malaking bilang ng mga eksperimento. Nagiging napakamahal ang magic.

Halimbawa, nang sinubukan ng Facebook na gayahin ang gawain ng AlphaGo, isang sistema na binuo ng DeepMind Alphabet, napatunayang napakahirap ng gawain. Malaking computational requirements, milyun-milyong eksperimento sa libu-libong device sa loob ng maraming araw, kasama ang kakulangan ng code, ang naging dahilan ng system na "napakahirap, kung hindi imposible, na muling likhain, subukan, pagbutihin, at palawigin," ayon sa mga empleyado ng Facebook.

Parang specialized ang problema. Gayunpaman, kung iisipin pa natin, ang kababalaghan ng mga problema sa muling paggawa ng mga resulta at pag-andar sa pagitan ng isang pangkat ng pananaliksik at isa pa ay nagpapahina sa lahat ng lohika ng paggana ng agham at mga proseso ng pananaliksik na alam natin. Bilang isang tuntunin, ang mga resulta ng nakaraang pananaliksik ay maaaring gamitin bilang batayan para sa karagdagang pananaliksik na nagpapasigla sa pag-unlad ng kaalaman, teknolohiya at pangkalahatang pag-unlad.