Pilootprojektidest poliitikani
Ülikoolid liikusid tehisintellekti abil toetatud hindamisega esimestena edasi suuresti vajadusest. Rühmade suurus kasvas, ootused tagasisidele suurenesid ja töötajate töökoormus jõudis jätkusuutmatu tasemeni. Samal ajal muutsid suured keelemudelid äkitselt võimalikuks automatiseerida hindamisprotsessi osi, mis varem nõudsid inimlikku otsustusvõimet.
Varased pilootprojektid keskendusid sageli madala panusega hindamistele: iganädalased viktoriinid, laboriaruanded, lühivastustega küsimused. Nende katsete eesmärk oli vastata kahele küsimusele. Esiteks, kas tehisintellekti loodud tagasiside võib olla täpne ja pedagoogiliselt mõistlik? Teiseks, kas see võib säästa töötajate aega ilma akadeemilisi standardeid õõnestamata?
Kui osakonnad nägid, et tehisintellekt suudab usaldusväärselt eelhindamist teha või koostada tagasiside mustandeid, hakkasid tippjuhid praktikat formaliseerima. Kujunesid välja poliitikad, mis raamistasid tehisintellekti kui „hindamise tuge“, mitte „automaatset hindamist“. Peaaegu kõigil juhtudel jäid inimesed hinnete lõplikeks otsustajateks, kuid tehisintellekt hakkas tegema rasket tööd esmase ülevaatuse, tagasiside mustandite ja järjepidevuse kontrolli osas.
Koolide jaoks on see areng väikesest pilootprojektist poliitikani õpetlik. Ei ole vaja alustada kõrge panusega eksamitega. Selle asemel saab alustada kodutööde, harjutuslugude või sisehindamistega ning alles hiljem kaaluda formaalsemat kasutust, kui on tõendeid, et protsessid on töökindlad.
Milline näeb välja tehisintellekti abil toetatud hindamine
Kõrghariduses paikneb tehisintellekti abil toetatud hindamine tavaliselt olemasolevate õppeplatvormide sees, mitte ei asenda neid. On kujunenud välja levinud muster.
Õppejõud laadib üles hindamismaatriksi ja hulga näidisvastuseid või kommenteeritud näiteid. Õpilased esitavad tööd nagu tavaliselt. Seejärel analüüsib tehisintellekt iga tööd, seostab selle hindamismaatriksiga ja genereerib:
- esialgse hinde või taseme
- struktureeritud kommentaarid iga kriteeriumi kohta
- soovitused edasiseks arenguks: järgmised sammud või sihitud harjutused
Inimhindaja näeb juhtpaneeli vaadet. Selle asemel, et alustada tühjalt ekraanilt, vaatab ta üle ja muudab tehisintellekti pakutud kommentaare ja hinnet. Ta võib tehisintellekti otsused täielikult ümber lükata, kuid paljudel juhtudel lihtsalt täpsustab sõnastust või kohandab piiripealseid otsuseid.
Mõned ülikoolid kasutavad tehisintellekti „hindamise hindamiseks“. Tehisintellekt võrdleb hindajate otsuseid kogu rühmas, tõstes esile anomaaliaid, nagu ebatavaliselt helde või range hindamine või kriteeriumide ebajärjekindel rakendamine. See aitab kursusejuhtidel otsustada, kuhu modereerimisel fookus suunata.
Koolid saavad seda mustrit väiksemas mahus peegeldada. Tehisintellekt võib teha kommentaariettepanekuid 10. klassi esseede kogumi kohta, samal ajal kui õpetaja säilitab täieliku kontrolli lõpliku hinde üle. Või võib see skaneerida klassi teadusaruandeid, tõstes esile need, mis võivad vajada põhjalikumat vaatamist, kuna kalduvad hindamismaatriksist ootamatul viisil kõrvale.
Juhtimine ja kvaliteedi tagamine
Ülikoolid on olnud hoolikad, et hoida inimesi vastutajatena, ning nad on loonud juhtimisstruktuurid, mis seda tõendavad. Poliitikad sätestavad tavaliselt:
- tehisintellekt võib koostada tagasiside ja esialgsed hinded
- inimhindajad peavad kõik hinded üle vaatama ja kinnitama
- tehisintellekti tööriistad peavad olema dokumenteeritud, heaks kiidetud ja perioodiliselt auditeeritud
Mõned asutused viivad läbi „paralleelse hindamise“ uuringuid. Valim töödest hinnatakse kaks korda: kord tehisintellekti toega ja kord ilma. Erinevusi analüüsitakse, et tuvastada süsteemset kallutatust või kvaliteediprobleeme. Kui tehisintellekt jääb alla, vähendatakse selle rolli või seda kohandatakse.
Kvaliteedi tagamise komisjonid nõuavad ka selget dokumentatsiooni: kuidas tehisintellekt on seadistatud, milliseid andmeid ta kasutab ja kuidas töötajaid koolitatakse. Välised hindajad saavad sageli ülevaate tehisintellekti rollist, et nad saaksid tulemusi asjakohaselt kontrollida.
Koolide puhul kehtivad samad põhimõtted, isegi kui struktuurid on lihtsamad. Lihtne sisemine kord võib selgitada, et tehisintellekt toetab õpetaja otsustust, mitte ei asenda seda. Seda võib siduda teie laiemaga tehisintellekti lubatud kasutuse korraga, et töötajad mõistaksid, kus hindamise tugi sobitub teie üldisesse lähenemisse.
Modereerimine, kalibreerimine ja kallutatus
Ülikoolide hindamismeeskonnad on avastanud, et tehisintellekt toimib kõige paremini siis, kui see on lõimitud olemasolevatesse modereerimis- ja kalibreerimisrutiinidesse, mitte ei lisata neid hiljem külge.
Enne laiaulatuslikku kasutust viivad hindajad sageli läbi kalibreerimisharjutusi. Nad hindavad väikese valimi töid, võrdlevad otsuseid ja vaatavad seejärel, kuidas tehisintellekt oleks sama tööd hinnanud. See kolmikvõrdlus (hindaja A, hindaja B, tehisintellekt) toob esile lahknevused ja aitab täpsustada nii inimeste kui ka tehisintellekti tõlgendusi hindamismaatriksist.
Kallutatus on pidev murekoht. Mõned ülikoolid anonüümistavad tööd enne tehisintellekti töötlemist, eemaldades nimed ja demograafilised andmed. Teised testivad süsteemi mitmekesiste näidete peal, kontrollides, kas sarnase kvaliteediga töö saab sarnase tagasiside sõltumata kontekstist või kirjutamisstiilist.
Koolid saavad sellest kasutada lihtsamaid versioone. Näiteks võib osakond:
- leppida kokku valimis näidistöid koos kokkulepitud hinnetega
- lasta need läbi tehisintellekti ja vaadata, kus see lahkneb
- kohandada vastavalt juhiseid, hindamismaatrikseid või kasutusreegleid
Selline teadlik kalibreerimine aitab tagada, et tehisintellekt tugevdab, mitte ei õõnesta teie ühist arusaama standarditest.
Õpilaste usaldus ja läbipaistvus
Seal, kus ülikoolid on olnud edukad, on nad olnud õpilastega tavapärasest läbipaistvamad. Nad selgitavad, et tehisintellekt võib aidata tagasisidet genereerida, kuid töötajad vastutavad hinnete eest. Mõned asutused näitavad isegi kõrvuti vaateid: tehisintellekti mustand ja õppejõu lõplik versioon, et demonstreerida inimlikku järelvalvet.
Õpilasi rahustab tavaliselt see, kui nad näevad, et tehisintellekti kasutatakse õigeaegsema ja detailsema tagasiside andmiseks, mitte nurkade mahavõtmiseks. Nad on vähem rahul, kui tunnevad, et otsuseid teeb must kast.
Koolides kehtib sama põhimõte. Ole õpilaste ja peredega selge selles osas:
- kus tehisintellekti kasutatakse (näiteks kujundava tagasiside mustandite koostamiseks)
- kus seda ei kasutata (näiteks lõplike eksamihinnete puhul)
- kuidas õpetajad tehisintellekti väljundeid üle vaatavad ja kohandavad
Selle sidumine laiemate vestlustega selle üle, millal tehisintellekt aitab ja millal see õppimist kahjustab, võib olla mõjus. Võid tugineda ideedele sellest tehisintellekti mõju õppimisele käsitlevast arutelust, et neid arutelusid raamida.
Töökoormus, heaolu ja ametiühingud
Töötajate töökoormus ja heaolu on olnud ülikoolide kasutuselevõtu keskseid teemasid. Paljud akadeemikud olid alguses ettevaatlikud, kartes oma asjatundlikkuse automatiseerimist. Ametiühingud tõstatasid sageli muresid töökohtade turvalisuse, järelevalve ja professionaalsuse vähenemise pärast.
Edu saavutanud asutused käsitlesid neid küsimusi otse. Nad positsioneerisid tehisintellekti tööriistana halduskoormuse vähendamiseks, mitte akadeemilise otsustusvõime asendamiseks. Nad kaasasid töötajaid pilootprojektide kavandamisse, kogusid ausat tagasisidet ja võimaldasid varases etapis loobumisvõimalusi. Mõned sõlmisid ametiühingutega ametlikud kokkulepped, mis sätestasid, et tehisintellekti ei kasutata tulemusjuhtimiseks ega ametikohtade asendamiseks.
Koolide jaoks, eriti seal, kus ametiühingutel on suur mõju, on varajane kaasamine kriitiline. Näita, et tehisintellekti hindamistoetus on mõeldud:
- vabastama aega sisukamate tagasisidevestluste jaoks
- vähendama korduvaid kommentaare
- toetama järjepidevust, eriti karjääri alguses olevate õpetajate puhul
Kaasa töötajate esindajad tööriistade valimisse, töövoogude kujundamisse ja piirjoonte määratlemisse. See ühine omanditunne on olulisem kui ükskõik milline tehniline funktsioon.
Avastage Automated Education võimsus, liitudes meie õpetajate kogukonnaga, kes võtavad tagasi oma aja ja rikastavad oma klassiruume. Meie intuitiivse platvormiga saate automatiseerida administratiivseid ülesandeid, isikupärastada õpilaste õppimist ja suhelda oma klassiga nagu kunagi varem.
Ärge laske administratiivsetel ülesannetel varjutada oma kirge õpetamise vastu. Registreeruge täna ja muutke oma hariduskeskkond Automated Education abil.
🎓 Registreeru TASUTA!
Praktika tõlkimine koolide töövoogudeks
Peamine õppetund ülikoolidest on see, et tehisintellekt tuleks lõimida olemasolevatesse hindamissüsteemidesse, mitte luua paralleelseid protsesse.
Tüüpilises gümnaasiumis võiks alustada kolme töövooga:
Esiteks tehisintellekti abil toetatud kujundav tagasiside. Õpetajad laadivad üles hindamismaatriksi ja mõned näited. Õpilased esitavad esseede või aruannete mustandid. Tehisintellekt genereerib struktureeritud tagasiside, mida õpetaja kiiresti üle vaatab ja enne jagamist muudab. Hinded jäävad täielikult õpetaja määrata.
Teiseks tehisintellekti toetatud modereerimine. Pärast seda, kui õpetajad on klassi tööd hinnanud, lasevad nad anonüümistatud tööd läbi tehisintellekti, et esile tõsta võimalikke ebajärjekindlusi. See ei muuda hindeid automaatselt, kuid annab ainejuhtidele sihitud nimekirja töödest, mida uuesti üle vaadata.
Kolmandaks tehisintellekti kasutamine tüüpiliste kommentaaride jaoks. Tehisintellekt aitab luua panga sageli kasutatavatest kommentaaridest, mis on joondatud teie hindamismaatriksitega. Õpetajad valivad ja kohandavad neid hindamisel, kiirendades protsessi, säilitades samal ajal isikupärastamise.
Igaüht neist töövoogudest saab piloteerida ühes aines või aastmes ning enne laiemat kasutuselevõttu täiustada.
Tehisintellektivalmid hindamismaatriksid ja mallid
Ülikoolid on õppinud, et ebamäärased hindamismaatriksid ajavad tehisintellekti mudelid sama palju segadusse kui õpilased. Kriteeriumid nagu „hea arusaamine“ on raskesti ühtlaselt tõlgendatavad. Selle asemel kasutatakse üha enam konkreetsemaid kirjeldajaid, mis on seotud töö vaadeldavate tunnustega.
Koolid saavad sama teha, kujundades tehisintellektivalmis hindamismaatrikseid, mis on kasulikud ka inimhindajatele. Näiteks võib kirjutamise hindamismaatriks eristada „kasutab mitmekesiseid lausekonstruktsioone korrektselt“ ja „kasutab peamiselt lihtlauseid mõningate vigadega“. Need konkreetsed kirjeldajad annavad tehisintellektile millest kinni haarata ja muudavad modereerimise lihtsamaks.
Olulised on ka tagasisidemallid. Paljud ülikoolid struktureerivad tagasisidet nüüd pealkirjade alla nagu „Milles sa olid tugev“, „Arengukohad“ ja „Järgmised sammud“. Tehisintellekt saab need jaotised mustandkommentaaridega täita, mida õpetajad seejärel täpsustavad. Sama struktuur on koolides sama kasulik, eriti õpilastele, kellel on raskusi struktureerimata tagasisidega töötamisel.
Kui sa niikuinii hindamisi ümber kujundad, tasub kaaluda ka seda, kuidas muuta need vastupidavamaks tehisintellekti abil loodud õpilastööle, tuginedes ideedele tehisintellektikindlate hindamiste kujundamisest.
Lastekaitse, andmed ja eksamikomisjonid
Ülikoolide süsteemid paiknevad tavaliselt tugeva andmejuhtimise raamistiku sees, kuid koolid peavad olema eriti ettevaatlikud. Mitmed piirangud kujundavad seda, mis on võimalik.
Esiteks lastekaitse: õpilastöös võib olla tundlikku isiklikku teavet. Iga tehisintellekti tööriist, mida kasutad hindamiseks, peab käsitlema andmeid turvaliselt, selgete andmetöötluslepingutega ning ilma õpilastöö kasutamiseta mudelite treenimiseks ilma selgesõnalise nõusolekuta.
Teiseks andmekaitse: veendu, et tööde edastamine tehisintellekti teenustele vastab kohalikele andmekaitse seadustele. Pseudonüümimine või anonüümimine on sageli mõistlik, eriti kõrge panusega tööde puhul.
Kolmandaks eksamikomisjonide reeglid: paljudes süsteemides on välishindamiste ja kontrollitud tööde puhul digivahendite kasutamise kohta ranged regulatsioonid. Tehisintellekti abil toetatud hindamine võib olla täiesti vastuvõetav sisehindamiste puhul, kuid keelatud teatud komponentide jaoks. Koolid vajavad selget kaarti sellest, kus tehisintellekti saab ja ei saa kasutada, ning see peaks kajastuma teie poliitikates ja töötajate koolituses.
Need kaitsemeetmed peaksid paiknema kõrvuti teie laiema eetilise seisukohaga tehisintellekti kasutamise kohta hindamises, sealhulgas sellega, kuidas lähenete tehisintellekti tuvastamisele, nagu käsitletud selles artiklis tehisintellekti tuvastamise eetika kohta.
Etapiviisiline tegevuskava koolidele
Tuginedes ülikoolide kogemusele, võib koolide jaoks pragmaatiline tegevuskava välja näha järgmine.
Esimene etapp keskendub uurimisele. Väike rühm huvitatud õpetajaid katsetab tehisintellekti abil toetatud tagasisidet madala panusega ülesannete peal, kasutades võimalusel anonüümistatud töid. Nad dokumenteerivad kasud, probleemid ja õpilaste reaktsioonid.
Teine etapp liigub struktureeritud pilootideni. Üks või kaks osakonda võtavad kasutusele kokkulepitud töövood, näiteks tehisintellekti koostatud tagasiside või modereerimistoetuse, selgete edukriteeriumide ja loobumisvõimalustega. Juhid koguvad tõendeid säästetud aja, tagasiside kvaliteedi ja töötajate heaolu kohta.
Kolmas etapp formaliseerib poliitika. Kool määratleb, kus tehisintellekti võib hindamisel kasutada, kuidas tagatakse inimlik järelvalve ja millist koolitust töötajad saavad. See poliitika on joondatud laiema digitaalse ja tehisintellekti strateegiaga ning seda kommunikeeritakse selgelt õpilastele ja peredele.
Neljas etapp kaalub laiendamist. Edukad töövood laiendatakse eri aastmetesse ja ainetesse, austades alati eksamikomisjonide reegleid ja lastekaitsenõudeid. Regulaarne ülevaatus kontrollib kõrvalekaldeid, kallutatust või soovimatuid tagajärgi ning kool jääb avatuks praktikate kohandamisele või tagasipööramisele, mis ei teeni õppijate huve.
Kogu selle protsessi vältel on juhtpõhimõte sama mis ülikoolides: tehisintellekt peaks võimendama professionaalset otsustusvõimet, mitte seda asendama. Läbimõeldult kasutatuna võib see aidata õpetajatel kulutada vähem aega korduva hindamise peale ja rohkem aega rikkalikele, suhetele tuginevatele tegevustele, mida saavad teha ainult inimesed.
Head hindamist!
The Automated Education Team