Inom utbildningsområdet har framväxten av artificiell intelligens (AI) både varit till nytta och orsakat oro. Som pedagoger har vi bevittnat den transformerande kraften hos AI när det gäller att anpassa lärandet, ge omedelbar feedback och till och med automatisera administrativa uppgifter. Men med framväxten av sofistikerade AI-textgeneratorer som OpenAI:s GPT-3.5 och GPT-4 har en ny utmaning uppstått: att upptäcka AI-genererat innehåll i akademiska arbeten. Frågan om huruvida en text är skapad av en människa eller en AI har blivit en brådskande fråga med betydande etiska konsekvenser.
En läxa från digital fotografering
Utmaningen med att upptäcka AI-genererad text kan bättre förstås genom att undersöka utvecklingen av digital fotografering - ett område som har genomgått en förvandling parallellt med textgenerering. Låt oss fördjupa oss i denna jämförelse för att uppskatta de komplexiteter som är involverade.
I de tidiga stadierna av digital fotografering var verktygen för bildmanipulering rudimentära. Digitala bilder hade ofta lägre upplösning och kvalitet jämfört med sina film motsvarigheter, vilket gjorde dem lätta att skilja åt. När det gällde redigeringen innebar de begränsade programvarukapabiliteterna att ändringar vanligtvis var uppenbara. Tydliga tecken som pixelfel, onaturlig färgmättnad och uppenbar klonstämpling var vanliga. Även för den otränade ögat var dessa digitala fotavtryck märkbara, och äktheten hos ett fotografi kunde bedömas relativt enkelt.
Photoshop-revolutionen
Error: Image not found.
Framväxten av Adobe Photoshop i slutet av 1980-talet markerade en vändpunkt. Denna kraftfulla programvara förde sofistikerade redigeringsverktyg till massorna och gjorde det möjligt för användare att manipulera bilder med en oöverträffad precision. Photoshop möjliggjorde sömlös borttagning av skönhetsfel, ändring av ljus och färger och till och med fullständig omstrukturering av en scen. När programvaran utvecklades introducerades lager, masker och en mängd avancerade funktioner som möjliggjorde för konstnärer och fotografer att skapa bilder som bara begränsades av deras fantasi.
Landskapet för digital fotografering har utvecklats dramatiskt med framväxten av moderna DSLR-kameror (Digital Single-Lens Reflex) och spegellösa kameror som erbjuder inbyggda funktioner för bildmanipulering. Dessa avancerade kameror är utrustade med kraftfulla processorer och programvara som gör det möjligt för fotografer att tillämpa olika redigeringar direkt i kameran, även innan bilden överförs till en dator för ytterligare bearbetning.
Moderna DSLR-kameror och spegellösa kameror erbjuder ofta alternativ för HDR-fotografering direkt i kameran, där flera exponeringar tas och kombineras för att skapa en bild med ett större dynamiskt omfång än vad en enskild exponering kan fånga. Denna process, som tidigare var en efterbehandlingsuppgift som krävde specialiserad programvara, kan nu utföras med ett knapptryck.
Dessutom kan dessa kameror erbjuda inbyggda filter och effekter som kan efterlikna utseendet på olika filmrullar, tillämpa färggradering eller till och med skapa effekter med miniatyr- eller fiskeögonobjektiv. Vissa kameror erbjuder också möjligheten att retuschera bilder, som att ta bort röda ögon, mjuka upp huden eller korrigera linsförvrängningar, allt utan behov av extern programvara.
En annan betydande framsteg är möjligheten att fotografera i RAW-format, vilket registrerar all data från kamerans sensor utan inbyggd bearbetning. Det ger fotograferna maximalt med information att arbeta med under efterbehandlingen och möjliggör en större grad av kontroll över den slutliga bilden. Även inom kameran kan användarna justera parametrar som vitbalans, exponering och brusreducering på RAW-filer innan de exporteras som bearbetade JPEG-filer.
Vissa av de senaste kameramodellerna inkluderar till och med funktioner som drivs av AI och kan känna igen scener och motiv, automatiskt justera inställningar som fokus, exponering och färgbalans för att optimera bilden. Dessa intelligenta system kan upptäcka ansikten och ögon för att säkerställa skärpa i porträtt eller justera exponeringen för att fånga bästa möjliga detaljer i högdagrar och skuggor.
Modernt fotoredigerande handlar inte längre bara om att korrigera fel; det är en konstform i sig. Professionella retuschörer kan spendera timmar, till och med dagar, på att förbättra en bild och göra subtila justeringar som de flesta betraktare aldrig skulle märka. Redigeringarna är så noggranna att de återskapar de naturliga variationerna som finns i oredigerade fotografier, som samspelet mellan ljus och skugga, materialets textur och nyanserna i mänsklig hud. Denna detaljnivå gör det otroligt utmanande att avgöra om en bild har redigerats, även för experter.
Konsekvenserna för AI-textdetektion
Genom att dra en parallell till AI-genererad text befinner vi oss i en liknande situation. Precis som digital fotografering har utvecklats till en punkt där redigeringar är omärkbara, har AI-textgeneratorer nått en nivå av sofistikering där deras utdata kan vara omöjlig att skilja från mänskligt skrivande. De tidiga tecknen på AI-genererad text - klumpig formulering, meningslösa meningar och repetitivt språk - är inte längre pålitliga indikatorer. Avancerade modeller som GPT-3.5 och GPT-4 kan producera text som flyter naturligt, inkorporerar nyanserade idéer och till och med imiterar specifika skrivstilar.
Analogin med digital fotografering understryker komplexiteten i uppgiften. Precis som fotoretuschering har blivit en konst som kan undgå upptäckt, har även genereringen av AI-text blivit en hantverk som kan undkomma den mest vaksamma granskningen. Denna jämförelse illustrerar inte bara de utmaningar vi står inför när det gäller att skilja AI-genererat innehåll från mänskligt skapat innehåll, utan fungerar också som en varning om överdriven tillit till teknologi för att lösa problem som är inneboende mänskliga och subjektiva.
Utvecklingen av textgenerering
Utvecklingen av AI inom textgenerering speglar landskapet för digital fotografering. Innan eran av GPT-3.5/4 kunde AI-genererad text ibland identifieras genom sin stela struktur och ibland obegripliga innehåll. Tidig AI inom textområdet bestod av stavnings- och grammatikkontroller, som utvecklades till autokorrigering och förutsägande textfunktioner som blev allmänt använda med smartphones.
Nu, med GPT-3.5/4, har vi AI som kan generera text som är nästan omöjlig att skilja från mänskligt skrivande. Dessa modellers sofistikation innebär att stavning, grammatik, interpunktion och sammanhang vanligtvis är felfria - ofta överträffar de förmågorna hos en genomsnittlig mellanstadieelev.
Fallgropar med AI-innehållsdetektion
Trots AI:s avancerade möjligheter är det svårt att upptäcka AI-genererat innehåll. Till en början kan pedagoger upptäcka alltför polerat arbete som misstänkt avancerat. Men det verkliga problemet uppstår när elever ägnar sig åt att anpassa AI-utdata för att efterlikna en specifik stil eller medvetet inkludera fel.
Experter erkänner begränsningarna
OpenAI själva har erkänt begränsningarna hos AI-detektionsverktyg. I ett blogginlägg skrev de:
“Vår klassificerare är inte helt tillförlitlig. I våra utvärderingar av en ‘utmaningsuppsättning’ med engelsk text identifierar vår klassificerare korrekt 26% av AI-skriven text (sanna positiva) som ’troligen AI-skriven’, samtidigt som den felaktigt märker mänskligt skriven text som AI-skriven 9% av tiden (falska positiva).” OpenAI
Företaget tog senare bort klassificeraren på grund av dess låga noggrannhetsgrad, vilket belyser svårigheten att skapa ett tillförlitligt detektionssystem.
Fallet med Turnitin
Turnitin, en välkänd tjänst för att upptäcka plagiat, introducerade ett AI-detektionsverktyg som mötte betydande oro. Vanderbilt University, efter att ha testat verktyget och rådfrågat andra institutioner, beslutade att inaktivera det och uttalade följande:
“Fall av felaktiga anklagelser om användning av AI har rapporterats brett på andra universitet under de senaste månaderna, inklusive flera fall som involverade Turnitin.” Vanderbilt University
Snedvridning mot icke-engelskspråkiga författare
Forskare vid Stanford har funnit att AI-detektorer är snedvridna mot icke-engelskspråkiga författare, där detektorerna felaktigt markerar ett betydande antal essäer av icke-engelskspråkiga studenter som AI-genererade. Stanford HAI
De etiska konsekvenserna
Användningen av AI-detektionsverktyg väcker allvarliga etiska frågor. Falska positiva resultat kan få allvarliga konsekvenser för elever, inklusive ogrundade anklagelser om akademisk oärlighet. Fallet med William Quarterman, en student vid University of California, Davis, som felaktigt anklagades för fusk baserat på AI-detektionsprogramvara, understryker risken. USA Today
Dessutom kan förlitan på AI-detektionsverktyg underminera förtroendet mellan pedagoger och elever. Antagandet om skuld kan undergräva relationen mellan lärare och elever och skapa en misstänksam och fientlig miljö. Pedagoger måste hitta en balans mellan att upprätthålla akademisk integritet och respektera elevernas rättigheter och värdighet.
Undvikande av detektorer
När elever blir mer skickliga på att manipulera AI-genererat innehåll kan de hitta sätt att undvika upptäckt. Tekniker som att anpassa frågeställningar, införa avsiktliga fel eller blanda AI-genererad text med sin egen skrivning kan göra det svårt för detektionsverktyg att korrekt identifiera AI-innehåll.
Nedan följer några exempel på innehåll genererat av GPT4, helt oförändrat. I alla fall var frågeställningen något i stil med “Skriv om suffragettens tal som en elev i årskurs X, inklusive grammatiska och stavfel”:
Exempel 1
Hlelo eervyone,
My naem is Jamie and toady I’m giong to takl about soemthing raelly importnat. It’s about wemon and how tehy shuold be albe to vote just lkie the men. A wihle back, wich is raelly not fair, wemon cudn’t vote at all. It was only for men, and that’s not rihgt coz grils are just as clever as boys, rihgt?
So, there was this ruel that said if you’re a gril, you can’t vote. That’s lkie saying grils can’t play footie or wear cool kicks, wich is just daft. And that menas all the mummys and their dauters and even their dauters’ dauters didn’t get to pik who makes the ruls. That’s lkie, haf of all the pepole!
This guvment didn’t let the wemon say what tehy think. So it wasn’t a reel democrazy, coz in a democrazy evryone shuold get to have a say. It was more lkie an… aristo… aristo… a big werd that means only some pepole get to be the boss coz they’re rich or coz they’re boys.
It’s lkie, if you had a famly and the dad and the broters and the husbend and the sons got to pik all the fun stuff, and the mum and sistrs and wife and dauters just had to do what tehy say. That wuold make evryone raelly cross, rihgt?
But now, wemon can vote too! It’s much beter coz evryone gets a choice, and that’s raelly importnat for being fair. So, we shud all rember how hard wemon had to fihgt to be albe to vote and make sure we alwys be kind and fair to evryone, no mater if they’re a boy or a gril.
Fanks for listning to my speach. I hpe you thnik it was gud!
Bye!
Exempel 2
Hello everybudy,
My name is Jamie and I’m in year for. I’m here to talk to you about something super important. It’s about girls and ladies being able to vote, which is called suff… suffra… suffrage, yeah that’s it. So, a long time ago, women couldn’t vote at all. That’s really not fair, coz like, half of all the peepol are women!
There’s this really tricky word called “dis…disfran…disfranchi…disfranchisement.” It’s when peepol are not aloud to vote. And if only men can vote, then it’s like saying only they can make all the rules and that’s not fair to the girls and ladies. It’s like, the goverment is not listening to them at all. And that’s not what democracy is about, right? Democracy means everyone gets a say, not just some peepol.
When only men are in charge, it’s like having an aris… aristo… a big fancy group of peepol who think they’re better than everyone else. It’s like saying dads and brothers and husbands and sons are the bosses of mums and sisters and wives and daughters. And that’s not nice, coz it makes everyone argue at home and that’s sad.
So, I think it’s really important that girls and ladies can vote too. Because everyone should be treated the same and have the same chances to choose what happens in our country. And that’s what I wanted to say today. Thank you for listening to me.
Bye!
Detta är ett enkelt fall av anpassning av frågeställningen, där eleven medvetet har infört fel för att efterlikna skrivstilen hos en yngre elev. Teknikerna kan vara mer sofistikerade, där elever blandar AI-genererat innehåll med sin egen skrivning för att skapa en sömlös text som lätt undgår även de mest sofistikerade detektionsverktygen.
Det är inte omöjligt att föreställa sig en framtid där AI-webbapplikationer specifika för fusk utvecklas och används allmänt av elever. Dessa appar kan använda elevernas egna tidigare arbete för att generera innehåll som är anpassat för att efterlikna skrivstilen hos en specifik elev, vilket gör det i stort sett omöjligt att upptäcka även för de mest uppmärksamma pedagogerna. Sådana system existerar redan, kanske inte lättillgängliga för genomsnittselever.
Strategier för pedagoger
Den snabba utvecklingen av artificiell intelligens (AI) inom utbildning har medfört en ny uppsättning utmaningar för pedagoger. Med AI:s förmåga att generera text som är omöjlig att skilja från mänskligt skrivande, är de traditionella metoderna för att upptäcka akademisk oärlighet inte längre tillförlitliga. Som vi har sett har försök att använda AI för att upptäcka AI-genererat innehåll visat sig vara fulla av etiska problem och felaktigheter. Så, vad kan pedagoger göra för att effektivt ta itu med denna fråga? Här är några strategier som fokuserar på den mänskliga aspekten av undervisning och utvecklingen av kritiskt tänkande, snarare än överdriven tillit till bristfällig detekteringsteknik.
Betona inlärningsprocessen framför produkten
Ett av de mest effektiva sätten att ta itu med användningen av AI för fusk är att flytta fokus från den slutliga produkten till själva inlärningsprocessen. Uppmuntra eleverna att lämna in utkast, dispositioner och anteckningar som dokumenterar utvecklingen av deras arbete. Detta avskräcker inte bara användningen av AI utan främjar också ett djupare engagemang med materialet.
Främja en kultur av integritet
Att skapa en klassrumsmiljö som värderar ärlighet och originaltänkande kan gå långt i att förebygga akademisk oärlighet. Diskutera vikten av akademisk integritet och värdet av äkta lärandeupplevelser med dina elever. Gör det klart att målet med uppgifter inte bara är att producera en uppsats, utan att delta i en meningsfull inlärningsprocess.
Använd öppen bok, öppna anteckningar-bedömningar
Bedömningar med öppen bok eller öppna anteckningar kan minska frestelsen att använda AI-genererat innehåll. Dessa typer av bedömningar uppmuntrar eleverna att förstå och tillämpa kunskap snarare än att bara återkalla information, vilket gör det svårare för AI att användas effektivt.
Genomför muntliga examinationer eller presentationer
Muntliga prov och presentationer kräver att eleverna visar sin förståelse för materialet i realtid. Detta format kan vara ett effektivt sätt att bedöma äkta förståelse och förmågan att uttrycka tankar, vilket är mycket svårare att fejka med AI.
Utforma projektbaserade lärandeaktiviteter
Projektbaserade lärandeaktiviteter (PBL) kräver att eleverna tillämpar sina kunskaper på verkliga problem, ofta i en samarbetsinställning. Komplexiteten och unikheten hos dessa projekt gör det utmanande för AI att replikera, vilket säkerställer att eleverna förlitar sig på sina egna färdigheter och kreativitet.
Uppmuntra kamratgranskning och samarbete
Inkorporera kamratgranskningsessioner där eleverna kan ge och ta emot feedback på sitt arbete. Samarbete hjälper inte bara eleverna att lära sig av varandra utan skapar också en känsla av gemenskap och delat ansvar för att upprätthålla akademiska standarder.
Håll dig informerad och anpassa dig
Eftersom AI fortsätter att utvecklas, måste även våra strategier för att hantera den. Håll dig informerad om de senaste utvecklingarna inom AI och var beredd att anpassa dina undervisningsmetoder därefter. Delta i professionella utvecklingsmöjligheter som fokuserar på AI-kunskap och etiska överväganden.
Navigera framtiden med försiktighet och omsorg
När vi står vid skiljevägen mellan teknologisk framsteg och utbildningsintegritet är det avgörande att vi, som pedagoger, navigerar i detta nya terräng med både försiktighet och omsorg. Dragningskraften hos AI som ett verktyg för att upptäcka akademisk oärlighet måste vägas mot den potentiella skadan av falska anklagelser och underminering av förtroende inom våra utbildningsgemenskaper.
Det etiska dilemma som AI-detekteringsverktyg utgör är inte något att ta lätt på. Konsekvenserna av att felaktigt märka en students arbete kan vara långtgående och påverka deras akademiska meritförteckning, självkänsla och framtida möjligheter. Det är vårt ansvar att se till att de metoder vi använder för att upprätthålla akademisk integritet är rättvisa, jämlika och fria från fördomar.
I detta snabbt föränderliga landskap måste vi vara vaksamma och proaktiva. Vi måste engagera oss i öppen dialog med våra elever om den etiska användningen av AI, främja miljöer som uppmuntrar originalitet och kritiskt tänkande, och förbli anpassningsbara till utbildningens föränderliga natur i den digitala tidsåldern.
Resan framåt är okartlagd, men genom att prioritera den mänskliga aspekten av utbildning – våra relationer, vårt omdöme och vårt engagemang för våra elever – kan vi styra en kurs som respekterar alla lärares värdighet och upprätthåller de värden som är kärnan i vårt yrke.
På Automated Education förstår vi komplexiteten och utmaningarna som AI för med sig till utbildningssektorn. Vår AI-drivna lärarassistent är utformad för att stödja lärare i att förbättra lärandeupplevelsen, inte för att övervaka äktheten av elevarbeten. Vi tror på att använda teknik för att ge lärare och elever mer makt, och främja en samarbetsvillig och innovativ lärandemiljö.
När vi fortsätter att utforska AI:s kapacitet och konsekvenser inom utbildning, låt oss göra det med en anda av samarbete, förståelse och etisk hänsyn. Tillsammans kan vi utnyttja AI:s kraft för att berika utbildningen samtidigt som vi upprätthåller den integritet som är grunden för vår gemensamma strävan efter kunskap.
Vidare läsning
Testning av detekteringsverktyg för AI-genererad text
Artikeln kritiskt utvärderar effektiviteten av verktyg som är avsedda att upptäcka AI-genererad text, särskilt i akademiska sammanhang, genom att testa deras förmåga att skilja mellan mänskligt och ChatGPT-producerat innehåll. Den avslöjar att nuvarande detekteringsmetoder är i stor utsträckning felaktiga och fördomsfulla mot att felaktigt identifiera AI-text som mänskligt skriven, medan förvrängningstekniker ytterligare försämrar deras prestanda. Studien är anmärkningsvärd för sitt omfattande testande av olika verktyg, inklusive Turnitin och PlagiarismCheck, och belyser utmaningarna och begränsningarna med att förlita sig på sådana verktyg i utbildningssammanhang.
Weber-Wulff, D., Anohina-Naumeca, A., Bjelobaba, S. et al. Testing of detection tools for AI-generated text. Int J Educ Integr 19, 26 (2023). https://doi.org/10.1007/s40979-023-00146-z
Utvärdering av effektiviteten hos AI-innehållsdetekteringsverktyg för att skilja mellan mänskligt och AI-genererad text
Denna studie bedömer effektiviteten hos AI-innehållsdetekteringsverktyg för att skilja mellan innehåll som producerats av ChatGPT-modellerna 3.5 och 4 och mänskligt skriven text om kyltorn inom ingenjörsvetenskap. De testade verktygen inkluderar de från OpenAI, Writer, Copyleaks, GPTZero och CrossPlag. Resultaten indikerar att medan dessa verktyg är bättre på att upptäcka innehåll från GPT 3.5, har de svårigheter med GPT 4 och visar inkonsekvenser med mänskligt skriven text, vilket leder till falska positiva resultat. Resultaten belyser nödvändigheten av förbättrade AI-detekteringsteknologier eftersom AI-genererat innehåll blir alltmer omöjligt att skilja från mänskligt författat arbete.
Elkhatat, A.M., Elsaid, K. & Almeer, S. Evaluating the efficacy of AI content detection tools in differentiating between human and AI-generated text. Int J Educ Integr 19, 17 (2023). https://doi.org/10.1007/s40979-023-00140-5
Kan AI-genererad text pålitligt upptäckas?
Artikeln tar upp utmaningen med att upptäcka AI-genererad text för att förhindra missbruk av stora språkmodeller (LLMs) i att skapa plagiat, falska nyheter och spam. Den visar att nuvarande detekteringsmetoder, inklusive de som använder modellsignaturer, vattenmärkning och olika klassificerare, är ineffektiva mot sofistikerade attacker som rekursiv omskrivning. Studien visar att sådana attacker kan kringgå upptäckt samtidigt som textkvaliteten bibehålls och kan till och med lura detektorer att felaktigt märka mänsklig text som AI-genererad, vilket utgör risker för utvecklares rykte. Dessutom ger forskningen ett teoretiskt ramverk för att bedöma den inneboende svårigheten med att upptäcka AI-genererad text och erbjuder offentlig tillgång till koden som användes i experimenten.
Vinu Sankar Sadasivan, Aounon Kumar, Sriram Balasubramanian, Wenxiao Wang, Soheil Feizi. Can AI-Generated Text be Reliably Detected? arXiv:2303.11156 [cs.CL] (2023) https://doi.org/10.48550/arXiv.2303.11156