Docente universitario smaschera elaborato scritto fatto con una IA

Docente universitario smaschera elaborato scritto fatto con una IA: questa la soluzione moderna ad un problema vecchio come il mondo.

Ammettiamolo però: da che mondo è mondo la storia dell’istruzione è piena di compiti in classe ed esoneri fatti coi “Manabili” nascosti addosso, gli Esami di Stato per l’Accesso alle professioni sono piagati da tentativi di “importare” testi e cellulari.

Ma in un mondo dove si dibatte se le Intelligenze Artificiali in grado di imitare il disegno umano possano rubare il lavoro a disegnatori e illustratori usando frammenti di immagini da loro stessi create per rimpiazzarli, qualche studente ha deciso che le IA possono fare i compiti per lui o lei, fallendo.

Docente universitario smaschera elaborato scritto fatto con una IA

Passiamo ora al racconto di Darren Hudson Hick, docente di filosofia alla Furman University, nonché esperto in copyright.

Un curriculum eccellente, che gli è tornato utile quando una studentessa ha cercato di presentargli un elaborato scritto fatto con una IA, ChatGPT, sul tema del “Paradosso del Terrore di Hume”.

Un concetto basato sulla psicologia e l’estetica che spiega come l’essere umano tragga piacere dal leggere o guardare storie spaventose e terrificanti.

Questo nonostante la paura sia un sentimento negativo, il piacere un sentimento positivo, ma l’essere umano ami consumare avidamente storie di paura per trarne gioia e piacere.

La storia, tradotta, è la seguente.

Il post di Hick

Oggi ho denunciato [all’Università, NdT] il primo caso di plagiatrice che ho pizzicato usare una IA per scrivere i suoi compiti. Ho pensato che alcuni di voi sarebbero stati curiosi di conoscerne i dettagli.

La studentessa ha usato ChatGPT (https://chat.openai.com/chat), un chatbot evoluto che produce risposte simili a quelle umane in risposte alle domande degli utenti. Domande che vanno da “Spiegami il Ciclo di Krebs” o, nel mio caso “Scrivimi un saggio di 500 parole su Hume e il Paradosso del Terrore”.

La tecnologia esiste da circa tre settimane. ChatGPT in pochi secondi produce una risposta che sembra prodotta da un umano. Peraltro, un umano con un eccellente conoscenza della grammatica e la capacità di capire come va strutturato un saggio. Nel mio caso, il primo indizio di essere di fronte ad una IA deriva dal fatto che, nonostante la solidità della sintassi, il testo non aveva senso alcuno.

Il saggio descriveva con grande serietà la visione di Hume sul Paradosso del Terrore in modo completamente sbagliato. Diceva qualcosa di vero su Hume, dimostrava la conoscenza del paradosso del terrore, ma il seguito lo cialtronava.

Il testo era affascinante per chi non conosceva l’argomento, a tratti magnetico. Per qualcuno che invece l’argomento lo conosceva, era pieno di campanelli di allarme. ChatGPT fa schifo nelle citazioni, altro campanello. Ottima notizia per chi segue corsi avanzati di filosofia, dove il materiale è oscuro e complesso. Ma per le matricole, e per non parlare dei saggi di altre discipline dove ci si può ritrovare a parlare dei tempi cardine di Moby Dick o delle cause della guerra in Ucraina, è un fattore decisivo.

ChatGPT usa una rete neurale, un tipo di intelligenza artificiale addestrato su una vasta gamma di dati che consente a ChatGPT di fare esattamente quello che sa fare ora. Il programma si riprogramma continuamente finché i suoi controllori sono soddisfatti. Ciò comporta però che chi lo “programma” non sa cosa sta realmente accadendo: la rete neurale scaica una massa di dati, e l’aggiunge ad una “zuppa” con nodi di dati connessi in vari modi. Più si addestra, migliore diventa. Riassumendo, ChatGPT è un bambino che sta imparando. Tra un mese sarà più intelligente.

Per fortuna, lo stesso team che ha creato ChatGPT ha creato un programma per identificare i testi in GPT (https://huggingface.co/openai-detector/), che usa gli stessi metodi che ChatGPT usa per creare risposte per esaminare la possibilità che un determinato testo provenga dalla stessa tecnologia. Altrettanto fortunatamente, ero a conoscenza del GPT Detector e l’ho usato per esaminare frammenti del saggio della studentessa, comparandolo con altri saggi degli altri studenti sullo stesso tema. Il Detector ti segnala una possibilità che il testo che hai di fronte sia “falso” o “vero”. Ogni frammento del saggio della studentessa mi risultava falso al 99,%, mentre al contrario ogni frammento di ogni saggio degli altri studenti mi risultava vero al 99,9%

A questo punto la mia ipotesi mi sembrava sempre più ragionevole. Il problema è che al contrario di portali antiplagio come TurnItIn, GPT Detector non può indicarti un contenuto su Internet da usare per confermare il plagio. Il primo problema è che ChatGPT non fa ricerche in Internet – Se i dati non sono inseriti nel set di dati usati per l’addestramento, non vi ha accesso. Il secondo problema è che ChatGPT usa la “zuppa” di dati nela sua rete neurale, e non vi è modo di sapere come poi produce la risposta finale. Ripeto i suoi “programmatori” non sanno da dove derivano le risposte. Sicché, è difficile prendere quel 99,9% falso come una risposta definitiva: non c’è modo di valutare il processo logico di quel risultato.

Al momento, ci sono dei lati positivi. Sebbene ogni volta che si pone la stessa domanda a ChatGPT esso fornisce una risposta leggermente diversa, ho notato che ci sono somiglianze su come struttura un saggio. In futuro, potrò trarne altri campanelli di allarme. Ma ChatGPT sta ancora imparando, e lo farà sempre meglio. Ricordate, ha solo tre settimane, ed è progettato per imparare.

Gli amministratori dovranno sviluppare degli standard per affrontare simili situazioni, dovranno farlo subito. Nel mio caso la studentessa ha ammesso di aver usato ChatGPT, ma se non lo avesse fatto non so se questi indizi sarebbero stati sufficienti. È tutto troppo nuovo. Ma ci stiamo arrivando. Alla mia studentessa saranno bastati circa cinque minuti per scrivere questo saggio usando ChatGPT. Aspettatevi una cascata gente, non un gocciolare. Nel futuro mi toccherà una norma per cui se ritengo che uno studente mi abbia presentato elaborati fatti da una IA, dovrò buttarli e obbligare lo studente ad un esame orale estemporaneo sulla stessa materia. È l’unica cosa che posso fare finché la mia scuola non sviluppa standard per affrontare questa situazione.

Alcune riflessioni

Partiamo da una questione: in realtà la studentessa della IA non ha inventato niente di nuovo. Ogni maestro o professore sarà incappato mille volte nel ragazzino che “sembra migliorare di colpo” perché i genitori o i fratelli maggiori si sono surrogati nei compiti in classe.

Studenti che comprano o copiano elaborati ci sono sempre stati: ma ChatGPT in sole tre settimane è già arrivato al livello di simulare perfettamente uno studente svogliato in grado di “tirare per il lungo” un saggio da insufficienza in modo da sembrare verosimile.

Cosa potrà accadere nei prossimi mesi o anni non lo sappiamo.

Un saggio “copiato” da una biblioteca o da Internet è facile da riconoscere. Un Manabile anche. Al momento, ChatGPT è ancora riconoscibile: e quando non lo sarà?

Immagine di copertina, Connection Between People And Artificial Intelligence Technology, di Prostock-Studio