CopertinaAnnamaria

Raw	CTT	Rasch	2PL		3PL		Raw		CTT	Rasch	2PL
3PL
k	50	22	24	26		30		50		34	31	47		32
M	23,78	10,53	11,36	13,02		15,69		32,10		21,76	19,95	31,66		20,54
SD	5,96	7,40	3,10	5,07		4,94		6,64		5,99	4,10	6,64		4,50
SEM	3,21	1,81	2,21	2,09		2,52		2,82		2,40	2,28	2,74		1,86
α	0,71	0,94	0,49	0,83		0,74		0,82		0,84	0,69	0,83		0,83

Tabella 8.4 – Statistiche della prova intermedia e dell’esame 0nale realizzati nell’insegnamento di Psicologia educativa distinti per modello statistico (k = numero di item, M = media, SD= deviazione standard, SEM = errore medio, α = alpha di Cronbach, Raw = dati grezzi, CTT = Classical Test Theory, Rasch = Modello di Rasch a un parametro, 2PL = Modello a due parametri, 3PL = modello a tre parametri) (Brown & Abdulnabi, 2017, p. 8).
Riducendo il numero degli item secondo quanto emerso dal modello IRT a 2 parametri, ricalcolando i voti conseguiti dagli studenti nelle due prove, gli autori hanno veri0cato che il voto di ben due terzi degli studenti coinvolti nell’indagine è cambiato, per 123 studenti sarebbe incrementato e per la stessa porzione di studenti diminuito.

Figura 8.11 – Item Characteristic Curve per la prova intermedia e 0nale (Brown & Abdulnabi, 2017, p. 8).
Fra i limiti dello studio c’è sicuramente l’assenza dell’intervento di esperti della disciplina nella revisione dei quesiti, con il loro contributo sarebbero probabilmente stati identi0cati item indispensabili per veri0care la copertura della totalità degli argomenti della disciplina o possibili equivoci. Tuttavia l’articolo pone l’attenzione su quanto prove mal strutturate possano incidere sulle decisioni sul superamento di un esame: corsi, prove e metodi di analisi delle stesse meritano un rinnovamento.
210 - Analisi Multivariata e Learning Analytics: metodi e applicazioni

POSTFAZIONE

Pietro Lucisano

Il metodo e le tecniche di cui disponiamo ci mettono di fronte a grandi responsabilità, per questo come postfazione a un testo che affronta con serietà e rigore metodologie di analisi dei dati e prospettive di ricerca, da vecchio artigiano della ricerca quantitativa, vorrei proporre ai lettori alcune ri%essioni che invitano alla prudenza.
I dati che rileviamo sono sempre elementi di informazione tratti da un contesto, non a caso Dewey preferisce de*nirli “fatti del caso” per sottolineare il loro legame con il contesto e la loro natura legata a un “qui ed ora” che al momento dell’analisi è quasi sempre irrimediabilmente passato e perduto. Il ricercatore nell’avvicinarsi ai dati dovrebbe costantemente cercare di richiamare alla sua memoria il contesto, le interazioni che ne hanno determinato la rilevazione e le scelte che ne hanno de*nito le misure. Il metodo, come diceva Cartesio, è quella strada vecchia che consente di non commettere errori grossolani e che ci aiuta a riconsiderare, sintetizzare, controllare gli elementi di cui disponiamo per la ricerca. E il metodo, come bene illustrato in questo manuale da Annamaria De Santis, va seguito con estremo rigore, senza concedersi scorciatoie. Le scelte in ogni situazione competono al ricercatore che, tuttavia, deve tenere presente che non esistono dati in sé al di fuori della loro relazione con noi, essi sono in relazione a che cosa pensava chi li ha rilevati, a che cosa vuole vedere chi li osserva e a che cosa si aspetta di poter affermare o fare sulla base della loro analisi. Le stesse proprietà dei dati esistono solo in una dimensione relazionale. Queste considerazioni ci rimandano alle ri%essioni critiche che emergono dalla *sica quantistica che Rovelli descrive bene nel suo breve saggio Helgoland: “Le variabili siche non descrivono le cose: descrivono 212
il modo in cui le cose si manifestano le une alle altre. Non ha senso attribuire loro un valore, se non nel corso di una interazione.” Concetti che dovrebbero essere familiari a chi ha esperienza di relazioni educative. La natura di un ragazzo, le sue qualità non sono “dati” che una volta presi possono essere assunti come conoscenza certa. Un ragazzo è in un modo con un insegnante, in un modo diverso con un altro, risponde in un modo a un certo test e in un altro modo a un test differente. A noi sembra di guardare ogni giorno lo stesso ragazzo, ma ogni giorno è diverso: non ci si bagna mai due volte nello stesso *ume. Il passato non determina il presente e il futuro. Le tendenze mutano rapidamente come le intenzioni di voto nei sondaggi.
La ricerca quantitativa va difesa perché ci aiuta nella comprensione della realtà, anche se forse è eccessivo pretendere di trarne evidenze normative data l’ampia varietà dei fenomeni che studiamo e la grande complessità del rapporto tra evidenze e decisioni nella vicenda umana.
I dati, è necessario raccoglierne molti, raccoglierli bene e poi interagire con i loro portati consapevoli delle nostre ipotesi e della nostra equazione personale, bisogna guardarli e riguardarli, contestualizzarli, ruminarli come San Girolamo diceva della parola di Dio, senza fretta di trarre conclusioni. In*ne, è bene tenere conto del fatto che metodo e atteggiamento scienti*co sono in un rapporto dialettico. Poiché se il metodo è la strada vecchia, sicura, con ridotte probabilità di errore è anche vero che la conoscenza si è costruita attraverso trasgressioni del metodo che di volta in volta hanno portato a nuovi paradigmi. Bisogna dunque padroneggiare le tecniche di analisi che vengono illustrate in questo lavoro, essere in grado di applicarle con rigore, di leggerne gli esiti e poi cominciare a ri%ettere.
Ri%ettere adottando quell’atteggiamento scienti*co che Dewey de*nisce come “il desiderio di ricercare, esaminare, discriminare, tracciare conclusioni solo sulla base dell’evidenza, dopo essersi presi la pena di raccogliere tutti i dati possibili. È l’intenzione di raggiungere credenze, e di provare quelle che risultano accettabili, sulla base dei fatti osservati, riconoscendo al tempo stesso che i fatti sono privi di senso a meno che non indichino idee. È, d'altra parte, l'atteggiamento sperimentale che riconosce come, mentre le idee sono necessarie per l'organizzazione dei fatti, esse sono al tempo stesso ipotesi di lavoro da veri*care sulla base delle conseguenze che producono”. Le conseguenze 213
come le intenzioni diventano allora il banco di prova della validità che non appartiene a uno strumento, ma alle interazioni che questo realizza nei diversi contesti.
Così vorrei concludere questa breve postfazione che segue la lettura e incoraggia alla rilettura del testo di Annamaria De Santis con alcune parole di Meirieu in cui mi riconosco: “Essere un esperto invita alla modestia: si tocca con mano la complessità delle cose e si sperimenta tutti i giorni l’abisso che corre tra la generosità delle nostre intenzioni e la mediocrità delle nostre pratiche. Nessuno meglio del ricercatore conosce la distanza incolmabile tra il dire e il fare. Nessuno conosce meglio di lui l’innita presunzione delle menti forti che credono sia sufciente sapere cosa bisogna fare per farlo e che basti tentare per riuscire ”.
E tuttavia la nostra ricerca vale la pena.
Roma, agosto 2022
Pietro Lucisano
Sapienza Università di Roma
Presidente della SIRD Società Italiana di Ricerca Didattica
214