Tabella 8.3 - Indici DI e DV per i primi item della LSCI nel pre- e post-test. In corsivo i valori esclusi nei range (Schlingman et al., 2012, p. 3/10).
Nel passaggio dal pre- al post-test, la dif0coltà dell’item diminuisce come è ovvio che sia, dato che aumenta la conoscenza degli studenti dei concetti del corso. Parallelamente aumenta la discriminatività, poiché gli studenti più preparati sono in grado di rispondere correttamente alle domande e di conseguenza gli item riescono maggiormente a rilevare le differenze fra chi è preparato e chi non lo è. Alcuni item anche nel post-test hanno conservato degli indicatori non validi: ad esempio l’item 3 conserva un basso livello di discriminatività (DI = 0,25). Il contenuto di ciascuno di questi item viene analizzato dagli autori anche in base alla funzione che esso assume all’interno dell’inventory. Il coef0ciente α di Cronbach passa da 0,37 nel pre-test a 0,78 nel post-test; gli autori giusti0cano questa discrepanza con il fatto che α è sensibile all’omogeneità del campione di riferimento e sicuramente nel pre-test molti studenti condividevano le stesse dif0coltà e dubbi sugli argomenti.
Il gra0co in Figura 8.8 confronta i punteggi del pre-test con quelli del posttest, le tonalità di blu indicano il numero di studenti che si collocano in ogni punto. La linea indica punteggi che sono rimasti identici nel pre-test e nel posttest. 82% degli studenti è al di sopra della linea. Una fetta del campione non è migliorata dopo la partecipazione ai corsi o ha conservato uno stesso punteggio iniziale. Questo gruppo di studenti è quello che da educatori e formatori deve maggiormente attrarre la nostra attenzione e richiedere un nostro intervento.
Figura 8.8 – Confronto fra punteggi del pre- e post-test per gli studenti nello studio sulla LCSI (Schlingman et al., 2012, p. 6/10).
Uno studio successivo (Wallace et al., 2018) propone un’analisi condotta con la IRT sugli item della stessa inventory LSCI nella quale sono stati analizzati i risultati di pre-test e post-test sullo stesso dataset dello studio precedente. I tentativi di adattare i dati del pre-test a modelli a due o tre parametri hanno condotto a scarsi risultati (poor 0t) suggerendo che prima del percorso formativo molti studenti possedevano poco il tratto latente misurato (l’abilità). Si è scelto così di utilizzare i dati del post-test per costruire modelli a tre parametri, introdurre il parametro guessing in questo dataset contribuisce a migliorare il 0t del modello ai dati. Tre item sono stati esclusi: il primo per poor 0t, non si evinceva una chiara relazione fra l’abilità dello studente e la risposta corretta nell’item; il secondo perché molto dif0cile; il terzo perché non era indipendente dagli altri item ma sembrava essere in relazione con più di uno (nell’item, infatti, veniva chiesto di confrontare più elementi, come energia, frequenza, lunghezza dell’onda, la velocità delle onde radio e della luce). Altri 6 item che correlavano fra di loro sono stati accoppiati e trattati diversamente, proprio perché a coppie affrontavano un qualche argomento di studio. Il numero di item su cui si arriva a lavorare è in de0nitiva pari a 20.
L’interpretazione dei risultati sugli item conduce ad alcune riXessioni. Ad es. gli item che chiedono di applicare leggi e interpretare un gra0co hanno valori di dif0coltà e discriminatività più alti.