CopertinaAnnamaria

Discriminatività
dove x_¯e è la media dei risultati degli studenti che hanno risposto corretta-
mente all’item, x_¯t è la media totale dei risultati, σ è la deviazione standard dei risultati al test, p la percentuale di risposte corrette (DV).
L’indice DI assume come la correlazione valori fra -1 e 1, vale 0 se tutti rispondono in maniera corretta o errata (siamo nel caso in cui le risposte all’intero questionario e le risposte all’item in analisi sono indipendenti). Assumerà valori positivi se tendenzialmente gli studenti preparati rispondono correttamente; valori negativi se a rispondere correttamente sono gli studenti meno preparati che non hanno punteggi molto alti nel resto del questionario.
Gli item si considerano molto buoni quando DI > 0,40; ragionevolmente buoni ma da migliorare per DI compreso fra 0,30 e 0,39; necessariamente da migliorare se DI è compreso fra 0,20 e 0,29; scadenti, da eliminare o rivedere se DI < 0,19 (Ebel & Frisbie, 1991, p. 232). Valori del DI superiori a 0,90 sono da veri0care poiché estremamente elevati e poco verosimili.
Un terzo indicatore, non sempre citato ma che può essere utile inserire in questa discussione, è l’ef0cacia dei distrattori ossia delle risposte errate (DE): chiunque abbia dovuto produrre dei quesiti a risposta multipla, sa che scrivere le opzioni errate è la fase più impegnativa. Motivo che spiega anche perché molto spesso si scelga di scrivere (erroneamente) domande in forma negativa (es. quale delle seguenti affermazioni è falsa? Quale dei seguenti NON è … ?).
Se un distrattore non viene scelto, potrebbe essere debole, ovvio, mal formulato. Questa formulazione inadeguata comporta delle conseguenze sui precedenti due indici: escludendo un’opzione di risposta, la domanda risulta di più semplice soluzione perché aumentano le probabilità di rispondere correttamente. I criteri standard prevedono che per considerare un item funzionale e ben scritto, almeno il 5% dei rispondenti dovrebbe selezionarlo come risposta.
Cosa facciamo una volta che abbiamo trovato degli indici non adeguati per alcuni degli item nel nostro questionario? I tre indici descritti vanno considerati contestualmente per ogni domanda dato che ciascuno di essi fornisce delle informazioni indispensabili per valutare la qualità del quesito nella sua totalità. Rileggendo la domanda insieme ad un esperto dei contenuti possiamo capire se c’è un modo per migliorarla o se la domanda va eliminata dal paniere. Frequentemente se il DI è basso si preferisce eliminare la domanda o sottoporla a un profondo ripensamento. Se il quesito è troppo semplice (DV alto), le alternative di risposta potrebbero non essere suf0cientemente s0danti oppure ovviamente errate perché magari contengono quei termini come “solo”, “sempre” o opzioni come “tutte le precedenti” oppure “nessuna della precedenti” che funzionano come dei campanelli d’allarme nella lettura; in una domanda dif0cile (DV basso) potrebbe per esempio esserci un’alternativa di risposta verosimile o parzialmente vera che raccoglie un numero alto di preferenze da parte degli studenti. Domande che non discriminano (DI basso) potrebbero essere scritte in forma negativa. Questi sono soltanto alcuni esempi di formulazioni non corrette delle domande, si veda Domenici e colleghi (2021, pp. 148150) per una rassegna completa.
L’indice di dif0coltà e l’indice di discriminatività sono due indicatori che, come abbiamo detto, fanno riferimento a singoli item. Su un questionario intero invece, su una scala completa, possiamo calcolare l’indice α di Cronbach che abbiamo introdotto a proposito dell’analisi fattoriale. L’indice compreso fra 0 e 1 misura la coerenza interna del questionario e risponde alle domande: i quesiti misurano tutti lo stesso tratto latente? Sono coerenti fra loro? Valori di α al di sotto dello 0,60 sono solitamente considerati inadeguati. Insieme all’indice α di Chronbach si annovera l’indice Kuder-Richardson 20 (KR-20), identico al precedente ma usato per variabili dicotomiche.
Scendiamo nella pratica e vediamo come usare questi indici su dati reali con un campione composto da 865 studenti che hanno compilato un questionario fatto da 10 domande a risposta chiusa con 4 opzioni di cui una corretta.
Ciascuna delle domande ha un comportamento dicotomico: nella Tabella
8.1, come si è soliti fare, indichiamo con 1 il caso in cui lo studente abbia risposto correttamente alla domanda, con 0 il caso in cui abbia risposto in maniera errata. La somma delle righe restituisce il punteggio conseguito da ciascuno studente (compreso fra 0 e 10) e rappresentato nell’istogramma in Figura 8.1 dove notiamo uno spostamento a destra dei valori totalizzati con maggiore frequenza. La somma delle colonne fornisce il numero di risposte corrette per ciascuna domanda. Dividendo tali valori per il totale dei rispondenti, possiamo calcolare l’indice di dif0coltà dei quesiti come dall’espressione (8.1).