CopertinaAnnamaria

CAPITOLO 8

ITEM ANALYSIS

Al termine del capitolo, il lettore sarà in grado di:
· descrivere le procedure di item analysis;
· distinguere le caratteristiche degli approcci della Classical Test Theory e della Item Response Theory;
· elencare esempi della ricerca educativa nei quali è stata applicata l’item analysis.

8.1 – Item Analysis

In questo capitolo ci occupiamo di tecniche di analisi statistica che hanno a che vedere con la valutazione, tema centrale nella discussione sulla didattica. Modelli di progettazione che vedono la valutazione strettamente connessa agli obiettivi di apprendimento formulati nei percorsi formativi (Biggs & Tang, 2011; Wiggins & McTighe, 2005) ne danno la giusti0cazione: l’ef0cacia di un percorso didattico può essere provata quando attraverso adeguati strumenti di valutazione siamo in grado di dire se gli studenti hanno raggiunto i comportamenti attesi espressi come obiettivi educativi del corso. Valutare ci permette di analizzare non solo gli apprendimenti degli studenti ma anche l’ef0cacia del percorso formativo predisposto. Gli strumenti per la valutazione andrebbero disegnati in base al tipo di apprendimenti che devono misurare: la misurazione è parte del processo di valutazione.
Come altri ambiti scienti0ci, per esempio la 0sica e la statistica, ci hanno insegnato nell’ultimo secolo, la misurazione è affetta da un errore casuale tale che possiamo dire che ciascuna grandezza oggetto della misurazione è comunque affetta da un errore casuale, ε, che la rende una variabile casuale con tutte le conseguenze e le proprietà che ciò comporta.
Gli strumenti quantitativi di valutazione e in particolare i questionari a risposta chiusa sono quelli a cui applichiamo le tecniche descritte in questo capitolo, tecniche comprese nel termine item analysis le cui basi sono da rintracciare nell’analisi psicometrica dei quesiti. Da alcuni decenni, tali tecniche sono state applicate nella produzione di scale nell’ambito della ricerca ma anche nella valutazione o meglio nei processi di misurazione degli apprendimenti nei quali usare prove quantitative è diventata consuetudine. Esse sono più veloci da somministrare, sono vantaggiose su grandi numeri di studenti, permettono di indagare un numero elevato di argomenti e sono ritenute più oggettive.
L’ item analysis fornisce principalmente informazioni sulle singole domande, tuttavia alcuni degli indicatori che vedremo rilevano elementi che caratterizzano l’intero set di domande.
Perché usare queste tecniche di analisi? Attraverso di esse possiamo in primo luogo stimare le abilità degli studenti come tratti latenti di cui abbiamo già parlato nel cap. 3 e di cui non possiamo fare delle misurazioni dirette. Le risposte fornite nelle prove di valutazione dagli studenti da sole non bastano a rilevare la comprensione, l’acquisizione di un concetto. La risposta a ciascuna domanda è soltanto una manifestazione di una parte del processo di apprendimento (De Luca & Lucisano, 2011). In secondo luogo, possiamo utilizzare i risultati ottenuti in queste procedure di analisi per esaminare le prove di valutazione e veri0care se le domande sono scritte correttamente, se sono troppo semplici, se aiutano a distinguere fra gli studenti preparati e quelli no, se è necessario modi0care il peso che ciascuna domanda ha nel calcolo del punteggio complessivo, se tutte le domande fanno riferimento a uno stesso tratto latente, se è possibile trovare un modello che ci dica con quale probabilità gli studenti possono rispondere correttamente a una domanda in base alle loro abilità e alle caratteristiche delle domande stesse.
Su quali dati si lavora? Dopo aver prodotto un questionario, è buona regola proporlo a un campione di studenti per veri0carne l’ef0cacia. Nella pratica capita che non sempre si riesca a realizzare una fase di tryout e quindi la prima somministrazione del questionario ne diventa la prova sperimentale. In queste fasi iniziali di utilizzazione di una scala o di un questionario può essere molto utile usare l’item analysis per i motivi che ci dicevamo. Più in generale, comunque, ogni volta che vengono collezionate risposte a una serie di item, le tecniche di cui ci apprestiamo a parlare possono essere usate per stimare l’abilità degli studenti e veri0care le caratteristiche delle domande.
Gli approcci fondamentali di item analysis sono due: la Classical Test Theory (CTT) e la Item Responses Theory (IRT) proposta da Rasch negli anni Sessanta. Nel primo modello (classical e dunque tradizionale) si identi0cano alcuni indicatori per valutare gli item. L’abilità dello studente è la somma delle risposte corrette che dà al questionario. Nel secondo, sono centrali le teorie legate al
calcolo delle probabilità e alla ricerca di un modello che possa stimare l’abilità dello studente tenendo in considerazione le caratteristiche delle domande.
Entriamo nel dettaglio.
Nella Classical Test Theory (CTT) ad ogni domanda attribuiamo due indicatori, de0niti Difficulty Value = DV e Discriminatory Index = DI.
L’indice di dif0coltà, DV, in maniera controintuitiva rispetto al nome, risponde alla domanda: quanto la domanda è facile? Uno dei metodi più noti (e anche più semplice) per calcolare questo indice è quello di determinare la percentuale di studenti che ha risposto correttamente alla domanda.
(8.1)