Article An Exploration of Multimedia Supports for Diverse Learners During Core Math Instruction

Participants and Setting
The research site for this project was a fourth-grade classroom
in an upper elementary suburban school in the Northeastern
Table 1. (continued)
Widget and Source
Description
Sample Page
Media (iBooks Author)
Allows the designer to embed audio or video into the iBook.
This was used for optional review videos and text-to-
speech supports.
Quiz (iBooks Author)
Allows the designer to embed multiple choice and matching
questions that give immediate feedback to the user. This
was used for prerequisite skill review.
Pop-up (iBooks Author)
Allows the designer to embed hidden images or words that
will appear when the user taps on an icon in the iBook. This
was used for the optional visual hints for problem-solving.
44
Journal of Special Education Technology 34(1)

---

United States. The researchers identified potential classrooms
via contacts at local school districts. E-mails were sent to
fourth-grade teachers, which described the study and contained
a link to an initial screening survey to determine eligibility: The
teacher must (a) provide services to students with disabilities in
an inclusive setting, including at least five students who were
performing below benchmarks in math, (b) be willing to incor-
porate digital technology in the classroom, and (c) use a
research-based, common core-focused math curriculum. We
generated a pool of eligible classrooms based on the results
of the initial screening survey, and ultimately, the site was
selected because it was the only site that met eligibility criteria
and maintained regular communication with the researchers.
Adult participants included the classroom teacher and his
teaching assistant (TA) for whom we obtained written consent
to be video recorded and interviewed. Of the 23 students in the
class, 19 students (10 female, 9 male) were recruited for the
study because the remaining students received math instruction
in a self-contained special education setting. We received par-
ental consent and student assent from 100% of the 19 potential
student participants. All fourth-grade student participants were
Caucasian and ranged from 9 to 10 years old.
To sort students into subgroups for comparative purposes,
we reviewed the following assessment results for each partici-
pant when available: (a) the most recent cognitive/intelligence
evaluation(s), (b) the most recent academic achievement eva-
luation(s), (c) the most recent math progress monitoring data,
and (d) recent math work samples. Rather than relying on a
prior diagnosis from the school, these documents along with
teacher-reported achievement anecdotes were used as part of a
comprehensive evaluation of the participants (Hale et al.,
2010). As per the legal definition (Individuals with Disabilities
Education Act, 2004), students with a sensory or intellectual
disability were excluded from participation in the MLD sub-
group. Because attention or behavior difficulties often accom-
pany MLD (Compton et al., 2012), students who also displayed
poor behavior or who were diagnosed with attention deficit
hyperactivity disorder were not excluded. The remaining stu-
dents not eligible for the MLD subgroup were sorted into two
other subgroups (Tier 1 and Tier 2) based on progress moni-
toring data, state assessment results, and curriculum-based
assessments. The within-classroom sorting process resulted in
five students assigned to the MLD subgroup (four of whom had
an IEP) and seven students assigned to each of the Tier 1 and
Tier 2 subgroups. The fifth participant with an IEP who also
struggled with math was sorted into the Tier 2 subgroup instead
of the MLD subgroup because she has a sensory impairment.
Intervention and Comparative Conditions
The primary intervention for this project was the eWorkbook, a
mobile technology–based multimedia math practice tool
replete with embedded supports to assist students in learning
whole number operations of multiplication and division. The
eWorkbook was created as a substitute for the paper–pencil
worksheets (PPWs) traditionally employed during the
independent practice portion of the math lessons. While PPWs
have long been deployed by teachers during independent
practice, their ability to offer the varied instructional and
support needs of struggling learners remains limited. PPWs
are relatively inflexible (i.e., once created and distributed,
they are not easily or substantially modifiable), passive (i.e.,
unresponsive to student input), and any alterations or supports
to such worksheets most often require proximal, real-time
implementation from a teacher. These inherent limitations
present a formidable challenge to teachers who may have
many such students requiring support during the independent
practice portion of their lessons.
The eWorkbook differs from traditional PPWs via the addi-
tion of scaffolded problem-solving and the incorporation of
multimedia activities and supports. The eWorkbook scaffolds
practice in three ways: (a) sequencing problems from simple to
complex, (b) breaking multistep problems into smaller parts,
and (c) adding additional practice with the component skills
required for the more complex problems on the worksheet. The
multimedia supports in the eWorkbook included review videos,
immediate feedback practice questions, drag-and-drop activi-
ties, digital reference tables, drawing tools with multiple for-
matting options, and embedded pop-up hints to help guide
mathematical thinking (see Table 1). The eWorkbook thus rep-
resents a substantive departure from traditional PPWs and
expands both the instructional and student response opportuni-
ties during an important phase of learning.
As a part of our exploration of student learning with the
eWorkbook, we also observed their work habits within two
comparative conditions. The primary comparative condition
was the traditional PPW that was part of the school’s math
curriculum—Math Expressions Common Core (Fuson, 2013).
A second comparative condition, the scaffolded worksheet
(SCW), was also introduced because some of the scaffolding
enhancements in the eWorkbook could potentially be produced
without mobile technology. The SCW contained the same
additional review questions as the eWorkbook and the same
organizational scaffolds (e.g., box diagrams, visual hints, and
color coding of information in word problems) only without
any multimedia enhancements (e.g., immediate feedback,
review videos, drag-and-drop style responses, and color/
formatting options for written responses) because those are,
by nature, exclusive to a multimedia platform. By observing
students using all three worksheet types across an entire
instructional unit, we aimed to understand how and under
what conditions the multimedia supports in the eWorkbook
impacted the math achievement and learning habits of
students with and without MLD.
Procedures
This study was conducted over 10 calendar weeks and was
comprised of observation, eWorkbook training, intervention
period (12 complete lessons), and student/teacher interviews
at the end of the study. For the first 2 weeks, the PI observed
typical math lessons to help gauge logistics for eWorkbook
Kaczorowski et al.
45

---

implementation. During this time, the classroom teacher and
students received introductory training on the functionality of
the eWorkbook. Students received initial training in small
groups of four to six students in brief 15- to 20-min sessions
as well a refresher training about halfway through the study
when some new widgets were added. During the trainings, the
PI demonstrated basic tasks (e.g., taking screenshots and func-
tionality of the widgets) and followed the demonstration with
time for the students to explore a sample eWorkbook on their
own until all students could perform 100% of the tasks on the
training checklist. During these first 2 weeks is also when the
PI started creating the eWorkbooks to match the upcoming
lessons. Because the classroom teacher provided the core math
instruction, he was also responsible for ensuring content valid-
ity by affirming the eWorkbook contents aligned with each of
the lessons.
Each day, the PI brought video cameras for recording math
lessons and student interviews, as well as eight iPad Minis to
deliver the eWorkbook. The teacher provided daily core math
instruction (the only math instruction for the day), and students
used the PPW, the SCW, or the eWorkbook to complete the
independent practice problems for the lesson. Organizational
materials including condition schedule and eWorkbook pouches
(containing the iPad, headphones, and stylus) were utilized to
facilitate efficient transition time. The PI captured digital images
of all PPW and SCW work samples, and students assigned to the
eWorkbook took screenshots of each task to record their work.
During each intervention day, the PI completed a fidelity of
treatment checklist to ensure the students were using the correct
materials, all cameras were positioned, and all work samples
were collected and labeled into digital folders.
Research Design
We were most interested in understanding how the utilization
of multimedia supports (such as those included in the eWork-
book) might impact the learning of students with diverse aca-
demic strengths and needs. Consequently, we used a case study
research strategy (Yin, 1984) to investigate how students from
three different subgroups utilized the eWorkbook to practice
whole number multiplication and division. In order to under-
stand how work habits and mathematical performance poten-
tially differ when multimedia supports are present, we
administered the three worksheet types (PPW, SCW, and
eWorkbook) on a randomized and balanced schedule to ensure
we would observe students from all subgroups using the dif-
ferent worksheets across different instructional stimuli (e.g.,
math topic, teacher’s pace, student behavior/knowledge, day
of the week, and length of the lesson). Thus, on each interven-
tion day, the schedule predetermined which student subgroup
received which worksheet condition.
Quantitative data sources. As part of our exploration, we mea-
sured student accuracy across the different worksheet condi-
tions. Each day, student worksheets or screenshots of their
eWorkbook activities were graded to generate a daily accuracy
score for each student. Single-step problems were scored out of
1 point and multistep problems were scored out of 4–5 points,
depending on the complexity of the problem and number of
steps involved. We also examined students’ level of indepen-
dence across worksheet conditions. The PI video recorded the
classroom each intervention day and used video analysis soft-
ware (Studiocode
™ v.10) to calculate the percentage of time
each student spent working without assistance from the teacher
or the TA during the independent work period.
Qualitative data sources. To provide a more robust understanding
of the eWorkbook’s impact on student math achievement, the
researchers examined daily work samples, video recordings of
independent work sessions, field notes, and transcriptions of
teacher and student interviews to carry out within-case and
cross-case analysis.
Data Analysis
Given the use of both quantitative and qualitative data sources,
we employed mixed methods for data analysis. Specifically, we
utilized a fully mixed sequential equal status design (Leech &
Onwuegbuzie, 2009), meaning both data types were collected
simultaneously across multiple phases, but for the analysis,
they were utilized sequentially with roughly equal emphasis.
After calculating daily accuracy and independence scores using
the procedures described above, we generated a daily
“independent accuracy” composite score for each student to
represent the intersection of their mathematical performance
and their work habits. We generated this score by plotting pairs
of points on a scatterplot graph (independence score on the
x-axis and accuracy score on the y-axis) and measuring
the linear distance from the origin to that point. We focused
the qualitative analysis by primarily examining video record-
ings, lesson plans, field notes, and student work samples on
intervention days when students who used the eWorkbook had
either very high or low independent accuracy composite scores
relative to the other worksheet conditions. We also looked for
trends within and between student subgroups (i.e., Tier 1, Tier
2, and MLD) on these days.
Key features of building theory from case study research
include a priori specification of constructs, the triangulation
of multiple data sources, flexible methods/data sources, and
within-case and cross-case analyses of data (Eisenhardt,
1989). For our analysis, we examined data using theoretical
thematic analysis (Braun & Clarke, 2006) to search for trends
in mathematical knowledge and expression and independent
work habits while using the eWorkbook. With this type of
analysis, our research questions and theoretical framework
(UDL) helped drive the initial codes used to label work samples
and anecdotal notes. Student work samples and anecdotal notes
were labeled using digital spreadsheets, and videos were
labeled and analyzed using video coding software (Studio-
code). Similar codes were grouped together by theme in a code
hierarchy (see Supplemental Online Table S1) to look for pat-
terns within and between data sources.
46
Journal of Special Education Technology 34(1)

---

One doctoral scholar was recruited to double code a ran-
dom sample of 25% of the student work samples for each
condition as a form of interrater reliability (IRR) for the accu-
racy measure, which always exceeded 80% IRR. A similar
process was used to double code video samples for the inde-
pendence measure. Any disagreements were resolved until
100% agreement was reached. Another scholar assisted the
PI in generating and refining the qualitative code hierarchy
used for the qualitative analysis.
Results
We collected quantitative data about student accuracy and
independence and calculated daily independent accuracy
scores for each condition across subgroups as well as for each
subgroup within each condition across the entire study (see
Table 2). These data helped focus our qualitative analysis, as
we primarily examined data from video recordings, lesson
plans, field notes, and work samples on days when students
who used the eWorkbook had relatively high or low indepen-
dent accuracy compared to the other conditions.
Benefits of Multimedia Supports
The first research question targeted how and under what con-
ditions the multimedia supports in the eWorkbook facilitated
learning as evidenced by students’ ability to express their
understanding of whole number multiplication and division.
The PI provided training on the features of the eWorkbook
including how to use the widgets, scaffolds, accessibility fea-
tures, and capture work via screenshots. Neither the PI nor the
teacher provided instruction about how or when to use multi-
media supports to enhance problem-solving because one of the
goals of this study was to see how the students would utilize the
technology on their own. We found the eWorkbook was most
“effective” (i.e., higher independent accuracy composite scores
relative to the other worksheet types) on the same intervention
days (Day 3 and Day 9) for all three subgroups of students.
Throughout the study, student scores were also the most con-
sistent in the eWorkbook for all subgroups (see Table 2 for
standard deviations). For students in the MLD subgroup, the
eWorkbook was most effective on 7 (58%) of the intervention
days. In fact, students from this subgroup were most indepen-
dently accurate when using one of the two scaffolded
conditions (eWorkbook or SCW) on 10 of the 12 intervention
days (83%), which is a testament to the usefulness of those
scaffolds for students with or at risk of MLD.
Lesson elements. Our qualitative analysis of effective eWork-
book days revealed several themes in lesson content or deliv-
ery. These effective days included a variety of problem types
(e.g., math fact review, procedural review, conceptual repre-
sentations, and word problems) and included cumulative
review. On effective eWorkbook days, we observed almost all
of the students across subgroups using the pop-up hints and
review videos as they worked. Although two of the students
still required teacher support after watching the review videos
(both from the MLD subgroup), the other three students who
watched review videos on the effective eWorkbook days did
not ask for teacher support afterward. Additionally, on these
days, we observed the teacher and TA verbally encouraging
students to use the supports in the eWorkbook before asking for
assistance. These lessons had no mechanical or mathematical
errors in the eWorkbook nor any mismatch between teacher
instruction and eWorkbook supports.
eWorkbook elements. Each day, the eWorkbook included some
combination of up to five different types of widgets for
problem-solving (e.g., drag-and-drop, writing, quiz, matching,
and spot the differences), each possessing different affordances
that supported students’ expression of mathematics knowledge.
Several widgets offered some form of immediate feedback
(e.g., quiz and spot the differences) and were used to review
prerequisite knowledge or for planning extended response
questions. Students in all subgroups, particularly those in the
MLD subgroup, reported enjoying different ways to review that
were not available in the PPW and SCW conditions. The imme-
diate feedback in the spot the differences widget proved par-
ticularly beneficial in helping students identify procedural
errors (see example in Table 1). The widget required users to
tap on the differences between two pictures and provided
immediate feedback to the user by displaying either a green
(correct) or red (incorrect) circle. The PI customized this wid-
get to show images of correct and incorrect procedures for
solving a division problem using the traditional algorithm. Stu-
dents were asked to click on the two errors in the incorrect
procedure and then write an extended response explaining
those errors. All students in the study wrote extended responses
during the unit, but only eight had access to the spot the dif-
ference widget because they were in the eWorkbook condition.
Only four students (including two from the MLD subgroup)
received full points on this question; all four had access to the
immediate feedback from the widget. Four other students who
used the widget, but did not get full points, failed to follow the
on-screen directions and did not receive immediate feedback as
a support.
Pop-up hints, review videos, and audio recordings were
included in the eWorkbook to give students support options
when waiting for help from the teacher or TA. In the final
student interviews, 67% of students (12 of the 18 who were
Table 2. Accuracy/Independence Composite Means and Standard
Deviations.
eWorkbook
Scaffolded
Traditional
Student Subgroup
M
SD
M
SD
M
SD
Tier 1
131.10
5.50
133.61
4.22
124.46
10.45
Tier 2
130.36
7.27
131.14
3.91
125.17
7.29
MLD
121.80
8.94
118.26
12.50
121.96
12.33
All
128.38
7.87
128.67
9.37
124.06
9.47
Note. MLD
¼ mathematics learning disability; SD ¼ standard deviation.
Kaczorowski et al.
47

---

interviewed) reported using pop-up hints and 61% reported
using the review videos as eWorkbook supports. Most students
reported using the videos and hints with a hierarchical
approach—first, they would try the hint and if it was not
enough, they would then try the video. Only one student (from
the MLD subgroup) who used the videos did not also use the
hints because he said the hints did not help him. The use of
media supports was common in the MLD subgroup; all but one
student from this subgroup reported using the videos regularly,