Jrit-04-2021-0028 proof

participant
’
s ranking for that feature. The corresponding LoU state was then used to
characterize users as non-users, low-level users, mid-level users and high-level users. Users
with overall LoU states of 0 were classified as non-users. Users whose overall average fell
within Levels I and II were acquiring information to prepare for use and were classified
as low-level users. At Levels III and IVA, use has become routine and stabilized. Thus,
these users were classified as mid-level users. Finally, Levels IVB, V and VI represented
high-level users who are collaborating with others and exploring alternatives to improve the
experience for the client.
Results and discussion
Research question 1: Instructor levels of use of E-textbook features
Results showed that on average six e-textbook features were Level 1 (Orientation). These six
features were highlighting text and sharing, making notes and sharing, exporting text or
notes, interactive practice questions or games, web links and videos/animations. Two
features were Level 0 (non-use) on average. These features were tracking and analysis of
e-textbook use and just-in-time learning or performance support. The overall non-existent to
low LoU of features may indicate instructors are not using e-textbooks any differently than
paper textbooks; thus, e-textbooks would be mere PDF documents of print textbooks.
Previous research indicated these static mediums are not perceived favorably by students
n
%
Gender
Male
14
45.2
Female
17
54.8
Age
20
–
29 years
3
9.7
30
–
39 years
4
12.9
40
–
49 years
12
38.7
50
–
59 years
3
9.7
≥
60 years
9
29.0
Degree
Associate
’
s
0
0
Bachelor
’
s
4
12.9
Master
’
s
20
64.5
Doctorate
7
22.6
Division
Humanities and Social Sciences
14
45.2
Mathematics and Natural Sciences
13
41.9
Business/CIS
4
12.9
Health
0
0
Years of college-level teaching
M
5
13.0 (
SD
5
8.5)
Number of professional development experiences
M
5
3.6 (
SD
5
4.0)
Number of semesters using e-textbooks
M
5
2.9 (
SD
2.2)
Table 3.
Demographic statistics
for instructors
JRIT

---

(
Shepperd
et al.
, 2008
). Research by
Stone and Baker-Everleth (2013)
concluded that
instructors
’
verbal persuasion to use e-textbook features had a positive influence on students
’
attitudes toward and intentions to use e-textbooks. In this case, if instructors are not
incorporating the features into their methods of teaching, they are likely not encouraging
students to use the features either. Research has also shown that this lack of use of e-textbook
features by students may be related to a lack of satisfaction with e-textbooks (
Ciampa
et al.
, 2013
).
Some non-use of e-textbook features can be attributed not to an instructor
’
s lack of
training or initiative but instead to the lack of availability of that feature. The growing market
of digital learning content has forced textbook publishers to reevaluate their business models
and whether they will be content experts or platform experts (
Reynolds, 2012
). As such, some
textbooks do not offer the interactivity of others. In this study, nine instructors (29%)
reported their e-textbook did not offer videos/animations. Five instructors (16.1%) reported
their e-textbook did not offer interactive practice questions or games. Five instructors (16.1%)
also reported their e-textbook did not offer web links.
Among the eight features evaluated, just-in-time learning or performance support was the
feature overwhelmingly not used by instructors (
n
5
26, 83.9%). The overall non-use of just-
in-time learning or performance support indicates instructors and students may not be
exploiting the mobility of e-textbooks. Access to e-textbooks on mobile devices by mobile
learners creates new learning opportunities. These include situated learning and
collaborative learning in a learner-centric environment outside the classroom (
Traxler,
2009
). The college may want to consider exploring mobile learning pedagogy with
instructors, given the ubiquity of mobile devices and students
’
expectations to access their
instructional materials on mobile devices (
Smith and Caruso, 2010
). A frequency distribution
of LoU classification by feature is shown in
Figure 1
.
The low LoU values for features should not be construed as negative. The LoU model is
not intended to be a performance evaluation, but a method of quantifying behaviors and
actions. The LoU values represent one point in time during the college
’
s e-textbook pilot
period and can serve as a baseline for future measurements.
Figure 1.
Frequency distribution
of LoU classifications
by feature
E-textbook
technology

---

Research question 2: Differences in levels of use among programs of study
This research question sought to determine if there were differences in instructor LoU among
the school
’
s four programs or divisions. The mean LoU for Humanities and Social Sciences
was 1.83 (SD
5
0.63), while Math and Natural Sciences was 2.31 (SD
5
0.85) and Business/CIS
was 2.22 (SD
5
0.99). Unfortunately, there were no LoU responses from the division of Health
for comparison. Due to the small number of responses from the Business/CIS division, only
differences between the division of Humanities and Social Sciences and the division of Math
and Natural Sciences were analyzed for significance, using a nonparametric statistical
procedure for independent samples. The Mann
–
Whitney
U
-test revealed no significant
difference in the LoU values (
z
5
1.63,
p
5
0.10). It appears LoU is similar among instructors
and no single division is excelling in the integration of e-textbook features. While the
p
-value
did not show significance, the effect size of 0.31 indicated a medium association between the
two programs. Therefore, a potential difference in LoU exists between the division of
Humanities and Social Sciences and the division of Math and Natural Sciences, but the small
sample size may have limited the ability to detect a difference.
It should be noted that these results represent a single self-assessment of instructors at a
single point in time of the e-textbook initiative. Paramount to the CBAM and LoU frameworks
is the principle that the successful adoption of an innovation is a process that occurs over
time. As such, the college may find value in conducting prescribed interventions and
repeating the evaluation.
Research question 3: Instructor demographic characteristics and levels of use
ANOVA test results showed no significant difference in LoU by age (
F
(4.26)
5
1.04,
p
5
0.41),
gender (
F
(1.29)
5
2.36,
p
5
0.59) or education level (
F
(2.28)
5
0.90,
p
5
0.42).
Two variables were selected for multiple linear regression: Years of teaching and number
of professional development experiences. These variables had been found to have positive
relationships with LoU in previous studies. The Pearson correlation coefficient revealed a
weak, negative relationship between LoU and years of teaching (
r
5
0.01,
p
5
0.48,
R
2
5
0.0001). There was a moderate, positive relationship between LoU and number of
professional development experiences (
r
5
0.35,
p
5
0.03,
R
2
5
0.122). Regression analysis
revealed the number of professional development sessions was a significant predictor of LoU,
controlling for years of teaching (
t
(28)
5
2.17,
p
5
0.04).
The e-textbook study found a weak, negative relationship between years of teaching and
instructor LoU. This may indicate the relationship between LoU and years of teaching is
context-specific. While some technologies may be more readily adapted by experienced
teachers, others are more readily adapted by less experienced and perhaps younger teachers.
The e-textbook study found a significant, positive relationship between professional
development opportunities and LoU.
Research question 4: Comparison of student performance between text formats
After identifying instructors
’
LoU of e-textbook features, the study then investigated student
learning with e-textbooks during the pilot period. With assistance from the institution
’
s
Distance Learning Coordinator, 27 cases were identified for comparison. Sample selection
criteria for course comparisons were as follows: (1) The same instructor taught both an
e-textbook section of the course and a traditional print section of the course; (2) the same
textbook was used in the e-textbook section of the course and the traditional print section of
the course; (3) the same class format (classroom, online and hybrid) was used for the
e-textbook section and the traditional print section; and (4) The instructor used the same
assessment measures in the e-textbook section and the traditional print section, as
determined by the grading plan of the syllabus. In all cases, there was no difference in final
JRIT

---

course grades between e-textbook and paper textbook sections. This finding aligns with the
majority of research studies on e-textbook efficacy (
Daniel and Woody, 2012
;
Shepperd
et al.
,
2008
;
Taylor, 2011
). A positive finding from the e-textbook trial is that student grades were
not negatively impacted during the pilot period.
There were two cases showing a marginally significant difference in performance between
the text formats using an alpha controlled for the family-wise error rate of 0.002. A
comparison of Theatre Appreciation showed the e-textbook grade average (
M
5
2.31,
SD
5
1.60) was lower (
p
5
0.002) than the paper text section (
M
5
2.96, SD
5
1.33) with a 0.47
effect size (medium). A comparison of Art History I showed the e-textbook grade average
(
M
5
2.23, SD
5
1.39) was lower (
p
5
0.002) than the paper text section (
M
5
3.09, SD
5
0.98)
with a 0.74 effect size (medium to large). This finding supports previous research which
suggests some subjects are more amenable to the electronic format than others (
Bailey, 2006
).
Data collected from the libraries of several large, higher education institutions reveal that the
most popular subjects for electronic access were computer science, technology/engineering,
economics/business, medicine/health/wellness and literature.
Dillon (2001)
postulates that
subjects such as these
“
lend themselves to the quick reference-style look-ups that are already