Nonverbal Communication

FUTURE DIRECTIONS AND CONCLUSIONS
Technology
Technology has always been crucial to the development of the NVC field. Photography and, later,
audio and video recording allowed researchers to capture behavior for analysis. Behaviors that have
been difficult for human observers to code can now be supplemented by additional technologies;
for example, eye tracking is used to document what parts of stimuli, or which stimuli, are attended
to. The newest frontier in technology is automated and computer-assisted measurement. Because
coding nonverbal behavior with human observers is laborious (even with the efficiencies resulting
from the use of thin slices), computerized methods of measurement have great appeal. With
computer assistance, coders can enter their observations with automatic time stamps, enabling easy
measurement of both frequency and duration and allowing for exact coordination among behaviors
over time, both within and between interactants. Some sophisticated methods such as machine
learning still require human coders or strong normative knowledge for establishing the training
parameters. Measurement that is entirely automated may eliminate human coders, but such tools
present new challenges, including equipment costs, better extraction for some kinds of behavior
than for others, the need for expert consultants, and constraints on the nature of the stimuli to be
analyzed (e.g., camera or head angles, lighting, background noise) (Schmid Mast et al. 2015).
Aside from these pragmatic considerations, there are also theoretical issues involved in a choice
of measurement methodology. Automated measurement has strong appeal for its accuracy and
granularity, yet it does not necessarily serve the theoretical interests of researchers. That is be-
cause measuring a behavior is not the same as understanding its meaning or function. Human
observers remain crucial for making both mid-level and high-level inferences. As an example, the
automated system might quantify foot, hand, and finger movements (frequency, duration, accel-
eration, articulation, direction, location), while an observer might rate fidgetiness (a mid-level
behavior impression made after watching all of these movements), and yet another observer might
rate deceptiveness, anxiety, or impatience (a high-level impression that could be based on the
inference of fidgetiness along with other cues). Researchers must decide what level of inference
best serves their research goals: pure description, some integration, or a high degree of inference.
With sufficient resources, one could measure behavior at all three levels.
Another interface of NVC with technology is in affective computing, the field concerned with
computer systems that can detect and label human affective expressions or effectively simulate
them, as in avatars, animations, and robots (Calvo et al. 2015, Daily et al. 2017). One partic-
ularly relevant strand of this research and technology development involves the animation and
recognition of emotional expressions on the face (Bartlett et al. 2011, Krumhuber et al. 2012).