Accuracy of Deep Learning Echocardiographic View Classification in Patients with Congenital or Structural Heart Disease: Importance of Specific Datasets

Table 2.
Confusion matrix of the general algorithm results in classification of echocardiographic views of patients with CSHD. A2C = Apical 2 chamber, A3C = Apical
3 chamber, A4C = Apical 4 chamber, PLAX = Parasternal long axis, PSAX = Parasternal short axis. Background colors depict strength of classification.
General Algorithm Interpretation in %
Ground truth
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
other
PLAX left ventricle (1)
76.5
5.9
0.4
4.8
0.4
0.4
0.2
3.6
0.2
7.9
PLAX zoomed MV (2)
33.3
33.3
33.3
PLAX RV inflow (3)
18.2
40.9
18.2
4.5
9.1
4.5
4.5
PSAX focus on AV (4)
6.5
0.7
69.9
0.3
0.3
4.794
8.2
0.3
8.9
PSAX papillary muscles (5)
7.7
2.7
5.4
63.0
0.8
0.3
3.8
0.5
0.3
0.3
0.3
10.2
4.8
PSAX apex (6)
9.6
0.8
3.2
59.7
3.2
1.6
0.8
11.3
2.4
7.3
PSAX zoomed AV (7)
40.0
20.0
40.0
PSAX MV (8)
20.8
0.4
2.0
7.5
33.8
0.5
0.4
11.3
0.5
1.1
0.2
0.5
0.2
10.7
0.2
10.0
Apical 4 chamber (9)
1.8
0.2
0.5
3.1
0.3
52.7
1.9
23.7
1.1
2.4
1.1
3.0
2.6
3.3
A4C zoomed left ventricle (10)
2.8
2.8
4.7
0.5
10.4
62.7
0.5
10.4
0.5
0.9
0.5
3.3
Apical 5 chamber (11)
2.7
2.7
0.9
20.0
26.4
25.5
1.8
2.7
1.8
4.5
10.9
Apical 2 chamber (12)
5.6
0.9
0.6
3.8
0.6
4.1
2.8
31.3
30
3.7
4.0
4.4
8.1
A2C zoomed left ventricle (13)
2.2
3.3
1.1
1.1
15.4
2.2
57.1
1.1
6.6
3.3
6.6
Apical 3 chamber (14)
14.4
1.6
1.0
5.5
0.3
2.6
2.0
0.7
1.0
1.6
28.5
31.3
1.3
8.8
A3C zoomed left ventricle (15)
11.1
11.1
11.1
11.1
11.1
44.4
Subcostal 4 chamber (16)
0.5
1.0
1.0
1.5
0.5
87.7
7.8
Suprasternal aortic arch (17)
1.9
17.9
6.0
6.0
1.5
19.4
34.3
13.0

---

J. Clin. Med. 2022, 11, 690
7 of 11
Table 3.
Confusion matrix of general algorithm results in classification of echocardiographic views of patients without cardiac abnormality. A2C = Apical 2 chamber,
A3C = Apical 3 chamber, A4C = Apical 4 chamber, PLAX = Parasternal long axis, PSAX = Parasternal short axis. Background colors depict strength of classification.
General Algorithm Interpretation in %
Ground truth
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
other
PLAX left ventricle (1)
98.4
1.6
PLAX zoomed MV (2)
33.3
66.6
PLAX RV inflow (3)
75.0
25.0
PSAX focus on AV (4)
19.4
2.8
63.8
8.3
2.8
2.8
PSAX papillary muscles (5)
7.2
1.0
2.0
1.0
79.4
6.2
3.1
PSAX apex (6)
94.5
0
5.5
PSAX zoomed AV (7)
-
PSAX MV (8)
10.6
2.1
2.1
4.3
48.9
19.1
10.6
2.1
Apical 4 chamber (9)
0.7
77.5
20.5
1.3
A4C zoomed left ventricle (10)
16.7
66.7
4.2
4.2
4.2
4.2
Apical 5 chamber (11)
14.3
35.7
21.4
28.6
Apical 2 chamber (12)
57.1
21.4
21.4
A2C zoomed left ventricle (13)
11.1
11.1
22.2
22.2
11.1
11.1
11.1
Apical 3 chamber (14)
13.3
6.7
6.7
6.7
6.7
33.3
26.7
A3C zoomed left ventricle (15)
66.7
33.3
Subcostal 4 chamber (16)
100
Suprasternal aortic arch (17)
20.0
40.0
40.0

---

J. Clin. Med. 2022, 11, 690
8 of 11
Table 4.
Confusion matrix of the results of the CSHD-specific algorithm in classification of echocardiographic views of patients with CSHD. A2C = Apical 2 chamber,
A3C = Apical 3 chamber, A4C = Apical 4 chamber, CSHD = Congenital or structural heart disease, PLAX = Parasternal long axis, PSAX = Parasternal short axis.
Background colors depict strength of classification.
CSHD-Specific Algorithm Interpretation in %
Ground truth
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
other
PLAX left ventricle (1)
94
2
1
1
1
1
PLAX zoomed MV (2)
94
5
1
PLAX RV inflow (3)
1
80
1
9
3
4
2
PSAX focus on AV (4)
2
3
88
2
1
3
PSAX papillary muscles (5)
1
1
68
26
3
1
1
PSAX apex (6)
2
48
6
2
26
6
6
3
6
1
PSAX zoomed AV (7)
PSAX MV (8)
1
1
46
52
Apical 4 chamber (9)
1
1
91
4
1
1
1
A4C zoomed left ventricle (10)
10
69
20
1
Apical 5 chamber (11)
21
1
78
Apical 2 chamber (12)
6
6
80
5
2
1
A2C zoomed left ventricle (13)
3
6
27
32
32
Apical 3 chamber (14)
4
3
2
3
88
A3C zoomed left ventricle (15)
3
90
7
Subcostal 4 chamber (16)
100
Suprasternal aortic arch (17)
6
1
93

---

J. Clin. Med. 2022, 11, 690
9 of 11
4. Discussion
The present study is the first to directly compare the accuracy of a convolutional
neural network developed in general cardiology cohorts with a neural network trained
with a C/SHD-specific dataset for echocardiogram view classification. We were able
to demonstrate the superiority of a DNN trained with a C/SHD-specific dataset in the
identification of echocardiographic views in this distinct group of patients.
Automated view classification is an important part of completely autonomous echocar-
diography interpretation by deep neural networks [
13
]. Zhang et al. [
12
] as well as other
working groups [
13
,
14
] and our present study document the high accuracy in the identifi-
cation of echocardiographic views by a DNN trained and validated in a cohort of general
cardiology patients when applied to these patients or patients without a cardiac abnor-
mality. However, the present study indicates that this DNN’s precision is considerably
decreased in a patient population with underlying congenital or structural heart disease.
This is comprehensible from a clinical point of view as patients with a diverse set of
congenital and structural heart diseases such as our included patient population display
various abnormalities ranging from displaced or abnormally configured valves (Ebstein
anomaly) to atypically configured (non-compaction cardiomyopathy) or virtually absent
heart chambers (hypoplastic left heart syndrome). Since patients with C/SHD are at an
increased risk of morbidity and mortality [
15
,
16
], misidentification in automated clinical
workflows may impede care in this patient population already at a far greater risk than the
general population.
A recent study by Narang et al. [
6
] evaluated a deep neural network in guiding
medical personnel previously untrained in echocardiography to obtain diagnostic TTE
images for evaluation of right- and left-ventricular function and the presence of pericar-
dial effusion. While the need for manual acquisition of images and the range of different
imaging planes may slow the automation of echocardiography, this demonstrates the pro-
found changes in the practice of echocardiography possible with the utilization of artificial
intelligence [
17
,
18
]. Although likely increasing efficiency in the diagnosis and treatment of
common cardiac conditions such as ischemic cardiomyopathy, comparatively rare disorders
such as a congenital heart disease may be underdiagnosed or misclassified by DNNs not
trained in these specific conditions. This may be especially important in common echocar-
diography indications such as the quantification of ejection fraction or pericardial effusion.
Further studies should aim to integrate or combine models trained in general cardiology
and C/SHD cohorts to avoid possible blind spots concerning uncommon diseases.
While a previous study has reported on convolutional neural networks trained and
validated for view classification in patients with atrial or ventricular septal defects [
19
],
the present DNN was trained in a larger and more diverse patient population. Atrial
and ventricular septal defects are an important and common congenital malformation,
but their presence usually does not substantially alter the overall structure of the cardiac
chambers. Conversely, our included patient population contained patients with a variety of
congenital and structural heart diseases which may substantially alter the cardiac structures
and, therefore, present an independent challenge in view classification for both human
interpreters and artificial intelligence.
Limitations
The present study was conducted as a single-center experiment and echocardiographic
studies were gathered from a large tertiary university center for adult congenital heart dis-
ease. Therefore, included images may be of greater homogeneity than might be achievable
in a community, multi-center setting. However, included images were obtained across
different ultrasonography systems by multiple echocardiographers with considerable vari-
ation in underlying disease and image quality. Importantly, studies were acquired across
the spectrum of inpatient and outpatient indications and a diverse range of underlying
disease etiologies. We focused on exploring the importance of disease-specific datasets
for accurate view-classification. Alternatively, a systematic exploration of various CNN

---

J. Clin. Med. 2022, 11, 690
10 of 11
designs and their impact on the accuracy of view detection could have been investigated.
Further work is required to assess whether optimizing the underlying CNN model would
improve classification results beyond using disease-specific datasets.
5. Conclusions
Automated view classification is an important part of echocardiographic interpreta-
tion by deep neural networks. While a convolutional neural network trained in general
cardiology patients showed acceptable accuracy in this cohort, echocardiographic views
in patients with congenital or structural heart disease were frequently misidentified. In
this regard, a convolutional neural network trained specifically in this subset of patients
showed a much improved accuracy, highlighting the need for specific neural networks in
this important group of patients.