Inter-rater reliability in the classification of supraspinatus tendon tears using 3D ultrasound – a question of experience?

• Authors: Giorgio Tamborrini , Christian Marx , Raphael Micheroli

Title variants

PL

Zgodność oceny stopnia uszkodzenia ścięgna mięśnia nadgrzebieniowego w ultrasonografii 3D – kwestia doświadczenia?

• Languages of publication: EN PL

Abstracts

EN

Background: Three-dimensional (3D) ultrasound of the shoulder is characterized by a comparable accuracy to two-dimensional (2D) ultrasound. No studies investigating 2D versus 3D inter-rater reliability in the detection of supraspinatus tendon tears taking into account the level of experience of the raters have been carried out so far. Objectives: The aim of this study was to determine the inter-rater reliability in the analysis of 3D ultrasound image sets of the supraspinatus tendon between sonographer with different levels of experience. Patients and methods: Non-interventional, prospective, observational pilot study of 2309 images of 127 adult patients suffering from unilateral shoulder pain. 3D ultrasound image sets were scored by three raters independently. The intra-and interrater reliabilities were calculated. Results: There was an excellent intra-rater reliability of rater A in the overall classification of supraspinatus tendon tears (2D vs 3D κ = 0.892, pairwise reliability 93.81%, 3D scoring round 1 vs 3D scoring round 2 κ = 0.875, pairwise reliability 92.857%). The inter-rater reliability was only moderate compared to rater B on 3D (κ = 0.497, pairwise reliability 70.95%) and fair compared to rater C (κ = 0.238, pairwise reliability 42.38%). Conclusions: The reliability of 3D ultrasound of the supraspinatus tendon depends on the level of experience of the sonographer. Experience in 2D ultrasound does not seem to be sufficient for the analysis of 3D ultrasound imaging sets. Therefore, for a 3D ultrasound analysis new diagnostic criteria have to be established and taught even to experienced 2D sonographers to improve reproducibility.

PL

Wprowadzenie: Ultrasonografia trójwymiarowa (3D) barku jest uznawana za metodę o porównywalnej dokładności w stosunku do ultrasonografii dwuwymiarowej (2D). Jak dotąd nie przeprowadzono żadnego badania porównującego ultrasonografię 2D i 3D w diagnostyce zerwania ścięgna mięśnia nadgrzebieniowego z uwzględnieniem poziomu doświadczenia badaczy. Cele: Celem niniejszego badania było porównanie oceny patologii ścięgna nadgrzebieniowego za pomocą badania 3D pomiędzy operatorami o różnym poziomie doświadczenia. Pacjenci i metody: Pilotażowe nieinterwencyjne, prospektywne, obserwacyjne badanie 2309 obrazów uzyskanych z badań 127 dorosłych pacjentów cierpiących z powodu jednostronnego bólu barku. Zestawy obrazów 3D zostały ocenione w sposób niezależny przez trzech badaczy. Obliczono poziom zgodności pomiędzy badaczami oraz świadozgodność ocen jednego badacza. Wyniki: Badacz A wykazał się bardzo wysokim poziomem zgodności swoich ocen w ogólnej klasyfikacji zerwania ścięgna mięśnia nadgrzebieniowego (2D vs 3D κ = 0,892, porównywalność parami 93,81%, runda ocen obrazów 3D nr 1 vs runda ocen obrazów 3D nr 2 κ = 0,875, porównywalność parami 92,857%). Zgodność pomiędzy badaczami była tylko umiarkowana w porównaniu z badaczem B (obrazy 3D) (κ = 0,497, porównywalność parami 70,95%) i przeciętna w porównaniu z badaczem C (κ = 0,238, porównywalność parami 42,38%). Wnioski: Wiarygodność interpretacji obrazów 3D ścięgna mięśnia nadgrzebieniowego jest zależna od poziomu doświadczenia operatora. Doświadczenie w ultrasonografii 2D zdaje się być niewystarczające do analizy zestawów obrazów 3D. Z tego powodu należy opracować nowe kryteria diagnostyczne dla analizy obrazów 3D i wprowadzić nauczanie interpretacji badań ultrasonografii trójwymiarowej, aby w ten sposób zwiększyć poziom odtwarzalności.

Keywords

EN

3D ultrasound; inter-rater reliability; odtwarzalność; pierścień rotatorów; reproducibility; shoulder rotator cuff; ultrasonografia; ultrasonografia 3D; ultrasound; zgodność ocen

Discipline

• MEDICINE: MEDICINE

• Publisher: Medical Communications
• Journal: Journal of Ultrasonography
• Year: 2016
• Volume: 16
• Issue: 66
• Pages: 252–259

Contributors

author

Giorgio Tamborrini

• Ultrasound Center and Rheumatology Department, Bethesda Hospital Basel, Switzerland

author

Christian Marx

• Ultrasound Center and Rheumatology Department, Bethesda Hospital Basel, Switzerland

author

Raphael Micheroli

• University Hospital Zürich, Rheumatology Department, Switzerland

References

• 1. Yablon CM, Bedi A, Morag Y, Jacobson JA: Ultrasonography of the shoulder with arthroscopic correlation. Clin Sports Med 2013; 32: 391–408.
• 2. Wiener SN, Seitz WH Jr.: Sonography of the shoulder in patients with tears of the rotator cuff: accuracy and value for selecting surgical options. AJR Am J Roentgenol 1993; 160: 103–1010.
• 3. van Holsbeeck MT, Kolowich PA, Eyler WR, Craig JG, Shirazi KK, Habra GK, Vanderschueren GM, Bouffard JA: US depiction of partial-thickness tear of the rotator cuff. Radiology 1995; 197: 443–446.
• 4. Bachmann GF, Melzer C, Heinrichs CM, Möhring B, Rominger MB: Diagnosis of rotator cuff lesions: comparison of US and MRI on 38 joint specimens. Eur Radiol 1997; 7: 192–197.
• 5. Teefey SA, Hasan SA, Middleton WD, Patel M, Wright RW, Yamaguchi K: Ultrasonography of the rotator cuff. A comparison of ultrasonographic and arthroscopic findings in one hundred consecutive cases. J Bone Joint Surg Am 2000; 82: 498–504.
• 6. O’Connor PJ, Rankine J, Gibbon WW, Richardson A, Winter F, Miller JH: Interobserver variation in sonography of the painful shoulder. J Clin Ultrasound 2005; 33: 53–56.
• 7. Rutten MJ, Jager GJ, Blickman JG: From the RSNA refresher courses: US of the rotator cuff: pitfalls, limitations, and artifacts. Radiographics 2006; 26: 589–604.
• 8. Kelly IM, Gardener JE, Lees WR: Three-dimensional fetal ultrasound. Lancet 1992; 339: 1062–1064.
• 9. Sohn Ch, Lenz GP, Thies M: Die dreidimensionale Ultraschalldarstellung der Säuglingshüfte. Ultraschall in Med 1990; 11: 302–305.
• 10. Riedl S, Kühner C, Tauscher A, Gühring U, Sohn C, Meeder PJ: Experimentelle Untersuchung von Meniskusläsionen. Chirurg 1997; 68: 1150–1155.
• 11. Co S, Bhalla S, Rowan K, Aippersbach S, Bicknell S: Comparison of 2- and 3-dimensional shoulder ultrasound to magnetic resonance imaging in a community hospital for the detection of supraspinatus rotator cuff tears with improved worktime room efficiency. Can Assoc Radiol J 2012; 63: 170–176.
• 12. Wallny T, Schild RL, Perlick L, Schulze Bertelsbeck D, Schmitt O: Die dreidimensionale Ultraschalluntersuchung der Rotatorenmanschette. Ultraschall in Med 2000; 21: 180–185.
• 13. Hayter CL, Miller TT, Nguyen JT, Adler RS: Comparative analysis of 2- versus 3-dimensional sonography of the supraspinatus tendon. J Ultrasound Med 2012; 31: 449–453.
• 14. Tamborrini G, Marx C, Müller AM, Szöllösy GPL, Draghi F, Bianchi S: Ultrasound, Anatomy and Arthroscopy of the Shoulder. Books on Demand, Norderstedt 2015.
• 15. European Society of Musculoskeletal Radiology: http://www.essr.org/cms/website.php?id=/en/index/educational_material.htm/.
• 16. Landis JR, Koch GG: An application of hierarchical kappa-type statistics in the assessment of majority agreement among multiple observers. Biometrics 1977; 33: 363–374.
• 17. Scheel AK, Schmidt WA, Hermann KG, Bruyn GA, D’Agostino MA, Grassi W et al.: Interobserver reliability of rheumatologists performing musculoskeletal ultrasonography: results from a EULAR “Train the trainers” course. Ann Rheum Dis 2005; 64: 1043–1049.
• 18. Naredo E, Möller I, Moragues C, de Agustín JJ, Scheel AK, Grassi W et al.: Interobserver reliability in musculoskeletal ultrasonography: results from a “Teach the Teachers” rheumatologist course. Ann Rheum Dis 2006; 65: 14–19.
• 19. Le Corroller T, Cohen M, Aswad R, Pauly V, Champsaur P: Sonography of the painful shoulder: role of the operator’s experience. Skeletal Radiol 2008; 37: 979–986.
• 20. Wallny TA, Theuerkauf I, Schild RL, Perlick L, Bertelsbeck DS: The three-dimensional ultrasound evaluation of the rotator cuff – an experimental study. Eur J Ultrasound 2000; 11: 135–141.
• 21. Spencer EE Jr, Dunn WR, Wright RW, Wolf BR, Spindler KP, McCarty E et al.; Shoulder Multicenter Orthopaedic Outcomes Network: Interobserver agreement in the classification of rotator cuff tears using magnetic resonance imaging. Am J Sports Med 2008; 36: 99–103.

• Document Type: article