Validation of assessment tool for cranial ultrasound performance

Abstract

IntroductionDue to rapid advances in obstetrics and neonatal care, cranial ultrasound (US) has become the standard method for evaluating intracranial abnormalities in preterm neonates. To develop sufficient numbers of skilled cranial ultrasonologists, evaluating them using a consistent and suitable assessment tool is necessary. The objective of this study is to create an evaluation tool for cranial US performance.Materials and MethodsWe used a modified Delphi method to produce a quality assessment tool for evaluating cranial US performance. The researcher developed the initial evaluation tool items following a literature review and then the expert panel modified them using a three-round Delphi process. Rubric scales for grading assignments were added when consensus regarding generated items was reached. Experts were consulted to confirm the final assessment tool using a rubric scale. Two raters evaluated cranial US performance of 27 residents in video clips using the assessment tool. Reliability and percent agreement were assessed.ResultSeventeen paediatric radiologists working in varying environments participated in our expert panel. The proposed evaluation tool's content validation was facilitated by all experts who were paediatric radiologists. Following three rounds of the Delphi process, the initial 14-item assessment form became a final 15-item form. A rubric scale was used in the final form, which was divided into 3 sections: the preparation phase, US machine operation, and cranial US performance, to make it easier for raters to assess in the field. Interrater reliability was evaluated with Cohen's Kappa. The Kappa value and percent agreement between two raters for most items in the tool was moderate to almost perfect (0.42-0.93) and 77.8-100%, respectively. Conclusion This study produced the first validated cranial US assessment tool using a modified Delphi method. The final assessment form, which was divided into three sections and included a rubric scale, was simple to use and potentially reliable.บทนํา: เนื่องจากความก้าวหน้าอย่างรวดเร็วในด้านสูติศาสตร์และการดูแลทารกแรกเกิด การทํา อัลตราซาวด์สมองเป็นวิธีการมาตรฐานในการประเมินความผิดปกติของสมองในทารกแรกเกิดที่คลอด ก่อนกําหนด การเพิ่มจํานวนผู้เชี่ยวชาญในการทําอัลตราซาวด์สมองให้เพียงพอจึงมีความจําเป็น โดย ต้องมีแบบประเมินที่เที่ยงตรงและเหมาะสม การศึกษานี้มีวัตถุประสงค์เพื่อสร้างและตรวจสอบความ เที่ยงตรงของแบบประเมินประสิทธิภาพของการทําอัลตราซาวด์สมอง วิธีการศึกษา: การศึกษานี้ใช้วิธี modified Delphi เพื่อสร้างแบบประเมินสําหรับการประเมินประสิทธิภาพ ของการทําอัลตราซาวด์สมอง เริ่มจากผู้วิจัยรวบรวมคุณลักษณะที่เหมาะสมสําหรับการประเมินการ ทําอัลตราซาวด์สมองใส่ในแบบประเมินเบื้องต้นหลังการทบทวนวรรณกรรม จากนั้นคณะผู้เชี่ยวชาญ ในการทําอัลตราซาวด์สมองซึ่งเป็นรังสีแพทย์เฉพาะทางเด็กแก้ไขโดยใช้กระบวนการ Delphi จํานวน สามรอบจนได้คุณลักษณะที่จะประเมินครบแล้ว ลําดับต่อมามีการเพิ่มสเกลรูบริกในแบบประเมิน สําหรับการให้คะแนน แบบประเมินที่มีสเกลรูบริกจะส่งให้คณะผู้เชี่ยวชาญพิจารณาอีกครั้งเพื่อยืนยัน รับรองแบบประเมินขั้นสุดท้ายทําให้ได้แบบประเมินประสิทธิภาพการทําอัลตราซาวด์สมองใหม่ หลังจากนั้นแบบประเมินประสิทธิภาพการทําอัลตราซาวด์สมองใหม่จะถูกประเมินความเที่ยง โดย ผู้ประเมินสองคนนําแบบประเมินมาใช้ประเมินการทําอัลตราซาวด์สมองของทารกแรกเกิดโดยแพทย์ ประจําบ้านรังสีวินิจฉัยจํานวน 27 คนที่บันทึกการทําอัลตราซาวด์สมองในวิดีโอคลิปแบบประเมินจะ ถูกประเมินความเที่ยงและร้อยละของความเห็นพ้องในการใช้แบบประเมินให้คะแนนการทําอัลตรา ซาวด์สมองในวิดีโอคลิปอันเดียวกัน ผลการศึกษา: รังสีแพทย์เฉพาะทางเด็กจํานวน 17 คนที่ทํางานในสภาพแวดล้อมที่แตกต่างกันเข้าร่วมใน คณะผู้เชี่ยวชาญของการศึกษานี้ ความถูกต้องของเนื้อหาในแบบประเมินสร้างขึ้นจากการที่ ผู้เชี่ยวชาญทุกคนซึ่งเป็นรังสีแพทย์เฉพาะทางเด็กมีความเชี่ยวชาญอย่างสูงในความรู้ความสามารถ ของการทําอัลตราซาวด์สมอง หลังจากแบบประเมินผ่านกระบวนการ Delphi ทั้งสามรอบ แบบ ประเมินมีคุณลักษณะที่ใช้ประเมินการทําอัลตราซาวด์สมองทั้งหมด 14 รายการ สุดท้ายแล้ว กลายเป็นแบบประเมินที่มีคุณลักษณะที่ใช้ประเมินการทําอัลตราซาวด์สมองทั้งหมด 15 รายการ หลังจากนั้นแบบประเมินเพิ่มใช้สเกลรูบริก และแบ่งออกเป็น 3 ส่วนของการประเมิน ได้แก่ ขั้นตอน การเตรียมการ การใช้เครื่องอัลตราซาวด์ และประสิทธิภาพของการทําอัลตราซาวด์สมอง เพื่อให้ ผู้ประเมินประเมินได้ง่ายขึ้น ความเที่ยงของแบบประเมินถูกทดสอบด้วย Kappa ของ Cohen ค่า Kappa และร้อยละของความเห็นพ้องระหว่างผู้ใช้แบบประเมินสองคนส่วนใหญ่อยู่ในระดับปานกลาง ถึงเกือบสมบูรณ์แบบ ค่า Kappa เท่ากับ 0.42-0.93 และ ร้อยละของความเห็นพ้องเท่ากับ 77.8- 100% สรุปผลการศึกษา: การศึกษานี้สร้างแบบการประเมินการทําอัลตราซาวด์สมองที่ผ่านการตรวจสอบเป็นครั้งแรก โดยใช้วิธี modified Delphi แบบประเมินขั้นสุดท้ายซึ่งแบ่งออกเป็นสามส่วนและมีสเกลรูบริก ใช้ งานง่ายและสามารถเชื่อถือได้