Address for correspondence : Lee-Suk Kim, MD, Department of Otolaryngology-Head and Neck Surgery, Dong-A University College of Medicine, Dongdaesin-dong 3-ga, Seo-gu, Busan 602-715, Korea
Tel : +82-51-240-5428, Fax : +82-51-253-0712, E-mail : klsolkor@chol.com

서     론

   말지각 검사(speech perception test)는 청각장애인에게 낱말이나 문장을 들려주고 그림이나 사물을 지적하거나 따라 말하도록 하여, 말소리의 음향적 특성을 얼마나 정확하게 듣고 이해하는지를 평가하는 검사이다.^1,2) 또한, 말지각 검사는 보청기나 인공와우 착용 후의 말지각 진전을 모니터하여 보청기와 인공와우의 효과와 적합의 적절성을 평가하고, 청각재활의 목표와 방향을 설정하는데 유용한 정보를 제공한다.^2,3)
   청각장애 아동의 말지각은 생활연령(chronological age), 청력, 보청기 및 인공와우 착용 시기와 기간, 인지, 언어 능력 등의 다양한 요인의 영향을 받는다. 따라서 청각장애 아동의 말지각을 정확하게 평가하기 위해서 말지각 검사는 타당도(validity), 신뢰도(reliability), 어휘 친숙도(vocabulary familiarity), 음성적 균형(phonetic balancing), 발달 연령의 적절성(developmental age appropriateness)을 갖추고 있어야 한다.^3,4,5,6,7) 즉, 말지각 검사를 개발할 때는 청각장애 아동의 연령을 고려하여 일상생활에서 친숙한 단어 중에서 회화 어음과 동일한 음성학적 분포를 지닌 낱말들을 선정하고, 표준화 절차를 통해 타당도와 신뢰도를 검증해야 한다. 이 과정에는 검사의 타당도를 높이기 위해서 언어병리학, 청각학, 언어학, 음성학, 통계학, 이비인후과학 등의 분야 전문가들이 참여하여야 한다.
   다양한 말지각 검사들이 국내에서 사용되고 있으나 어휘 친숙도, 음성적 균형, 발달 연령의 적절성을 고려하여 개발한 표준화된 말지각 검사는 없다. 또한, 인공와우이식 센터마다 사용하고 있는 말지각 검사가 달라서 청각장애 아동에 관한 정보를 교환하는 데 어려움이 있는 실정이다. 인공와우이식 초기에는 청각장애 아동의 말지각 검사가 부족하여 외국의 말지각 검사를 단순히 번역하거나 변형하여 사용하였으며, 그 말지각 검사들을 현재까지도 사용하고 있다.^8,9) 보기가 없는 조건의 단음절단어검사(open-set monosyllabic word test)는 청각장애 아동의 말소리와 단어를 결합하는 능력을 반영하고, 보청기와 인공와우로 들리는 말소리의 음향학적 특성을 얼마나 정확하게 전달받고 처리하는지에 대한 정보를 제공하기 때문에 말지각 평가 중에서도 매우 중요하다.^2,9,10) 단음절단어검사는 단음절어의 어휘 친숙도가 높고 음성적 균형이 회화어음과 동일하게 제작되어야 한다.^6,7) 하지만 현재까지 단음절단어검사를 포함한 대부분의 국내 말지각 검사들은 청각장애 아동의 말지각에 영향을 주는 생활연령, 청력과 같은 다양한 요인과 어휘 친숙도, 음성적 균형, 발달 연령(developmental age)의 적절성이 고려되지 않았고, 표준화 절차를 통한 타당도와 신뢰도가 검증되지 않은 문제를 가지고 있다.
   본 연구에서는 인공와우이식을 시행하고 있는 국내 의료기관에서 사용하고 있는 아동용 말지각 검사의 현황을 조사하고, 단음절단어검사의 제작 과정과 어휘친숙도, 그리고 음성적 균형을 중점적으로 분석하여, 향후 표준화된 말지각 검사 개발을 위한 기초 자료를 제시하고자 한다.

대상 및 방법

아동용 말지각 검사 현황 분석
   2009년 2월 인공와우이식을 시행하고 있던 총 24개의 국내 의료기관(이하 인공와우이식 센터)의 의사와 언어치료사에게 우편으로 연구협조문과 말지각 검사 현황 조사를 위한 설문지를 발송하여, 작성한 설문지와 사용하고 있는 말지각 검사 도구의 사본을 2009년 3월부터 7월 사이에 우편으로 수거하였다.
   수거된 말지각 검사는 검사 적용 연령(영유아, 학령전기 아동, 학령기 아동), 자극 반응 양식(평정 척도, 보기가 있는 조건, 보기가 없는 조건), 자극 단위(음소, 낱말, 구와 문장)에 따라 분류하였다. 단음절단어검사는 각 목록에서 단음절어가 하나라도 다르면 다른 검사로 분류하였고, 문장검사는 번역 과정에서 동일한 문장을 다르게 번역할 수 있는 점을 감안하여 단어가 다르더라도 같은 의미로 사용되는 단어(예, '너'와 '당신', '뭐야?'와 '무엇입니까?' 등)들은 같은 단어로 취급하여 분류하였다.

단음절단어검사 분석
   보기가 없는 조건의 단음절단어검사의 출처와 제작과정에 대해 조사를 하고, 어휘 친숙도와 음성적 균형을 비교, 분석하였다. 세 군데 이상의 센터에서 사용하는 단음절단어검사의 제작자를 직접 방문하거나 전화, 이메일을 통해서, 검사의 제작 과정, 참고 자료, 고려사항, 제한점, 보완점에 대한 정보를 수집하였다. 그리고 단음절단어검사 간의 어휘 친숙도를 비교하기 위해서 Lee 등⁹⁾이 제시한 2~5세 아동의 어휘 누적 빈도 95% 내에 속하는 고빈도 단음절어와 일치하는 단음절어의 비율을 살펴보았다. 단음절단어검사간 음성적 균형을 비교하기 위해서 Byun 등¹¹⁾이 사용한 단음절어의 음소 빈도를 측정하는 자동 빈도 계수 엑셀 시트를 이용하여, 각 단음절어의 초성, 중성, 종성의 음소 빈도를 백분율로 산출하였다.

결     과

아동용 말지각 검사 현황
   협조를 요청한 총 24곳의 모든 인공와우이식 센터에서 작성한 설문지와 현재 사용하고 있는 말지각 검사의 사본을 회송하였다. 평정척도(scale) 및 체크리스트 각 1종, 보기가 있는 조건(closed-set)의 자음검사 2종, 말소리 형태 변별검사 2종, 단음절단어검사 2종, 문장검사 1종, 그리고 보기가 없는 조건(open-set)의 모음검사 1종, 자음검사 1종, 단음절단어검사 11종, 이음절단어검사 5종, 문장검사 11종으로, 모두 38종의 말지각 검사 도구가 수거되었다.
   인공와우이식 센터에서는 평정척도, 체크리스트, 보기가 있는 조건과 보기가 없는 조건의 말지각 검사를 사용하여 청각장애 아동의 말지각을 평가하고 있었다(Table 1). 영유아의 청각적 수행력 및 말지각을 평가하기 위해서 평정척도인 Categories of Auditory Performance(CAP)와 체크리스트인 Infant-Toddler Meaningful Auditory Integration Scale(IT-MAIS)을 각각 전체 센터의 88%, 96%에서 사용하고 있었으며, 보기가 있는 조건이나 보기가 없는 조건의 말지각 검사를 사용하고 있는 센터는 없었다. 반면 학령 전 아동의 말지각 평가를 위해서는 대부분의 센터에서 평정척도, 보기가 있는 조건과 보기가 없는 조건의 말지각 검사 등의 다양한 검사를 사용하고 있었다. 보기가 있는 조건의 말지각 검사는 단음절단어검사(88%), 문장검사(63%), 음절형태변별검사(63%), 자음검사(42%)의 순으로 사용하고 있었다. 보기가 없는 조건의 말지각 검사에서는 단음절단어검사(100%), 문장검사(100%), 자음검사(83%), 이음절단어검사(83%), 모음검사(79%) 순으로 사용하고 있었다. 학령기 아동용 말지각 검사를 사용하고 있는 센터는 세 곳뿐이었으며, CAP, 보기가 없는 조건의 단음절단어검사와 문장검사를 사용하고 있었다(Table 1).
인공와우이식 센터별로 사용하고 있는 말지각 검사의 종류에는 차이가 있었으나, 보기가 없는 조건의 단음절단어검사와 문장검사는 모든 인공와우이식 센터에서 사용하고 있었다. 아동용 단음절단어검사는 총 11종이었으며, 그 중 8종은 학령 전 아동용이고 3종은 학령기 아동용으로 개발된 것이었다. 학령 전 아동용 단음절단어검사는 Evaluation of Auditory Response to Speech-Korean version(EARS-K) 단음절단어검사를 11개 센터(45%)에서 사용하고 있었으며, 그 다음으로 A, B, C 단음절단어검사를 각각 3개(13%) 센터에서 사용하고 있었다(Table 2). 그 외 4종의 학령 전 아동용 단음절단어검사를 각각 1개 센터에서 사용하고 있었다. 학령기 아동용 단음절단어검사는 모두 3종으로, 각각 1개 센터(4%)에서 사용하고 있었다. 아동용 문장검사는 총 11종을 사용하고 있었으며, 그 중 8종은 학령 전 아동용이고 3종은 학령기 아동용으로 개발된 것이었다. 학령 전 아동용 문장검사에서 많이 사용하고 있는 검사는 EARS-K의 Glendonald Auditory Screening Procedure(GASP) 문장검사와 Language-Specific Open-set 문장검사였으며, 각각 전체 센터의 50%, 45%에서 사용하고 있었다. 그 다음으로는 A, B 문장검사를 각각 3개(13%) 센터에서 사용하고 있었다. 그 외 4종의 학령 전 아동용 문장검사는 각각 1개 센터(4%)에서 사용하고 있었다. 학령기용 문장검사는 모두 3종으로 각각 1개 센터(4%)에서 사용하고 있었다(Table 2).

단음절단어검사의 출처
   보기가 없는 조건의 단음절단어검사 중 EARS-K, A, B, C 단음절단어검사는 세 곳 이상의 인공와우이식 센터에서 사용하고 있었다. EARS-K 단음절단어검사의 경우, EARS 단음절단어검사의 단음절어를 번역하고, 한국어와 영어의 차이로 인해서 번역이 어려운 경우에는 동화책과 초등학교 저학년 교과서에서 발췌하여 단음절어를 추가하였다. A 검사의 제작자는 학령 전 아동의 자발화를 수집하여 단음절어를 선택하였고, B와 C 검사의 제작자는 초등학교 교과서, 동화책, 어휘 목록집에서 단음절어를 선택하였다. 단음절단어검사 제작자들은 어휘 친숙도나 음성적 균형을 고려하여 단음절어를 선택하였으나, 타당도와 신뢰도를 검증하기 위한 표준화 절차를 거치지 않은 점을 기존 단음절단어검사의 제한점이라고 하였다(Table 3).

단음절단어검사간 어휘 친숙도와 음성적 균형 비교
   보기가 없는 조건의 EARS-K, A, B, C 단음절단어검사의 단음절어를 2~5세 아동의 어휘 누적 빈도 95% 내에 속하는 고빈도 단음절어(Table 4)와 비교하여 일치도를 살펴보았다. EARS-K 검사의 단음절어와 일치하는 비율은 50~60%였고, A, B, C 단음절단어검사의 단음절어와 일치하는 비율은 75~100%였다(Table 5).
   EARS-K, A, B, C 단음절단어검사의 초성, 중성, 종성의 음소 분포 양상은 대체적으로 유사하였다. 초성에서는 [ㄹ], [ㅁ], [ㅃ], [ㅆ], [ㅉ], [ㅌ] 음이 적고, [ㅂ], [ㅅ], [ㅈ], [ㅊ], [ㅋ] 음이 많이 분포하고 있었다. EARS-K 단음절단어검사의 초성에는 [ㄱ], [ㄷ], [ㅅ], [ㅈ], [ㅎ] 음이 다른 음소에 비해서 많이 분포되어 있었으며, C 단음절단어검사의 초성에는 [ㄱ], [ㄴ], [ㄸ], [ㅂ], [ㅃ], [ㅅ], [ㅇ](음가 없는 초성), [ㅈ], [ㅊ], [ㅋ] 음만 분포되어 있었다(Fig. 1). 중성에서는 [ㅏ], [ㅗ], [ㅜ], [ㅣ] 음이(Fig. 2), 종성에서는 [ㄱ], [ㄴ], [ㄹ] 음이 많이 분포하고 있었다(Fig. 3).

고     찰

   국내 총 24개의 인공와우이식 센터에서는 평정척도, 체크리스트, 보기가 있는 조건과 보기가 없는 조건의 말지각 검사를 사용하여 청각장애 아동의 말지각을 평가하고 있었다. 보기가 없는 조건의 단음절단어검사와 문장검사는 모든 센터에서 사용하고 있었으며, 보기가 있는 조건의 자음검사, 말소리 형태변별검사, 단음절단어검사, 문장검사는 일부 센터에서만 사용하고 있었다. 이는 보기가 없는 조건의 단음절단어검사와 문장검사가 다른 말지각 검사에 비해서 검사 소요 시간이 짧고, 청각장애 아동의 일상생활에서의 말지각에 대해 많은 정보를 제공해주며, 검사 결과를 통하여 아동의 말-언어 발달을 예측하는 데도 도움이 되기 때문으로 보여진다.^2,9,10)
   말지각은 생활연령과 직접적인 연관이 있기 때문에 청각장애 아동의 말지각을 정확하게 평가하기 위해서는 연령별로 세분화된 검사 도구가 필요하다.^3,5) 학령 전 아동을 평가하기 위한 말지각 검사는 평정척도, 보기가 있는 조건과 보기가 없는 조건의 검사 등이 다양하게 갖추어져 있지만, 해당 연령에 적절한 내용으로 구성되어 있는지에 대한 검증이 이루어지지 않은 상태이다.^3,5) 또한, 영유아의 청각적 수행력을 직접 평가할 수 있는 검사와 학령기 아동의 언어 능력을 고려하여 개발된 다양한 종류의 말지각 검사가 갖춰져 있지 않은 상태이다. 즉, 영유아의 청각적 수행력을 평가하기 위해서는 CAP과 IT-MAIS만을 사용하여 평가하고, 학령기 아동의 말지각을 평가하기 위해서는 CAP, 보기가 없는 조건의 단음절단어검사와 문장검사만을 사용할 수 있다. 보기가 없는 조건의 학령기 아동용 단음절단어검사와 문장검사를 사용하고 있는 센터는 전체 센터의 12%에 불과하며, 나머지 88%의 센터에서는 학령 전 아동용 검사를 사용하여 학령기 아동을 평가하고 있었다. 이러한 이유로 학령기 청각장애 아동의 말지각 능력이 과대 평가되기도 하며, 조기에 인공와우이식을 받고 학령기에 접어든 아동의 단음절단어검사와 문장검사 점수에서 천정효과(ceiling effect)가 나타나서 교육 방향과 목표 설정에 대한 적절한 가이드라인을 부모에게 제시하기 힘든 상황이 초래되고 있다.¹²⁾ 그러므로 영유아기부터 학령기에 이르기까지 검사 적용 연령을 고려한 평정 척도 및 체크리스트, 단음절단어검사, 문장검사 등을 개발하여야 한다.¹³⁾
   학령 전 아동용과 학령기 아동용을 구분하여 보기가 없는 조건의 단음절단어검사와 문장검사를 개발해야 하는지에 대해서는 그 근거를 잘 살펴보아야 한다. 미국의 아동용 단음절단어검사들을 살펴보았을 때, 학령 전 아동용 단음절단어검사는 보기가 있는 조건으로 개발된 것이 대부분이었으며, 보기가 없는 조건의 단음절단어검사는 학령 전과 학령기와 같은 생활연령보다는 검사 목록의 난이도를 기준으로 하여 개발되어 있었다.^14,15) 반면에, 미국의 보기가 없는 조건의 아동용 문장검사들은 학령 전(4~6세), 학령기(6~12세), 청소년기(13세 이상)와 같이 생활연령을 구분하여 개발된 경우가 대부분이었다.¹⁴⁾ Jerger 등¹⁶⁾의 연구에서 3~10세 정상 청력 아동 87명을 대상으로 생활연령, 어휘력, 수용언어능력(receptive language ability)에 따라 단어검사와 문장검사 점수에 차이가 있는지 살펴본 결과, 문장검사 점수에서만 유의한 차이가 있었다. Lee 등⁹⁾이 2~6세 정상 청력 아동 138명을 대상으로 학령 전 아동용 단음절단어검사를 실시한 결과, 2세 아동의 점수는 93%, 3세는 93.5%, 4세는 98.08%, 5세는 98.57%, 6세는 99.12%로 나타나서, 4~6세 아동의 단음절단어검사 점수는 연령에 따른 차이가 미미하였다. 단어검사에서 연령에 따른 점수 차이가 나타나지 않는 이유는 4~6세 이전 아동의 말지각은 언어 연령(language age)과 어휘력에 따른 어휘 친숙도의 영향을 받지만, 4~6세 이후에는 어휘 친숙도가 말지각에 거의 영향을 주지 않으므로 연령에 따른 점수 차이가 나타나지 않는 것으로 보여진다.¹⁷⁾ 반면, 문장검사는 문장의 단어 수, 문장 형태, 구문 복잡성, 어휘 수준 등의 다양한 요인에 의해서 문장의 난이도가 결정될 수 있기 때문에, 문장검사 점수는 아동의 연령, 어휘력, 수용언어능력에 따라서 차이가 나타날 수 있다. 그러므로 보기가 없는 조건의 아동용 단음절단어검사는 생활연령보다는 난이도를 기준으로 하여 개발하고, 보기가 없는 조건의 문장검사는 생활연령을 기준으로 개발하는 것이 적절하겠다. 또한, 개발한 보기가 없는 조건의 아동용 단음절단어검사와 문장검사를 정상 청력 아동에게 실시하여, 난이도와 생활연령에 따른 말지각 특성이 잘 반영되어 있는지를 검증해야 할 것이다.
   단음절단어검사의 출처 조사에서 단음절단어검사 제작자들은 일상생활에서의 듣기 능력을 최대한 반영하고자 어휘 친숙도와 음성적 균형을 고려하였다. 이상적인 단음절단어검사는 검사에 사용되는 단음절어가 일상 생활에 친숙하고, 표의 난이도가 균등하며, 검사의 음소 비율이 회화 어음과 유사하면서 목록마다 동일한 비율로 구성되어야 한다.^6,7) 세 곳 이상의 센터에서 사용하는 보기가 없는 조건의 단음절단어검사 4종의 단음절어와 2~5세 아동의 고빈도 단음절어를 비교하였을 때, EARS-K의 단음절어와 고빈도 단음절어의 일치율은 50~60%로 낮았고, 나머지 세 검사의 일치율은 75~100%로 비교적 높게 나타났다. EARS-K의 단음절단어검사 제작 시 교과서, 동화책과 같은 문어(written language) 자료와 EARS의 단음절단어검사를 참고하여 단음절어를 선택하였기 때문에, 2~5세 아동의 회화에서의 고빈도 단음절어와의 일치율이 낮았던 것으로 생각된다. 향후 EARS-K의 단음절단어검사는 고빈도 단음절어를 추가하여 개정할 필요가 있는 것으로 생각된다.
   국내 학령 전 아동의 회화음에서의 음성적 균형에 대한 자료가 없어서 어떤 단음절단어검사가 적절한 음성적 균형을 갖추고 있는지에 대한 평가는 할 수 없었지만, 단음절단어검사간 음소 분포의 비교를 통해서 음성적 균형에서 어떤 차이가 있는지를 살펴볼 수 있었다. 단음절단어검사 4종의 음성적 균형을 비교한 결과, 초성, 중성, 종성의 음소 분포 양상은 대체적으로 유사하였다. 하지만 EARS-K와 C 단음절단어검사가 다른 검사에 비해서 초성에서 일부 음소들이 편중되어 나타나는 경향을 보였다. 이러한 경향은 A와 B 단음절단어검사의 단음절어 수가 각각 20개, 25개지만 EARS-K와 C 단음절단어검사의 단음절어 수는 10개에 불과하여 특정 음소 비율이 높거나 낮게 분포된 것으로 보여진다. 그러므로 학령 전 아동의 회화음에서의 음성적 균형에 대한 연구를 바탕으로 기존 단음절단어검사의 단음절어를 추가하거나 제거하여 음성적 균형을 보완해야 할 것이며, 이때 EARS-K와 C 단음절단어검사의 목록에 적절한 단음절어를 추가하여 음성적 균형을 보완하는 작업이 이루어져야 할 것이다.
   어휘 친숙도는 언어 발달에 민감한 3~4세 아동의 말지각에 영향을 주고 음성적 균형은 일상 회화음에서의 음소 비율을 반영하여 말지각에 영향을 주므로, 단음절단어검사 제작자들은 어휘 친숙도와 음성적 균형을 중요하게 고려하여 검사를 개발한다.^6,17) 세 곳 이상의 센터에서 사용하는 단음절단어검사는 어휘 친숙도와 음성적 균형을 고려하여 제작되었지만, 제작 당시 참고한 자료가 불명확하고 일정한 기준없이 임의로 설정되어 있었다. Carhart는 미국에서 말지각 검사 도구를 개발할 당시 phonetically balanced word가 영어 회화음에서의 음소 비율이 아닌 영어의 모든 음소를 조합하는데 초점을 맞추어 제작된 점과 검사내 단어가 친숙하지 못한 점을 문제로 지적하면서, 사용 중인 말지각 검사가 표준화 절차를 완전히 거치지 않아서 타당도가 부족한 점을 검사자가 유념하여 검사를 실시하고 해석해야 한다고 언급하였다.¹⁸⁾ 그 후 미국에서 말지각 검사를 보완하거나 개발할 때, 회화음을 기초로 음성적 균형을 맞추고 어휘 친숙도를 보완하는 작업을 꾸준히 하였고, 1980년대에는 제작한 말지각 검사를 정상 청력 아동에게 실시하여 문제점을 파악하고 보완하는 작업을 지속하였다.^15,19) 향후 국내 말지각 검사를 보완하거나 개발하기 위해서는 미국에서 말지각 검사의 타당도를 높이기 위해서 시행한 절차와 유사한 과정이 필요할 것으로 생각된다. 향후 정상청력 아동의 일상생활에서의 발화를 수집하여 어휘 친숙도와 음성적 균형을 분석하고, 그 결과를 근거로 기존 검사를 수정하거나 새로운 단음절단어검사를 제작해야 할 것이다. 또한 수정하거나 새로 개발된 단음절단어검사를 정상 청력 아동과 청각장애 아동에게 실시하여 신뢰도와 타당도를 검증하는 표준화 작업을 해나가야 할 것이다.
   국내 아동용 말지각 검사 현황 조사에서 모든 센터에서 사용하고 있는 보기가 없는 단음절단어검사를 중심으로 기존 검사의 특성, 제한점 및 보완점을 살펴보았다. 완전히 새로운 말지각 검사 도구를 개발하는 것은 개발과 보급에 많은 시간과 노력이 필요한 어려운 작업이다. 따라서, 기존 검사의 단음절어를 최대한 활용하여 어휘 친숙도와 음성적 균형을 회화음과 유사하게 조정하고, 표준화 절차를 통해 타당도와 신뢰도를 갖추어서 사용하는 것이 합리적인 선택이 될 수 있을 것이다.
   이상에서 기존 말지각 검사들은 발달 연령의 적절성, 타당도 및 신뢰도가 검증되지 않았고, 영유아와 학령기 청각장애 아동의 말지각 평가를 위한 검사가 다양하게 갖춰지지 않은 문제를 가지고 있다. 국내 아동용 말지각 검사들이 이러한 제한점을 가지고 있으므로, 청각장애 아동을 평가하는 언어치료사는 현재 사용하고 있는 검사의 특성, 제한점 및 보완점을 유념하여 검사를 실시하고 해석해야 할 것이다. 또한, 아동용 말지각 검사들은 본 연구에서 발견된 여러 문제점을 보완하거나, 타당도와 신뢰도를 검증한 새로운 말지각 검사를 개발하여 사용하여야 한다.

1. Kirk KI, Pisoni DB, Osberger MJ. Lexical effects on spoken word recognition by pediatric cochlear implant users. Ear Hear 1995;16(5):470-81.

2. Kim LS, Lee MY, Huh MJ, Oh YJ. Open-set speech perception development in children with cochlear implants. Korean J Otolaryngol-Head Neck Surg 2004;47(1):15-21.

3. Bahng JH, Lee JH, Hong BN, Kim JS. A study on the development of word recognition test by pictures. Korean J Audiol 2005;9(2):133-42.

4. Oh JJ, Kim JS, Lee JH. Development of the lists of phonetically-bal-anced one-syllable words for pediatric word recognition test. Korean J Audiol 2005;9(2):161-6.

5. Wang NY, Eisenberg LS, Johnson KC, Fink NE, Tobey EA, Quittner AL, et al. Tracking development of speech recognition: longitudinal data from hierarchical assessments in the childhood development after cochlear implantation study. Otol Neurotol 2008;29(2):240-5.

6. Osberger MJ, Miyamoto RT, Zimmerman-Phillips S, Kemink JL, Stroer BS, Firszt JB. Independent evaluation of the speech perception abilities of children with the Nucleus 22-channel cochlear implant system. Ear Hear 1991;12 Suppl 4:66-80.

7. Byun SW, Oh SH, Chae SW, Park SN, Shim YJ, Cho KK. Comprom-ises between the frequencies of the colloquial phonemes and those of a new monosyllabic words list in Korea. Korean J Otorhinolaryngol-Head Neck Surg 2007;50(7):573-8.

8. Kim LS, Kim SJ. Cochlear implant (Re)Habilitation. Korean J Audiol 1997;1(1):33-47.

9. Lee MY, Shin JC, Kim HH, Kim LS. Open-set monosyllabic speech perception test for preschool children. Korean J Otorhinolaryngol-Head Neck Surg 2009;52(4):312-21.

10. Waltzman SB, Cohen NL, Gomolin RH, Green JE, Shapiro WH, Hoffman RA, et al. Open-set speech perception in congenitally deaf children using cochlear implants. Am J Otol 1997;18(3):342-9.

11. Byun SW, Chung SM, Kim HS, Go YM. A survey of phonetically balanced words lists used in training hospitals in Korea. Korean J Otolaryngol-Head Neck Surg 2005;48(9):1086-90.

12. Trait M. Using video analysis to monitor progress in young cochlear implant users. In: McCormick B, Archbold S, editors. Cochlear implants for young children. 2^nd ed. London: Whurr Publishers;2003. p.302-26.

13. Tharper AM. Who has time for functional auditory assessments? We all do! Volta Voices 2004;11(7):10-2.

14. Yoon MS. Speech perception tests. In: Kim LS, editor. Proceedings of the 1st Dong-A Hearing Symposium; 2004 November 27; Busan, Korea. Seoul: Joongang Publishing Company;2004. p.37-42.

15. Kirk KI. Assessing speech perception in listeners with cochlear implants: the development of the lexical neighborhood tests. Volta Rev 1998;100(2):63-85.

16. Jerger S, Lewis S, Hawkins J, Jerger J. Pediatric speech intelligibility test. I. Generation of test materials. Int J Pediatr Otorhinolaryngol 1980;2(3):217-30.

17. Ellion LL, Clifton LA, Servi DG. Word frequency effects for a closed-set word identification task. Audiology 1983;22(3):229-40.

18. Carhart R. Problems in the measurement of speech discrimination. Arch Otolaryngol 1965;82(3):253-60.

19. Bilger RC, Nuetzel JM, Rabinowitz WM, Rzeczkowski C. Standardization of a test of speech perception in noise. J Speech Hear Res 1984;27(1):32-48.