Standardization for a Korean Version of Chronic Ear Survey: Translation and Verification of Validity and Reliability. |
Jae Yong Byun, Yang Sun Cho, Hosuk Chu, Shi Nae Park, Gyu Cheol Han, Byung Chul Cheon, Jung Eun Shin, Jong Woo Chung, Sung Won Chai, Jae Young Choi |
1Questionnaire Translation Committee of Korean Otologic Society, Korea. yscho@skku.edu 2Department of Otolaryngology-HNS, College of Medicine, Kyung Hee University, Seoul, Korea. 3Department of Otorhinolaryngology-HNS, Samsung Medical Center, Sungkyunkwan University School of Medicine, Seoul, Korea. 4Department of Otolaryngology-HNS, The Catholic University of KoreaCollege of Medicine, Seoul, Korea. 5Department of Otolaryngology-HNS, Gachon University of Medicine andScience Graduate School of Medicine, Incheon, Korea. 6Department of Preventive Medicine, Korea University College of Medicine, Seoul, Korea. 7Department of Otorhinolaryngology-HNS, Konkuk University School of Medicine, Seoul, Korea. 8Department of Otorhinolaryngology-HNS, University of Ulsan College of Medicine, Ulsan, Korea. 9Department of Otorhinolaryngology-HNS, Korea University School of Medicine, Seoul, Korea. 10Department of Otorhinolaryngology-HNS, Yonsei University College of Medicine, Seoul, Korea. |
한국어판 만성 중이 질환 설문지(K-CES)의 표준화: 타당도 및 신뢰도 검증 |
변재용1,2 · 조양선1,3 · 추호석1,3 · 박시내1,4 · 한규철1,5 · 천병철1,6 · 신정은1,7 · 정종우8 · 채성원9 · 최재영10 |
대한이과학회 설문지 번역위원회1;경희대학교 의과대학 이비인후과학교실2;성균관대학교 의과대학 삼성서울병원 이비인후과학교실3;가톨릭대학교 의과대학 이비인후과학교실4;가천의과학대학교 의학전문대학원 이비인후과학교실5;고려대학교 의과대학 예방의학교실6;건국대학 |
|
|
| |
ABSTRACT |
BACKGROUND AND OBJECTIVES: The Chronic Ear Survey (CES) has been known to be a valid, disease-specific measure for the evaluation of health status and treatment effectiveness for chronic otitis media patients. As part of this study, we developed a Korean version by adapting from this CES, determined its reliability and validity.
MATERIALS AND METHOD: The development of the Korean version of CES (K-CES) included the processes of standard independent translation and cross-cultural adaptation to check for cultural inconsistency. The finalized K-CES was administered to 166 patients visiting 10 referral hospitals in a prospective manner. K-CES was validated by using the Cronbach's alpha coefficient, confirmatory factor analysis and test-retest analysis for reliability and validity. The 36-Item Short Form Health Survey Instrument (SF-36) was assessed and the result was used to evaluate the criterion validity.
RESULTS: The K-CES demonstrated good test-retest reliability and internal consistency (Cron-bach's alpha=0.850).
Scale-item correlation coefficient was even higher than 1.0, which shows a very high reliability of K-CES. The validity of K-CES, checked by confirmatory factor analysis, also showed good construct validity. There was high correlation between SF-36 and the scores of K-CES, which indicates high criterion validity.
CONCLUSION: We concluded that K-CES is a valid tool for clinical use and research studies in Korean patients with chronic otitis media. |
Keywords:
StandardizationㆍChronic Ear SurveyㆍKoreanㆍReliabilityㆍValidity |
Address for correspondence : Yang-Sun Cho, MD, Department of Otorhinolaryngology-HNS, Samsung Medical Center, Sungkyunkwan University School of Medicine, 50 Irwon-dong, Gangnam-gu, Seoul 135-710, Korea
Tel : +82-2-3410-3579, Fax : +82-2-3410-3879, E-mail : yscho@skku.edu
서
론
만성화농성 중이염은 3개월 이상 지속되는 중이강 또는 유양동 내의 염증상태 또는 비가역적인 점막의 변화상태로 정의되는 질환으로 전 인구의 약
2~3%가 항생제의 발달에도 불구하고 고통받고 있다.1,2) 비록 만성화농성 중이염이 대부분 치명적이지 않지만 만성중이염이 환자의 삶의 질에 다양한 영향을 미치는 것은 분명하다. 그 동안 이러한 만성중이염 환자의 상태를 평가하기 위해 청력검사, 질병의 재발률, 합병증 발생률 등 객관적인 평가가 전통적으로 사용되어 왔으나 이들만으로는 질환이 환자에게 미치는 영향을 모두 이해하는 데 충분하지 않다. 즉, 만성 화농성 중이염이 환자의 건강에 미치는 영향과 치료결과를 포괄적으로 이해하는 데에는 환자의 관점에서 평가하는 것이 반드시 필요하며 특히 중이 질환이 환자의 건강과 사회적 기능에 미치는 영향을 정확히 이해하는 것이 필수적이라고 할 수 있다.
이과영역에서 많이 쓰이는 설문지로는 Hearing Handicap Inventory for Elderly(HHIE), Tinnitus Handicap Inventory(THI) 등이 있지만 이들은 중이염 환자에게 특이적이지는 않아서 만성 중이염 환자의 상태를 판단하는데 있어 적합하지는 않다.1) 따라서 중이염 환자의 삶의 질을 평가하는 데에는 만성중이염의 증상을 잘 반영하면서 신뢰할 수 있고 임상적 변화에 높은 민감도를 갖는 설문조사 방법이 필요하다. Nadol 등1)은 이러한 필요성에 따라 Likert scaling technique을 이용한 자가보고형 설문지인 Chronic Ear Survey(CES)를 개발하였으며, 36-Item Short Form Health Survey Instrument(SF-36) 등의 일반적인 설문조사(Table 1)3)와 달리 만성 중이염 환자의 치료 전후와 삶의 질 평가에 있어 매우 타당성이 높고 민감하며 유효한 설문 조사임을 보고하였고 그 후 CES를 이용하여 만성중이염 환자들의 주관적인 만족도를 평가한 연구들이 이루어지고 있다.4,5,6,7) 또한 Wang 등5)은 CES를 중국어로 번역하고 중국어 사용 환자에서도 주관적인 불편함과 만족도를 잘 반영하는 설문지임을 증명하여 언어와 문화권이 다른 곳에서도 유효한 것을 확인하였다. 설문지는 각국의 언어로 번역되는 과정에서 각 나라가 가진 독특한 문화의 차이로 인하여 세밀한 검증과정이 반드시 필요하다. 즉 영어 설문지의 한국어 번역 과정은 영어로 표현된 질병 관련 용어와 삶의 방식 등을 체계적인 방법에 의해 한국어 표현 방식에 적절하게 바꾸어 주는 교차 문화적 적응과정(cross-cultural adaption process)을 필요로 하며,8,9) 이같은 과정을 통해서 제작된 번역본 설문지에 대한 신뢰도, 타당도 검증 과정을 거침으로써 비로소 환자의 평가 도구로써 진단적 가치를 지닐 수 있고 치료 효과에 대한 평가 도구로 자료의 교류 등에 이용될 수 있다.
본 연구는 대한이과학회 주관으로 시행된 설문지 번역사업 과정 중 만성 귀 질환 조사 설문지의 한국어 번역본(Korean version of CES, K-CES)을 제작하고, 이의 신뢰도 및 타당도를 검증하기 위해 시행되었다. 또한 이 연구의 결과로서 한국어판 CES 설문지를 확보하여 중이 질환을 가진 국내환자들의 증상의 정도를 객관화하는 데 도움을 주고, 연구자들의 임상연구에 쉽게 활용될 수 있도록 하고자 하였다.
재료 및 방법
이과 분야의 대표질환인 만성 중이염이 환자의 주관적인 불편함과 사회활동에 미치는 영향을 평가하고 이를 객관화하여 활용하는 데 CES가 반드시 필요하다고 판단되어 대한이과학회 설문지번역위원회에서 번역대상 설문지로 선정되었으며, 설문지의 원저자인 Harvard Medical School의 Dr. Nadol에게 한국어판 번역에 대한 허가를 얻었다. 그 후 총 7회에 걸쳐 위원회 모임을 가지면서 사업을 진행하였으며 번역 후 신뢰도 분석을 위해서 예방의학 전문가가 참여하였다.
Korean version of CES(K-CES) 번역 절차 및 개발 과정
본 연구에서 시행된 설문지의 한국어 번역판 번역 절차 및 개발 과정은 예방의학 전문가의 감수를 받아 삶의 질 번역에 있어서 일반적으로 권장되는 지침을 따랐다.8)
번역 및 역번역
한국어 및 영어에 모두 익숙한 2인의 번역자가 저자들로부터 순번역 지침에 대한 설명을 들은 후에 각자 독립적으로 번역을 시행하였다. 그 후 위원회 6인이 모두 모여 구성한 review panel에서 두 번역본을 검토하여 한국어 절충(reconcilation) 번역본을 만들었다. 이를 양국 언어에 능통한 다른 2명의 번역자들이 역번역하였다. 그 후 위원회에서 설문지 원본과 역번역본을 비교 검토하여 문장의 항목 개념이 원본과 일치하지 않는 경우에 한해 재검토를 시행하여, 새로 만들어진 문장이 수용되면 역번역 과정이 완성되는 것으로 결정하였다.
인지(Debriefing)
삼성서울병원 이비인후과 외래에서 만성중이염으로 내원한 환자 10명에게 설문자의 배석 하에 번역이 된 설문지를 주고 설문 응답의 소요시간을 측정하고 환자들이 질문을 이해하는 데에 어려움이 없는지를 확인하였다.
감수 및 최종 교정
완성된 번역본이 국어의 오류가 있는지를 확인하기 위해 국어교육평가원에 감수를 의뢰하였고 이를 바탕으로 철자나 양식 등의 오류 검증을 거쳐 최종 한국어 번역판을 완성하였다(Table 2).
K-CES의 신뢰도(Reliability)와 타당도(Validity) 조사
본 연구에서 개발된 K-CES의 신뢰도와 타당도 조사를 위해 총 10개 대학 병원의 이비인후과가 참여하여 각 병원에서 임상연구윤리위원회의 심의를 받은 후 2010년 4월에서 2010년 8월까지 자료를 수집하였다. 성별, 연령을 포함한 환자의 인구사회학적 특성과 청력장애와 관련성을 보일 수 있는 인자를 포함한 최종 K-CES 설문지 인쇄본이 전달되었고, 만성중이염으로 진단 받은 환자들 중 설문지 작성과 검사-재검사 신뢰도 검증을 위한 재방문에 동의한 환자들만 분석 대상에 포함하였다. 삶의 질을 평가하는 설문지라는 의미에서 준거타당도를 위하여 SF-36 설문지가 작성되었으며 인구사회학적 특성도 함께 조사되었다. 제작 배부된 200부의 설문지 중 총 166부의 설문지가 회수되었으며, 회수된 설문지의 각 항목은 한글판 Microsoft excel 2007(Microsoft, Redmond, WA, USA)을 이용하여 입력하였다.
본 연구에서 개발된 K-CES의 신뢰도 검증을 위하여 1차 설문에 응했던 환자를 대상으로
2~4주 후 2차 설문 조사를 진행하였다. 검사-재검사 점수는 Pearson 상관분석(Pearson's correlation analysis)을 이용하여 분석하고
Cronbach's alpha값을 계산하여 내적 일치도(internal consistency)를 확인하였다.
Cronbach's alpha값은 각 척도(sub-scale)에서 0.4 이상, 전체적으로 0.7 이상이면 신뢰도가 있는 것으로 판정하였다.10) 문항-척도 상관계수는 각각의 문항과 동일척도 내의 다른 문항 합과의 상관관계를 나타낸 것으로 0.4 이상이면 문항-척도 상관성을 지지한다고 판정하였다.10,11) 타당도는 일반적인 삶의 질을 평가하는 SF-36 설문지 중 신체적 기능(physical function), 사회적 기능(social function), 신체적 역할 제한(role of functioning physical), 감정적 역할 제한(role of functioning emotional)의 4가지 항목과의 상관관계를 기능수준 항목점수와 요소들과의 상관관계를 이용하여 준거타당도를 검증하였으며, 요인분석을 이용한 구성개념 타당도를 평가하였다.
통계분석
신뢰도와 구성개념 타당도의 평가는 SPSS 13.0(Chicago, IL, USA)과 SAS 9.3(SAS Institute, Cary, NC, USA)을 이용하여 분석하였다. 인자분석(factor analysis)에서 인자추출 방법은 반복적 주성분 인자추출 방법(iterative principal factor analysis)을 기본으로 하였으며, 해석이 가능한 단순한 구조로 만들기 위해 인자 회전을 한 결과를 기준으로 하였다.
결 과
연구 대상자의 일반적 특성
대상 환자는 남자 64명, 여자 102명으로 여성의 비율이 높았고 연령별로는 50대가 31.9%로 가장 많았다. 그 외의 연령대는 8.4%에서 18.7%로 고른 분포를 보였다(Table 3).
K-CES의 기술 통계
K-CES의 활동제한척도 3문항과 증상척도 7문항, 의료이용척도 3문항에 대해 각 문항에 대한 응답을 0부터 100점으로 환산하고 각 척도 및 전체 설문지의 평균 점수를 계산하였다. 응답 자료를 분석한 결과 활동제한척도 문항(n=165)은 최소 18.8점에서 100점으로 평균56.3±18.1점이었고 증상척도문항(n=164)의 경우 최소 22.5점에서 최대 90.0점으로 평균 53.3±14.8점이었고, 의료이용척도 문항(n=164)은 최소 20.0점에서 최대 100점까지 평균 45.3±23.3점을 보였다. K-CES 전체 값(n=161)은 최소 22.5점에서 최고 91.5점으로 평균 52.0± 13.8점을 보였다.
K-CES의 신뢰도 평가
신뢰도 평가를 위해 각 특성의 Cronbach's alpha값을 구한 결과 활동제한척도에서 0.696, 증상척도의 경우 0.783, 의료이용척도가 0.905로 모든 척도에서 높은 수치를 보였다(p<0.001). K-CES 전체의
Cronbach's alpha값도 0.850으로 높은 점수를 보였다. 문항-척도 상관성(Scale-Item Correlation)도 모든 척도에서 0.627에서 0.902 사이의 범위를 보여 매우 높은 내적 일치도와 신뢰도를 보임을 확인할 수 있었다(p<0.001)(Table 4). 검사-재검사 신뢰도 검증은 142명의 환자에게서 이루어졌는데, 다른 보고에서와 같이 상관계수(correlation coefficient)가 0.7 이상이면 높은 신뢰도를 갖는 것으로 판단하였다.12) 본 연구의 활동제한척도에서 0.790, 증상척도에서 0.775, 의료이용척도에서 0.843의 유의한 상관계수를 보여 높은 신뢰도를 보였고 K-CES 전체문항의 검사-재검사 간 상관 계수 역시 0.822로 매우 높은 신뢰도를 보였다(p<0.001)(Table 5).
K-CES의 타당도 평가
타당도 분석을 위해 요인 1은 의료이용척도, 요인 2로 증상, 요인 3으로 청력, 요인 4로는 활동제한척도의 4개의 요인을 뽑아 요인 분석(factor analysis)을 하였다. 요인 분석 결과 요인 1은 m1에서 m3 문항이, 요인 2는 s2, s3, s4, s6, s7이 반영하며 s5와 a1 문항이 요인 3을 반영하고 요인 4는 a1에서 a3의 문항이 반영되는 것으로 나타났다(Table 6). 분석 결과 요인 1에서 요인 4까지의 회전제곱합 적재값의 누적은 70.7%를 보여 K- CES는 대부분의 문항이 관련성 있는 것끼리 묶여 있고 구조 타당도 측면에서 높은 수준을 보여 높은 구성개념 타당도를 지닌 설문지임을 확인할 수 있었다. SF-36과의 상관관계분석을 통한 준거타당도 검증 결과에서도 활동제한척도, 증상척도, 의료이용척도 항목 모두 SF-36의 기능수준 항목점수와 기능수준 항목 내의 4가지 요소들에 대해서 모두 유의한 상관관계를 보이고 있어 본 설문지가 준거타당도가 높음을 알 수 있었다(Table 7).
고 찰
만성화농성 중이염은 3개월 이상 지속되는 중이강이나 유양동 내의 염증상태 또는 비가역적인 점막의 변화상태로 정의되는 질환으로 이비인후과의 대표적 질환의 하나이다. 만성중이염은 난청과 이루를 동반하므로 환자의 삶의 질에 다양한 영향을 미치는데, 환자들의 상태를 평가하기 위해 청력검사, 질병의 재발률, 합병증 발생률 등 객관적인 평가가 전통적으로 사용되어 왔으나 이 질환이 환자의 건강에 미치는 영향과 치료결과를 포괄적으로 이해하는 데에는 환자의 관점에서 평가하는 것이 반드시 필요하다. 본 연구는 만성 중이 질환이 환자의 건강에 미치는 영향과 치료결과를 평가하는 설문지를 신뢰도와 타당도를 지닌 한국어 번역판으로 표준화하여 향후 다양한 임상 연구에 널리 활용되는 것을 목표로 대한이과학회 주관으로 시행되었다. 대상이 된 CES는 Nadol 등1)이 개발한 자가보고형 설문지로 여러 추적 연구에서 유효하고 신뢰성이 있으며 민감한 만성 중이 질환에 적합한 설문지로 알려져 있다.4,5,6,7) 설문 항목은 활동 제한 척도(Activity Restriction Based Subscale) 3문항, 증상척도(Symptom Subscale) 7문항, 의료이용척도(Medical Resource Subscale) 3문항의 총 13문항으로 구성되어 있으며, 항목별 점수의 합 및 총점수로 중이 질환이 환자의 건강과 생활에 영향을 미치는 정도와 치료 전 후 환자의 주관적 개선 정도를 정량화하게 된다. 번역과정은 선정된 영어판 CES 설문지가 우리 나라의 문화적 배경, 생활 수준, 표현방식과 잘 맞도록 번역하되 원본의 각 문항이 지닌 고유한 의미를 변질시키지 않도록 일반적으로 권장되는 설문지 번역과정을 따르면서 다각적인 토의를 통해 이루어졌다. 또한 개발된 한국어판 K-CES의 신뢰도와 타당도 검증을 위해 다기관 참여 공동 연구가 진행되었고, 이를 통해 수집된 충분한 양의 자료를 토대로 통계 전문가의 도움을 받아 분석이 이루어졌다.
신뢰도는 개념 측정도구가 측정하고자 하는 현상을 일관성 있게 측정하는가를 나타내는 지표로서 동일한 개념에 대해 측정을 반복했을 때 동일한 측정값을 얻는 가능성을 검증하는 검사-재검사 방법과 이를 통계적으로 검정하는 내적 일치도(Cronbach's alpha값)를 이용한다.13) 본 연구의 결과 중 아쉬운 점은 검사-재검사 결과 상관분석의 증상척도에서 상관계수가 0.775로 원 개발자들의 0.91보다 약간 낮은 결과를 보였는데1) 이는 번역과정에서 언어와 문화의 차이로 인해 문항의 이해도가 동일하지 않은 결과로 보인다. 하지만 나머지 척도와 전체 점수에서는 원개발자들의 상관계수와 비슷하거나 상회하는 상관계수를 보이고
Cronbach's alpha값이 0.850으로 일반적인 다른 보고10)에서 기준으로 삼는 0.7을 상회하여 한국어판 K-CES가 한국어를 이용하는 환자들에게도 적용할 수 있는 신뢰성 있는 번역이 이루어졌음을 알 수 있었다. 타당도란 측정하고자 하는 특성을 각 문항이 얼마나 참값에 가깝게 측정하였는지를 나타내는 척도로 준거타당도(criterion validity), 내용타당도(content validity), 구성개념타당도(construct validity) 등으로 이루어져 있다.14) 내용타당도는 측정 도구 자체가 측정하고자 하는 속성이나 개념을 측정할 수 있도록 되어있는가를 평가하는 것으로 전문가의 판단에 따라 평가하며, 구성개념타당도는 수렴타당도(convergent validity)와 판별타당도(discrimitive validity)로 평가하는데 이를 동시에 평가하는 방법으로 다중속성 다중측정법(multi-trait multi-method matrix)이나 확증적 요인분석(confirmatory factor analysis)을 이용하여 평가할 수 있다.15)
본 연구에서는 요인분석을 이용한 구성개념타당도를 평가하였으며 평가 결과 모든 문항은 관련 문항끼리 잘 모여 있는 요인 분석 결과를 보였다. SF-36은 건강과 관련된 삶의 질을 결정하는 전반적인 요소를 측정하기 위해 개발되어진 도구3)로 모두 8개의 세부항목으로 이루어져 있다(Table 1). 그러나 타당도 검증을 위해 SF-36을 특별한 신체질환인 만성 귀 질환에 따른 사회적 기능과 삶의 질을 측정하는 CES와 직접 비교하기는 문제가 있다고 할 수 있다. 따라서 준거타당도를 비교하기 위해 SF-36이라는 범용의 도구를 이용하여 비교하되 신체나 사회적 기능과 관련된 요소인 신체적 기능(physical function), 사회적 기능(social function), 신체적 역할 제한(role of functioning physical), 감정적 역할 제한(role of functioning emotional)의 4가지 항목만을 선택 비교하여 CES가 SF- 36을 대신하여 건강관련 전반적인 삶의 질을 평가하는 듯한 오해를 피하고 CES의 개발목적을 충실히 지키고자 하였다. SF-36과의 연관성을 이용한 수렴타당도 결과에서 총 점수와 SF-36의 신체적 기능, 사회적 기능, 신체적 역할 제한, 감정적 역할 제한의 4가지 세부항목 모두 유의한 상관관계를 보여 만성 중이 질환이 환자의 건강상태에 중요한 영향을 미치고 있으며 K-CES가 이를 잘 반영하고 있음을 확인할 수 있었다. 따라서 본 연구를 통해 개발된 한국어판 K-CES는 매우 높은 신뢰도와 타당도를 보이는 설문지로 만성 중이 질환을 가진 환자들에게 유용하게 사용할 수 있는 설문지로 판단할 수 있었다.
REFERENCES
-
Nadol JB Jr, Staecker H, Gliklich RE. Outcomes assessment for chronic otitis media: the Chronic Ear Survey. Laryngoscope 2000;110(3 Pt 3):32-5.
-
Cho YS, Choi SH, Park KH, Park HJ, Kim JW, Moon IJ, et al. Prevalence of otolaryngologic diseases in South Korea: data from the Korea national health and nutrition examination survey 2008. Clin Exp Otorhinolaryngol 2010;3(4):183-93.
-
Han CW, Lee EJ, Iwaya T, Kataoka H, Kohzuki M. Development of the Korean version of Short-Form 36-Item
Health Survey: health related QOL of healthy elderly people and elderly patients in Korea. Tohoku J Exp Med 2004;203(3):189-94.
-
Wang PC, Nadol JB Jr, Merchant S, Austin E, Gliklich RE. Validation of outcomes survey for adults with chronic suppurative otitis media. Ann Otol Rhinol Laryngol 2000;109(3):249-54.
-
Wang PC, Chu CC, Liang SC, Tai CJ, Gliklich RE. Validation assessment of the Chinese-version Chronic Ear Survey: a comparison between data from English and Chinese versions. Ann Otol Rhinol Laryngol 2003;112(1):85-90.
-
Wang PC, Jang CH, Shu YH, Tai CJ, Chu KT. Cost-utility analysis of tympanomastoidectomy for adults with chronic suppurative otitis media. Otolaryngol Head Neck Surg 2005;133(3):352-6.
-
Jung KH, Cho YS, Hong SH, Chung WH, Lee GJ, Hong SD. Quality-of-life assessment after primary and revision ear surgery using the chronic ear survey. Arch Otolaryngol Head Neck Surg 2010;136(4):358-65.
-
Guillemin F, Bombardier C, Beaton D. Cross-cultural adaptation of health-related quality of life measures: literature review and proposed guidelines. J Clin Epidemiol 1993;46(12):1417-32.
-
Berkanovic E. The effect of inadequate language translation on Hispanics' responses to health surveys. Am J Public Health 1980;70(12):1273-6.
-
Cronbach LJ. Coefficient alpha and the internal structure of tests. Psychometrika 1951;16(3):297-334.
-
Cronbach LJ. Test reliability; its meaning and determination. Psychometrika 1947;12(1):1-16.
-
Lee KW, Kim SY, Chung WB, Hwang GS, Hwang YW, Hwang IH. The Validity and Reliability of Korean Version of Lubben Social Network Scale. Korean J Fam Med 2009;30:352-8.
-
Han GC, Lee EJ, Lee JH, Park SN, Lee HY, Jeon EJ, et al. The study of standardization for a Korean adaptation of self-report measures of dizziness. Res Vestib Sci 2004;3(2):307-25.
-
Agarwal R, Prasad J. A Conceptual and Operational Definition of Personal Innovativeness in the Domain of Information Technology. Information Systems Research 1998;9(2):204-15.
-
Juniper EF, Guyatt GH, Jaeschke R. How to develop and validate a new health-related quality of life instrument. In: Spilker B, editor. Quality of Life and Pharmacoeconomics in Clinical Trials. 2nd ed. Philadelphia: Lippincott-Raven Publishers;1996. p.49-56.
|
|
|
|