본문 바로가기
KERD
논문KCI 등재

상담현장에서 활용가능한 초간단 척도(Ultra-brief scale)인 상담성과척도(Outcome Rating Scale: ORS)의 국내 타당화 연구

A Validation Study of the Korean Version of Outcome Rating Scale(ORS), a Ultra-brief Scale Available for Counseling Sites

심은정|박승민|안성식
한국상담학회 (Korean Counseling Association (KCA))|2020.08|상담학연구 (Korea Journal of Counseling)|제21권 제4호|pp. 27-46|DOI 10.15703/kjc.21.4.202008.27

0

조회

0

다운로드

8

인용

0

참고문헌

키워드

타당화절단점Cut-off scoreValidationOutcome상담성과ORS신뢰 변화 지수RCI
주제분류교육학

초록

상담성과를 효과적으로 측정하는 도구는 쉽게 활용할 수 있어야 하며 상담 현장에서 상담자와 내담자가 일관성 있게 상담성과와 관련된 결과를 도출할 수 있는 것이어야 한다. 본 연구의 목적은 상담성과를 측정하기 위한 척도 중 실제 상담 장면에서 유용하게 활용될 수 있는 초간단 상담성과척도인 Outcome Rating Scale (ORS)를 국내에서 활용 가능하도록 타당화하는 데 있다. 먼저 번역 및 역번역 절차가 한국어판 ORS를 제작하기 위해 시행되었다. 한국어판 ORS, OQ-30, PHQ-9, GAD-7이 포함된 설문을 한국 남녀 대학생들을 대상으로 실시했으며, 참가자 551명의 자료를 분석하였다. 한국어판 ORS의 절단점 점수를 찾기 위하여, 연구 참여자들을 OQ-30과 PHQ-9의 점수를 바탕으로 임상 집단 또는 비임상 집단에 배정하였다. 자료 분석을 통해 신뢰할 만한 한국어판 ORS의 신뢰도와 타당도 수치를 확인하였다. Jacobson & Truax (1991)가 제안한 공식과 ROC분석을 활용하여 임상적 절단점과 신뢰변화지수(RCI)를 산출하였다. 끝으로 본 연구의 결과가 가지는 시사점을 논의하였다.

Abstract

An effective tool measuring counseling outcome needs to be easy to administer and score for consistent use by clinicians and clients at counseling sites. The purpose of this study was to validate the Outcome Rating Scale(ORS), a ultra-brief scale that can be practically utilized in actual counseling field among counseling outcome measurements and to make it available in Korea. Translation and reverse-translation procedures were implemented to produce a Korean version of ORS. Questionnaires including Korean versions of ORS, OQ-30, PHQ-9, and GAD-7 were administered to Korean male and female college students, and the data of 551 participants were analyzed. Participants were assigned to either of non-clinical group or clinical group based on their scores on OQ-30, PHQ-9 and GAD-7 in the process of finding the cutoff score. The results yielded reliable scores for reliability and validity. Applications of formula suggested by Jacobson & Truax (1991) and ROC analysis produced clinical cut-off scores and reliable change index(RCI) scores. The implications of the results were discussed.

참고문헌 (49)

  1. 김계원, "상담심리학의 최근 연구동향: 상담 및 심리치료학회지 게재논문 분석(2000～2009)", 한국심리학회지: 상담 및 심리치료, 23(3), pp.521~542 (2011), 한국상담심리학회
  2. 조한익, "학교상담과 생활지도" (2000), 학지사
  3. 김선경, "한국판 핵심 상담성과도구 (The Korean Inventory of Clinical Outcomes in Routine Evaluation-Outcome Measure; K-CORE-OM)의 타당화", 상담학연구, 17(3), pp.105~127 (2016), 한국상담학회[DOI]
  4. 박가람, "성폭력 상담에서 내담자들이 지각한 도움경험(Helpful Experience): 질적 분석", 한국심리학회지: 상담 및 심리치료, 20(1), pp.161~182 (2008), 한국상담심리학회
  5. 서종근, "편두통 환자에서 범불안장애 설문지의 타당성 연구", 박사, pp.2015
  6. 손난희, "상담성과 측정을 위한 상담성과척도(Outcome Questionnaire-30: OQ-30)의 타당화", 상담학연구, 13(1), pp.1~15 (2012), 한국상담학회[DOI]
  7. 안제용, "한국어판 우울증 선별도구(Patient Health Questionnaire-9, PHQ-9)의 표준화 연구", 생물치료정신의학, 19(1), pp.47~56 (2013), 대한생물치료정신의학회
  8. 왕은자, "상담성과 평가와 신뢰할 수 있고 임상적으로 의의있는 지수의 활용가능성", 상담학연구, 15(3), pp.1085~1100 (2014), 한국상담학회[DOI]
  9. 왕은자, "국내 개인상담 성과의 측정 및 평가에 대한 분석: 학술지 '상담학연구'와 '한국심리학회지: 상담 및 심리치료'를 중심으로", 상담학연구, 19(5), pp.1~23 (2018), 한국상담학회[DOI]
  10. 이장호, "상담심리학" (2010), 학지사
  11. 이화실, "상담성과 모니터링을 적용한 상담과정에 대한 사례연구", 상담학연구: 사례및실제, 1(2), pp.1~23 (2016), 한국상담학회[DOI]
  12. 조남정, "상담학의 연구 동향 분석:「상담학연구」학회지 게재논문(창간년도～2009)", 상담학연구, 11(2), pp.507~524 (2010), 한국상담학회[DOI]
  13. 황인호, "상당자의 자기 효능감과 역전이 행동 및 상담협력관계가 상담만족도에 미치는 영향", 한국심리학회지: 상담 및 심리치료, 17(3), pp.547~564 (2005), 한국상담심리학회
  14. Anker, M. G., "Using Client Feedback to Improve Couple Therapy Outcomes: A Randomized Clinical Trial in a Naturalistic Setting", Journal of Consulting and Clinical Psychology, 77(4), pp.693~704 (2009)
  15. Barkham, M., "Developing and delivering practice-based evidence: A guide for the psychological therapies", pp.21~61 (2010), Wiley-Blackwell
  16. Cazauvieilh, C., "Validation of the French Versions of Two Brief, Clinician-friendly Outcome Monitoring Tools: The ORS and SRS" (2019), Sage Submissions
  17. Chen, F., "Improper solutions in structural equation models: Causes, consequences, and strategies", Sociological Methods and Research, 29(4), pp.468~508 (2001)
  18. Cooper, M., "School-based counseling using systematic feedback: A cohort study evaluating outcomes and predictors of change", Psychotherapy Research, 23(4), pp.474~488 (2013)
  19. Administration, scoring and procedure manual, "Derogatis, L. R.", Clinical Psychometric Research, ~, pp.SCL-90-R (1992)
  20. Durham, C. J., "The effects of repeated administrations on self report and parent report scales", Journal of Psychoeducational Assessment, 20(3), pp.240~257 (2002)
  21. Eisen, S. V., "Implementing outcome systems: Lessons from a test of the BASIS-32 and the SF-36", The Journal of Behavioral Health Services and Research, 26(1), pp.18~27 (1999)
  22. Ellsworth, J. R., "A comparison of the outcome questionnaire-45 and outcome questionnaire-30 in classification and prediction of treatment outcome", Clinical Psychology and Psychotherapy, 13(6), pp.380~391 (2006)
  23. Evans, C., "Towards a standardised brief outcome measure:Psychometric properties and utility of the CORE-OM", The British Journal of Psychiatry, 180(1), pp.51~60 (2002)
  24. Greenberg, L. S., "Change process research", Journal of Consulting and Clinical Psychology, 54(1), pp.4~9 (1986)
  25. Hajian-Tilaki, K., "Receiver operating characteristic (ROC) curve analysis for medical diagnostic test evaluation", Caspian Journal of Internal Medicine, 4(2), pp.627~635 (2013)
  26. Hosmer D, W., "Applied logistic regression" (2000), John Wiley and Sons
  27. Howard, K. I., "Evaluation of psychotherapy: Efficacy, effectiveness, and patient progress", American Psychologist, 51(10), pp.1059~1064 (1996)
  28. Jacobson, N. S., "Clinical significance: A statistical approach to defining meaningful change in psychotherapy research", Journal of Consulting and Clinical Psychology, 59(1), pp.12~19 (1991)
  29. Janse, P., "Measuring feedback from clients: The psychometric properties of the dutch outcome rating scale and session rating scale", European Journal of Psychological Assessment, 30(2), pp.86~92 (2014)
  30. Kelly, M. J., "Evaluating cutpoints for the MHI-5and MCS using the GHQ-12: A comparison of five different methods", BMC Psychiatry, 8(1), pp.10~ (2008)
  31. Kroenke, K., "The PHQ-9: Validity of Brief Depression Severity Measure", Journal Of General Internal Medicine, 16(9), pp.606~614 (2001)
  32. Lambert, M. J., "The reliability and validity of the Outcome Questionnaire", Clinical Psychology & Psychotherapy, 3(4), pp.249~258 (1996)
  33. Lambert, M. J., "Collecting client feedback", Psychotherapy, 48, pp.72~79 (2011)
  34. Lambert, M. J., "Handbook of counseling psychology", pp.233~248 (2008), John Wiley & Sons, Inc
  35. Larsen, D. L., "Assessment of client", patient satisfaction: Development of a general scale, 1979, pp.2(3), 197~207
  36. Leibert, T. W., "Do common factors account for counseling outcome?", Journal of Counseling & Development, 93(2), pp.225~235 (2015)
  37. Miller, S. D., "The Outcome and Session Rating Scales: Administration and scoring manual" (2004), Institute for the Study of Therapeutic Change
  38. Miller, S. D., "Using formal client feedback to improve retention and outcome:Making ongoing, real-time assessment feasible", Journal of Brief Therapy, 5(1), pp.5~22 (2006)
  39. Miller, S. D., "The Outcome Rating Scale: A Preliminary Study of the Reliability, Validity, and Feasibility of a BriefVisual Analog Measure", Journal of Brief Therapy, 2(2), pp.91~100 (2003)
  40. Ogles, B. M., "Clinical significance: History, application, and current practice", Clinical Psychology Review, 21(3), pp.421~446 (2001)
  41. Ojagbemi, A., "Criterion Validity of the “HRQOLISP-E”: A New Context-Specific Screening Tool for Poststroke Depression", Behavioral Neurology, 2017, pp.6~11 (2017)
  42. Reese, R. J., "Does a continuous feedback system improve psychotherapy outcome?", Psychotherapy, 46(4), pp.418~431 (2009)
  43. Roberts, L. J., "Individual drinking changes following a brief intervention among college students: Clinical significance in an indicated preventive context", Journal of Consulting and Clinical Psychology, 68(3), pp.500~505 (2000)
  44. She, Z., "Client feedback in China: A randomized clinical trial in a college counseling center", Journal of Counseling Psychology, 65(6), pp.727~737 (2018)
  45. Spitzer, R. L., "A brief measure for assessing generalized anxiety disorder: The GAD-7", Archives of Internal Medicine, 166(10), pp.1092~1097 (2006)
  46. Stiles, W. B., "Measurement of the impact of psychotherapy sessions", Journal of Consulting and Clinical Psychology, 48(2), pp.176~185 (1980)
  47. Stiles, W. B., "Counseling session impact as viewed by novice counselors and their clients", Journal of Counseling Psychology, 31(1), pp.3~12 (1984)
  48. Vermeersch, D. A., "Outcome Questionnaire: Item sensitivity to change", Journal of Personality Assessment, 74(2), pp.242~261 (2000)
  49. Youden, W. J., "Index for rating diagnostic tests", Cancer, 3(1), pp.32~35 (1950)

관련 논문AI추천

상담성과 측정을 위한 상담성과척도(Outcome Questionnaire-30: OQ-30)의 타당화손난희, 유성경한국상담학회 · 상담학연구2012 · 제13권 제1호주기적 결과 모니터링을 위한 성과 측정 척도 개발 및 타당화김민정, 김종민, 송영훈, 연규진, 이문수, 장현진, 조화진, 진아영한국상담심리학회 · 한국심리학회지: 상담 및 심리치료2025 · 제37권 제2호상담성과 평가와 신뢰할 수 있고 임상적으로 의의있는 지수의 활용가능성김계현, 김선경, 박경희, 왕은자한국상담학회 · 상담학연구2014 · 제15권 제3호국내 개인상담 성과의 측정 및 평가에 대한 분석: 학술지 '상담학연구'와 '한국심리학회지: 상담 및 심리치료'를 중심으로김선경, 왕은자, 유정이한국상담학회 · 상담학연구2018 · 제19권 제5호내담자 경험 중심 상담성과 척도 개발 및 타당화김혜주, 설경옥사회과학연구소 · 지역과 세계2025 · 제49권 제1호단기상담의 성과 평가 모형 개발박선하, 유형근한국상담학회 · 상담학연구2021 · 제22권 제6호

이 간행물의 다른 논문 (6건)

교정적 관계 경험 개념의 정교화를 위한 탐색적 연구: 우울하고 적대-순종 유형인 내담자들을 중심으로류미나, 이승기, 김창대, 라수현pp. 1-25상담자로의 진로전환 경험에 관한 현상학적 연구최희주, 김영근pp. 79-105사회적 상호작용불안과 지각된 사회적 지지의 관계: 내현적 자기애를 통한 자기노출의 매개된 조절효과유나현, 이은영pp. 197-218테크놀로지 기반 상담 실제의 도전과 과제황희산, 황매향pp. 219-245불면증 수용과정에 관한 내러티브곽성희, 우석봉, 진명일pp. 311-340
원문 보기