경상남도에서는 2019년 8월부터 돌봄이 필요한 취약계층을 대상으로 인공지능 통합돌봄 시범사업이 시행되고 있다. 인공지능 통합돌봄사업은 인공지능 스피커, IoT(사물인터넷) 생활감지센서를 이용하여 비대면 건강관리서비스를 제공하는 사업으로 다음과 같은 목적을 가지고 진행되었다.
1) 고령화 및 독거노인 증가에 따른 돌봄 수요에 대응하기 위해 ICT(정보통신기술)와 복지·보건 분야를 융합한 돌봄서비스 개발
2) 정보통신기술을 활용한 방문, 전화 등 돌봄서비스를 통하여 돌봄이 필요한 세대의 외로움 해소, 긴급상황 대응, 사회적 관계망 향상 도모
3) 돌봄 빅데이터 구축을 통한 향후 도정 복지시책 활용
사업이 시작된 후 2022년 하반기까지 경남 18개 시군에 7,615대의 인공지능 스피커가 설치되었다. 경상남도사회서비스원은 2021년에 시범사업에 대한 중간평가 보고서를 발간하였다.(☞ 바로 가기 : 경상남도 인공지능 통합돌봄사업 대상자 만족도 연구)
보고서에는 인공지능 통합돌봄사업 이용실태와 만족도 조사 결과가 제시되었다. 주요 결과로 인공지능 스피커의 만족도를 나타내는 항목 "인공지능 스피커 활용시 즐거움을 느끼십니까?"가 87%, "인공지능 스피커 사용 후 본인의 삶이 좋아졌습니까?"는 81%, "서비스를 다른 사람에게 추천할 생각이 있나요?"는 81% 등 높은 만족도 결과가 나타났다. 이를 바탕으로 보고서에는 인공지능 스피커의 확대 운영, 인공지능 스피커 기능 개발과 기기의 지속적인 품질개선 등이 제안되었다. 평가보고서 외에도 "인공지능 AI 스피커와의 동거동락"이라는 우수사례 이야기 사례집이 발간되기도 했다.
시범사업 효과에 대한 평가는 지역의 시범사업을 전국 사업으로 확대하는 근거가 될 수 있고, 서비스 개선에 대한 아이디어를 제시할 수 있기 때문에 매우 중요하다. 중요한 만큼 평가는 치밀하게 계획되어야 하고, 공정해야 한다. 그렇다면 이번 인공지능 통합돌봄사업에 대한 평가는 적절했을까? 그렇지 않다는 것이 필자의 의견이다.
그 이유로 첫 번째는 평가에 대조군이 없었다는 점이다. 서비스가 비대면 건강관리서비스이기에 사람들은 당연히 대면 건강관리서비스와의 비교를 궁금해 할 것이다. 그러나 평가 설계에서 이러한 내용은 없었다.
두 번째로, 시범서비스가 서비스 대상자에게 "물질적 이득"을 무료로 주었다는 것이다. 인공지능 스피커, 생활감지센서가 무료로 제공되었고, 스피커에는 인기 트로트 가요 500곡이 추가로 제공되었다. 인터넷 망 설치 뿐 아니라, 월 사용료도 무료로 제공되었다. 이러한 상황에서 물어본 만족도 조사가 과연 정확할 수 있었을까?
세 번째는 비용효과성에 대한 고려가 없었다는 점이다. 기계값 30~50만 원에 매달 사용료 2~3만 원(인터넷 사용료 포함)을 생각하면, 비용이 최소 50만 원을 넘어간다. 기기를 관리하는 각 시군별 관제센터 운영비도 추가로 발생한다. 초기 설치비용을 제외하더라도 1만 대 설치시 매년 30~50억 원의 비용이 발생하는데, 이는 경남에 매년 100명 이상의 방문 돌봄제공자를 고용할 수 있는 금액이다.
마지막으로, 이 사업의 자금 지원에 대한 이야기도 보고서에는 빠져 있다. 복권기금과 경상남도 지원과 함께 민간 통신기업들의 지원도 있었을 것으로 추정된다. 그러나 어느 곳에도 지원에 대한 구체적 언급을 찾아볼 수 없다. 적절하지 못한 시범사업 평가가 결국 인공지능 돌봄 서비스의 전국 확대의 근거가 되고 있다. 사업평가가 제대로 이뤄지지 않는다면, 실제로 만족도가 좋지 않고 효과도 없는 사업에 수백억 원의 예산이 사용될 위험이 있다. 평가가 중요한 이유다.
외국에서도 보건복지서비스 평가에 대한 문제점을 고민해왔다. 오늘 소개할 논문은 의료의 질 측정을 위해 사용되는 환자 만족도 조사의 '바이어스(Bias, 편향)'를 다룬 연구이다.(☞ 바로 가기 : 환자 만족도 조사의 편향: 의료 질 측정에 대한 위협) 환자 만족도 조사는 의료의 질을 측정하기 위한 도구로 일반적으로 사용되고 있다. 그러나, 질문을 어떻게 구성하느냐에 따라 결과는 크게 달라질 수 있다.
나이지리아에서 2200명 이상의 환자를 대상으로 실험한 연구결과, 부정적 프레임(framing)에 따라 만들어진 설문문항으로 조사받은 환자들은 긍정적 프레임의 설문문항으로 조사받은 환자들보다 훨씬 낮은 의료서비스 만족도를 보인 것으로 나타났다. 질문에 따라 19%의 차이를 나타낼 정도로 프레임의 효과는 컸다.
[그림]과 같이 설문문항의 프레임에 따라 환자 만족도는 전혀 다르게 측정될 수 있다. 이 연구결과는 편향된 조사도구를 통해 측정된 환자 만족도 평가는 의료서비스의 질을 왜곡되게 보여줄 수 있다는 사실을 시사한다. 연구진은 의료의 질을 정확하게 측정하기 위해서는 편견을 유발하지 않는, 보다 객관적인 측정 방법을 사용해야 한다고 주장한다.
경상남도의 예시와 나이지리아 실험연구의 예시처럼 보건복지서비스 평가는 평가를 어떻게 디자인하는가에 따라 서비스의 질에 대해 전혀 다른 결과를 만들 수 있다. 그렇기에 연구자는 보건복지서비스 평가의 의미를 가볍게 여기지 않아야 하며, 치밀한 방법으로 수행해야 한다. 이를 통해 소중한 사회적 재원을 꼭 필요하고 효과적인 보건복지서비스 사업과 정책에 투입할 수 있어야 한다.
* 서지 정보
- Dunsch F., Evans D.K., Macis, M. & Wang, Q. (2018). Bias in patient satisfaction surveys: a threat to measuring healthcare quality. BMJ Global Health. 3(2), e000694.
전체댓글 0