특히 케라힐-알로의 약효를 놓고서, 바이오솔루션 측은 이렇게 반론을 합니다.
"케라힐-알로의 임상 시험 결과는 화상 분야에서 가장 저명한 해외 SCI 저널인 BURNS에 등재되었습니다. 아시다시피, 과학 저널은 전문가의 면밀한 검토를 거쳐 등재 여부가 결정됩니다. 만약 전문 리뷰어들이 임상 시험 프로토콜이 케라힐-알로의 유효성을 평가하기 미흡했다고 판단했다면 등재되지 못했을 것입니다."
바이오솔루션 측이 언급한 대로 2014년 <번스(BURNS)>에 '케라힐-알로'가 약효가 있다고 주장하는 논문이 한 편 게재되었습니다. (☞관련 자료 : A clinical trial designed to evaluate the safety and effectiveness of a thermosensitive hydrogel-type cultured epidermal allograft for deep second-degree burns)
이 논문은 한림대학교 한강성심병원과 강원대학교 소속 저자 7명이 공동으로 작성한 것입니다. 이 논문의 결론은 간단합니다. 케라힐-알로가 화상 환자에게 효과가 있다는 것이죠. 식품의약품안전처(식약처)가 케라힐-알로를 허가할 때나 건강보험심사평가원(심평원) 약제급여평가위원회에서 이 약에 국민건강보험 적용을 결정할 때도 이 논문이 중요한 역할을 했겠죠.
그렇다면, 만약 이 논문이 문제투성이라면 결국 바이오솔루션이 주장한 케라힐-알로의 약효는 의심을 해볼 수밖에 없습니다. 그래서 이 논문을 전문가 몇몇과 함께 꼼꼼히 읽어보았습니다. 그런데 읽으면 읽을수록 의아한 대목이 한두 가지가 아닙니다. 독자 여러분, 특히 과학계와 의학계에 계신 분도 한 번씩 살펴보십시오.
과연 이런 논문을 근거로 식약처와 심평원이 케라힐-알로가 약효가 있다고 판단할 만한지.
어처구니없는 데이터 오류, 진실은?
가장 눈에 띄는 대목은 이 논문의 핵심이라고 할 수 있는 'Table 4'입니다([그림 1]). 그러니까 화상 상처에 케라힐-알로를 처치했을 때(CEAllo)와 아무런 처치를 안 했을 때(Control) 상처가 낫는(재상피화) 일수를 세서 비교해 본 것입니다. ① 일단 표본 수가 M1부터 M15까지 열다섯 개로 너무 적다는 것이 눈에 띕니다!
이뿐만이 아닙니다. ② 어처구니없는 데이터 오류도 있습니다.
M15를 봅시다. 케라힐-알로를 처치했을 때 '26일', 아무런 처치를 안 했을 때는 '14일'입니다. 그러면 그 차이(Difference)는 '12일'(26-14=12)입니다. 그런데 'Table 4'에는 '-2일'이라고 나옵니다. 분명한 오류입니다. 그런데 정작 바이오솔루션 측은 물론이고, 식약처나 심평원도 이런 오류를 발견하지 못했습니다.
이 오류는 심각합니다. 일단 '26일'이 맞는 표기라고 간주하고 평균(Mean)과 표준편차(SD)를 계산해 봤습니다. 그랬더니, 케라힐-알로(CEAllo)의 경우는 평균 10.4 표준편차 ±5.8, 대조군(Control)은 평균 12.3, 표준편차 ±4.8입니다. 'Table 4'의 평균, 표준편차 숫자는 계산이 모조리 틀렸습니다.
더 심각한 문제가 있습니다. 양측을 비교해서 통계적으로 의미가 있는지를 따져보려면 '유의 확률(p value)'이라는 값을 구해야 합니다. 보통 유의 확률이 0.05보다 작으면 통계적으로 의미 있는 차이고, 0.05보다 크면 통계적으로 의미 없는 차이로 간주합니다. 그렇다면, 이 논문은 어떨까요?
이 논문은 유의 확률이 0.0001보다 작기 때문에(p<0.0001) 통계적으로 의미가 있다고 주장합니다. 즉, 케라힐 알로가 아무런 처치를 안 했을 때와 비교했을 때, 화상 환자에게 효과가 있다는 것입니다. 그런데, 이 계산은 틀렸습니다. <프레시안>이 다시 'Table 4'의 데이터를 입력해서 계산해 봤더니, 유의 확률은 0.110288로 0.0001은커녕 0.05보다 큽니다(양측 검정).
이 'Table 4'의 데이터대로라면, 이 논문은 케라힐-알로가 아무런 처치를 하지 않았을 때와 비교했을 때 화상 환자에게 '효과가 없다'는 결론을 내리게 됩니다. "면밀한 검토"를 거쳐 "등재 여부를 결정한다"는 <번스>의 전문가는 이런 오류를 왜 못보고 지나쳤는지, 또 논문을 들여다보기만 해도 알 수 있는 이런 오류를 식약처나 심평원은 왜 확인 못했는지 의문입니다.
기왕 얘기가 나온 김에 한 가지만 더 언급하죠. <프레시안>이 이런 오류를 지적하자, 바이오솔루션 측은 "통계 전문가가 분석했고, 식약처의 통계 전문가가 검토 완료했다"며 "wilcoxon signed rank test를 이용해서 다시 분석해 보라"고 답변했습니다. (이 식약처의 통계 전문가는 누구인지 바이오솔루션 측은 실명을 밝혀 주십시오!)
그런데 황당합니다. 논문 1646쪽 '통계 분석(Statistical analyses)'을 보면, 분명히 "paired t test"를 사용해서 분석했다고 언급하고 있습니다("were analyzed using the paired t test"). 논문에서 "paired t test"를 사용해서 분석했다고 언급해 놓고선, "wilcoxon signed rank test"를 이용해서 다시 분석해 보라는 답변이 나온 까닭은 뭔가요?
(사실 이 논문은 표본 수가 작기 때문에 애초부터 "paired t test"가 아니라 "wilcoxon signed rank test"로 분석하는 게 적절합니다. 만약 이런 사실을 제대로 몰랐다면, 이 논문은 처음부터 통계 분석 방법을 제대로 채택하지 못했던 거죠. 그런데 논문에서 "paired t test"를 언급해 놓고서, 나중에야 "wilcoxon signed rank test"를 언급한 까닭은 무엇일까요?)
임상 시험, 연구비는 어디서 나왔나?
이 논문에는 중요한 문제가 하나 더 있습니다.
앞에서 언급했듯이 이 논문의 연구자는 한림대학교 한강성심병원과 강원대학교 소속 저자 7명입니다. 그리고 바이오 벤처 바이오솔루션은 이 논문을 근거로 자기가 개발한 케라힐-알로의 허가와 국민건강보험 등재 여부를 식약처와 심평원에 요청했습니다. 그렇다면, 여기서 의문이 생깁니다.
③ 도대체 이 연구에 들어가는 비용은 누가 댄 것일까요? 상식적으로는 바이오솔루션이 연구비를 대고 한강성심병원과 강원대학교 소속 저자 7명이 연구를 수행했을 가능성이 큽니다. <프레시안>과의 질의응답 과정에서 바이오솔루션 측은 이 논문을 마치 자신이 '직접' 수행한 연구처럼 언급했으니까요.
그렇다면, 이 논문은 '이해 상충(conflict of interest)'의 가능성이 있습니다. 그랬을 리는 없지만, 연구비를 대준 측의 입맛에 맞게 임상 시험이 진행되었을 가능성이 있으니까요. 그런데 신기하게도, 이 논문 말미에 '이해 상충' 여부를 언급해야 하는 곳에는 "아무런 금전적 지원이 없다"라고 쓰여 있습니다.
그렇다면, 한림대학교 한강성심병원과 강원대학교 소속 저자 7명은 도대체 어디서 나온 연구비로 이런 임상 시험을 수행했을까요? 정말로 궁금합니다. <프레시안>은 다음에는 이 저자 7명과 <번스> 측에 직접 접촉해서 데이터 오류, 연구비 출처 등을 집중해서 따져 물을 예정입니다.
만약 논문 저자들이 임상 시험을 하면서 바이오솔루션 측으로부터 연구비를 받고도 '이해 상충' 없다고 써냈으면 논문 게재 철회가 될 만큼 중요한 사안이기 때문입니다.
덧붙임 : 오타라고 변명한다면…
이 기사가 나가면, 분명히 바이오솔루션 측은 'Table 4'의 M15의 '26일'은 '14일', '14일'은 '16일'의 오타라고 주장할 것 같습니다(14-16=-2). 이렇게 두 곳을 수정하면 평균, 표준편차도 정확하고, 논문의 주장대로 케라힐-알로는 대조군에 비해서 '통계적으로 의미 있는' 정도로 효과가 있다는 결론이 나옵니다.
그런데 한 곳도 아니고 두 곳에 동시에 오타가 나는 일이 흔한 일인가요?
또 있습니다. 십분 양보해서 오타라고 간주해도 이런 중요한 데이터 오류를 확인하지 못한 식약처와 심평원의 문제점은 그대로 남습니다. 한 방(1회 1.5밀리리터)에 약 70만 원(69만8320원)을 국민건강보험에서 지출해야 하는 이런 약을, 이렇게 부실한 논문을 근거로 인정한 정황이 여러분은 납득이 됩니까?
전체댓글 0