통계학의 난제 ‘차원의 저주’ 풀렸다

박병욱 교수, 구조화 비모수모형의 추정 통해

데이터의 성김 현상 (Data Sparsity) = 데이터 또는 변수의 차원이 증가함에 따라 국소영역에서 관측되는 데이터의 관측빈도가 기하적으로 감소하는 현상을 보여주며 이 현상이 차원의 저주를 발생시킨다. ⓒ 한국연구재단

통계학의 회귀분석에서 최대 난제인 ‘차원의 저주’를 서울대 박병욱 교수 연구팀이 해결했다.

한국연구재단(이사장 노정혜)은 7일 박병욱 교수 연구팀이 구조화 비모수모형의 추정을 통해 ‘차원의 저주’를 해결하는 방법론을 개발했다고 밝혔다.

관측된 자료를 바탕으로 여러 변수 간의 관계를 추정해 내는 통계학에서 비모수적 방법론은 변수간의 함수가 무한 차원일 수 있다고 가정해 보다 정확한 관계식을 추정한다.

그러나 변수의 개수에 비례해 추정의 정확도가 떨어지는 현상인 ‘차원의 저주’를 피하지 못해, 실제 활용도는 제한적이다.

연구팀은 함수에 특별한 구조를 가정하고 함수를 추정한 뒤, 적절한 알고리즘을 적용하면 차원의 저주를 피할 수 있음을 규명했다.

대표적인 구조로는 가법구조, 부분선형가법구조, 변수계수구조 등이 있으며 해당 구조들은 여전히 함수가 무한 차원임을 허용하는 구조라는 점에서 의미가 있다.

수학계의 노벨상인 필즈 메달이 수여되는 제28차 세계수학자대회에서 한국인 통계학자로는 최초로 박병욱 교수에게 발표를 요청했다.

박병욱 교수 ⓒ 한국연구재단

박병욱 교수는 “향후에는 유클리드 공간에 속하는 자료를 넘어 최근 대두되고 있는 이미지 자료, 형상 자료, 함수 자료 등 비유클리디안 자료도 분석할 수 있는 비모수구조모형을 연구할 계획”이라고 밝혔다.

이 연구 성과는 세계수학자대회(International Congress of Mathematicians, ICM)에서 8월 2일 발표되었다. (논문명 : Nonparametric Additive Regression )