열악한 인터넷 환경에서도 고화질 영상 감상 할 수 있다

KAIST연구진, 딥러닝 기술 이용 인터넷 비디오 전송 기술 개발

▲ 비디오의 한 장면을 캡처한 그림: 왼쪽이 기존 방식 오른쪽이 초해상화( 기술을 이용하여 복원한 비디오 ⓒKAIST

인터넷이 느려도 고화질 영상을 감상할 수 있는 딥러닝 기술을 이용한 인터넷 비디오 전송 기술을 KAIST 전기및전자공학부 신진우, 한동수 교수 연구팀이 개발했다.

이 기술은 유튜브, 넷플릭스 등에서 비디오를 사용자에게 전송할 때 사용하는 적응형 스트리밍 비디오 전송기술과 딥러닝 기술인 심층 콘볼루션 신경망 기반의 초해상화를 접목한 새로운 방식이다.

이는 열악한 인터넷 환경에서도 고품질, 고화질의 비디오 시청이 가능할 뿐 아니라 4K, AV/VR 등을 시청할 수 있는 새로운 기반 기술이 될 것으로 기대된다.

기존의 적응형 스트리밍은 시시각각 변화하는 인터넷 대역폭에 맞춰 스트리밍 중인 비디오 화질을 실시간으로 조절한다.

이를 위해 다양한 알고리즘이 연구되고 있으나 네트워크 환경이 좋지 않을 때는 어느 알고리즘이라도 고화질의 비디오를 감상할 수 없다는 한계가 있다.

연구팀은 적응형 스트리밍에 초해상화를 접목해 인터넷 대역폭에 의존하는 기존 적응형 스트리밍의 한계를 극복했다.

▲비디오 서버로부터 비디오가 전송된 후 저화질의 비디오가 고화질의 비디오로 변환되는 과정 ⓒ KAIST

연구팀이 새롭게 개발한 시스템은 추가로 신경망 조각을 비디오 조각과 같이 다운받게 했다.

제일 큰 신경망의 크기는 총 2메가바이트(MB)이며 비디오에 비해 상당히 작은 크기이다.

사용자의 컴퓨터에서는 동영상 시청과 함께 병렬적으로 심층 콘볼루션 신경망(CNN) 기반의 초해상화 기술을 사용해 비디오 플레이어 버퍼에 저장된 저화질 비디오를 고화질로 바꾸게 된다.
모든 과정은 실시간으로 이뤄지며 이를 통해 사용자들이 고화질의 비디오를 시청할 수 있다.

한동수 교수는 “지금은 데스크톱에서만 구현했지만 향후 모바일 기기에서도 작동하도록 발전시킬 예정이다”며 “이 기술은 현재 유튜브, 넷플릭스 등 스트리밍 기업에서 사용하는 비디오 전송 시스템에 적용한 것으로 실용성에 큰 의의가 있다”고 말했다.