Apple, 3D 비전의 규칙을 다시 쓰는 AI 모델 Depth Pro 출시

 

Apple의 AI 연구팀은 기계가 깊이를 인식하는 방식을 크게 발전시켜 잠재적으로 증강 현실에서 자율주행차에 이르기까지 다양한 산업을 변화시킬 수 있는 새로운 모델을 개발했습니다.

Depth Pro라고 불리는 이 시스템은 일반적으로 예측을 수행하는 데 필요한 카메라 데이터에 의존하지 않고도 단일 2D 이미지에서 몇 분의 1초 만에 상세한 3D 깊이 맵을 생성할 수 있습니다.

 

"Depth Pro: 1초 미만의 선명한 단안 미터법 깊이"라는 제목의 연구 논문에 자세히 설명된 이 기술은 단 하나의 이미지를 사용하여 깊이를 추론하는 프로세스인 단안 깊이 추정 분야에서 큰 도약입니다.

이는 실시간 공간 인식이 중요한 분야 전반에 걸쳐 광범위한 응용 프로그램을 가질 수 있습니다. Aleksei Bochkovskii와 Vladlen Koltun이 이끄는 이 모델 제작자는 Depth Pro를 동종 시스템 중 가장 빠르고 정확한 시스템 중 하나로 설명합니다.

 

메타데이터 없이 속도와 정밀도
단안 깊이 추정은 깊이를 정확하게 측정하기 위해 여러 이미지나 초점 거리와 같은 메타데이터가 필요한 오랫동안 어려운 작업이었습니다.

그러나 Depth Pro는 이러한 요구 사항을 우회하여 표준 GPU에서 단 0.3초 만에 고해상도 깊이 맵을 생성합니다. 이 모델은 뛰어난 선명도를 갖춘 225만 픽셀 지도를 생성할 수 있으며, 다른 방법으로는 종종 간과되는 머리카락이나 식물과 같은 아주 미세한 세부사항까지도 포착할 수 있습니다.

연구원들은 논문에서 “이러한 특성은 조밀한 예측을 위한 효율적인 다중 스케일 비전 변환기를 포함한 다양한 기술적 기여에 의해 가능해졌습니다.”라고 설명합니다. 이 아키텍처를 통해 모델은 이미지의 전체적인 맥락과 세부적인 세부 사항을 동시에 처리할 수 있습니다. 이는 이전 모델보다 느리고 정확도가 떨어지는 엄청난 도약입니다.

 

메트릭 깊이, 제로샷 학습
Depth Pro를 진정으로 차별화하는 것은 "메트릭 깊이"라고 불리는 상대적인 깊이와 절대적인 깊이를 모두 추정하는 능력입니다.

이는 모델이 실제 공간 내의 정확한 위치에 가상 객체를 배치해야 하는 증강 현실(AR)과 같은 애플리케이션에 필수적인 실제 측정을 제공할 수 있음을 의미합니다.

그리고 Depth Pro는 정확한 예측을 위해 도메인별 데이터 세트에 대한 광범위한 교육("제로 샷 학습"으로 알려진 기능)이 필요하지 않습니다. 이는 모델을 매우 다양하게 만듭니다. 깊이 추정 모델에서 일반적으로 필요한 카메라별 데이터가 필요 없이 광범위한 이미지에 적용할 수 있습니다.

 

"Depth Pro는 카메라 내장 기능과 같은 메타데이터를 요구하지 않고 '야생' 임의의 이미지에 대해 절대 크기의 미터법 깊이 맵을 생성합니다."라고 저자는 설명합니다. 이러한 유연성은 AR 경험 향상부터 자율주행차의 장애물 감지 및 탐색 능력 향상에 이르기까지 가능성의 세계를 열어줍니다.

Depth Pro를 직접 경험하고 싶은 분들을 위해 Hugging Face 플랫폼에서 라이브 데모를 보실 수 있습니다.

 

실제 애플리케이션: 전자상거래에서 자율주행 자동차까지

 

이러한 다양성은 다양한 산업 분야에 중요한 영향을 미칩니다. 예를 들어, 전자 상거래에서 Depth Pro를 사용하면 소비자는 휴대폰 카메라를 방에 비추기만 하면 가구가 집에 어떻게 어울리는지 확인할 수 있습니다. 자동차 산업에서는 단일 카메라에서 실시간 고해상도 깊이 맵을 생성하는 기능을 통해 자율 주행 자동차가 환경을 인식하는 방식을 개선하고 내비게이션과 안전성을 향상시킬 수 있습니다.

연구원들은 "이 방법은 객체 모양, 장면 레이아웃 및 절대 크기를 정확하게 재현하기 위해 이 제로 샷 체제에서 미터법 깊이 맵을 이상적으로 생성해야 합니다."라고 적고, 기존 AI 모델 교육과 관련된 시간과 비용을 줄일 수 있는 모델의 잠재력을 강조했습니다. .

깊이 추정 문제 해결
깊이 추정에서 가장 어려운 과제 중 하나는 깊이 매핑의 오류로 인해 공중에 떠 있는 것처럼 보이는 픽셀인 "비행 픽셀"을 처리하는 것입니다. Depth Pro는 이 문제를 정면으로 해결하여 정확성이 가장 중요한 3D 재구성 및 가상 환경과 같은 애플리케이션에 특히 효과적입니다.

또한 Depth Pro는 경계 추적 기능이 탁월하여 개체와 가장자리를 선명하게 묘사하는 데 있어 이전 모델보다 성능이 뛰어납니다. 연구원들은 이 시스템이 "경계 정확도의 곱셈 요소"로 다른 시스템을 능가한다고 주장합니다. 이는 이미지 매트 및 의료 영상과 같이 정확한 물체 분할이 필요한 응용 분야의 핵심입니다.

오픈 소스 및 확장 가능

 

Apple은 Depth Pro의 채택을 가속화하기 위해 Depth Pro를 오픈 소스로 만들었습니다. 사전 훈련된 모델 가중치와 함께 이 코드는 GitHub에서 사용할 수 있으므로 개발자와 연구자는 기술을 실험하고 더욱 개선할 수 있습니다. 저장소에는 모델 아키텍처부터 사전 훈련된 체크포인트까지 모든 것이 포함되어 있어 다른 사람들이 Apple의 작업을 쉽게 구축할 수 있습니다.

연구팀은 또한 로봇공학, 제조, 의료와 같은 분야에서 Depth Pro의 잠재력을 더욱 탐구하도록 장려하고 있습니다. 저자는 "우리는  코드와 가중치를 공개합니다."라고 적으며 이것이 모델의 시작일 뿐임을 알립니다.

AI 깊이 인식의 다음 단계
인공 지능이 계속해서 가능성의 경계를 확장함에 따라 Depth Pro는 단안 깊이 추정의 속도와 정확성에 있어 새로운 표준을 설정합니다. 단일 이미지에서 고품질의 실시간 깊이 맵을 생성하는 기능은 공간 인식에 의존하는 산업 전반에 걸쳐 광범위한 영향을 미칠 수 있습니다.

의사결정과 제품 개발에서 AI가 점점 더 중요해지는 세상에서 Depth Pro는 최첨단 연구가 어떻게 실용적이고 실제적인 솔루션으로 전환될 수 있는지를 보여줍니다. 기계가 주변 환경을 인식하는 방식을 개선하거나 소비자 경험을 향상시키는 등 Depth Pro의 잠재적인 용도는 광범위하고 다양합니다.

연구원들은 "Depth Pro는 머리카락, 털, 식물과 같은 미세한 구조를 포함하여 물체 경계를 선명하게 묘사하는 데 있어 이전의 모든 작업보다 훨씬 뛰어난 성능을 발휘합니다."라고 결론지었습니다. 오픈 소스 출시를 통해 Depth Pro는 곧 자율 주행부터 증강 현실까지 다양한 산업에 통합되어 기계와 사람이 3D 환경과 상호 작용하는 방식을 변화시킬 수 있습니다.