Meta와 Arm은 휴대폰과 그 이상에 더 많은 AI를 도입하고 싶어합니다.

 

앞으로는 대형 언어 모델을 통해 카메라 버튼을 누르는 대신 휴대폰과 대화만 하면 사진을 찍을 수 있게 될 것입니다. 이와 같은 대화 인터페이스는 언젠가 휴대폰, 시계, 보안 카메라 이상의 기능을 수행할 수도 있습니다.

이는 오늘 Meta Connect 이벤트에서 공개된 휴대전화에서 실행되도록 제작된 한 쌍의 소형 AI 모델 작업을 위해 협력한 Meta와 Arm의 제품 관리자에 따르면 그렇습니다. 두 회사 모두 삼성 갤럭시 S24 시리즈의 갤럭시 AI, 구글 픽셀 9 프로의 제미니 AI, 애플 인텔리전스 등 휴대폰의 필수 기능이 된 생성적 AI를 휴대폰에 구현하기 위해 점점 더 경쟁적인 노력을 기울이고 있습니다. 새로운 iPhone 16 시리즈에 출시될 예정입니다.

Meta의 새로운 AI 모델은 10억 및 30억 개의 매개변수(각각 Llama 3.2 1B 및 3B로 표시됨)로 다른 LLM보다 상대적으로 작습니다. 휴대폰 및 잠재적으로 다른 소형 장치에도 사용하기에 적합합니다. 이는 "가장자리"에서 사용하기 위한 것입니다. 즉, 클라우드를 통한 계산이 아니라 장치 내에서 사용됩니다.

 

Meta의 생성 AI 제품 관리 부사장인 Ragavan Srinivasan은 "우리는 이것이 많은 추론을 온디바이스 및 엣지 사용 사례로 옮길 수 있는 정말 좋은 기회라고 생각합니다."라고 말했습니다.

스리니바산은 스마트폰과 기타 장치에서 텍스트 요약(예: 여러 이메일 요약, 캘린더 초대 생성 등)과 같은 작업에 이러한 작은 모델을 사용할 수 있다고 설명했습니다. 이러한 작업은 모바일 작업 흐름에 깊이 통합되어 있습니다. 

1B 및 3B 모델은 휴대폰에서 작동하기 위해 의도적으로 더 작으며 텍스트만 이해할 수 있습니다. Llama 3.2 세대에 출시된 두 가지 대형 모델인 11B와 90B는 휴대폰에서 실행하기에는 너무 크고 다중 모드이므로 텍스트와 이미지를 제출하여 복잡한 답변을 얻을 수 있습니다. 이는 텍스트만 이해할 수 있었던 이전 세대의 8B 및 70B 모델을 대체합니다.

 

Meta는 Qualcomm, Apple, Samsung, Google 등과 같은 회사의 칩에 사용되는 CPU 및 기타 실리콘용 아키텍처를 설계하는 Arm과 긴밀히 협력했습니다. 전 세계적으로 3,000억 개가 넘는 Arm 기반 장치가 있으며 이러한 모델을 사용할 수 있는 컴퓨터와 휴대폰의 공간은 엄청납니다. Meta와 Arm은 파트너십을 통해 약 1,500만 명의 Arm 장치 앱 개발자가 Llama 3.2 모델을 지원하는 소프트웨어를 구축할 수 있도록 지원하는 데 투자했습니다. 

Arm의 클라이언트 사업부 총책임자인 Chris Bergey는 "Meta가 여기서 하고 있는 일은 이러한 최첨단 모델에 대한 액세스 방식과 개발자 커뮤니티가 이를 통해 무엇을 할 수 있는지를 진정으로 변화시키는 것입니다."라고 말했습니다.

이 파트너십은 개발자가 더 작은 Llama 3.2 모델을 지원하고 이를 앱에 신속하게 통합할 수 있도록 지원하는 데 투자되었습니다. Bergey는 LLM을 활용하여 새로운 사용자 인터페이스와 장치와 상호 작용하는 방법을 만들 수 있다고 이론화했습니다. 예를 들어 버튼을 눌러 카메라 앱을 여는 대신 장치와 대화를 나누고 원하는 것을 설명할 수 있습니다.

 

장치의 양과 1B 또는 3B와 같은 더 작은 모델을 배포할 수 있는 속도를 고려할 때 Bergey는 개발자가 곧 앱에서 이를 지원하기 시작할 수 있다고 말합니다. 그는 “올해 말은 아니더라도 내년 초쯤으로 생각한다”고 말했다.

기존 LLM 논리에서는 매개변수가 많을수록 언어 모델이 더욱 강력해집니다. 매개변수가 각각 10억개와 30억개에 불과한 1B와 3B는 다른 LLM보다 매개변수가 훨씬 적습니다. Srinivasan이 말했듯이 매개변수 크기는 지능의 프록시이지만 반드시 같은 것은 아닙니다. Llama 3.2 모델은 올해 초 출시된 Meta의 Llama 3 시리즈 모델을 기반으로 합니다. 여기에는 회사가 생산한 Llama 3.1 모델 405B에서 가장 강력한 모델이 포함됩니다. 당시 Meta는 이 모델이 공개적으로 사용 가능한 가장 큰 LLM이라고 밝혔습니다. 1B 및 3B 모델의 교사로 사용되는 회사입니다.

개발자들은 대부분의 루프라인이나 장치 내 작업에 더 작은 모델을 사용하기를 원한다고 Srinivasan은 말했습니다. 그들은 어떤 작업이 너무 복잡해서 더 큰 장치와 클라우드에서 계산이 필요한 더 높은 매개변수 8B 및 70B 모델(4월에 발표된 Llama 3 세대)로 전송되기를 원하지만 사용자 관점에서 보면 앱이 둘 사이를 전환할 때 이 모든 것이 매우 원활하게 이루어져야 합니다.

 

Srinivasan은 "결과적으로 빠른 응답이 필요한 프롬프트에 대한 매우 빠른 응답과 더 높은 용량의 모델을 위해 클라우드로 이동하는 기능의 우아한 혼합이 이루어져야 합니다."라고 말했습니다.

1B 및 3B와 같이 상대적으로 작은 매개변수 모델을 갖는 이점은 상대적으로 더 나은 효율성입니다. 즉, 대형 모델의 전력 소모 및 더 긴 계산 시간과 비교하여 Bergey는 1와트의 전력 또는 8밀리초 이내에 답변을 제공한다고 제안했습니다. LLM을 실행하기에 충분한 전력과 메모리를 제공하는 데는 여전히 어려움이 있지만 스마트워치, 헤드폰 또는 기타 액세서리와 같이 강력하지 않은 플랫폼에 적합할 수 있습니다. 현재 스마트폰은 두 가지를 모두 갖추고 있기 때문에 적합합니다.

앞으로는 더 작은 매개변수 모델이 전통적인 사용자 인터페이스가 없거나 보안 카메라와 같이 제어할 외부 장치에 의존하는 장치에 적합할 수 있습니다. Bergey는 "적용 가능성 측면에서 볼 때 이는 확실히 스마트폰을 뛰어 넘는다고 생각합니다. 특히 소형 모델에 적용할 때 더욱 그렇습니다."라고 말했습니다.