LLM, sLM, sLLM, LMM의 뜻과 차이점

AI관련 뉴스를 접하다 보면 서로 비슷한 단어와 내용들로 이해가 어려운 경우가 많습니다. ChatGPT 하나만으로도 LLM이니, sLLM이니 등의 단어로 설명이 되고 있는데, 조금 더 쉽게 이야기해 주면 좋겠다는 생각이 듭니다. 관련 업계에 계시거나, 활용을 생각해 보시는 분이라면 각각의 특성에 맞는 언어모델 솔루션을 확인해 보시고 이용하시면 좋겠습니다.

 

오늘은 AI관련 기사에서 많이 볼 수 있는 LLM, sLM, sLLM, LMM의 뜻과 차이점에 대하여 알아보도록 하겠습니다.

 

 

LLM, sLM, sLLM 

3개 모두 언어모델(Language Model)을 이야기하며 학습 데이터 양에 따라 구분합니다. 어려운 영어단어 아니니, 영어 Full Name으로 유추해 보시면 쉽게 이해되실 것입니다.

 

LLM(Large Language Model. 대형 언어 모델)

텍스트 데이터를 처리하는데 특화된 인공지능 모델입니다. 많이 알고 계신 ChatGPT가 LLM을 사용한 솔루션입니다.

 

LLM은 우리가 사용하는 자연어, 즉 사람의 말을 이해하고 생성하는 데 사용할 수 있는 모델입니다.

글, 이메일, 소셜미디어 글, 책 등의 수많은 글을 학습해서 언어의 규칙과 문맥을 파악하고 다음 단어를 예측하는 방식으로 작동하는데, 방대한 데이터 학습, 자연어 이해, 텍스트 생성 등으로 요약할 수 있습니다.

 

솔루션 예로는 Open AI의 ChatGPT, Google의 Bert, Meta의 LLaMA 등이 있습니다. AI관련 기사에서 언급되는 LLM 기술은 텍스트 채팅으로 진행되는 챗봇의 활용사례에서 많이 언급되는 기술입니다.

 

sLM(small Language Model. 소규모 언어 모델)

LLM, sLM 구분의 정확한 기준은 아직 없습니다.

관련업계에서 학습에 필요한 매개변수가 340억 개(34B) 이하의 인공지능 언어모델을 LLM과 구분하여 sLM이라 칭하고 있습니다.

 

대규모 딥러닝 모델인 LLM이 범용적으로 사용할 수 있다는 장점이 있지만, 엔진학습에 비용과 시간이 많이 듭니다. 그래서 특정영역에 한정하여 활용할 수 있도록 훨씬 작고 구체적인 데이터 세트를 학습시킨 ML(머신러닝) 알고리즘이 sLM입니다.

 

Meta ‘라마 2 7B(매개변수 70억 개), 13B, 22B 가 sLM에 해당합니다.

 

sLLM(small Large Language Model. 경량 대형 언어 모델)

ChatGPT와 같은 초거대 언어모델(LLM)의 경량화 버전으로, LLM보다는 작고, sLM보다는 큰 매개변수 모델입니다.

차이점은 경량화를 통해 LLM보다 응답 속도를 향상했고, 입력 데이터 최적화 등으로 sLM 보다 높은 효율을 낼 수 있습니다.

그래서 최근 기술인 ‘온디바이스 AI’로 활용되는 모델이 바로, sLLM입니다.

* 온디바이스 AI : 클라우드가 아닌 스마트폰, 노트북 등 기기 자체에 AI서비스가 탑재된 것을 의미

 

네이버의 하이퍼클로바X의 신규 경량화 모델 ‘HCX-대시’를 예로 들 수 있습니다.

언어모델, 인공지능, 학습

 

LMM(Large Multimodal Model. 대형 멀티모달 모델)

* 멀티모달(Multimadal) : 텍스트, 이미지, 오디오, 비디오 등 다양한 유형의 데이터(modality. 양식/양상)

 

앞서 설명드린 언어 모델(LM)을 텍스트에 기반한 언어 모델이라고 한다면, 멀티모달 모델(Multimodal Model)은 한 가지 데이터가 아닌 여러 종류의 데이터, 즉, 이미지, 소리, 동영상 같은 다양한 데이터를 동시에 처리할 수 있는 모델을 이야기합니다.

 

영화, 음악, 뉴스 등 다양한 미디어 콘텐츠 요약 및 생성, 음성 인식, 이미지 인식, 감정 분석 등과 같이 여러 가지 유형의 데이터를 처리하는 작업에 활용할 수 있습니다. 그러나 서로 다른 데이터 유형을 통합하여 처리하기 때문에 그만큼 학습 데이터의 양이 방대해야 하고, 학습 시간이 오래 걸리는 단점이 있습니다.

 

또한 텍스트만 처리하는 LLM에 비해, 데이터 통합을 위해 추가적인 분석을 수행하기 때문에 단순 텍스트 처리 능력만 비교한다면 LLM이 더 좋다고 할 수 있지만, 이미지와 텍스트를 결합하여 더 복합적인 문제 해결을 할 수 있기 때문에 LMM의 향후 발전 가능성은 더 높다고 할 수 있습니다.

 

OpenAI의 GPT-4V, Google의 Gemini, Anthropic의 Claude 등을 예로 들 수 있습니다. 

언어모델, 인공지능, 학습

 

 

오늘은 LLM, sLM, sLLM, LMM의 뜻과 차이점에 대하여 알아보았습니다.

 

조금씩 비슷한 것 같기도 하면서 미묘한 차이가 있는 용어입니다. 각 용어의 특징을 바탕으로 활용범위를 고려해 보시기 바랍니다. 그리고 무엇보다 중요한 것은 이해보다는 직접 활용해 보는 것입니다. 꼭 유료결제가 아니더라도 대표적인 솔루션은 직접 들어가서 질문을 던져 보시기 바랍니다. 이상, 해피바이러스였습니다. 

---

[함께 읽으면 좋은 글]

클라우드 컴퓨팅과 서비스 모델 소개

DVT와 CVT의 중요성 : 제품 품질 확보를 위한 필수 과정

효과적인 이력서 작성 방법 #2 읽기 편해야 끝까지 읽는다

※ 오늘 글이 조금이라도 도움 되셨다면 좋아요(공감) 부탁드립니다.