텍스트의 벽을 넘어, 세상을 '보고 듣는' AI로

이전까지의 AI가 주로 텍스트를 읽고 쓰는 도구였다면, 최근 AI는 이미지·음성·영상처럼 서로 다른 형태의 정보를 함께 이해하고 생성하는 '오감형 AI'로 빠르게 발전하고 있습니다.

이러한 기술의 흐름을 ‘멀티모달 AI’라고 합니다. 멀티모달 AI는 텍스트뿐 아니라 이미지, 오디오, 비디오 등 여러 모달리티(modality)를 동시에 처리하고, 이를 결합해 더 풍부한 맥락으로 답을 만들 수 있습니다.

최신 생성형 멀티모달 모델은 이미지·소리 같은 입력을 그대로 ‘느끼는’ 것이 아니라, 먼저 모달리티별 인코더(encoder)가 입력을 토큰(token) 또는 임베딩(embedding)이라는 숫자 표현으로 바꿉니다. 토큰은 “AI가 읽는 정보의 조각”이고, 임베딩은 “그 조각을 의미가 비슷한 것끼리 가까이 오도록 찍어 둔 좌표(벡터)”에 가깝습니다. 예를 들어 인간이 사과를 볼 때, ‘빨갛다(시각)’와 ‘아삭한 느낌(경험/언어)’을 함께 떠올리듯, 멀티모달 AI도 텍스트(‘사과’)와 이미지(‘빨간 둥근 물체’) 그리고 소리(‘아삭’) 같은 정보를 같은 의미 공간에서 연결하려고 학습합니다.

Q.멀티모달 AI, 왜 '인간을 닮았다'고 할까?

먼저 용어부터 정리해보면, 모달리티(modality)는 AI에서 “정보가 표현되는 방식”을 뜻합니다. 쉽게 말해 텍스트, 이미지, 음성, 영상처럼 서로 다른 신호의 형태가 각각 하나의 모달리티입니다. 따라서 멀티모달(Multi + Modal) AI는 여러 모달리티를 한꺼번에 처리하고 서로 연결해 해석하는 AI라고 말할 수 있습니다.

그래서 멀티모달 AI가 ‘인간을 닮았다’는 말은, 인간처럼 감각이 있다는 뜻이라기보다 판단에 여러 단서를 함께 쓴다는 의미에 가깝습니다. 예를 들어 우리는 대화할 때 상대의 언어뿐 아니라 표정, 목소리 톤 등을 함께 보고 “진짜로 기쁜지, 억지로 웃는지”를 추정합니다. 멀티모달 AI도 비슷하게 여러 신호를 결합해 ‘상황’을 더 잘 해석하려고 합니다.

시장과 기술의 흐름도 이 방향을 밀어주고 있습니다. IDC는 “2028년까지 운영 환경에서 쓰이는 기반 모델의 상당수(대략 80%)가 멀티모달 기능을 포함할 것”이라고 전망했습니다.

(*출처 : IDC FutureScape: Worldwide AI and Automation 2025 Predictions - Asia/Pacific Implications)

이때 자주 등장하는 용어가 LMM/MLLM(Large Multimodal Model, Multimodal Large Language Model)입니다. 이는 “언어 모델(LLM)을 중심으로, 시각·청각 등 다른 모달리티 입력을 연결해 대화·추론·생성을 수행하는 대규모 멀티모달 모델”을 가리키는 말로 일반적으로 사용되는 용어입니다.

Q. AI는 어떻게 그림을 보고 소리를 들을까?

서로 다른 성격의 데이터를 하나로 엮는 핵심은 크로스모달 임베딩(cross-modal embedding)에 있습니다.

➊ 공통 언어로의 통합: AI는 텍스트·이미지·소리를 각각 읽는 전용 인코더로 먼저 바꿉니다.

➋  의미적 매칭: 그 다음 중요한 것은 “텍스트의 사과”와 “사과 사진”이 다른 형태인데도 같은 개념으로 연결되도록 학습하는 것입니다. 대표적으로 이미지-텍스트를 함께 학습한 OpenAI의 CLIP은 “어떤 캡션이 어떤 이미지와 짝인지 맞히는” 방식의 대규모 학습으로 이미지와 텍스트 표현을 정렬하는 접근을 보여줍니다.

➌ 결과: 이렇게 정렬된 표현을 바탕으로 모델은 “이 사진이 어떤 분위기인지 설명해줘”, “사진을 보고 시를 써줘” 같은 요청에서 시각 정보를 언어로 바꾸어 답을 생성할 수 있습니다.

멀티모달이 바꿀 우리의 일상과 산업

멀티모달 기술은 단순히 “재미있는 기능”을 넘어서, 서로 다른 데이터가 함께 존재하는 현실 문제(의료·교통·업무 자동화)를 풀기 위한 도구로 주목받고 있습니다.

의료(Healthcare): 의료 현장에는 영상(엑스레이·CT·MRI)만 있는 것이 아니라, 증상 기록·검사 수치·과거력 같은 텍스트/구조화 데이터가 함께 존재합니다. 그래서 의료 분야의 멀티모달 모델은 의료 영상 + 임상 텍스트를 함께 활용해 문서화(예: 예비 판독문/리포트 초안), 질의응답, 진단 보조 등 다양한 가능성을 연구하고 있습니다.

자율주행은 거리, 형상, 시각 등 다양한 센서 정보를 융합한 기술입니다. ⒸFreepik

자율주행(Autonomous Driving): 자율주행의 핵심 과제는 “주변을 정확히 인식하는 것”이고, 이를 위해 카메라(시각), 라이다/레이더(거리·형상) 등 여러 센서 정보를 융합하는 연구가 활발합니다.

Q. 멀티모달 AI가 '에이전트'가 되면 무엇이 달라지나요?

멀티모달 AI에 ‘눈’이 달린다는 것은, 단순히 사진을 해석하는 수준을 넘어 화면(UI)을 보고 행동하는 쪽으로 확장된다는 뜻입니다. 이런 흐름이 더 발전하면, 사용자가 스마트폰 카메라로 냉장고 안을 비추고 “지금 있는 재료로 만들 수 있는 요리”를 물었을 때, AI가 재료를 인식하고 레시피를 제안하는 식의 경험도 자연스럽게 확장될 수 있습니다. 다만 이때는 집 안 영상·음성처럼 민감한 데이터가 포함될 수 있어, 개인정보 보호와 사용자 통제(촬영 범위, 저장 여부, 제3자 노출 등)가 함께 설계되어야 합니다.

멀티모달 AI는 강력하지만, “그럴듯하게 틀릴 수 있다”는 문제는 이미지-텍스트 결합에서 중요한 핵심 과제 중 하나입니다. 멀티모달 AI가 의료·교통처럼 중요한 분야로 들어갈수록, 이런 위험관리 관점은 “기능”만큼이나 중요해집니다.

대한민국 과학문화포털 사이언스올은 과학기술진흥기금 및 복권기금의 재원으로 제작되어,

우리나라 과학기술 발전과 저소득·소외계층의 복지 증진에도 기여하고 있습니다.

[참고자료]

[인공지능 기초] 멀티모달 LLM의 개념과 기술, AI가 변화를 이끄는 방법!

[사이언스타임즈] KAIST, 멀티모달 인공지능 성능 높이는 학습기법 개발

[지식백과] 멀티모달 AII

[BizTechReports] IDC Predicts 80% of AI Foundation Models Will Be Multimodal by 2028, Driving Higher Accuracy and Business Value in Asia/Pacific