최근에 이르러 온톨리지라는 용어가 심심찮게 쓰이는데, ‘온톨로지(ontology)’라는 용어는 원래 철학에서 유래된 말로, 존재에 관한 연구를 의미한다.
그러나 컴퓨터 과학, 특히 데이터 과학과 인공지능 분야에서는 조금 다른 의미로 사용되는데, 컴퓨터 과학에서의 온톨로지는 특정 지식 분야의 개념들과 그 개념들 사이의 관계를 체계적으로 정리한 프레임워크를 말한다.
예를 들면, ‘음식’이라는 큰 카테고리 안에서 ‘과일’이라는 하위 안에는 ‘사과’, ‘바나나’, ‘체리’와 같은 구체적인 아이템들이 있다. 여기서 온톨로지는 이러한 카테고리들과 아이템들 사이의 관계를 정리하고, 예를 들어 ‘사과는 과일이다’, ‘과일은 음식의 한 종류다’와 같은 지식을 명확히 한다.
또 다른 예로는, 온라인 쇼핑몰에서 상품을 검색할 때, 온톨로지는 ‘노트북’과 ‘컴퓨터 액세서리’가 어떤 관계인지를 정의하고, 사용자가 ‘노트북’을 검색할 때 관련 액세서리도 추천해 주는 역할을 하게 되는데, 이렇게 온톨로지는 복잡한 지식을 체계적으로 정리하여 컴퓨터가 인간의 언어와 개념을 더 잘 이해하도록 돕는다.
간단히 말해, 온톨로지는 데이터를 조직하고, 그 관계를 정의하여 컴퓨터가 데이터를 ‘이해’하고 효율적으로 사용할 수 있도록 돕는 지식의 맵과 같은 역할을 하고 있다. 이러한 가운데, 또 다른 용어인 멀티모달 데이터는 여러 유형의 정보를 결합하여 데이터를 처리하는 방식을 말하는 것인데, 텍스트, 이미지, 소리 등 다양한 형태의 정보가 하나로 통합되어 사용되는 것을 의미한다.
예를 들면, 스마트폰의 사진 앱을 생각해 볼 수 있다. 사진 앱은 이미지(사진) 뿐만 아니라 위치 정보(지리 데이터), 촬영 날짜(시간 정보), 사진에 포함된 사람들의 얼굴(이미지 데이터), 사진에 태그 된 텍스트 정보 등 다양한 데이터를 함께 사용하여 사진을 관리하고 검색할 수 있게 도와준다.
이처럼 온톨로지와 멀티모달 데이터라는 용어의 쓰임새가 IT 분야에서 커져가고 있다. 이는 급변하는 IT의 흐름과 함께 어떻게 마케팅에 접목해야 할지를 연구해야 하는 마케터들에게는 꼭 필요한 과정일 것이다.
온톨로지 (Ontology)는 특정 지식 분야에 있는 개념들과 그 사이의 관계를 정의하는 일종의 프레임워크나 데이터 모델이며, 컴퓨터 과학에서는 데이터를 구조화하고, 복잡한 시스템 내에서 정보를 공유하고 재사용하기 위한 방법으로 사용되곤 한다. 예를 들면, 의학 온톨로지는 질병, 증상, 치료법 등을 포함하고 이들 사이의 관계를 정의할 수 있을 것이다.
반면 멀티모달 데이터 (Multimodal Data)는 여러 형태의 데이터를 포함하는 정보를 말한다. 예를 들어, 텍스트, 이미지, 비디오, 오디오 등 다양한 모드의 데이터가 혼합되어 있을 수 있는데, 이때 멀티모달 데이터를 처리하는 시스템은 이러한 다양한 형식의 데이터를 통합하여 분석하고, 더욱 정교한 인사이트나 예측을 제공하는 것이다.
사실 온톨로지와 멀티모달 데이터는 서로 다른 개념이지만, 특정 상황에서는 상호 연관되어 사용될 수 있다. 예를 들어, 복잡한 정보 시스템에서 데이터를 통합하고 의미를 추출하는 데 두 개념이 함께 사용될 수도 있다.
온톨로지는 데이터 간의 관계와 구조를 정의하는 데 사용되며, 멀티모달 데이터 처리 시스템은 이러한 구조를 활용하여 서로 다른 형태의 데이터 사이의 관계를 이해하고 분석할 수 있는 것이다. 따라서, 두 개념은 각각 독립적으로 사용될 수 있지만, 복합적인 데이터 분석이나 지능형 시스템 설계에서는 서로 보완적인 역할을 하며 통합적으로 활용될 수도 있다.
여기서는 온톨로지와 멀티모달 데이터를 각각의 다른 목적과 기능을 알아보고 또한 어떤 경우에, 이 두 개념이 상호 보완적으로 작용하는지를 알아보고자 한다.
우선, 온톨로지는 특정 지식 분야의 개념들과 그 개념들 간의 관계를 정의하는 구조적 프레임워크이다. 이를 통해 복잡한 데이터 사이의 의미론적 관계를 명확하게 할 수 있으며, 주로 지식 표현, 정보 검색, 데이터 통합 및 인공지능 분야에서 활용된다고 보면 된다. 의료 분야의 온톨로지는 질병, 증상, 치료 방법 등을 포함하고 이들 간의 상호작용을 정의하여, 복잡한 의료 데이터를 체계적으로 관리할 수 있도록 도와준다.
그리고 멀티모달 데이터는 텍스트, 이미지, 오디오, 비디오 등 여러 가지 형태의 데이터가 포함된 정보를 말하는데, 이러한 데이터를 효과적으로 처리하고 통합하기 위해선 각 데이터 유형의 특성을 이해하고 서로의 정보를 보완적으로 활용할 수 있어야만 한다. 특히 인간과 컴퓨터 상호작용, 기계 학습, 자연어 처리 등에서 중요한 역할을 한다. 예를 들면, 이미지에 대한 설명을 생성하는 AI 시스템은 이미지 데이터(시각적 모달)와 텍스트 데이터(언어 모달)를 함께 분석하여 더 정확한 설명을 생성할 수 있는 것이다.
온톨로지와 멀티모달 데이터가 상호 보완적으로 작용하는 한 가지 예를 의료 진단 시스템에서 찾아 볼 수 있다. 이 시스템에서 온톨로지는 다양한 의료 조건과 증상을 정의하고 관계를 매핑하는 데 사용된다. 이때, 멀티모달 데이터(예: 환자의 의료 기록, 영상 자료, 검사 결과 등)는 이러한 온톨로지 구조를 활용하여 각 데이터 포인트 간의 연결을 찾고, 이를 통해 진단을 보조하거나 치료 방안을 제안하게 된다. 이 과정에서 온톨로지는 멀티모달 데이터 간의 의미론적 통합을 촉진하며, 데이터의 상호작용을 통해 더 깊은 인사이트와 정확한 의사결정을 가능하게 해주는 것이다.
따라서 온톨로지와 멀티모달 데이터를 활용한 마케팅 전략을 세울 때에는, 먼저, 제품, 서비스, 고객 행동, 선호도 등과 같은 마케팅 관련 요소들의 관계를 정의하는 온톨로지를 개발하게 되는데, 이때의 온톨로지는 데이터 간의 관계를 명확하게 하고, 데이터의 의미를 표준화하여 다양한 출처로부터 정보를 통합할 수 있는 기반을 마련하게 된다.
두 번째로는, 소셜 미디어, 온라인 행동, 위치 데이터, 비디오 및 이미지와 같은 다양한 멀티모달 데이터 소스로부터 정보를 수집한다. 이 데이터는 온톨로지의 구조를 따라 통합되어 각 고객의 상세한 프로필을 만드는 데 사용될 것이다. 다음으로는, 통합된 데이터를 분석하여 고객의 세분화 된 선호도, 구매 패턴, 행동 특성을 파악한다.
이 인사이트는 타겟 마케팅 전략과 개인화된 광고 콘텐츠 개발에 중요한 기초 자료가 되며, 그리고 분석을 바탕으로 개인화된 광고 메시지를 생성하고, 적절한 시간과 채널을 통해 고객에게 전달하게 되는 것이다. 즉 고객이 최근 검색한 제품과 관련된 광고를 소셜 미디어 피드에 배치하여 관심을 유도할 수 있기 때문이다.
아울러, 광고 캠페인의 반응을 모니터링하고, 성과 지표(예: 클릭률, 전환율, ROI)를 분석한 데이터를 활용하여 온톨로지를 수정하고, 향후 캠페인을 위한 전략을 개선함과 동시에 AI 및 머신러닝 기술을 활용하여 지속적으로 고객 데이터를 학습하고, 온톨로지와 광고 전략을 지속적으로 개선하면서 고객 경험을 향상시키고, 마케팅 효과를 극대화할 수 있게 되는 마케팅 전략을 현장에서 수립할 수 있을 것이다.
이처럼, 온톨로지와 멀티모달 데이터는 서로 다른 기능을 가지고 있지만, 복잡한 문제를 해결하거나 고급 데이터 분석을 수행할 때는 서로 유기적으로 연결되어 사용될 수 있다는 측면에서 긍정적이다.
그중에서도 최근에는 의료 분야에서 온톨로지의 활용은 매우 중요한데, 실제 여러 의료 온톨로지가 개발되어 활용되고 있는 것을 알 수 있다. 구체적으로 들여다보면, SNOMED CT(Systematized Nomenclature of Medicine—Clinical Terms) 와 Gene Ontology로 나뉘게 되는데, 여기서 SNOMED CT는 광범위한 임상 콘텐츠를 포함하는 국제적인 의료 온톨로지로 질병, 증상, 진단적 검사, 치료 방법 등을 포함하고 이들 간의 다양한 관계를 정의하게 된다.
즉, SNOMED CT를 사용하면 ‘당뇨병’이라는 질병과 관련된 증상, 진단 검사, 치료 방안 등을 체계적으로 연결하여 보여줄 수 있는 것이다. 이는 의료 전문가들이 환자의 진단과 치료에 필요한 정보를 효율적으로 조회하고 활용할 수 있게 해 주어 의료분야에서 매우 긍정적인 활용 도구이다.
아울러 Gene Ontology는 유전자와 단백질의 기능을 설명하는 온톨로지로, 생물학적 과정, 세포 구성요소, 분자 기능 등을 포함하며 이 온톨로지는 특정 유전자가 관여하는 생물학적 경로와 그 역할을 정의하여, 연구자들이 유전자 데이터를 분석하고, 다양한 생물학적 실험 결과를 통합하는 데 도움을 주게 된다.
결국 특정 단백질이 세포 내에서 어떤 기능을 수행하는지, 어떤 생물학적 과정에 관여하는지를 Gene Ontology를 통해 이해할 수 있게 되는 것이다. 이처럼 온톨로지들은 복잡한 의료 및 생물학적 데이터를 체계적으로 분류하고, 의미 있는 정보로 재구성하여 연구, 진단, 치료 등 다양한 의료 및 생물학적 응용 분야에서 사용되며, 정확한 의사결정을 할 수 있게 도움을 주게 된다.
이때 좀 더 이해도를 높이기 위해 온톨로지를 도식화하게 되는데, 이는 기본적인 개념들과 그 개념들 간의 관계를 명확하게 표현하는 것이 중요하다.
온톨로지의 도해표는 일반적으로 노드와 엣지를 사용하여 구성하게 되는데, 노드 (Node)는 온톨로지 내의 하나의 개념을 대표하는 ‘질병’, ‘증상’, ‘치료’ 등과 같은 개념으로 정리되며, 엣지 (Edge)는 노드 간의 관계를 나타내는 선이다.
예를 들면, ‘당뇨병은 증상을 가질 수 있다’는 관계를 나타내기 위해 ‘당뇨병’ 노드와 ‘증상’ 노드를 연결하는 엣지가 이용되게 되는 것이다. 라벨 (Label)은 각 엣지에 관계의 종류를 설명하는 라벨이, ‘has_symptom’, ‘treats’, ’caused_by’ 등으로 붙게 된다. 이를 다시 정리를 해서 설명을 해보면,
위의 오른쪽 그림에서 ‘음식‘이라는 큰 카테고리 아래에 ‘과일’이라는 하위 카테고리가 위치하고 있으며, ‘과일’ 아래에는 ‘사과’, ‘바나나’, ‘체리’ 같은 구체적인 아이템들이 연결되어 있는 것처럼, 의료 온톨로지는 질병, 증상, 치료, 의료 기구, 약물 등을 노드로 하고, 이들 간의 관계를 ’causes’, ‘treated by’, ‘diagnosed by’ 등의 엣지로 연결되고, 비즈니스 프로세스 온톨로지는 조직, 직원, 업무, 자원 등을 노드로 하고, 이들 간의 관계를 ‘manages’, ‘works_on’, ‘uses’ 등의 엣지로 표현하고 있다.
이처럼 온톨로지의 도해표는 해당 영역의 지식을 구조화하고 시각화하는 데 유용하며, 정보 시스템의 설계, 데이터 통합, 지식 관리 등에 활용될 수 있게 되는 것이다. 참고로 위의 왼쪽 그림에서의 도해표는 ‘질병’, ‘증상’, ‘치료’, ‘진단 검사’, ‘약물’ 등의 노드와 ‘has_symptom’, ‘treated_by’, ‘diagnosed_by’, ‘prescribed_for’ 등의 관계를 나타내는 화살표로 구성되어 있다.(자료; gpt)
이처럼 온톨로지 분야는, 특히 산업 4.0과 같은 맥락에서의 시장 규모는 다른 기술들처럼 직접적인 금융 용어로 보고되는 경우가 많지는 않다. 하지만 스마트 제조, 항공, 우주 등의 산업에서 온톨로지 프레임워크의 채택과 통합은 이 분야의 중요성과 투자가 증가하고 있음을 알 수 있다. 이러한 분야에서 온톨로지의 사용은 데이터 통합, 프로세스 관리, 운영 효율성 향상에 필수적이기 때문이다.
가볍게는 ‘음식’이라는 도해표에서 보듯이 마케팅 현장에서 더 구체적인 정보를 원한다면, 산업에서 온톨로지의 적용에 대해 논의하는 자료나 Knowledge Engineering Review와 같은 웹사이트 또는 업계별 온톨로지 사용에 대한 사례 연구를 참조하면 적절한 방향과 전략을 모색할 수 있을 것이다.
그리고 앞서의 온톨로지의 설명과 함께 멀티모달 데이터를 활용하는 구체적인 내용을 들여다보면, 이미지 캡셔닝과 비주얼 퀘스천 앤서링 (Visual Question Answering, VQA) 시스템이 있다. 이러한 시스템들은 이미지 데이터와 텍스트 데이터를 통합하여 분석함으로써 더욱 풍부하고 정확한 정보를 제공하는 시스템이다.
이미지 캡셔닝 (Image Captioning)은 주어진 이미지를 설명하는 적절한 텍스트를 자동으로 생성하는 과정이라 할 수 있다. 이 기술은 컴퓨터 비전과 자연어 처리 기술의 결합을 필요로 하는데, 대표적인 예로 Microsoft의 COCO 데이터셋(Common Objects in Context)을 사용하는 프로젝트들이 있다.
COCO 데이터셋은 다양한 이미지에 대한 자세한 설명이 포함된 레이블을 제공하며, 이를 통해 학습된 모델은 새로운 이미지에 대해 설명을 생성할 수 있다.
이 시스템은 뉴스 기사 이미지 캡셔닝, 소셜 미디어 자동 콘텐츠 생성, 시각 장애인을 위한 보조 도구 등 다양한 분야에서 활용될 수 있다는 것에서 장점이 될 수 있다.
그리고 비주얼 퀘스천 앤서링 (VQA)은 사용자가 제시한 이미지와 관련된 질문에 답변을 하는 AI 시스템을 말한다. 이 시스템은 이미지를 분석하는 컴퓨터 비전기술과 자연어 질문을 이해하고 답변을 생성하는 자연어 처리 기술을 결합하여 작동하게 되는데, 예를 들어, 이미지에 나타난 사물의 수를 묻는 질문에 답하거나, 특정 장면에서 일어나고 있는 활동을 설명하는 질문에 답할 수 있는 것이다.
이 기술은 교육용 애플리케이션, 인터랙티브 게임, 지능형 검색 시스템 등에 활용될 수 있는데, 멀티모달 데이터를 처리하고 통합하여 보다 정확하고 세부적인 정보를 제공하며, 사용자에게 더욱 풍부한 인터랙티브 경험을 AI의 발전과 함께 이 분야의 응용 사례는 계속해서 증가하고 있다.
아마도 이 응용사례를 만들게 된다면 마케터들은 어떻게 방법을 연구할까?
우선적으로, 고객 상호작용 강화라는 측면에서 소셜 미디어 플랫폼에서 사용자가 업로드한 이미지에 대해 자동으로 캡션을 생성하거나, 이미지에 관한 질문에 답변하는 AI를 통해 고객과의 상호작용을 증가시킬 수 있을 것 같다. 예를 들어, 고객이 상품 이미지를 업로드하면 AI가 그 상품에 대한 정보를 제공하거나 관련 제품을 추천할 수 있기 때문이다.
AI가 소셜 미디어 상에서 사용자가 업로드한 이미지에 대해 자동으로 캡션을 생성하고 관련 제품을 추천, 이 시스템은 고객과의 상호작용을 강화하고 사용자 경험 개선에 기여.
다음은 개인화된 경험 제공인데, VQA 시스템을 이용하여 고객이 특정 제품에 대해 물어보는 사진에 직접적으로 답변함으로써, 개인화된 쇼핑 경험을 제공할 수 있다. 예를 들어, 고객이 옷 가게에서 옷을 입은 사진을 찍어 질문을 하면, AI가 그 옷의 스타일, 가격 정보, 비슷한 아이템 추천 등의 정보를 제공할 수 있는 것이다.
고객이 옷 가게에서 옷을 입고 사진을 찍어 VQA 시스템을 통해 질문하는 상황. AI 인터페이스가 폰 화면에 드레스의 스타일, 가격 및 비슷한 아이템 추천을 표시.
그리고 이미지 캡셔닝과 VQA를 통해 수집된 데이터를 분석하여 고객의 선호도와 행동 패턴을 파악할 수 있으며, 이를 통해 마케팅 전략을 보다 세밀하게 조정하고, 타겟 마케팅을 개선할 수 있게 되는 것이다. 추가, AI를 활용하여 콘텐츠를 생성하거나 최적화하는 방법을 개발할 수 있다. 예를 들어, 이미지 캡셔닝을 통해 자동으로 태그가 생성된 이미지를 소셜 미디어나 광고에 활용하여 SEO(검색 엔진 최적화)를 강화할 수도 있을 것이다.
마케팅 팀이 이미지 캡셔닝 AI 시스템을 사용하여 소셜 미디어 캠페인의 SEO를 강화. 컴퓨터 화면의 ‘sustainable’, ‘fashion’, ‘affordable’ 등 자동 생성된 태그들이 이미지 주위에 표시.
좀 더 구체적인 예를 들면, 스마트폰의 사진 앱을 생각해 볼 수 있다.
사진 앱은 이미지(사진) 뿐만 아니라 위치 정보(지리 데이터), 촬영 날짜(시간 정보), 사진에 포함된 사람들의 얼굴(이미지 데이터), 사진에 태그 된 텍스트 정보 등 다양한 데이터를 함께 사용하여 사진을 관리하고 검색할 수 있게 도와준다.
위의 그림은 스마트폰 사진 앱에서 사용되는 멀티모달 데이터의 예를 보여주는 예시로서, 이미지 데이터: 풍경 사진 / 지리 데이터: 위치를 표시하는 지도 /시간 데이터: 특정 날짜를 보여주는 달력 페이지 / 얼굴 인식 이미지 데이터: 사람들의 얼굴을 인식하는 사진 등으로 각기 다른 데이터를 마케팅 차원에서 활용이 가능할 것이기에 필수적으로 마케터들은 연구해 볼 가치가 있을 것이다.
그리고 이미 AI 기반의 중요성이 인지되고 있다는 것을 전제로 이미지 캡셔닝과 VQA를 고객 서비스에 통합하여, 고객이 특정 제품의 문제를 사진으로 보내주면, AI가 문제를 식별하고 적절한 해결책을 제시하거나 자동으로 서비스 티켓을 생성할 수 있는 방법들도 모색할 수 있을 것으로 느껴지므로 멀티모달 데이터에 대한 깊이 있는 접근은 필수적이다. 이는 점점 더 정교해지는 마케팅 현장에서 캠페인의 성공률을 높일 수 있는 중요한 도구로 멀티모달 데이터가 활용될 것으로 예견되기 때문일 것이다.
앞서의 온톨리지, 멀티모달 데이터 등에 대한 개념이나 전략들은 AI 기술을 활용하여 지속적인 발전과 함께 데이터의 정교화와 인공지능의 학습 능력 향상은 향후 마케팅 전략에 있어 더욱 중요한 요소가 될 것이다. 특히, 온톨로지와 멀티모달 데이터를 활용한 접근법은 적절한 이점을 제공할 수 있을 것 같다.
그것은 AI 기술을 활용하면 데이터를 실시간으로 처리하고 분석할 수 있으며, AI와 머신 러닝을 통한 예측 분석은 고객 행동의 미래 패턴을 예측하고, 이에 기반한 전략적 결정을 내리는 데 도움을 줄 수 있다는 것에서, 고객이 특정 제품을 구매할 가능성을 예측이 가능하고, 멀티모달 데이터와 온톨로지를 통합하게 되면 고객 데이터의 다양한 측면을 더욱 깊이 있게 분석할 수 있다는 이점이 있다.
이는 마케팅 메시지와 캠페인을 고객의 세밀한 특성에 맞춰 더욱 정밀하게 조정하는 것을 가능하게 하며, 개인화된 경험을 제공함으로써 고객 만족도와 충성도를 높일 수 있도록 하는 것에도 이점이 있을 수 있다.
결국, 온톨로지와 멀티모달 데이터의 활용은 풍부한 데이터 통합, 상황 인식 및 맥락적 이해의 강화, AI의 추론 및 의사 결정 능력 향상, 윤리적 AI의 발전, 개인화 및 사용자 경험의 최적화와 같은 향후 방향성을 고려된 발전은 AI 기술이 사회의 다양한 분야에서 더욱 깊이 있고 유익한 역할을 할 수 있게끔 할 것이라는 짧은 소견을 밝혀본다.
Gil Park님의 브런치에 게재된 글을 모비인사이드가 한 번 더 소개합니다.
