[똑똑한 AI 만드는 언어의 세계] 데이터 시대, NLP 기술 이해하기

데이터를 수집하고 활용한다는 것, 기업에 얼마나 중요할까요? 끊임없이 변화하는 업계와 치열한 경쟁 속에서 ‘데이터’가 솔루션으로 떠오르고 있습니다. 데이터를 활용한다면 보다 정확한 소비자 분석, 시장 분석이 가능해지죠. 따라서 이제는 기업에 ‘데이터는 필수’인 시대라고 말하기도 합니다.

왜 모두 ‘데이터’에 주목할까?

‘빅데이터’, 최근 몇 년간 많이 회자하는 단어입니다. 다양한 원천에서 얻어지는 방대한 양의 데이터를 의미하는데요. 디지털 세상에 새로운 채널과 기술이 확산함에 따라 엄청난 양의 정보가 쏟아지고 있습니다. 사람들은 스마트폰을 활용해 음성 인식 기능을 사용하거나 SNS에 콘텐츠를 업로드하고, 물건을 구매하거나 OTT(Over The Top Service)를 통해 영상 콘텐츠를 스트리밍합니다. 이러한 액션 하나하나가 ‘디지털 발자국’이 되고, 이것은 곧 데이터를 만드는 행위이죠. 기존 시스템으로는 처리하기 어려울 정도로 많은 양의 데이터가 지금, 이 순간에도 만들어지는 것입니다.

사실 이미 예전부터 많은 기업에서는 거래나 고객에 대한 데이터를 사용하여 비즈니스에 중요한 의사 결정을 내리곤 했습니다. 이때 활용한 데이터는 바로 구조화된 데이터, 정형 데이터에 한정되었는데요. 그러나, 전문가들은 데이터 중 90%가량은 구조화되지 않은 데이터, 비정형 데이터라고 말합니다. 이메일, 서류, 이미지, 동영상, 웹페이지, SNS상의 콘텐츠 등이 해당합니다.

많은 기업은 원석과 같은 빅데이터를 사업에 활용하려고 했지만, 90% 비중에 해당하는 비정형 데이터를 가공할 적절한 기술이나 자원을 가지고 있지 않아 한계가 있었습니다. 하지만 지난 10년 동안 기술의 발전으로 컴퓨터의 성능과 저장 능력이 향상된 덕분에 이제는 다양한 형태의 방대한 데이터를 활용할 수 있게 되었습니다. 이렇게 데이터 기반의 비즈니스 의사 결정이 폭넓게 가능해지면서 ‘빅데이터’가 현시대를 대표하는 단어로 떠오르게 된 것이죠.

데이터와 NLP 기술의 관계

우리가 끊임없이 생성하는 데이터를 수집, 저장, 처리 및 분석하기 위해서는 많은 기술이 필요합니다. 그중 NLP, 즉 자연어 처리(Natural Language Processing)는 컴퓨터가 인간의 언어를 이해하고 상호 작용하게 만드는 과정으로 인공지능의 핵심 기술 중 하나라고 할 수 있습니다.

여기서 ‘자연어’는 우리가 사용하는 언어를 말합니다. 우리는 지역에 따라 다른 표현을 사용하기도 하고, 사람마다 사용하는 언어 습관 또한 다양하죠. 문법에 맞지 않는 문장으로도 맥락을 고려해 이해할 수 있어 큰 어려움 없이 의사소통 할 수 있습니다. 하지만 사실상 무질서한 인간의 언어를 컴퓨터가 올바르게 이해하는 것은 굉장히 어렵다고 합니다. 이를 가능하게 하는 것이 바로 ‘NLP 기술’이죠. 컴퓨터가 비즈니스 인사이트를 제공하기 위해서는 우리의 말을 이해하는 NLP 기술이 매우 중요합니다.

사람과 기계의 언어를 연결하는 처리 과정은 말 한 마디로 바뀌는 세상, 음성인식 기술 콘텐츠에서 좀 더 자세히 살펴볼 수 있습니다.

NLP 기술을 활용하는 우리의 일상

우리가 키보드에서 어떤 단어를 입력하다 보면 입력 중인 단어에 기반한 ‘자동 제안’ 기능을 볼 수 있습니다. 이것이 바로 실시간 NLP 액션입니다. 또 주변을 보면 AI 스피커를 사용하는 사람들을 쉽게 볼 수 있습니다. AI 스피커 또한 NLP 기술에 기반을 두고 있는데요. 필요한 것을 질문하면 음성 인식 기술과 NLP 기술을 활용해 AI 스피커가 이해하고 올바른 데이터를 결과로 제시해주는 것입니다.

이 밖에도 산업이나 분야와 관계없이 NLP 기술은 유용하게 활용되고 있는데요. 우리 생활에서 밀접하게 이용되는 서비스를 더 살펴볼까요?

이메일 도우미

이메일 플랫폼에서 제공하는 ‘맞춤법 자동 수정 기능’, 꽤 유용하지 않나요? 어떤 플랫폼에서는 ‘스마트 답장’과 같은 기능도 제공하여, 메일의 텍스트를 고려해 답장의 내용을 제안해주죠.

챗봇 또는 음성 인식 비서

우리가 최근 많이 가까워진 고객 응대 서비스가 있습니다. 바로 ‘챗봇’입니다’. 사람이 직접 응대를 하는 때도 있지만, 대부분은 NLP 알고리즘으로 프로그래밍이 된 로봇이 대답을 합니다. 언어를 해석해 질문을 파악하고 가장 관련성이 높은 응답이라고 생각되는 것을 자동으로 제공해주죠.

이커머스 등 검색 엔진

온라인 검색도 NLP 기술과 함께 더욱 똑똑하게 작동하고 있습니다. 검색 엔진의 알고리즘은 검색 중 사용자 의도를 이해하고 최선의 결과를 제공하기 위해 점점 더 똑똑해지고 있죠. 온라인 쇼핑몰 또한 이미 검색한 키워드를 기반으로 소비자가 필요로 하는 상품을 맞춤으로 추천해줍니다.

마치며

이 콘텐츠에서는 데이터 비즈니스가 활성화되게 된 계기, NLP 기술과 그 사례를 소개했습니다. NLP를 비롯한 기술의 발전으로 데이터 활용의 범위가 넓어졌고 기업은 고객의 니즈를 더욱더 세밀하게 파악할 수 있게 되었죠. 일각에서는 인공지능이 전통적인 고객 서비스를 대체할 수 있다고 예측하기도 하였는데요. 인공지능 성능을 위해서는 정확한 데이터는 필수입니다. 비즈니스 성장을 이뤄내는 인공지능 기술은 물론 고품질의 데이터에도 더 많이 주목해주시기 바랍니다.

플리토는 인공지능 학습용 언어 데이터 전문 기업입니다. 한국어는 물론 영어, 중국어, 일본어 등 다국어 텍스트, 이미지, 음성 데이터를 제공하고 있습니다. 더 정확하고 효율적인 서비스 개발을 위해, 한국감리원 인증 정확도 99.8%의 플리토 언어 데이터를 활용해 보시길 바랍니다.