페이스북을 보면 텍스트와 사진, 동영상 등 수많은 콘텐트가 존재한다. 물론 이 중에서 가장 많은 건 텍스트다. 이렇게 많은 텍스트를 이해해 사용자를 도울 수 있는 방법이 있을까 고민하던 페이스북 개발자들이 사용자가 원하는 콘텐츠를 표시하거나 불필요한 콘텐트는 필터링할 수 있는 딥러닝 기반 텍스트 이해 엔진인 딥텍스트(DeepText) 개발을 진행하고 있다.

딥텍스트는 다충 구조 신경망을 바탕으로 한 것이다. 단어나 문자 수준으로 학습할 수 있는 인공지능의 일종이라고 할 수 있다. 실제 인간에 가까운 방식으로 텍스트 안에 있는 여러 요소를 이해할 수 있으며 초당 수천 건에 달하는 텍스트 게시물을 분석할 수 있다.

딥텍스트는 텍스트에서 사용자가 원하는 걸 이해할 수 있다. 예를 들어 사용자가 특정 열차역으로 돌아갈 방법이 없다고 쓴다면 택시를 부르겠냐고 반응하는 식으로 사용자 텍스트에 담긴 의도에 맞는 제안을 할 수도 있다.



딥텍스트는 현재 20개 이상 언어를 지원한다. 하지만 페이스북은 글로벌 서비스인 만큼 딥텍스트가 더 많이 쓰이는 서비스가 될 수 있도록 하기 위해 더 많은 언어를 분석하려 한다. 또 다양한 텍스트 형태에 대응하기 위해 속어나 맞춤법 오류 같은 것도 학습시킬 필요가 있다. 하지만 딥러닝을 이용해 언어별 지식을 학습하는 시간을 단축시키고 있다고 한다.

https://www.youtube.com/watch?v=2FK7nL6eDTc

딥텍스트는 이미 페이스북 내에서 테스트를 시작한 상태다. 페이스북 메신저 앱에 딥텍스트를 통합, 사용자가 입력한 텍스트를 분석해 필요하다고 판단되면 사용자에게 택시를 권하는 식이다.

메신저 뿐 아니라 페이스북은 사용자의 목적을 찾기 위한 도구로 사용한다. 페이스북 사용자가 오래된 자전거를 200달러에 판매하고 싶다면서 누가 관심이 있냐고 글을 올린다면 딥텍스트는 이 게시물을 분석, 뭔가를 팔려고 하는지 이해하고 게시한 문장 속에서 의미 있는 정보만 뽑아낸다.

그 뿐 아니라 사용자 게시물을 사람과 장소, 사건 등으로 나눠서 분석해서 사용자 개개인에 맞는 콘텐츠를 제공할 수도 있다. 또 페이스북에선 수많은 유명인이 일반 사용자와 소통을 하고 있는데 이 과정에서 전 세계에서 수천 수만 건에 달하는 댓글이 모인다. 당연히 좋은 댓글이 묻혀버릴 수도 있다. 하지만 딥텍스트를 활용하면 수많은 댓글 중 좋은 걸 찾아 우선 표시할 수도 있다.

딥텍스트 개발은 페이스북 내 인공지능 연구 그룹과 공동으로 진행하는 것이다, 이 프로젝트는 앞으로 사용자가 관심을 갖는 걸 더 정확하게 이해하고 텍스트 이해 외에 시각적인 콘텐츠와 연결하는 한편 새로운 심층신경망 아키텍처 구축 등을 해나갈 예정이다. 관련 내용은 이곳에서 확인할 수 있다.

이원영 IT칼럼니스트  b612@glasspad.co.kr

<저작권자 © 테크홀릭, 무단 전재 및 재배포 금지>