Demand Excellence

쿠팡아이템의 이미지와 텍스트 매칭 정확도 향상 : Embedding Technology 활용과 개선 결과

Eway, Amir

#DataScience

높은 리콜률을 보장하는 대규모 아이템 매칭은 엄청난 비즈니스 임팩트와 함께 이커머스 기업 고유의 기술적인 어려움을 안겨주는 과제입니다. 아이템 매칭 리콜률을 개선하는 과정에서 우리는 이미지 및 텍스트 임베딩이 서로 중복되지 않는 정확도 높은 매칭 (True matches)을 제공하면서 ES(Elastic Search)를 보완하는 현상을 발견했습니다. 즉, ES가 제공하지 못하는 실제 매칭을 제공합니다. 개선 속도는 다를 수 있지만 이러한 현상은 절대 사라지지 않고 계속됩니다.

우리는 이 보완 현상을 활용하여 매칭 리콜률을 크게 향상시킵니다. 이번 세션에서는 GPU를 활용하여 임베딩 계산에서 대규모 병렬화를 달성하는 방법, FAISS를 이미지 및 텍스트 항목 클러스터 계산을 위한 계산 엔진으로 활용하는 방법, 그리고 매칭 파이프라인 구축을 위한 소프트웨어 아키텍처의 역할 등 딥 임베딩을 통한 매칭 정확도 향상의 과제를 설명하겠습니다. 그리고 마지막으로 이 보완 현상을 보여주는 세 가지 실험 결과를 소개할 예정입니다.

• 
• 
• 
•