카카오는 이용자 질문과 저장된 과거 정보 사이의 의미적 연관성을 찾는 임베딩 모델 2종을 허깅페이스에 공개했다. 공개된 모델은 30억 파라미터의 카나나-2-3B-임베딩과 13억 파라미터의 카나나-2-1.3B-임베딩이다. 이 모델은 단어가 정확히 같지 않아도 문장과 문서의 의미가 비슷하면 관련 정보를 찾도록 설계됐다. 한국어와 영어 검색에 특화됐고, 의미 검색과 문장 유사도 분석, 검색증강생성(RAG)에 활용할 수 있다.

기술적으로는 카나나-2 소형 언어모델의 언어 이해 능력을 검색에 맞게 학습했고, 30억 모델에는 양방향 어텐션과 평균 풀링을 적용해 문장 전체 의미를 벡터로 표현했다. 13억 모델은 지식 증류로 더 작은 규모에서 검색 성능을 확보했다. 두 모델은 최대 4096토큰 입력을 처리하며, 마트료시카 표현 학습으로 벡터 크기를 줄여 저장 공간과 연산 비용을 조절할 수 있다. 이는 개인화 AI가 과거 대화, 선호도, 일정 같은 정보를 필요한 순간에 찾아 답변 품질을 높이는 기반이 된다.