e-Business Solution 전문기업 온더아이티(대표 김범수, 이병구)는 언어 모델인 BERT(Bidirectional Encoder Representations from Transformers) 기술을 접목한 AI 지능형 검색엔진 개발에 성공했다고 17일 밝혔다.
기존의 언어 모델은 문장을 한 방향으로 이해할 수 있었지만, BERT는 신경망 구조를 기반으로 양쪽에서 동시에 문맥을 학습할 수 있고, 사전 학습과 미세조정을 통해 자연어 이해력이 크게 향상된 기술이다. 또한 온더아이티는 RAG(Retrieval-Augmented Generation) 기반의 프롬프트 기술을 적용하여 대규모 언어 모델(LLM)에서 종종 발생하는 오류인 할루시네이션(Hallucination) 현상을 최소화 하였다고 한다.
온더아이티의 AI 지능형 검색엔진은 자체 테스트 결과 기존 검색엔진에 비해 정확도가 약 30% 가량 증가하여 현격한 차이를 나타냈다. 더구나 한글 자연어 처리에 최적화 된 고려대학교 NLP & AI Lab(연구원장 임희석 교수)의 기술이전을 통해 OpenAI에서 제공하는 BERT 기술만을 적용했을 때 보다도 성능이 우수한 것으로 나타났다고 한다.
온더아이티는 이번에 개발한 AI 지능형 검색엔진을 자사의 협업 플랫폼 비즈러너(BizRunner)에 탑재하여 제품의 시장경쟁력을 대폭 강화 할 계획이다.
온더아이티의 이병구 대표는 “이번 AI 기반의 지능형 검색엔진 개발은 회사가 그 동안 R&D에 지속적으로 투자한 결실이며, 이러한 기술혁신이 제품 성능 뿐 아니라 고객의 부가가치 향상에 크게 기여하기를 기대한다”고 전했다.
