지난 아티클에서는 ModernBERT: 최신 LLM 기법으로 BERT를 개선할 수 있을까?ModernBERT: 최신 LLM 기법으로 BERT를 개선할 수 있을까? 라는 주제를 통하여 ModernBERT를 소개해 드렸습니다.
간단하게 설명드리면 BERT는 RAG에서 사용되는 임베딩과 리랭커 모델의 근간이 되는 모델 아키텍처인데, ModernBERT는 Databricks 사가 개발한 MosaicBERT를 바탕으로 최신 논문들과 기술을 집약하여 내놓은 끝판왕 이라고 할 수 있겠습니다.
허깅페이스 아티클에서는 ModernBERT를 내 높으면서 RAG 파이프라인(Retrieval Augmented Generation)과 추천 시스템 등 인코더 전용 모델이 현재 배포되고 있는 수많은 응용 프로그램에서 새로운 표준이 될 것으로 기대한다고 표현했고 성능 테스트 결과도 매우 우수한 것을 알 수 있습니다.