1. Our Use Case
•
챗봇 전체에 LLM을 적용하지 않고..(비용, 응답 시간 때문에…)
◦
인텐트에 따라… LM, LLM, ChatGPT 적용
•
Our Use Case(LLM/RLFH in 이마트 챗봇)
◦
AI가 복합 되었을때의 최적화 및 선별의 문제(CahtGPT 방식으로)
◦
자체 최상위 Intent Classification Layer - Custom LLM(?) 필요성 : LLM Pilot with koAlpaca
◦
자체 Human in the Loop, RLHF 개발 필요성: Back Office 내재화 & Quick 답변 추천
•
Our Use Case (Custom LLM)
◦
With ko-Alpaca, ko-Polyglot, Azure OpenAI, RAG on SageMaker
Our Use Case(댓글/VOC 트랜드 분석)
•
+ 경쟁사 가격 맵핑(상품명 + 복수 정보 이용)
•
LM에서 사용하는 데이터의 라벨링을 ChatGPT-4가 수행
•
요약/평점은 ChatGPT 3.5
Our Use Case (자동 속성 분류)
•
기존 Dashboard를 제공하고 그 기반으로 텍스트 질의를 하면 답을 주는….
◦
korVicuna 13B + Vision Transformer + CPU Docker(월 수만원대)
→ GGML, Integer Quantization
2. LLM 고찰(Custom LLM의 필요성)
•
비용/성능/속도/안정성, 일관성 문제
•
우리 도메인에 대하여
◦
한글 일반 명사 갯수 40만 vs 이마트 SKU 60만
•
여러가지 서비스, 다양한 응용 전이학습의 필요성
3. LLM vs LM
LLM 성능에 대하여
Embedding 성능에 대하여
•
Why Embedding
•
Item2Vec + LM(for KR)
•
Retail 시나리오에서는…
KR-LLM 성능에 대하여
•
한국어 성능이 GPT보다는 떨어지나 도메인에 맞게 파인튜닝하면 쓸만하다.
•
분류 문제는 LM이 낫더라…
