•
컨텍스트 크기가 19K를 넘어가면 정확도가 떨어진다.
◦
컨텍스트 크기가 큰게 무조건 좋지 않다.
•
우리 회사 특화된 용어에 대해서 잘 대응 못할 때
◦
컨텍스트 잘 못 가져온다(임베딩 튜닝)
◦
컨텍스트 있어도 답을 잘 못한다 (LLM 튜닝)
◦
둘 다 못한다 (둘 다 튜닝)
•
LLM Fine-tuning
•
DPO(Direct Preference Optimization)의 대두
•
프롬프트에 영어를 섞어서 사용하는 것이 좋다.
◦
당신은 영한 번역을 수행하는 AI Assistant입니다. Instruction에 따른 request에 적합한 reponse를 작성하세요.
•