챗GPT 가 엄청나게 뜬 이후로, 마소와 OpanAI 관계가 정확하게 어떤지는 모르겠지만 "챗GPT 넣을 수 있는데는 다 때려넣어라!" 라는 지시가 내려와서 우리 AI 팀도 저번달에 시작한 프로젝트를 이번주에 급하게 끝냈다. (모델 마음대로 접근 가능한거 보면 마소것처럼 편하게 쓸 수 있는 거 같기도 하고... 어쨌든) 마케팅용 이메일을 만드는 툴인데 지금까지는 예전 GPT 버전을 쓰고 있었다. 내용이 다 거기서 거기고 짧고 재미없고 하여 별로 인기는 없는 기능이었는데 그것을 새로운 GPT 엔진과 연결하여 퀄을 높이는 것이 목표였다.
와중에 다른 AI 프로젝트는 찬밥신세가 되고... 하여튼.
GPT3 엔진하고 챗GPT 랑 기본적으로 같은 엔진인데, 기본 엔진을 여러가지로 커스터마이즈 할 수가 있다. 우리가 테스트 한 것 중에 하나는 보험회사 트레이닝 데이터를 먹인 GPT 였는데...
아, 이렇게 콜 센터가 끝나나 싶더라. GPT 엔진 셋업할 때 중요한 세팅 중에 하나가 Temperature (온도) 인데 이것은 얼마나 창의성을 허락하느냐를 정한다. 0 로 하면 내가 준 데이터 내에서만 답해라는 것이고, 1은 니 마음대로 만들어봐라이다.
보통 콜센터나 그 외 고객 지원 챗봇 이런 것은 온도를 확 낮추고 (헛소리하면 안 되니까) 마케팅 이메일 이런 것은 온도를 훨씬 더 높인다. 그러므로 나는 AI 가 헛소리한다는 뉴스 보면 세팅이 궁금하닷!
내가 테스트했던 보험회사 챗봇은 정말 사람보다 나았다. 정보 정확하고, 자세하게 설명하고, 딱 맞는 링크도 주고, 당연하지만 사람보다 훨씬 빠르다. 이렇게 확실한 약관이나 매뉴얼 있고, 이전 콜센터의 데이터가 잔뜩 있으면 GPT 상용화는 대박일듯 하다. 얘가 아무리 헛소리한다 해도 세팅을 주어진 데이터 내에서만, 완전히 확인 가능한 내용으로만 대답해라 하면 먹인 매뉴얼과 통화 내역내에서의 실수일거고, 그러므로 생초보인 사람보다 잘 할 수밖에 없다. 그리고 사람을 면접하고 교육시키고 제대로 잘 하는지 관리하고 그 외 수많은 인사 문제를 처리해야 한다는 것을 고려할때, GPT 가 제일 빨리 없애버릴 직군은 콜센터일거라 생각한다.
온도를 확 올려놓으면 (개소리 해도 좋으니 창의력을 발휘해라! 하면..), 그리고 presence 와 frequency penalty (반복되지 않게 해라!) 도 왕창 끌어올려두면 재미있는 결과가 나오는데, 마케팅 메일 테스트를 하다가 이런 키워드를 넣어보았다.
"All the devils are here and hell is empty" 그걸로 마케팅 프로모션 이메일 만들라고 하는거 자체가 좀 진상 보스인듯 한데, 몇 초만에 수십개의 샘플을 만들어냈다. 문제는...
"윌리엄 블레이크가 말하기를 all the devils are here..." 어쩌고 한다. 그 다음 이메일에서는 "T.S.Eliot 이 말하기를..." 그러나 찾아보니까 원본은 셰잌스피어다. 그렇겠지. If in doubt, say Shakespeare. 누가 원조로 이 말 했을까 할 때 무조건 셰익스피어라고 해라 뭐 그런 말도 있으니. 그런데 얘는 이걸 만들어낸거잖아;; 이걸 검색엔진에서 쓰자면 힘들텐데 말이지.
이게 버그라면 버그인데, 사실 마케팅 인턴 보고 이걸로 이메일 만들어봐라 했을 때 정말 다 정확하게 팩트 체크할까 묻느냐면 아니거든. 그러니까 헛소리 레벨 올려둬도 어쨌든 사람보다는 낫다는 말이다. 특히 몇 초 안에 수십개 만들어 낼 수 있는 걸 고려하면 말이지.
병원이나 약국에서 GPT 를 키오스크 형식으로 만든다면 (온도 확 낮추고, 내용 제한 빡세게 하고, 반복되어도 좋다 하고) 복약지도 이런 게 아주 좋을 듯 싶다. 약 뭐랑 뭐 같이 먹으면 안 되고, 언제 어떻게 먹어야 하고, 언제 또 다시 받으러 와야 하고 그런 거 말이지. 이런 건 데이터가 아주 많고 정해져 있고 API 로 만들어서 핸드폰으로 곧바로 보내기도 쉬우니 앱 만들기도 쉽고 병원 내원할때 보이고 하는 것도 쉽고 뭐 등등.
그 외 앱 아이디어로는 - 유튜브나 인스타 등에서 인플루언서로 일하는 사람들에게 팬들이나 그 외 문의 DM 자동 답해주는 것 (가격 물어보거나 그런 것), 적당한 답글 작성해주는 것, 답글 쓸 때에 그 사람 프로필 미리 훑어보고 짧게 요약해서 보여주는 것, 험한 내용은 알아서 미리 차단해주는 것 등이 있겠다. 그 당근 마켓등에서 가격 흥정 메세지와 어디서 만날지 등도 자동으로 사람처럼 네고하면서 답해주는 것 가능할 것이고 - 최소 5만원이고 만나는 장소는 이곳 반경 1킬로 내에, 내일과 모레 오후만 된다고 답해라 세팅해두면 지가 알아서 문의하는 사람과 메세지 답하고 하는 그런 기능.
AI 팀원으로서 감상은 - 다른 모델 만들때에는 뭔가 우리가 모델을 정하고 테스트하고 프로덕트 만들고 분석하고 등등 일이 많았는데, 이번에는 아주 짧은 프로젝트이기도 했지만 이미 만들어진 모델을 '말'로 튜닝하고 세팅 변경하고 그러는 거라서 내가 사용자가 된 기분이었다. 실제로 아주 큰 회사 아니면 LLM (GPT 같은 Large Language Model) 직접 만들기 힘들것이고 기본 모델을 가져와서 훈련시키는 게 주가 될텐데, 먹이주고 조련하고 제대로 반응하는지 확인하고 그러는게 엔지니어보다 뭔가 포켓몬 조련사가 된 느낌.
아참, GPT 에게 물어볼 때 그 질문을 Prompt 라고 하고, 유저의 질문을 이래저래 바꿔서 정확한 답을 받을 수 있도록 바꾸거나 도움이 되는 예를 더하고 "욕 넣지 마라" "Dear / Hey 이런 거 넣지 마라" 등등 명령을 더하고 하는 걸 prompt engineering 이라고 합니다. 그런데 이것도 결국은 그냥 자연어다 보니까 엔지니어링이라기보다 그냥 일 시키는 기분이랄까.
그랬습니다. 이상 레드몬드 마소 (많은) AI 팀(중에 하나 ㅋㅋ)에서 보고드렸습니다.
출처 -