프로젝트, 이제 AI를 곁들인... 진행기 (1)

의도

현재 기획하는 프로젝트에서 핵심 기능은 ‘친근한 한국어 챗봇 ’ 이다

먼저 프로젝트를 진행하기 전 기획하는 기술이 구현 가능한지에 대한 구상, 투자비용 예상, 기능개발을 위한 최적의 솔루션을 조사해 보기로했다.

가설 검증

1. 서비스 운영 비용이 많이 드는가?
   1. 모델을 직접 배포
   2. 그래픽 카드 이용
   3. API 이용
2. 한국어가 자연스러운가?
   1. 라포가 형성될 만큼 자연스러운지
3. 유저 타겟층 조사 (예정)
   1. 유사 서비스 조사

 

AI의 성능이 우리 서비스에서 가장 중요한 부분이었다.
하지만 AI는 비용이 가장 큰 걸림돌이라서 이 부분을 가장 먼저 조사하기로 했다.

 

 

1. 서비스 운영 비용이 많이 드는가?

팀의 요구사항

• 한 달에 5만원 내외였으면 좋겠다.

방법 1 모델 직접 배포

1. 모델 선택

• 파인튜닝 (모델을 원하는 용도로 학습시키는 것)은 리소스가 부족하기에 고려하지 않았다. Hugging Face에서 한국어 관련 모델을 찾기로 했다.

상단 바에서 models → 검색창에 korean 을 치면 한국어 챗봇으로 분류 할 수 있다.

 

많은 연구소에서 한국어로 트레이닝 시켜서 배포하고 있다. (친숙한 yanolja 도 보인다.)

모델 뒤에 쓰여있는 8B, 90B, 405B 는 학습시킨 파라미터의 숫자이며 B(Billion) 10억을 뜻한다.

각각 80억개, 900억개, 405십억개의 파라미터를 가지고 있다고 보면 되며 파라미터가 클수록 모델이 복잡하고 용량이 크며, 결과를 도출하는데 오래걸린다.

열정을 느낄 수 있는 문구였다.

 

Bllossom팀이 가장 활발하게 활동하고 있었고 상업적 이용도 무료로 이용할 수 있게 배포하고 있었다. 하지만 ..

 하지만 문제가 있었다.

 

가장 용량이 작은 8B를 구글 colab의 T4 GPU로 돌렸을 때, 응답시간이 3분 이상으로 너무 길었다.

파라미터를 조정해서 줄였으나 30초 이상이여서 방법을 찾아봤다.

 

(1). 우리가 사서 배포한다.

• 모델 돌릴 GPU는 기본 60만원 부터 고급 GPU는 100만원이 훌쩍 넘었다. 기각

(2). GPU 클라우드 서비스를 이용한다.

• 코랩에서 제공하는 T4조차 월 50만원쯤이였다.
• https://www.ncloud.com/product/compute/gpuServer#pricing
• 다른 곳도 +- 10만원일거란 생각에 GPU클라우드 서비스 이용도 포기했다.

(3). API를 제공해주는 모델을 사용한다.

• 결국 어쩔 수 없는건가, OPENAI를 쓰는 수밖ㅇ ㅔ…?
• 라고 생각했으나 예전에 TogetherAI에서 다양한 모델들의 api를 제공해줬던게 기억이났다.(무료로 25달러 도 받았었다)

가격비교

togetherAI

openAI

 

openai는 이미지 처리도 가능하기지만 togetherai는 텍스트만 가능하다. 둘다 $2 내외로 요구사항을 만족한다.

1. 한국어가 자연스러운가 ? - 라포가 형성될 만큼

• 높은 성능점수를 받은 llama3.1 : 405B와 GPT-4o를 간단한 짱구 프롬프트를 작성해서 비교했다

llama3.1:405B

 

 

gpt4o

 

 

둘 다 꽤 마음에 들게 나왔다. 한국어가 자연스러웠고 내 의도를 이해한다.

프롬프팅을 좀 더 열심히 하면 원하는 결과를 도출할 수 있을 것 같다.

 

---

 

프롬프팅이 관건 일 것 같다.

핵심기능이 구현 가능하다는게 증명됐고 가격 문제도 해결되었다.