클라우드 대표기업 메가존클라우드(대표 이주완)가 제너레이티브 AI 도입을 희망하는 기업을 위해 설계부터 구축, 운영까지 전 과정을 지원하는 맞춤형 제너레이티브 AI 엔드투엔드 서비스 ‘젠AI360’을 출시했다.
GenAI360은 기업의 제너레이티브 AI 활용 전략 수립 및 파일럿 과제 수행, 기업별 환경을 고려한 최적의 플랫폼 선정, 데이터 학습 및 검증, 기업 내에서 사용할 서비스 개발 및 지도 제공, 제너레이티브 AI 운영 전략 수립, 운영 서비스 등으로 구성되어 있습니다.
메가존클라우드는 지난 7월부터 9주간 사내 HR 헬프데스크에서 접수된 질문과 답변을 바탕으로 한국어 전문 LLM을 교육하고, 관련 문서에 RAG(Search Augmented Generation)를 적용해 신뢰할 수 있는 답변을 생성하는 프로젝트를 진행하고 있다. 그리고 사내 가이드. 수행
그 결과, 첫 번째 질문에 대한 답변의 정확도는 평균 75% 이상인 것으로 확인되었으며, 이후의 질문 수정 및 추가 질문을 통해 답변의 정확도가 향상되었으며, 이는 실제로 단순 질문과 질문 수를 90% 이상 줄이는 것으로 평가되었다. 질문 답변과 관련된 효율성이 낮은 작업. 확인할 수 있었습니다.
메가존클라우드에서는 이번 성과를 바탕으로 RLHF(Reinforcement Learning based on Human Feedback)를 통해 답변 품질을 향상시키기 위한 추가 고도화 작업을 진행하고 있다.
이 파일럿 프로젝트는 Amazon SageMaker/Amazon Kendra와 같은 데이터 분석과 인공 지능 및 기계 학습(AI/ML)을 위한 다양한 AWS 서비스를 기반으로 하는 클라우드 기반 아키텍처로 구성됩니다. 비용 효율적인 아키텍처를 구축하고 답변 품질을 향상할 수 있는 방법을 배우기 위해 생성 AI 분야에서 AWS와 기술 협력을 강화했습니다.
메가존클라우드는 이 과정을 통해 기업이 제너레이티브 AI 도입 시 고려해야 할 사항, 구현 과정에서 발생할 수 있는 문제에 대한 솔루션 등 고객 서비스에 활용할 수 있는 실무 노하우를 축적했다. 대표적인 예로는 비용 최적화, 기업별 데이터 적용 및 참조 시간, 동의어 사전, 환각 등 프롬프트 엔지니어링, 자원 비용 최적화 및 구현 방법 등이 있습니다.
공성배 메가존클라우드 AI·데이터분석센터장은 “LLM에 대한 높은 관심에 비해 사업적 가치가 입증된 사례가 많지 않은 것이 사실이다”고 말했다. “Megazone Cloud의 경험과 기술을 AWS 서비스와 결합하여 LLM의 한계를 극복합니다.” 그는 “우리는 고객에게 비즈니스 가치를 명확하게 제공할 것”이라고 말했다.
