일요일, 5월 26, 2024
Home자동화최초의 AI, 엘론 머스크는 생성형 AI 챗봇이다!…330억 개의 매개변수로 '풍자를 사랑하고' 반응에...

최초의 AI, 엘론 머스크는 생성형 AI 챗봇이다!…330억 개의 매개변수로 ‘풍자를 사랑하고’ 반응에 ‘유머’를 갖도록 설계된 인공지능 ‘그록(Grock)’ 출시


일론 머스크 CEO (사진: Bonzi DB)


지난 몇 년 동안 인공지능이 ‘문명을 파괴’할 가능성이 있으며, 구글과 마이크로소프트 같은 기업 간의 기술 개발 경쟁을 중단해야 한다는 주장 등 AI에 대한 많은 이야기가 있었습니다. 해당 부문에 대한 규정 초안. 많은 어려움을 겪은 일론 머스크가 지난 7월 12일 AI 스타트업 ‘x.AI’의 공식 출범을 발표했다.


약 4개월 뒤인 지난 2일 영국 블레츨리파크에서 열린 제1회 AI 안전 서밋에 참석해 리시 수낙 영국 총리와의 대화에서 AI와 로봇이 미치는 영향까지 폭넓은 주제를 논의했다. 그는 “인공지능과 함께하는 미래는 번영하는 시대가 될 것이고 로봇(휴머노이드)이 좋은 친구가 될 것이지만 우리도 걱정해야 한다”고 말했다. “AI는 역사상 가장 파괴적이겠지만, 결국에는 인간보다 똑똑한 휴머노이드가 탄생하게 될 것입니다.” “라며 우려를 표했다.


이어 머스크는 3일 자신의 온 선데이(현지시간)에 이렇게 말했다.


그록(Grock)은 로고 이미지로서 '공감하다, 완전히 이해하다, 마음으로 이해하다'라는 의미를 담고 있습니다.  다음과 같은 사전적 의미를 갖고 있습니다.
그록(Grock)은 로고 이미지로서 ‘공감하다, 완전히 이해하다, 마음으로 이해하다’라는 의미를 담고 있습니다. 다음과 같은 사전적 의미를 갖고 있습니다.


이날 머스크는 다른 AI 모델에 비해 그록의 ‘큰 장점’은 머스크가 언급한 ‘실시간 접속’이 가능하다는 점이라고 밝혔다.


이날 xAI가 발표한 바에 따르면, Grok을 구동하는 엔진은 설립 이후 지난 4개월에 걸쳐 개발된 선구적인 LLM(Large Language Model)인 Grok-1이다. 이 모델은 질문 답변, 정보 검색, 창의적 글쓰기, 코딩 지원 등 자연어 처리(NLP) 작업을 수행합니다.


머스크에 따르면 xAI 설립을 발표한 후 330억 개의 매개변수를 갖춘 프로토타입 LLM(Grok-0)을 배웠다고 한다. 이 초기 모델은 표준 LM 벤치마크에서 Meta의 LLaMA 2(LLaMA 2-70B) 기능과 유사하지만 교육 리소스의 절반만 사용합니다. 지난 두 달 동안 우리는 훨씬 더 강력한 최첨단 언어 모델인 Grok-1로 이어지는 추론 및 코딩 기능을 크게 개선하여 대규모 멀티태스크 언어 이해(Massive Multitask Language Understanding)에서 63.2% 및 73%의 성공을 달성했습니다. MMLU) 및 HumanEval 코딩 작업을 수행합니다. 노출된.


또한 ▷GSM8k: 중학교 수학 단어 문제(Cobbe et al. 2021)는 연쇄 사고 프롬프트를 사용하여 Grok-1을 통해 달성한 기능적 이득을 이해하기 위해 수학과 추론 능력을 측정하도록 설계되었습니다. ▷MMLU: 다분야 객관식 문제(Hendrycks et al. 2021), 상황에 적합한 5지선다 예시 포함. ▷Human Evil: Python 코드 완성 챌린지(Chen et al. 2021), 제로 샷으로 평가 ▷수학: LaTeX로 작성된 중고등학교 수학 문제(Hendrycks et al. 2021), 고정된 4샷 프롬프트 포함) 표준 기계 학습 벤치마크를 사용한 일련의 평가.


4가지 표준 머신러닝 벤치마크를 이용한 평가 결과 (출처: xAI)
4가지 표준 머신러닝 벤치마크를 이용한 평가 결과 (출처: xAI)


그 결과, 이들 벤치마크에서 Grok-1은 ChatGPT-3.5 및 Inflection-1을 포함한 동급의 다른 모든 모델을 능가하는 강력한 결과를 보여주었습니다. GPT-4와 같이 훨씬 더 많은 양의 훈련 데이터와 컴퓨팅 리소스로 훈련된 모델보다 성능이 뛰어났습니다. 이는 xAI가 뛰어난 효율성으로 LLM 교육에 급속한 발전을 이루고 있음을 보여주는 것으로 보입니다.


특히 이러한 벤치마크는 웹에서 쉽게 찾아볼 수 있습니다. 따라서 xAI 모델이 실수로 이 벤치마크를 학습했을 가능성을 배제할 수 없으므로 데이터 세트를 수집한 후 xAI 모델(및 Claude-2 및 GPT-4)이 직접 점수를 매겼습니다(아래 표 참조).



그 결과, Grok은 C(59%)로 시험에 합격했고, Claude-2는 같은 등급(55%)을, GPT-4는 68%로 B를 받았습니다. 이 평가를 위해 xAI는 어떠한 튜닝도 수행하지 않았습니다. 이 실험은 모델이 명시적으로 조정되지 않은 데이터 세트에 대한 ‘실제’ 테스트였습니다.


딥러닝 연구의 최전선에서는 데이터 세트 및 학습 알고리즘과 마찬가지로 안정적인 인프라를 구축해야 합니다. Grok을 만들기 위해 xAI는 Kubernetes, Rust 및 JAX를 기반으로 사용자 지정 교육 및 추론 스택을 구축했습니다.


Grok-1은 다음 토큰 예측을 수행하도록 사전 훈련된 자동 회귀 Transformer 기반 모델입니다. Grok-1의 초기 컨텍스트 길이는 8,192개 토큰입니다. 모델은 인간 모델과 초기 Grok-0 모델의 광범위한 피드백을 사용하여 미세 조정되었습니다.


현재 Grok은 미국 내 제한된 수의 사용자를 대상으로 Grok 프로토타입을 테스트하고 있으며 일반 출시 전에 기능을 개선하는 데 도움이 될 귀중한 피드백을 제공하고 있습니다. 사용자는 Grok 대기자 명단에 등록할 수 있습니다(바라보다), 이번 릴리스는 xAI의 첫 번째 릴리스이며 앞으로 몇 달 안에 새로운 기능이 도입될 것으로 예상되는 흥미로운 로드맵을 가지고 있습니다.


한편, 그록의 초기 베타 버전은 서비스 종료 후 X(트위터) 프리미엄+의 일부로 제공될 예정이며, 이용료는 월 16달러(약 2만1000원)로 책정된다. 이는 월 20달러(약 2만6000원)의 비용을 내는 오픈AI의 유료 서비스인 챗GPT 플러스(ChatGPT Plus)보다 4달러 저렴하지만 아직 성능은 미지수(실제)이다.




RELATED ARTICLES

LEAVE A REPLY

Please enter your comment!
Please enter your name here

- Advertisment -
Google search engine

Most Popular

Recent Comments