채팅GPT, 클로드.ai(클로드.ai), 찾다(phind)와 같은 챗봇은 매우 유용할 수 있지만 질문이나 민감한 데이터를 외부 애플리케이션에서 처리하기 어려울 때가 있습니다. 이는 회사와 챗봇의 상호 작용이 미래 모델을 교육하는 데 사용되는 플랫폼의 경우 특히 그렇습니다.
한 가지 해결책은 LLM(대규모 언어 모델)을 다운로드하여 자체 시스템에서 실행하는 것입니다. 이는 외부 조직이 회사 데이터에 접근할 가능성을 근본적으로 차단합니다. 그리고 코딩 작업을 위해 등장한 메타도 Coderama 모델 제품군또는 텍스트 음성 변환 및 언어 번역 목적으로 사용됩니다. 원활한 M4T(SeamlessM4T)와 같은 새로운 모델을 시험해 보는 지름길이기도 합니다.
자신만의 LLM을 운영하는 것은 복잡해 보일 수 있지만 올바른 도구를 사용하면 놀라울 정도로 쉽습니다. 그리고 대부분의 모델의 경우 하드웨어 요구 사항이 그다지 까다롭지 않습니다. 이 문서에 소개된 옵션은 Intel i9 프로세서, 64GB RAM, NVIDIA GeForce 12GB GPU(생각보다 자주 사용되지 않음)를 탑재한 Dell PC와 M1 칩을 탑재했지만 RAM 용량이 16GB에 불과한 Mac에서 테스트되었습니다. 램.
첫째, 귀하의 비즈니스가 원하는 작업에 적합하고 데스크탑 하드웨어에서 실행되는 모델을 찾으려면 약간의 조사가 필요할 수 있습니다. 그리고 ChatGPT(특히 GPT-4)나 Claude.ai와 같은 기존 도구만큼 익숙하지 않을 수도 있습니다. 그러나 명령줄 도구 LLM의 창시자인 Simon Willison은 지난 주에 다음과 같이 말했습니다. 프레젠테이션로컬 모델을 구현하는 것이 그만한 가치가 있다고 강조했습니다. 설명 그는 틀린 대답을 하면서도 그렇다고 주장했다.
(일부) 노트북에서 실행되는 모델은 심각한 환각을 보일 수 있습니다. 그러나 이는 로컬 컴퓨터에서 LLM을 실행하는 매우 좋은 이유가 될 수 있습니다. 왜냐하면 이것이 작동 방식과 한계가 무엇인지 이해하는 훨씬 빠른 방법이기 때문입니다.
오픈소스 모델이 지속적으로 개선될 가능성이 높다는 점도 주목할 만하며, 일부 업계 관계자는 오픈소스 모델과 상용 모델 간의 격차가 줄어들 것으로 예상하고 있습니다.
GPT4All로 로컬 챗봇 실행
로컬에서 실행되고 다른 곳으로 데이터를 전송하지 않는 챗봇을 원하는 조직은 GPT4모두한번 살펴볼 가치가 있습니다. 설치가 매우 쉬운 다운로드용 데스크톱 클라이언트를 제공합니다. Windows, macOS, Ubuntu용 버전이 있습니다.
GPT4All 데스크톱 애플리케이션을 처음 열면 로컬로 실행할 수 있는 약 10개 모델을 다운로드할 수 있는 옵션이 표시됩니다(이 글을 쓰는 시점에서). 그 중에는 메타 AI의 모델인 Rama-2-7B Chat도 있습니다. 또한 API 키가 있는 경우 로컬이 아닌 용도로 OpenAI의 GPT-3.5 및 GPT-4(액세스 권한이 있는 경우)를 설정할 수 있습니다.
GPT4All 인터페이스의 모델 다운로드 부분은 처음에는 약간 혼란스러웠습니다. 여러 모델을 다운로드한 후에도 모든 모델을 다운로드할 수 있는 옵션이 표시되었습니다. 다운로드가 안되는 것 같았습니다. 그런데 다운로드 경로를 확인해 보니 모든 모델이 다운로드 되었습니다.
GPT4All My Model 다운로드 인터페이스. 애플리케이션의 사용법을 열면 다운로드한 모델이 자동으로 나타납니다.
모델을 설정하고 나면 챗봇 인터페이스 자체가 깔끔하고 사용하기 쉽습니다. 채팅 내용을 클립보드에 복사하고 답변을 생성하는 등 편리한 옵션이 있습니다.
GPT4All 채팅 인터페이스는 깨끗하고 쉽습니다.
문서와 로컬로 ‘채팅’할 수 있는 새로운 베타 Localdocs 플러그인도 있습니다. 설정 > 플러그인 탭에서 이 플러그인을 활성화하면 ‘로컬 문서 플러그인(베타) 설정’ 헤더와 특정 폴더 경로에 컬렉션을 생성하는 옵션이 표시됩니다.
플러그인은 현재 개발 중입니다. 공식 문서추가된 전문가 정보에 접근하더라도 LLM은 여전히 ’환각'(뭔가를 꾸며내는 것)을 할 수 있다고 경고합니다. 그럼에도 불구하고 이는 오픈 소스 모델의 기능이 향상됨에 따라 개선될 가능성이 있는 흥미로운 기능입니다.
챗봇 애플리케이션 외에도 GPT4All에는 Python, Node 및 명령줄 인터페이스(CLI)에 대한 바인딩도 있습니다. 또한 OpenAI와 매우 유사한 구조의 HTTP API를 통해 로컬 LLM과 상호 작용할 수 있습니다. 서버 모드도 있습니다. 이 모드의 목표는 코드 몇 줄만 변경하여 로컬 LLM을 OpenAI로 대체할 수 있도록 하는 것입니다.
명령줄의 LLM
사이먼 윌리슨의 법학대학원로컬 컴퓨터에서 오픈 소스 LLM을 다운로드하고 사용하는 가장 쉬운 방법 중 하나입니다. 이를 실행하려면 Python이 설치되어 있어야 하지만 Python 코드를 건드릴 필요는 없습니다. Mac에서 Homebrew를 사용하는 경우 다음과 같이 설치할 수 있습니다.
양조 설치 llm
Windows 컴퓨터를 사용하는 경우 선호하는 Python 라이브러리 설치 방법을 사용하세요.
핍 설치 llm
LLM은 기본적으로 OpenAI 모델을 사용하지만 플러그인을 사용하여 다른 모델을 로컬에서 실행할 수 있습니다. 예를 들어, gpt4all 플러그인을 설치하면 GPT4All의 추가 로컬 모델에 액세스할 수 있습니다. Lima, MLC Project 및 MPT-30B용 플러그인과 추가 원격 모델도 있습니다.
명령줄에서 llm install model-name을 사용하여 플러그인을 설치합니다.
llm 설치 llm-gpt4all
다음 명령을 사용하면 사용 가능한 모든 원격 모델과 설치된 모델을 확인할 수 있을 뿐만 아니라 각 모델에 대한 간략한 정보도 확인할 수 있습니다. llm models list.
LLM에서 사용 가능한 모델을 나열하라는 화면입니다.
로컬 LLM에 쿼리를 보내려면 다음 구문을 사용하십시오.
llm -m 모델 이름 “귀하의 쿼리“
| 귀하에게 적합한 LLM 선택 모델을 어떻게 선택하나요? Infoworld에서 ChatGPT 외 14개 LLM을 확인할 수 있는데 어떤 모델을 다운로드할 수 있는지, LLM 플러그인과 호환되는지 확인해야 합니다. GPT4All 홈페이지로 이동하여 모델 탐색기로 스크롤하여 GPT4All과 호환되는 모델을 찾을 수도 있습니다. falcon-q4_0 옵션으로 시작하게 된 이유는 상업용 라이센스를 받은 상대적으로 작은 모델로 높은 평가를 받았기 때문입니다. |
그런 다음 모델을 다운로드하라는 별도의 명령을 내리지 않고 ChatGPT와 유사한 질문을 했습니다.
-모델-gpt4all-falcon-q4_0″컴퓨터 프로그래밍에 대한 농담을 말해주세요“
이는 LLM 사용자 경험이 매우 우아해지는 방법 중 하나입니다. 로컬 시스템에 GPT4All 모델이 없는 경우 LLM 도구는 쿼리를 실행하기 전에 자동으로 해당 모델을 다운로드합니다. 모델을 다운로드하는 동안 터미널에 진행률 표시줄이 나타납니다.
LLM은 쿼리에 사용된 모델을 자동으로 다운로드했습니다.
“프로그래머는 왜 컴퓨터를 껐나요? “왜냐하면 나는 그것이 여전히 작동하는지 확인하고 싶었기 때문입니다!” 사소한 농담일지도 모르지만, 이 질문에는 뭔가 다른 점이 있었습니다. 결과가 실망스러운 경우 이는 LLM 도구가 아닌 모델 성능 또는 부적절한 사용자 프롬프트 때문입니다.
LLM 내에서 모델의 별칭을 설정하여 더 짧은 이름으로 참조할 수도 있습니다.
LLM 별칭은 falcon ggml-model-gpt4all-falcon-q4_0을 설정합니다.
사용 가능한 모든 별칭을 보려면 다음을 입력합니다. LLM 별칭
Meta의 Llama 모델을 위한 LLM 플러그인GPT4All보다 약간 더 많은 설정이 필요합니다. 자세한 내용은 LLM 플러그인의 GitHub 저장소를 참조하세요. 만능인 라마-2-7b-채팅M1 Pro 칩과 16GB RAM만 장착된 작업용 Mac에서 이 프로그램을 제대로 실행할 수 있었다는 점은 주목할 가치가 있습니다. GPU가 없는 소형 컴퓨터에 최적화되어 있고, 더 강력한 가정용 PC에서 더 나은 성능을 발휘하는 GPT4All 모델보다 약간 느리게 실행되었습니다.
LLM에는 이전 채팅을 계속할 수 있는 기능이 있습니다. 논쟁 Python 스크립트 내에서 사용할 수 있는 플래그 및 함수를 포함한 다른 기능도 있습니다. 자세한 내용은 LLM 홈페이지에서 확인하실 수 있습니다. 참고로, 인기 있는 Python Django 프레임워크의 공동 제작자인 Willison은 커뮤니티의 다른 사람들에게 LLM 생태계에 더 많은 플러그인을 기여하도록 요청하고 있습니다.
Mac의 Llama 모델: Olama
올라마LLM보다 모델을 다운로드하고 실행하는 훨씬 쉬운 방법이지만 더 제한적입니다. 현재는 macOS에만 해당되며 Windows 및 Linux에 대한 지원은 “곧 제공될 예정”이라고 합니다.
Olama 설정은 매우 쉽습니다.
포인트 앤 클릭으로 우아하게 설치할 수 있습니다. Olama는 명령줄 도구이지만 ollama run model-name 구문을 사용하는 명령은 하나만 있습니다. LLM과 마찬가지로 모델이 아직 시스템에 없으면 자동으로 다운로드됩니다.
사용 가능한 모델 목록은 다음과 같습니다. https://ollama.ai/library 여기에서 찾을 수 있으며, 이 글을 쓰는 시점에는 Coderama 모델의 한 버전이 포함되어 있습니다. Python용으로 조정된 옵션은 포함되지 않습니다. 하지만 이는 Coderama가 발표된 다음날의 상황이며, 앞으로 더 많은 모델이 제공될 예정입니다.
