클로드 (언어 모델)
클로드(Claude)는 앤트로픽에서 개발한 대형 언어 모델 제품군이다.[1] 첫 번째 모델은 2023년 3월 출시됐다. 2024년 3월 출시된 클로드 3도 이미지 분석이 가능하다.[2]
| 개발자 | 앤트로픽 |
|---|---|
| 발표일 | 2023년 3월 |
| 종류 | |
| 라이선스 | 사유 |
| 웹사이트 | claude |
트레이닝
편집클로드 모델은 생성적으로 사전 훈련된 변환기이다. 이것들은 많은 양의 텍스트에서 다음 단어를 예측하도록 사전 훈련되었다. 그런 다음 클로드 모델을 유용하고 정직하며 무해하게 만들기 위해 컨스티튜셔널 AI(Constitutional AI)를 사용하여 미세 조정했다.[3][4]
컨스티튜셔널 AI
편집컨스티튜셔널 AI는 광범위한 인간 피드백에 의존하지 않고도 AI 시스템, 특히 클로드와 같은 언어 모델을 무해하고 유용하게 훈련하기 위해 앤트로픽에서 개발한 접근 방식이다. "Constitutional AI: Harmlessness from AI Feedback" 논문에 자세히 설명된 이 방법은 지도 학습과 강화 학습이라는 두 단계로 구성된다.[4]
지도 학습 단계에서 모델은 프롬프트에 대한 응답을 생성하고 일련의 지침 원칙("컨스티튜션", 즉 헌법)을 기반으로 이러한 응답을 자체 비판하고 응답을 수정한다. 그런 다음 모델은 이러한 수정된 응답에 대해 미세 조정된다.[4]
AI 피드백 강화학습(RLAIF) 단계에서는 구성 준수 여부에 따라 응답을 생성하고 비교한다. 이 AI 피드백 데이터 세트는 체질을 얼마나 충족하는지에 따라 응답을 평가하는 선호 모델을 훈련하는 데 사용된다. 그런 다음 클로드는 이 선호 모델에 맞게 미세 조정된다. 이 기술은 선호도 모델을 훈련하는 데 사용되는 비교가 AI에서 생성되고 구성을 기반으로 한다는 점을 제외하면 인간 피드백을 통한 강화 학습(RLHF)과 유사하다.[5][4]
이 접근 방식을 통해 유용하면서도 무해한 AI 비서 교육이 가능하며, 유해한 요청에 대한 반대 의견을 설명하고 투명성을 강화하며 인간 감독에 대한 의존도를 줄일 수 있다.[6][7]
모델
편집클로드
편집클로드는 2023년 3월에 출시된 앤트로픽의 언어 모델의 초기 버전이다.[8] 클로드는 다양한 작업에서 능숙함을 보였으나 코딩, 수학, 추론 능력에서 일정한 한계를 가지고 있었다.[9] 앤트로픽은 노션(생산성 소프트웨어)과 쿼라(Poe 챗봇 개발 지원) 등의 기업들과 제휴를 맺었다.[9]
클로드 인스턴트
편집클로드는 클로드와 클로드 인스턴트, 두 가지 버전으로 출시되었는데, 클로드 인스턴트는 더 빠르고 저렴하며 가벼운 버전이다. 클로드 인스턴트는 100,000 토큰(약 75,000 단어에 해당)의 입력 문맥 길이를 갖는다.[10]
클로드 2
편집클로드 2는 클로드의 차기 주요 신판 버전으로, 2023년 7월에 출시되어 일반 대중이 사용할 수 있게 되었다. 기존의 클로드 1은 앤트로픽이 승인한 선별된 사용자만 이용할 수 있었다.[11]
클로드 2는 문맥 창을 9,000 토큰에서 100,000 토큰으로 확장했다.[8] 기능에는 PDF와 다른 문서를 업로드할 수 있는 능력이 포함되어 있어, 클로드가 읽고 요약하며 작업을 지원할 수 있게 되었다.
비판
편집클로드 2는 사용성과 성능을 저하시킬 수 있는 엄격한 윤리적 정렬로 인해 비판을 받았다. 사용자들은 "우분투 서버에서 모든 파이썬 프로세스를 어떻게 종료(kill)할 수 있나요?"와 같은 무해한 프로그래밍 질문에 대해서도 지원을 거부당했다. 이는 AI 개발에서 "정렬 세금"(AI 시스템이 정렬되도록 보장하는 비용)에 대한 논쟁을 불러일으켰으며, 윤리적 고려사항과 실용적 기능성의 균형을 중심으로 논의가 이루어졌다. 비판자들은 사용자 자율성과 효과성을 주장하는 반면, 지지자들은 윤리적 AI의 중요성을 강조한다.[12][13]
클로드 2.1
편집클로드 2.1은 챗봇이 처리할 수 있는 토큰 수를 두 배로 늘려 200,000 토큰의 창으로 증가시켰는데, 이는 약 500페이지의 문서 자료와 동일하다.[1]
앤트로픽은 새 모델이 이전 버전들에 비해 거짓 진술을 할 가능성이 낮다고 밝혔다.[13]
클로드 3
편집클로드 3은 2024년 3월 14일에 출시되었으며, 보도 자료에 따르면 광범위한 인지 작업에서 새로운 업계 기준을 설정했다고 주장한다. 클로드 3 제품군은 능력의 오름차순으로 하이쿠, 소네트, 오푸스라는 세 가지 최첨단 모델을 포함한다. 클로드 3의 기본 버전인 오푸스는 200,000 토큰의 문맥 창을 가지고 있지만, 특정 사용 사례를 위해 100만 토큰으로 확장되고 있다.[14][2]
클로드 3는 "건초더미에서 바늘 찾기" 테스트 중에 인위적으로 테스트되고 있다는 것을 깨닫는 능력을 포함하여 메타인지 추론을 수행한 것으로 보인다.[15]
클로드 3.5
편집2024년 6월 20일, 앤트로픽은 클로드 3.5 소네트를 출시했는데, 이는 더 큰 클로드 3 오푸스에 비해 벤치마크에서 상당히 향상된 성능을 보여주었다. 특히 코딩, 다단계 워크플로우, 차트 해석, 이미지에서의 텍스트 추출 등의 영역에서 두드러졌다. 3.5 소네트와 함께 출시된 새로운 아티팩트 기능을 통해 클로드는 인터페이스의 전용 창에서 코드를 생성하고 웹사이트나 SVG와 같은 선택된 코드를 실시간으로 미리 볼 수 있게 되었다.[16]
접근
편집클로드 3.5 소네트를 이용한 제한적 접근은 무료이지만, 이메일 주소와 휴대전화 번호가 모두 필요하다. 더 많은 사용량과 모든 클로드 3 모델에 대한 접근을 위해서는 유료 플랜도 제공된다.[17]
2024년 5월 1일, 앤트로픽은 클로드를 위한 첫 번째 기업용 서비스인 클로드 팀 플랜과 클로드 iOS 앱을 발표했다.[18]
각주
편집- ↑ 가 나 Davis, Wes (2023년 11월 21일). “OpenAI rival Anthropic makes its Claude chatbot even more useful”. 《The Verge》 (영어). 2024년 1월 23일에 확인함.
- ↑ 가 나 Whitney, Lance (2024년 3월 4일). “Anthropic's Claude 3 chatbot claims to outperform ChatGPT, Gemini”. 《ZDNET》 (영어). 2024년 3월 5일에 확인함.
- ↑ 가 나 Bai, Yuntao; Kadavath, Saurav; Kundu, Sandipan; Askell, Amanda; Kernion, Jackson; Jones, Andy; Chen, Anna; Goldie, Anna; Mirhoseini, Azalia (2022년 12월 15일), 《Constitutional AI: Harmlessness from AI Feedback》, arXiv:2212.08073
- ↑ 가 나 다 라 “Claude's Constitution”. 《Anthropic》 (영어). 2023년 5월 9일. 2024년 3월 26일에 확인함.
- ↑ Eliot, Lance (2023년 5월 25일). “Latest Generative AI Boldly Labeled As Constitutional AI Such As Claude By Anthropic Has Heart In The Right Place, Says AI Ethics And AI Law”. 《Forbes》 (영어). 2024년 3월 27일에 확인함.
- ↑ 가 나 Bai, Yuntao; Kadavath, Saurav; Kundu, Sandipan; Askell, Amanda; Kernion, Jackson; Jones, Andy; Chen, Anna; Goldie, Anna; Mirhoseini, Azalia (2022년 12월 15일), 《Constitutional AI: Harmlessness from AI Feedback》, arXiv:2212.08073
- ↑ Mok, Aaron. “A ChatGPT rival just published a new constitution to level up its AI guardrails, and prevent toxic and racist responses”. 《Business Insider》 (미국 영어). 2024년 1월 23일에 확인함.
- ↑ 가 나 Drapkin, Aaron (2023년 10월 27일). “What Is Claude AI and Anthropic? ChatGPT's Rival Explained”. 《Tech.co》 (미국 영어). 2024년 1월 23일에 확인함.
- ↑ 가 나 “Introducing Claude”. 《Anthropic》. 2023년 3월 14일.
- ↑ Yao, Deborah (2023년 8월 11일). “Anthropic's Claude Instant: A Smaller, Faster and Cheaper Language Model”. 《AI Business》.
- ↑ Matthews, Dylan (2023년 7월 17일). “The $1 billion gamble to ensure AI doesn't destroy humanity”. 《Vox》 (영어). 2024년 1월 23일에 확인함.
- ↑ Glifton, Gerald (2024년 1월 3일). “Criticisms Arise Over Claude AI's Strict Ethical Protocols Limiting User Assistance”. 《Light Square》 (영어). 2024년 1월 23일에 확인함.
- ↑ 가 나 “Anthropic Announces Claude 2.1 LLM with Wider Context Window and Support for AI Tools”. 《InfoQ》 (영어). 2024년 1월 23일에 확인함.
- ↑ “Introducing the next generation of Claude”. 《Anthropic》 (영어). 2024년 3월 4일에 확인함.
- ↑ Edwards, Benj (2024년 3월 5일). “Anthropic's Claude 3 causes stir by seeming to realize when it was being tested”. 《Ars Technica》 (미국 영어). 2024년 3월 9일에 확인함.
- ↑ Pierce, David (2024년 6월 20일). “Anthropic has a fast new AI model — and a clever new way to interact with chatbots”. 《The Verge》 (영어). 2024년 6월 20일에 확인함.
- ↑ “Introducing the Claude Team plan and iOS app”. 《Anthropic》 (영어). 2024년 5월 1일. 2024년 6월 22일에 확인함.
- ↑ Field, Hayden (2024년 5월 1일). “Amazon-backed Anthropic launches iPhone app and business tier to compete with OpenAI's ChatGPT”. 《CNBC》. 2024년 5월 3일에 확인함.