오픈소스로 완성하는 AI Full Stack

Open LLM

• 전문가 혼합 모델(SMoE)을 채용했습니다.
• Llama 2 70B 모델을 넘어 GPT-3.5 175B 를 앞서는 성능을 보여줍니다.
• 블라인드 챗봇테스트인 챗봇 아레나에서 GPT-4, Claude-2 에 이어 3번째 순위입니다.
  

• 월간 활성사용자 7억명 이하인 서비스에서는 상업적으로 사용 가능한 라이선스입니다.
• Llama-2를 파인튜닝한 수 많은 파생 모델이 나와 있습니다.
  

• MS 에서 공개한 2.7B 파라미터의 경량 모델입니다.
• 상식, 언어 이해, 논리적 추론을 테스트 결과 13B 모델보다 성능이 좋다는 결과를 보였다고 합니다.

LLM 추론 및 서빙

• Mac, Linux, Windows 등 로컬환경에서 7B 수준의 LLM 을 직접 실행할 수 있습니다.
• 간단한 명령어만으로 모델을 다운로드하고 실행합니다.
• CLI로 모델을 관리하고, 간단한 채팅이 가능합니다.
• 제공된 API를 통해 여러가지 활용이 가능합니다.
  

• LLM 추론 및 서빙을 위한 빠르고 사용하기 쉬운 라이브러리입니다.
• 허깅페이스에서 제공되는 모델을 지원합니다.
• 분산처리, 병렬처리, 스트리밍 출력, OpenAI 호환 API 제공합니다.
• Nvidia, AMD GPU 지원합니다.

• Kubernetes 환경에서 구축가능한 ML 모델 추론을 위한 플랫폼입니다.
• 스케일링, 네트워킹, 모니터링 등을 위한 추상화 인터페이스를 제공합니다.

LLM 프록싱

• 다양한 LLM API 를 통합하고, 프록시를 제공합니다.
• OpenAI 의 API 형식을 따릅니다.
• 사용자별 API 인증 관리를 제공합니다.
  

• 표준 OpenAI API 형식을 통해 모든 대형 모델에 즉시 액세스할 수 있도록 합니다.
• 다양한 LLM 을 지원하며, 프록시 서비스도 제공합니다.
• 로드 밸런싱과 다중 배포가 가능하며, 사용자 관리 및 그룹 기능을 제공합니다.
  

• 하나의 빠르고 친숙한 API로 100개 이상의 LLM에 연결을 제공합니다.
• 작은 사이즈의 설치만으로 빠른 엑세스를 보장합니다.
  

LLM Monitoring

• 데이터 팀이 품질 테스트, 문서화 및 프로파일링을 통해 데이터에 대한 공유된 이해를 구축하도록 돕습니다.
• CI/CD 파이프라인과 통합하여 필요한 곳에 정확하게 데이터 품질을 추가할 수 있습니다.
  

• 오픈 소스 LLM 가시성, 분석, 신속한 관리, 평가, 테스트, 모니터링, 로깅, 추적을 제공합니다.
• 시각적 UI에서 복잡한 로그 및 추적을 탐색하고 디버깅할 수 있습니다.
• 향후 엔터프라이즈 기능이 추가 예정입니다.
  

• 편향, 데이터 유출, 허위 상관관계, 환각, 독성, 보안 문제 등 표 형식 모델에서 LLM에 이르기까지 AI 모델의 취약점을 자동으로 탐지할 수 있습니다.