인기있는 AI 오픈소스 참고 AI Full Stack
컨텐츠 정보
- 475 조회
본문
오픈소스로 완성하는 AI Full Stack
AI와 관련된 수 많은 오픈소스들이 쏟아지면서 오픈소스 생태계는 그야말로 AI 오픈소스 르네상스를 맞이하고 있습니다. LangChain의 성공을 시작으로 많은 오픈소스들이 나오면서 AI 업계 시스템을 빠르게 메꾸고 있기도 합니다.
여러 계층의 AI의 Stack 별로 인기를 누리고 있는 오픈소스를 한번 살펴보려고 합니다.
Open LLM
Mixtral-8x7B-Instruct-v0.1 (Apache-2.0)
https://huggingface.co/mistralai/Mixtral-8x7B-Instruct-v0.1
https://huggingface.co/mistralai/Mixtral-8x7B-Instruct-v0.1
- 전문가 혼합 모델(SMoE)을 채용했습니다.
- Llama 2 70B 모델을 넘어 GPT-3.5 175B 를 앞서는 성능을 보여줍니다.
- 블라인드 챗봇테스트인 챗봇 아레나에서 GPT-4, Claude-2 에 이어 3번째 순위입니다.
Llama-2-7b-chat (Llama 2 Community)
https://huggingface.co/meta-llama/Llama-2-7b-chat
https://huggingface.co/meta-llama/Llama-2-7b-chat
- 월간 활성사용자 7억명 이하인 서비스에서는 상업적으로 사용 가능한 라이선스입니다.
- Llama-2를 파인튜닝한 수 많은 파생 모델이 나와 있습니다.
phi-2 (MIT)
https://huggingface.co/microsoft/phi-2
https://huggingface.co/microsoft/phi-2
- MS 에서 공개한 2.7B 파라미터의 경량 모델입니다.
- 상식, 언어 이해, 논리적 추론을 테스트 결과 13B 모델보다 성능이 좋다는 결과를 보였다고 합니다.
LLM 추론 및 서빙
Ollama (MIT)
- Mac, Linux, Windows 등 로컬환경에서 7B 수준의 LLM 을 직접 실행할 수 있습니다.
- 간단한 명령어만으로 모델을 다운로드하고 실행합니다.
- CLI로 모델을 관리하고, 간단한 채팅이 가능합니다.
- 제공된 API를 통해 여러가지 활용이 가능합니다.
vLLM (Apache-2.0)
https://github.com/vllm-project/vllm
https://github.com/vllm-project/vllm
- LLM 추론 및 서빙을 위한 빠르고 사용하기 쉬운 라이브러리입니다.
- 허깅페이스에서 제공되는 모델을 지원합니다.
- 분산처리, 병렬처리, 스트리밍 출력, OpenAI 호환 API 제공합니다.
- Nvidia, AMD GPU 지원합니다.
KServe (Apache-2.0)
https://github.com/kserve/kserve
https://github.com/kserve/kserve
- Kubernetes 환경에서 구축가능한 ML 모델 추론을 위한 플랫폼입니다.
- 스케일링, 네트워킹, 모니터링 등을 위한 추상화 인터페이스를 제공합니다.
LLM 프록싱
LiteLLM (MIT)
https://github.com/BerriAI/litellm
https://github.com/BerriAI/litellm
- 다양한 LLM API 를 통합하고, 프록시를 제공합니다.
- OpenAI 의 API 형식을 따릅니다.
- 사용자별 API 인증 관리를 제공합니다.
One API (MIT)
https://github.com/songquanpeng/one-api
https://github.com/songquanpeng/one-api
- 표준 OpenAI API 형식을 통해 모든 대형 모델에 즉시 액세스할 수 있도록 합니다.
- 다양한 LLM 을 지원하며, 프록시 서비스도 제공합니다.
- 로드 밸런싱과 다중 배포가 가능하며, 사용자 관리 및 그룹 기능을 제공합니다.
AI Gateway (MIT)
https://github.com/Portkey-AI/gateway
https://github.com/Portkey-AI/gateway
- 하나의 빠르고 친숙한 API로 100개 이상의 LLM에 연결을 제공합니다.
- 작은 사이즈의 설치만으로 빠른 엑세스를 보장합니다.
LLM Monitoring
Great Expectations (Apache-2.0)
https://github.com/great-expectations/great_expectations
- 데이터 팀이 품질 테스트, 문서화 및 프로파일링을 통해 데이터에 대한 공유된 이해를 구축하도록 돕습니다.
- CI/CD 파이프라인과 통합하여 필요한 곳에 정확하게 데이터 품질을 추가할 수 있습니다.
LangFuse (MIT)
https://github.com/langfuse/langfuse
https://github.com/langfuse/langfuse
- 오픈 소스 LLM 가시성, 분석, 신속한 관리, 평가, 테스트, 모니터링, 로깅, 추적을 제공합니다.
- 시각적 UI에서 복잡한 로그 및 추적을 탐색하고 디버깅할 수 있습니다.
- 향후 엔터프라이즈 기능이 추가 예정입니다.
Giskard (Apache-2.0, Dual License)
https://github.com/Giskard-AI/giskard
https://github.com/Giskard-AI/giskard
- 편향, 데이터 유출, 허위 상관관계, 환각, 독성, 보안 문제 등 표 형식 모델에서 LLM에 이르기까지 AI 모델의 취약점을 자동으로 탐지할 수 있습니다.
관련자료
댓글 0개
등록된 댓글이 없습니다.