애플도 오픈 소스 'OpenELM' 공개

메타의 라마3, MS의 Phi-3 그리고 애플의 OpenELM까지 오픈소스들이 계속해서 공개되고 있네요

OpenELM 간단히 알아보기
- SLM이며 인터넷 연결 없이도 실행되는 '온디바이스 AI'에 최적화됨
- 공개된 SLM중 가장 작은 규모인데, Parameter는 각각 0.27B, 0.45B, 1.1B, 3B
- 이 중 0.45B 모델의 성능이 우수하다

- 오픈 소스 교육 및 추론 프레임워크를 갖춘 효율적인 LM 제품군

- 사전 훈련 토큰이 2배 더 적게 필요하면서 OLMo와 동등한 성능을 발휘합니다.

저장소: https://github.com/apple/corenet

HF: https://huggingface.co/apple/OpenELM

ABS: https://arxiv.org/abs/2404.14619