Sora 공개된 내용

- 최대 1분 길이의 영상 제작 (기존 경쟁자였던 Pika나 Gen2는 4초 영상을 만들어줌)

- Sora페이지에서 약 50개 영상 확인가능

- 전부 편집 없이 Sora로 제작된 영상

- 현재 OpenAI 내부 테스트 중으로 일반 유저에게는 아직 배포되지 않음

꼭 아래 Sora 페이지에 가서 영상 퀄리티 확인해보세요

https://openai.com/sora 

SORA는 텍스트 지시를 통해 사실적이고 상상력이 풍부한 장면을 만들 수 있는 AI 모델입니다.

[성능] 

우리는 사람들이 실제 상호작용이 필요한 문제를 해결하는 데 도움이 되는 모델을 학습시키는 것을 목표로, 움직이는 물리적 세계를 이해하고 시뮬레이션하는 방법을 AI에 가르치고 있습니다.

텍스트 비디오 모델인 Sora를 소개합니다. Sora는 시각적 품질과 사용자의 지시에 따라 최대 1분 길이의 동영상을 생성할 수 있습니다.

현재 소라는 레드팀원들이 중요한 영역의 피해나 위험을 평가하는 데 사용할 수 있도록 제공되고 있습니다. 또한 크리에이티브 전문가에게 가장 도움이 되도록 모델을 발전시키는 방법에 대한 피드백을 얻기 위해 여러 시각 예술가, 디자이너, 영화 제작자에게 액세스 권한을 부여하고 있습니다.

연구 진행 상황을 조기에 공유하여 OpenAI 외부의 사람들과 함께 작업하고 피드백을 받고 있으며, 대중에게 어떤 AI 기능이 곧 출시될지 알려드리기 위해 노력하고 있습니다.

Sora는 여러 캐릭터, 특정 유형의 동작, 피사체와 배경의 정확한 디테일이 포함된 복잡한 장면을 생성할 수 있습니다. 이 모델은 사용자가 프롬프트에서 요청한 내용뿐만 아니라 실제 세계에 이러한 사물이 어떻게 존재하는지도 이해합니다.

이 모델은 언어에 대한 깊은 이해를 바탕으로 프롬프트를 정확하게 해석하고 생동감 넘치는 감정을 표현하는 매력적인 캐릭터를 생성할 수 있습니다. 또한 Sora는 하나의 동영상 내에서 캐릭터와 시각적 스타일을 정확하게 유지하는 여러 장면을 생성할 수 있습니다.

현재 모델에는 약점이 있습니다. 복잡한 장면의 물리학을 정확하게 시뮬레이션하는 데 어려움을 겪을 수 있으며, 원인과 결과의 특정 사례를 이해하지 못할 수도 있습니다. 예를 들어, 사람이 쿠키를 한 입 베어 물었지만 나중에 쿠키에 물린 자국이 없을 수 있습니다.

또한 모델은 왼쪽과 오른쪽을 혼동하는 등 프롬프트의 공간적 세부 사항을 혼동할 수 있으며 특정 카메라 궤적을 따라가는 것과 같이 시간에 따라 발생하는 이벤트를 정확하게 설명하는 데 어려움을 겪을 수 있습니다.

[안전]

소라를 OpenAI 제품에서 사용하기에 앞서 몇 가지 중요한 안전 조치를 취할 예정입니다. 잘못된 정보, 혐오 콘텐츠, 편견과 같은 분야의 도메인 전문가인 레드 팀원들과 협력하여 모델을 적대적으로 테스트할 것입니다.

또한, 소라가 생성한 동영상이 언제 생성되었는지 알 수 있는 탐지 분류기와 같이 오해의 소지가 있는 콘텐츠를 탐지하는 데 도움이 되는 도구를 구축하고 있습니다. 향후 이 모델을 OpenAI 제품에 배포할 경우 C2PA 메타데이터를 포함할 계획입니다.

배포를 준비하기 위해 새로운 기술을 개발하는 것 외에도, DALL-E 3을 사용하는 제품을 위해 구축한 기존의 안전 방법을 활용하고 있으며, 이는 Sora에도 적용할 수 있습니다.

예를 들어, OpenAI 제품에서 텍스트 분류기는 극단적인 폭력, 성적인 콘텐츠, 혐오 이미지, 유명인 초상화, 타인의 IP를 요청하는 등 사용 정책을 위반하는 텍스트 입력 프롬프트를 확인하고 거부합니다. 또한 강력한 이미지 분류기를 개발하여 생성된 모든 동영상의 프레임을 검토하여 사용자에게 표시되기 전에 사용 정책을 준수하는지 확인하는 데 사용합니다.

전 세계 정책 입안자, 교육자, 아티스트의 우려 사항을 파악하고 이 새로운 기술의 긍정적인 사용 사례를 파악하기 위해 전 세계 정책 입안자, 교육자, 아티스트의 참여를 유도할 예정입니다. 광범위한 연구와 테스트에도 불구하고 사람들이 기술을 사용하는 유익한 방법이나 악용할 수 있는 모든 방법을 예측할 수는 없습니다. 그렇기 때문에 실제 사용 사례를 통한 학습은 시간이 지남에 따라 더욱 안전한 AI 시스템을 만들고 출시하는 데 있어 매우 중요한 요소라고 생각합니다.

[연구 기법]

소라는 정적 노이즈처럼 보이는 동영상으로 시작하여 여러 단계에 걸쳐 노이즈를 제거하여 점차적으로 변환하는 확산 모델로, 동영상을 생성합니다.

Sora는 전체 동영상을 한 번에 생성하거나 생성된 동영상을 확장하여 더 길게 만들 수 있습니다. 모델에 한 번에 여러 프레임을 예측할 수 있는 기능을 제공함으로써 피사체가 일시적으로 시야에서 사라져도 동일하게 유지되도록 하는 까다로운 문제를 해결했습니다.

GPT 모델과 마찬가지로 Sora는 트랜스포머 아키텍처를 사용하여 뛰어난 확장 성능을 구현합니다.

동영상과 이미지를 패치라고 하는 작은 데이터 단위의 모음으로 표현하며, 각 패치는 GPT의 토큰과 유사합니다. 데이터를 표현하는 방식을 통합함으로써 다양한 길이, 해상도, 종횡비를 아우르는 이전보다 더 광범위한 시각 데이터에 대해 확산 트랜스포머를 훈련할 수 있습니다.

Sora는 DALL-E와 GPT 모델에 대한 과거 연구를 기반으로 합니다. 이 모델은 시각적 학습 데이터에 대해 설명력이 높은 캡션을 생성하는 DALL-E 3의 리캡션 기술을 사용합니다. 그 결과 모델은 생성된 비디오에서 사용자의 텍스트 지시를 더 충실히 따를 수 있습니다.

이 모델은 텍스트 지침만으로 동영상을 생성할 수 있을 뿐만 아니라 기존 정지 이미지를 가져와서 동영상을 생성할 수 있으며, 이미지의 내용을 정확하고 세밀하게 애니메이션화할 수 있습니다. 또한 모델은 기존 동영상을 가져와서 확장하거나 누락된 프레임을 채울 수도 있습니다. 자세한 내용은 기술 백서(추후 제공 예정)에서 확인하세요.

소라는 실제 세계를 이해하고 시뮬레이션할 수 있는 모델의 기반이 되며, 이는 AGI를 실현하는 데 중요한 이정표가 될 것으로 믿습니다.