translation imagelogo

ACE-Step

음악 AI를 위한 혁신적인 기초 모델

ACE-Step 음악AI 음악 생성의 미래

ACE-Step 음악의 세계에 오신 것을 환영합니다! ACE-Step은 음악 생성에 특별히 설계된 혁신적인 오픈 소스 기반 모델입니다.

우리의 비전은 음악 AI의 핵심 인프라, 즉 기초 모델을 만드는 것입니다. 이것을 음악을 위한 '안정적인 확산 순간'으로 생각하여 다양한 음악 창작 도구를 구축할 수 있는 빠르고 유연한 아키텍처를 제공하는 것을 목표로 합니다.

도전 과제

오늘날 AI 음악의 문제점

AI로 음악을 생성하는 현재의 방법은 어려운妥 협상을 직면하고 있습니다. LLM 기반 모델은 느리고 구조가 부족하며, 확산 모델은 일관성에 어려움을 겪고 있습니다. 많은 모델은 길이에 대한 제한된 제어를 제공합니다.

실망스러운妥協

  • 대형 언어 모델(LLM)을 기반으로 한 모델은 가사를 잘 정렬할 수 있지만 음악 생성 속도가 느리고 긴 곡에서는 구조적 흐름이 부족합니다.
  • 확산 모델은 더 빠르지만, 긴 시간 동안 음악의 일관성과 구조를 유지하는 데 어려움을 겪습니다.
  • 많은 기존 모델들은 음악의 길이를 조절할 수 없거나 고정된 길이만 생성할 수 있어서 실제 음악 제작에는 적합하지 않습니다.

기존 기술은 종종 제작자가 속도, 음악 품질 또는 제어 중 하나를 선택하도록 강요합니다.

ACE-Step 음악이 이러한 문제를 해결하는 방법

ACE-Step 음악은 다르게 구축되었습니다. 여러 강력한 기술을 지능적으로 결합합니다:

  • 확산 기반 생성: 효율적인 합성을 위해.
  • 사나의 딥 압축 오토인코더(DCAE): 오디오를 효과적으로 처리하기 위한 기술.
  • 가벼운 선형 변환기: 구조적 이해를 위한.

ACE-Step 음악은 훈련 중 MERT 및 m-hubert와 같은 고급 기술을 사용하여 의미적 정렬(REPA)을 수행하여 더 빠르게 학습하고 개선할 수 있습니다.

장점

ACE-Step 음악의 주요 이점

ACE-Step 음악은 독특한 디자인을 통해 최첨단 성능을 제공하며 속도, 품질 및 유연성을 제공합니다.

매우 빠른 생성

A100 GPU에서 단 20초 만에 최대 4분 분량의 음악을 생성하십시오. 이는 이전의 LLM 기반 모델보다 15배 빠릅니다! 더 빠른 ACE-Step 음악을 받아보세요.

우수한 음악 품질

ACE-Step 음악은 더 나은 음악적 일관성을 달성하며 가사가 멜로디, 하모니 및 리듬과 정확하게 일치하도록 합니다.

유연한 제어

고정된 출력 길이를 가진 모델과는 다르게, ACE-Step 음악은 유연한 길이 생성을 지원하여 실용적인 작곡에 적합합니다. 섬세한 음향 세부 사항을 유지하여 고급 제어가 가능합니다.

고급 기능

추가 교육 없이도 변형 생성(재촬영), 특정 부분 재생성(재작업), 가사 수정(편집)과 같은 많은 고급 기능 지원.

혁신의 기초

디자인이 특화된 하위 작업을 쉽게 교육할 수 있도록 하여 창의적 워크플로에 통합된 새로운 도구로 나아가는 길을 열어줍니다. 핵심 ACE 단계 음악 아키텍처는 높은 다목적성을 지니고 있습니다.

생태계

기초 구축

ACE-Step 음악의 목표는 전체 음악 AI 생태계를 위한 강력하고 다용도 기반을 제공하는 것입니다. 이 아키텍처는 애플리케이션의 원활한 개발을 가능하게 합니다.

교육 필요 없는 애플리케이션

  • 재촬영: 노래 변형 생성.
  • 재도색: 노래의 섹션을 다시 생성합니다.
  • 편집: 생성된 작품 내에서 가사를 수정하세요.

세밀하게 조정됨 (LoRA 사용)

  • Lyric2Vocal: 가사로부터 보컬 생성.
  • Text2Sample: 텍스트로부터 음악 샘플과 루프 생성.

곧 출시될 애플리케이션

랩머신, 스템젠, 반주에 맞춰 노래 부르기.

플레이그라운드

ACE-Step 라이브 체험하기

ACE-Step의 강력한 음악 생성 기능을 직접 체험해 보세요. (데모 링크 곧 제공!)

인터랙티브 플레이그라운드 곧 출시 예정

사용 방법 (미래)

  • 1. 프롬프트 또는 가사를 입력하세요
  • 2. 원하는 길이와 스타일 선택
  • 3. 생성 클릭하여 음악 만들기
  • 4. 미리보기, 수정 및 다운로드

제공되는 기능 (미래)

  • • 유연한 길이 생성
  • • 다양한 장르/스타일 지원(예정)
  • • 실시간 미리보기 및 편집
  • • 고품질 내보내기 옵션
데모 쇼케이스

ACE-Step 음악을 실제로 들어보세요

ACE-Step에서 생성된 음악 샘플을 들어보세요. (데모는 사용 가능해지는 대로 추가될 것입니다.)

ACE-Step 음악 데모 곧 공개!

우리는 ACE-Step의 기능을 보여주는 예제를 준비하기 위해 열심히 일하고 있습니다. 나중에 다시 확인해 주시기 바랍니다.

진행 중

제한 사항 인정

최첨단 기술인 ACE-Step 음악은 여전히 진화하고 있습니다. 우리는 투명성과 지속적인 개선에 헌신하고 있습니다.

  • 출력은 설정에 따라 일관성이 없을 수 있습니다(예: '가챠 스타일' 결과).
  • 특정 스타일(예: 중국 랩)에 대한 성능 개선이 필요하며, 전체 스타일 준수에는 한계가 있습니다.
  • 가끔 재페인팅 또는 음악 확장 중 전환이 부자연스럽게 들릴 수 있습니다.
  • 음성 합성의 품질이 거칠고 미세한 뉘앙스가 부족할 수 있습니다.
  • 우리는 음악 매개변수에 대한 보다 세밀한 제어를 위해 노력하고 있습니다.
  • 다양한 언어의 가사에 대한 지원 및 정확도 개선.
우리 팀

ACE-Step Music의 팀

ACE-Step 음악 기초 모델을 주도하는 핵심 개발자 및 기여자들과 만납니다.

핵심 개발자

전민 공, 션 자오, 센 왕, 생위안 쉬, 조 궈

주요 기여

사나의 딥 압축 오토인코더 기술. 웹페이지 느낌은 Roocode에 의해 코딩됨.

도구 및 자료

AI 음악 커뮤니티/인터넷의 가사. 훈련용 MERT와 m-hubert.

음악 창작의 다음 단계 체험하기

ACE-Step 음악과 함께 혁신에 동참하세요. AI 음악의 미래를 위한 오픈 소스 기초 구축에 참여하십시오.

오픈 소스 및 커뮤니티 주도입니다.

커뮤니티 및 업데이트

뉴스 및 협업

ACE-Step Music의 진행 상황 및 협력에 대한 최신 정보를 받아보세요. (링크 및 파트너는 업데이트 예정)

프로젝트 블로그 (곧 출시)

우리의 개발 여정과 최신 발표를 따라가세요.

자세히 보기 (비활성 링크)

연구 논문 (계획됨)

ACE-Step의 기술적인 세부사항을 깊이 탐구하십시오.

자세히 보기 (비활성 링크)

커뮤니티 포럼(계획 중)

토론에 참여하고, 피드백을 공유하며, 협력하세요.

참여하기 (링크 비활성화)