Wichtige Informationen
CRI Middleware gab am 26. Oktober 2026 bekannt, dass seine Audioanalyse-Software für Lippensynchronisation, CRI LipSync Alive, im Mobile-Game Project Sekai Colorful Stage! feat.
Hatsune Miku implementiert wurde. Die Technologie kam erstmals während des Events „Connect Live GO Hoppin' Parade“ am 24. und 25. Oktober 2026 zum Einsatz. Die Software generiert Animationskurven für die Mundbewegungen von Charakteren während des Gesangs.
Sie nutzt ein auf Transformern basierendes maschinelles Lernmodell zur Audioanalyse und gibt bis zu 14 Arten von Animationskurven aus. Das System unterstützt verschiedene Sprachen und kann sowohl auf realistische 3D- als auch auf stilisierte 2D-Charaktermodelle angewendet werden. Colorful Palette ENCORE, verantwortlich für Produktion und Regie, berichtete, dass das Tool die Zeit für die Erstellung grundlegender Mundbewegungen um etwa die Hälfte reduzierte. Dieser Effizienzgewinn ermöglichte es dem Team, mehr Zeit in die Feinabstimmung der Gesichtsausdrücke zu investieren und so die Gesamtqualität zu verbessern.
Die Software soll auch bei zukünftigen Connect Live-Events weiter verwendet werden. Das Connect Live-Format wurde von Echtzeit auf eine vorab aufgezeichnete Struktur umgestellt, um das Spielerlebnis zu verbessern. Während die Software derzeit auf Vorab-Analysen spezialisiert ist, plant CRI Middleware, in Zukunft auch Echtzeit-Audioanalysen zu unterstützen. Das Unternehmen strebt an, bis Ende 2028 weltweit 300 Lizenzen auf dem Spielemarkt bereitzustellen.
