Anzeige

Media-Produktion fürs Metaverse

Alibaba und NVidia revolutionieren 3D

Alibaba Singles Day Nerf

Die 3D-Mall von Alibaba verändert ihr dreidimensionales Aussehen in Echtzeit, dank der technischen Infrastruktur von NVidia im Hintergrund - Foto: Alibaba / Screenshot

Das Umwandeln von 2D-Bildern in 3D-Modelle ist eine der großen Herausforderungen für Marken auf dem Weg ins Metaverse. Vor einem halben Jahr hat der Grafikspezialist NVidia eine neue Technologie namens Instant NeRF vorgestellt, mit der sich der Prozess drastisch beschleunigen lässt. E-Commerce-Gigant Alibaba nutzte den Ansatz bereits erfolgreich.

Anzeige

Seit zehn Jahren bereitet 3D den Konsumgütermarken Kopfschmerzen. E-Commerce-Berater landauf und landab empfehlen, man möge Produkte im eigenen Onlineshop nicht mehr mit Standbildern inszenieren, sondern mindestens mit Videos, besser aber noch in Form interaktiver 3D-Visualisierungen, die der Nutzer so drehen und wenden kann, wie er möchte. Das sorgt für mehr Engagement mit dem Produkt und folglich zu höheren Kaufquoten, so die E-Commerce-Experten.

Alibaba Singles Day Simulation
3D-Visualisierungen erlauben, dass der Kunde virtuell simulieren kann, wie ein Produkt in der echten Welt aussehen könnte – Foto: Alibaba / Screenshot

Leichter gesagt als getan. Schon beim Thema Produktbilder gab es intensive Diskussionen zwischen Herstellern und ihren Händlern. Die Qualität der Fotografie sei zu schlecht, die ausgewählte Szenerie zu belanglos und statisch und Google mag es nicht, wenn viele Websites die gleichen Contents anzeigen. Das gilt vor allem für Texte, aber auch für Bilder. Also bauten sich große Händler eigene Studios und fotografierten Produkte selbst. So wie es zum jeweiligen Shop passt.  

Und seitdem hat die Szene auch ein Augenmerk auf die Übersetzung solcher Fotos in 3D-Objekte. Da 3D-Renderings heute problemlos fotorealistische Qualität erreichen, könnte man mit einem 3D-Modell ja alles machen: ein Standbild in eine Szene montieren, ein Video vom Produkt vor animiertem Hintergrund erzeugen und das 3D-Modell zum Selbstdrehen online stellen. Und man kann noch mehr, nämlich die 3D-Objekte in Augmented Reality integrieren, damit der Nutzer mit Hilfe seiner Smartphone-Kamera das virtuelle Sofa im eigenen Wohnzimmer testweise stellt. Außerdem braucht man die 3D-Objekte, um sie in virtuellen Welten zu platzieren … im Metaverse.

NVidia NeRF: Tausendmal schneller

Angesichts dieser Vielzahl an sinnvoll erscheinenden Einsatzbereichen, ist es nur logisch, dass sich Entwickler rund um den Globus mit diesem Thema beschäftigen. Hunderte von Apps geben vor, aus wenigen 2D-Bildern 3D-Objekte zu generieren. Zuletzt sorgte Apple mit der Einführung des Lidar-Scanners für einen Qualitätssprung in der technologischen Entwicklung. Der Scanner kann dank zusätzlicher Kamera auch die Tiefe im Bild vermessen und Objekte nicht nur realistischer beleuchten, sondern sie auch in den Größenproportionen besser an die realen Gegebenheiten im Kamerabild (Raumhöhe!) anpassen.

Alibaba Singles Day Mall
Auch große Marken wie Balmain oder Nintendo nahmen an der großen 3D-Shopping-Sause von Alibaba teil – Foto: Alibaba / Screenshot

Aber so richtig kamen die Systeme nicht zum Fliegen. Es mangelte immer noch an Rendering-Qualität, um daraus einen Produktionsprozess zu generieren, der skaliert. Zu viel Handarbeit war nötig, um die automatisch erstellten Modelle zu „polieren“.

Bis jetzt. Die Tech-Welt überschlägt sich gerade förmlich angesichts einer Neuentwicklung von NVidia. Instant NeRF heißt das System. NeRF steht für Neural Radiance Field. Die Umrechnung einer Serie von Standbildern erfolgt durch ein neuronales Netz an Rechnern, die eine enorme Leistungsfähigkeit ins Abarbeiten der Algorithmen bringen. Das neue System gibt dem Fotografen vor, welche 2D-Bilder aus welchem Blickwinkel das System benötigt, um die Lücken dazwischen schließen und das Changieren von Licht und Schatten auf dem Objekt optimal abbilden zu können. Die Informationen über die Strukturierung der Bilderserien werden dem System mitgegeben und erleichtern dessen Rechenaufgabe.

Bis hierher geht es nur um NeRF. Erste Ansätze zu diesem „volumenbasierten“ Ansatz der Bildsynthese wurden bereits 2018 veröffentlicht. Die Idee hat viel Potential, brauchte aber auch enorm viel Rechenleistung. Und genau hier setzt Instant NeRF an. Man habe herausgefunden, so NVidia in einem Promotion-Video, dass, wenn man dem System noch mehr Strukturdaten zur Herkunft und zum Inhalt der Bilder mitgibt, man mit einem wesentlich kleineren, neuronalen Netz die Rechenarbeit leisten kann. Moderne NVidia Grafikprozessoren können das ganz alleine. Der Zeitgewinn: 1.000:1.

Das bedeutet, dass 3D-Rendering fast in Echtzeit funktioniert. Das ist ein technologischer Quantensprung, der völlig neue Einsatzformen ermöglicht. Zum Beispiel entsteht eine virtuelle 3D-Welt in dem Moment, in dem der Avatar eines Nutzers hindurch schlendert. Da der Nutzer seinen Avatar so bewegen kann, wie er möchte, muss die 3D-Szene das in Sachen Beleuchtung und Perspektive live mitberechnen.

Meta wirbt fürs Metaverse, Alibaba hat eins

Das klingt nach Metaverse. Und genau da hatte NVidia vor zehn Tagen seinen großen Aufschlag mit der neuen Technologie. Zwar hatte das Branchen-Fachpublikum schon auf der Animationsmesse Siggraph im August die Möglichkeit, die Technik zu bestaunen, aber bei Alibaba ging es eben nicht ums Showcasing sondern um harte Dollar bzw. Yuan. NeRF war einer der wichtigen Grundpfeiler für die virtuelle Shopping-Welt, die Alibaba am 11. November ins Rennen schickte. Der 11. November hieß früher Singles Day, heute heißt er Global Shopping Festival und bescherte dem Handelsriesen aus China eigenen Angaben zufolge 73 Mrd. Euro an nur einem Tag.

Beim Virtual TryOn können die Kundinnen Produkte mit Augmented Reality an sich ausprobieren – Foto: Alibaba / Screenshot

Und fast ohne, dass die Fachwelt es bemerkte, war im Alibaba-Universum ein erster, ernstzunehmender Vorstoß in Sachen Metaverse zu erkennen. Alibaba bestimmt die Hausregeln auf T-Mall, der Handelsplattform und Taobao, dem früheren Ebay-Clone. Und somit fiel es den Chinesen leicht, ihren Partnern ein spannendes Angebot zu machen: Wenn man an den unterschiedlichen 3D-Vorstößen teilnimmt, winkt am Singles Day eine noch prominentere Position im Kaufrausch.

Und sie machten mit. Allein in der virtuellen ShoppingMall bauten 70 Händler und Marken 3D-Shops auf, in denen Nutzer mit Hilfe eines Avatars auf Shopping Tour gehen konnten. Luxusmarken wie Balmain oder Zegna boten ihre Produkte feil. Aber auch Entertainment-Marken wie Bandai Namco, Nintendo oder Illumination Entertainment offerierten Merchandise und digitale Produkte.

Zum Einsatz kamen alle Techniken, die man heute mit dem Metaverse-Gedanken verbindet, mit Ausnahme von Virtual Reality. Die Navigation durch die Einkaufsstraßen, Malls und Läden erfolgte in 3D mit Avatar. Damit den Usern der Ansatz nicht langweilig wurde, integrierte man Schatzsuchen und Jump-and-Run-Elemente. Spielerisches Einkaufen.

Im Laden gab es wahlweise realitätsnahe 3D-Visualisierungen zu sehen, aber auch ausgeflippte, im Weltraum schwebende Shops aus bunten Klötzchen. Das Metaverse hebt die Grenzen des Machbaren auf.

Die Produkte konnte man entweder in 3D betrachten oder sie mit Augmented Reality ausprobieren. Dabei hatte der User die Wahl, ob er seine neuen Turnschuhe seinem Avatar anzieht, ob er seine Füße mit der Kamera aufnimmt und die Schuhe dort betrachtet (virtual TryOn) oder ob er ein zu erwerbendes Camping-Zelt einfach mal an einem virtuellen Strand im Sonnenuntergang aufstellt. Meeresrauschen und Vogelgezwitscher inklusive.

Alibaba Singles Day Image
Die Fotosuche macht es Kundinnen wesentlich einfacher, zum gewünschten Produkt zu gelangen – Foto: Alibaba / Screenshot

Findet der Nutzer ein Produkt nicht, das er dringend sucht, dann hilft ihm die Foto-Suche. Er macht ein Bild vom leeren Fläschchen und wird direkt zur passenden Produktseite für Nachschub in T-Mall navigiert. Keine lästigen Texte in die Suchmaske tippen, einfach nur abfotografieren, so lautet der chinesische Seitenhieb in Richtung Seattle (Amazon). Übrigens sei das Feature auch wunderbar geeignet, um den Zugang zu E-Commerce inklusiver zu machen für Senioren.

Alibaba Singles Day Avatar
Virtuelle Models und Popstars gehören in Asien längst zum Alltag der Jugendlichen und befinden sich auch in Europa allmählich auf dem Vormarsch – Foto: Alibaba / Screenshot

Und um die wunderbare, bunte 3D-Welt komplett zu machen, operierten einige Marken mit virtuellen Influencern, die auf virtuellen Bühnen ganz reale Pixel-Konzerte gaben.

Fazit

Man kann den Ansatz von Alibaba spielerisch und übertrieben finden, und man kann die Kaufgewohnheiten chinesischer Konsumenten nicht auf Europa übertragen, aber das Beispiel von Alibaba kann erstmals zeigen, wie die unterschiedlichen Technologie-Bausteine zusammenkommen. Es ist auch problemlos vorstellbar, dass die großen Stakeholder der 3D-Spiele, die es heute schon gibt („Fortnite“, „Minecraft“), in solchen Plattformen einen Teil ihrer Technologie demonstrieren und neue Spiele oder Spielelevels in solche Welten integrieren.

Das wäre in den Augen jugendlicher Audiences auf jeden Fall eine Attraktion, die es sich anzuschauen lohnt. Und für das Gesamtsystem Metaverse ein großer Schritt in Richtung Interoperabilität, also der technologischen Zusammenarbeit innerhalb des Metaverse.

Auf jeden Fall ist es ein weiterer Pitch in Richtung Marken, sich intensiv mit dem Thema 3D auseinanderzusetzen. 3D-Objekte, CGI-Landschaften (Computer Generated Images) und virtuelle Models bestimmen das Produktionsset der Zukunft. Sie sind nicht nur universell einsetzbar und sparen der Marke langfristig Ressourcen, sie sind – wenn sie mit fortschrittlicher 3D-Technik ausgerechnet werden – sogar ökologisch sinnvoll. Alibaba hat berechnet, dass man trotz identischen Umsatzes im Vergleich zu 2021 fast zehn Prozent weniger Energie verbraucht hat. Über alle Datencenter gerechnet – so gibt Alibaba an – habe man den Anteil an erneuerbaren Energien im Vergleich zu 2021 verdoppeln können.

Anzeige