In Marvel’s Spider-Man 2 Das Technik-Interview von Digital Foundry

In Marvel's Spider-Man 2 Das Technik-Interview mit Digital Foundry - Eine beeindruckende Spinspinne in Aktion

Marvel’s Spider-Man für die PlayStation 5 landet ziemlich genau dort, wo wir es uns erhofft haben. Insomniac Games hat ein weiteres neues Spiel für die Konsole entwickelt, das technologische Grenzen verschiebt. Die Darstellung von New York City ist dichter und reicher und umfasst nun auch Brooklyn und Queens. Gleichzeitig gibt es dramatische Verbesserungen bei den raytraced-Reflexionen, sowie die Einführung von RT-Reflexionen auf Wasserflächen. Gleichzeitig nutzt das Studio das volle Potential der SSD des Spiels mit Streaming, das ein schnelleres und dramatischeres Durchqueren der Stadt ermöglicht, sowie spektakuläre Set-Pieces, die auf dem Streaming basieren.

In unserem technischen Review des Spiels hatten wir viele Theorien darüber, wie einige der Technologien von Insomniac im Vergleich zu Marvel’s Spider-Man Remastered und Miles Morales verbessert worden sind, aber wir waren hungrig nach noch mehr Informationen. Sony und Insomniac stimmten einer ausführlichen Interview mit dem Director of Core Technology, Mike Fitzgerald, zu und wir bekamen alles, was wir wollten – und noch viel mehr.

In diesem Interview spricht John Linneman ausführlich mit Mike über ihr Engagement für Raytracing, wie sie raster-only-Modi aus dem Spiel entfernt haben und wie das Studio einige ihrer showpiece achievements erreicht hat. Wir sprechen auch über Streaming, Kompression und andere weniger offensichtliche, aber dennoch wichtige technologische Komponenten des Spiels.

Digital Foundry: Ich möchte gerne deine ersten Eindrücke und Gedanken zu dem Ansatz hören, den ihr bei der Entwicklung dieses neuen Spiels verfolgen wolltet. Wo wolltet ihr die Technologie für diesen nächsten Titel hinbringen?

Mike Fitzgerald: Nun, weißt du, das Lustige ist, ein Foto von New York City zu nehmen und es neben das Spiel zu legen und zu versuchen, die exakte Perspektive zu finden, richtig? Und dann zu sagen, nun, wo stehen wir? Wo bleiben wir hinter diesem Foto zurück? Nun, ‘fotorealistisch’ ist nicht unbedingt das Ziel. Ich denke eher an ‘Marvel-realistisch’ oder ‘spiel-realistisch’ oder so etwas, eine Art etwas übertriebene, dramatische Interpretation. Aber so aus dem Stehgreif haben wir festgestellt, dass unsere Gebäude in der Ferne etwas flach wirkten, das Licht verschwand, es gab nicht viel mikroskopische Abwechslung und Variationen. Das war also etwas, worüber wir uns gefreut haben. Raytraced-Reflexionen in unseren PS5-Launch-Titeln waren großartig, aber es gab immer noch viele Tricks und Künstlichkeiten in den Gebäudeinnenräumen, was ein Bereich war, auf den wir uns gefreut haben.

• Warum die Bagdad-Einstellung von Assassin’s Creed Mirage für ...
• 400 Stunden Arbeit, 100 einzigartige Charaktere und 50 funktioniere...
• Die Metal Gear Solid Master Collection Vol 1 enthält Verweise auf P...

Und sobald wir wussten, dass wir Brooklyn und Queens machen würden, wussten wir, dass wir über den Fluss gehen und eine ganze Reihe einzigartiger Herausforderungen bei der Wasserrendering haben würden. Aber am Ende eines Spiels wird das gesamte Team aufgerufen, weiter zu schauen und darüber nachzudenken, was sie tun und crazy Dinge ausprobieren wollen. Jeder hat sein eigenes kleines Ding. Ratchet and Clank: Rift Apart hat uns viele lustige Ideen gegeben, wie man das Laden und Streaming in Spider-Man 2 anders machen kann.

Digital Foundry: Und das ist etwas, worüber wir sprechen wollen, aber ich möchte tatsächlich mit einer der Dinge beginnen, die mir wirklich ins Auge gefallen sind, als ich das Spiel betrachtet habe, und das sind die Gebäudeinnenräume. Für diejenigen, die unser Video gesehen haben, ist euch vielleicht aufgefallen, dass jedes einzelne Gebäude, jeder dieser Wolkenkratzer, jetzt über ein vollständig modelliertes Interieur verfügt, mit dynamischen Charakteren, die sogar in den Zimmern herumsitzen. Wir hatten unsere Hypothese, aber ich würde es gerne direkt von dir hören. Was habt ihr gemacht, um das zu ermöglichen? Wie habt ihr dieses Problem gelöst?

Mike Fitzgerald: Ja, gute Arbeit [bei dem Video]. Ich denke, dass das Erkennen des Checkerboardings ein guter Anhaltspunkt war. Diese Gebäudeinnenräume sind raytraced, wir verwenden eine Art Pfadverfolgung im Raum mit vereinfachter Geometrie und Beleuchtung. Aber im Großen und Ganzen hatten wir in den vorherigen Spielen die Kubusmap-Technik, die clever und lustig war. Es war lustig, um Ecken zu kriechen und alle “Seltsamkeiten” zu bemerken. Und wir hatten tatsächlich eine weitere Technik, die wir zusätzlich ausprobieren wollten, nämlich das Hinzufügen einer Art Parallaxen-Tiefe zum Inneren. Und du konntest diese 3D-Formen bekommen, vor allem entlang der Rückwand. Wenn du zum Beispiel einen Schreibtisch hinten platzieren oder Bücherregale an den Seiten aufstellen wolltest, sah diese Art konkave Geometrie an den Wänden ziemlich gut aus. Aber ein paar wirklich talentierte Leute in unserem Render-Team haben diese Idee vorgeschlagen: Hey, jedes Fenster, auf das wir treffen, schicken wir Strahlen in die Welt hinaus. Warum also nicht ein Interieur rendern, indem wir dieses System verwenden und die Strahlen anderswohin schicken?

Also, wir haben, denke ich, 32 Fake-Räume tief unter der Stadt, irgendwo unterhalb der Bodenebene vergraben. Und sie alle haben sozusagen ein grundlegendes Layout und dann verschiedene Variationen von Möbeln und Charakteren, die darin sein könnten. Und dann verwenden wir beim Betreten eines Raums eine ID für dieses Fenster. Okay, also Etage fünf, Fenster drei des Gebäudes an dieser Ecke verwendet diesen Raum und diese Art zufälliger Innenausstattung für diesen Raum. Und dann können wir den BVH auf diese Filtern, genau auf eine bestimmte Menge von Objekten darin treffen, sogar animierte Objekte wie Deckenventilatoren oder Charaktere, die möglicherweise fernsehen. Wir haben dort eine vorausberechnete Beleuchtung. Und wir können auch Strahlen durch das echte Fenster zurückwirken lassen, um ein Gefühl für das Schlüssellicht zu bekommen, wo die Sonne ist, wo die Schatten in den Raum fallen könnten und so weiter. Und es hat funktioniert [lacht]. Es fügt sich wirklich schön zusammen. Man bekommt dieses Gefühl von Bewegung dort hinten, das viel hinzufügt. Und so haben wir die Innenräume für dieses Spiel gemacht.

Digital Foundry: Und es gibt auch perfekte Schatten, natürlich ein Vorteil des Eintauchens in diese Szenen. Ich denke, Schattenkarten wären teuer und würden wahrscheinlich nicht sehr gut aussehen.

Mike Fitzgerald: Ja, nicht für jedes Fenster. Sicherlich nicht.

Digital Foundry: Mir hat auch gefallen, wie man manchmal an den Seiten der Gebäude ins Büro schauen und nachschauen konnte und dort hinten eine Hintertür sein würde, die scheinbar auf die andere Seite des Gebäudes führt. Das ist ein sehr cleverer Trick. Und das ist wirklich ein sehr schwieriges Problem zu lösen. Ich denke, das ist das erste Mal, dass ich ein Spiel sehe, das es auf so elegante Weise angeht, dass man wirklich das Gefühl von Tiefe in allen Gebäuden bekommt. Aber ein weiterer Aspekt dieser Tiefe, der mein Interesse wirklich geweckt hat, ist die Art und Weise, wie Sie sekundäre Reflexionen gehandhabt haben.

Das ist etwas, das ich in meinem Video zu Miles Morales zum Start der PS5 herausgestellt habe, aber wenn Sie zwei nebeneinander liegende Fenster haben, werden sie sich gegenseitig reflektieren. Und die Reflexion innerhalb der Reflexion sollte auch in der Reflexion erscheinen – und das fehlte in diesen ursprünglichen Spielen, aber ich sehe, dass es hier tatsächlich vorhanden ist. Und ich frage mich, woher diese sekundären Reflexionen stammen? Wie haben Sie dieses Problem tatsächlich gelöst?

Mike Fitzgerald: In erster Linie verwenden wir einfach eine einfache Sonde in diesem Bereich. Was die Reflexionen vor den strahlverfolgten Reflexionen waren, können wir jederzeit auf diese Technik zurückgreifen, genauso wie wir es bei sehr rauen Oberflächen in diesem Bereich tun, wo wir eine Art Echtzeit- oder vorausberechnete Berechnung dessen verwenden, was dort ist. Denn man muss nicht wirklich Bewegung sehen, wie man es mit strahlverfolgten Reflexionen tun müsste. Und so ist es ein großartiger Rückgriff für einen sekundären Abprall und eine Reflexion. Es funktioniert für Gebäude, es hilft auch sehr bei Autos, die meiner Meinung nach in Reflexionen vorher etwas flach aussahen und wenn sie eine schöne, klare Beschichtung haben, möchte man ihnen etwas davon geben.

Digital Foundry: Mir ist die schöne klare Beschichtung an diesen Autos aufgefallen.

Mike Fitzgerald: Wir haben da viel Arbeit reingesteckt, das war immer ein Ärgernis.

Digital Foundry: Die Materialien im Allgemeinen fühlen sich definitiv wie ein Schritt nach vorn an, besonders bei den kleineren Objekten. Aber ich möchte jetzt noch nicht vom Raytracing wegkommen, offensichtlich. Denn ein weiteres großes Ding sind natürlich die Wasserreflexionen, die jetzt raytraced sind. Diese Diskussion war interessant, denn ich denke, viele Leute haben, besonders mit der Art, wie Spiele früher funktionierten, vielleicht nicht bedacht, wie rau und wellig Wasser sich tatsächlich verhält, wenn Licht seine Oberfläche bricht und reflektiert. Aber ich bin neugierig zu sehen, wie Sie diese Herausforderung angegangen sind, sowohl in Bezug darauf, wie Sie die bestehenden Raytracing-Funktionen nutzen, als auch darauf, wie Sie mit so einem rauen Wasser umgehen, das offensichtlich keine glatte, glänzende Oberfläche ist und die Reflexion eher diffus ist. Welche zusätzlichen Kosten fallen an? Wie haben Sie das hinbekommen?

Mike Fitzgerald: Es gibt immer einen großen Ausgleich dabei. Ich denke, ziemlich früh, sobald wir Gameplay über dem Wasser hatten, ob es eine Mission war, wie wir in unserer ersten Gameplay-Demo gezeigt haben, oder ein früher Wingsuit (es war damals nicht einmal ein Wingsuit), aber nur der Versuch, dorthin zu kommen, wo Brooklyn und Queens liegen, wo man sehr schnell bemerkt, dass es auseinanderfällt. Und tatsächlich gibt es viele Screenshots vom ersten Spiel auf der PS4, bei denen die Gebäudereflektionen wirklich schlecht sind und man die volle Silhouette des Charakters davor sieht. Und wir wussten einfach, dass wir es besser machen können. Aber wenn man naiv Raytracing auf das Wasser wirft, steigt die Leistung viel zu hoch. Es war wirklich teuer. Wir haben versucht, es zu umgehen. Wir haben versucht, eine Art planare Reflexionstechnik anzuwenden, bei der das Rendern von unten nach oben durch das Wasser in die Szene erfolgt. Aber hey, eine ganze andere Szene zu rendern ist auch sehr teuer. Und dann das in die Rauheit des Wassers umzusetzen, hat nicht wirklich funktioniert. Und so sind wir zu dem Punkt gekommen, dass Raytracing der richtige Weg ist, um dies zu tun. Also wie können wir diese Leistung mindern? Unsere Grafikprogrammierer sind großartig. Und derjenige, der sich auf diese Dinge konzentriert, hat einen tollen Job gemacht, indem er die richtigen Kompromisse gefunden hat, die man nicht bemerkt, wenn man auf Wasser schaut, im Gegensatz zu Fenstern.

Also, wir rendern die Wasserreflexionen tatsächlich mit einer Viertelauflösung horizontal, aber weil sie so gestreckt sind, fällt das überhaupt nicht auf. Es gibt immer diesen lustigen Moment, wenn man sich auf die Optimierung einer Sache konzentriert und dann während des Tages Fortschritts-Updates bekommt. Es heißt dann so etwas wie: “Hey, hier ist ein direkter Vergleich. Diese Version hat wortwörtlich halb so viele Strahlen, die Performancekosten sind halb so hoch und es sieht genau gleich aus, oder?” Und alle so: “Ja, so ziemlich.” Es geht darum, diese kleinen Bereiche zu finden, in denen man Zeit und Mühe sparen kann. Ein großer Faktor, der Wasser so teuer macht, ist die Tatsache, dass es so unruhig ist, dass die Strahlen in alle möglichen Richtungen schießen, was für die Raytracing-Hardware wirklich herausfordernd ist. Also, wie kann man sie gruppieren? Wie kann man sie vielleicht nicht genau in die richtige Richtung schießen, sondern in eine, die nahe genug ist und dennoch zusammenhängender mit dem ist, was in der Nähe passiert, wo man etwas mehr Leistung aus der Hardware herausholen kann. Und letztendlich geht es nur darum, diesen Faden immer wieder zu ziehen, bis man an den Punkt gelangt, an dem wir es auch im Performance-Modus machen konnten – das war echt großartig für die Qualität des Performance-Modus.

Digital Foundry: Das ist interessant. Also, ja, ich habe mich gefragt, ob es möglich ist, mit raytraced Wasser 60fps oder mehr zu erreichen. Erinnerst du dich an den Punkt, an dem du gesagt hast: ‘Wisst ihr was, wir gehen hier einfach voll auf Raytracing und lassen die Backup-Optionen fallen’? Ist das früh in der Entwicklung passiert? War das von Anfang an das Ziel? Oder hattet ihr einfach genug Leistung, um zu sagen: ‘Ja, wir können das wirklich machen?’

Mike Fitzgerald: Es hat mich immer gestört, wenn ich einen Screenshot von den ersten paar Spider-Man-Spielen sehe oder wenn ich Clank ohne Raytracing sehe. Und ich erkenne sofort, wenn ich diesen Screenshot sehe, dass etwas fehlt, und das ärgert mich immer. Also war es für dieses Spiel immer ein Anspruch: Wäre es nicht großartig, wenn wir diesen wirklich großen Kompromiss nicht eingehen müssten und stattdessen eine reine Performance- und Auflösungskompromiss haben könnten. Ich glaube, wir haben uns erst in diesem Jahr dazu entschlossen, aber wir haben gesehen, wie sich die Leistung entwickelt hat und gesagt: ‘Wisst ihr was, es wird viel Arbeit sein, aber lasst uns dafür gehen’. Bei den letzten Spielen hatten wir das Gefühl, dass wir es geschafft haben, aber wir sind immer erst eine Woche nach dem Start dorthin gekommen. Oder genau zum Deadline-Termin und waren nie ganz zuversichtlich. Dieses Mal brauchte es ein wenig Entschlossenheit: ‘Nein, wir werden es schaffen und wir können dorthin kommen, wo es sein muss.’

Digital Foundry: Mir gefällt das Wort ‘trending’, weil ich denke, dass dies bei der Optimierung solcher Spiele wirklich wichtig ist. Man muss sehr weit in die Zukunft denken, oder? Man kann nicht einfach in letzter Minute sagen: ‘Ja, wir machen jetzt einen 60fps-Modus’. Es sollte etwas sein, das frühzeitig gut geplant wird und auf das hingearbeitet wird. Und offensichtlich war das sicherlich eine Menge harte Arbeit, um all dieses Raytracing umzusetzen. Aber eine andere interessante Sache am Raytracing ist, dass es so aussieht, als ob die Partikel – nicht alle, aber viele von ihnen – jetzt in der raygetraceten Reflexion gerendert werden. In den letzten Spielen war das definitiv nicht der Fall, nicht einmal in den früheren Spider-Man 2-Trailern. Was ist da passiert?

Mike Fitzgerald: Trailer sind so witzig, man erstellt sie und ich denke, es gibt diese Wahrnehmung von ‘Nun ja, es ist alles nur Täuschung und das echte Spiel, das veröffentlicht wird, wird nicht einmal so gut aussehen’. Aber als unser Medienteam – das großartig ist – diese Trailer aufgenommen hat, haben wir immer daran gedacht, “Diesen Ausschnitt nehmen wir nicht auf, weil wir wissen, dass wir etwas haben, was es besser aussehen lässt”. Und wenn die Trailer rauskommen, denke ich, unser Kerntechnikteam denkt immer: “Aber jetzt sieht es besser aus”. Warum konnte nicht gezeigt werden, wie es jetzt aussieht? Insbesondere glaube ich, dass es der Story-Trailer war. Man wird von Echse die Seite eines Gebäudes hochgezogen und da hüpft der ganze LKW herum und es gibt Feuer und Rauch – und nichts von diesem Feuer und Rauch wird im Gebäude reflektiert. Ich glaube, am Tag, an dem der Trailer rauskam, lief auch die Funktion und wir haben uns diese Szene im Spiel angesehen und dachten: “Ah, aber es sieht jetzt besser aus”.

Digital Foundry: Ich möchte tatsächlich ein wenig über die Beleuchtung dieses Spiels und die Art und Weise sprechen, wie ihr die globale Beleuchtung in den verschiedenen Beleuchtungsmethoden behandelt habt, und ob es Verbesserungen gibt. Ich denke, es besteht tatsächlich Interesse daran, wie ihr eure vorberechnete Beleuchtung durchführt.

Mike Fitzgerald: Wir haben eine globale Beleuchtungsberechnung in der gesamten Stadt und in allen benutzerdefinierten Innenräumen für Missionen und ähnliches. Die Stadt ist enorm, sie ist in diesem Spiel doppelt so groß, und wir möchten immer die Qualität dieser Berechnung verbessern, sei es durch Auflösung oder durch das Erfassen von Spiegelungen. Alle diese unterschiedlichen Faktoren des Lichts, das wir berechnen und in den Echtzeitteil des Spiels einbinden. Lustig ist, dass es ewig dauert, diese Berechnungen in der ganzen Stadt durchzuführen, und die Stadt ändert sich während der Entwicklung, sodass man das Team nicht einfach fragen kann: ‘Nun gut, wenn ihr an dieser Straßenecke arbeitet, sorgt dafür, dass ihr die Beleuchtung dort erneut berechnet.’ Sie wollen nicht eine Stunde warten, um alles vorzuberechnen, nur weil sie ein paar Dinge verschoben haben. Also haben wir in diesem Spiel tatsächlich viel an dem nicht spektakulären Teil gearbeitet, der im Endprodukt nicht sichtbar ist, was es uns jedoch ermöglicht, leichter und sauberer daran zu arbeiten. Früher hatten wir einen Verbund von Maschinen, die die Stadt innerhalb einer Woche berechnet haben, und jetzt kann eine einzige Maschine die Beleuchtungseinstellung bei Sonnenuntergang in etwa vier Tagen berechnen. Das ist also ein großer iterativer Schritt für uns.

Wenn man sich die Stadt ansieht, habe ich bereits einige grundlegende Unterschiede zwischen ihr und dem echten New York erwähnt. Einer dieser Unterschiede ist, dass unser dynamisches Licht irgendwo in der Ferne stoppen musste. Und jetzt haben wir auch eine Version der Beleuchtungsberechnung für das gesamte Level, die gesamte Welt, die auf einmal geladen werden kann. Eine weitere Sache ist, dass man über den Fluss schaut, von der Seite Manhattans aus nach Brooklyn. Man schaut auf etwas sehr weit Entferntes. Aber auch dazwischen gibt es nichts, nur viele ferne Dinge. Normalerweise gibt es jedoch auch Gebäude in der Nähe. Und das ist das, was man sieht. Aber bei diesem Spiel handelt es sich um etwas, das weit, weit entfernt ist, auf das man sich konzentriert und das man betrachten möchte. Deshalb mussten wir sicherstellen, dass auch die Beleuchtung dort gut ist. Es ist also ein interessanter Vergleich, um zu sehen, wie gut das echte dynamische Licht auf Straßenebene und die tatsächlichen GI-Berechnungen zwischen den Gebäuden in der Ferne funktionieren.

Digital Foundry: Ja, und es gibt eine gute Anzahl von Tageszeiten in diesem Spiel. Jede hat ihre eigene separate Berechnung. So ganz nebenbei gefragt, haben Sie eine Ahnung, wie viel größer die Beleuchtungsdaten im Vergleich zu Spider-Man auf der PS4 sind?

Mike Fitzgerald: Ich erinnere mich nicht genau, wie es auf der PS4 war, aber ich weiß, dass wir so eingeschränkt waren, was die Größe der Daten anging und was das Streamen von der Disk anging, das konnte nicht allzu groß sein. Ich würde sagen, dass die Streaming-Daten für die offene Welt bei diesem Spiel vielleicht ein Drittel der Disk ausmachen, so etwas in der Art, es ist ein ziemlich großer Bestandteil der Daten, ein großer Batzen. Und das Team hat viel Arbeit in die Komprimierung dieser Daten gesteckt, um effiziente Speicherlösungen zu finden, sie in Formate zu bringen, die vom Kraken-Kompressor auf der PS5 gut komprimiert werden können. Es gibt allerlei Tricks, um die Daten auf eine Blu-ray zu packen, was an sich eine Herausforderung ist, und gleichzeitig klein genug zu bleiben, um sie während des Spielens streamen zu können.

Digital Foundry: Wenn ich an die Beleuchtung denke, frage ich mich einfach, ob Sie die Kosten für etwas wie raytraced globale Beleuchtung untersucht oder erforscht haben? Glauben Sie, dass dies auf diesen Plattformen in einem Spiel wie diesem tatsächlich durchführbar ist? Oder ist es immer noch etwas zu viel, insbesondere wenn man den Reflexionsdurchgang berücksichtigt?

Mike Fitzgerald: Jedes Spiel hat seine eigenen Kompromisse in Bezug auf Umgebung und Spielstil. Ich denke, eines der Dinge, die wir betrachtet haben, war… Nun ja, wir sind in New York City, die Spiegelungen sind einfach unglaublich wichtig für den Look dieses Raums. Und wir möchten niemals etwas davon für etwas anderes opfern. Ein weiterer Aspekt ist, dass wir uns so schnell durch diesen Raum bewegen, dass wir nicht viel Zeit für Rendering-Techniken haben, um sich zu entwickeln. Und das betrifft sowohl die Bewegung darin als auch Kameraschnitte und ähnliches. Und eine Kompromisslösung beim Raytracing-GI ist, dass diese Szenen Zeit brauchen, um sich einzupendeln. Das ist eine grobe Verallgemeinerung. Einige Leute machen damit tolle Sachen. Aber für uns war es wichtig, uns auf Spiegelungen zu konzentrieren und sicherzustellen, dass jede schnelle Durchquerung der Stadt stabil und korrekt aussieht, so gut wie möglich, während man sich bewegt. Aber all diese Techniken sind richtig spannend, und man kann großartige Dinge damit machen, also werden wir sie sicherlich nicht außen vor lassen!

Digital Foundry: Da sind wir! Natürlich hast du New York erwähnt, und ein weiterer Teil von New York ist die Dichte der Dinge. Etwas, das mir hier wirklich aufgefallen ist, ist, dass es so viel mehr Verkehr gibt, Fußgänger usw. Außerdem gibt es einfach mehr allgemeine Details aus jeder Perspektive, es fühlt sich so an, als ob es mehr Details näher am Spieler gibt. Könntest du ein wenig über all diese verschiedenen Faktoren sprechen und wie sich das für dieses Spiel verändert hat?

Mike Fitzgerald: Es ist lustig, Leute darüber reden zu hören, weil es diese Vorstellung gibt, dass es LODs gibt und man einfach alles ineinander übergehen sieht. Aber es gibt etwa 10 oder 15 miteinander verknüpfte Systeme, die alle dazu beitragen, wie detailliert etwas aussehen kann. Es gibt Textur-Streaming, das je nach Entfernung zur Kamera ein- und ausgeblendet wird und ineinander übergeht. Es gibt Modelle mit LODs, die man aus verschiedenen Entfernungen sieht, und unser Imposter-System für ferne Gebäude. Wie kann man diese in einer polyarmen Weise darstellen, die man die ganze Zeit im Speicher behalten kann? Immer wenn wir ein Gebäude haben, sieht man die ganze Welt und jetzt auch Brooklyn und Queens, wie stellen wir die effizient dar? Wann wechseln wir zu etwas besser Aussehendem?

Also in diesem Spiel haben wir eine neue hochauflösende Version dieser Imposter hinzugefügt, also gibt es eine neue Version eines Gebäudes für mittlere Entfernungen, die mehr geometrische Details hat, aber noch keine unabhängigen Modelle für verschiedene Teile sind, die wir rendern müssen. Aber du siehst echte reflektierende Fenster darin, also gehört das zu diesem Übergang. Wir haben auch viele Objekte, die in der Ferne existieren müssen, wie große Klimaanlagen oder Antennen auf den Dächern oder Wasserbehälter, die die Silhouette beeinflussen. Diese existieren als unabhängige Modelle, die wir aus verschiedenen Entfernungen weit entfernt und nah zeigen. Die Fenster haben ihre eigenen Techniken, um in verschiedenen Entfernungen zu überblenden, die Materialien haben ihre eigenen Detailebenen, wenn es um Höheneffekte und parallaxe Okklusion geht, wenn man nah und weit entfernt ist. Und das Ziel ist es, alles unsichtbar zu machen. Dein Gehirn füllt die Details für die fernen Dinge aus und lässt dich glauben, dass es genauso wäre, als würdest du daneben stehen.

Digital Foundry: Das ist definitiv etwas, das mir besonders aufgefallen ist, vor allem wenn man auf einigen der Aussichtspunkte sitzt, die allgemeine Vielfalt in der Szene. Im Originalspiel schaust du über die Gebäude und an einem Punkt werden sie einfach zu Blöcken. Das ist innerhalb der Grenzen einer PS4, aber hier fühlt es sich so an, als gäbe es viel mehr Subtilität auf jeder Oberfläche aus der Ferne, was einen großen Unterschied in Bezug auf die Qualität macht.

Mike Fitzgerald: Was den Verschleiß an Gebäuden betrifft, also diese blockhaften flachen Seiten, haben wir etwas eingeführt, das auf die Geometrie der Gebäude schaut und sagt: ‘Nun, wenn es hier seit 50 Jahren geregnet hat, hier ist, wo der Schmutz um die Fenster sein würde, oder das ist ein Abnutzungsmuster an der Seite dieses Gebäudes’. Das kann eine dynamische Eingabe für ein Material und einen Shader sein, wenn man nah dran ist. Aber da wir diese Imposter backen, können wir es direkt in diesen einzigartigen Imposter einbauen. Du kannst also sagen: ‘Ja, das ist ein Backsteingebäude’,aber wir können diesem Backsteinmaterial eine Art Makro-Aufbruch hinzufügen, der sagt: ‘Oh, hier war einmal ein Wandgemälde, das vor 10 Jahren verblasst ist’. Und das hat eine Menge Vielfalt hinzugefügt, wenn man über Manhattan schaut, was es weniger cartoonhaft und realer wirken lässt.

Digital Foundry: Ich habe Traversal erwähnt und bin neugierig, ob du etwas darüber sagen kannst, denn das ist noch etwas Neues, die Geschwindigkeit des Traverse. Wie sah das für dich aus, das zu implementieren, weil die Kamera jetzt einfach über den Bildschirm fliegen kann, es fühlt sich an wie drei oder viermal schneller als was im Originalspiel möglich war.

Mike Fitzgerald: Ja, das war definitiv etwas, das wir beim Spiel mit Miles und Spider-Man Remastered gesehen haben, aber wir wollten nicht, dass diese Spiele sich auf der PS5 anders anfühlen als auf der PS4. Wir hatten das Gameplay ausbalanciert und alle Systeme implementiert und wussten, dass wir es ein Stück weiter bringen wollten, und die Flügel boten sich dafür an. Im Spiel kannst du dich, wenn du dich selbst aufwertest, ungefähr doppelt so schnell bewegen wie in den ersten Spielen. Und dann gibt es die Super-Schleudern auf den Dächern der Gebäude, die dich etwa dreimal so schnell abschießen, es gibt einige filmische Momente, die du in deinem Video erfasst hast, die wirklich Spaß daran haben, die Kamera schnell durch diesen Raum zu bewegen. Es ist lustig, die Hardware in der Konsole ist extrem gut. Du weißt schon, es ist eine sehr schnelle SSD, und darüber haben wir schon eine Million Mal gesprochen. Aber ein Teil dessen, was du dann tun musst, ist daran zu arbeiten, wie schnell deine Engine diese Daten interpretieren kann, während sie geladen werden. Denn das ist jetzt dein begrenzender Faktor für solche Dinge. Und wir machen auch viel ‘wie können wir weniger Daten bekommen’? Wie viel weniger kann man laden? Macht das Sinn? Da steckt viel Kreativität dahinter.

Einer unserer Animationsprogrammierer hat eine Möglichkeit gefunden, Animationen sozusagen zu streamen. Spider-Man ist ein sehr komplexer Charakter. Er hat, wissen Sie, eine Million verschiedene Bewegungen und Übergänge und Zustandsmaschinen und er kann fliegen und schwingen und Leute schlagen, und die Menge an Animationsdaten, die Sie für den Charakter haben, ist enorm. Aber wir spielen sie nicht alle gleichzeitig ab. Sie benötigen also nicht alle Daten zur gleichen Zeit. Aber das Gameplay muss reaktiv sein, möglicherweise benötigen Sie es im nächsten Frame oder in zwei Frames, aber Sie wissen es im Voraus nicht, Sie können sich darauf nicht vorbereiten. Und deshalb hat er ein System entwickelt, bei dem viele Animationen geladen werden und jeder dritte oder vierte Frame kontinuierlich im Speicher bleibt. Und wenn Sie es abspielen möchten, greifen wir auf die SSD zurück und füllen alle zusätzlichen Animationen. Im schlimmsten Fall sehen Sie einen Frame, der nicht perfekt in den nächsten übergeht. Aber wirklich, es ist völlig nahtlos, und Sie reduzieren Ihre Animations-Streaming-Kosten um 75 oder 80 Prozent. Solche Kreativität über verschiedene Gruppen hinweg, die man nicht sieht, aber die sich durchsetzt, das ist die Art von Dingen, die schnelles Traversieren und Streaming durch die Welt ermöglicht.

Digital Foundry: Dies ist tatsächlich ein interessanter Diskussionspunkt, der häufig bei Traversieren und schnellem Laden aufgebracht wird. Konzeptuell ist es möglich, eine Karte direkt in eine bestimmte Region zu laden oder schnell in einen anderen Bereich zu wechseln oder Portale zu verwenden. Diese Dinge gab es bereits in anderen Spielen vor Ratchet, vor den Spider-Man-Spielen. Aber ich denke, basierend auf dem, was Sie hier gesagt haben und anderen Dingen, die ich über dieses Spiel weiß, liegt der Unterschied nicht so sehr darin, was Sie tun. Es ist die Menge der Daten, die bewegt wurden.

Mike Fitzgerald: Ich kann nicht zu sehr spekulieren, was sie tun. Aber hier sind einige Punkte, die uns dahin gebracht haben, wo wir jetzt sind. Zum einen hatten wir selbst auf der PS4 dieses sogenannte Imposter-System, wir haben diese Idee einer Low-Res-Version der Stadt, die immer vorhanden ist. Das war beim Erstellen von Strahlenverfolgungsreflexionen eine große Hilfe, denn das war die Grundlage dieses Systems. Ebenso ist es eine große Hilfe, einfach in ein Schnellreisesystem irgendeiner Art zu springen, bei dem bereits etwas bereitsteht und das der Pausekarte ähnelt. Wir konnten sehr früh mit der PlayStation 5-Hardware arbeiten. Wir hatten viel Zeit mit dieser Hardware und sie hat uns dazu gedrängt, diese Systeme flexibler und dynamischer zu gestalten, um sicherzustellen, dass unsere Textur-Streaming die Dinge richtig priorisiert und die Hardware effizient nutzt, um sicherzustellen, dass wir Dinge so dramatisch und schnell wie möglich entladen können, wenn wir sie nicht mehr benötigen. Und wirklich, es war ein iterativer Prozess, der durch diese frühen Spiele, unsere Starttitel und Ratchet and Clank bis zu diesem Spiel führte, bei dem wir kontinuierlich auf dieser Fähigkeit aufbauen konnten, schnell loszuwerden, was wir nicht brauchen, nur das zu behalten, was wir das nächste Mal brauchen, und das Wichtigste schnell einzubringen. Selbst wenn Sie durch ein Portal schauen und sagen: “Nun, ich muss diese Textur auf der anderen Seite des Portals streamen, obwohl sie dramatisch weit von der Stelle entfernt ist, an der sich meine Kamera gerade befindet”, und sicherstellen, dass all diese Systeme gut zusammenpassen.

Digital Foundry: Ich wäre nachlässig, wenn ich Sie nicht nach dem Sound fragen würde, denn das ist etwas, das mir besonders als Benutzer eines Surround-Sound-Systems aufgefallen ist. Ich frage mich, ob Sie über die Funktionsweise einiger dieser Dinge sprechen können. Wie funktioniert die Raumausbreitung? Wie funktionieren Klangreflexionen?

Mike Fitzgerald: Diese Techniken gibt es schon eine Weile. Und eines der Probleme besteht darin, wie man sie konsequent auf eine komplexe Welt anwenden kann, wie man die richtigen Werkzeuge für die Erstellung bereitstellt, wie man etwas schafft, das zur Laufzeit effizient ausgeführt werden kann, um wirklich ein Gefühl dafür zu vermitteln. Es gibt Schallausbreitung durch Räume, Schall, der in der richtigen Weise widerhallt, wenn Sie zwischen Gebäuden stehen. Einer meiner Favoriten ist, dass es im Spiel regnerische Momente gibt und dass dieses System um Sie herum projiziert und alle Oberflächen versteht, auf die der Regen treffen könnte, und dann die richtigen Klänge abspielt und sie richtig mischt. Wenn Sie sich also auf einem Dach befinden und 10 Fuß von Ihnen entfernt ein Aluminium-Gelüft steht, dann hören Sie, wenn Sie darauf zugehen, den Klang von Regen, der auf Aluminium trifft, im Gegensatz zum Klang von Regen, der auf ein gummiertes Dach trifft, und Sie hören ihn räumlich korrekt in diesem Raum. Ich weiß, dass das Audio-Team und unsere Audio-Programmierer einiges darauf halten und wie sie diese Techniken durch die Räume, die wir haben, anwenden. Ich wünschte, ich könnte Ihnen die Debug-Visualisierung für den Regen zeigen. Es ist wirklich cool. Es sind all diese Hexagone um Sie herum, die den Raum visualisieren und Ihnen zeigen, worauf der Regen trifft.

Digital Foundry: Wenn wir über räumlichen Klang nachdenken, ist eine der großen Neuerungen in der aktuellen PlayStation-Firmware die Unterstützung von Dolby Atmos. Damit kann der Tempest-Audio-Audiostream in einem Atmos-kompatiblen Setup einen echten 3D-Effekt erzeugen. Mich interessiert, wie viel Sichtbarkeit du als Entwickler für dieses Feature hast und ob du spezifische, benutzerdefinierte Mischungen für Atmos erstellen kannst oder ob einfach nur der für Kopfhörer erstellte Tempest-Audio-Stream verwendet wird.

Mike Fitzgerald: Standardmäßig profitieren Atmos-Setups bereits von der beeindruckenden räumlichen Klangtechnologie des Tempest-Systems. Mit den neuen Updates können wir jedoch gezielt Atmos als Ziel setzen. Unser Team für die Filmsequenz-Audio hat maßgeschneiderte Atmos-Mischungen für dieses Spiel erstellt. Sobald sie von der Funktion erfuhren, haben sie sich sofort daran gemacht. Wir sind sehr stolz darauf, vermutlich das erste PlayStation-Spiel mit individuellen Atmos-Mischungen zu sein. Wir haben das Timing perfekt hinbekommen, als die Funktion gerade veröffentlicht wurde. Wenn du also ein Atmos-Setup hast, erwarten dich großartige Mischungen in den Filmsequenzen und anderen coolen Teilen des Spiels.

Digital Foundry: Gibt es noch etwas, worauf du besonders stolz bist in Bezug auf das Spiel?

Mike Fitzgerald: Ich möchte gerne einige der alltäglichen Probleme erwähnen, die man vielleicht nicht direkt beim Spielen bemerkt. Sie sind jedoch von großer Bedeutung. Wie ich bereits erwähnt habe, mussten wir das Spiel auf eine Blu-ray-Disc bekommen. Natürlich könnte man auch mehrere Blu-rays verwenden, aber unser Ziel war es, alles auf eine unterzubringen. Die Unsere Spiel ist nur etwa 20 Prozent größer als Spider-Man Remastered in Bezug auf die Disc-Größe. Dennoch haben wir viel mehr Detailtreue, Qualität und Filmsequenzen integriert. Das wirkt sich auch auf das Streaming und die Ausnutzung der Bandbreite aus. Ein Beispiel: Wir haben viele Animationen in diesem Spiel. Unsere Gesichter und Körper sind detaillierter. Eines der ersten Dinge, die wir gezeigt haben, war eine Filmsequenz mit Kraven, in der er einen anderen Jäger jagt und sich langweilt, weil es für ihn nicht herausfordernd genug ist. Diese Filmsequenz mit Animationen war ungefähr 1 Gigabyte groß. Es handelte sich um eine 30-sekündige Aufnahme, die also nicht mehr als 1 Prozent der Disk-Größe einnehmen durfte.

Daher mussten wir Wege finden, um diese Daten zu komprimieren. Unser Animationsteam hat großartige Methoden entwickelt, um alles zu verkleinern und auf die Disc zu bringen. Wir wollten, dass die Leute das Spiel herunterladen können, ohne dass es zu viel Platz auf ihrer Konsole einnimmt. Wenn man beide Spiele nebeneinander betrachtet, ist das neue Spiel qualitativ deutlich besser, obwohl es nur minimal größer ist. Das ist also die Hintergrundgeschichte, die Spaß macht. Du hast auch die Fußgänger und das Open-World-Element angesprochen. Fahrzeuge haben nun Federungen und verhalten sich anders. Die Fußgänger können nun in Gebäude und Geschäften ein- und ausgehen, was sie zuvor nicht taten. Ihre Körpergrößen variieren, genauso wie ihre Kleidung, was für eine größere Vielfalt sorgt. Sie führen Gespräche miteinander.

Es gibt ein ganzes modulares Konversationssystem, bei dem sie bestimmte Themen diskutieren und entweder einer andere Meinung sind oder das Thema ändern können. Es macht wirklich Spaß, den Leuten in der Stadt zuzuhören, wie sie vernünftig miteinander reden. Beim Herumlaufen gibt es viele liebevolle Details. Ich freue mich darauf, dass die Leute Zeit mit dem Spiel verbringen, zufällige Dinge entdecken und hoffentlich Momente haben werden, in denen sie sich fragen: “Wie haben sie das gemacht?” Das gehört einfach zum Spaß am neuen Spiel, denke ich!

Digital Foundry: Das erlebt man schon direkt zu Beginn beim Kampf gegen Sandman. Das ist einfach nur gigantisch.

Mike Fitzgerald: Ja, ich weiß, wir haben es im Launch-Trailer gezeigt und manche Leute haben gemeint: “Oh, Spoiler!”. Aber es gibt so viel zu erleben. Das verrät für niemanden etwas. Ich hoffe, du bist aufgeregt. Allein dieser eine Kampf steckt voller Überraschungen und Wendungen. Es wurde großartige Arbeit in die Bosskämpfe und Filmsequenzen im gesamten Spiel gesteckt.

Digital Foundry: Ich schätze es auch, dass du die Kraven-Zwischensequenz am Anfang erwähnt hast. Aber das ist nicht einmal in der Stadt. Es ist eine komplett andere, eigens für den Dschungelraum gemachte Dschungelkarte. Das ist so cool, dass du nahtlos zu diesen unterschiedlichen Räumen wechseln kannst.

Mike Fitzgerald: Das war eine lustige Herausforderung für unser technisches Kunstteam, zu sagen: ‘Ja, es ist nur für diese eine Filmsequenz, aber wir möchten wirklich einen realistischen Dschungel und die Ausbreitung des Lichts durch das Blätterdach haben.’ Und die Blätter müssen die richtige untere Oberfläche haben und sich langsam hin und her bewegen und all das. Also, es steckt viel Mühe in einzelnen Aufnahmen und Räumen, aber das ist einer der großartigen Teile daran, in diesem Studio zu arbeiten – die Leute kümmern sich wirklich um ihr Handwerk und wollen, dass jeder kleine Teil gut aussieht und bei anderen gut ankommt.

Digital Foundry: Es freut mich wirklich, das alles zu hören, und ich bin froh, dass ihr immer noch eure eigene In-House-Technologie vorantreibt. Ich weiß, dass das nicht einfach zu unterstützen ist, aber es ist etwas, das die Leute bemerken und wertschätzen, und es hilft dabei, einzigartige Erlebnisse zu schaffen. Gut gemacht mit dem Spiel, muss ich sagen!

Mike Fitzgerald: Vielen herzlichen Dank. Vielen Dank. Ich freue mich einfach darauf, dass die Spieler etwas Zeit damit verbringen und Spaß haben.