Runde #591: Die Hardware Apokalypse

[Stefan H.]

Ein interessantes Gespräch, eine neue interessante Stimme. Aber wieder der AI-Bad-Circlejerk inklusive den berühmten subventionierten Token.:
Eine leicht vereinfachte Kausalkette.
- Die Fähigkeiten von LLMs hängen innerhalb einer Generation (!) von der Größe ab -> Je Größer desto besser
- Die Compute-Kosten von LLMs hängen direkt von der Größe ab -> Je größer desto teurer

Es gibt keinen Hinweis das chinesische Firmen Architekturen haben die hier wesentlich Leistungsfähiger sind. Sie sparen nur beim Training - auf die ein oder anderer Weise (berühmterweise in dem sie einfach leistungfähige westliche Modelle destillieren - genau wie auch Musks Grok)

Wenn es also Open-Weights LLMs gibt, die vergleichbar leistungsfähig wie die Frontier-Modelle von OpenAi und Anthropic sind, dann sind die Grenzkosten (also Strom + Abschreibung Compute-Hardware) für die Tokenerzeugung für diese Modelle in gleicher Größenordnung. Wenn OpenAI und Anthropic also mehr Geld verlangen als diese Grenzkosten liegt es eben nicht daran, das sie die den individuellen API-Call subventionieren. Ganz im Gegenteil bedeutet es, das sie Margen jenseits der Grenzkosten generieren.

Im Übrigen sind schon vor längerem Zahlen geleakt das OpenAI und Anthropic trotz großzügiger Gratisnutzung insbesondere bei OpenAI pro Nutzer im Schnitt immer noch Geld verdienen. Wo sie Geld verbrennen ist beim Training neuer Modelle . Wenn man sich dazu wirtschaftlich fundierte Fakten anhören will, empfehle ich den Doppelgänger Podcast der eine wesentlich analytischere und faktenbasiertere Ansicht dazu hat.

[Capy aus Bara]

Als Kunde mit einem in 2025 aufgerüsteten PC, der kaum läuft und einer Switch 2 sehe ich das Thema eher locker und je länger aktuelle Hardware genutzt wird, desto besser für meinen Geldbeutel und die Umwelt. Nie wieder will ich die Sprünge der 90er und 2000er wieder haben.

Edit: Willkommen in der Bitburger-Gosse, André . Als nächstes geht es ab in die Warsteiner-Allee.

[Jahnu]

Ich bin noch am Hören, aber bis hierhin schöne Folge, endlich mehr Technik!
Schade, dass André Sebbe immer dann unterbricht, wenn es gerade richtig interessant wird

[Smutje187]

Im Übrigen sind schon vor längerem Zahlen geleakt das OpenAI und Anthropic trotz großzügiger Gratisnutzung insbesondere bei OpenAI pro Nutzer im Schnitt immer noch Geld verdienen. Wo sie Geld verbrennen ist beim Training neuer Modelle.

Klingt hart nach kreativer Buchführung. Was Gewinn ist, ist relativ einfach definiert - normalerweise braucht man da kein „Ja, aber“ dranzuhängen als Unternehmen.

[Leonard Zelig]

Ich kann mir nicht vorstellen, dass Cloud-Gaming die Zukunft ist. Die Hardware, auf der diese Spiele laufen werden, muss ja auch jemand kaufen. Der kann das dann umlegen auf die Abo-Preise, aber ob das so wirtschaftlich ist? Dazu die Warteschlangen wie in MMOs. Wenn 100 Millionen Menschen die neueste Folge Stranger Things schauen wollen, kann Netflix das einfach ermöglichen. Es müssen ja nur Daten fließen und nichts berechnet werden. Aber wenn 100 Millionen Leute GTA VI spielen wollen, dann müssen drei Milliarden Frames pro Sekunde gerendert werden, damit alle gleichzeitig spielen können. Das kann nie im Leben wirtschaftlich sein. Dann lieber den Leuten vergleichsweise schwache Hardware andrehen und mit AI-Rechenkernen alles aufhübschen und hochskalieren.

[Carlos]

Ich bin noch mitten am Anfang aber ich möchte lobend erwähnen dass ihr sowohl Getränkeausstattung als auch Wetter zu Beginn angesprochen habt. Das bitte zukünftig immer auf die Agenda packen selbst wenn es Pflichtpunkte sind Bonuspunkte wenn jeder noch die Außen- und Innenraum Temperatur und Luftfeuchtigkeit angibt. Gerne auch Taupunkt dieser Parameter wird ja in Zukunft immer relevanter

Zum Zeitpunkt des Hörens dieser Aufnahme hat es hier angenehme 21/22 grad mit einer Luftfeuchtigkeit von 35% , außen gemessen

[Heretic]

Schön, mal was von der anderen Person zu hören, die damals - wie ich - auf eine Grafikkarte mit S3-Virge-Chip gesetzt hat...

[Lurtz]

Wenn man sich dazu wirtschaftlich fundierte Fakten anhören will, empfehle ich den Doppelgänger Podcast der eine wesentlich analytischere und faktenbasiertere Ansicht dazu hat.

Fragen wir doch mal die KI dazu:

Der "Doppelgänger Tech Talk" Podcast von Philipp Klöckner und Philipp Glöckler ist stark durch die persönlichen Perspektiven, Expertisen und Investments der Hosts geprägt. Ihre Auslegungen stoßen in der Tech- und Startup-Szene teilweise auf Kritik, insbesondere was ihren Optimismus, die Beurteilung von KI sowie ihren Blick auf große Tech-Konzerne betrifft.

[OlliF]

Ich höre gelegentlich auch 4004 bzw. schaue 3003. Cool, dass ihr auch mal Gäste außerhalb der Gaming-Podcast-Bubble habt. Der Podcast hat mir sehr gut gefallen. Ihr habt toll gematcht miteinander und ein sehr kurzweiliges Gespräch auf Band (oder in die Cloud?? ) gebracht.

Vieles Takes bzw. Infos waren mir durch beide Podcasts zwar schon bekannt, weshalb der Erkenntnissgewinn nicht so hoch war. Trotzdem fand ich die Diskussion dazu sehr interessant.

[Gigagokl]

Ein sehr hörenswerter Podcast mit einer schönen neuen Expertise. Gerne öfter!

[Capy aus Bara]

Was ist eigentlich "Comput"? Und wann kommt das Crossover mit Sebastian und Henner von Stayforever?

[philoponus]

Was ich mir seit einiger Zeit denke angesichts des (berechtigten) globalen AI Kritikwelle, ist wie mies die Techkonzerne den PR Teil angehen aus übertriebener Gier. Statt die vielen Millionen "Tech Nerds" weltweit als Verbündete zu gewinnen, erzeugen Nividia und Co. durch diese Hardwareknappheit bei ihrer Kernzielgruppe eine zusätzliche Hasswelle gegen sich selber.

Man stelle sich beispielsweise vor, Nvidia würde massenhaft eine tolle günstige hoch performante Grafikkarte gebundelt mit 32 GB RAM auf den Markt bringen, welche alle Tech Nerds begeistert. Wäre problemlos umsetzbar und sie würden weltweit "good will" für ihre sinistren AI Pläne erzeugen mit überschaubarem Aufwand. Aber anscheinend reicht der strategische Verstand inzwischen nicht mehr so weit, da zu abgehoben.

Ansonsten hatte ich auch einen C64, einen ZX 81 und war begeisterter "Happy Computer" Abonnent damals.

[Capy aus Bara]

Einfache und harte Antwort: Die alten Hardwaresäcke sind irrelevant. KI bringt Cash, bringt steigende Aktien, bringt mehr Cash. Euch* alte Hardwarenerds jenseits der 50 braucht kein Unternehmen mehr.

*Ich war, wie Andre, nie ein Hartwarennerd.

[Textsortenlinguistik]

Danke für diese rundum tolle Folge - sehr interessant und klasse Gast!

[Lurtz]

Man stelle sich beispielsweise vor, Nvidia würde massenhaft eine tolle günstige hoch performante Grafikkarte gebundelt mit 32 GB RAM auf den Markt bringen, welche alle Tech Nerds begeistert.

Bringt nVidia doch, Spark schon vergessen?

Günstig ist ja relativ.

[Komposti]

Man stelle sich beispielsweise vor, Nvidia würde massenhaft eine tolle günstige hoch performante Grafikkarte gebundelt mit 32 GB RAM auf den Markt bringen, welche alle Tech Nerds begeistert. Wäre problemlos umsetzbar und sie würden weltweit "good will" für ihre sinistren AI Pläne erzeugen mit überschaubarem Aufwand. Aber anscheinend reicht der strategische Verstand inzwischen nicht mehr so weit, da zu abgehoben.

Selbst wenn Nvidia ein derart barmherziger Samariterverein wäre, würde das aus demselben Grund nicht funktionieren, aus dem auch Grafikkarten wärend der Mining-Krise knappes Gut waren. GPUs sind Multi-Purpose-Devices, genau wie die meiste andere PC-Hardware auch. Du kannst nicht "günstige" Gamingkarten nur für den Spielemarkt bereitstellen, da diese sofort auch für ne Millionen anderer Use-Cases hoch attraktiv wären, nicht zuletzt Local AI. In einer freien Marktwirtschaft ist subventioniert PC-Hardware nicht zu machen.

[philoponus]

Selbst wenn Nvidia ein derart barmherziger Samariterverein wäre, würde das aus demselben Grund nicht funktionieren, aus dem auch Grafikkarten wärend der Mining-Krise knappes Gut waren. GPUs sind Multi-Purpose-Devices, genau wie die meiste andere PC-Hardware auch. Du kannst nicht "günstige" Gamingkarten nur für den Spielemarkt bereitstellen, da diese sofort auch für ne Millionen anderer Use-Cases hoch attraktiv wären, nicht zuletzt Local AI. In einer freien Marktwirtschaft ist subventioniert PC-Hardware nicht zu machen.

Es geht eben genau nicht um Samaritertum, sondern um einen validen strategischen Weg zu finden, AI politisch durchzusetzen. Wenn sich die aktuelle Entwicklung gegen Data Center usw. fotsetzt, wird das eventuell nichts mit der schönen der neuen AI Welt. Speziell in den USA ist die Ablehnung extrem hoch, von den Buh-Konzerten an den Elite-Unis bis zu einer kommunalen Widerstandswelle gegen neue Mega Data Center.

Das Problem, Grafikkarten in die richtigen Hände zu bekommen, halte ich mit etwas Kreativität für lösbar. Vertriebssteuerung ist ja keine rocket science.

[Smutje187]

Selbst wenn Nvidia ein derart barmherziger Samariterverein wäre, würde das aus demselben Grund nicht funktionieren, aus dem auch Grafikkarten wärend der Mining-Krise knappes Gut waren. GPUs sind Multi-Purpose-Devices, genau wie die meiste andere PC-Hardware auch. Du kannst nicht "günstige" Gamingkarten nur für den Spielemarkt bereitstellen, da diese sofort auch für ne Millionen anderer Use-Cases hoch attraktiv wären, nicht zuletzt Local AI. In einer freien Marktwirtschaft ist subventioniert PC-Hardware nicht zu machen.

Es geht eben genau nicht um Samaritertum, sondern um einen validen strategischen Weg zu finden, AI politisch durchzusetzen. Wenn sich die aktuelle Entwicklung gegen Data Center usw. fotsetzt, wird das eventuell nichts mit der schönen der neuen AI Welt. Speziell in den USA ist die Ablehnung extrem hoch, von den Buh-Konzerten an den Elite-Unis bis zu einer kommunalen Widerstandswelle gegen neue Mega Data Center.

Das Problem, Grafikkarten in die richtigen Hände zu bekommen, halte ich mit etwas Kreativität für lösbar. Vertriebssteuerung ist ja keine rocket science.

AI funktioniert (aktuell?) nur über Subventionen, Otto Normalverbraucher ist nicht relevant in der Rechnung.

Damit sich die in AI versenkten Milliarden rechnen, muss massives Wachstum her - entweder über Produktivität (haha), oder massiven Abbau von Arbeitsstellen. Und das wird in der Bevölkerung zu noch schlechterer Stimmung führen.

[GoodLord]

Was ich mir seit einiger Zeit denke angesichts des (berechtigten) globalen AI Kritikwelle, ist wie mies die Techkonzerne den PR Teil angehen aus übertriebener Gier. Statt die vielen Millionen "Tech Nerds" weltweit als Verbündete zu gewinnen, erzeugen Nividia und Co. durch diese Hardwareknappheit bei ihrer Kernzielgruppe eine zusätzliche Hasswelle gegen sich selber.

Man stelle sich beispielsweise vor, Nvidia würde massenhaft eine tolle günstige hoch performante Grafikkarte gebundelt mit 32 GB RAM auf den Markt bringen, welche alle Tech Nerds begeistert. Wäre problemlos umsetzbar und sie würden weltweit "good will" für ihre sinistren AI Pläne erzeugen mit überschaubarem Aufwand. Aber anscheinend reicht der strategische Verstand inzwischen nicht mehr so weit, da zu abgehoben.

Ansonsten hatte ich auch einen C64, einen ZX 81 und war begeisterter "Happy Computer" Abonnent damals.

Bist du sicher, dass Tech Nerds die Kernzielgruppe sind und nicht etwa Manager (inklusive technischem Management)?

[philoponus]

Bist du sicher, dass Tech Nerds die Kernzielgruppe sind und nicht etwa Manager (inklusive technischem Management)?

Ich meinte Kernzielgruppe im Sinn von möglichst vielen Leuten aus der normalen "Bevölkerung" als Unterstützer zu gewinnen, also als Fanboy-Fraktion. Die Manager sind eh alle schon begeistert von der Aussicht, endlich die müshamen Menschen in ihren Konzernen los zu werden.