Künstliche Intelligenz - Der KI Thread

[Guthwulf]

Das geht ja noch weiter, in dem Menschen KI als Freunde oder gar Liebespartner ansehen.

Als jemand, der aus Neugier auch schon mit Chatbots rumgespielt und ein paar eigene erstellt hat (Stichwort Silly Tavern und Co): Wir sind wirklich nicht mehr weit weg vom Film "Her"

Jedoch sind das alles Probleme die von Menschen und Konzernen kommen, aber nicht aus der Technologie.

Jap... das ist ja leider fast immer so und hat noch nie von einer technologischen Umwälzung abgehalten.

[GoodLord]

Wenn man das Bild schon bemühen will, dann ist es ein neuer Kollege mit der Reputation, dass er teils total kompetent ist, aber dann auch ein riesiger Bullshitter und man kann sich nie ganz sicher sein, was gerade zutrifft.

Off Topic, aber so einen Kollegen hab ich übrigens wirklich - ist ab in dem Fall nicht der Neue, sondern deutlich länger dabei als ich
Bin also schon gut darauf trainiert mit unzuverlässigen Genies umzugehen.

[GoodLord]

Was man IMO aber nicht so ohne weiteres machen kann, der KI eine Art Weltbild geben, dass sie JEDE Art von Information framed oder durch eine bestimmte Sichtweise interpretiert. Das würde ja echte menschliche Intelligenz voraussetzen?

Eigentlich braucht es dazu nur einen entsprechenden bias bei den Trainingsdaten.

[tpommer]

Was man IMO aber nicht so ohne weiteres machen kann, der KI eine Art Weltbild geben, dass sie JEDE Art von Information framed oder durch eine bestimmte Sichtweise interpretiert. Das würde ja echte menschliche Intelligenz voraussetzen?

Eigentlich braucht es dazu nur einen entsprechenden bias bei den Trainingsdaten.

Nicht mal das ist notwendig. Man schreibt einfach in den Prompt, welches Weltbild die KI vertreten soll in ihrer Antwort: "Argumentiere aus Sicht eines...", "Versetze dich in die Lage von...", etc.

Oder habe ich die Aussage falsch verstanden?

[GoodLord]

Ich finde übrigens, das man es sich zu einfach macht, wenn man immer nur darauf verweist, dass die KI ja "nur" berechnet, welche Tokens am wahrscheinlichsten aneinander passen. Klar ist das das zugrundeliegende Prinzip, aber diese Wahrscheinlichkeiten müssen ja irgendwoher kommen - und der effizienteste weg die abzuspeichern ist halt letztendlich über ein Verständnis der Abstrakten Bedeutung und zusammenhänge der Wörter die ausgegeben werden.

Wie sehr das jetzt dem menschliche Gehirn bzw. dem menschlichen Denken ähnelt kann ich nicht beurteilen, aber ohne eine wie auch immer geartete Form von abstrakten "Verständnis" worüber die KI schreibt könnte sie nicht funktionieren.

[GoodLord]

Was man IMO aber nicht so ohne weiteres machen kann, der KI eine Art Weltbild geben, dass sie JEDE Art von Information framed oder durch eine bestimmte Sichtweise interpretiert. Das würde ja echte menschliche Intelligenz voraussetzen?

Eigentlich braucht es dazu nur einen entsprechenden bias bei den Trainingsdaten.

Nicht mal das ist notwendig. Man schreibt einfach in den Prompt, welches Weltbild die KI vertreten soll in ihrer Antwort: "Argumentiere aus Sicht eines...", "Versetze dich in die Lage von...", etc.

Oder habe ich die Aussage falsch verstanden?

Ich hab ehrlich gesagt noch nicht ausprobiert, wie gut das funktioniert und deshalb nicht dran gedacht, aber bei Cloud KIs wäre eine Manipulation der Prompt Eingaben hinter den Kulissen wahrscheinlich wirklich die einfachste Art das Ergebnis zu manipulieren.

[Rane]

von einigen der Figuren an der Spitze ganz zu schweigen, die hinterher auch den Output der AI nach Wunsch regulieren können...

Können sie das wirklich? Bei der neuen Folge vom KI-Podcast vom BR ging es darum, dass Elon Musk ja angekündigt hat, dass seine Grok-KI seine Weltsicht übernehmen soll. Also vor allem Fake News und Verschwörungstheorien nicht hinterfragen soll, etc. Vorausgegangen war, dass Grok selbst seine Tweets auf X korrigierte.

Ob sie das (jetzt) wirklich können ist irrelevant. Elon Musk hat ja bereits den Wunsch geäussert mittels Grok 3.5 "Fehler zu löschen" und "fehlende Informationen hinzufügen" um "die Geschichte neu zu schreiben". (Zitat: https://x.com/elonmusk/status/1936333964693885089).

Die Absichtsbekundung ist da, d.h. der Versuch wird auch immer wieder geschehen.
Das kann sein dass das bei den meisten Anfragen keine merklichen Unterschiede produzieren wird, aber lass es nur zu 10% wirksam sein. Wollen wir 10% frauenfeindlichere Antworten auf unsere Anfragen? Oder 10% rassistischere?

Elon Musk ist da jetzt natürlich das Vorzeigebild, weil er es offen herausposaunt, aber andere werden das auch versuchen, wenn auch vielleicht in andere Richtungen.

Wie es funktionieren kann wurde ja bereits ausgeführt. Entweder über Filter / Systemprompts auf den Antworten, oder aber durch Bias in den Trainingsdaten (Was sowohl additiv als auch subtraktiv geschehen kann.).

[Desotho]

Aber das ist im Prinzip alles nur eine neue Ausprägung des bereits gesehenen. Ich kann auch heute Nius als Startseite im Browser einrichten und davon alle meine News und Berichte ziehen. Klar zeigen Fehlinformationen Wirkung, aber AI oder auch in bestimmte Richtungen manipulierte AI ist dann nur eine neue Quelle. Es mag natürlich einfacher sein, solche Manipulationen zu leugnen, aber an Trump & Co sieht man ja, dass man auch mit den offensichtlichsten Lügen bestens durch kommt.

Und sollte ich merken, dass meine bevorzugte Anwendung bei sowas problematisch ist muss ich eben wechseln. Aber das Ganze ist noch so im Fluss, vermutlich sage ich dann in 10 Jahren: Gott, war ich naiv!

[Andre Peschke]

Wie sehr das jetzt dem menschliche Gehirn bzw. dem menschlichen Denken ähnelt kann ich nicht beurteilen, aber ohne eine wie auch immer geartete Form von abstrakten "Verständnis" worüber die KI schreibt könnte sie nicht funktionieren.

Das ist jetzt halt Definitionsfrage. IMO hat sie eindeutig kein Verständnis, weil sie eben kein konzeptionelles Verständnis hat, sondern nur eines von Wahrscheinlichkeiten. Deswegen ja die Tokens. Ein LLM weiß nicht, das "Bett" in Verbindung mit Fluss etwas anderes bedeutet, als in der Wohnung. Deswegen gibt sie, simplifiziert und AFAIK, dem zugehörigen Token einen anderen Zahlenwert so dass "Bett" für sie intern jetzt ein ganz anderes Wort ist, wenn es in einem bestimmten relationalen Kontext erscheint. Deswegen kann man KIs ja mit simpelsten Tricks immer noch aufs Glatteis führen.und sie erfassen dann selbst mit Erklärungen nicht die korrekte Antwort.

Da wir nicht exakt wissen, wie unser Gehirn funktioniert, gibt es da natürlich Raum um zu sagen: Wir arbeiten auch mit Abstraktionen, wir machen auch Fehler, es gibt die Theorie das Erinnerungen gar nicht abgespeichert werden sondern jedes Mal neu gebildet werden anhand von xy und so weiter. Aber im Umgang mit LLMs wird IMO schon sehr deutlich, dass man es nicht mit einem Verstand zu tun hat, sondern mit einer neuartigen Form von Datenspeicher, der unglaubliche Mengen bereithalten kann, dafür aber unzuverlässig ist im Abrufen.

Da ist aber viel Manövrierraum für Diskussionen, weil diverse extrem komplexe und noch nicht abschließend erforschte Felder berührt sind, von denen wir alle keine Ahnung haben.

Und auch sonst, alles was Du schreibst ist sehr richtig. Jedoch sind das alles Probleme die von Menschen und Konzernen kommen, aber nicht aus der Technologie.

Technisch gesehen korrekt, aber diese Dinge sind halt untrennbar miteinander verbunden. Wenn morgen einer das Zeitreisen erfindet, ist das unglaublich aufregende Technologie und man kann damit bestimmt gutes und schlechtes anstellen. Wenn Leute unreguliert anfangen, die Vergangenheit zu manipulieren, wird man aber auch einsehen müssen, dass der Hinweis darauf, dass die Zeitmaschine selbst ja nur ein Tool ist, wenig zur Sache beiträgt.

Und sollte ich merken, dass meine bevorzugte Anwendung bei sowas problematisch ist muss ich eben wechseln. Aber das Ganze ist noch so im Fluss, vermutlich sage ich dann in 10 Jahren: Gott, war ich naiv!

Wir sprechen hier ja vielleicht sogar noch über die harmlosere Anwendung, nämlich Chatbots. Wir wissen bereits, das Gesichtserkennung schon vor ChatGPT & Co einen ethnischen Bias hatte, zB. Was, wenn KI im Gesundheitswesen irgendwelche Level-1-Entscheidungen trifft (Antrag ablehnen etc)? Wenn sie in der Strafverfolgung eingesetzt wird. Wenn sie über Kreditvergaben entscheidet. Über Aufenthaltsrecht, Vorstellungsgespräche, über Themensetzung in den Medien...

Kann man auch sagen: Das läuft heute schon scheiße, kann nur besser werden.

Aber es kann halt auch viel schlimmer werden, auf eine ganz andere Art, als es Überlastung und Inkompetenz hervorbringen. Und es kann vor allem viel schwieriger sein, einen Nachweis zu führen und viel schwieriger sein, Probleme zu beseitigen.

[Desotho]

Wir sprechen hier ja vielleicht sogar noch über die harmlosere Anwendung, nämlich Chatbots. Wir wissen bereits, das Gesichtserkennung schon vor ChatGPT & Co einen ethnischen Bias hatte, zB. Was, wenn KI im Gesundheitswesen irgendwelche Level-1-Entscheidungen trifft (Antrag ablehnen etc)? Wenn sie in der Strafverfolgung eingesetzt wird. Wenn sie über Kreditvergaben entscheidet. Über Aufenthaltsrecht, Vorstellungsgespräche, über Themensetzung in den Medien...

Ich glaube wir können uns sicher sein, dass es früher oder später Auswüchse in alle Richtungen geben wird - wie immer. Ob uns die Schufa mit AI noch intransparenter ficken wird als in der Vergangenheit wird sich zeigen. Das dürfte sogar für die Ai eine Herausforderung werden.


Ist jetzt keine Entscheidung im gesundheitswesen, aber ich fühlte mich erinnert:
https://www.golem.de/news/autovermietun ... 97566.html
Wobei ich persönlich hier den AI Einsatz gar nicht so schlimm finde, aber dass bei Reklamationen kein Mensch erreichbar war schon. Aber das sind zwei verschiedene Dinge.

[GoodLord]

Erst nochmal den Disclaimer: Ich arbeite nicht in der KI Forschung und meine praktische Erfahrung mit dem implementieren, trainieren und anwenden von Neuronalen Netzen endet irgendwo beim Thema Bilderkennung und Objekttracking - also nichts mit generativen KIs. Also korrigiert mich gerne, wenn ich bullshit erzähle.

That being said:

Wie sehr das jetzt dem menschliche Gehirn bzw. dem menschlichen Denken ähnelt kann ich nicht beurteilen, aber ohne eine wie auch immer geartete Form von abstrakten "Verständnis" worüber die KI schreibt könnte sie nicht funktionieren.

Das ist jetzt halt Definitionsfrage. IMO hat sie eindeutig kein Verständnis, weil sie eben kein konzeptionelles Verständnis hat, sondern nur eines von Wahrscheinlichkeiten. Deswegen ja die Tokens. Ein LLM weiß nicht, das "Bett" in Verbindung mit Fluss etwas anderes bedeutet, als in der Wohnung.

Und das stimmt halt afaik nicht. Diese Zusammenhänge sind im neuronalen Netz eben sehr wohl abgespeichert/kodiert. Sonst könnte es letztendlich nicht mit hoher Treffergenauigkeit sinnvolle Sätze mit dem wort Bett bilden.

Man darf hier nicht dem Irrglauben unterliegen, dass nur weil das Interface auf tokens basiert, auch intern nur mit tokens "gerechnet" wird.
Das zentrale Konzept hinter dem trainieren von neuronalen Netzen ist eben, dass die Strukturen in den Trainingsdaten in den Gewichten des Netzes kodiert werden und je mehr layer das Netz hat, desto abstrakter können diese Strukturen zumindest mal prinzipiell sein. Und da die Trainingsdaten sich ja normalerweise mit Konzepten aus der echten Welt beschäftigen und nicht einfach zufällig generierte tokenstreams sind gibt es keinen Grund anzunehmen, dass diese Konzepte nicht auch im NN abgebildet würden - das ist nämlich wesentlich effizienter, als zu versuchen ne riesige Tabelle aufzustellen, die für jede mögliche Tokensequenz direkt den wahrscheinlichsten nächsten token abspeichert. Vom Ergebnis her mag sich das nicht groß unterscheiden, aber für ein LLM alla chatGPT braucht's halt "nur" ein Rechenzentrum, während es für die Tabelle nicht genug Atome im Universum gibt um die (unkomprimiert) abzuspeichern. Wer sich das trainieren eines NN wie einen verlustbehafteten Kompressionsalgorithmus alla mp3 vorstellt (aber halt viel generischer) liegt garnicht so daneben.

Als Analogie beim Menschen: Wenn man seine Muttersprache(n) lernt wird man zwangsweisen und automatisch die grammatikalischen Regeln dieser Sprache lernen - auch ohne dass jemand da sitzt und einem erklärt, was Nominativ, Genitiv, Dativ und Akkusativ sind. Wahrscheinlich wird man diese Regeln nicht artikulieren könnte und sicher nicht alle Grenzfälle kennen, aber das implizite Verständnis wie die Sprache funktioniert hat man sich eben doch angeeignet.

[Andre Peschke]

Und das stimmt halt afaik nicht. Diese Zusammenhänge sind im neuronalen Netz eben sehr wohl abgespeichert/kodiert. Sonst könnte es letztendlich nicht mit hoher Treffergenauigkeit sinnvolle Sätze mit dem wort Bett bilden.

Also, meinem Verständnis nach: doch. Das LLM schaut auf die Konstellation aus Input-Tokens und errechnet dann "Ok, anhand dieser Werte ist dieser Output der wahrscheinlichste". Es kann aber weiter Fehler machen, weil es eben nicht den Kontext versteht. Ein Mensch kann anhand des Kontexts eindeutig verstehen, dass ein Flussbett gemeint ist und wird danach 0% Fehlerquote haben. Ein LLM kann weiter Fehler produzieren, weil es nicht verstanden hat, sondern lediglich weiter einen Output herleitet. Bisschen als hätte man auswendig gelernt, welche Töne auf andere Töne in einer Fremdsprache folgen, ohne je wirklich zu verstehen, was gesagt wurde. (Ich vermute das Beispiel hinkt an Tausend Enden, aber mir fällt gerade nix besseres ein )

Also, das Kontext-Zusammenhänge durch die Gewichtungen und teilweise auch in den Tokens kodiert sind, schrieb ich ja selbst. Aber daraus ergibt sich kein "Verstehen" und darum ging es ja.

[oilrumsick]

Und das stimmt halt afaik nicht. Diese Zusammenhänge sind im neuronalen Netz eben sehr wohl abgespeichert/kodiert. Sonst könnte es letztendlich nicht mit hoher Treffergenauigkeit sinnvolle Sätze mit dem wort Bett bilden.

Also, meinem Verständnis nach: doch. Das LLM schaut auf die Konstellation aus Input-Tokens und errechnet dann "Ok, anhand dieser Werte ist dieser Output der wahrscheinlichste". Es kann aber weiter Fehler machen, weil es eben nicht den Kontext versteht. Ein Mensch kann anhand des Kontexts eindeutig verstehen, dass ein Flussbett gemeint ist und wird danach 0% Fehlerquote haben. Ein LLM kann weiter Fehler produzieren, weil es nicht verstanden hat, sondern lediglich weiter einen Output herleitet. Bisschen als hätte man auswendig gelernt, welche Töne auf andere Töne in einer Fremdsprache folgen, ohne je wirklich zu verstehen, was gesagt wurde. (Ich vermute das Beispiel hinkt an Tausend Enden, aber mir fällt gerade nix besseres ein )

Also, das Kontext-Zusammenhänge durch die Gewichtungen und teilweise auch in den Tokens kodiert sind, schrieb ich ja selbst. Aber daraus ergibt sich kein "Verstehen" und darum ging es ja.

Aber den Kontext versteht ein Mensch ja auch nur auf Basis der input tokens und seiner gelernten Erfahrung. Die Fähigkeit mag deutlich besser sein und die Architektur des Gehirns sich von dem der LLMs unterscheiden, aber das Grundprinzip ist für mich das gleiche. Am Ende ist der Mensch auch nur ein Mustererkennungstool.

[Andre Peschke]

Aber den Kontext versteht ein Mensch ja auch nur auf Basis der input tokens und seiner gelernten Erfahrung. Die Fähigkeit mag deutlich besser sein und die Architektur des Gehirns sich von dem der LLMs unterscheiden, aber das Grundprinzip ist für mich das gleiche. Am Ende ist der Mensch auch nur ein Mustererkennungstool.

True. Deswegen sagte ich ja, es wird am Ende an der Definition von "Verständnis" hängen. Es ist korrekt, dass LLMs rein funktional zu Ergebnissen kommen, die von einem Verständnis oft nicht unterscheidbar sind (zumindest in einer erheblichen Anzahl von Fällen). Es stimmt auch, dass konzeptionelle Zusammenhänge in den Datenstrukturen von LLMs berücksichtigt werden und man argumentieren könnte, dass sowas wie ein konzeptionelles Verständnis als "emergent Behaviour" dabei rauskommt.

Ich würde halt sagen, ein Verständnis setzt ein persistentes Konzept voraus, aus dem ein logischer Rückschluss abgeleitet wird. Also: Ich erkenne auch als Mensch das Muster, aber ich habe dann mein Wissen, mein Weltverständnis etc mit dem ich das einordne und damit kann ich den Satz korrekt dechiffrieren und danach weiß ich auch fortwährend sicher, was gemeint war (wenn wir jetzt mal von einem eindeutigen Satz ausgehen). Und ein LLM "versteht" das halt nicht in dieser Art und Weise.

Kann man sagen: Solange das gleiche Ergebnis rauskommt, ist das egal.
Würde ich sagen: Das tut es aber eben genau deswegen nicht immer, weil es nicht wirklich "versteht". So wie auch eine Xbox One zuverlässig auf den Sprachbefehl "Xbox On!" mit Einschalten reagiert, aber deswegen nicht "Xbox On!" versteht. Und vielleicht mancher sagen würde: "Warum eigentlich nicht? Sie "hört" das, sie interpretiert was sie tun soll, und die korrekte Reaktion signalisiert Verstehen."

Also, ich seh schon, dass das debattierbar ist, will ich damit sagen. Für mich fühlt sich der Begriff falsch an, ausgehend von meinem Verständnis, was da passiert. Aber kann sein, mein Verständnis ist zu dünn was LLMs angeht oder was vergleichbare Abläufe beim Menschen angeht oder mein Verständnis vom Begriff "Verständnis" ist zu eng etc pp.

[Desotho]

Falls es dich beruhigt: ChatGPT stimmt dir zu :>

Und hat mir dann eine Abhandlung von Daniel Dennetts „Intentional Stance“ (funktionalistische Perspektive) vs . Searles „Chinese Room“ (Chinese Room, Semantischer Realismus / Anti-Funktionalismus) geschickt.

Ich sollte vermutlich nun deren Bücher lesen, allein zu überprüfen ob mich ChatGPT nicht verarscht hat

[Andre Peschke]

Falls es dich beruhigt: ChatGPT stimmt dir zu :>

Kommt drauf an. Hat es gesagt: "Er hat Recht, sein Verständnis ist zu dünn!"?

Aber eigentlich so oder so eher nicht. ^^

[Desotho]

Nein, ChatGPT fand deinen Standpunkt total super und hat dich total gelobt.

Wenn es die Weltherraschaft an sich reisst wirst Du vermutlich nicht getötet werden sondern darfst als Sklave weiterleben.

[Rane]

Nein, ChatGPT fand deinen Standpunkt total super und hat dich total gelobt.

Wenn es die Weltherraschaft an sich reisst wirst Du vermutlich nicht getötet werden sondern darfst als Sklave weiterleben.

Aber nur wenn er bei ChatGPT auch immer lieb Bitte und Danke gesagt hat.

Falls es dich beruhigt: ChatGPT stimmt dir zu :>

Und hat mir dann eine Abhandlung von Daniel Dennetts „Intentional Stance“ (funktionalistische Perspektive) vs . Searles „Chinese Room“ (Chinese Room, Semantischer Realismus / Anti-Funktionalismus) geschickt.

Ich sollte vermutlich nun deren Bücher lesen, allein zu überprüfen ob mich ChatGPT nicht verarscht hat

Der "Chinese Room" ist mir letztens auch über den Weg gelaufen. Das andere hab ich grad auf wikipedia nachgesehen und es ist mir zu hoch.

https://en.wikipedia.org/wiki/Chinese_room

In the thought experiment, Searle imagines a person who does not understand Chinese isolated in a room with a book containing detailed instructions for manipulating Chinese symbols. When Chinese text is passed into the room, the person follows the book's instructions to produce Chinese symbols that, to fluent Chinese speakers outside the room, appear to be appropriate responses. According to Searle, the person is just following syntactic rules without semantic comprehension, and neither the human nor the room as a whole understands Chinese. He contends that when computers execute programs, they are similarly just applying syntactic rules without any real understanding or thinking.

(Fettschrift von mir.)

Das trifft halt so schon ganz gut die Funktionsweise der LLM, es wird Text produziert der aussieht wie eine Antwort, aber nicht weil das LLM ein inherentes Verständnis der Frage, der Antwort oder des zugehörigen Wissens hat.

[Freddie]

Letztens bei Lanz eine spannende These gehört: Es wäre unethisch, wenn wir die Diagnostik und die Auswertung von Scans NICHT der KI überlassen, erkennt sie Krankheiten doch besser und verlässlicher.

Spannender Gedanke. Aber wenn die Prämisse so stimmt, dann kann der Forderung nicht widersprochen werden finde ich.

[Andre Peschke]

Wenn es die Weltherraschaft an sich reisst wirst Du vermutlich nicht getötet werden sondern darfst als Sklave weiterleben.

Roko's Sklavilisk!

Spannender Gedanke. Aber wenn die Prämisse so stimmt, dann kann der Forderung nicht widersprochen werden finde ich.

Nur stimmt die Prämisse halt (noch?) nicht.

https://www.nature.com/articles/s41746- ... hatgpt.com