Rigolax hat geschrieben: ↑19. Mär 2023, 18:20(...)
uiuiui
also ich mache es mal kurz: du darfst natürlich alles sehen, wie du möchtest. Aber deine Argumentation beruht auf "Ich habe das Gefühl, dass das was ich nicht genau verstehe xyz bedeutet".
Niemand versteht was genau Intelligenz ist. Niemand weiß wie genau Bewusstsein entsteht. Wir haben noch nicht einmal eine einheitliche und konsistente Definition dazu. Daher ist es schwierig, über diese schwammigen Konzepte zu sprechen.
Allerdings schreibst du einem rein stochastischen Phänomen eine Form von "Verstehen" zu, die du aus den wenigen Elementen ableitest, die dich in diese Vorstellung bestätigen.
Allerdings zeigt sich an multiplen Punkten sowie am Grundprinzip der Methodik (die wir bei LLMs aktuell anwenden), dass sich die Vorstellung von "Verständnis" oder "Wissen" oder "Bewusstsein" (sofern man denen menschliche Analoge zugrunde legt) nicht halten lassen.
- Diese Modelle können nicht "lernen", indem sie ein Konzept verstehen, daraus Konsequenzen ableiten und prüfen, ob es sich hier um eine Form von Konsistenz handelt.
- alles was die Modelle (in allen möglichen Variationen mit unterschiedlichen Beschränkungen/Eegänzungen/...) tun ist: "Tokens" (Zeichen-/Silben/Wortfolgen) nach einem mehrere Milliarden Parameter fassenden Modell ihrer Wahrscheinlichkeit der Aufeinanderfolge nach auszugeben.
- da das Modell mit seinen Parameter groß und umfassend genug ist, dass es mit erstaunlicher Ähnlichkeit menschlicher Sprache ähnelt, versucht man nun aus der reinen Token-Abfolge, die sich für uns in Worten abbildet irgendeine Form von Sinn hinein zu lesen.
Da nun das zugrunde liegende Datenset (deswegen ja die menschliche Prüfung) einen unwahrscheinlichen großen Korpus an sinnhaften Aneinanderreihungen zugrunde legt, ist aufgrund der schieren statistischen Effekte auch die ausgäbe der Tokens in irgendeiner Form "sinnhaft". Aber es ändert NICHTS daran, dass die Ausgabe ausschließlich eine Reihe von stochastischen Effekten von Zahlenreihen darstellt, denen KEIN Verständnis und KEIN Wissen zugrunde liegt.
- das Zeigt sich daran, dass (je nach Umstand) die Modelle in einem Moment mit absoluter Sicherheit behaupten, dass 4+4=9 ist oder dass die Menschen den Mars besiedelt haben, nur im nächsten Moment mit der gleichen Sicherheit das Gegenteil zu behaupten. Es gibt keinerlei Konsistenz in den dahinter liegenden Fakten oder Konzepten.
- klar könnte man jetzt bei Allem was Zahlen betrifft einen dummen "Taschenrechner" einbauen - das ändert aber nichts an den Limitationen des Text(bzw. Token)-Modells, sondern würde nur in diesem konkreten einen Grenzfall dem LLM die Zügel aus der Hand nehmen und eine Aufgabe erfüllen. Aber dadurch hat das Modell nichts gelernt und nichts verstanden
- man kann das Ganze auch angehen, indem man mehr "korrekte" mathematische Rechnungen trainiert - aber auch DA wird nur die Wahrscheinlichkeit der Gewichtungen von Ausgaben modifiziert, ohne dass es dann zu einem besseren oder schlechteren Verständnis von irgendetwas kommt
um nun aber ganz kurz auf ein paar konkrete Aussagen deinerseits zurückzukommen:
- nein - es hat KEINE konsistente Vorstellung der Welt. Es behauptet alles mit einer gewissen Sicherheit - wir je nach Eingabe/Modifkation aber mit der selben Sicherheit das genaue Gegenteil oder alle Variationen davon behaupten, wenn es die Parameter erfordern; es existiert kein Verständnis und kein Weltbild
- du wirst Verstehen und menschliches Nutzen von Sprache mit rein stochastischen Effekten durcheinander. Nein: wir Menschen "lernen" nicht so. Insbesondere ist Konditionierung KEIN Effekt von Wissen/Verständnis/Weltbild, sonder eine reine Bahnung von Reizen zu einer Aktion, die dann unbewusst und automatisch abläuft (je nachdem ob du klassische oder operande Konditionierung meinst... aber der Begriff "lernen" heißt hier nicht → verstehen, sondern Reiz → Effekt-Modifikation)
- Und nochmal: es steht kein Wissen (im Sinne von Verständnis oder Faktenwissen) und auch keine Kreativität dahinter. GPT generiert Dinge, die Fakten sein können - oder auch etwas völlig gegenteiliges. Völlig inkonsistent. Und "Kreativität" im menschlichen Sinne steht auch nicht daher. Es sei denn, du bezeichnest rein stochastische und algorithmischen Wertung von "Tokens" als Kreativität
- Nein - man kann dem LLM kein rechnen beibringen, weil das mit dem zugrundeliegenden Konzept der Modelle nicht kompatibel ist (dazu hatte ich oben schon geschrieben). Man kann diese Grenzbereiche mitigieren, abmildern oder durch alternative Techniken modifizieren → aber "rechnen beibringen" können wir mit dieser Technik dem Modell nicht (zumindest nicht ohne grundlegend neue Konzepte)
- Bildung basiert nicht auf Konditionierung. Vielleicht reden wir aneinander vorbei: was meinst du denn mit Konditionierung? ich möchte nicht, dass wir aufgrund divergierender Definitionen aneinander vorbei reden.