Nachgeforscht: Dunning-Kruger

[monieu]

War bei einem wirtschaftspsychologischen Verhaltensexperiment und u.a. kamen sechs genau solcher Fragen, die erste war genau das Beispiel und so wusste ich direkt, worum es geht.

Sie wollten deine Reaktion als naives Wirtschaftssubjekt testen und stattdessen bekamen sie einen wirtschaftspsychologisch gestählten Probanden. Ist das nicht ein Problem für ein Experiment?

[Tengri Lethos]

An der Stelle auch Danke für das Beispiel mit dem ein Euro mehr bei 1,10 Preis. Das hat mir gestern 50 Cent gesichert.
War bei einem wirtschaftspsychologischen Verhaltensexperiment und u.a. kamen sechs genau solcher Fragen, die erste war genau das Beispiel und so wusste ich direkt, worum es geht.

Hattest Du denn Zeitdruck bei der Frage / den Fragen?

[bluttrinker13]

War bei einem wirtschaftspsychologischen Verhaltensexperiment und u.a. kamen sechs genau solcher Fragen, die erste war genau das Beispiel und so wusste ich direkt, worum es geht.

Sie wollten deine Reaktion als naives Wirtschaftssubjekt testen und stattdessen bekamen sie einen wirtschaftspsychologisch gestählten Probanden. Ist das nicht ein Problem für ein Experiment?

Jap, ist es. Ein generelles Problem auch psychologischer Forschung. Je bekannter deine Messinstrumente sind, und bei einigen en vogue Instrumenten der Sozialforschung wie dem CRT ist das nicht zu unterschätzen, desto größer die Gefahr das Probanden die Messungen schon kennen bzw. potentiell verzerrte Daten liefern. Verzerrt deshalb, weil eventuell eben nicht mehr der eigentlich anvisierte kognitive Prozess stattfindet (oder eben auch nicht), sondern stattdessen bspw einfach aus dem Gedächtnis abgerufen wird, oder auch sozial erwünscht geantwortet wird.

Teilweise aber auch ein hausgemachtes Problem, gerade durch die sprunghaft gestiegene Verbreitung von Onlinestudien mit großen Stichproben.

Der Proband hat natürlich keine Schuld daran, es liegt am Wissenschaftler dafür checks einzubauen!

[Don Mchawi]

Sie wollten deine Reaktion als naives Wirtschaftssubjekt testen und stattdessen bekamen sie einen wirtschaftspsychologisch gestählten Probanden. Ist das nicht ein Problem für ein Experiment?

Ich habe als Proband natürlich keinen Einblick in die Studie selbst bzw deren Aufbau und Ziel. Daher kann ich das mit Gewissheit nicht sagen, würde aber aus dem Bauch heraus sagen, dass für allgemeingültige Ergebnisse aber ja auch Teilnehmer, die vielleicht schon für bestimmte Tricks sensibilisiert sind, ihre Berechtigung haben - oder die damit vielleicht nicht mehr ein ganz so naives Wirtschaftsubjekt sind
Es waren insgesamt sechs Fragen, effektiv kannte ich zwei davon, wusste aber dadurch natürlich direkt, dass es logisch-mathematische Fangfragen sind und habe

Hattest Du denn Zeitdruck bei der Frage / den Fragen?

die jeweils sechzig Sekunden zur Beantwortung auch genutzt.

[bluttrinker13]

Daher kann ich das mit Gewissheit nicht sagen, würde aber aus dem Bauch heraus sagen, dass für allgemeingültige Ergebnisse aber ja auch Teilnehmer, die vielleicht schon für bestimmte Tricks sensibilisiert sind, ihre Berechtigung haben - oder die damit vielleicht nicht mehr ein ganz so naives Wirtschaftsubjekt sind

Dem würde ich als jemand der die Tasks selbst schon genutzt hat, und angesichts der Info das du unter Zeitdruck standest, was auf eine experimentelle Manipulation hinweist, widersprechen wollen.

Im bat & ball Problem soll geschaut werden, ob du von selbst unter den jeweiligen Bedingungen (bspw 60s Zeitdruck) dazu neigst dein System 1 die Arbeit machen zu lassen und die intuitiv aufpoppende Antwort zu wählen, oder dein System 2 "anschmeißt", die intuitive Antwort überprüfst und verwirfst und dann eine andere (bspw die richtige) gibst.

Das du jetzt vorher schon weißt, dass es sich hierbei um genau diese Dichotomie handelt und daher von vornherein genauer nachdenkst, verschafft dir sozusagen einen "Vorteil" gegenüber den anderen naiven Probanden in deiner Gruppe, wodurch dein Datensatz automatisch eine Art Ausreißer wird.
Der dahinter stehende Prozess gründet sich dann nicht auf deine Präferenzen zur Verarbeitung unter den angetroffenen Bedingungen, sondern auf dein Vorwissen und Gedächtnisinhalte. Ich bezweifle dass die Studie das abbilden wollte. Wenn es sich um ein Experiment handelte, so spielt Allgemeingültigkeit oder Repräsentativität auch keine Rolle, da Experimente erst mal nur Prozesse und Hypothesen möglichst sauber überprüfen sollen.

Noch mal, keinerlei "Schuld" oder ähnliches auf deiner Seite!
Ich möchte das nur in das rechte Licht rücken und auf ein mE interessantes methodisches Problem aufmerksam machen.
Der Versuchsleiter hätte bspw am Ende nachfragen müssen, ob dir Aufgaben schon bekannt vorkamen. Gleichzeitig ist ein Ausreißer auch überhaupt kein Beinbruch, nur ein Datenpunkt von vielen. Das kann kompensiert werden.
Wir benutzen das bat&ball aufgrund seiner Bekanntheit bei Studies mittlerweile gar nicht mehr, sondern neuere Abwandlungen davon. Was auch nicht unproblematisch ist, aber naja...

[Don Mchawi]

Noch mal, keinerlei "Schuld" oder ähnliches auf deiner Seite!

Keine Sorge, lese da auch absolut keinen Vorwurf raus.
Im Gegenteil, finde es sehr spannend, deine Ausführungen zu lesen. Ich kenn solche Experimente sonst vor allem aus Reportagen bspw in der National Geographic, die gerne mal solche Versuche aufgreifen. Und jetzt mal probeweise als Studienteilnehmer. Von daher fehlt mir absolut die Perspektive derjenigen, die sie konzipieren und auch tatsächlich leiten.
Aber liegt da nicht auch ein wenig ein grundsätzliches Problem mit diesen Experimenten? Ich weiß ja, dass ich an einem Experiment teilnehme. Selbst wenn ich nicht die erste Aufgabe schon gekannt hätte, hätte ich irgendwo eine Art doppelten Boden vermutet, einfach daher, weil es ein Experiment ist. Ich habe jetzt drei mal an solchen Versuchen teilgenommen und immer möglichst genau überlegt, wo da vlt doch mehr hinter der Aufgabe steckt. Einfach, weil ich das von solchen Experimenten erwarte. Ist ja auch dieses klassische Motiv, dass der Vorgang des Beobachtens selbst schon das Verhalten beeinflusst - insbesondere, da ich ja weiß, dass ich intensiv beobachtet werde.
Ist dass für den Aufbau irrelevant? Inwieweit hast du das zB bei deinen Durchführungen berücksichtigt?

[bluttrinker13]

...
Aber liegt da nicht auch ein wenig ein grundsätzliches Problem mit diesen Experimenten? ...

Puh, da machen wir n ganz schönes Faß auf. Grundsätzlich ja, siehe zig Bücher und Streitschriften in Wissenschaftstheorie und Methodologie. Aber auch nein.

Deshalb verkürzt meine Sichtweise: Die meisten Experimente haben kein Problem damit, dass der Proband um die Messung weiß (reaktive Messungen). Das ist immer in die Designplanung mit einzubeziehen und bspw darauf zu achten, dass die Probanden nicht systematisch Hypothesen ausbilden die mit dem Versuchszweck interferieren, jedoch ist das "Wissen um die Beobachung" meist etwas was in Kauf genommen wird. Geht das nicht so einfach, muss man sich Gedanken um "nonreaktive" Messungen machen. Oder den Probanden irreführen. Was ethisch problematisch ist und deshalb gar nicht so oft vorkommt wie die Leute immer glauben.

Ansonsten, bei unserem Beispiel, ist das Wissen um die Beobachtung kein systematischer Störfaktor, denn dieses Wissen teilen alle Probanden gleichermaßen. Sie mögen das bat&ball dann meinetwegen immer noch etwas unterschiedlich interpretieren, also innerhalb ihrer Gruppen/Bedingungen noch etwas unterschiedlich auf die Aufgabe reagieren, aber das verbuchen wir unter "Fehlervarianz" und gleichen es bspw durch mehr Probanden oder mehr Messungen aus. Gleichzeitig ist die Erfahrung, sind die Probanden gefordert denken sie garnicht mal so tief über den hintergründigen Zweck nach, sondern konzentrieren sich auf die Aufgaben, die meist auch sehr zahlreich sind. Die paar die "abweichen" und meinetwegen nicht wie intendiert auf die Aufgabe reagieren (darunter könntest auch du mit Vorwissen fallen) kann man darüber hinaus statistisch oder methodisch ermitteln und filtern.

Wir fragen bspw am Ende nach ob Aufgaben bekannt vorkamen, ebenso kann man am Anfang gut vorherige "Versuchserfahrungen" erfragen. Auch sollte man vorsichtig mit modischen Messverfahren in potentuiell vorgebildeten Studentenstichproben sein. Habe ich damit Sorgen, kann ich mir andere naive Probanden bspw im Internet suchen.
Ansonsten gibt es noch viele Arten von Manipulationschecks, bspw in der 60sek Bedingung herrschte wahrscheinlich Zeitdruck. Ob das zutrifft auf Ebene des Probanden könnte ich bspw checken indem ich am Ende mittels Items abfrage, ob er sich unter Druck gesetzt gefühlt hat oder mir die Response times anschaue und das über die Gruppen hinweg vergleiche.

TL;DR Das der Ball die schiefe Ebene runterrollt, und dieses unabhängig davon, ob wir ihm dabei zusehen oder nicht, auch immer wieder tut, ist ein Vorzug den Sozialwissenschaften und Psychologie naturgemäß nicht haben. Allerdings kann man das auch ausgleichen, kompensieren, durch cleveren Versuchsaufbau irrelevant machen.

[monieu]

Für die Grundlagenforschung können mitlernende Probanden, ein bewegliches Ziel sozusagen, durchaus ein Problem sein. Auch ein Puzzleteil der Reproduzierbarkeitskrise, obwohl es da natürlich ganz andere Probleme gibt. Erinnert mich an diese Geschichte über Paul Ekman, der auf Papua-Neuguinea noch ein paar Menschen aufgetrieben hat, von denen man annehmen konnte, dass sie noch nicht mit den westlichen Gefühlsausdrücken "kontaminiert" sind, und mit denen sich die Universalität der Zuordnung Emotion/Gesichtsausdruck in einem komplizierten Verfahren mehr oder weniger überzeugend demonstrieren ließ.

Das wirkliche Fass ist meines Erachtens übrigens System 1 und 2, aber da lasse ich die Finger von.

[Don Mchawi]

Puh, da machen wir n ganz schönes Faß auf. Grundsätzlich ja, siehe zig Bücher und Streitschriften in Wissenschaftstheorie und Methodologie. Aber auch nein.

Danke für deine Ausführungen. Fände es tatsächlich spannend, mal mehr Einblick in die Gestaltung und Denkprozesse eines solchen Versuches zu gelangen. Da gibt es doch garantiert irgendeine auch für Laien nachvollziehbare Literatur dazu.

[bluttrinker13]

Das wirkliche Fass ist meines Erachtens übrigens System 1 und 2, aber da lasse ich die Finger von.

Lol ja, you don't want to go down that road.

[bluttrinker13]

Danke für deine Ausführungen. Fände es tatsächlich spannend, mal mehr Einblick in die Gestaltung und Denkprozesse eines solchen Versuches zu gelangen. Da gibt es doch garantiert irgendeine auch für Laien nachvollziehbare Literatur dazu.

"Richtige" Methodenbücher sind allesamt trocken und tiefgründig. Aber ich habe "Das psychologische Experiment" von Oswald Huber als eine gute und eher leicht verdauliche Einführung im Gedächtnis, die man auch Erstis gern gegeben hat.

[Don Mchawi]

"Richtige" Methodenbücher sind allesamt trocken und tiefgründig. Aber ich habe "Das psychologische Experiment" von Oswald Huber als eine gute und eher leicht verdauliche Einführung im Gedächtnis, die man auch Erstis gern gegeben hat.

Danke, werde es mir mal ansehen.