Nachgeforscht: Wissenschaftliche Studien verstehen - Teil 1&2

Alles, was nicht in ein anderes Forum gehört: Hier rein
Forumsregeln
Datenschutzerklärung: https://www.gamespodcast.de/datenschutzerklaerung/
Impressum: https://www.gamespodcast.de/impressum/

Forenregeln und zukünftige Weltverfassung
ART 1: Behandle andere Nutzer mit Respekt.
ART 2: Do NOT piss off the Podcasters

Lies bitte weitere Hinweise hier: viewtopic.php?f=4&t=2789
monieu
Beiträge: 230
Registriert: 20. Feb 2018, 00:46

Re: Nachgeforscht: Wissenschaftliche Studien verstehen - Teil 1&2

Beitrag von monieu » 21. Jun 2019, 17:06

bluttrinker13 hat geschrieben:
19. Jun 2019, 19:10
Beim Publizieren ist es nicht unüblich (und bei Dissertationsverteidigungen sowieso), absichtlich leicht ausbesserbare Fehler, oder eher: Lücken, einzubauen. Nennt sich reviewer bait. Kann gut funktionieren, der Vorteil ist, dass man dann die Kritik schon absehen kann, damit kontrollierter macht und die Lösung in der Schublade hat. Machen nicht wenige in dem Business. ;)
Schrecklich. Da muss ich mir direkt die Augen zuhalten. Gaming sollte auf gaming beschränkt sein.

Benutzeravatar
bluttrinker13
Beiträge: 1800
Registriert: 4. Jun 2016, 22:44

Re: Nachgeforscht: Wissenschaftliche Studien verstehen - Teil 1&2

Beitrag von bluttrinker13 » 21. Jun 2019, 19:02

biaaas hat geschrieben:
21. Jun 2019, 16:17
bluttrinker13 hat geschrieben:
20. Jun 2019, 19:32
@biaaas: Guter Punkt, das wird nur im high tier Bereich gemacht, wo die harten Bandagen wohnen, habe ich aber auch schon mitbekommen.
Nicht unbedingt, kommt auch ein bisschen darauf an wie viel Paranoia im Spiel ist.
Stimmt. Solche Kollegen sind dann in der Zusammenarbeit recht ätzend, da sie überall Verschwörung wittern. Anfällig für biases mEn dann auch. Sie sehen es dann aber ohnehin als high tier, bzw. hot topic, unabhängig davon was der Rest der Welt denkt.

Benutzeravatar
bluttrinker13
Beiträge: 1800
Registriert: 4. Jun 2016, 22:44

Re: Nachgeforscht: Wissenschaftliche Studien verstehen - Teil 1&2

Beitrag von bluttrinker13 » 21. Jun 2019, 19:04

monieu hat geschrieben:
21. Jun 2019, 17:06
bluttrinker13 hat geschrieben:
19. Jun 2019, 19:10
Beim Publizieren ist es nicht unüblich (und bei Dissertationsverteidigungen sowieso), absichtlich leicht ausbesserbare Fehler, oder eher: Lücken, einzubauen. Nennt sich reviewer bait. Kann gut funktionieren, der Vorteil ist, dass man dann die Kritik schon absehen kann, damit kontrollierter macht und die Lösung in der Schublade hat. Machen nicht wenige in dem Business. ;)
Schrecklich. Da muss ich mir direkt die Augen zuhalten. Gaming sollte auf gaming beschränkt sein.
Wie darf ich das verstehen?

Dies ist ein Thread über ein Nachgeforscht Thema was sich direkt mit Publikationen und Publizieren in Psychologie bzw. empirischen Wissenschaften beschäftigt. Warum sollte man da nicht aus dem Nähkästchen plaudern?

Benutzeravatar
schneeland
Beiträge: 525
Registriert: 22. Apr 2018, 15:41

Re: Nachgeforscht: Wissenschaftliche Studien verstehen - Teil 1&2

Beitrag von schneeland » 21. Jun 2019, 20:38

Man könnte zudem noch ergänzen, dass so etwas, je nach Fachrichtung, unterschiedlich hart gespielt wird - in "meinem" Bereich (Informatik) ist mir das bei Bachelor- und Masterarbeitsvorträgen noch gar nicht, in Dissertationsverteidigung nur sehr untergekommen. Oft genug ist es aber natürlich so, dass man allein aus Zeitgründen nicht das komplette Material unterbringen kann und deshalb eine mehr oder weniger große Menge Backup-Folien hat, die man dann auch in der anschließenden Diskussion hervorziehen kann. Die Grenzen sind da m.E. relativ fließend.
"Hello, my friend! Pay a while, and listen!" (BlizzCon 2018)
"And now our RPG even has NPCs!" (Bethesda, E3 2019)

monieu
Beiträge: 230
Registriert: 20. Feb 2018, 00:46

Re: Nachgeforscht: Wissenschaftliche Studien verstehen - Teil 1&2

Beitrag von monieu » 21. Jun 2019, 23:36

bluttrinker13 hat geschrieben:
21. Jun 2019, 19:04
Wie darf ich das verstehen?

Dies ist ein Thread über ein Nachgeforscht Thema was sich direkt mit Publikationen und Publizieren in Psychologie bzw. empirischen Wissenschaften beschäftigt. Warum sollte man da nicht aus dem Nähkästchen plaudern?
Es ist ein Metakommentar, dass gaming in sozialen Systemen (genauer der Spielraum für gaming) unerwünscht ist. Im Gegensatz zum gaming in naja games eben. Wobei man über letzteres vermutlich auch streiten kann (in einem anderen Thread). Natürlich ist das Problem nicht die Existenz dieser "Tricks" offenzulegen - im Gegenteil - aber es eben auch unschön den Strukturen beim Versagen zuzusehen, wenn man gleichzeitig weiß, wie sehr sie teilweise überhöht werden.

RinserofWinds
Beiträge: 4
Registriert: 18. Mär 2019, 01:29

Re: Nachgeforscht: Wissenschaftliche Studien verstehen - Teil 1&2

Beitrag von RinserofWinds » 22. Jun 2019, 00:01

Den ersten Thread hätte ich ohne das Zusammenlegen gar nicht gesehen.
Vielen Dank dafür und die vielen interessanten Beiträge.

Benutzeravatar
bluttrinker13
Beiträge: 1800
Registriert: 4. Jun 2016, 22:44

Re: Nachgeforscht: Wissenschaftliche Studien verstehen - Teil 1&2

Beitrag von bluttrinker13 » 22. Jun 2019, 00:33

monieu hat geschrieben:
21. Jun 2019, 23:36

Es ist ein Metakommentar, dass gaming in sozialen Systemen (genauer der Spielraum für gaming) unerwünscht ist. Im Gegensatz zum gaming in naja games eben. Wobei man über letzteres vermutlich auch streiten kann (in einem anderen Thread). Natürlich ist das Problem nicht die Existenz dieser "Tricks" offenzulegen - im Gegenteil - aber es eben auch unschön den Strukturen beim Versagen zuzusehen, wenn man gleichzeitig weiß, wie sehr sie teilweise überhöht werden.
Ok. Da sich mein von dir zitierter Kommentar überhaupt nicht auf Gaming bezog, bin ich hier weiterhin at a loss.

Ist aber auch nicht schlimm. ;)

Benutzeravatar
schneeland
Beiträge: 525
Registriert: 22. Apr 2018, 15:41

Re: Nachgeforscht: Wissenschaftliche Studien verstehen - Teil 1&2

Beitrag von schneeland » 22. Jun 2019, 00:43

bluttrinker13 hat geschrieben:
22. Jun 2019, 00:33
monieu hat geschrieben:
21. Jun 2019, 23:36

Es ist ein Metakommentar, dass gaming in sozialen Systemen (genauer der Spielraum für gaming) unerwünscht ist. Im Gegensatz zum gaming in naja games eben. Wobei man über letzteres vermutlich auch streiten kann (in einem anderen Thread). Natürlich ist das Problem nicht die Existenz dieser "Tricks" offenzulegen - im Gegenteil - aber es eben auch unschön den Strukturen beim Versagen zuzusehen, wenn man gleichzeitig weiß, wie sehr sie teilweise überhöht werden.
Ok. Da sich mein von dir zitierter Kommentar überhaupt nicht auf Gaming bezog, bin ich hier weiterhin at a loss.
Ich glaube, monieu möchte Dir sagen, dass ihn/sie das unglücklich macht, wenn jemand "das System" so austrickst/gamed, wie hier beschrieben, bzw. wenn sich das System auf solch einfache Weise austricksen lässt. Insbesondere wenn es um ein System wie die Wissenschaft geht, dem grundsätzlich ein hohes Vertrauen entgegen bringt.

Bei Spielen stört ihn/sie das weniger (aber auch ein bisschen).
"Hello, my friend! Pay a while, and listen!" (BlizzCon 2018)
"And now our RPG even has NPCs!" (Bethesda, E3 2019)

monieu
Beiträge: 230
Registriert: 20. Feb 2018, 00:46

Re: Nachgeforscht: Wissenschaftliche Studien verstehen - Teil 1&2

Beitrag von monieu » 22. Jun 2019, 12:18

schneeland hat geschrieben:
22. Jun 2019, 00:43
Ich glaube, monieu möchte Dir sagen, dass ihn/sie das unglücklich macht, wenn jemand "das System" so austrickst/gamed, wie hier beschrieben, bzw. wenn sich das System auf solch einfache Weise austricksen lässt. Insbesondere wenn es um ein System wie die Wissenschaft geht, dem grundsätzlich ein hohes Vertrauen entgegen bringt.
Genau, gaming meint hier, man interagiert nicht im Sinne der Struktur, sondern umgeht sie, weil andere Ziele wichtiger sind. Am konkreten Beispiel, im Sinne des review-Prozesses ist es eine Arbeit abzuliefern, die innerhalb der Möglichkeiten das beste Ergebnis darstellt. Fehler einzubauen ist eine Umgehung mit einem anderem Ziel, wie zum Beispiel den Prozess zu straffen, also möglichst die kritische Betrachtung durch den reviewer mit Trivialitäten zu erschöpfen. In einem Spieleforum konnte ich das Wortspiel natürlich nicht liegenlassen.

Beim Vertrauen geht es weniger um die Wissenschaft insgesamt als konkret um Kontrollstrukturen wie eben das peer review-Verfahren. Viele Leute verweisen gerade im post truth-Diskurs darauf, dass diese Kontrollen das Vertrauen in die Wissenschaft begründen. Über einen längeren Zeithorizont ist mein Vertrauen in die Wissenschaft hoch (wobei das im Detail von der Nachweiszugänglichkeit abhängt).
schneeland hat geschrieben:
22. Jun 2019, 00:43
Bei Spielen stört ihn/sie das weniger (aber auch ein bisschen).
Das ist so unter Umständen möglicherweise nicht ganz richtig. Aber wie gesagt, ist ein anderes Thema. ;)

Benutzeravatar
bluttrinker13
Beiträge: 1800
Registriert: 4. Jun 2016, 22:44

Re: Nachgeforscht: Wissenschaftliche Studien verstehen - Teil 1&2

Beitrag von bluttrinker13 » 22. Jun 2019, 12:45

Ok, dann verstehe ich das nun besser, auch wenn das mE hätte klarer formuliert werden können, vor allem kontextualisiert.

Finde die Kritik an solcherart taktischem Vorgehen aber ehrlich gesagt fehl am Platze, bzw. stark übertrieben. "Das System" Wissenschaft basiert auf der Arbeit von Menschen und ist, wie alles andere auch, ein business. Dies ist eine allgemein geteilte Meinung eines Großteils der Leute die in ihm arbeiten. Als Struktur hat dieses System eklatante Probleme und Schwächen, hinzu kommen normale menschliche Schwächen.
Strukturschwächen: Befristungen, Leistungsdruck, Publish or Perish -> Quantität vor Qualität. Momentan bei uns in der Psychologie, aber auch in anderen Humanwissenschaften ein Riesending, Fraud Fälle, Ungenauigkeiten, Replikationsfehler - alles natürliche Folgen einer "Mehr ist Besser" Kultur. Nichtsdestotrotz eine Struktur die von vielen aktiv angestrebt und gewollt wurde, auch politisch, und die heute immer noch viel mehr Fans hat als Gegner.
Menschliche Schwächen: Lagerdenken, persönliche Animositäten, Konkurrenzdenken, hier wurden schon Bsp genannt. Ich habe selbst schon mehrfach erlebt, wie ein Reviewprozess recht persönlich und auch unfair werden kann. Zumal man als Autor immer am kürzeren Hebel sitzt (Bsp: Editor und 1st Reviewer können so positiv sein wie sie wollen, wenn der 2nd reviewer nicht will, gibt es erst mal kein accepted, allenfalls einen 3rd reviewer).
Das soll nicht heißen, dass das die Norm ist. In 80% der Fälle funktioniert das peer review mE gut, im Rest kann es zu mangelnder Kritik oder überbordender Kritik kommen. In diesem Licht ist es nachvollziehbar, wenn manche Leute, die nächstes Jahr sonst evt keinen Job mehr haben, versuchen, taktisch etwas Kontrolle reinzubringen.

Da jetzt einen Maßstab anzulegen der für mich Perfektheit und die reine Suche nach dem "Wahren und Schönen" suggeriert, ist unfair gegenüber den Leuten die in dem System arbeiten und leben müssen (spätestens als Postdoc bist du festgelegt). In einem solchen System in welchem es für viele AUCH um konstante Bewährung und die nächste Stelle geht ist es psychologisch gesehen eigentlich fast logisch, dass versucht wird Kontrolle reinzubringen wo es nur geht. Dazu gehört beschriebene Lücken-Taktik (hören wir mal auf hier von Fehlern zu reden). Das ist mE auch weder unsachlich noch "Trickserei" denn (1) wenn man es übertreibt gibt es schnell einen Backlash, weil man einfach wirkt als hätte man unsauber und unklug gearbeitet, (2) es verbietet einem keiner und niemand, denn bei allen Präsentationen und Publikationen hat man die freie Wahl, was und wie selektiert wird im Inhalt. Genannte Leerstellen vernichten damit weder Sinn noch Aussage der Arbeit, sondern zielen eher darauf ab, Genauigkeitsfragen zu triggern, auf die dann bereits eine Antwort vorliegt. Gründe siehe oben. Noch mal, es ist daher keine Trickserei, sondern im Rahmen des Ermessensspielraum der natürlich gegeben ist.

Das mit dem Vertrauen in die Wissenschaft ist folglich auch eine heikle und schwierige Frage. Wer zu 100% allen wissenschaftlichen Ergebnissen vertraut, dem ist nicht zu helfen. Wer Wissenschaft zu 100% ablehnt, dem auch nicht. Der wahre Wert liegt irgendwo dazwischen,kam im Podcast am Anfang mE auch gut rüber. Ich liebe die Wissenschaft und versuche hier jederzeit gute und valide Arbeit abzuliefern. Wissenschaftstheorie und Ethik sind mir dabei keine Fremdworte, im Gegenteil (viel unterrichtet in dem Bereich). Gleichzeitig bestehen genannte Zwänge, Leistungsdruck und Drittmittel, die nach geeigneten Strategien verlangen wie man ihnen begegnet. Disclaimer: Hätte ich nicht irgendwann während meiner Doktorandenphase das mit dem Business geschnallt, wäre ich jetzt nicht mehr in der Wissenschaft weil ich es nicht bis hier gepackt hätte, das ist sicher.

Ich denke die meisten meiner Kollegen halten es ebenso. Und dann gibt es, wie in jedem Business, eben ein paar schwarze Schafe. Leider sind die auch meist noch recht erfolgreich in der aktuellen Struktur. Das muss sich ändern, wird es aber nur in geringem Ausmaß in absehbarer Zeit, solange die obige Struktur sich nicht ändert. ;)

monieu
Beiträge: 230
Registriert: 20. Feb 2018, 00:46

Re: Nachgeforscht: Wissenschaftliche Studien verstehen - Teil 1&2

Beitrag von monieu » 22. Jun 2019, 14:38

@bluttrinker13: Ich nehme an, du hast auf die Erklärung von schneeland geantwortet. Denn deine Einwände habe ich denke ich oben angesprochen.

Drei Ergänzungen:
bluttrinker13 hat geschrieben:
22. Jun 2019, 12:45
Da jetzt einen Maßstab anzulegen der für mich Perfektheit und die reine Suche nach dem "Wahren und Schönen" suggeriert,
Ähm, also soweit bin ich nicht gekommen.
bluttrinker13 hat geschrieben:
22. Jun 2019, 12:45
Dazu gehört beschriebene Lücken-Taktik (hören wir mal auf hier von Fehlern zu reden). Das ist mE auch weder unsachlich noch "Trickserei" denn (1) wenn man es übertreibt gibt es schnell einen Backlash, weil man einfach wirkt als hätte man unsauber und unklug gearbeitet, (2) es verbietet einem keiner und niemand, denn bei allen Präsentationen und Publikationen hat man die freie Wahl, was und wie selektiert wird im Inhalt.
Es ist gaming - um beim ursprünglichen Begriff zu bleiben - wenn die Selektion nicht dem review-Prozess dient, sondern seiner Umgehung im weiteren Sinne. Ein Gegenbeispiel: Man lässt etwas weg, weil man glaubt so die Aufmerksamkeit auf das zu lenken, was man für den wichtigsten Aspekt der Arbeit hält. In dem Fall hätte man den review-Prozess trotzdem im Auge. Aber da gibt es sicherlich eine Grauzone.

Schließlich, eine Kritik habe ich noch gar nicht formuliert, sondern eher ein Unbehagen zum Ausdruck gebracht. Diese Kritik würde ich auch nicht auf die Person beziehen, die gaming betreibt. Denn das ist zu erwarten, wenn Spielräume und Motivation gegeben sind. Und natürlich sind soziale Strukturen immer anfällig. Die Vorstellung gaming vollständig zu eliminieren wäre fehlgeleitet. (Meine Formulierung war also nicht nur ein Wortspiel sondern auch ein frommer Wunsch.) Aber die Frage, die man sich durchaus stellen sollte, wenn es bereits ein gutes Verständnis und sogar eine eigene Terminologie für die Manipulation bestimmter Kontrollstrukturen gibt, wie kann man sich sicher sein, dass sie gut funktionieren? Ich gehe davon aus, deine 80% sind keine empirisch bestimmter Anteil. Was wenn die peer review-Verfahren in manchen Konstellationen nur zu 40% funktionieren? Genauso ein "paar schwarze Schafe", was wenn es eine Herde ist? "Zu 100% allen wissenschaftlichen Ergebnissen vertraut", was wenn gelegentlich "0%" angebracht sind? Ein Ansatzpunkt für die Kritik könnte sein, wie informiert gibt man sich mit dem Istzustand zufrieden und erklärt ihn für gut genug - was man ohne Zweifel irgendwann muss. Das gilt nicht nur für die Wissenschaft sondern für alle sozialen Systeme.

Die von dir vorgetragene Binnenkritik würde ich teilen, aber so wird Wissenschaft meines Erachtens nicht verkauft, nicht nach außen und zu einem guten Teil auch nicht nach innen. Übrigens auch völlig verständlich, dass das schwierig ist, denn natürlich möchte man niemanden Munition liefern, dem man schlechte Motive unterstellen muss, oder sich in einem nachteiligen Diskursumfeld Nuancen ans Bein binden.

Elfant
Beiträge: 20
Registriert: 4. Jun 2018, 17:43

Re: Nachgeforscht: Wissenschaftliche Studien verstehen - Teil 1&2

Beitrag von Elfant » 23. Jun 2019, 08:51

monieu hat geschrieben:
22. Jun 2019, 14:38
Es ist gaming - um beim ursprünglichen Begriff zu bleiben - wenn die Selektion nicht dem review-Prozess dient, sondern seiner Umgehung im weiteren Sinne. Ein Gegenbeispiel: Man lässt etwas weg, weil man glaubt so die Aufmerksamkeit auf das zu lenken, was man für den wichtigsten Aspekt der Arbeit hält. In dem Fall hätte man den review-Prozess trotzdem im Auge. Aber da gibt es sicherlich eine Grauzone.
Für mich, als jemanden ohne einen wissenschaftlichen / universitären Hintergrund, ist es schlicht eine übliche Gesprächs - / Diskussionstatik zur Lenkung von selbigen und als solche zumindest älter als die moderne Wissenschaft seit Kepler.

Ich fand Andrés Aussagen zum Polygrafen recht interessant. Dies mag eine allgemeine Ansicht sein und auch ich musste mich da bei einer anderen Gerätschaft auch schon eines besseren belehren lassen, aber eigentlich ist es schon interessant, wie weit wir gerne ein Gerät zur Datenerhebung mit der Interpretation der Daten gleichsetzten.

Benutzeravatar
philoponus
Beiträge: 890
Registriert: 4. Apr 2017, 18:18
Kontaktdaten:

Re: Nachgeforscht: Wissenschaftliche Studien verstehen - Teil 1&2

Beitrag von philoponus » 23. Jun 2019, 09:11

Die Qualität psychologischer Studien wird ja seit ein paar Jahren sehr kritisch diskutiert. Einerseits hat man ergebnislos versucht, einige klassische Studien zu reproduzieren, die in vielen Lehrbüchern stehen. Andererseits ist inzwischen das Problem erkannt, dass man mit den üblichen Versuchsobjekten (junge Studenten aus der Mittelschicht) nur schwer alle Menschen simulieren kann.

monieu
Beiträge: 230
Registriert: 20. Feb 2018, 00:46

Re: Nachgeforscht: Wissenschaftliche Studien verstehen - Teil 1&2

Beitrag von monieu » 23. Jun 2019, 11:49

Elfant hat geschrieben:
23. Jun 2019, 08:51
monieu hat geschrieben:
22. Jun 2019, 14:38
Es ist gaming - um beim ursprünglichen Begriff zu bleiben - wenn die Selektion nicht dem review-Prozess dient, sondern seiner Umgehung im weiteren Sinne. Ein Gegenbeispiel: Man lässt etwas weg, weil man glaubt so die Aufmerksamkeit auf das zu lenken, was man für den wichtigsten Aspekt der Arbeit hält. In dem Fall hätte man den review-Prozess trotzdem im Auge. Aber da gibt es sicherlich eine Grauzone.
Für mich, als jemanden ohne einen wissenschaftlichen / universitären Hintergrund, ist es schlicht eine übliche Gesprächs - / Diskussionstatik zur Lenkung von selbigen und als solche zumindest älter als die moderne Wissenschaft seit Kepler.
Was meinst du genau? "Reviewer bait" oder mein Gegenbeispiel?
philoponus hat geschrieben:
23. Jun 2019, 09:11
Die Qualität psychologischer Studien wird ja seit ein paar Jahren sehr kritisch diskutiert. Einerseits hat man ergebnislos versucht, einige klassische Studien zu reproduzieren,
Die replication crisis geht über die Psychologie noch hinaus.

Benutzeravatar
bluttrinker13
Beiträge: 1800
Registriert: 4. Jun 2016, 22:44

Re: Nachgeforscht: Wissenschaftliche Studien verstehen - Teil 1&2

Beitrag von bluttrinker13 » 23. Jun 2019, 13:01

@ monieu Ich habe mehr oder weniger auf euch beide geantwortet, in seinem Falle die Interpretation deines Gesagten, weil mir wie gesagt anfangs schleierhaft war, worauf sich das "Augen zuhalten" bezog. ;)
Ich finde die Klarheit immer noch nicht prickelnd (bspw gehe ich bei 'gaming' als Bezeichnung für die zielführende Umgehung von Strukturen nicht mit), aber verstehe deine Ansicht etwas besser.
Es las sich für mich durchaus wie eine Kritik der Lücken-Taktik bzw. Reviewer-baitings, und das wollte ich so nicht stehen lassen. Das mit der Suggestion des Primat eines "Wahren und Schönen" gründet auf Schneelands und deinen Aussagen die in Richtung eines "Der Sinn des Systems" gehen, worauf ich erwiderte der Sinn des peer review Systems ist realistische Qualitätssicherung, die mE keinesfalls ausschließt das sowohl Reviewer als auch Be-Reviewter hier Strategien anwenden um ihre Ziele zu erreichen, denn man KANN die Struktur gar nicht ohne diese Ziele sehen, ohne sie gäbe es keine. Dass das Einbauen von Lücken bzw. reviewer bait nicht diesem Sinn oder System dient, sehe ich einfach nicht und glaube ich auch nicht. Insofern bezog sich mein gesamter Widerspruch nur darauf, hier für eine Legitimität von Kontrolltaktiken zu argumentieren, am Bsp der reviewer bait, die für die Betreffenden subjektiv gut begründet sind.

Zu deinen Fragen: die 80% sind schon eine empirische Vermutung, aber eben nicht systematisiert oder kontrolliert, deshalb auch und natürlich in Zweifel zu ziehen. Sie basieren auf meiner subjektiven Erfahrung als Reviewer und Be-Reviewter (?) sowie Gesprächen mit Kollegen. Ist die Zahl jetzt geringer? Vielleicht. Manche vermuten das. Sind 40% -0% (also quasi ein Totalausfall des peer reviews) wahrscheinlich? Nein, sind sie nicht, weil dann erst erklärt werden müsste wieso kein einziger Editor auf der Erde eigentlich seinen Job macht und das sich komplett nicht mit meinen Erfahrungen decken würde. Das mit den schwarzen Schafen... du, die Zahl wüsste ich auch gern. Fraud-Fälle haben sich in der letzten Dekade+ extrem gehäuft, in allen empirischen Wissenschaften, was für mich anzeigt dass da eine Sensibilität gerade erst im Bilden begriffen ist. Es sind aber auch schon Prozesse angelaufen, dem zu begegnen, also den wirklich krassen Missbrauchsfällen. Kleine Vorfälle von hier und da mal unsauber gearbeitet im Sinne der Hypothese und des Endprodukts, ich glaube das kommt noch viel häufiger vor, und ist wiederum eigentlich nur Bewältigungsverhalten unter Druck (oder eben 'gaming' in deiner Nomenklatur ;)). Gleichzeitig kann man aber auch festhalten, dass es immer noch kein Erkenntnis-System gibt das es an kritisch prüfbarer und geprüfter Objektivität und Validität mit der modernen Wissenschaft aufnehmen kann.
Insofern schrieb ich ja, wer der Wissenschaft zu 100% alles glaubt wird sich zwangsläufig auch mal irren und falsch liegen. 0% ist aber mE noch viel mehr unangebracht. Insofern - richtig, die Gretchenfrage ist wie kann man sein Vertrauen auf eine informierte Basis stellen? ME geht das so wie die Wissenschaft aktuell funktioniert eigentlich nicht. Wir sehen ja wie lang und komplex allein dieser eine Podcast geworden ist und er hat manche Dinge noch nicht mal gestreift. Ich persönlich hoffe dass die Strukturen der Wissenschaftskommunikation weiter wachsen werden, und das die Maßnahmen die im Zuge von Fraud und Replication crisis angelaufen sind, bald greifen. Allein wie gesagt, solange es publish or perish gibt und Erfolg = Quantität bedeutet, für die Masse, wird es so bleiben wie es ist.

Insofern: Du hast völlig recht, man kann sich bei diesen Dingen auf gar keinen festen Standpunkt stellen der nur für die Wissenschaft oder gar Disziplin xy zutrifft. Das gesamte soziale System muss mitgedacht werden und wenn Wissenschaft reformiert werden soll, muss das zwangsläufig auch mit einer Reformierung des wirtschaftlichen Denkens einhergehen, nur als ein Beispiel.

PS: Monieu, ich schätze deine philosophisch tiefgründigen Beiträge immer sehr, manchmal habe ich aber wirklich ein Problem damit zu verstehen was du genau meinst. Bitte nicht böse sein. ;)

PPS: Replikationskrise hatte ich ja schon angesprochen, und ja, die zieht sich bis in Biologie, Medizin und glaube ich seit neuestem auch Chemie. In der Psychologie hat's angefangen, und da bin ich ehemals schockiert gewesen, heute froh und stolz denn in nur 6 Jahren ist hier bereits einiges passiert was hoffen lässt auf zumindest bessere Forschungspraktiken (wenn nicht schon bessere Strukturen). Diese Replikationskrise ist aber völlig unabhängig von der Art der Probanden in der Psy zu sehen, was auch ein spannendes und kritikwürdiges Thema ist, welches aber viel weniger wichtig ist, denn die meiste Grundlagenforschung braucht keine spezifischen Populationen.

Elfant
Beiträge: 20
Registriert: 4. Jun 2018, 17:43

Re: Nachgeforscht: Wissenschaftliche Studien verstehen - Teil 1&2

Beitrag von Elfant » 23. Jun 2019, 15:15

monieu hat geschrieben:
23. Jun 2019, 11:49
Elfant hat geschrieben:
23. Jun 2019, 08:51
monieu hat geschrieben:
22. Jun 2019, 14:38
Es ist gaming - um beim ursprünglichen Begriff zu bleiben - wenn die Selektion nicht dem review-Prozess dient, sondern seiner Umgehung im weiteren Sinne. Ein Gegenbeispiel: Man lässt etwas weg, weil man glaubt so die Aufmerksamkeit auf das zu lenken, was man für den wichtigsten Aspekt der Arbeit hält. In dem Fall hätte man den review-Prozess trotzdem im Auge. Aber da gibt es sicherlich eine Grauzone.
Für mich, als jemanden ohne einen wissenschaftlichen / universitären Hintergrund, ist es schlicht eine übliche Gesprächs - / Diskussionstatik zur Lenkung von selbigen und als solche zumindest älter als die moderne Wissenschaft seit Kepler.
Was meinst du genau? "Reviewer bait" oder mein Gegenbeispiel?
Genaugenommen beides. Bluttrinker geht in Richtiung der Stärkung der eigenen Kompetenz, während Du den Aspekt der Täuschung in Zusammenhang mit den "niedrig hängenden Früchten" stärker beachtest. Der dritte Aspekt der Falle sollte im Reviewprozeß keine Rolle spielen. Mit "Reviewer Bait"
gibt man den Kind zwar einen anderen Namen, aber aus meiner Sicht ist es die gleiche Tatik wie bei einer Diskussion.

Benutzeravatar
bluttrinker13
Beiträge: 1800
Registriert: 4. Jun 2016, 22:44

Re: Nachgeforscht: Wissenschaftliche Studien verstehen - Teil 1&2

Beitrag von bluttrinker13 » 23. Jun 2019, 15:30

Elfant hat geschrieben:
23. Jun 2019, 15:15
Mit "Reviewer Bait"
gibt man den Kind zwar einen anderen Namen, aber aus meiner Sicht ist es die gleiche Tatik wie bei einer Diskussion.
Ja, sehe ich auch so und würde es ebenso einordnen. Mir ist der Gedanke noch gar nicht gekommen dass hier evt die Bezeichnung, "reviewer bait", das Problem sein könnte. Ist einfach informell der Begriff... :D

monieu
Beiträge: 230
Registriert: 20. Feb 2018, 00:46

Re: Nachgeforscht: Wissenschaftliche Studien verstehen - Teil 1&2

Beitrag von monieu » 23. Jun 2019, 16:04

Genaugenommen habe ich besonders auf "Fehler einbauen" reagiert. Im Prinzip habe ich das so gelesen:
bluttrinker13 hat geschrieben:
19. Jun 2019, 19:10
Beim Publizieren ist es nicht unüblich (und bei Dissertationsverteidigungen sowieso), absichtlich leicht ausbesserbare Fehler, oder eher: Lücken, einzubauen. Nennt sich reviewer bait.
Ohgottohgottohgott.

;)

Ich schaue mal, ob ich das mit dem Sinn nochmal anders verdeutlichen kann.
bluttrinker13 hat geschrieben:
23. Jun 2019, 13:01
PS: Monieu, ich schätze deine philosophisch tiefgründigen Beiträge immer sehr, manchmal habe ich aber wirklich ein Problem damit zu verstehen was du genau meinst. Bitte nicht böse sein. ;)
Kein Problem. Tatsächlich passiert es nicht selten, dass ich einem kurzen Einwurf von mir 10-15 Absätze hinterherschreiben muss, um mich zu erklären. :D

monieu
Beiträge: 230
Registriert: 20. Feb 2018, 00:46

Re: Nachgeforscht: Wissenschaftliche Studien verstehen - Teil 1&2

Beitrag von monieu » 23. Jun 2019, 19:49

(Hier noch ein paar Absätze mehr.)

Vielleicht nochmal ganz kurz zu Anfang: Das reviewer bait-Beispiel ist nicht der Untergang der Welt und es hängt von den Details des Einzelfalls ab, ob ich es für legitim oder illegitim halten würde. Der Begriff war mir auch vertraut, aber als übliche Handlungsempfehlung zumindestens noch nicht untergekommen. Vorallem hat es mich in dem Moment mal wieder daran erinnert, dass auf allen Ebenen Zielkonflikte bestehen und kumulativ erzeugen die durchaus Probleme.
bluttrinker13 hat geschrieben:
23. Jun 2019, 13:01
(bspw gehe ich bei 'gaming' als Bezeichnung für die zielführende Umgehung von Strukturen nicht mit),
bluttrinker13 hat geschrieben:
23. Jun 2019, 13:01
Das mit der Suggestion des Primat eines "Wahren und Schönen" gründet auf Schneelands und deinen Aussagen die in Richtung eines "Der Sinn des Systems" gehen, worauf ich erwiderte der Sinn des peer review Systems ist realistische Qualitätssicherung, die mE keinesfalls ausschließt das sowohl Reviewer als auch Be-Reviewter hier Strategien anwenden um ihre Ziele zu erreichen, denn man KANN die Struktur gar nicht ohne diese Ziele sehen, ohne sie gäbe es keine.
Für mich ist gaming auch für dieses soziale System ein guter Begriff, weil es einen wichtigen Perspektivwechsel beschreibt.

Nehmen wir ein einfaches Beispiel, einen Kurzgeschichtenwettbewerb. Seine Intention, die Leute sollen sich mit dem konkreten Ziel und übergeordnetem Zweck auseinandersetzen, die Anforderungen verstehen und das alles bei ihrer Teilnahme umsetzen. Das hieße im Sinne des Systems zu handeln. (Präziser könnte man sagen, man hat keinen Zielkonflikt, weil die eigene Zielsetzung mit der Intention des Systems übereinstimmt). Gaming bedeutet etwas anderes, nämlich das System und seine Interaktionsmöglichkeiten zu verstehen und dann einen optimalen Pfad zum (selbstdefinierten) win state zu finden. (Kleiner Einschub: Da sind wir genau bei der Diskussion im Bezug auf Spiele. Viele Designer leiden darunter, dass ihre Spielmechanik, die als Erfahrung oder narratives Element konzipiert wurde, durch eine gaming-Perspektive vieler Spieler unterlaufen wird, die sich dann auch noch darüber aufregen, weil sie die eigentliche Intention nicht zu würdigen wissen.)

Also, wenn der win state darin besteht, dass man seine Teilnahme am Wettbewerb nachprüfbar versichern kann, braucht man nur die gerade noch akzeptierte Minimalleistung einreichen. Wenn man gut platziert werden möchte und weiß, dass auf Plagiate nicht geprüft wird, empfiehlt es sich eine existierende Kurzgeschichte zu kopieren. Mit Blick auf den übergeordneten Zweck, wenn eine bestimmte Personengruppe einreichen soll, könnte man sich als Teil dieser ausgeben. Werden bestimmte Erfahrungen vorausgesetzt, kann man jemanden mit diesen Erfahrungen auftreiben und sie als eigene ausgeben. Diese Beispiele würde man vermutlich eindeutig oder in der Tendenz als Betrug auslegen. Ein Beispiel für eine Grauzone wäre, man möchte gewinnen, kennt die Vorlieben der Juroren und schreibt die Kurzgeschichte so, dass sie deren Geschmack entspricht und damit unter den Einreichungen eine größere Chance hat.

Sicherheitshalber, der Sinn der Analogie ist nicht, das mit den bisherigen Beispielen gleichzusetzen, sondern nur zu verdeutlichen, wie die Formulierungen gemeint sind. Und es ist idealtypisch, oft mag sich ein bisschen gaming in ehrliches Bemühen, um die Erfüllung von Ansprüchen hineinmischen. Und Ansprüche sind nicht immer sinnvoll und widerspruchsfrei, was eine Umgehung notwendig machen kann.

Nun kann man sich darüber streiten, was der Sinn des peer review-Verfahrens ist. Vielleicht auch mit der Unterscheidung tatsächlich und vermeintlich. Klar, im Kern ist es Qualitätssicherung. Aber ich würde nicht sagen, die Einschränkung "realistische" ist Teil dieser Intention. Das Verfahren hat sich von der Idee sicherlich dahin entwickelt. Denn was unrealistisch ist, wird einfach nicht gemacht. Zu diesem "realistisch" gehört dann auch - nehmen wir mal die Gegenseite, die reviewer - "eigentlich nicht genug Zeit dafür", "geht nach Namen", "ist darauf bedacht, dass die eigenen Ansichten repräsentiert sind" usw. Es wäre vielleicht zu bevorzugen, wenn das peer review-Verfahren ein "Designdokument" hätte, das die wirtschaftlichen Grundbedingungen in Rechnung zieht, Karriereverläufe berücksichtigt usw., aber ich denke das ist mit dem Selbstbild der wissenschaftlichen Gemeinschaft derzeit nicht vereinbar.

Ich würde sagen, der tatsächliche Sinn des peer review-Verfahrens ist meistens der eines spamfilter. Das liegt auch an der hohen Spezialisierung. Selbst wenn man auf dem gleichen Feld arbeitet, aber nicht die gleiche Forschung macht - überspitzt man beschäftigt sich mit Untereinheit a statt b eines Proteinkomplexes - kann man kaum mehr als eine Plausibilitätsprüfung leisten. Je wichtiger das journal (sprich je größer der potentielle Reputationsverlust) und je außergewöhnlicher die Behauptungen in einer Publikation desto rigoroser sind die Anforderungen an das peer review-Verfahren. Der tatsächliche Sinn ist in dem Fall Schaden durch die Aufdeckung mangelnder Qualitätskontrolle abzuwenden. Das alles dient wiederum der Aufrechterhaltung des Prestige derjenigen, die am System teilnehmen, und damit dem Schutz ihrer Einkommensberechtigung. So jedenfalls, wenn man die wirtschaftliche Perspektive einnimmt. Der vermeintliche oder sagen wir idealisierte Nutzen ist denke ich klar.

Um auch das klar zu sagen, irgendwo in diesem ganzen Spannungsfeld findet praktische Wissenschaft statt und Menschen schaffen hoffentlich den Spagat zwischen einem hohen Anspruch an Forschung und der Notwendigkeit den eigenen Lebensunterhalt und vielleicht noch den Unterhalt für eine Familie (mit)zuverdienen. Wie gesagt in den Fokus der Kritik würde ich deshalb immer Strukturen nehmen.

Zurück zum gaming, am Ende gilt vermutlich so eine Art Kategorischer Imperativ: Verwende keine Strategien/Taktiken, die du nicht in einem akademischen Leitfaden während deiner wissenschaftlichen Karriere unter deinem Namen publizieren würdest - oder so. Aber das führt mich auf einen anderen Punkt. Ich glaube nicht, dass ernsthafte Forscher so sehr das Problem sind. (Einschränkung: Insofern Strategien/Taktiken wirksam Kontrollen unterlaufen, man aber im besten Sinne der Arbeit zu handeln glaubt, kann man sich damit natürlich immer noch irren.) Aber es nehmen auch viele andere Personen an dem System teil, für die wissenschaftliches Interesse nur untergeordnet bis nicht vorhanden ist. Personen, die ihre Doktorarbeit oder eine gewisse Anzahl Veröffentlichungen für ihren Lebenslauf benötigen, wo eine wissenschaftliche Arbeit zum Abschluss zählt ohne Absicht in der Wissenschaft zu bleiben, im extremen Fall, wo ein Pseudo-journal hochgezogen wird, weil es Teil der Blockchain-Investmentstrategie ist. Und das kann das Problem mit Spielräumen sein. Unter den Anforderungen einer "realistischen Qualitätskontrolle" kann man sagen nicht immer wünschenswert aber geht schon, bei größeren Zielkonflikten in Verbindung mit Kommerzialisierung oder spamming geht es aber eventuell nicht mehr.

Deshalb gehen wir es nochmal die beiden Prozentzahlen durch:
bluttrinker13 hat geschrieben:
23. Jun 2019, 13:01
Zu deinen Fragen: die 80% sind schon eine empirische Vermutung, aber eben nicht systematisiert oder kontrolliert, deshalb auch und natürlich in Zweifel zu ziehen. Sie basieren auf meiner subjektiven Erfahrung als Reviewer und Be-Reviewter (?) sowie Gesprächen mit Kollegen. Ist die Zahl jetzt geringer? Vielleicht. Manche vermuten das. Sind 40% -0% (also quasi ein Totalausfall des peer reviews) wahrscheinlich? Nein, sind sie nicht, weil dann erst erklärt werden müsste wieso kein einziger Editor auf der Erde eigentlich seinen Job macht und das sich komplett nicht mit meinen Erfahrungen decken würde.
Ich glaube, es würde mit 40% im ersten Schritt genauso funktionieren. Auch mit Blick auf das, was ich zur Spezialisierung gesagt habe. Das eigentliche peer review, auf dem die Wissenschaft tatsächlich beruht, ist zum Beispiel eine Veröffentlichung zu nehmen, die Versuche soweit möglich zu replizieren und das Ergebnis zu veröffentlichen. Dass einem dafür früher kaum jemand Geld gegeben hat, war ja Teil der Probleme, die in die Replikationskrise geführt haben. Aber das wird mit den meisten Arbeiten nicht gemacht. Im ersten Schritt könnten also 60% als problematische Arbeiten weitgehend unbeachtet existieren und die eigentliche Forschung macht man mit den 40%, die durch ihr renomée oder weil sie an den stark beforschten Feldern andocken sowieso im Fokus stehen. Die problematischen Arbeiten wirken dennoch als Last. Sie können zitiert werden, möglicherweise eher von außerhalb des Wissenschaftsbetriebs. Sie können Forscher zu falschen Schlüssen verleiten, können den Eindruck erwecken eine Nische sei bereits bearbeitet usw.
bluttrinker13 hat geschrieben:
23. Jun 2019, 13:01
Insofern schrieb ich ja, wer der Wissenschaft zu 100% alles glaubt wird sich zwangsläufig auch mal irren und falsch liegen. 0% ist aber mE noch viel mehr unangebracht.
Wie habe ich das, was du ursprünglich gesagt hast, gelesen: "Wer zu 100% allen wissenschaftlichen Ergebnissen vertraut, dem ist nicht zu helfen." Habe ich gedeutet als Daumenregel, 90% kann man glauben. Was ich mit meinen 0% entgegensetzen wollte: Ich habe ein paper, dessen Ergebnisse komplett gefälscht sind, wenn ich mit meiner 90%-Daumenregel herangehe, kann ich scheitern. Sehr grob gesagt, ich finde die 10%, die falsch sind, und bin zufrieden.
bluttrinker13 hat geschrieben:
23. Jun 2019, 13:01
Allein wie gesagt, solange es publish or perish gibt und Erfolg = Quantität bedeutet, für die Masse, wird es so bleiben wie es ist.
Die Zielkonflikte zu verringern ist sicherlich Teil der Lösung. Passt leider nicht so ganz zum Beschleunigungstrend unserer Zeit. Darüberhinaus würde ich in die Richtung denken, wie man die Funktionalität der Bewertungsstrukturen besser messen und das dann in eine iterative Anpassung der Strukturen umsetzen kann. Insofern komme ich hier nochmal auf meinen Kritikansatzpunkt zurück, "wie informiert gibt man sich mit dem Istzustand zufrieden". Eine andere Formulierung, wann ist man in der Gefahr sich in Dysfunktionalität einzurichten? Und da kann auch eine Kleinigkeit ein Baustein eines größeren Strukturproblems sein.

Übrigens habe ich mal nach "publishing game" gesucht und diesen Artikel von 1981 gefunden: http://www.sciencemag.org/cgi/doi/10.11 ... ce.7008199

Benutzeravatar
bluttrinker13
Beiträge: 1800
Registriert: 4. Jun 2016, 22:44

Re: Nachgeforscht: Wissenschaftliche Studien verstehen - Teil 1&2

Beitrag von bluttrinker13 » 23. Jun 2019, 22:59

1981...
Ach du Sch...

Danke für dieses Paper. Krass. ;)

Deinen Beitrag muss ich mir morgen mal in Ruhe zu Gemüte führen.

Antworten