Peer-Review

ÔĽŅ
Peer-Review

Ein Peer-Review (englisch f√ľr Begutachtung durch Ebenb√ľrtige, seltener: Kreuzgutachten) ist ein Verfahren im Wissenschaftsbetrieb zur Beurteilung wissenschaftlicher Arbeiten, insbesondere von Publikationen. Dabei werden unabh√§ngige Gutachter (engl. peer f√ľr Ebenb√ľrtiger, Gleichrangige oder auch referee f√ľr Schiedsrichter) aus dem gleichen Fachgebiet wie die Autoren herangezogen, um die Qualit√§t zu beurteilen.

Viele wissenschaftliche Fachzeitschriften nutzen Peer-Review, um √ľber die Ver√∂ffentlichung eingereichter Manuskripte zu entscheiden. Eine Ver√∂ffentlichung, die das Peer-Review erfolgreich durchlaufen hat, wird begutachteter Beitrag (engl. reviewed paper oder auch refereed paper) genannt. H√§ufig wird bei Ver√∂ffentlichungen ein Peer-Review mit einem doppelt verdeckten Gutachten (engl. double-blind review) kombiniert.

Antr√§ge zur F√∂rderung von Forschungsprojekten sind ein weiterer Bereich, in dem eine Beurteilung durch Peer-Review √ľblich ist.

Inhaltsverzeichnis

Akademisch-wissenschaftlicher Bereich

Definition

Im akademisch-wissenschaftlichen Bereich sind Peer-Reviews von Zeitschriftenartikeln √ľblich, bei denen einer oder mehrere Experten des entsprechenden Gebietes den zur Ver√∂ffentlichung vorgeschlagenen Artikel bewerten. √úblicherweise schickt der Autor seinen Artikel als Manuskript an einen Verantwortlichen (z. B. den Herausgeber) einer Zeitschrift. Wenn dieser den Artikel f√ľr grunds√§tzlich geeignet h√§lt, w√§hlt er Gutachter aus, die nach inhaltlicher Pr√ľfung ein Votum abgeben, ob der Artikel in der eingereichten Form ver√∂ffentlicht, zur √úberarbeitung an den Autor zur√ľckgeschickt oder endg√ľltig abgelehnt werden sollte. Diese auch Reviewer oder Referee genannten Experten d√ľrfen beim Peer-Review nicht aus dem Umfeld des Autors stammen. Die Unabh√§ngigkeit des Gutachters vom zu bewertenden Objekt ist das wesentliche Kriterium eines Peer-Reviews. Anonymit√§t des Gutachters ist dagegen nicht erforderlich, aber oftmals gegeben. In einem weiteren Sinn wird ein Peer-Review auch f√ľr andere wissenschaftliche Publikationsformen verwendet. Der Gutachter erbringt seine T√§tigkeit meistens freiwillig und unentgeltlich. Bleiben sowohl Gutachter als auch Begutachteter anonym, so wird meist von doppelt verdecktem Gutachten gesprochen.

Die Anonymit√§t dient dazu, dem Gutachter das √Ąu√üern von Kritik und den Hinweis auf M√§ngel der Publikation zu erm√∂glichen, ohne dass er die Revanche des m√∂glicherweise hierarchisch oder an Reputation und Einfluss h√∂her stehenden Autors f√ľrchten muss. Das soll eine gr√ľndliche und unvoreingenommene √úberpr√ľfung ohne Ansehen der Person des Autors sichern und letztlich ein h√∂heres Niveau an wissenschaftlicher Qualit√§t erreichen lassen. Das Prinzip der Anonymit√§t des Gutachters ist jedoch nicht unumstritten.[1] Vereinzelt wird kritisiert, dass es ein √ľberzogenes, destruktives Kritisieren beg√ľnstige. Etablierte Stars eines Teilgebiets der Wissenschaft k√∂nnten durch unfundiert-abwertende Gutachten das Eindringen von Konkurrenten in ihre ‚ÄěNische‚Äú verhindern, und m√ľssten sich dank der Anonymit√§t daf√ľr nicht namentlich rechtfertigen. Die Anonymit√§t der Gutachter f√∂rdere so das ‚ÄěRevierverhalten‚Äú und behindere einen effizienten Qualit√§tswettbewerb.

Die Anonymit√§t des Gutachters kann jedoch ebenso zu Beurteilungen f√ľhren, die aus Zeitmangel oder ungen√ľgendem Interesse oder Wissen nicht gewissenhaft genug erstellt wurden. So kann ein schlechter Artikel durch das Begutachtungsverfahren rutschen, ohne dass der Gutachter um seinen guten Ruf in der Wissenschaftsgemeinde f√ľrchten muss. Teilweise wird auch der zu begutachtende Artikel anonymisiert, um einer m√∂glichen Voreingenommenheit des Gutachters zu begegnen (‚Äědouble-blind‚Äú-Verfahren). Die Autoren werden gebeten, im Text Passagen zu vermeiden, die der Anonymit√§t zuwiderlaufen k√∂nnten (z.B. Selbstzitierungen in der ersten Person). In vielen F√§llen k√∂nnen jedoch anhand der Referenzen, der experimentellen M√∂glichkeiten etc. die Autoren trotzdem erraten werden, zumal wenn das betreffende Spezialgebiet von einer √ľberschaubaren Anzahl von Leuten weltweit erforscht wird. Daher und aus anderen Gr√ľnden wird vielfach auf die Verdeckung der Autorennamen verzichtet.

Das Peer-Review ist im Allgemeinen keine Methode, um F√§lschungen oder in betr√ľgerischer Absicht gemachte Experimente aufzudecken. Der Gutachter muss auf den guten Willen und die Angaben des Autors vertrauen. Er kann nur die Signifikanz und Aktualit√§t der Fragestellung, die Originalit√§t und Validit√§t des L√∂sungsansatzes und die Plausibilit√§t der Resultate im Kontext √ľberpr√ľfen sowie auf methodische Fehler hinweisen.

Der Sinn der Begutachtung liegt vor allem in einer Bewertung der Qualit√§t eines eingereichten Manuskripts, die dem Herausgeber der Fachzeitschrift Anhaltspunkte liefert, ob dieses als Artikel darin ver√∂ffentlicht werden kann. Durch die hohe Anzahl von wissenschaftlichen Fachzeitschriften und Fachgebieten sind die Bewertungsma√üst√§be oft sehr unterschiedlich und richten sich nach dem Leserkreis und der Reputation des Fachjournals. In der Regel wird der Gutachter das Manuskript nach offensichtlichen Defiziten oder Verbesserungsm√∂glichkeiten bewerten und nur gelegentlich auf Rechtschreibfehler oder sprachliche Unzul√§nglichkeiten hinweisen. Sehr detaillierte Gutachten, inklusive Pr√ľfung der verwendeten Methoden, werden vor allem von Artikeln verlangt, die Themen in umstrittenen oder prestigetr√§chtigen Fachgebieten (z.B. Stammzellenforschung) behandeln oder von au√üerordentlich hohem Interesse f√ľr einen gro√üen Leserkreis sind (z. B. in Nature oder Science).

Geschichte

Die Geschichte des Peer-Review geht zur√ľck bis in das 17. Jahrhundert. Henry Oldenburg, Herausgeber der seit 1655 in London erscheinenden Philosophical Transactions, sah sich als Theologe nicht in der Lage, die Qualit√§t eingereichter Aufs√§tze zu naturwissenschaftlichen Themen selbst angemessen zu beurteilen. Er delegierte diese Aufgabe daher an andere Wissenschaftler, die zum jeweiligen Thema als fachkompetent galten. Dieses Verfahren wurde sp√§ter von anderen wissenschaftlichen Zeitschriften √ľbernommen.[2]

Verbreitung

Weltweit gibt es etwa 21.000 Zeitschriften, die verschiedene Arten von Peer-Review einsetzen. Sie veröffentlichen jährlich etwa 1 Million Aufsätze. Es gibt allerdings auch viele wissenschaftliche Zeitschriften, die lediglich mit editorial review arbeiten.

Peer-Review-Publikationen haben aufgrund der mit der Begutachtung verbundenen Qualit√§tspr√ľfung einen besseren Ruf als andere Formen der Ver√∂ffentlichung wie etwa Kongressbeitr√§ge oder Fachzeitschriften ohne Peer-Review. Die Anzahl solcher Ver√∂ffentlichungen wird als Ma√ü f√ľr die Produktivit√§t und den Einfluss der Autoren auf ein Wissensgebiet angesehen.

Kritik

Das Peer-Review-Verfahren wird aus zwei Gr√ľnden kritisiert:

  1. Es dauert meist etliche Monate, in manchen Fällen sogar Jahre, bis ein Fachartikel erscheint.
  2. Die Neutralität der Gutachter ist nicht garantiert. Es gibt keine Gewähr, dass die Gutachter nicht ihren eigenen Standpunkt zu strittigen Fragen als Entscheidungsgrundlage heranziehen.[1]

Eine Studie (Ioannidis 2005) √ľber das Peer-Review-Modell in medizinischen Ver√∂ffentlichungen hat ergeben, dass in fast einem Drittel der Studien zwischen 1990 und 2003, die nach einer Begutachtung ver√∂ffentlicht wurden, die Resultate entweder √ľbertrieben worden waren oder sp√§ter als widerspr√ľchlich erkannt wurden. Von den untersuchten Artikeln erhielten 16 % keine Zustimmung, und weitere 16 % wurden in Folgestudien nicht best√§tigt. Ioannidis r√§umte ein, dass viele Faktoren, wie andere oder bessere Versuchsanordnungen der zu wiederholenden Untersuchungen, die Unstimmigkeiten beg√ľnstigt haben k√∂nnten. Der Prozess des Reviews ist unter den 10.000 medizinischen Zeitschriften weltweit nicht standardisiert. Die Ergebnisse der Studie lie√üen Zweifel an der Zuverl√§ssigkeit des Peer-Reviews aufkommen. Die in der Regel externen und nicht bezahlten Gutachter bewerten die Stichhaltigkeit des Artikels, ihre Kommentare und Identit√§t werden jedoch vertraulich gehalten. Einige Herausgeber bef√ľrworteten daraufhin, die Gutachter √∂ffentlich beim Namen zu nennen und zu bezahlen, andere versichern hingegen, dass das aktuelle Peer-Preview-Modell die Ver√∂ffentlichung vor fehlerhaften Details und unsicheren medizinischen Anweisungen bewahrt.

Alternativen

In Zusammenhang mit der Zeitschriftenkrise und dem elektronischen Publizieren entwickeln sich neue Qualit√§tssicherungsverfahren. Ein Pionier auf diesem Gebiet ist Stevan Harnad. Seine Vorschl√§ge, die etwas an ein Wiki erinnern, haben sich jedoch noch nicht durchgesetzt, und es sind kaum Erfahrungswerte dar√ľber bekannt.

2006 startete eine Wissenschaftler-Gruppe aus Gro√übritannien das Online-Journal Philica[3], bei dem sie die Probleme des traditionellen Peer Review zu l√∂sen versuchten. Anders als sonst √ľblich werden alle eingereichten Artikel zuerst publiziert, und der Open-Peer-Review-Prozess startet erst danach. Die Gutachter werden dabei nicht von den Herausgebern ausgesucht, sondern jeder Forscher, der das m√∂chte, kann den Artikel kritisieren. Der Gutachter bleibt dabei anonym. Die Gutachten werden am Ende jedes Artikels angeh√§ngt, und geben dem Leser so eine Einsch√§tzung der Qualit√§t der Arbeit. Der Vorteil dieses Systems ist, dass auch unorthodoxe Forschungsans√§tze publiziert werden, und nicht, wie im klassischen Peer-Review, von etablierten Experten unterdr√ľckt werden k√∂nnen.

Ein √§hnliches Projekt ist Dynamic-Peer-Review der Webseite Naboj.[4] Der Unterschied zu Philica besteht darin, dass Naboj kein vollst√§ndiges Online-Journal ist, sondern ein Forum f√ľr Gutachten von Preprint-Artikeln der Seite arXiv.org. Das System ist dem Beurteilungssystem von Amazon.com nachempfunden, und bietet den Benutzern die M√∂glichkeit, sowohl die Artikel, als auch die einzelnen Reviews zu bewerten. Dadurch bietet das System den Vorteil (bei einer gen√ľgend gro√üen Zahl von Benutzern und Gutachtern), dass die Qualit√§t demokratisch beurteilt wird.

Im Juni 2006 begann Nature mit einem Versuch namens parallel open peer review. Einige Artikel, die f√ľr einen traditionellen Review-Prozess eingereicht wurden, wurden parallel dazu auch √∂ffentlich zug√§ngig gemacht, um kommentiert zu werden. Der Versuch wurde im Dezember 2006 als erfolglos bewertet und eingestellt.[5]

Begutachtung von Anträgen

Im weiteren Sinne findet Peer-Review nicht nur bei Zeitschriftenveröffentlichungen statt, sondern auch bei der Bewilligung von Messzeiten an Großforschungseinrichtungen und von Projektfinanzierungen.

Qualitätssicherung in Unternehmen

Unternehmen setzen Peer-Review zur Qualit√§tssicherung ein. So f√ľhren Unternehmen, die im Bereich Wirtschaftspr√ľfung oder Beratung t√§tig sind, so genannte Peer-Review durch. Dabei wird ein Projekt (Wirtschaftspr√ľfung oder Beratungsprojekt) eines Unternehmens durch einen Experten oder ein Expertenteam eines anderen Unternehmens der gleichen Branche anhand von Projektunterlagen und Arbeitspapieren √ľberpr√ľft. Diese geben dann in einem Gutachten eine Bewertung √ľber die G√ľte des Projektes ab. Durch die Wahl eines Fremdunternehmens als Pr√ľfer wird die Unabh√§ngigkeit von Pr√ľfer und Pr√ľfling in hohem Ma√üe sichergestellt. Damit erh√§lt das Peer-Review bei Unternehmen in der Qualit√§tssicherung mehr Gewicht als z.B. ein Inter-Office-Review (Gutachter einer anderen Niederlassung) oder Local-Office-Review (Gutachter der gleichen Niederlassung).

F√ľr Wirtschaftspr√ľfer und Wirtschaftspr√ľfungsgesellschaften ist eine regelm√§√üige externe Qualit√§tskontrolle (Peer-Review) inzwischen gesetzlich vorgeschrieben. Derzeit muss die Begutachtung alle drei Jahre durchgef√ľhrt werden. Bis zum 31. Dezember 2005 musste eine erstmalige externe Qualit√§tskontrolle erfolgen. Mit der Siebten WPO-Novelle (Berufsaufsichtsreformgesetz) wird die Befristung der Teilnahmebescheinigung √ľber eine durchgef√ľhrte Qualit√§tskontrolle f√ľr WP/vBP-Praxen, die keine b√∂rsennotierten Unternehmen pr√ľfen, berufsrechtlich von drei auf sechs Jahre verl√§ngert.

Rehabilitationseinrichtungen der gesetzlichen Rentenversicherung

Das Peer-Review-Verfahren wird im Rahmen des Qualit√§tssicherungsprogrammes der gesetzlichen Rentenversicherung durchgef√ľhrt. Zielsetzung ist die Sicherung der Prozessqualit√§t in den von der gesetzlichen Rentenversicherung belegten Rehabilitationseinrichtungen. Hierbei wird ein durch wissenschaftliche Untersuchungen belegter Zusammenhang zwischen Prozessqualit√§t w√§hrend der Rehabilitation und der Qualit√§t der medizinischen Entlassungsberichte zu Grunde gelegt. Konkret bedeutet das Peer-Review-Verfahren, dass Chef√§rzte und Leitende Ober√§rzte mit langj√§hriger Erfahrung im Bereich der Rehabilitationsmedizin und Zusatzkenntnissen im Bereich der Sozialmedizin (‚ÄěPeers‚Äú) nach dem Zufallsprinzip ausgew√§hlte, anonymisierte medizinische Entlassungsberichte anderer Rehabilitationseinrichtungen (zumeist 20‚Äď25 pro Durchgang) nach bestimmten, vorher definierten Kriterien beurteilen. Beurteilt werden sechs f√ľr den Rehabilitationsprozess wichtige Teilkategorien (Anamnese, Diagnostik, Therapieziele und Therapie, Klinische Epikrise, Sozialmedizinische Epikrise sowie Weiterf√ľhrende Ma√ünahmen und Nachsorge) nach dem Vorhandensein von M√§ngeln (keine M√§ngel, leichte M√§ngel, deutliche M√§ngel, gravierende M√§ngel) sowie mit einer zu vergebenden Punktzahl (10 Punkte = sehr gut, 0 Punkte = sehr schlecht). Aus den zusammenfassenden Bewertungen der Teilbereiche ergibt sich die zusammenfassende Bewertung des gesamten Rehabilitationsprozesses. Das Peer-Review-Verfahren findet sowohl in den somatischen Indikationsbereichen (Gastroenterologie, Kardiologie, Neurologie, Onkologie, Orthop√§die / Rheumatologie, Pneumologie, Dermatologie) als auch f√ľr psychosomatische Erkrankungen und Abh√§ngigkeitserkrankungen statt und sollte alle 1 bis 2 Jahre auf Veranlassung der Deutschen Rentenversicherung Bund durchgef√ľhrt werden.

Literatur

  • Ann C. Weller: Editorial Peer Review: Its Strengths and Weaknesses. asis&t, 2001, ISBN 1-57387-100-1 (√úbersicht von Studien √ľber das Kreuzgutachtensystem aus verschiedenen Fachbereichen von 1945 bis 1997)
  • Thomas Gold (1989): New Ideas in Science, Journal of Scientific Exploration 3 (2), 103‚Äď112 ([2])
    (Anstelle konformitätsfördernder Anonymität von Spezialisten zur Begutachtung fordert Gold einen "science court" mit Wissenschaftlern aus unterschiedlichen Fachgebieten von einer Fakultät.)
  • John P. A. Ioannidis, Contradicted and Initially Stronger Effects in Highly Cited Clinical Research, The Journal of the American Medical Association, 2005;294:218‚Äď228 (Abstract)
  • Gerhard Fr√∂hlich: ‚ÄúInformed Peer Review‚ÄĚ ‚Äď Ausgleich der Fehler und Verzerrungen? ([3]), in: Von der Qualit√§tssicherung der Lehre zur Qualit√§tsentwicklung als Prinzip der Hochschulsteuerung; Bonn : HRK (Hochschulrektorenkonferenz), 2006, S. 193-204
  • Gerhard Fr√∂hlich: "Peer Review auf dem Pr√ľfstand der Wissenschaftsforschung", medizin-bibliothek-information 3 (2), 33-39 ([4])
  • Stefan Hornbostel und Meike Olbrecht: Peer Review in der DFG: die Fachkollegiaten. iFQ-Working Paper No.2, Bonn, 2007, ISSN 1864-2799 ([5])
  • Stefan Hornbostel und Dagmar Simon (Hg.): Wie viel (In-) Transparenz ist notwendig? ‚Äď Peer Review Revisited. iFQ-Working Paper No.1. Bonn, 2006; ISSN 1864-2799 ([6])
  • Heinrich Zankl: F√§lscher, Schwindler, Scharlatane: Betrug in Forschung und Wissenschaft, Weinheim: Wiley-VCH, 2003, ISBN 3-527-30710-9
  • Science between Evaluation and Innovation: A Conference on Peer Review. Max-Planck-Forum 6, M√ľnchen 2003. (Dokumentation einer Tagung der Max-Planck-Gesellschaft und der Deutschen Forschungsgemeinschaft.)
  • Hans-Hermann Dubben, Hans-Peter Beck-Bornholdt: Unausgewogene Berichterstattung in der medizinischen Wissenschaft, Hamburg: Institut f√ľr Allgemeinmedizin des Universit√§tsklinikums Hamburg-Eppendorf, 2004 (Download als PDF)

Weblinks

Einzelnachweise

  1. ‚ÜĎ Ronald N. Kostoff: Research Program Peer Review: Purposes, Principles, Practices, Protocols. Office of Naval Research, Arlington, VA, (Report) 2004, S. 23.
  2. ‚ÜĎ Irving E. Rockwood: Peer review: more interesting than you think. In: Choice 44.2007,9, S. 1436.
  3. ‚ÜĎ Offizielle Website von Philica.
  4. ‚ÜĎ Offizielle Website von Naboj.
  5. ‚ÜĎ Overview: Nature's trial of open peer review (englisch). www.nature.com. Abgerufen am 11. Juni 2009.

Wikimedia Foundation.


Share the article and excerpts

Direct link
… Do a right-click on the link above
and select ‚ÄúCopy Link‚ÄĚ

We are using cookies for the best presentation of our site. Continuing to use this site, you agree with this.