Delphi-Methode

Die Delphi-Methode oder Delphi-Technik (/ˈdɛlfaɪ/ DEL-fy; auch bekannt als Estimate-Talk-Estimate oder ETE) ist eine strukturierte Kommunikationstechnik oder -methode, die ursprünglich als systematische, interaktive Prognosemethode entwickelt wurde, die sich auf ein Gremium von Experten stützt. Die Technik kann auch für den Einsatz in persönlichen Gesprächen angepasst werden und wird dann als Mini-Delphi oder Estimate-Talk-Estimate (ETE) bezeichnet. Das Delphi-Verfahren wird häufig für Geschäftsprognosen eingesetzt und hat gegenüber einem anderen strukturierten Prognoseverfahren, den Prognosemärkten, gewisse Vorteile. ⓘ

Delphi basiert auf dem Grundsatz, dass Prognosen (oder Entscheidungen) einer strukturierten Gruppe von Personen genauer sind als die einer unstrukturierten Gruppe. Die Experten beantworten in zwei oder mehr Runden Fragebögen. Nach jeder Runde stellt ein Moderator oder Change Agent eine anonymisierte Zusammenfassung der Prognosen der Experten aus der vorangegangenen Runde sowie die Begründungen, die sie für ihre Urteile angegeben haben, zur Verfügung. So werden die Experten ermutigt, ihre früheren Antworten im Lichte der Antworten der anderen Mitglieder ihres Gremiums zu überarbeiten. Es wird davon ausgegangen, dass sich während dieses Prozesses die Spannweite der Antworten verringert und die Gruppe sich der "richtigen" Antwort annähert. Schließlich wird der Prozess nach einem vordefinierten Stoppkriterium (z. B. Anzahl der Runden, Erreichen eines Konsenses, Stabilität der Ergebnisse) gestoppt, und der Mittelwert oder Median der letzten Runden bestimmt die Ergebnisse. ⓘ

Besondere Aufmerksamkeit muss der Formulierung der Delphi-Thesen und der Definition und Auswahl der Experten gewidmet werden, um methodische Schwächen zu vermeiden, die die Gültigkeit und Zuverlässigkeit der Ergebnisse ernsthaft gefährden. ⓘ

Die Delphi-Methode (auch Delphi-Studie, Delphi-Verfahren oder Delphi-Befragung genannt) ist ein systematisches, mehrstufiges Befragungsverfahren mit Rückkopplung und ist eine Schätzmethode, die dazu dient, zukünftige Ereignisse, Trends, technische Entwicklungen und dergleichen möglichst gut einschätzen zu können. ⓘ

Namensgeber der Methode ist das antike Orakel von Delphi, das seinen Zuhörern Ratschläge für die Zukunft erteilte. ⓘ

Geschichte

Der Name Delphi leitet sich vom Orakel von Delphi ab, obwohl die Autoren der Methode mit der orakelhaften Konnotation des Namens unzufrieden waren, da er "ein wenig nach Okkultismus riecht". Die Delphi-Methode geht davon aus, dass Gruppenurteile gültiger sind als Einzelurteile. ⓘ

Die Delphi-Methode wurde zu Beginn des Kalten Krieges entwickelt, um die Auswirkungen der Technologie auf die Kriegsführung vorherzusagen. Im Jahr 1944 ordnete General Henry H. Arnold die Erstellung eines Berichts für das U.S. Army Air Corps über die zukünftigen technologischen Möglichkeiten an, die vom Militär genutzt werden könnten. ⓘ

Es wurden verschiedene Ansätze ausprobiert, aber die Unzulänglichkeiten traditioneller Prognosemethoden wie theoretische Ansätze, quantitative Modelle oder Trendextrapolation wurden in Bereichen, in denen es noch keine präzisen wissenschaftlichen Gesetze gab, schnell deutlich. Um diese Unzulänglichkeiten zu bekämpfen, wurde die Delphi-Methode in den 1950-1960er Jahren (1959) von Olaf Helmer, Norman Dalkey und Nicholas Rescher im Rahmen des Project RAND entwickelt. Seitdem wird sie mit verschiedenen Modifikationen und Neuformulierungen, wie dem Imen-Delphi-Verfahren, verwendet. ⓘ

Experten wurden gebeten, ihre Meinung über die Wahrscheinlichkeit, Häufigkeit und Intensität möglicher feindlicher Angriffe abzugeben. Andere Experten konnten anonym eine Rückmeldung geben. Dieser Prozess wurde mehrmals wiederholt, bis sich ein Konsens abzeichnete. ⓘ

Ein Forschungsprotokoll, in dem der rigorose Ansatz zur Anwendung der Delphi-Methode erläutert wird, wurde ursprünglich 2015 im BMJ Open veröffentlicht. Dieses Forschungsprotokoll wird heute in der Regel von allen Forschern, die die Delphi-Methode anwenden, verwendet und zitiert, da es das erste Mal ist, dass ein klares Protokoll für die Anwendung der Methode in der Praxis beschrieben wurde. ⓘ

Im Jahr 2021 befasste sich eine interdisziplinäre Studie von Beiderbeck et al. mit neuen Richtungen und Weiterentwicklungen der Delphi-Methode, einschließlich Echtzeit-Delphi-Formaten. Die Autoren stellen einen methodischen Werkzeugkasten für die Gestaltung von Delphi-Befragungen zur Verfügung, der unter anderem Stimmungsanalysen aus dem Bereich der Psychologie umfasst. ⓘ

Die Delphi-Methode wurde – nach Vorarbeiten Ende der 1950er Jahre – von der amerikanischen RAND-Corporation 1963 entwickelt und wird seitdem häufig, wenn auch in variierter Form, für die Ermittlung von Prognosen/Trends sowie für andere Meinungsbildungen im Rahmen von Systemaufgaben angewendet. Mehr und mehr hat sich das Verfahren zu einem Bewertungsverfahren für Themen entwickelt, in dem festgestellt werden kann, ob es einen Konsens über das Thema gibt (bzw. ob dieser erreicht werden kann) oder nicht. In Deutschland war es in den 90er Jahren das damalige Bundesministerium für Forschung und Technologie (BMFT), das die ersten Delphi-Studien zur Entwicklung von Wissenschaft und Technik in Auftrag gab. Die Studien Deutscher Delphi-Bericht zur Entwicklung von Wissenschaft und Technik (1993) und Delphi '98 Umfrage. Zukunft nachgefragt. Studie zur globalen Entwicklung von Wissenschaft und Technik (1998) wurden vom Fraunhofer-Institut für System- und Innovationsforschung (ISI) durchgeführt. ⓘ

Wesentliche Merkmale

Die Kommunikationsstruktur der Delphi-Methode

Die folgenden Hauptmerkmale der Delphi-Methode helfen den Teilnehmern, sich auf die anstehenden Fragen zu konzentrieren, und unterscheiden Delphi von anderen Methoden: Bei dieser Technik wird ein Expertengremium sowohl innerhalb als auch außerhalb der Organisation zusammengestellt. Das Gremium besteht aus Experten, die sich in dem Bereich auskennen, in dem eine Entscheidung getroffen werden muss. Jeder Experte wird gebeten, anonyme Vorhersagen zu machen. ⓘ

Anonymität der Teilnehmer

In der Regel bleiben alle Teilnehmer anonym. Ihre Identität wird nicht preisgegeben, auch nicht nach Fertigstellung des Abschlussberichts. Dadurch wird verhindert, dass die Autorität, die Persönlichkeit oder der Ruf einiger Teilnehmer die anderen im Prozess dominieren. Es befreit die Teilnehmer (bis zu einem gewissen Grad) von ihren persönlichen Vorurteilen, minimiert den "Mitläufereffekt" oder "Halo-Effekt", ermöglicht eine freie Meinungsäußerung, fördert offene Kritik und erleichtert das Eingestehen von Fehlern bei der Revision früherer Urteile. ⓘ

Strukturierung des Informationsflusses

Die ersten Beiträge der Experten werden in Form von Antworten auf Fragebögen und ihren Kommentaren zu diesen Antworten gesammelt. Der Leiter des Panels steuert die Interaktionen zwischen den Teilnehmern, indem er die Informationen aufbereitet und irrelevante Inhalte herausfiltert. Auf diese Weise werden die negativen Auswirkungen von Podiumsdiskussionen von Angesicht zu Angesicht vermieden und die üblichen Probleme der Gruppendynamik gelöst. ⓘ

Regelmäßiges Feedback

Die Delphi-Methode ermöglicht es den Teilnehmern, die Antworten der anderen und den Fortschritt des gesamten Panels zu kommentieren und ihre eigenen Prognosen und Meinungen in Echtzeit zu revidieren. ⓘ

Die Rolle des Moderators

Die Person, die die Delphi-Methode koordiniert, wird in der Regel als Moderator oder Leiter bezeichnet und erleichtert die Antworten ihrer Expertengruppe, die aus einem bestimmten Grund ausgewählt werden, nämlich weil sie über eine bestimmte Meinung oder Ansicht verfügen. Der Moderator verschickt Fragebögen, Umfragen usw., und wenn das Expertengremium zustimmt, folgen sie den Anweisungen und legen ihre Ansichten dar. Die Antworten werden gesammelt und analysiert, dann werden gemeinsame und gegensätzliche Standpunkte ermittelt. Kommt kein Konsens zustande, wird der Prozess über These und Antithese fortgesetzt, um allmählich zu einer Synthese und einem Konsens zu gelangen. ⓘ

In den vergangenen Jahrzehnten haben Moderatoren viele verschiedene Maßstäbe und Schwellenwerte verwendet, um den Grad des Konsenses oder Dissenses zu messen. Eine umfassende Literaturübersicht und Zusammenfassung ist in einem Artikel von von der Gracht zusammengestellt. ⓘ

Anwendungen

Anwendung in der Prognostik

Die ersten Anwendungen der Delphi-Methode erfolgten im Bereich der wissenschaftlichen und technischen Prognosen. Ziel der Methode war es, Expertenmeinungen über die Wahrscheinlichkeit und die erwartete Entwicklungszeit einer bestimmten Technologie in einem einzigen Indikator zusammenzufassen. Einer der ersten Berichte dieser Art, der 1964 von Gordon und Helmer erstellt wurde, bewertete die Richtung der langfristigen Trends in der wissenschaftlichen und technologischen Entwicklung und behandelte Themen wie wissenschaftliche Durchbrüche, Bevölkerungskontrolle, Automatisierung, Fortschritte in der Raumfahrt, Kriegsverhütung und Waffensysteme. Andere Technologieprognosen befassten sich mit Fahrzeug-Highway-Systemen, Industrierobotern, intelligentem Internet, Breitbandverbindungen und Technologie im Bildungswesen. ⓘ

Später wurde die Delphi-Methode auch in anderen Bereichen angewandt, vor allem in Fragen der öffentlichen Politik, wie z. B. wirtschaftliche Trends, Gesundheit und Bildung. Auch in der Wirtschaftsprognose wurde sie erfolgreich und mit hoher Genauigkeit eingesetzt. In einem von Basu und Schroeder (1977) berichteten Fall beispielsweise sagte die Delphi-Methode den Absatz eines neuen Produkts in den ersten zwei Jahren mit einer Ungenauigkeit von 3-4 % gegenüber dem tatsächlichen Absatz voraus. Quantitative Methoden ergaben Fehler von 10-15%, und traditionelle unstrukturierte Prognosemethoden hatten Fehler von etwa 20%. (Dies ist nur ein Beispiel; die Gesamtgenauigkeit der Technik ist uneinheitlich). ⓘ

Die Delphi-Methode wurde auch als Instrument zur Umsetzung von Multi-Stakeholder-Konzepten für die partizipative Politikgestaltung in Entwicklungsländern eingesetzt. Die Regierungen Lateinamerikas und der Karibik haben die Delphi-Methode erfolgreich als offenen Ansatz für den öffentlichen und privaten Sektor eingesetzt, um die dringendsten Herausforderungen für ihre regionalen IKT-Aktionspläne für die Entwicklung (eLAC) zu ermitteln. Infolgedessen haben die Regierungen den Wert der kollektiven Intelligenz von Teilnehmern aus der Zivilgesellschaft, dem akademischen und dem privaten Sektor, die am Delphi teilnehmen, weithin anerkannt, insbesondere in einem Bereich, der sich schnell verändert, wie die Technologiepolitik. ⓘ

Verwendung bei der Ermittlung von Patentbeteiligungen

In den frühen 1980er Jahren entwickelte Jackie Awerman von Jackie Awerman Associates, Inc. eine modifizierte Delphi-Methode, um die Rolle der verschiedenen Mitwirkenden bei der Schaffung eines patentfähigen Produkts zu ermitteln. (Epsilon Corporation, Chemical Vapor Deposition Reactor) Die Ergebnisse wurden dann von Patentanwälten verwendet, um den Prozentsatz der Bonusverteilung zur allgemeinen Zufriedenheit aller Teammitglieder zu bestimmen. ⓘ

Verwendung in der Politikgestaltung

Seit den 1970er Jahren bringt die Anwendung der Delphi-Technik in der öffentlichen Politikgestaltung eine Reihe methodischer Neuerungen mit sich. Dazu gehören insbesondere:

• Die Notwendigkeit, mehrere Arten von Items zu untersuchen (nicht nur Prognose-Items, sondern typischerweise auch Problem-Items, Ziel-Items und Options-Items) führt zur Einführung verschiedener Bewertungsskalen, die im Standard-Delphi nicht verwendet werden. Dazu gehören häufig Wünschbarkeit, Durchführbarkeit (technisch und politisch) und Wahrscheinlichkeit, mit denen die Analysten verschiedene Szenarien skizzieren können: das gewünschte Szenario (aus Wünschbarkeit), das mögliche Szenario (aus Durchführbarkeit) und das erwartete Szenario (aus Wahrscheinlichkeit);
• die Komplexität der Fragen, die sich bei der politischen Entscheidungsfindung stellen, führt tendenziell zu einer stärkeren Gewichtung der Argumente der Diskussionsteilnehmer, die häufig für und gegen jeden Punkt zusammen mit neuen Punkten zur Diskussion gestellt werden;
• Ebenso werden die Methoden zur Messung von Panelbewertungen immer ausgefeilter, wie z. B. die mehrdimensionale Skalierung. ⓘ

Weitere Neuerungen ergeben sich aus der Verwendung computergestützter (und später webbasierter) Delphi-Konferenzen. Laut Turoff und Hiltz wird bei computergestützten Delphis:

• kann die im Papier-Delphis verwendete Iterationsstruktur, die in drei oder mehr diskrete Runden unterteilt ist, durch einen Prozess der kontinuierlichen (rundenlosen) Interaktion ersetzt werden, der es den Diskussionsteilnehmern ermöglicht, ihre Bewertungen jederzeit zu ändern;
• Die statistische Gruppenantwort kann in Echtzeit aktualisiert und angezeigt werden, sobald ein Panelist eine neue Bewertung abgibt. ⓘ

Laut Bolognini bieten webbasierte Delphis zwei weitere Möglichkeiten, die im Kontext der interaktiven Politikgestaltung und der E-Demokratie von Bedeutung sind. Diese sind:

Eine webbasierte Kommunikationsstruktur (Hyperdelphi).

• die Einbeziehung einer großen Anzahl von Teilnehmern,
• die Verwendung von zwei oder mehr Gremien, die verschiedene Gruppen repräsentieren (z. B. politische Entscheidungsträger, Experten, Bürger), denen der Administrator Aufgaben zuweisen kann, die ihre unterschiedlichen Rollen und Fachkenntnisse widerspiegeln, und sie dazu bringen, innerhalb von Ad-hoc-Kommunikationsstrukturen zu interagieren. So können beispielsweise die Mitglieder der politischen Gemeinschaft (politische Entscheidungsträger und Experten) als Teil des Hauptpanels der Konferenz interagieren, während sie Inputs von einer virtuellen Gemeinschaft (Bürger, Verbände usw.) erhalten, die an einer Nebenkonferenz beteiligt ist. Diese webbasierten variablen Kommunikationsstrukturen, die er Hyperdelphi (HD) nennt, sollen Delphi-Konferenzen "flüssiger machen und an die hypertextuelle und interaktive Natur der digitalen Kommunikation anpassen".

Ein erfolgreiches Beispiel für ein (teilweise) webbasiertes Politik-Delphi ist das fünf Runden umfassende Delphi-Verfahren (mit 1.454 Beiträgen) für die Erstellung der eLAC-Aktionspläne in Lateinamerika. Man geht davon aus, dass es sich dabei um die umfangreichste partizipatorische Online-Planungsübung in der Geschichte der zwischenstaatlichen Prozesse in den Entwicklungsländern handelt, die es derzeit gibt. Zusätzlich zu den spezifischen politischen Leitlinien, die zur Verfügung gestellt wurden, listen die Autoren die folgenden Erkenntnisse auf: (1) das Potenzial von Policy-Delphi-Methoden zur Einführung von Transparenz und Rechenschaftspflicht in die öffentliche Entscheidungsfindung, insbesondere in Entwicklungsländern; (2) die Nützlichkeit von Foresight-Übungen zur Förderung von behördenübergreifenden Netzwerken in der Entwicklungsgemeinschaft; (3) die Nützlichkeit der Einbettung von Foresight-Übungen in etablierte Mechanismen der repräsentativen Demokratie und des internationalen Multilateralismus, wie z.B. die Vereinten Nationen; (4) das Potenzial von Online-Tools zur Erleichterung der Beteiligung in ressourcenarmen Entwicklungsländern; und (5) die Ressourceneffizienz, die sich aus dem Umfang internationaler Foresight-Übungen ergibt, und damit ihre Eignung für ressourcenarme Regionen. " ⓘ

Verwendung in Berichtsleitlinien

In den Leitlinien für die Entwicklung von Berichterstattungsleitlinien aus dem Jahr 2010 wurde die Anwendung der Delphi-Methode für die Entwicklung von Berichterstattungsleitlinien empfohlen. Nach den systematischen Übersichten von 2015 und 2020 wurden jedoch weniger als 30 % der Berichtsleitlinien mit der Delphi-Methode entwickelt. Der Delphi-Ansatz wurde erfolgreich eingesetzt, um die Übereinstimmung zwischen Experten in iterativen Bewertungsübungen zu klinischen Testergebnissen zu verbessern, wobei die Inter-Rater-Kappa-Statistik als Ergebnismaß verwendet wurde. ⓘ

Online-Delphi-Systeme

Eine Reihe von Delphi-Prognosen werden über Websites durchgeführt, die es ermöglichen, den Prozess in Echtzeit abzuwickeln. Das TechCast-Projekt beispielsweise nutzt ein Gremium von 100 Experten weltweit, um Durchbrüche in allen Bereichen der Wissenschaft und Technologie vorherzusagen. Ein weiteres Beispiel ist das Horizon Project, bei dem Zukunftsforscher aus dem Bildungsbereich online nach der Delphi-Methode zusammenarbeiten, um die technologischen Fortschritte zu ermitteln, die in den nächsten Jahren im Bildungsbereich zu erwarten sind. ⓘ

Variationen

Traditionell zielt die Delphi-Methode darauf ab, durch Iteration einen Konsens über die wahrscheinlichste Zukunft zu erzielen. Andere Versionen, wie z. B. das Politik-Delphi, sind stattdessen eine Methode zur Entscheidungsunterstützung, die darauf abzielt, die verschiedenen Ansichten über die bevorzugte Zukunft zu strukturieren und zu diskutieren. In Europa haben neuere webbasierte Experimente die Delphi-Methode als Kommunikationstechnik für interaktive Entscheidungsfindung und E-Demokratie eingesetzt. Das von Osmo Kuusi entwickelte Argument-Delphi konzentriert sich auf die laufende Diskussion und das Auffinden relevanter Argumente, anstatt sich auf das Ergebnis zu konzentrieren. Das von Petri Tapio entwickelte Disaggregative Policy Delphi nutzt die Cluster-Analyse als systematisches Werkzeug, um in der letzten Delphi-Runde verschiedene Zukunftsszenarien zu konstruieren. Die Ansichten der Befragten über die wahrscheinliche und die wünschenswerte Zukunft werden als separate Fälle behandelt. Die Computerisierung von Argument-Delphi ist aufgrund verschiedener Probleme wie Argumentauflösung, Argumentaggregation und Argumentbewertung relativ schwierig. Die von Sadi Evren Seker entwickelte Computerisierung von Argument Delphi bietet Lösungen für diese Probleme. ⓘ

Genauigkeit

Heute ist die Delphi-Methode ein weithin akzeptiertes Prognoseinstrument und wurde in Tausenden von Studien in den verschiedensten Bereichen, von der Technologieprognose bis zum Drogenmissbrauch, erfolgreich eingesetzt. Insgesamt ist die Erfolgsbilanz der Delphi-Methode gemischt. Es gab viele Fälle, in denen die Methode zu schlechten Ergebnissen führte. Einige Autoren führen dies jedoch auf eine mangelhafte Anwendung der Methode zurück und nicht auf die Schwächen der Methode selbst. Man muss sich auch darüber im Klaren sein, dass in Bereichen wie Wissenschaft und Technologieprognosen der Grad der Ungewissheit so groß ist, dass exakte und stets korrekte Vorhersagen unmöglich sind, so dass ein hohes Maß an Fehlern zu erwarten ist. ⓘ

Eine besondere Schwäche der Delphi-Methode besteht darin, dass künftige Entwicklungen durch den Konsens der Experten nicht immer richtig vorhergesagt werden. Diese Unzulänglichkeit in Bezug auf das Problem der Unwissenheit ist wichtig. Wenn die Diskussionsteilnehmer über ein Thema schlecht informiert sind, kann die Anwendung der Delphi-Methode ihre Unwissenheit nur noch verstärken. ⓘ

Eines der anfänglichen Probleme der Methode war ihre Unfähigkeit, komplexe Prognosen mit mehreren Faktoren zu erstellen. Mögliche künftige Ergebnisse wurden in der Regel so betrachtet, als ob sie sich gegenseitig nicht beeinflussen würden. Später wurden mehrere Erweiterungen der Delphi-Methode entwickelt, um dieses Problem zu lösen, z. B. die Cross-Impact-Analyse, die die Möglichkeit berücksichtigt, dass das Eintreten eines Ereignisses die Wahrscheinlichkeiten anderer in der Umfrage erfasster Ereignisse verändern kann. Dennoch kann die Delphi-Methode am erfolgreichsten für die Vorhersage einzelner skalarer Indikatoren eingesetzt werden. ⓘ

Delphi vs. Prognosemärkte

Delphi weist ähnliche Merkmale wie Prognosemärkte auf, da es sich in beiden Fällen um strukturierte Ansätze handelt, bei denen verschiedene Meinungen von Gruppen zusammengefasst werden. Dennoch gibt es Unterschiede, die für ihre relative Anwendbarkeit bei verschiedenen Problemen entscheidend sein können. ⓘ

Einige Vorteile von Prognosemärkten ergeben sich aus der Möglichkeit, Anreize für die Teilnahme zu schaffen.

1. Sie können Menschen dazu motivieren, sich über einen langen Zeitraum hinweg zu beteiligen und ihre wahren Überzeugungen zu offenbaren.
2. Sie aggregieren Informationen automatisch und lassen neue Informationen sofort in die Prognose einfließen.
3. Die Teilnehmer müssen nicht manuell von einem Moderator ausgewählt und rekrutiert werden. Sie entscheiden selbst, ob sie teilnehmen möchten, wenn sie der Meinung sind, dass ihre privaten Informationen noch nicht in die Prognose eingeflossen sind. ⓘ

Delphi scheint diese Vorteile gegenüber Prognosemärkten zu haben:

1. Die Teilnehmer legen ihre Überlegungen offen.
2. Es ist einfacher, Vertraulichkeit zu wahren
3. Möglicherweise schnellere Prognosen, wenn Experten zur Verfügung stehen.
4. Delphi ist in Situationen anwendbar, in denen die Wetten den Wert der in den Wetten verwendeten Währung beeinflussen könnten (z. B. könnte eine Wette auf den Zusammenbruch des Dollars, die in Dollar abgeschlossen wurde, die Quoten verzerren). ⓘ

Neuere Forschungen haben sich auch auf die Kombination von Delphi-Technik und Prognosemärkten konzentriert. Genauer gesagt wurden in einer Forschungsstudie der Deutschen Börse Elemente der Delphi-Methode in einen Prognosemarkt integriert. ⓘ

Vorgehensweise

Standard-Delphi-Methode

Bei der Standard-Delphi-Methode werden mehrere Experten zur Schätzung eines Projektes – oder zur Prognostizierung – herangezogen, die sich nicht untereinander abstimmen dürfen. Der Prozess sieht wie folgt aus:

• Ein Projektleiter bereitet eine Projektbeschreibung vor, in der die einzelnen Teil-Produkte aufgelistet sind und bereitet sie in einem Arbeitsformular vor.
• Der Projektleiter stellt die Ziele des Gesamtprojektes vor und verteilt je ein Exemplar des Arbeitsformulars an jeden Experten. Es findet keine Diskussion der Schätzungen statt.
• Jeder Experte schätzt die im Arbeitsformular enthaltenen Arbeitspakete. Keiner der Experten arbeitet mit einem anderen Experten zusammen.
• Alle Arbeitsformulare werden vom Projektleiter gesammelt und ausgewertet.
• Ergeben sich gravierende Diskrepanzen, so werden diese vom Projektleiter einheitlich auf allen Arbeitsformularen in Bezug auf die Abweichung nach oben oder unten kommentiert. Jedes Arbeitsformular geht anschließend an seinen ursprünglichen Bearbeiter wieder zurück.
• Die Experten überdenken in Abhängigkeit von den Kommentaren ihre Schätzungen. Dieser Vorgang kann als eine Art indirekte Diskussion angesehen werden, da die Experten nicht in Kontakt zueinander stehen und sich doch gegenseitig beeinflussen.
• Die beschriebene Schleife wiederholt sich so lange, bis sich in den Schätzungen unabhängig voneinander (in einem Toleranzbereich) Konsens einstellt.
• Von allen Schätzungen werden die Mittelwerte errechnet und als finale Schätzung präsentiert. ⓘ

Das Fehlen jeglicher Diskussionen hat zwei Aspekte, die ein Projektleiter bewerten muss: Einerseits wird damit verhindert, dass sich aufgrund einer ungewollten Gruppendynamik Strömungen und Tendenzen in den Meinungen herausbilden, die unter Umständen gute Schätzungen verhindern. Auf der anderen Seite könnten Gruppendiskussionen dazu beitragen, Defizite im Know-how einzelner Experten und die damit verbundenen Fehleinschätzungen zu vermeiden. ⓘ

Häufig werden Delphi-Umfragen schriftlich und getrennt durchgeführt, die Fragebogen werden also den Experten per Brief oder Mail gesandt. Die einzelnen Experten sehen sich nie und wissen auch erst nach Abschluss aller Umfragerunden die Namen der anderen Befragten. Dieses Vorgehen ist zuverlässiger als das Versammeln aller Experten in einem Raum. Liegt der Schlussbericht einmal vor, werden in der Regel alle Experten und andere Interessierte zu einem Symposium eingeladen. ⓘ

Breitband-Delphi-Methode

Bei der Breitband-Delphi-Methode werden mehrere Experten zur Schätzung eines Projektes herangezogen, die sich untereinander abstimmen dürfen. Der Prozess sieht wie folgt aus:

• Ein Projektleiter bereitet eine Projektbeschreibung vor, in der die einzelnen Teil-Produkte aufgelistet sind und bereitet sie in einem Arbeitsformular vor.
• Der Projektleiter stellt die Ziele des Gesamtprojektes vor und verteilt je ein Exemplar des Arbeitsformulars an jeden Experten. Es findet eine Diskussion der Arbeitspakete unter den Experten statt, in der die Sicht der einzelnen Experten den anderen Teilnehmern in Bezug auf das Gesamtprojekt und die Teilaufgaben vermittelt werden.
• Anschließend schätzt jeder Experte die in seinem Arbeitsformular enthaltenen Arbeitspakete. Keiner der Experten arbeitet dabei mit einem anderen Experten zusammen.
• Der Projektleiter fasst die einzelnen Schätzaussagen zusammen, er begründet allerdings die Angaben und Unterschiede nicht. Die Ergebnisse werden an alle Experten verteilt.
• Der Projektleiter beruft ein neues Meeting mit den Experten zusammen und spricht die größten Diskrepanzen in den Schätzungen an. Jedes Arbeitsformular geht anschließend an seinen ursprünglichen Bearbeiter wieder zurück.
• Die Experten überdenken in Abhängigkeit von den angeführten Abweichungen ihre Schätzungen.
• Die beschriebene Schleife wiederholt sich so lange, bis sich in den Schätzungen unabhängig voneinander (in einem Toleranzbereich) Konsens einstellt.
• Von allen Schätzungen werden die Mittelwerte errechnet und als finale Schätzung präsentiert. ⓘ

Durch die Wechselwirkungen der Experten untereinander werden unterschiedliche Ansichten vermittelt, was eine Konsens-Bildung beschleunigt. Vorteil dieser Methode ist zum einen die Anonymität der Schätzungen: Die Experten werden nicht mit ihren gravierenden Abweichungen der Schätzungen konfrontiert und können damit die Schätzaufwände in ihrem Sinne beeinflussen. Starke Abweichungen von Mittelwerten werden offengelegt. Nachteil dieser Methode ist die Gefahr einer Meinungsbildung durch die Gruppendynamik, in der eine unter Umständen notwendige gravierende Schätzabweichung dem Gruppenzwang unterliegt. Ein weiterer Nachteil ist, dass aufgrund mehrerer Iterations-Schleifen für die Meinungsbildung der gesamte Schätzaufwand recht umfangreich werden kann. Die Breitband-Delphi-Methode ist eine sinnvolle Technik für das Schätzen von großen Projekten, in denen komplexe Architekturen durch eine große Expertenrunde mit Hilfe der Interaktion der Experten untereinander zu realistischen Werten führen kann. ⓘ

Kritik

Die Delphi-Methode versucht, durch das mehrstufige, manchmal auf Konsens angelegte Design, Fehleinschätzungen der Experten zu reduzieren. Dennoch lassen sich nicht alle Probleme der Expertenbefragung vermeiden; durch die Befragung mehrerer Personen entstehen weitere Einschränkungen. ⓘ

• Der Hauptkritikpunkt betrifft die Grundannahme, dass Experten über Erkenntnisse verfügen, die über das Normalmaß hinausgehen und dass sich in der Kombination Zukunftswissen generieren lässt. Diese Annahme ist jedoch nicht beweisbar.
• Zur Auswahl der Experten gibt es keine Kriterien; die Bezeichnung „Experte“ ist rein subjektiv und willkürlich; durch die Auswahl der Teilnehmer erfolgt schon eine Einflussnahme auf das Ergebnis.
• Themen und Thesen müssen zunächst formuliert werden, bevor sie das zweistufige Verfahren durchlaufen können. In manchen Fällen werden die Thesen zwar im Verfahren selbst erarbeitet, in der Regel sind hierzu jedoch weitere Methoden notwendig.
• Die Thesen müssen kurz, prägnant, aber eindeutig formuliert sein. Dies kann ein Vorteil sein, zwingt es doch die Teilnehmer zur Konzentration auf das Wesentliche. Methodisch können aber nur bedingt komplexe Themenstellungen bewertet werden.
• Experten konzentrieren sich per Definition im Wesentlichen auf ihren Fachbereich. Die Interdependenzen mit anderen Entwicklungen, die vor allem bei breit angelegten Studien wichtig sind, werden häufig vernachlässigt oder müssen nachgearbeitet werden.
• Werden relevante Rahmenbedingungen (z. B. soziale Entwicklungen bei der Prognose der technischen Entwicklung der Mobilkommunikation) beachtet, so kann man sich nicht darauf verlassen, dass die Befragten hierfür dieselbe zuverlässige Expertise besitzen wie in ihrem eigentlichen Fachbereich.
• Experten neigen dazu, die Geschwindigkeit von Entwicklungen zu überschätzen. Vor allem die Diffusionsgeschwindigkeit einer Innovation in der Gesellschaft wird schnell überschätzt.
• Bei der Befragung einer Gruppe entsteht eine soziale Situation. Hierbei können durch Autorität, oder auch aufgrund persönlicher Grabenkämpfe, Verzerrungen entstehen. So ist nicht immer klar, ob ein Konsens (oder ein Dissens) tatsächlich nur auf dem intensiven Hinterfragen der eigenen Meinung beruht. Eine Anonymisierung in der Feedback-Runde kann diese Probleme i. A. nicht vollständig vermeiden. Bei der Verwendung von Fragebögen (E-Mail oder postalisch) wird das Delphi-Verfahren explizit dazu genutzt, diese Dominanzen zu umgehen. Bei Präsenzrunden ist dies nur bedingt möglich. ⓘ