Delphi survey

Van TNO transitie wiki

Ga naar: navigatie, zoek

Hoofdpagina → Toolbox → Delphi survey

Inhoud

[bewerk] Kern

Delphi techniek is een gefragmenteerde groepsproces om consensus te ontwikkelen wanneer bepalende factoren subjectief zijn. De respondenten worden individueel op afstand (anoniem) ondervraagt in verschillende ronden (klassieke opzet: 3 of 4 ronden), waarbij resultaten uit vorige ronden input vormen voor de vragenlijsten voor de volgende. Toegepast om numerieke schattingen en voorspellingen op een situatie te ontwikkelen. Het gebruikt geschreven respons in plaats van het samenbrengen van mensen. De techniek kan op verschillende situaties worden toegepast (bijv. voorspellingen omtrent technologische ontwikkelingen, project prioritering en vaststellen van milieu standaarden). Binnen transitiemanagement kan Delphi techniek ingezet worden als onderdeel van de verkennings-fase.

[bewerk] Doel en toepassingen

Het doel van de Delphi techniek is het verkrijgen van informatie en beoordelingen van participanten, om zo probleem-oplossing, planning en besluitvorming te faciliteren. Delphi brengt niet fysiek de respondenten bij elkaar. In plaats daarvan wordt informatie uitgewisselt via post, fax, of e-mail. Deze techniek is ontworpen om de creativiteit van deelnemers te benutten en de schaalvoordelen van een groepsdeelname en interactie. Het is gestructureerd om de voordelen van groep probleemoplossend vermogen te benutten en tegelijkertijd de gevaren van groepsprocessen te minimaliseren. Gedurende drie decennia wordt de Delphi methode toegepast ten behoeve van planning, technische en strategische evaluaties, en voorspellingen.

De Delphi methode wordt alom beschouwd als effectief in situaties waar er geen harde data voorhanden is en de primaire bron van informatie goed geinformeerde of met kennis beargumenteerde meningen.

[bewerk] Meerwaarde

Karakteristieken van de methode zijn:

  • Het gebruik van een panel van experts.
  • Facilitator die het proces begeleidt.
  • Anonieme deelname, waardoor groepsprocessen (sociaal wenselijke antwoorden, etc.) vermeden worden.
  • Iteratieve verwerking van de respons in verschillende ronden
    • Verwerking respons in verdere vragenlijsten
    • Zelfde argumenten worden niet herhaald
    • Alle meningen en argumentaties worden door het panel ontwikkeld
  • Statistische interpretatie van de voorspellingen

Voordelen:

  • Houdt aandacht direct op het onderwerp
  • Staat verschillende achtergronden en afgelegen locaties toe
  • Produceert nauwkeurige documentatie
  • Leidt tot een consensus

Nadelen:

  • Intensief, duur en tijdrovend.
  • Gebrek aan commitment.
    • Gedeeltelijk door de anonimiteit
  • Kans op systematische fouten
    • Onderschatten invloed van de toekomst (het heden wordt als belangrijker gezien)
    • Misleidende expertise (experts zijn nog geen goede voorspellers)
    • Vage vragen en ambigue antwoorden
    • Noodzaak te simplificeren
    • Gewenste uitkomsten worden als waarschijnlijker ingeschat
    • Te homogene groep experts leidt tot eenzijdige voorspelling
Profiler van de Delphi techniek
Profiler van de Delphi techniek


[bewerk] Achtergrond en toelichting

De Delphi techniek werd in de jaren '50 door de RAND Corporation ontwikkeld als analytische tool als spin-off van een door de Amerikaanse luchtmacht gesponsord onderzoek naar de toepassing van expert's mening. Het voornaamste doel hiervoor was om de toekomst te kunnen voorspellen via een constructieve en systematische aanpak om expert beoordelingen te inventariseren en consensus te ontwikkelen. De Delphi techniek heeft een reputatie ontwikkeld in correct voorspellen van de toekomst en het bereiken van consensus (Armstrong, 1989).

The Delphi methode typeert zich door het verzamelen van input van een groep individuen via een anonieme, iteratieve survey met gecontroleerde feedback na elke iteratie. Delphi deelnemers kunnen experts of leken zijn afhankelijk van het doel van het onderzoek. In de meeste gevallen wordt in de eerste vraganronde het probleem breed opgezet en worden reacties hierop gevraagd. De antwoorden hierop worden samengevat en gebruikt voor de ontwikkeling van een tweede vragenlijst, die de resultaten van de eerste vragenronde vertegenwoordigd en de respondenten de kans geeft om hun reacties te specificeren, ophelderen, gebieden van overeenstemming of verschil aan te geven, en prioriteiten te ontwikkelen. Dit interactieve proces kan zo vaak als nodig herhaald worden (Ziglio, 1996).

[bewerk] Uitvoering

De Delphi methode heeft in principe een variabel aantal ronden, maar de klassieke vorm bestaat uit drie of vier ronden.

Voorbereiding:

  • Ontwerpen en testen van de eerste vragenlijst
  • Selectie en samenstelling van het panel
  • Hoe wil je data analyseren uit vragenlijst #1?
  • Hoe ontwerp je de volgende vragenlijst(en)?


1e ronde: individuele brainstorms en verzamelen van ideeën.

  • Panelleden wordt gevraagd om een lijst trends en issues samen te stellen (op basis van een eerste vragenlijst met open vragen) die waarschijnlijk een rol gaan spelen in de toekomst.
  • De onderzoeker ordent de reacties:
    • Gelijksoortige meningen worden gecombineerd.
    • Kleine, marginale issues worden verwijderd.
    • Argumenten worden uitgewerkt.
  • De vragenlijst (#2) voor de tweede ronde wordt hieruit ontwikkelt.


2e ronde: verzamelen van reacties en uitwerkingen op verzameling van eerste ideeën

  • Samenvatting van de voorspellingen wordt naar de panelleden gestuurd.
  • Deelnemers wordt een reactie op de realisering ervan gevraagd. (beoordelen van de uitkomsten van de eerste ronde, bijvoorbeeld via Likert schaal)
  • De onderzoeker maakt een statistische samenvatting van de antwoorden (mediaan, kwadranten, gemiddelde)


3e ronde

  • Resultaten van de tweede ronde worden naar de panelleden gestuurd
  • De opgenomen vragen betreffen issues waarover in het panel geen consensus bestaat.
  • Leden wordt om nieuwe voorspellingen gevraagd
    • Ze kunnen hun meningen veranderen
  • Een statistische samenvatting van de antwoorden (onderzoeker)


4e ronde

  • Resultaten van de derde ronde worden naar de panelleden gestuurd:
    • De gemiddelden van het panel op elke vraag wordt aan de leden voorgelegd.
  • Leden wordt om nieuwe voorspellingen gevraagd
    • Argumentatie is gevraagd over items waarover hun mening af blijft wijken van de algemene opvatting.
  • Onderzoeker vat de resultaten samen


Voorspelling = gemiddelde van de vierde ronde

Onzekerheid = verschil tussen het onderste en bovenste kwadrant


Dit proces van iteratie kan doorgaan tot de onderzoeker verzadiging opmerkt; wanneer geen nieuwe ideeën meer ontstaan en alle sterkten, zwakten en meningen in kaart zijn gebracht.

[bewerk] Resultaat

Een uitkomst kan op twee wijzen ontstaan:

  1. Wanneer dominant zullen hoog gewaardeerde ideeën via naar voren komen dankzij consensus. De survey is dan ten einde. Het eindproduct is een lijst met ideeën hun bijkomende sterkten en zwaktes.
  2. De onderzoeker voert een formele evaluatie uit van de meningen van de groep over de verdienste van de ideeën. Er zijn een aantal manieren om een formele evaluatie uit te voeren.
    1. De onderzoeker bereidt een vragenlijst voor die alle ideeën opsomt en vraagt de panelleden elke op een schaal (bijv. 7-punts schaal) te scoren. De respondenten sturen hun scores aan de onderzoeker, die de resultaten op basis van deze evaluatie rangschikt.
    2. Een vergelijkbare aanpak is de Nominal Group Technique. Hierbij wordt door de onderzoeker aan de leden gevraagd om vijf beste ideeëen te beoordelen met punten. Ieder scoort het beste idee met 5 punten, 4 punten voor het eerstvolgende beste idee, etc. De onderzoeker vat de uitkomsten samen en ordent de ideeen op basis van de score.

Het proces kan daarnaast het nadenken over het onderwerp (de toekomst) opwekken, ondersteunen en versnellen en ook (zeker in het geval van het eerste punt) ook tot consensus leiden binnen het panel.

[bewerk] Aandachtspunten

  • Beste toe te passen wanneer een expert panel en beoordelending nodig is
    • Sluit causale modellen uit.
    • Het probleem is complex, groot en multidisciplinair.
    • Onzekerheden door snelle ontwikkeling or grote tijdschaal.
    • Meningen van een grote groep nodig.
    • Anonimiteit nodig.
  • Intensieve aanpak.
  • De techniek legt veel nadruk op het extraheren van creatieve gedachten uit haar participanten. De techniek faalt echter wanneer de facilitator niet objectief is of wanneer de deelnemers zich onzeker voelen in het uiten van hun meningen. Om de techniek te laten slagen moet de onpartijdigheid van de facilitator worden gewaarborgd en moeten deelnemers ervan overtuigd zijn dat afwijkende meningen of ideeën welkom zijn.
  • Belangrijk is ook om het verleden mee te nemen om zodoende ook zogenaamde weak signals te kunnen herkennen. Ogenschijnlijk onbelangrijke fenomenen kunnen namelijk plotseling doorbreken.

[bewerk] Bronnen

Personen binnen TNO

Projecten binnen TNO

Bronnen buiten TNO

  • A.T. Kearney, Inc. 1988. Countdown to the Future: The Manufacturing Engineer in the 21st Century. Dearborn, Mich.: Society of Manufacturing Engineers.
  • Dalkey, N.C. 1969. The Delphi Method: An Experimental Study of Group Opinion. Memorandum RM-5888 PR. Santa Monica, Calif.: Rand Corporation.
  • Glaser, B.G., and A.L. Strauss. 1967. The Discovery of Grounded Theory. Chicago, Ill.: Aldine.
  • Linstone, H.A., and M. Turoff (eds). 1975. The Delphi Method: Techniques and Applications. Reading, Mass.: Addison-Wesley.
  • Ziglio, E. 1996. The Delphi Method and its Contribution to Decision-Making. Pp. 3_33 in Gazing into the Oracle: The Delphi Method and Its Application to Social Policy and Public Health. M. Adler and E. Ziglio, eds. London: Jessica Kingsley Publishers.
  • Linstone, H. A., & Turoff, M. (1975). The Delphi method: Techniques and applications. Reading,

MA: Addison-Wesley.

Tools

Teruggeplaatst van "http://www.kenniscentrumtransities.nl/tnowiki/index.php?title=Delphi_survey"
Aspecten/acties