Menu 

Validiteit en betrouwbaarheid van MindSonar

Auteur: Jaap Hollander

Beschrijving: 2007: “Wij zullen de komende jaren zeker onderzoek blijven doen naar de validiteit en de betrouwbaarheid van MPA. We mogen echter nu al – met wetenschappelijke ondersteuning – zeggen dat MPA valide (voor het meten van metaprogramma’s) en betrouwbaar is.

Artikel: Validiteit MindSonar

 

======================

 

Validiteit

De validiteit van een test is de mate waarin de test aan zijn doel beantwoordt. Bij validiteit is de vraag dus: valide waarvoor? Dat hangt af van wat je wilt meten. Wanneer we willen weten hoe lang iemand is, dan is het meten van de lichaamslengte bijvoorbeeld een valide meting. Maar wanneer we geïnteresseerd zijn in het IQ dan is het meten van lichaamslengte niet valide. Bij MPA willen we dat de test valide is voor het vaststellen van de metaprogramma’s.

De belangrijkste soorten validiteit die in de Nederlandstalige literatuur worden onderscheiden zijn begripsvaliditeit en predictieve validiteit.

Predictieve validiteit heeft betrekking op de vraag in hoeverre de test of meting voorspellende waarde heeft. Bij psychologische tests gaat het bijvoorbeeld om de vraag of men naar aanleiding van de test inderdaad kan concluderen of iemand aan een bepaalde psychische aandoening lijdt. “Voorspellen” gaat in dit geval dus niet alleen over toekomstige zaken (predictie), maar ook over verschijnselen in het heden of zelfs het verleden. Onderzoeksresultaten m.b.t. MPA die bekend zijn:

  • Dat een bepaalde configuratie van MPA-scores bij BMW in hoge mate voorspellend is voor het aantal auto’s dat een BMW-verkoper per jaar zal verkopen.
  • In principe is ieder MPA-normprofiel waarvan een hoge correlatie wordt aangetoond met een andere maat (bijvoorbeeld functioneren in een bepaalde functie, bijdrage aan de omzet, verkoop, resultaten van 360 graden feedback of hoe de gewenste toestand maar wordt gemeten) een bewijs van de predicitieve validiteit van MPA.
  • Bepaalde MPA-scores voorspellen welke Belbin-teamrol iemand zal vertonen.

Begripsvaliditeit heeft betrekking op het theoretische begrip waarmee de test een verklaring wil geven voor het testgedrag. Begripsvaliditeit is van belang als de test een bepaalde capaciteit, persoonlijkheidstrek of attitude verantwoordelijk acht voor de testscore. Bij MPA gaat het dus om de metaprogramma’s, die wij verantwoordelijk houden voor de score. Drs. Jean Nijskens deed van 2002-2004 diverse onderzoeken naar de begripsvaliditeit van MPA (zie https://www.iepdoc.nl/biblio/artikel_detail.asp?ID=71)

De twee belangrijkste onderzoeken waren:

  • Expert-validatie
    Alle items werden voorgelegd aan een groep van 60 deskundigen (NLP-materpractitioners die getraind waren in het herkennen van metaprogramma’s). Aan hen werd gevraagd te bepalen tot welk metaprogramma volgens hen een testitem behoorde.
    Van ieder testitem werd het gemiddeld percentage correcte identificatie berekend. Als een item door minder dan 50% van de deskundigen correct geïdentificeerd werd, werd het beschouwd als een slechte operationalisatie van het onderliggende metaprogramma. Zeven van de 78 testitems vielen in die categorie. Deze items werden bewerkt of vervangen. Een aantal andere items (8) scoorden weliswaar niet onder de 50% herkenning maar scoren beduidend minder goed dan de andere items binnen hetzelfde metaprogramma. Ook deze items werden verbeterd of vervangen.
  • Vervolgens werden de bijgestelde en de vervangende vragen opnieuw aan de experts voorgelegd. Op deze manier werd gezorgd dat alle vragen door voldoende experts werden herkend als vragend naar het bedoelde metaprogramma.
  • Invuller-validatie
    Door 10 naïeve proefpersonen werd de test in zijn geheel doorlopen. Tijdens de afname voerde Drs. Nijskens een diepte-interview waarin de proefpersonen gevraagd werd hoe ze de vragen interpreteerden. Op grond van dit onderzoek kwamen fundamentele vragen naar boven over enkele van de aanvankelijke manieren van operationaliseren. Hij beoordeelde in hoeverre de overwegingen van de invuller strookten met het metaprogramma dat de vraag wilde meten. Een klassiek voorbeeld was een vraag waarbij twee keer dezelfde foto van een vrouw met een witte jurk te zien was. Bij het ene keuzealternatief dacht zij: ‘Gelukkig dat ik op deze foto mijn mooie witte jurk aan heb’. Bij het andere alternatief dacht zij: ‘Wat jammer dat ik op deze foto mijn witte oorbellen niet in heb’. Dit item was bedoeld om matching versus mismatching te meten. De vraag was: ‘Welke vrouw denkt het meest zoals u denkt in de context [waar het nu over gaat]’. Eén invulster koos voor het alternatief van de jurk (‘Gelukkig dat ik op deze foto mijn mooie witte jurk aan heb’). Toen Drs. Nijskens haar vroeg waarom zij deze keuze maakte, zei zij: ‘Omdat de kleding zelf (de jurk) altijd belangrijker is dan de accessoires’. Dit leek weinig te maken te hebben met matching of mismatching, maar meer met algemene criteria m.b.t. kleding (de inhoud van het item). Omdat dit item te veel van dit soort onbedoelde associaties opriep bij verschillende invullers, werd het verwijderd. Naar aanleiding van dit onderzoek werd weer een aantal items bijgesteld en vervangen. Uiteindelijk stimuleerde dit onderzoek tot een flinke revisie van de test.
  • De bijgestelde en nieuwe items werden weer aan invullers voorgelegd. Op deze manier werd gezorgd dat alle items in voldoende mate associaties opriepen die te maken hadden met de metaprogramma’s die we wilden meten.

Betrouwbaarheid

In statistische zin betekent betrouwbaarheid, dat wanneer een meting meerdere malen gedaan wordt, er weinig verschil is tussen de gemeten waarden. Er komt steeds min of meer hetzelfde getal of dezelfde uitslag uit. Wanneer er een grote toevalscomponent zit in de gemeten waarden, zullen die meer van elkaar verschillen en is de betrouwbaarheid van de meting laag. De berouwbaarheid geeft dus de mate aan, waarin een meting onafhankelijk is van het toeval. Dat een meting betrouwbaar is, garandeert overigens niet dat hij ook valide is (zie ‘validiteit’ hierboven). Daarom zijn wij begonnen om de validiteit van MPA te meten en zijn wij pas daarna de betrouwbaarheid gaan onderzoeken. Het heeft immers geen zin om op betrouwbare wijze iets te meten dat je niet wilt meten…. Eén definitie van betrouwbaarheid is: betrouwbaarheid geeft de mate aan waarin meetresultaten een afspiegeling zijn van de te meten variabele. Een andere definitie luidt: betrouwbaarheid geeft de mate aan waarin metingen vrij zijn van de invloed van toevallige factoren. Beide definities komen op hetzelfde neer.

De betrouwbaarheid wordt als een correlatiecoëfficiënt uitgedrukt. Bij de minimale waarde van de betrouwbaarheid (0) is het meetinstrument volledig onbetrouwbaar, scores worden alleen door toevallige factoren bepaald. Bij de waarde 1 zijn de toevalsfactoren volledig uitgeschakeld.

Cronbachs α (alpha)

Om te controleren of een test betrouwbaar is, wordt doorgaans gebruikgemaakt van Cronbachs α (alpha). Dit is een maat voor de mate waarin een aantal items in een test hetzelfde concept meten. MPA bijvoorbeeld meet één bepaald metaprogramma door middel van meerdere verschillende vragen (items). Cronbachs α geeft aan in hoeverre die items inderdaad hetzelfde concept meten, door te berekenen of de antwoorden van een grote groep respondenten op deze items consistent zijn.

Cronbachs α kan waarden aannemen van minus oneindig tot 1 (waarbij wordt opgemerkt dat alleen positieve waarden zinvol zijn). Als vuistregel wordt vaak gehanteerd dat een test kan worden gebruikt bij een α van 0,70 of hoger.

Betrouwbaarheid van MPA

Drs. Lisette de Ruyter berekende in 2007 Cronbachs α voor MPA aan de hand van de testresultaten van 1600 invullers. Zij vond zo een aantal vragen die de Cronbachs alpha in feite verlaagden i.p.v. verhoogden en tevens een aantal vragen die de Cronbachs alpha in slechts minieme mate verhoogden. Deze items werden verwijderd (vanaf versie 7.0). Daarmee werd de test tevens compacter. De oorspronkelijke 117 items van versie 6.1 konden worden teruggebracht tot 87. Wij verwachten dat het aantal items in de toekomst nog verder kan worden gereduceerd.

De onderstaande tabel geeft een overzicht van de Cronbachs alpha voor en na de verwijdering van de vragen die negatief of minimaal aan de betrouwbaarheid bijdroegen:

In feite is MPA een verzameling van 13 testjes (voor de 13 metaprogramma’s die met MPA worden gemeten). Al deze testjes hebben nu een Cronbachs alpha van 0.7 of hoger. Wat des te bevredigender is, als je bedenkt dat ze soms nog maar uit vijf vragen bestaan.

Conclusie: MPA is valide en betrouwbaar

Wij zullen de komende jaren zeker onderzoek blijven doen naar de validiteit en de betrouwbaarheid van MPA. We mogen echter nu al – met wetenschappelijke ondersteuning – zeggen dat MPA valide (voor het meten van metaprogramma’s) en betrouwbaar is.

About the Author Librarian

Librarian is geen auteur. Het is een adminstratieve dienst die artikelen uit de oude IEP bibliotheek als posts op deze site heeft geplaatst. De datum van het artikel is ongeveer geschat (per jaar).

Leave a Comment: