Wetenschap van 360 graden feedback
De kenmerken, bruikbaarheid en betrouwbaarheid van de 360 graden feedback methodiek
door drs. E.J.A. van IJzendoorn psycholoog TMA Methode
360 graden feedback is een instrument op het gebied van beoordeling en ontwikkeling van medewerkers. Bij dit instrument gaat het om het genereren van feedback, door een aantal personen met een verschillend perspectief op het gedrag van de beoordeelde persoon. Doel is om een zo breed mogelijk beeld te schetsen van het huidige gedrag in de werksituatie.
Het 360 graden feedback principe
Het 360 graden feedback principe is een methode om het functioneren van een individu te evalueren waarbij gebruik wordt gemaakt van meerdere beoordelaars. De basis van deze methode is dat het functioneren van een individu wordt beoordeeld door een aantal personen rondom de beoordeelde die een goed zicht hebben op het dagelijks functioneren van de betreffende persoon. Dat kunnen collega’s van gelijk niveau zijn, maar ook ondergeschikten of de directe leidinggevende. In sommige gevallen kan ook de mening van (interne) klanten worden gevraagd. Door de verschillende percepties van deze personen te combineren, wordt een compleet beeld verkregen van de beoordeelde persoon.
Het 360° principe wordt momenteel met name ingezet als basis voor personeelsbeoordelings-systemen en coaching c.q. functioneringsgesprekken. Personen uit de werkomgeving van de betrokkene beoordelen het functioneren van die persoon en leveren zo de input voor beoordelings- of functioneringsgesprekken.
Kenmerken van het 360° principe
Het gebruik van meerdere beoordelaars
Bij het 360° principe beoordelen meerdere personen het gedrag van een individu. Het gebruik van meerdere beoordelaars, ook wel multirating genoemd, heeft enkele voordelen boven het gebruik van een enkele beoordelaar, oftewel singlerating. Ten eerste nemen de observatiemogelijkheden van de persoon in verschillende situaties met het aantal beoordelende personen toe (Borman 1974; Henderson, 1984). In het geval van personeelsbeoordeling zal een leidinggevende niet altijd in staat zijn om zijn medewerkers op alle aspecten van hun functie te observeren. Denk bijvoorbeeld eens aan buitendienstmedewerkers, die het grootste deel van hun werktijd bij klanten doorbrengen. Verschillende beoordelaarsgroepen vervullen een verschillende rol ten opzichte van de beoordeelde (Harris & Schaubroeck, 1088; Roe, 1983). Door de percepties van meerdere personen met een ander perspectief te combineren, wordt een minder eenzijdig, en dus completer beeld verkregen van de beoordeelde persoon.
Het risico is echter dat door meer verschillende observaties ook de kans op een onjuiste observatie toeneemt. Met het meetproces in gedachten zal dit duidelijk zijn: per stap kunnen de oordelen van beoordelaars uiteenlopen. Beoordelaars hebben verschillende beelden van een succesvolle kandidaat en zullen dan ook op andersoortig gedrag letten. Daarnaast is dit verschil in perceptie ook van invloed op de interpretatie van geobserveerd gedrag. Wat de ene beoordelaar als wenselijk beschouw, ziet een ander wellicht als minpunt. Het is dan ook van belang om het beoordelingsproces zoveel mogelijk te standaardiseren door onder andere te beoordelen op duidelijk omschreven en makkelijk observeerbaar gedrag.
Het bovenstaande lijkt in strijd met het gegeven dat de betrouwbaarheid van een beoordeling door middel van multirating over het algemeen toeneemt ten opzichte van singlerating. Dit is echter te verklaren door het feit dat een beoordeling die tot stand komt door twee assessoren die hetzelfde zien, betrouwbaarder is dan een beoordeling op basis van observaties van 1 persoon. Hierdoor wordt onder andere de kans op een onjuiste beoordeling verkleind en worden eventuele invloeden van bias verminderd. De observaties van de ene beoordelaar worden als het ware gecontroleerd door de waargenomen gedragingen door de andere beoordelaar(s). Uit de statistiek is bekend dat de betrouwbaarheid toeneemt met het aantal beoordelaars. Daarnaast geldt dat hoe kleiner het aantal te beoordelen criteria en hoe nauwkeuriger deze citeria zijn omschreven, hoe betrouwbaarder de beoordeling is. De observaties die men tijdens het meetproces verzameld zijn makkelijk te classificeren en te interpreteren, zodat de meningen van verschillende beoordelaars meer overeen stemmen.
Een ander punt is de acceptatie van de beoordeling door de beoordeelde persoon: multirating wordt door de beoordeelde vaak als een eerlijker methode beschouwd dan singlerating (Latham en Wexley, 1982). Het idee dat de beoordeling niet afhankelijk is van een enkele persoon, doorgaans de leidinggevende, maar van meerdere personen die gezamenlijk tot een mening komen, beinvloedt de acceptatie van het instrument positief.
Het gebruik van zelfbeoordeling
Naast het beoordelen door meerdere personen, is het kenmerkende van de 360 graden feedback methode dat de persoon zichzelf beoordeelt. Behalve het beeld dat de personen uit de (werk-) omgeving hebben wordt bij de 360 graden feedback methode ook gebruik gemaakt van het beeld dat de betreffende persoon heeft van zijn eigen functioneren. De methode verschaft hierdoor de kans om de eigen perceptie van vaardigheden, capaciteiten en stijl te vergelijken met de perceptie van verschillende anderen (Nowack, 1993)
Betrouwbaarheid en validiteit van de 360 graden feedback methode
De 360 graden feedback methode is onder te verdelen in beoordelingen door experts, peerbeoordelingen en zelfbeoordelingen. Er zijn onderzoeken gedaan naar de bertouwbaarheid en validiteit van de drie verschillende manieren van beoordelen in de werksituatie. De resultaten van deze onderzoeken zullen onderstaand per beoordelaarsgroep kort worden besproken.
Expertbeoordelingen
Als de 360 graden feedback methode wordt ingezet voor beoordeling in de werksituatie, is de leidinggevende doorgaans een van de personen die een oordeel geeft over de betrokenne. In een selectiesituatie wordt de rol van expert vervuld door een psycholoog of adviseur.
Peerbeoordelingen
Beoordelingen door collega’s, ook wel peerbeoordelingen genoemd, zijn een bruikbaar alternatief voor beoordelingen door experts of leidinggevenden. Zowel veld- als laboratoriumstudies hebben uitgewezen dat het beoordelen door peers een berouwbare methode is. Kane en Lawler (1978) concludeerden in een review van een groot aantal studies met betrekking tot peer evaluatie, dat de betrouwbaarheid en validiteit van peer evaluaties “acceptabel” was. Afhankelijk van de vorm waarin peer evaluaties werden ingezet, varieerde de betrouwbaarheid van .45 tot .89. De gemiddelde validiteitscoëfficienten die Kane en Lawler (1978) rapporteerden was .43. Downey en Duffy (1978) concludeerden: ‘…dat het bewijs voor de validiteit van peer evaluaties in een militaire setting indrukwekkend was.’ Uit het onderzoek van Reilly en Chao (1982), waarin zij verschillende selectieprocedures vergeleken op hun validiteit, bleek peer evaluatie significant te correleren met succes in de functie: een gemiddelde validiteit van .41
De validiteit van peerbeoordelingen is afhankelijk van een aantal modererende factoren. Ten eerste het doel waarvoor het wordt ingezet. Als het doel ontwikkeling van de persoon is ten opzichte van evaluatieve doeleinden, blijkt niet alleen de interrater betrouwbaarheid tussen de verschillende beoordelingen hoger te zijn (.79 ten opzichte van .31). Er is tevens minder sprake van leniency en de beoordelingen zijn meer gedifferentierend tussen de personen en over dimensies (Fahr et al., 1991)
Ten tweede is de validiteit van peerbeoordelingen afhankelijk van de vorm van de peerbeoordeling. Kane en Lawler (1978) onderscheiden drie vormen van peerbeoordeling.
Peernominating
Een groep peers wordt gevraagd binnen de groep aan te geven wie het beste presteert op een aantal gedragsdimensies. De persoon die door de groepsleden het meeste aantal malen wordt genoemd, presteert volgens de groep het beste. Deze methode discrimineert effectief tussen groepsleden die extreem goed presteren op een dimensie en degene die dit niet doen. De methode levert echter geen bruikbare informatie op over groepsleden die niet worden genomineerd.
Peerranking
Een groep peers wordt gevraagd om de groepsleden te rangordenen van best presterend tot minst goed presterend op een aantal gedragsdimensies. Deze vorm van peer asessment is de meest discriminerende. Peerranking verschaft echter geen absolute informatie over de individuele groepsleden en zegt bovendien niets over de intervallen tussen de rangen.
Peerrating
Ieder groepslid beoordeelt de andere groepsleden op een aantal gedragsdimensies, waarbij gebruik wordt gemaakt van een specifieke beoordelingsschaal. De methode is praktisch goed bruikbaar voor feedbackdoeleinden: over ieder groepslid is individuele informatie beschikbaar, onafhankelijk van de overige groepsleden. De betrouwbaarheid en validiteit van deze methode is echter lager dan de voorgaande methoden. Door het gebruik van schalen is peerrating gevoelig voor vormen van beoordelaarfouten en is er een grotere kans op verschillen tussen beoordelaars.
Hoewel peerranking en peernomination betrouwbaarder en meer valide zijn (Kane & Lawler, 1978), is peerrating de meest gebruikte vorm van peerbeoordelingen. Bij peerrating worden de groepsleden onafhankelijk van elkaar en van de groep beoordeeld. De beoordeling aan de hand van peerrating is een absolute score in tegenstelling tot de relatieve scores die peerranking en peernominating opleveren. Kane en Lawler (1978) vonden in hun review een test-hertestbetrouwbaarheid van .80 en een interne consistentiecoëfficient van .45. De predictieve validiteit van peerratings bereikten een gemiddelde van .33.
Zelfbeoordelingen
Persoonlijkheidsvragenlijsten vragen een persoon zichzelf te beschrijven aan de hand van een aantal gerichte vragen. Zelfbeoordelingen worden over het algemeen echter als minder valide gezien dan bijvoorbeeld peer- of expertbeoordelngen. De betrouwbaarheid van zelfbeoordelingen is laag.
Zelfbeoordelingen zijn onderhevig aan de invloed van verschillende bronnen van bias, zoals geringe spreiding in de scores, restriction of range genoemd (Furnham & Stringfield, 1992) en leniency. Uit tal van onderzoeken naar zelfbeoordelingen blijkt dat zelfbeoordelingen significant hoger zijn dan beoordelingen door peers en leidinggevenden (Yu & Murphy, 1993; Schahn & Amelang, 1992; Fox et al.,1994). Fox et al. (1994) werken dit verschijnsel verder uit en onderscheiden 2 mechanismen die leniency bij zelfbeoordelingen beïnvloeden. Enerzijds ego preservation, de neiging om een zo positief mogelijk te schetsen van zichzelf. Anderzijds impression management, de neiging om het zelfbeeld aan te passen aan de wensen van personen uit de omgeving. Beide mechanismen resulteren in een meer positief zelfbeeld dan het beeld dat de omgeving heeft.
Onderzoek (Furnham & Stringfield, 1994; Saavedra & Kwun, 193) geeft aan dat het verschil in zelfbeoordeling en beoordelingen door anderen afneemt naarmate de persoon meer succesvol presteert. Met andere woorden, succesvolle personen hebben een zelfbeeld dat meer overeenkomt met het beeld dat de omgeving van hen heeft dan minder succesvolle personen. Een verklaring voor dit verschijnsel is dat succesvolle personen wellicht een meer realistisch zelfbeeld hebben, waardoor het verschil tussen het zelfbeeld en het beeld dat de omgeving heeft meer met elkaar overeenstemmen. Het kan echter ook een geheel andere oorzaak hebben. Meer succesvolle personen worden hoger beoordeeld dan minder succesvolle personen. Als de spreiding in de beoordelingen door de omgeving groter is dan de spreiding in de zelfbeoordelingen, dan zal naar de extremen van de scoreverdeling toe het verschil tussen zelfbeeld en het beeld van de omgeving afnemen.
Een verschil in gemiddelde tussen beoordelingen heeft geen directe gevolgen voor de correlatie tussen deze beoordelingen, zolang het verschil maar constant is. De correlatie tussen zelfbeoordelingen en peer- c.q. leidinggevende beoordelingen is echter meestal laag: Individuen hebben een significant verschillend beeld van hun eigen prestaties dan anderen. Dit is een van de redenen dat organisaties terughoudend zijn wat betreft het inzetten van zelfbeoordelingen bij personeelsbeslissingen (Shore & Thornton, 1992). Als gevolg van de geringe betrouwbaarheid en accuraatheid van zelfbeoordelingen wordt de validiteit verondersteld laag te zijn. Dit vermoeden wordt bevestigd door verscheidene studies die uitwijzen dat zelfbeoordelingen en relevante objectieve tests laag correleren (Reily & Chao, 1982).
Zelfbeoordelingen kunnen een toegevoegde waarde leveren in een beoordelingsprocedure, het instrument kan de acceptatie van feedback of van een een beoordeling verhogen (Somers & Birnbaum, 1991). De voorspellende waarde van zelfbeoordelingen is echter afhankelijk van een aantal voorwaarden (Furnham & Stringfield, 1994). De zelfbeoordeling moet dezelfde vaardigheden in dezelfde tijd (verleden, heden of toekomst) meten als de beoordelingen door de andere beoordelaarsgroepen. Verder moeten de metingen verbonden zijn aan specifieke situaties en prestaties in plaats van aan algemene eigenschappen. De voorspellende waarde van zelfbeoordelingen is tevens hoger als de beoordelaars ervaring hebben met zelfevaluaties.
Er zijn een aantal studies bekend die de relatie van peer- en zelfbeoordelingen met beoordelingen door leidinggevenden rapporteren. Harris & Schaubroeck (1988) vonden in een meta-analyse een relatief hoge correlatie tussen peerbeoordelingen door de leidinggevende (.48), maar slechts een matige correlatie tussen peer- en zelfbeoordelingen (.24) en beoordeling door de leidinggevende en zelfbeoordeling (.22). Het onderzoek van Furnham en Stringfield (1994), bevestigd dit. Zij concludeerden dat beoordelingen door leidinggevenden en ondergeschikten relatief sterk correleerden, terwijl de correlatie van elk met zelfbeoordelingen laag was.
Slot
Concluderend kan gesteld worden dat de 360˚ feedback methodiek een redelijk bruikbaar en betrouwbaar instrument is om medewerkers te evalueren. Met name op het gebied van persoonlijke ontwikkeling heeft het toegevoegde waarde. Alhoewel zelfbeoordelingen onlosmakelijk verbonden zijn met 360˚ feedback hebben ze een aantal nadelen zoals zelfoverschatting en sociaal wenselijk antwoorden. Het grote voordeel van zelfbeooreling in combinatie met een evaluatie van de omgeving is dat het verschil tussen zelfperceptie en omgevingsperceptie inzichtelijk wordt, wat weer input is voor gesprek tussen leidinggevende en medewerker. Voorwaarde om 360˚ feedback goed uit te voeren is wel dat er duidelijke gedragsindicatoren zijn geformuleerd waarop een persoon feedback kan ontvangen.
drs. E.J.A. van IJzendoorn – psycholoog TMA Methode