Tijdens de training die UX Republic aanbiedt over UX Research worden stagiairs uitgenodigd om hun nieuwe kennis in de praktijk te brengen door zelf een gebruikersinterviewsessie te houden. Ik speelde de rol van een proefinterviewdeelnemer in een van deze trainingen en de manier waarop ik de vragen beantwoordde, veranderde mijn begrip van de deelnemers en van deze onderzoeksmethode in zijn geheel diepgaand.
De mindset van de deelnemer aan UX-onderzoek
Als onderzoekers zijn we ons bewust van de vooroordelen die door panels worden veroorzaakt en van het risico dat deelnemers worden geworven die niet aan de doelgroep voldoen en die misschien niet helemaal eerlijk zijn omdat ze een rol moeten spelen. De overgrote meerderheid van de deelnemers heeft echter goede bedoelingen, is bereid behulpzaam te zijn en de waarheid te vertellen.
Het onderwerp van het interview was “onze restaurantgewoonten, zowel in ons persoonlijke leven als op het werk.” Als fictieve deelnemer had ik geen interesse in het vertellen van de waarheid en kon ik naar eigen goeddunken een rollenspel spelen. Maar omdat ik geen specifieke reden zag om een persona te verzinnen, besloot ik uit eigen naam te reageren en zo waarheidsgetrouw mogelijk te zijn, zoals de meeste deelnemers doen in echte verkennende interviews.
Het gewicht van cognitieve vooroordelen
We begrijpen dat iedereen dit waarschijnlijk heeft cognitieve vooroordelen – zoals het willen geven van sociaal aanvaardbare antwoorden of het hebben van onvolmaakte herinneringen – wat de betrouwbaarheid van antwoorden kan beïnvloeden. Met dit in gedachten bereiden we onze interviews zorgvuldig voor om deze effecten te minimaliseren en bewezen informatie te verzamelen. Toch is onze kennis van deze vooroordelen theoretisch en niet altijd intern voelbaar, en we kunnen ze behandelen als kleine dingen die we in gedachten moeten houden en niet als de manier waarop ons brein werkt, dat alles kleurt wat we denken en laten we zeggen.
Mijn gedrag als deelnemer aan UX-onderzoek
Ik wilde mezelf zijn, eerlijk en behulpzaam, mezelf echt in de plaats van de deelnemer verplaatsen en de fictieve context proberen te vergeten. Maar toen mij werd gevraagd naar de frequentie van restaurantlunches met collega's, overschatte ik dat aantal enorm en corrigeerde ik mezelf niet. Ik gaf een vals cijfer, besefte ik toen ik het zei, en ik vervolgde het interview alsof het de waarheid was. Om het verhaal coherent te houden en de rest van het interview zo soepel mogelijk te laten verlopen, hield ik bij elke vervolgvraag de leugen in stand. Ik kan er niet 100% zeker van zijn dat ik in een echt interview hetzelfde zou hebben gedaan. Maar het is eigenlijk heel goed mogelijk, zelfs als je weet hoe cruciaal het is voor de onderzoeker. Ik ben er ook van overtuigd dat dit geen atypische fout van mijn kant is en dat dit gedrag in werkelijkheid helemaal niet zeldzaam is.
Maar waarom? Hoe kon dit gebeuren?
Het eerste verkeerde antwoord was logisch. Covid was gebeurd en de frequentie van de lunches was sindsdien aanzienlijk afgenomen, maar ik had nog steeds de tijd vóór Covid in gedachten. De vraag is moeilijk als er geen duidelijke routine is en deze maaltijden niet vaak voorkomen, en mijn geest bezig was met het herinneren van echte restaurantmaaltijden en de tijd die ik met collega's doorbracht in plaats van met het maken van berekeningen. Omdat ik niet te veel tijd wilde besteden aan nadenken voordat ik reageerde en de interactie hooguit een paar seconden duurde, maakte ik een snelle gok, en een hele slechte. Het is eigenlijk heel moeilijk om enkele ogenblikken later te zeggen: "Het spijt me, mijn vorige antwoord was onjuist." Het echte antwoord is eigenlijk heel, heel anders. Ik weet niet waarom ik dat eerst zei. » Vreemd genoeg is het gemakkelijker om de volgende vraag te beantwoorden alsof het eerste antwoord waar zou zijn. En het wordt onmogelijk om jezelf te corrigeren als je eenmaal opzettelijk hebt gelogen. In de honderden interviews en tests die ik heb uitgevoerd, is het zeker dat deelnemers soms per ongeluk iets verkeerds hebben gezegd en zich dat hebben gerealiseerd. Ik heb echter nog nooit iemand tegen mij horen zeggen: “Mijn vorige antwoord was fout, laat ik mezelf corrigeren.”
Wat ik heb geleerd
Als opgeleid psycholoog weet ik dat geïnterviewden gemakkelijk veel onware dingen over zichzelf kunnen zeggen. Maar wat ik niet had, was een grondige kennis van de betrokken mechanismen. Ik weet dat het geheugen onbetrouwbaar is. Ik ken veel vooroordelen, zoals sociale wenselijkheid, die een effect hebben op declaratieve reacties. Maar het is iets anders om het als respondent te ervaren en te beseffen dat het niet alleen betekent dat we declaratieve antwoorden met een korreltje zout moeten nemen, maar dat we ze mogelijk helemaal niet moeten vertrouwen. Dit betekent niet dat we geen verkennende interviews kunnen doen, maar de vragen moeten heel goed ontworpen zijn en we moeten ze benaderen, wetende precies wat de grenzen zijn van wat we ermee kunnen leren.
TIPS VOOR UX ONDERZOEK INTERVIEWVRAGEN
- Vermijd verkennend onderzoek dat uitsluitend op uitspraken berust en geef waar mogelijk de voorkeur aan observaties.
- Vermijd vragen over het verleden of de toekomst, concentreer u op het heden.
- Zorg ervoor dat alle vragen meteen heel gemakkelijk te beantwoorden zijn (vermijd bijvoorbeeld vragen waarbij de deelnemer berekeningen moet maken).
- Probeer op discrete wijze dezelfde informatie te verzamelen met verschillende vragen, zodat u de antwoorden kunt vergelijken.
- Geef in de analysefase meer gewicht aan de huidige doelen/motivaties/emoties van de deelnemers dan aan het aangegeven gedrag (vooral uit het verleden of geprojecteerd).
FOCUS OP HET RESTAURANTVOORBEELD
In plaats van ronduit te vragen hoe vaak u met collega’s uit eten gaat, zou het beter zijn geweest om dezelfde informatie te verkrijgen door meer vragen te stellen:
- Ten eerste de frequentie van telewerken op dit moment.
- Vervolgens het aandeel maaltijden dat samen met collega's wordt genuttigd, vergeleken met de maaltijden die alleen/met klanten/met andere mensen worden genuttigd...
- En tot slot, onder deze maaltijden, het aandeel afhaalmaaltijden vergeleken met maaltijden in restaurants.
De eerste vraag is gemakkelijker te beantwoorden dan de beginvraag, omdat deze zich op het heden concentreert en de informatie voor de deelnemer gemakkelijk te kennen is. De daaropvolgende vragen moeten dan consistent zijn met de eerste, wat betekent dat het uiteindelijke cijfer een kleinere foutmarge zal hebben. Hetzelfde niveau van zorg moet dan worden toegepast op de gehele interviewgids. Door ervoor te zorgen dat elke vraag eenvoudig en snel te beantwoorden is en geen complexe evaluatie vereist, wordt de nauwkeurigheid aanzienlijk verbeterd. Met een reeks eenvoudige vragen kunt u dieper ingaan op elk onderwerp.
Marie Euzen, UX-onderzoeker/ontwerper bij UX-Republic