Tag: SPSS

Van Google Forms naar SPSS

Google Forms is een van de meest populaire manieren voor studenten om hun (afstudeer)onderzoek uit te zetten. En waarom niet? Het heeft veel voordelen zoals we eerder benoemde in het blog over gratis online enquête software. Maar er kleeft een groot nadeel aan Google Forms als de antwoorden overgezet moeten gaan worden naar SPSS. In de spreadsheet van Google (of Excel) worden de antwoorden vooral tekstueel weergegeven. Dit terwijl veel enquêtesoftware de antwoorden automatisch codeert zodat programma’s als SPSS hier beter mee om kunnen gaan. Dit maakt het ingewikkelder om een vragenlijst in Google Forms om te zetten naar SPSS.

Ingewikkelder, maar niet onmogelijk! We zien twee problemen waar studenten veel tegen aanlopen en deze worden in dit blog met behulp van tekst en video voor je opgelost. De twee problemen zijn:
1) Tekstuele antwoorden overzetten naar SPSS
2) Vragen met meerdere antwoorden mogelijk worden in 1 kolom weergegeven in de download (Google spreadsheet of Excel)

Onder de video staat de tekstuele uitleg met screenshots! Alleen geïnteresseerd in de Quick Cheat (snelle oplossing voor gevorderde)? Onderaan de blog vat ik het nog even samen!

Teksten uit Google Forms lezen met SPSS

Het feit dat Google Forms de antwoorden op vragen met 1 antwoordmogelijkheid (nominaal of ordinaal) aanbiedt in tekst is op zich geen probleem. SPSS kan hier prima mee omgaan. Op onze website bespreken we dit bij data invoer en het verwerken van open antwoorden. Het meest belangrijke is dat je zorgt dat het Type op het tabblad Variable View op String staat bij de juiste variabele. En dat je zorgt dat het aantal Characters voldoende is om elk antwoord te kunnen inlezen. Zolang Type op Numeric staat kan SPSS het antwoord niet lezen.

Screenshot van SPSS voor variabele type. String nodig voor sommige variabelen van Google Forms
Geef bij Variable Type aan dat de antwoorden in letters komen

Google Forms zet alle antwoorden in 1 kolom

Dit probleem is niet zo simpel op te lossen. Maar daarvoor hebben we een oplossing bedacht. Als voorbeeld nemen we de onderstaande vragenlijst. Hierin stellen we verschillende soorten vragen. Een gesloten vraag met één antwoordmogelijkheid. Een gesloten vraag met meerdere antwoordmogelijkheden en een controle vraag aan het eind.

Voorbeeld vragenlijst in Google Forms
Voorbeeld vragenlijst Google Forms omzetten naar SPSS

Als je de antwoorden van de respondenten bekijkt via de spreadsheet van Google Forms dan ziet dat eruit zoals in de onderstaande afbeelding.

Google spreadsheet voor het omzetten naar SPSS. Multiple response voorbeeld. Alle antwoorden in 1 kolom
Alle antwoorden op vraag 2 staan in 1 kolom

Waarom heeft SPSS hier moeite mee? Zoals gezegd is SPSS gewend dat antwoorden gecodeerd zijn (met nummers). Daarnaast kan het best ook werken met tekstuele antwoorden. Echter kan SPSS niet in één kolom meerdere antwoorden onderscheiden en er dan ook nog een zinnige analyse van maken. Dit moeten we dus gaan oplossen en hiervoor doorlopen we 5 stappen.

Stap 1: Ruimte maken

Om de antwoorden vanuit 1 kolom te verspreiden over meerdere kolommen, moeten we ruimte maken. Er zijn 4 antwoordmogelijkheden. De oorspronkelijke kolom wordt ook gebruikt, dus we maken 3 nieuwe kolommen aan via de optie insert 1 left.

Stap 1: ruimte maken voor de oplossing

Stap 2: Verspreiden van antwoorden

Selecteer de kolom waarin de antwoorden momenteel staan en selecteer (via het menu Data) de optie Split tekst to columns… (In het Nederlands heet deze optie tekst opsplitsen in kolommen (via het menu: Gegevens)).

Stap 2: tekst opsplitsen in kolommen

De antwoorden worden nu verspreid (zie afbeelding hieronder). Nu zie je ook meteen waarom je eerst ruimte hebt gemaakt. Anders had het programma gewoon over geslacht heen geschreven. (Echt waar, probeer maar…. Wij leren ook door trial and error).

Split text to columns in spreadsheet is de oplossing voor het spreiden.
Stap 2: de antwoorden zijn nu over vier kolommen verspreid

Stap 3: Ruimte maken voor codering

SPSS kan nog altijd niets met deze data. Dit komt omdat er in 1 kolom meerdere verschillende opties staan (bijvoorbeeld in kolom E staan Anders en R). We gaan 4 nieuwe kolommen aanmaken waarin data komt te staan die SPSS wel kan lezen. Elke kolom krijgt zijn eigen antwoordoptie uit de oorspronkelijke vraag (dus SPSS, Excel, R, Anders).

Stap 3: wederom ruimte maken in Google Forms voor de oplossing.
Stap 3: ruimte maken voor de nieuwe variabelen

Stap 4: Omzetten naar een nominale (wel/niet) variabele

Nu gaan we met behulp van een kleine formule de spreadsheet of Excel zelf voor ons het werk laten doen. We beginnen met de eerste respondent bij SPSS. We typen het =-teken en daarna countif (in het Nederlands en in Excel: Aantal.Als). We moeten nu twee dingen aangeven.

1: range, dat wil zeggen: welke kolommen kunnen we de antwoorden vinden (C t/m F, regel 2)
2: criterion: dat wil zeggen: aan welke eis moet het voldoen voordat we kunnen optellen (in dit geval moet de formule het woord “SPSS” vinden)

Om het juiste te laten gebeuren én om het ons straks gemakkelijker te maken, vullen we het volgende in

Stap 4: De eerste formule voor de eerste respondent

Het dollarteken wordt gebruikt om de kolom naar keuze (C en F in dit geval) vast te zetten als we gaan kopiëren. En dat is handig, want alle antwoorden bevinden zich in deze kolommen. De regel (regel 2) zetten we niet vast omdat we straks de formules gaan kopiëren in de overige regels.

Nu we dit gedaan hebben, kopiëren we de formule naar de volgende kolom (die van antwoordoptie: Excel) en veranderen de formule een klein beetje, zodat alle antwoorden van Excel worden opgeteld.

Stap 4: in de volgende kolom veranderen we SPSS naar Excel

Uiteraard doen we dat ook voor antwoordoptie “R” (=countif($C2:$F2,”R”)) en in de kolom voor antwoordoptie “Anders” (=countif($C2:$F2,”Anders”)). Elke keer als je klaar bent met een formule en je drukt op Enter dan zie je dat er een 0 (niet geantwoord) of een 1 (wel geantwoord) komt te staan.

En nu gaat het heel snel. Want we kunnen de eerste rij met formules kopiëren en plakken bij alle respondenten. Dit kan in 1x. Als je dat gedaan hebt ziet het er als volgt uit: een bestand dat SPSS kan lezen.

Vier kolommen die SPSS begrijpt, netjes gesorteerd!

Stap 5: Kopieer de juiste kolommen naar SPSS

De laatste stap is wel een belangrijke om bij na te blijven denken! Je hoeft enkel de kolommen te kopiëren naar SPSS die je zojuist hebt aangemaakt. (en vraag 1 en vraag 3 natuurlijk). Zorg ervoor dat je bestand klaar is om de data te ontvangen. Variable View moet goed worden ingevuld (zie video en screenshot hieronder). Kopieer de antwoorden vanuit de spreadsheet per kolom (of meerdere) tegelijk en zet ze in de juiste kolom in Data View.

Stap 5: Variable View is klaar gezet om de data te ontvangen

In deze afbeelding zie je ook meteen dat bij de eerste en de laatste vraag gekozen is voor Type: String zodat SPSS dit gewoon kan lezen.

Samenvatting (Quick Cheat)

Een oplossing voor het kopiëren van de tekstuele antwoorden in Google Forms kan op twee manieren.

Bij vragen met 1 antwoordmogelijkheid per respondent moet je er voor zorgen dat het Type (in tabblad Variable View) op String staat en dat het aantal Characters voldoende is om elke antwoordoptie te kunnen ontvangen. In principe kun je nu gewoon je analyses doen met deze vraag.

Bij vragen met meerdere antwoordmogelijkheden per respondent moet je een vijf tal stappen nemen:

  1. Maak ruimte in je spreadsheet voor het splitsen van je antwoordopties;
  2. split de antwoorden in de spreadsheet naar meerdere kolommen (text to columns / tekst naar kolommen);
  3. maak daarna weer nieuwe kolommen aan per antwoordmogelijkheid;
  4. laat via een formule per respondent optellen of het antwoord wel of niet gegeven is (0 of 1);
  5. kopieer enkel de nieuwe kolommen naar SPSS en zorg dat de data daar ontvangen kan worden.
Bestel Koning Compleet 4 Jaar
Bestel Koning Compleet 1 Jaar

Heb je een snellere manier ontdekt? Laat het ons weten! Meer tips? Check geregeld ons blog en volg ons op Facebook en Instagram.

SPSS in het Nederlands

Het programma SPSS is in vele talen beschikbaar. De standaard taal is echter Engels. En Nederlands…zit er helaas niet bij! Daarom proberen wij bij SPSS Koning het leren van SPSS zo eenvoudig mogelijk te maken voor de Nederlandse gebruikers door online leermodules in het Nederlands aan te bieden. Daarbij leggen we alle ingewikkelde termen gewoon in het Nederlands aan je uit! Simpel toch?

Moeilijke woorden in SPSS

SPSS gebruikt logischerwijs veel termen uit de statistiek. Dat is voor sommige al lastig in het Nederlands, laat staan in het Engels. Daarom hebben wij een lijst gemaakt met de meest gebruikte termen en hun uitleg hierbij. Gratis, voor jou beschikbaar! Het enige dat wij hier voor terug zouden willen is de opleiding die je volgt en de instelling waaraan je deze volgt. Hiermee kunnen wij beter de behoefte in kaart brengen van onze gebruikers. Uiteraard kunnen we daarmee ook een opleiding benaderen, want goed SPSS leren, begint bij het goed geïntegreerd aanbieden in je lesstof. (Docenten: lees meer!)

Je krijgt maximaal 1 e-mailbericht van ons en deze wordt binnen een maand na aanmelding door ons verwijderd.

Normale verdeling in SPSS

Bij het toetsen van een variabele wordt vaak de aanname gemaakt dat een variabele normaal verdeeld is. Wellicht heb je hier al een keer van gehoord, maar wat betekent dit nu? En hoe controleer je in SPSS of een variabele daadwerkelijk normaal verdeeld is? In dit onderdeel leggen we kort uit waarom we willen weten of een variabele normaal verdeeld is, bespreken we de (standaard) aannames en kijken we achtereenvolgens naar de controle op de normale verdeling via een berekening, grafieken en een toets. Uiteraard kun je er voor kiezen om eerst de video te bekijken en dan de tekst te lezen! De uitleg begint onder de video.

Om verder te lezen heb je een inlog nodig. Ga naar Koning Compleet om je aan te melden!

Samenvoegen van SPSS bestanden

Het komt bij projecten met meerdere projectleden of onderzoeken met meerdere metingen regelmatig voor: het samenvoegen van SPSS bestanden. Bij het samenvoegen van twee (of meer) SPSS bestanden wordt er onderscheid gemaakt tussen het samenvoegen van bestanden met verschillende cases en het samenvoegen van bestanden met verschillende variabelen (en dezelfde cases). Cases zijn in de meeste gevallen respondenten. In deze blog bespreken we beide manieren van samenvoegen, met voorbeelden. Kijk je liever de tutorial? Aan het begin van beide onderdelen staat een (korte) tutorial.

Om verder te lezen heb je een inlog nodig. Ga naar Koning Compleet om je aan te melden!

Construct in SPSS

Er zijn weleens variabelen waar we uitspraken over willen doen, die niet in één keer te meten zijn. Dit omdat een concept bijvoorbeeld te abstract is (“tevreden”), te complex (“zelfvertrouwen”) of op meerdere manieren op te vatten is (“geluk”). Er zijn hier veel voorbeelden van en worden vaak in de literatuur latente variabelen genoemd. Dit betekent dat de variabele niet direct te observeren is. In plaats daarvan meet je dit door aan de hand van een aantal indicatoren. Indicatoren zijn gewoon weer variabelen. Samen meten de indicatoren een concept / een latente variabele. Een ander woord voor het geheel samen is een construct.

Werken met een construct in SPSS

In vragenlijsten is een construct vaak opgebouwd uit meerdere vragen die op hun beurt stuk voor stuk die indicatoren meten. In de Nationale Studenten Enquête wordt hier bijvoorbeeld gebruik van gemaakt.

Een voorbeeld uit deze vragenlijst van een construct is Studierooster. Studierooster wordt gemeten aan de hand van 4 indicatoren: (1) het tijdig bekendmaken van de studieroosters, (2) het tijdig bekendmaken van wijzigingen in het studierooster (3) de studeerbaarheid van het studierooster (bijv. spreiding en tijdstippen), en (4) het aantal in het studieprogramma geroosterde onderwijsuren. Deze vier vragen worden allemaal beantwoord en uiteindelijk wordt er in de resultaten gesproken over de tevredenheid met betrekking tot het studierooster en niet over de vier onderliggende variabelen. Hoe werkt dat?

Opbouw construct

Allereerst wordt een construct opgebouwd aan de hand van theorie en ervaring van onderzoekers en mensen uit de populatie. Laten we er vanuit gaan dat deze vier indicatoren inderdaad een bijdrage leveren aan de tevredenheid met het studierooster. Laten we ook aannemen dat ze alle vier ongeveer even belangrijk zijn en dat er geen indicator is vergeten. Dan ziet het er schematisch ongeveer zo uit.

Construct in SPSS schematische weergave
Schematische weergave construct in SPSS

Construct in een vragenlijst

De volgende stap is dat het construct uitgevraagd wordt. In de NSE worden de vier stellingen uitgevraagd met de vraag hoe tevreden de student is. De antwoordopties zijn: 1 t/m 5 1=zeer ontevreden; 5=zeer tevreden; 6=n.v.t.. De 6 wordt na afloop als missing value neergezet (lees hier meer over omgaan met escape opties)

Interne consistentie van een construct

Een van de eerste zaken die je tijdens de analyse moet controleren is of een construct wel intern consistent is. Dit betekent dat je gaat kijken of de vier indicatoren/variabelen wel (ongeveer) hetzelfde meten. Dit wordt ook wel construct validiteit genoemd. In SPSS kan dit eenvoudig worden berekend door de Cronbach’s Alpha. Deze maat kun je in SPSS vinden in het menu Analyze/Scale/Reliability Analysis… In dit menu geef je aan welke variabelen volgens jou een construct meten en SPSS controleert de interne consistentie aan de hand van de Alpha. Hieronder zie je een screenshot van het menu.

Construct testen met Cronbach's Alpha
Testen op Cronbach’s Alpha in SPSS

In de regel wordt een Cronbach’s Alpha van 0,7 of hoger gezien als een positieve score. Je kunt dan aangeven dat de onderliggende indicatoren intern consistent zijn.

Berekenen van een construct in SPSS

Nu wil je uiteraard een uitspraak doen over het construct zelf. We hebben van ter voren de (gemakkelijke) aanname gemaakt dat de verschillende onderliggende indicatoren even zwaar wegen. Dit betekent dat we voor elke respondent een score kunnen berekenen via Transform/Compute. Daarmee kun je zelf berekeningen maken (lees hier meer over deze optie) We hebben daarin twee verschillende opties. Geen van de opties is goed of fout, denk wel aan de verantwoording die je opstelt. Het verschil zit hem in hoe je omgaat met respondenten die een variabele niet hebben ingevuld. Stel een student vult slechts 3 van de 4 vragen in… mag deze dan mee in de berekening van het construct?

Optie 1 alle indicatoren ingevuld
Als je puur een construct wilt berekenen over de indicatoren die zijn ingevuld en de respondenten wilt uitsluiten die 1 van de 4 (of meer) niet hebben ingevuld, maak je gewoon een simpele berekening in Compute. Hieronder zie je de berekening, de 4 variabelen optellen en delen door 4. SPSS neemt dan automatisch geen respondenten mee die missing values hebben in 1 van de 4 variabelen.

Voorbeeld berekening van een construct
Berekenen via compute

Optie 2 alle respondenten
Wil je wel alle respondenten, ook al hebben ze slechts 2 van de 4 ingevuld? Dan moet je kiezen voor de MEAN optie in Compute. Deze kun je vinden onder Function Group: Statistical en Functions and Special Variables: Mean. SPSS berekent dan een gemiddelde over de vier variabelen maar houdt rekening met missing values. Met andere woorden, als iemand er slechts 2 heeft ingevuld, berekent SPSS de totaal score gedeeld door 2. Heeft de respondent er 3 ingevuld wordt het de totaal score gedeeld door 3.

Construct berekenen in SPSS
Construct berekenen via Compute

Resultaat

De berekening heeft er voor gezorgd dat je per respondent een constructscore hebt, oftewel de tevredenheid over de studieroosters per student. Nu kun je simpel een gemiddelde berekenen voor de hele dataset. Uiteraard kun je dit voor verschillende opleidingen splitsen, zoals gebeurt bij de NSE. Lees hier meer over het vergelijken van gemiddelden.

Een lang verhaal kort

Een construct wordt in de regel gemaakt voor een concept wat we niet in één keer kunnen observeren / meten. De indicatoren worden over het algemeen samengesteld op basis van theorie en ervaring. Controleer tijdens je analyse altijd eerst of de interne consistentie hoog genoeg is en voeg dan het construct samen. Hierna kun je uitspraken doen over het concept waar jij naar op zoek bent. Succes!

Wegen voor de feestdagen

Het is tijd om het over het wegen van respondenten te hebben. Ik wil het niet te zwaar maken, ondanks dat het een gewichtig onderwerp is. Na de feestdagen heeft iedereen het erover….. Oké, klaar met de woordgrappen.

Het wegen van de (antwoorden) van de respondenten kan een belangrijk onderdeel zijn van het analyseren van jouw onderzoekresultaten. Er zijn meerdere redenen om te wegen. De belangrijkste reden is vaak over- of ondervertegenwoordiging van een groep respondenten binnen de dataset. Dit betekent dat een bepaalde groep mensen (of onderzoekitems) naar verhouding vaker in je onderzoeksgroep zitten dan dat ze zouden moeten zitten. Met andere woorden, je onderzoek is niet representatief! Om te corrigeren voor over- of ondervertegenwoordiging worden respondenten gewogen om de juiste verhoudingen in de dataset te krijgen.

Moet ik wegen?

Een belangrijke vraag, voordat we verder gaan, is natuurlijk of je zou moeten wegen. Om hier antwoord op te krijgen, moet je jezelf twee andere vragen stellen. Allereerst de vraag: is mijn steekproef op kans gebaseerd (stochastisch) en mag ik dus generaliseren? Met andere woorden, wil je een uitspraak doen over een hele groep (oftewel de populatie) in plaats van enkel je respondenten? (de onderzoeksgroep). En mag dat ook? Is aan alle voorwaarden voldaan? Als het antwoord ja is, dan moet je jezelf nog een tweede vraag stellen. Zijn de verhoudingen van mijn onderzoeksgroep gelijk aan de verhoudingen binnen de populatie? Om deze vraag te beantwoorden heb je twee gegevens nodig. Allereerst moet je een (betrouwbare) bron hebben met de verhoudingen binnen de populatie. De data van het centraal bureau voor de statistiek (CBS) biedt hier vaak uitkomst. Daarnaast moet je weten of de verhoudingen binnen jouw dataset ook werkelijk afwijken. Hiervoor gebruik je de Chi-kwadraat toets voor het toetsen van verhoudingen. Wijkt het significant af? Dan zit er niets anders op dan te wegen.

Wegen in SPSS

Als voorbeeld nemen we een kijkje in een (aangepaste) dataset van SPSSKoning. Het is een onderzoek onder de studenten van Hogeschool Koning (uiteraard). De verhouding man/vrouw zie je hieronder in de tabel, 60% mannen en 40% vrouwen.

Verhouding man/vrouw voor de weging in SPSS

Uit de gegevens van de administratie van de Hogeschool blijkt dat de verhouding man/vrouw op de Hogeschool ongeveer 50/50 is. Aangezien het verschil significant is, moeten we gaan wegen. Om te kunnen wegen in SPSS heb je een weeg-variabele nodig, oftewel een frequency variable. Dit is een variabele waarmee SPSS de antwoorden die de respondenten hebben gegeven kan gaan wegen. Een soort correctie moet er dus plaats vinden.

Om te corrigeren hebben we een correctiegetal nodig. Bij de mannen is dat 50/60 = 0,833 (afgerond) en bij de vrouwen is dat 50/40 = 1,25. Hiervoor gebruik je de  valide percentages. Boven de streep komt 50 te staan omdat we willen corrigeren richting de verhouding 50/50.

Controleer je berekening!
Om te controleren of we het juiste hebben gedaan maken we een berekening met de absolute aantallen van onze respondenten (frequency).

We vermenigvuldigen 200 vrouwen met 1,25 (= 250)
En we vermenigvuldigen 300 mannen met 0,833 (= 249,9).
Nu hebben we bij benadering de verhouding 50/50.

Als je vermenigvuldigt met 0,833333333 dan komt het precies uit! We kunnen dus beter met een niet afgerond getal vermenigvuldigen.

We gaan nu een nieuwe variabele maken via Compute. We maken één nieuwe variabele, maar daarvoor moeten we twee opdrachten geven. Allereerst geven we de nieuwe variabele een naam in Target Variable. We kiezen voor de naam: wegen. Dan beginnen we met de eerste opdracht. Bij Numeric Expression geef je de nieuwe variabele de waarde: 0,83, en selecteer je via if (in het venster Compute onderaan te vinden) enkel de mannen (=1). Je rond daarna de opdracht af (via OK).

De eerste opdracht via Compute

Daarna herhaal je deze actie van vooraf aan en geef je de nieuwe variabele (let op, weer wegen invullen bij Target Variable) de waarde 1,25 en selecteer je via if enkel de vrouwen. En ronden we de opdracht af.

De tweede opdracht in Compute

Let erop dat het Compute venster een waarschuwing kan geven als je een komma gebruikt (bij 0,83 of 1,25), ook als je SPSS hebt ingesteld op het komma teken als decimaal teken. Maak dan gebruik van de punt. In de afbeeldingen heb ik beide voorbeelden meegenomen. Zorg dat je de juiste kiest.

Uitkomst van de weging analyseren

De volgende stap is om de analyse te doen en te kijken of de weging inderdaad effect heeft op de uitkomsten. In ons geval zijn we erg nieuwsgierig naar de kosten die studenten per jaar maken voor materialen voor de studie. We maken twee berekeningen. We berekenen het eerst met de weging nog uit. Hiervoor kun je gewoon via descriptives het gemiddelde uitrekenen. Daarna zetten we de weging aan via Data/Weight Cases. Voor de weging kiezen we onze nieuwe variabele: wegen.

Selecteer een weging variabele

Nu de weging aan staat worden alle berekening die SPSS maakt gewogen. Houd hier dus rekening mee bij de interpretatie! 

Boven zonder weging, onder met weging

Als we naar het ongewogen gemiddelde kijken (boven) zien we dat de gemiddelde uitgaven rond de 385 euro liggen. Met de weging aan ligt het gemiddelde rond de 377 euro. De weging heeft dus aardig wat impact op het gemiddelde. Het gaat in dit geval om 8 euro verschil en dat klinkt misschien als heel weinig. Maar als je je realiseert dat we 20.000 studenten hebben op Hogeschool Koning en we mogen generaliseren, dan scheelt die 8 euro opeens 160.000 euro in de totale uitgaven. Dat zijn aardig wat pepernoten.

Lang verhaal in het kort

Wegen is soms noodzakelijk om een goede uitspraak te doen over de populatie. Mag je uitspraken doen over de populatie en zijn de verhoudingen in je dataset niet representatief? Corrigeer dan met een weging in SPSS. Controleer altijd de weging en vergeet deze niet te vermelden in je onderzoek- en analyseverantwoording.

Veel succes met SPSS (en til er vooral niet te zwaar aan)!

A/B-testing betrouwbaarder met SPSS

Het doen van experimenten als onderzoekmethoden is de laatste jaren veel populairder geworden bij studenten voor een stage of afstudeeronderzoek. Waar er eerder altijd de keuze was tussen interviews en enquête onderzoek, ontdekken steeds meer studenten hoe ze stapsgewijs verbeteringen kunnen doorvoeren voor hun opdrachtgever via A/B-testing.

Mocht je onbekend zijn met deze term: A/B-testing is een methode waarbij je de (potentiële) doelgroep twee verschillende uitingen laat zien en meet welke effectiever is. Online wordt dit veelvuldig toegepast met landing pagina’s, nieuwsbrieven, teksten en knoppen op pagina’s, cross selling, en nog veel meer.

De reden waarom deze wijze van experimenteren een vlucht neemt is omdat veel e-mail en websitetools ook deze mogelijkheid bieden om dit gemakkelijk uit te voeren. Echter bieden deze tools slechts beperkt inzicht in de betrouwbaarheid van de uitkomsten. Die betrouwbaarheid is wel zeer belangrijk om de volgende stap te bepalen en echt goed advies te geven. En niet te vergeten, voor een goede onderbouwing in je scriptie of stagerapport. SPSS kan je helpen om de juiste conclusies te trekken, zodat ook jij betrouwbaar en professioneel overkomt. In deze blog staat omschreven hoe je A/B-testing opzet in de praktijk, hoe je het uitvoert en uiteraard hoe je de uitkomsten interpreteert. Dit alles met behulp van een case.

Visuele afbeelding A/B-test

Opzetten A/B-test

Het mooie van A/B-testing is dat je er direct mee in de praktijk kunt beginnen. Er zijn een aantal stappen die je moet doorlopen om dit methodologisch op de juiste wijze te doen.

Basisstappen
Stap 1
huidige situatie in kaart brengen, inclusief doelstellingen
Stap 2
aannames formuleren (ook wel hypothesen genoemd)
Stap 3
experiment uitvoeren
Stap 4
resultaten interpreteren; en
Stap 5
nieuwe aannames formuleren voor een volgend experiment

In de eerste stap ga je een aantal zaken vooraf bepalen (al dan niet samen met je opdrachtgever). Je begint uiteraard altijd met een doel. En die kan voortkomen uit een probleem of uit een ambitie. Zorg ervoor dat dit doel meetbaar is met de data die op dit moment al wordt verzameld. Als dit niet het geval is, dan moet je eerst gaan achterhalen op welke wijze je de data kan gaan verzamelen. Sta stil bij welke variabelen er allemaal een rol kunnen spelen in het hoofddoel.

Laten we als voorbeeld eens nemen dat er een probleem is dat de nieuwsbrief matig wordt geopend. Gaat het dan om het openen van de nieuwsbrief (open rate) alleen of spelen meer variabelen een rol? Zoals bijvoorbeeld doelgroep of specifieke momenten of acties waar de verbetering moet plaats vinden? Maak het zo nauwkeurig mogelijk. In ons voorbeeld kijken we naar de huidige doelgroep/nieuwsbrief ontvangers.

Nadat je de variabelen in kaart hebt gebracht zet je op een rij wat er allemaal van invloed kan zijn op het openen van een nieuwsbrief. Dit zijn de knoppen waar je straks aan kunt draaien in een experiment. Zo is er bijvoorbeeld verzendmoment, onderwerpregel, content, verzendfrequentie en nog veel meer.

Nu je de huidige situatie en de doelstelling goed in beeld hebt gebracht maak je in de de tweede stap aannames (ook wel hypothesen genoemd). Bij een hypothese spreek je de verwachting uit dat als je (bijvoorbeeld) het verzendmoment van vrijdag naar woensdag verplaatst de nieuwsbrief vaker geopend wordt. Het is belangrijk dat je met A/B testing maar aan één knop gelijk gaat draaien en pas bij een volgens experiment aan een andere knop. Het kan dus zijn dat je meer aannames hebt, omdat je aan meer knoppen wilt draaien. Zet ze in volgorde van waarschijnlijkheid en begin met degene waar je de meeste winst verwacht. Nu je weet wat je doel is (hogere open rate), bij wie (de hele doelgroep) en aan welke knop je gaat draaien (verzendmoment) ben je bijna klaar voor je experiment. Je moet nu de groep aan wie je de nieuwsbrief gaat verzenden nog in twee groepen splitsen. De controle groep (alles blijft bij het oude) en de experimentele groep (ander verzendmoment). Dit kan vrij eenvoudig in verschillende mail programma’s, maar je kunt natuurlijk ook zelf de groepen splitsen. Daarna kun je de derde stap uitvoeren: het doen van het experiment.

Basiskennis voor de juiste conclusie

Nu je data aan het verzamelen bent is het goed om alvast vooruit te kijken naar stap 4: het interpreteren van de resultaten. Bij het doen van experimenteren hoort ook de basiskennis om een toets te interpreteren. Hiervoor kijken we naar significantie. Is een gevonden verschil (in bijvoorbeeld open rate) ook daadwerkelijk een verschil en is deze niet ontstaan door toeval? Hoe weet je zeker dat een gevonden verschil ook betrouwbaar is, zodat je niet de verkeerde conclusie trekt?

Er spelen een aantal zaken een rol die een uitkomst kunnen beïnvloeden. Door statistisch te toetsen (met een significantietoets) probeer je met hoge betrouwbaarheid toeval uit te sluiten. Met andere woorden, je probeert een zo hoog mogelijke zekerheid te hebben dat jouw uitspraak straks betrouwbaar is. Hoe betrouwbaar? De grens van betrouwbaarheid bepaal je zelf. In de praktijk is 95% betrouwbaarheid gangbaar. Dit betekent dat als je nog 100x het experiment zou doen, er 95x dezelfde conclusie uit getrokken zou worden. Dat is al erg betrouwbaar. Er wordt ook vaak gebruik gemaakt van 90% en 99%. Lager wordt gezien als niet betrouwbaar!

Dan is er nog de keuze van de significantietoets die je nodig hebt. In dit geval gaat het om het vergelijken van twee groepen abonnees die allemaal de keuze maken om wel of niet de nieuwsbrief te openen. We spreken daarom wel over een dichotome / binominale variabele. Om deze op verschil te toetsen kunnen we de Chi-kwadraat (pearson) toets gebruiken. Om te vergelijken met een gemiddelde kunnen we Chi-Kwadraat (one sample) gebruiken. Wat heb je nodig om conclusies te kunnen trekken? In ieder geval de data per ontvanger (abonnee). Dit moet je kunnen inlezen in SPSS en dan kun je op basis van de toets kijken welke antwoord je experiment oplevert. En kun je op de juiste wijze conclusies trekken. Hiervoor heb je kennis nodig van hypothesen en significantie.

A/B-test: een case

Om je een beeld te geven hoe de stappen er in de praktijk uit kunnen zien, werken we de case verder uit. Even opfrissen: ons doel is een hogere open rate van de nieuwsbrief, bij de gehele doelgroep.

Stap 1: Huidige situatie en doelstelling

De nieuwsbrief wordt één keer per week aan de hele groep abonnees (n=478) verzonden. Het afgelopen half jaar was de open rate met 37% vrij stabiel. Geen lage open rate, maar de ambitie van de ondernemer is om minimaal boven de 50% uit te komen. In de afgelopen twee jaar had hij vooral de focus om een klantengroep op te bouwen en nu verschoof zijn focus naar het meer stimuleren van herhalingsaankopen. De content van de nieuwsbrief bestaat regelmatig uit twee of drie producten die worden uitgelicht met een call to action. Over het algemeen hangt er een promotie aan minimaal één product. De promotie is soms op prijs gericht, maar wordt voldoende afgewisseld om het interessant te houden.

Stap 2: Aannames (hypothesen)

Op basis van een nieuwsbriefanalyse van het afgelopen jaar (met de focus op de open rate), zijn er twijfels over twee variabelen: de onderwerpregel en de verzendfrequentie. De onderwerpregel was vaak vrij traditioneel (nieuwsbrief week 23: product x). De frequentie van één keer in de week lijkt niet te passen bij het type product (mode gerelateerd). De aanname is dat er met een actiegerichte onderwerpregel al snel wat gewonnen kan worden. En anders wel met een verlaging van de frequentie. We beginnen met het uitvoeren van een experiment voor de onderwerpregel.

Stap 3: Experiment

Het experiment vond plaats in week 34. De controle groep kreeg een vrij traditionele onderwerpregel en de experiment groep een actiegerichte. Hieronder de resultaten.

Op het gevoel zie je hier meteen dat het beter gaat met de experimentele groep dan met de controle groep. Het totaal van week 34 ligt ook boven het gemiddelde van 37%. De volgende stap is nu om te kijken of deze resultaten ook daadwerkelijk significant zijn (zonder toeval), zodat we betrouwbare conclusies kunnen trekken.

Stap 4: conclusies trekken

Om conclusies te trekken moeten we de data inlezen in SPSS. Bij dit experiment kunnen we meerdere vergelijkingen maken. In de tabel hieronder staan 4 vergelijkingen die interessant kunnen zijn. Daarnaast zie je de significantiewaarde staan. Een uitkomst die SPSS genereert om jou te vertellen of er een duidelijke winnaar is en in hoeverre je een betrouwbare uitspraak kunt doen. Met deze informatie kun je per vergelijking een winnaar uitroepen en een conclusie trekken. Laten we naar de vier vergelijkingen kijken:

We zien drie conclusies en die worden getrokken aan de hand van de significantiewaarde. Een korte uitleg (lange versie lees je hier) van de significantiewaarde: een waarde van 0,05 of lager betekent een betrouwbaarheid van 95% (oftewel 0,95). Zoals je ziet telt het samen op tot 1 (0,05+0,95) of tot 100% (5% + 95%).

Hierdoor kunnen we drie winnaars aanwijzen met 99% betrouwbaarheid. De totale open rate van week 34 is hoger dan het gemiddelde (37%), (2) de onderwerpregel die actiegericht is doet het echt beter dan de traditionele en (3) de experimentele groep had een veel hogere open rate dan gemiddeld. De andere conclusie is dat de controlegroep niet afwijkt van het gemiddelde. Dat is een fijne constatering, anders zouden de eerdere conclusies niet kloppen.
Onze conclusie, met 99% zekerheid, is dat de actiegerichte onderwerpregel het beter doet dan gemiddeld als het gaat om open rate.

Stap 5: nieuwe aannames formuleren en verder experimenteren

De volgende stap is om te kijken of we nog een verbetering door kunnen voeren met behulp van een experiment. De tweede aanname is dat de verzendfrequentie van invloed is. Iedereen heeft in week 34 een nieuwsbrief ontvangen. Laten we de helft van de groep in week 35 mailen en de andere helft in week 36. Omdat de nieuwsbrief gelijk is in de twee verzendingen kunnen we de groepen met elkaar vergelijken!

Hieronder de resultaten van het tweede experiment. Daarin staan (1) een gemiddelde open rate van de beide momenten samen (2) Week 35 alleen en (3) week 36 alleen. Opvallend is dat in week 35 de open rate weer terugzakt naar het oude gemiddelde, ondanks dat we daar een actiegerichte onderwerpregel hebben gebruikt. Het gemiddelde van de twee nieuwsbrieven samen ligt hoger dan het oude gemiddelde (37%) en week 36 doet het bijzonder goed met 54%.

Stap 6: conclusies trekken

Dit experiment levert wederom veel verschillende vergelijkingen op. De meest interessante vergelijkingen staan hieronder in de tabel. Wederom weer met de significantiewaarde, betrouwbaarheid en de winnaar.

We kunnen nu met zekerheid (betrouwbaarheid) onze conclusies trekken. Een verzending na twee weken doet het beter dan een verzending na één week dan het gemiddelde van week 34 (met 99% betrouwbaarheid). Daarnaast zien we dat week 36 het beter doet dan week 34, beide met een actiegerichte onderwerpregel (met 95% betrouwbaarheid). Interessant is dat week 35 het significant slechter heeft gedaan (99% betrouwbaarheid) dan de experimentele groep in week 34. En we zien dat gemiddeld genomen er geen verschil zit tussen de combinatie week 35/36 en week 34.  Dit levert de volgende conclusies op:

  • Twee keer een actiegerichte onderwerpregel na 1 week verzenden lijkt een negatief effect te hebben.
  • Twee keer een actiegerichte onderwerpregel na 2 weken verzenden lijk een positief effect te hebben.

Uiteraard ga je nu door experimenteren met de tweede conclusie om te kijken of de open rate rond de 54% blijft.

Betrouwbaar experimenteren

We hebben besproken dat het uitvoeren van A/B testen steeds vaker als onderdeel van stage en afstudeeronderzoeken wordt gebruikt. Logisch, want het is in de praktijk vrij gemakkelijk te organiseren en de resultaten helpen de opdrachtgever direct verder. Verschillende tools geven je vrijwel direct de uitkomsten. Om methodologisch goed te handelen en betrouwbaar te handelen is je basiskennis in hypothesen formulering en significantietoetsen belangrijk. SPSS neemt de meest ingewikkelde zaken voor je uit handen. Aan jou om op de juiste manier de juiste conclusie te trekken. Blijf betrouwbaar experimenteren en je bent al snel een Koning!

Codeboek maken in SPSS

We krijgen er allemaal weleens mee te maken tijdens de opleiding. Een docent die dit van je vraagt tijdens een vak of een verplichting bij een onderzoek in een stage of afstudeerperiode. Het klinkt ingewikkeld en helemaal niet leuk: een codeboek aanmaken voor je onderzoek. Dat het misschien niet leuk is, kan ik weinig aan veranderen. Wat ik wel ga doen is jou laten zien dat het in ieder geval niet ingewikkeld is! En misschien zelfs wel handig als je met meerdere mensen aan een onderzoek werkt!

Wat is een codeboek?

Een codeboek is een overzicht van alle vragen die jij in je vragenlijst hebt gesteld met daarachter specificaties over de antwoordopties en hoe je deze verwerkt in (bijvoorbeeld) SPSS.  

Voorbeeld
Een simpel voorbeeld: je hebt de vraag gesteld wat is uw geslacht?. Daarvoor heb je drie antwoordopties geformuleerd. Vrouw, man, anders. In een codeboek schrijf je de vraag op, het feit dat je deze numeriek codeert en dat je de volgende codes opgeeft:
1= vrouw
2= man
3= anders
Dit doe je voor elke vraag die je stelt.

Nu vraag je je misschien af, waarom moet je een codeboek maken als je dit ook al in voert in SPSS? Dat is een hele goede vraag. Misschien een die jij moet stellen als je docent je die opdracht geeft! Anderzijds is het altijd goed om per vraag na te denken over hoe de vraag gecodeerd moet worden. Maar waarom dit niet gelijk zou moeten kunnen met het invoeren in SPSS is mij een raadsel. En dan nog iets, veel online enquête tools coderen al voor jou, dus er blijft weinig over om echt over na te denken.

Hoe
maak ik een codeboek in SPSS?

Om verder te lezen heb je een inlog nodig. Ga naar Koning Compleet om je aan te melden!

Gratis online enquête software voor studenten

Er zijn vele (gratis) programma’s op de markt die je als student goed kunt gebruiken om je vragenlijst af te nemen. Waarschijnlijk zijn er alweer nieuwere programma’s als je dit onderdeel leest. Bedenk van ter voren goed waar een online enquête tool aan moet voldoen. Ik zet een paar criteria voor je op een rij en geef daaronder een aantal tips.

  • Aantal respondenten die de vragenlijst gaan invullen
  • Aantal vragen dat je gaat stellen
  • Soorten antwoordopties die je wilt gebruiken
  • Inbouwen van routes (bijvoorbeeld: bij nee, ga naar vraag 12)
  • Look & feel (hoe ziet het er uit)
  • Responsive (ook goed in te vullen op tablet/smartphone)
  • Databestand beschikbaar in Excel of SPSS

Al deze criteria spelen een rol bij de keuze van de juiste software. In de tabel de software waar vaak naar verwezen wordt. De vergelijking is voor de gratis versie. De Koning heeft een duidelijke favoriet. Onder de tabel beschrijf ik de online enquête tools. Deze beschrijvingen zijn op basis van mijn eigen ervaringen. Doe zelf ervaring op en maak je eigen keuze.

Vergelijking software voor gratis online vragenlijsten
Vergelijking software voor online vragenlijsten

De twee tools die het beste uit deze vergelijking komen zijn Thesistools.com en Google Forms. De SPSS Koning heeft een voorkeur voor Thesistools.com, want er kleeft een groot nadeel aan Google Forms als de antwoorden overgezet moeten gaan worden naar SPSS.

Thesistools.com

Deze website is al jarenlang een ondersteuner van studenten die voor het afstuderen of projecten een online enquête uitzetten. Over het algemeen is de grens van 500 respondenten meer dan genoeg. En zo niet, is er altijd de mogelijkheid om nog een vragenlijst aan te maken en weer 500 respondenten te verzamelen of een klein bedrag bij te betalen per 500 respondenten. Het aantal vragen dat je kunt stellen en het aantal pagina’s is onbeperkt. Grootste plus is dat dit een van de weinige tools online is waarbij het maken van routes gratis beschikbaar is. Het minpunt is dat de enquêtes vrij basis worden opgemaakt. Het ziet er allemaal niet zo modern uit, maar het werkt wel heel goed. Je kunt je databestand in Excel downloaden en met mijn instructies zou je zo in SPSS aan de slag moeten kunnen. Voor een kleine bijbetaling wordt jouw Excel door thesistools.com zelfs omgezet naar een SPSS bestand. Dus ook dat kun je uitbesteden. Daarmee komen we meteen bij de reden waarom Thesistools.com beter scoort dan Google Forms. De ondersteuning van deze website is erg goed en Nederlandstalig. De opties waarvoor je kunt bij betalen heb je in de regel alleen nodig als je iets extra’s wilt en dan zijn de prijzen zeer schappelijk als je die vergelijkt met de concurrenten op de markt. Google biedt deze extra opties niet.

Google Forms

Een goede tweede keuze, en wellicht eerste keuze als het uiterlijk van je vragenlijst erg belangrijk is voor je. Een groot pluspunt van Google Forms is dat je ook e-mailadresbestanden er in kunt laden en via het programma kan verzenden. Het grootste minpunt is dat de website nog altijd ingesteld is voor Engelstalige gebruikers en zo krijg je bij de optie: anders, namelijk, het Engelstalige other te zien. Best slordig in je Nederlandse vragenlijst. Zoals eerder gesteld is de ondersteuning van Google Forms niet echt aanwezig. Uiteraard kun je online veel uitleg vinden (waarvan de meeste weer in het Engels). Google biedt ook de mogelijkheden om grafieken te maken van de vragen. Dit is vrij beperkt mogelijk (selecties draaien is erg ingewikkeld), maar geeft grafisch wel mooiere grafieken dan SPSS. Er zijn plussen en minnen om Google Forms te gebruiken, ik raad het ook zeker niet af als je opzoek bent naar een gratis tool.

Survio

Opkomende software de laatste jaren onder studenten. De mogelijkheden worden echter steeds meer beperkt. Het is een van de mooiere tools en je maakt echt indruk met een professionele vragenlijst met veel mogelijkheden. Echter kun je slechts 100 vragenlijsten ontvangen, en als dat al genoeg is, kun je het databestand niet downloaden en zul je dus je (mooie) grafieken moeten maken in het programma van Survio. Hoewel erg mooi…een leuke analyse kun je er niet mee draaien.

SurveyMonkey

Naar deze website wordt vaak verwezen door docenten op Hogescholen. Eigenaardig, want met de gratis versie kan je eigenlijk vrijwel niets en met de goedkoopste betaalde versie kan je ook amper wat. Het is leuk om te oefenen met deze software om een vragenlijst te maken. Maar je kunt maximaal 10 vragen stellen en er zit een maximum op 100 respondenten. Erg lastig is het dat je geen routes kunt bouwen en ook een databestand downloaden zit er niet in. Ik raad deze software dan ook zeker af.