Auteur: SPSS Koning

Van Google Forms naar SPSS

Google Forms is een van de meest populaire manieren voor studenten om hun (afstudeer)onderzoek uit te zetten. En waarom niet? Het heeft veel voordelen zoals we eerder benoemde in het blog over gratis online enquête software. Maar er kleeft een groot nadeel aan Google Forms als de antwoorden overgezet moeten gaan worden naar SPSS. In de spreadsheet van Google (of Excel) worden de antwoorden vooral tekstueel weergegeven. Dit terwijl veel enquêtesoftware de antwoorden automatisch codeert zodat programma’s als SPSS hier beter mee om kunnen gaan. Dit maakt het ingewikkelder om een vragenlijst in Google Forms om te zetten naar SPSS.

Ingewikkelder, maar niet onmogelijk! We zien twee problemen waar studenten veel tegen aanlopen en deze worden in dit blog met behulp van tekst en video voor je opgelost. De twee problemen zijn:
1) Tekstuele antwoorden overzetten naar SPSS
2) Vragen met meerdere antwoorden mogelijk worden in 1 kolom weergegeven in de download (Google spreadsheet of Excel)

Onder de video staat de tekstuele uitleg met screenshots! Alleen geïnteresseerd in de Quick Cheat (snelle oplossing voor gevorderde)? Onderaan de blog vat ik het nog even samen!

Teksten uit Google Forms lezen met SPSS

Het feit dat Google Forms de antwoorden op vragen met 1 antwoordmogelijkheid (nominaal of ordinaal) aanbiedt in tekst is op zich geen probleem. SPSS kan hier prima mee omgaan. Op onze website bespreken we dit bij data invoer en het verwerken van open antwoorden. Het meest belangrijke is dat je zorgt dat het Type op het tabblad Variable View op String staat bij de juiste variabele. En dat je zorgt dat het aantal Characters voldoende is om elk antwoord te kunnen inlezen. Zolang Type op Numeric staat kan SPSS het antwoord niet lezen.

Screenshot van SPSS voor variabele type. String nodig voor sommige variabelen van Google Forms
Geef bij Variable Type aan dat de antwoorden in letters komen

Google Forms zet alle antwoorden in 1 kolom

Dit probleem is niet zo simpel op te lossen. Maar daarvoor hebben we een oplossing bedacht. Als voorbeeld nemen we de onderstaande vragenlijst. Hierin stellen we verschillende soorten vragen. Een gesloten vraag met één antwoordmogelijkheid. Een gesloten vraag met meerdere antwoordmogelijkheden en een controle vraag aan het eind.

Voorbeeld vragenlijst in Google Forms
Voorbeeld vragenlijst Google Forms omzetten naar SPSS

Als je de antwoorden van de respondenten bekijkt via de spreadsheet van Google Forms dan ziet dat eruit zoals in de onderstaande afbeelding.

Google spreadsheet voor het omzetten naar SPSS. Multiple response voorbeeld. Alle antwoorden in 1 kolom
Alle antwoorden op vraag 2 staan in 1 kolom

Waarom heeft SPSS hier moeite mee? Zoals gezegd is SPSS gewend dat antwoorden gecodeerd zijn (met nummers). Daarnaast kan het best ook werken met tekstuele antwoorden. Echter kan SPSS niet in één kolom meerdere antwoorden onderscheiden en er dan ook nog een zinnige analyse van maken. Dit moeten we dus gaan oplossen en hiervoor doorlopen we 5 stappen.

Stap 1: Ruimte maken

Om de antwoorden vanuit 1 kolom te verspreiden over meerdere kolommen, moeten we ruimte maken. Er zijn 4 antwoordmogelijkheden. De oorspronkelijke kolom wordt ook gebruikt, dus we maken 3 nieuwe kolommen aan via de optie insert 1 left.

Stap 1: ruimte maken voor de oplossing

Stap 2: Verspreiden van antwoorden

Selecteer de kolom waarin de antwoorden momenteel staan en selecteer (via het menu Data) de optie Split tekst to columns… (In het Nederlands heet deze optie tekst opsplitsen in kolommen (via het menu: Gegevens)).

Stap 2: tekst opsplitsen in kolommen

De antwoorden worden nu verspreid (zie afbeelding hieronder). Nu zie je ook meteen waarom je eerst ruimte hebt gemaakt. Anders had het programma gewoon over geslacht heen geschreven. (Echt waar, probeer maar…. Wij leren ook door trial and error).

Split text to columns in spreadsheet is de oplossing voor het spreiden.
Stap 2: de antwoorden zijn nu over vier kolommen verspreid

Stap 3: Ruimte maken voor codering

SPSS kan nog altijd niets met deze data. Dit komt omdat er in 1 kolom meerdere verschillende opties staan (bijvoorbeeld in kolom E staan Anders en R). We gaan 4 nieuwe kolommen aanmaken waarin data komt te staan die SPSS wel kan lezen. Elke kolom krijgt zijn eigen antwoordoptie uit de oorspronkelijke vraag (dus SPSS, Excel, R, Anders).

Stap 3: wederom ruimte maken in Google Forms voor de oplossing.
Stap 3: ruimte maken voor de nieuwe variabelen

Stap 4: Omzetten naar een nominale (wel/niet) variabele

Nu gaan we met behulp van een kleine formule de spreadsheet of Excel zelf voor ons het werk laten doen. We beginnen met de eerste respondent bij SPSS. We typen het =-teken en daarna countif (in het Nederlands en in Excel: Aantal.Als). We moeten nu twee dingen aangeven.

1: range, dat wil zeggen: welke kolommen kunnen we de antwoorden vinden (C t/m F, regel 2)
2: criterion: dat wil zeggen: aan welke eis moet het voldoen voordat we kunnen optellen (in dit geval moet de formule het woord “SPSS” vinden)

Om het juiste te laten gebeuren én om het ons straks gemakkelijker te maken, vullen we het volgende in

Stap 4: De eerste formule voor de eerste respondent

Het dollarteken wordt gebruikt om de kolom naar keuze (C en F in dit geval) vast te zetten als we gaan kopiëren. En dat is handig, want alle antwoorden bevinden zich in deze kolommen. De regel (regel 2) zetten we niet vast omdat we straks de formules gaan kopiëren in de overige regels.

Nu we dit gedaan hebben, kopiëren we de formule naar de volgende kolom (die van antwoordoptie: Excel) en veranderen de formule een klein beetje, zodat alle antwoorden van Excel worden opgeteld.

Stap 4: in de volgende kolom veranderen we SPSS naar Excel

Uiteraard doen we dat ook voor antwoordoptie “R” (=countif($C2:$F2,”R”)) en in de kolom voor antwoordoptie “Anders” (=countif($C2:$F2,”Anders”)). Elke keer als je klaar bent met een formule en je drukt op Enter dan zie je dat er een 0 (niet geantwoord) of een 1 (wel geantwoord) komt te staan.

En nu gaat het heel snel. Want we kunnen de eerste rij met formules kopiëren en plakken bij alle respondenten. Dit kan in 1x. Als je dat gedaan hebt ziet het er als volgt uit: een bestand dat SPSS kan lezen.

Vier kolommen die SPSS begrijpt, netjes gesorteerd!

Stap 5: Kopieer de juiste kolommen naar SPSS

De laatste stap is wel een belangrijke om bij na te blijven denken! Je hoeft enkel de kolommen te kopiëren naar SPSS die je zojuist hebt aangemaakt. (en vraag 1 en vraag 3 natuurlijk). Zorg ervoor dat je bestand klaar is om de data te ontvangen. Variable View moet goed worden ingevuld (zie video en screenshot hieronder). Kopieer de antwoorden vanuit de spreadsheet per kolom (of meerdere) tegelijk en zet ze in de juiste kolom in Data View.

Stap 5: Variable View is klaar gezet om de data te ontvangen

In deze afbeelding zie je ook meteen dat bij de eerste en de laatste vraag gekozen is voor Type: String zodat SPSS dit gewoon kan lezen.

Samenvatting (Quick Cheat)

Een oplossing voor het kopiëren van de tekstuele antwoorden in Google Forms kan op twee manieren.

Bij vragen met 1 antwoordmogelijkheid per respondent moet je er voor zorgen dat het Type (in tabblad Variable View) op String staat en dat het aantal Characters voldoende is om elke antwoordoptie te kunnen ontvangen. In principe kun je nu gewoon je analyses doen met deze vraag.

Bij vragen met meerdere antwoordmogelijkheden per respondent moet je een vijf tal stappen nemen:

  1. Maak ruimte in je spreadsheet voor het splitsen van je antwoordopties;
  2. split de antwoorden in de spreadsheet naar meerdere kolommen (text to columns / tekst naar kolommen);
  3. maak daarna weer nieuwe kolommen aan per antwoordmogelijkheid;
  4. laat via een formule per respondent optellen of het antwoord wel of niet gegeven is (0 of 1);
  5. kopieer enkel de nieuwe kolommen naar SPSS en zorg dat de data daar ontvangen kan worden.
Bestel Koning Compleet 4 Jaar
Bestel Koning Compleet 1 Jaar

Heb je een snellere manier ontdekt? Laat het ons weten! Meer tips? Check geregeld ons blog en volg ons op Facebook en Instagram.

SPSS in het Nederlands

Het programma SPSS is in vele talen beschikbaar. De standaard taal is echter Engels. En Nederlands…zit er helaas niet bij! Daarom proberen wij bij SPSS Koning het leren van SPSS zo eenvoudig mogelijk te maken voor de Nederlandse gebruikers door online leermodules in het Nederlands aan te bieden. Daarbij leggen we alle ingewikkelde termen gewoon in het Nederlands aan je uit! Simpel toch?

Moeilijke woorden in SPSS

SPSS gebruikt logischerwijs veel termen uit de statistiek. Dat is voor sommige al lastig in het Nederlands, laat staan in het Engels. Daarom hebben wij een lijst gemaakt met de meest gebruikte termen en hun uitleg hierbij. Gratis, voor jou beschikbaar! Het enige dat wij hier voor terug zouden willen is de opleiding die je volgt en de instelling waaraan je deze volgt. Hiermee kunnen wij beter de behoefte in kaart brengen van onze gebruikers. Uiteraard kunnen we daarmee ook een opleiding benaderen, want goed SPSS leren, begint bij het goed geïntegreerd aanbieden in je lesstof. (Docenten: lees meer!)

Je krijgt maximaal 1 e-mailbericht van ons en deze wordt binnen een maand na aanmelding door ons verwijderd.

Normale verdeling in SPSS

Bij het toetsen van een variabele wordt vaak de aanname gemaakt dat een variabele normaal verdeeld is. Wellicht heb je hier al een keer van gehoord, maar wat betekent dit nu? En hoe controleer je in SPSS of een variabele daadwerkelijk normaal verdeeld is? In dit onderdeel leggen we kort uit waarom we willen weten of een variabele normaal verdeeld is, bespreken we de (standaard) aannames en kijken we achtereenvolgens naar de controle op de normale verdeling via een berekening, grafieken en een toets. Uiteraard kun je er voor kiezen om eerst de video te bekijken en dan de tekst te lezen! De uitleg begint onder de video.

Om verder te lezen heb je een inlog nodig. Ga naar Koning Compleet om je aan te melden!

Samenvoegen van SPSS bestanden

Het komt bij projecten met meerdere projectleden of onderzoeken met meerdere metingen regelmatig voor: het samenvoegen van SPSS bestanden. Bij het samenvoegen van twee (of meer) SPSS bestanden wordt er onderscheid gemaakt tussen het samenvoegen van bestanden met verschillende cases en het samenvoegen van bestanden met verschillende variabelen (en dezelfde cases). Cases zijn in de meeste gevallen respondenten. In deze blog bespreken we beide manieren van samenvoegen, met voorbeelden. Kijk je liever de tutorial? Aan het begin van beide onderdelen staat een (korte) tutorial.

Om verder te lezen heb je een inlog nodig. Ga naar Koning Compleet om je aan te melden!

Construct in SPSS

Er zijn weleens variabelen waar we uitspraken over willen doen, die niet in één keer te meten zijn. Dit omdat een concept bijvoorbeeld te abstract is (“tevreden”), te complex (“zelfvertrouwen”) of op meerdere manieren op te vatten is (“geluk”). Er zijn hier veel voorbeelden van en worden vaak in de literatuur latente variabelen genoemd. Dit betekent dat de variabele niet direct te observeren is. In plaats daarvan meet je dit door aan de hand van een aantal indicatoren. Indicatoren zijn gewoon weer variabelen. Samen meten de indicatoren een concept / een latente variabele. Een ander woord voor het geheel samen is een construct.

Werken met een construct in SPSS

In vragenlijsten is een construct vaak opgebouwd uit meerdere vragen die op hun beurt stuk voor stuk die indicatoren meten. In de Nationale Studenten Enquête wordt hier bijvoorbeeld gebruik van gemaakt.

Een voorbeeld uit deze vragenlijst van een construct is Studierooster. Studierooster wordt gemeten aan de hand van 4 indicatoren: (1) het tijdig bekendmaken van de studieroosters, (2) het tijdig bekendmaken van wijzigingen in het studierooster (3) de studeerbaarheid van het studierooster (bijv. spreiding en tijdstippen), en (4) het aantal in het studieprogramma geroosterde onderwijsuren. Deze vier vragen worden allemaal beantwoord en uiteindelijk wordt er in de resultaten gesproken over de tevredenheid met betrekking tot het studierooster en niet over de vier onderliggende variabelen. Hoe werkt dat?

Opbouw construct

Allereerst wordt een construct opgebouwd aan de hand van theorie en ervaring van onderzoekers en mensen uit de populatie. Laten we er vanuit gaan dat deze vier indicatoren inderdaad een bijdrage leveren aan de tevredenheid met het studierooster. Laten we ook aannemen dat ze alle vier ongeveer even belangrijk zijn en dat er geen indicator is vergeten. Dan ziet het er schematisch ongeveer zo uit.

Construct in SPSS schematische weergave
Schematische weergave construct in SPSS

Construct in een vragenlijst

De volgende stap is dat het construct uitgevraagd wordt. In de NSE worden de vier stellingen uitgevraagd met de vraag hoe tevreden de student is. De antwoordopties zijn: 1 t/m 5 1=zeer ontevreden; 5=zeer tevreden; 6=n.v.t.. De 6 wordt na afloop als missing value neergezet (lees hier meer over omgaan met escape opties)

Interne consistentie van een construct

Een van de eerste zaken die je tijdens de analyse moet controleren is of een construct wel intern consistent is. Dit betekent dat je gaat kijken of de vier indicatoren/variabelen wel (ongeveer) hetzelfde meten. Dit wordt ook wel construct validiteit genoemd. In SPSS kan dit eenvoudig worden berekend door de Cronbach’s Alpha. Deze maat kun je in SPSS vinden in het menu Analyze/Scale/Reliability Analysis… In dit menu geef je aan welke variabelen volgens jou een construct meten en SPSS controleert de interne consistentie aan de hand van de Alpha. Hieronder zie je een screenshot van het menu.

Construct testen met Cronbach's Alpha
Testen op Cronbach’s Alpha in SPSS

In de regel wordt een Cronbach’s Alpha van 0,7 of hoger gezien als een positieve score. Je kunt dan aangeven dat de onderliggende indicatoren intern consistent zijn.

Berekenen van een construct in SPSS

Nu wil je uiteraard een uitspraak doen over het construct zelf. We hebben van ter voren de (gemakkelijke) aanname gemaakt dat de verschillende onderliggende indicatoren even zwaar wegen. Dit betekent dat we voor elke respondent een score kunnen berekenen via Transform/Compute. Daarmee kun je zelf berekeningen maken (lees hier meer over deze optie) We hebben daarin twee verschillende opties. Geen van de opties is goed of fout, denk wel aan de verantwoording die je opstelt. Het verschil zit hem in hoe je omgaat met respondenten die een variabele niet hebben ingevuld. Stel een student vult slechts 3 van de 4 vragen in… mag deze dan mee in de berekening van het construct?

Optie 1 alle indicatoren ingevuld
Als je puur een construct wilt berekenen over de indicatoren die zijn ingevuld en de respondenten wilt uitsluiten die 1 van de 4 (of meer) niet hebben ingevuld, maak je gewoon een simpele berekening in Compute. Hieronder zie je de berekening, de 4 variabelen optellen en delen door 4. SPSS neemt dan automatisch geen respondenten mee die missing values hebben in 1 van de 4 variabelen.

Voorbeeld berekening van een construct
Berekenen via compute

Optie 2 alle respondenten
Wil je wel alle respondenten, ook al hebben ze slechts 2 van de 4 ingevuld? Dan moet je kiezen voor de MEAN optie in Compute. Deze kun je vinden onder Function Group: Statistical en Functions and Special Variables: Mean. SPSS berekent dan een gemiddelde over de vier variabelen maar houdt rekening met missing values. Met andere woorden, als iemand er slechts 2 heeft ingevuld, berekent SPSS de totaal score gedeeld door 2. Heeft de respondent er 3 ingevuld wordt het de totaal score gedeeld door 3.

Construct berekenen in SPSS
Construct berekenen via Compute

Resultaat

De berekening heeft er voor gezorgd dat je per respondent een constructscore hebt, oftewel de tevredenheid over de studieroosters per student. Nu kun je simpel een gemiddelde berekenen voor de hele dataset. Uiteraard kun je dit voor verschillende opleidingen splitsen, zoals gebeurt bij de NSE. Lees hier meer over het vergelijken van gemiddelden.

Een lang verhaal kort

Een construct wordt in de regel gemaakt voor een concept wat we niet in één keer kunnen observeren / meten. De indicatoren worden over het algemeen samengesteld op basis van theorie en ervaring. Controleer tijdens je analyse altijd eerst of de interne consistentie hoog genoeg is en voeg dan het construct samen. Hierna kun je uitspraken doen over het concept waar jij naar op zoek bent. Succes!

Van dataverzameling naar een rapport… Hoe dan?

Als schrijver van een verslag heb je veel ballen in de lucht te houden en je wilt het vooral niet verkeerd doen. Zeker niet bij een scriptie. Je gaat dapper op zoek naar veel informatie om je scriptie te vullen. Tientallen (betrouwbare) bronnen en een veldonderzoek met interviews en/of een enquête leveren soms wel honderden pagina’s aan informatie op. En alle informatie is voor jou als schrijver even belangrijk, want je zou misschien wel eens iets kunnen vergeten wat belangrijk is… Dus zit je met je handen in het haar te staren naar die map op je laptop waarin al je informatie staat en je denkt: hoe kom ik in vredesnaam aan een gestructureerd rapport binnen alle eisen van de opleiding?

Een paar tips…

Om je te helpen heeft de SPSSKoning een paar tips op een rijtje gezet, zelf al ruim 10 jaar scriptiebeoordelaar.

1. Een goed begin is het halve werk

Je hebt het vast vaak genoeg gehoord en wellicht ben je er stiekem ook al een paar keer tegen aangelopen… je moet vanaf het begin een goede structuur opbouwen in de wijze waarop je informatie opslaat. Artikelen die je leest, stukken uit boeken die je kunt gebruiken of een goed gesprek waar net dat ene logische puzzelstukje werd uitgelegd. Allemaal zaken die uit je hoofd kunnen verdwijnen na een leuk weekendje weg met wat slaaptekort. Maak er dus vanaf het begin een gewoonte van om belangrijke zaken te noteren en op te slaan. Hiervoor moet je vooral je eigen methodes gebruiken die voor jou prettig werken. Want jij moet het gebruiken. Er zijn natuurlijk genoeg hulpprogramma’s beschikbaar die zorgen dat je je bronnen goed op kan slaan en bewaren (bijvoorbeeld Mendeley). Daarnaast zou je bijvoorbeeld OneNote van Microsoft kunnen gebruiken. Een programma waar je zo even citaten, aantekeningen van gesprekken en meer kunt opslaan per relevante categorie. Persoonlijk was ik zelf altijd van een goede mappenstructuur op mijn laptop (die ik te laat opbouwde), en zorgen dat ik dagelijks mijn materialen even opsloeg (ik was al blij als het mij 1x in de week lukte). Een mappenstructuur waarbij je per deelvraag of per hoofdstuk materialen opslaat en overige mapjes met materialen die je nog wilt gebruiken, zorgt er in ieder geval voor dat je in je eigen systeem zaken terug kunt vinden.

2. Informatie op de juiste plek

En dan komt dat moment, honderd pagina’s met bronnen, 200 vragenlijsten ingevuld en 15 interviews afgenomen. Hoe nu verder? De belangrijkste tip daarin is: zet de informatie op de plek waar het hoort. Ga niet direct beginnen met de vraag of zaken wel relevant zijn in je rapport. Waar je wel mee moet beginnen is het plaatsen van de informatie waar deze hoort. Je doet dit aan de hand van je (sub)deelvragen. Hoe beter je in het begin (bijvoorbeeld in je plan van aanpak) hebt nagedacht over de deelvragen en sub deelvragen, des te beter kun je nu je informatie neerzetten waar deze hoort. Zo ontstaat er vanzelf duidelijk per (sub)onderdeel welke informatie er is en welke informatie er eventueel nog ontbreekt. Je zult ook gaan merken dat je niet alle verzamelde informatie logisch bij een onderdeel kwijt kan. Blijf daar eerst niet in hangen. Gooi het even in een mapje overige en ga door met het plaatsen van de informatie. Als je daarmee klaar bent kun je nog eens kijken naar de overgebleven informatie. Is dit niet relevant? Of is dit juist super relevant en heb  je daar vooraf niet een (juiste) deelvraag over geformuleerd? Niets aan de hand, dat heet voortschrijdend inzicht. Creëer een plek waar deze informatie wel tot zijn recht zou komen en verantwoord dit later in je scriptie.

3. Eerst analyseren, dan concluderen

Dit klinkt heel logisch, alleen de praktijk leert dat veel studenten hier nog de mist in gaan. Analyseren is iets anders dan concluderen. Analyseren is ook iets anders dan informatie verzamelen en weergeven. In de analyse probeer je de informatie die je hebt gevonden (weet je nog: honderden pagina’s) te reduceren en tot een logisch geheel te brengen. Hiervoor gebruik je bijvoorbeeld methoden uit modellen of analyse technieken. Je combineert bronnen en geeft uitgebreid antwoord op de deelvraag. Je maakt per deelonderwerp een logisch verhaal uit de data/gegevens, zonder direct een conclusie te trekken. Hoe kun je het verschil het beste in je hoofd houden? Als je een eigen mening vormt of beschrijft wat er moet gebeuren, ben je aan het concluderen of advies aan het geven. Houd het nog even voor je.

4. Blijf niet hangen bij de analyse en de conclusies

Te vaak zien we dat studenten blijven hangen in de analyse. Ze beschrijven van alles en nog wat en vinden de volgende stap naar conclusies al heel lastig. Laat staan naar aanbevelingen of advies. Hierin schuilt vaak onzekerheid. Je hebt alle informatie en nu komt het op eens aan op jou! Maar geen zorgen, als beoordelaars zijn we juist op zoek naar wat jij kan. We willen weten welke conclusies jij trekt en welk advies daaruit gaat volgen. Niet omdat we je willen controleren, maar omdat we nieuwsgierig zijn. In gesprekken met studenten blijkt keer op keer dat ze heel goed weten wat de belangrijkste conclusies zijn. Vaak is dat iets anders dan de opdrachtgever had verwacht. En dat is spannend. Eng zelfs. Maar juist ook waarom jij bent ingehuurd. Als ze alles al wisten, hadden ze jou niet nodig. Dus laat maar horen die conclusies en de aanbevelingen of het advies. Ga helemaal los en gebruik de informatie die je eerder hebt onderzocht om je verhaal te ondersteunen. Introduceer je iets nieuws? Vergeet dan niet om je verhaal weer te onderbouwen vanuit bronnen.

Vind je het lastig om van veel informatie naar een conclusie te komen? Vraag je dan af of je wel alle deelvragen goed beantwoord hebt (voldoende informatie?). Het kan ook zijn dat je er achter komt dat je niet alle vragen gesteld hebt. Klopt het wel allemaal? Maak dan een mooie mind map. Tekenen helpt. Sowieso helpt iets doen altijd. Als je het niet weet, gewoon aan het werk gaan, het antwoord komt vanzelf.

5. Methode-W

En dan nu de gouden tip om te blijven binnen de eisen van de opleiding. Maar vooral ook om een fijn leesbare rapportage of scriptie te schrijven, die bol staat van relevante informatie, scherpe analyses en briljant en logisch advies. Met andere woorden: die rode draad waar iedereen het altijd over heeft, loopt als een kloppende levenslijn dwars door je verhaal heen. Hoe? Methode-W! Je hebt als het goed is tot nu toe alleen in de analysefase informatie gereduceerd en je niet druk gemaakt om de omvang van je rapportage. Je hebt geconcludeerd en geadviseerd. Met andere woorden, je bent aan het einde van “het document”. Nu ga je in de omgekeerde volgorde weer naar boven. Je weet nu namelijk waar je advies op uitkomt. In je advies maak je gebruik van de belangrijkste conclusies. Lees dat hoofdstuk nu nog eens, is alles wat daarin staat nodig om het advies goed te begrijpen? Of kunnen sommige onderdelen worden ingekort of er zelfs uit? Na deze opschoontaak kun je de analyse/resultaten fase van je rapport nog eens door. Je hebt nu een scherp conclusie hoofdstuk. Welke onderdelen zijn relevant uit je analyse/resultaten om de conclusies te kunnen begrijpen? Nu zul je zien dat er best veel ingekort kan worden en er ook veel zaken naar de bijlage kunnen. Dan kom je weer bij je inleiding met de probleemstelling. Klopt dit nog allemaal als je terugkijkt op wat je gedaan hebt? Kan het korter, moet het anders worden ingestoken? Herschrijf indien nodig.

Methode - W van SPSS Koning
Methode W (c) SPSSKoning

Nu je van onder naar boven alles opgeschoond hebt, is het tijd om het rapport nog eens door te lezen. Het liefst op een andere wijze dan je gewend bent (dus nu op papier of op een ander device). Nu is ook het moment om hulp in te roepen van medestudenten, ouders, collega’s etc. Die lezen het voor het eerst en kunnen opzoek naar de “rode draad” jou nog veel tips geven. Hoef je het zelf niet te doen dan? Ja juist wel! Jij bent de meester van je scriptie, de koning van je verhaal en de keizer van de resultaten. Alleen jij kan beoordelen of wat er staat klopt.

De laatste weg is weer naar boven. Waarom nog een keer? Dit is een prima methode om je samenvatting / management summary / abstract of hoe het ook heet, te schrijven. De lezers van de samenvatting zijn vooral geïnteresseerd in de belangrijkste aanbevelingen en het advies. De daarbij horende conclusies en hoe je daar toe gekomen bent. Van onder naar boven lezen en op basis daarvan de samenvatting maken zorgt voor veel minder niet-relevante info in de samenvatting. Probeer het maar, het werkt echt!

Tot slot – tijd, tijd, tijd….altijd te weinig

Het lijkt er in dit soort trajecten vaak op dat je aan het einde van de periode nog een stuk schrijfwerk over houdt in plaats van andersom. Je hebt altijd te weinig tijd. Vraag jezelf eens af of dat echt zo is, of dat je dat vooral denkt omdat je bang bent dat het niet goed zal zijn en je daarom dingen uitstelt? Ik was altijd zo’n uitsteller vanuit onzekerheid. En dan de laatste weken dag en nacht knallen. Terugkijkend denk je dan altijd dat er meer uit te halen valt. Vertrouw op jezelf en wees je er van bewust dat bij 99 van de 100 scripties de student altijd meer weet over het onderwerp dan zijn begeleider en bedrijfsbegeleider. Jij ben 15 tot 20 weken bezig geweest met het onderwerp. Als beoordelaar zijn we opzoek naar een student die laat zien dat hij meester is over een onderwerp of probleem, dat zij er goed over nagedacht heeft en tot logische conclusies komt en keuzes durft  te maken op basis van die conclusies. We hoeven het echt niet altijd met je eens te zijn, maar als je verhaal logisch is van A tot en met Z, dan ben jij die aankomende professional die op basis van onderbouwing uit betrouwbare informatie de juiste conclusies kan trekken en keuzes durft te maken.

De laatste tip is dan ook: ken de zwakheden van de scriptie. Schrijf een goede verantwoording waarin je aangeeft wat goed en ook wat minder goed is gegaan. Ga geen dingen verdedigen waarvan je weet dat het niet klopt. Een professional beschrijft het zoals het is en kan aangeven hoe het de volgende keer anders zou kunnen.

Lang verhaal kort

Begin op tijd met een goede structuur, zet de informatie daar waar deze hoort en maak je tijdens de analyses niet druk om de omvang van je rapport. Ga met de methode-W door je scriptie of rapportage heen en schrijf een scherp en relevant verhaal.

Heb jij zelf nog relevante tips? Deel ze via de facebookpagina van SPSSKoning.

Wegen voor de feestdagen

Het is tijd om het over het wegen van respondenten te hebben. Ik wil het niet te zwaar maken, ondanks dat het een gewichtig onderwerp is. Na de feestdagen heeft iedereen het erover….. Oké, klaar met de woordgrappen.

Het wegen van de (antwoorden) van de respondenten kan een belangrijk onderdeel zijn van het analyseren van jouw onderzoekresultaten. Er zijn meerdere redenen om te wegen. De belangrijkste reden is vaak over- of ondervertegenwoordiging van een groep respondenten binnen de dataset. Dit betekent dat een bepaalde groep mensen (of onderzoekitems) naar verhouding vaker in je onderzoeksgroep zitten dan dat ze zouden moeten zitten. Met andere woorden, je onderzoek is niet representatief! Om te corrigeren voor over- of ondervertegenwoordiging worden respondenten gewogen om de juiste verhoudingen in de dataset te krijgen.

Moet ik wegen?

Een belangrijke vraag, voordat we verder gaan, is natuurlijk of je zou moeten wegen. Om hier antwoord op te krijgen, moet je jezelf twee andere vragen stellen. Allereerst de vraag: is mijn steekproef op kans gebaseerd (stochastisch) en mag ik dus generaliseren? Met andere woorden, wil je een uitspraak doen over een hele groep (oftewel de populatie) in plaats van enkel je respondenten? (de onderzoeksgroep). En mag dat ook? Is aan alle voorwaarden voldaan? Als het antwoord ja is, dan moet je jezelf nog een tweede vraag stellen. Zijn de verhoudingen van mijn onderzoeksgroep gelijk aan de verhoudingen binnen de populatie? Om deze vraag te beantwoorden heb je twee gegevens nodig. Allereerst moet je een (betrouwbare) bron hebben met de verhoudingen binnen de populatie. De data van het centraal bureau voor de statistiek (CBS) biedt hier vaak uitkomst. Daarnaast moet je weten of de verhoudingen binnen jouw dataset ook werkelijk afwijken. Hiervoor gebruik je de Chi-kwadraat toets voor het toetsen van verhoudingen. Wijkt het significant af? Dan zit er niets anders op dan te wegen.

Wegen in SPSS

Als voorbeeld nemen we een kijkje in een (aangepaste) dataset van SPSSKoning. Het is een onderzoek onder de studenten van Hogeschool Koning (uiteraard). De verhouding man/vrouw zie je hieronder in de tabel, 60% mannen en 40% vrouwen.

Verhouding man/vrouw voor de weging in SPSS

Uit de gegevens van de administratie van de Hogeschool blijkt dat de verhouding man/vrouw op de Hogeschool ongeveer 50/50 is. Aangezien het verschil significant is, moeten we gaan wegen. Om te kunnen wegen in SPSS heb je een weeg-variabele nodig, oftewel een frequency variable. Dit is een variabele waarmee SPSS de antwoorden die de respondenten hebben gegeven kan gaan wegen. Een soort correctie moet er dus plaats vinden.

Om te corrigeren hebben we een correctiegetal nodig. Bij de mannen is dat 50/60 = 0,833 (afgerond) en bij de vrouwen is dat 50/40 = 1,25. Hiervoor gebruik je de  valide percentages. Boven de streep komt 50 te staan omdat we willen corrigeren richting de verhouding 50/50.

Controleer je berekening!
Om te controleren of we het juiste hebben gedaan maken we een berekening met de absolute aantallen van onze respondenten (frequency).

We vermenigvuldigen 200 vrouwen met 1,25 (= 250)
En we vermenigvuldigen 300 mannen met 0,833 (= 249,9).
Nu hebben we bij benadering de verhouding 50/50.

Als je vermenigvuldigt met 0,833333333 dan komt het precies uit! We kunnen dus beter met een niet afgerond getal vermenigvuldigen.

We gaan nu een nieuwe variabele maken via Compute. We maken één nieuwe variabele, maar daarvoor moeten we twee opdrachten geven. Allereerst geven we de nieuwe variabele een naam in Target Variable. We kiezen voor de naam: wegen. Dan beginnen we met de eerste opdracht. Bij Numeric Expression geef je de nieuwe variabele de waarde: 0,83, en selecteer je via if (in het venster Compute onderaan te vinden) enkel de mannen (=1). Je rond daarna de opdracht af (via OK).

De eerste opdracht via Compute

Daarna herhaal je deze actie van vooraf aan en geef je de nieuwe variabele (let op, weer wegen invullen bij Target Variable) de waarde 1,25 en selecteer je via if enkel de vrouwen. En ronden we de opdracht af.

De tweede opdracht in Compute

Let erop dat het Compute venster een waarschuwing kan geven als je een komma gebruikt (bij 0,83 of 1,25), ook als je SPSS hebt ingesteld op het komma teken als decimaal teken. Maak dan gebruik van de punt. In de afbeeldingen heb ik beide voorbeelden meegenomen. Zorg dat je de juiste kiest.

Uitkomst van de weging analyseren

De volgende stap is om de analyse te doen en te kijken of de weging inderdaad effect heeft op de uitkomsten. In ons geval zijn we erg nieuwsgierig naar de kosten die studenten per jaar maken voor materialen voor de studie. We maken twee berekeningen. We berekenen het eerst met de weging nog uit. Hiervoor kun je gewoon via descriptives het gemiddelde uitrekenen. Daarna zetten we de weging aan via Data/Weight Cases. Voor de weging kiezen we onze nieuwe variabele: wegen.

Selecteer een weging variabele

Nu de weging aan staat worden alle berekening die SPSS maakt gewogen. Houd hier dus rekening mee bij de interpretatie! 

Boven zonder weging, onder met weging

Als we naar het ongewogen gemiddelde kijken (boven) zien we dat de gemiddelde uitgaven rond de 385 euro liggen. Met de weging aan ligt het gemiddelde rond de 377 euro. De weging heeft dus aardig wat impact op het gemiddelde. Het gaat in dit geval om 8 euro verschil en dat klinkt misschien als heel weinig. Maar als je je realiseert dat we 20.000 studenten hebben op Hogeschool Koning en we mogen generaliseren, dan scheelt die 8 euro opeens 160.000 euro in de totale uitgaven. Dat zijn aardig wat pepernoten.

Lang verhaal in het kort

Wegen is soms noodzakelijk om een goede uitspraak te doen over de populatie. Mag je uitspraken doen over de populatie en zijn de verhoudingen in je dataset niet representatief? Corrigeer dan met een weging in SPSS. Controleer altijd de weging en vergeet deze niet te vermelden in je onderzoek- en analyseverantwoording.

Veel succes met SPSS (en til er vooral niet te zwaar aan)!

Routes aanmaken in een online vragenlijst

Een blog geschreven in samenwerking met Mylène Bouwman van Destudentondernemers.nl

Het maken van een goede vragenlijst is ontzettend lastig. En deze dan ook nog goed online krijgen blijkt vaak een struikelblok. Zonde als daardoor niet de juiste informatie bij de juiste groep wordt achterhaald. Een van de mogelijkheden die (te) weinig wordt gebruikt door mensen die hun eigen vragenlijst uitzetten (bijvoorbeeld studenten en kleine bedrijven) is het maken van routes. Verschillende routes door een vragenlijst heen voor verschillende groepen respondenten. Terwijl dit juist zorgt voor kwalitatief goede informatie en een respondent die enkel vragen hoeft te beantwoorden die nuttig en logisch zijn. En het maken van de routes heb je zo aangeleerd.

Routes maken in vragenlijsten?

Laten we eerst eens stil staan bij wat het is, routes maken in vragenlijsten. Stel dat er verschillende subgroepen te onderscheiden zijn die jouw vragenlijst kunnen invullen. En dat het interessant is om verschillende groepen, verschillende vragen te stellen. Bijvoorbeeld klanten tegenover niet klanten. Maar er zijn ook andere criteria die je kunt gebruiken om verschillende vragen te stellen. Een paar voorbeelden:

  • Leeftijd (jongeren vs. ouderen)
  • Laatste aankoop (recent vs. meer dan een maand geleden)
  • Aankoopkanaal (fysiek in de winkel vs. online)
  • Klantcontact (wel contact gehad vs. nooit contact gehad)
  • Nieuwsbrief abonnee (wel vs. niet)

Wat het ook is, er is vaak een reden om specifieke groepen binnen jouw vragenlijst een bepaalde vraag wel (of juist niet) te stellen. En dan wil je niet dat andere respondenten die vraag ook invullen. Zeker als het niet relevant is voor die doelgroep of als ze er geen ervaring mee hebben. Als je specifieke wensen hebt over wie welke vraag te zien krijgt, zijn er dus verschillende routes die je door de vragenlijst heen wilt leggen. Sommige zien alle vragen, sommige zien slechts de eerste twee vragen en zijn dan al klaar. Wat jij wilt! Er kunnen twee routes zijn of veel meer. Belangrijk is dat jij dit goed uittekent voordat je de vragenlijst gaat maken. En ik schrijf bewust het woordje “uittekenen” op, want dat heeft mij in het verleden altijd goed geholpen.

Voorwaarden voor routes

De optie om routes te maken in online vragenlijsten is er al heel lang. Ook in de gratis versies. En toch zien we in weinig vragenlijsten dit terug. Sterker nog… we zien in veel vragenlijsten dat er niets eens gebruik wordt gemaakt van pagina’s in de vragenlijst. Alle vragen op één pagina in een lange lijst. Super onoverzichtelijk en niet echt gebruiksvriendelijk. En dan kun je uiteraard geen route maken. Een voorwaarde om routes te maken is dat je pagina’s gaat inbouwen in je vragenlijst. Hierdoor zorg je ervoor dat de respondent na pagina 3 bijvoorbeeld naar pagina 5 springt en pagina 4 overslaat. Zonder pagina’s gaat dit nooit gebeuren. Een andere voorwaarde om routes te maken is dat je selectievragen opneemt die voldoen aan de volgende eisen:

  • Gesloten vraag met antwoordopties
  • Maximaal 1 keuze voor de respondent

Het programma achter de vragenlijst heeft een criteria nodig om iemand wel of niet door te sturen naar de volgende pagina. Bij een vraag met meerdere antwoorden mogelijk is het onmogelijk om het programma uit te leggen wanneer iemand wel of niet door mag. Houd het dus simpel. En dat begint al bij goed nadenken over wie je subgroepen zijn en waarom zij een andere route moeten bewandelen. Soms is dat heel simpel. Als iemand niet gebeld heeft met jouw klantenservice, kunnen ze deze ook niet beoordelen!

In het voorbeeld hieronder zie je een hele simpele route. Vraag 1 is de selectievraag (bijvoorbeeld: heb je online of telefonisch je laatste bestelling geplaatst?). Hierbij geeft respondent 1 aan dat hij dit online heeft gedaan, daardoor weet het programma dat hij door mag naar vraag 2 (beoordeling bestelling online) en dat hij vraag 3 niet mag zien (beoordeling bestelling telefonisch). Bij de andere twee respondenten is het antwoord op vraag 1 telefonisch. Zij mogen vraag 2 dus niet zien, maar vraag 3 juist wel. Bij vraag 4 komt iedereen weer terug bij elkaar.

Bouwen van de routes

Het bouwen van de routes wordt in de instructievideo voorgedaan in twee verschillende programma’s. Het is niet toevallig dat dit dezelfde zijn als die het beste uit de vergelijking van gratis online enquête software kwamen. Het principe van het bouwen van de route is overal hetzelfde. Het begint bij goed nadenken over de subgroepen, uittekenen van de routes en daarna pas zorgen dat ze goed in de online omgeving staan.

Klaar – testen maar!

Zoals bij elke vragenlijst dient er getest te worden en het liefst met een paar respondenten uit de doelgroep voor de vragenlijst. Nu heb je een extra test element, namelijk het testen van de verschillende routes. Neem dit serieus, als een doelgroep de verkeerde afslag neemt, krijgen ze de verkeerde vragen. Of ze vullen de verkeerde vragen in, of ze haken af. In beiden gevallen gaat het ten kosten van je validiteit en verlies je waardevolle informatie van je respondenten. Bijkomend effect is dat de respondent ook nog eens geïrriteerd is over jouw vragenlijst. Neem het serieus, neem de tijd. En zorg ervoor dat een respondent altijd contact kan opnemen indien er iets mis is met de vragenlijst. Respondenten zijn vaak betrokken bij het merk/de onderneming en vinden het fijn om iets te kunnen helpen. Mocht je onverhoopt er toch een foutje in hebben staan, zij zijn vaak er snel bij om jou te helpen!

Kortom, zorg voor de beste informatie bij de juiste personen door met routes te werken in vragenlijsten. Het verhoogt de kwaliteit van informatie en de respondent krijgt enkel de vragen die hij of zij moet krijgen. Iedereen blij. Succes met het maken van de vragenlijst. Kom je er niet uit, mag je altijd contact opnemen met de SPSSKoning.

A/B-testing betrouwbaarder met SPSS

Het doen van experimenten als onderzoekmethoden is de laatste jaren veel populairder geworden bij studenten voor een stage of afstudeeronderzoek. Waar er eerder altijd de keuze was tussen interviews en enquête onderzoek, ontdekken steeds meer studenten hoe ze stapsgewijs verbeteringen kunnen doorvoeren voor hun opdrachtgever via A/B-testing.

Mocht je onbekend zijn met deze term: A/B-testing is een methode waarbij je de (potentiële) doelgroep twee verschillende uitingen laat zien en meet welke effectiever is. Online wordt dit veelvuldig toegepast met landing pagina’s, nieuwsbrieven, teksten en knoppen op pagina’s, cross selling, en nog veel meer.

De reden waarom deze wijze van experimenteren een vlucht neemt is omdat veel e-mail en websitetools ook deze mogelijkheid bieden om dit gemakkelijk uit te voeren. Echter bieden deze tools slechts beperkt inzicht in de betrouwbaarheid van de uitkomsten. Die betrouwbaarheid is wel zeer belangrijk om de volgende stap te bepalen en echt goed advies te geven. En niet te vergeten, voor een goede onderbouwing in je scriptie of stagerapport. SPSS kan je helpen om de juiste conclusies te trekken, zodat ook jij betrouwbaar en professioneel overkomt. In deze blog staat omschreven hoe je A/B-testing opzet in de praktijk, hoe je het uitvoert en uiteraard hoe je de uitkomsten interpreteert. Dit alles met behulp van een case.

Visuele afbeelding A/B-test

Opzetten A/B-test

Het mooie van A/B-testing is dat je er direct mee in de praktijk kunt beginnen. Er zijn een aantal stappen die je moet doorlopen om dit methodologisch op de juiste wijze te doen.

Basisstappen
Stap 1
huidige situatie in kaart brengen, inclusief doelstellingen
Stap 2
aannames formuleren (ook wel hypothesen genoemd)
Stap 3
experiment uitvoeren
Stap 4
resultaten interpreteren; en
Stap 5
nieuwe aannames formuleren voor een volgend experiment

In de eerste stap ga je een aantal zaken vooraf bepalen (al dan niet samen met je opdrachtgever). Je begint uiteraard altijd met een doel. En die kan voortkomen uit een probleem of uit een ambitie. Zorg ervoor dat dit doel meetbaar is met de data die op dit moment al wordt verzameld. Als dit niet het geval is, dan moet je eerst gaan achterhalen op welke wijze je de data kan gaan verzamelen. Sta stil bij welke variabelen er allemaal een rol kunnen spelen in het hoofddoel.

Laten we als voorbeeld eens nemen dat er een probleem is dat de nieuwsbrief matig wordt geopend. Gaat het dan om het openen van de nieuwsbrief (open rate) alleen of spelen meer variabelen een rol? Zoals bijvoorbeeld doelgroep of specifieke momenten of acties waar de verbetering moet plaats vinden? Maak het zo nauwkeurig mogelijk. In ons voorbeeld kijken we naar de huidige doelgroep/nieuwsbrief ontvangers.

Nadat je de variabelen in kaart hebt gebracht zet je op een rij wat er allemaal van invloed kan zijn op het openen van een nieuwsbrief. Dit zijn de knoppen waar je straks aan kunt draaien in een experiment. Zo is er bijvoorbeeld verzendmoment, onderwerpregel, content, verzendfrequentie en nog veel meer.

Nu je de huidige situatie en de doelstelling goed in beeld hebt gebracht maak je in de de tweede stap aannames (ook wel hypothesen genoemd). Bij een hypothese spreek je de verwachting uit dat als je (bijvoorbeeld) het verzendmoment van vrijdag naar woensdag verplaatst de nieuwsbrief vaker geopend wordt. Het is belangrijk dat je met A/B testing maar aan één knop gelijk gaat draaien en pas bij een volgens experiment aan een andere knop. Het kan dus zijn dat je meer aannames hebt, omdat je aan meer knoppen wilt draaien. Zet ze in volgorde van waarschijnlijkheid en begin met degene waar je de meeste winst verwacht. Nu je weet wat je doel is (hogere open rate), bij wie (de hele doelgroep) en aan welke knop je gaat draaien (verzendmoment) ben je bijna klaar voor je experiment. Je moet nu de groep aan wie je de nieuwsbrief gaat verzenden nog in twee groepen splitsen. De controle groep (alles blijft bij het oude) en de experimentele groep (ander verzendmoment). Dit kan vrij eenvoudig in verschillende mail programma’s, maar je kunt natuurlijk ook zelf de groepen splitsen. Daarna kun je de derde stap uitvoeren: het doen van het experiment.

Basiskennis voor de juiste conclusie

Nu je data aan het verzamelen bent is het goed om alvast vooruit te kijken naar stap 4: het interpreteren van de resultaten. Bij het doen van experimenteren hoort ook de basiskennis om een toets te interpreteren. Hiervoor kijken we naar significantie. Is een gevonden verschil (in bijvoorbeeld open rate) ook daadwerkelijk een verschil en is deze niet ontstaan door toeval? Hoe weet je zeker dat een gevonden verschil ook betrouwbaar is, zodat je niet de verkeerde conclusie trekt?

Er spelen een aantal zaken een rol die een uitkomst kunnen beïnvloeden. Door statistisch te toetsen (met een significantietoets) probeer je met hoge betrouwbaarheid toeval uit te sluiten. Met andere woorden, je probeert een zo hoog mogelijke zekerheid te hebben dat jouw uitspraak straks betrouwbaar is. Hoe betrouwbaar? De grens van betrouwbaarheid bepaal je zelf. In de praktijk is 95% betrouwbaarheid gangbaar. Dit betekent dat als je nog 100x het experiment zou doen, er 95x dezelfde conclusie uit getrokken zou worden. Dat is al erg betrouwbaar. Er wordt ook vaak gebruik gemaakt van 90% en 99%. Lager wordt gezien als niet betrouwbaar!

Dan is er nog de keuze van de significantietoets die je nodig hebt. In dit geval gaat het om het vergelijken van twee groepen abonnees die allemaal de keuze maken om wel of niet de nieuwsbrief te openen. We spreken daarom wel over een dichotome / binominale variabele. Om deze op verschil te toetsen kunnen we de Chi-kwadraat (pearson) toets gebruiken. Om te vergelijken met een gemiddelde kunnen we Chi-Kwadraat (one sample) gebruiken. Wat heb je nodig om conclusies te kunnen trekken? In ieder geval de data per ontvanger (abonnee). Dit moet je kunnen inlezen in SPSS en dan kun je op basis van de toets kijken welke antwoord je experiment oplevert. En kun je op de juiste wijze conclusies trekken. Hiervoor heb je kennis nodig van hypothesen en significantie.

A/B-test: een case

Om je een beeld te geven hoe de stappen er in de praktijk uit kunnen zien, werken we de case verder uit. Even opfrissen: ons doel is een hogere open rate van de nieuwsbrief, bij de gehele doelgroep.

Stap 1: Huidige situatie en doelstelling

De nieuwsbrief wordt één keer per week aan de hele groep abonnees (n=478) verzonden. Het afgelopen half jaar was de open rate met 37% vrij stabiel. Geen lage open rate, maar de ambitie van de ondernemer is om minimaal boven de 50% uit te komen. In de afgelopen twee jaar had hij vooral de focus om een klantengroep op te bouwen en nu verschoof zijn focus naar het meer stimuleren van herhalingsaankopen. De content van de nieuwsbrief bestaat regelmatig uit twee of drie producten die worden uitgelicht met een call to action. Over het algemeen hangt er een promotie aan minimaal één product. De promotie is soms op prijs gericht, maar wordt voldoende afgewisseld om het interessant te houden.

Stap 2: Aannames (hypothesen)

Op basis van een nieuwsbriefanalyse van het afgelopen jaar (met de focus op de open rate), zijn er twijfels over twee variabelen: de onderwerpregel en de verzendfrequentie. De onderwerpregel was vaak vrij traditioneel (nieuwsbrief week 23: product x). De frequentie van één keer in de week lijkt niet te passen bij het type product (mode gerelateerd). De aanname is dat er met een actiegerichte onderwerpregel al snel wat gewonnen kan worden. En anders wel met een verlaging van de frequentie. We beginnen met het uitvoeren van een experiment voor de onderwerpregel.

Stap 3: Experiment

Het experiment vond plaats in week 34. De controle groep kreeg een vrij traditionele onderwerpregel en de experiment groep een actiegerichte. Hieronder de resultaten.

Op het gevoel zie je hier meteen dat het beter gaat met de experimentele groep dan met de controle groep. Het totaal van week 34 ligt ook boven het gemiddelde van 37%. De volgende stap is nu om te kijken of deze resultaten ook daadwerkelijk significant zijn (zonder toeval), zodat we betrouwbare conclusies kunnen trekken.

Stap 4: conclusies trekken

Om conclusies te trekken moeten we de data inlezen in SPSS. Bij dit experiment kunnen we meerdere vergelijkingen maken. In de tabel hieronder staan 4 vergelijkingen die interessant kunnen zijn. Daarnaast zie je de significantiewaarde staan. Een uitkomst die SPSS genereert om jou te vertellen of er een duidelijke winnaar is en in hoeverre je een betrouwbare uitspraak kunt doen. Met deze informatie kun je per vergelijking een winnaar uitroepen en een conclusie trekken. Laten we naar de vier vergelijkingen kijken:

We zien drie conclusies en die worden getrokken aan de hand van de significantiewaarde. Een korte uitleg (lange versie lees je hier) van de significantiewaarde: een waarde van 0,05 of lager betekent een betrouwbaarheid van 95% (oftewel 0,95). Zoals je ziet telt het samen op tot 1 (0,05+0,95) of tot 100% (5% + 95%).

Hierdoor kunnen we drie winnaars aanwijzen met 99% betrouwbaarheid. De totale open rate van week 34 is hoger dan het gemiddelde (37%), (2) de onderwerpregel die actiegericht is doet het echt beter dan de traditionele en (3) de experimentele groep had een veel hogere open rate dan gemiddeld. De andere conclusie is dat de controlegroep niet afwijkt van het gemiddelde. Dat is een fijne constatering, anders zouden de eerdere conclusies niet kloppen.
Onze conclusie, met 99% zekerheid, is dat de actiegerichte onderwerpregel het beter doet dan gemiddeld als het gaat om open rate.

Stap 5: nieuwe aannames formuleren en verder experimenteren

De volgende stap is om te kijken of we nog een verbetering door kunnen voeren met behulp van een experiment. De tweede aanname is dat de verzendfrequentie van invloed is. Iedereen heeft in week 34 een nieuwsbrief ontvangen. Laten we de helft van de groep in week 35 mailen en de andere helft in week 36. Omdat de nieuwsbrief gelijk is in de twee verzendingen kunnen we de groepen met elkaar vergelijken!

Hieronder de resultaten van het tweede experiment. Daarin staan (1) een gemiddelde open rate van de beide momenten samen (2) Week 35 alleen en (3) week 36 alleen. Opvallend is dat in week 35 de open rate weer terugzakt naar het oude gemiddelde, ondanks dat we daar een actiegerichte onderwerpregel hebben gebruikt. Het gemiddelde van de twee nieuwsbrieven samen ligt hoger dan het oude gemiddelde (37%) en week 36 doet het bijzonder goed met 54%.

Stap 6: conclusies trekken

Dit experiment levert wederom veel verschillende vergelijkingen op. De meest interessante vergelijkingen staan hieronder in de tabel. Wederom weer met de significantiewaarde, betrouwbaarheid en de winnaar.

We kunnen nu met zekerheid (betrouwbaarheid) onze conclusies trekken. Een verzending na twee weken doet het beter dan een verzending na één week dan het gemiddelde van week 34 (met 99% betrouwbaarheid). Daarnaast zien we dat week 36 het beter doet dan week 34, beide met een actiegerichte onderwerpregel (met 95% betrouwbaarheid). Interessant is dat week 35 het significant slechter heeft gedaan (99% betrouwbaarheid) dan de experimentele groep in week 34. En we zien dat gemiddeld genomen er geen verschil zit tussen de combinatie week 35/36 en week 34.  Dit levert de volgende conclusies op:

  • Twee keer een actiegerichte onderwerpregel na 1 week verzenden lijkt een negatief effect te hebben.
  • Twee keer een actiegerichte onderwerpregel na 2 weken verzenden lijk een positief effect te hebben.

Uiteraard ga je nu door experimenteren met de tweede conclusie om te kijken of de open rate rond de 54% blijft.

Betrouwbaar experimenteren

We hebben besproken dat het uitvoeren van A/B testen steeds vaker als onderdeel van stage en afstudeeronderzoeken wordt gebruikt. Logisch, want het is in de praktijk vrij gemakkelijk te organiseren en de resultaten helpen de opdrachtgever direct verder. Verschillende tools geven je vrijwel direct de uitkomsten. Om methodologisch goed te handelen en betrouwbaar te handelen is je basiskennis in hypothesen formulering en significantietoetsen belangrijk. SPSS neemt de meest ingewikkelde zaken voor je uit handen. Aan jou om op de juiste manier de juiste conclusie te trekken. Blijf betrouwbaar experimenteren en je bent al snel een Koning!

Codeboek maken in SPSS

We krijgen er allemaal weleens mee te maken tijdens de opleiding. Een docent die dit van je vraagt tijdens een vak of een verplichting bij een onderzoek in een stage of afstudeerperiode. Het klinkt ingewikkeld en helemaal niet leuk: een codeboek aanmaken voor je onderzoek. Dat het misschien niet leuk is, kan ik weinig aan veranderen. Wat ik wel ga doen is jou laten zien dat het in ieder geval niet ingewikkeld is! En misschien zelfs wel handig als je met meerdere mensen aan een onderzoek werkt!

Wat is een codeboek?

Een codeboek is een overzicht van alle vragen die jij in je vragenlijst hebt gesteld met daarachter specificaties over de antwoordopties en hoe je deze verwerkt in (bijvoorbeeld) SPSS.  

Voorbeeld
Een simpel voorbeeld: je hebt de vraag gesteld wat is uw geslacht?. Daarvoor heb je drie antwoordopties geformuleerd. Vrouw, man, anders. In een codeboek schrijf je de vraag op, het feit dat je deze numeriek codeert en dat je de volgende codes opgeeft:
1= vrouw
2= man
3= anders
Dit doe je voor elke vraag die je stelt.

Nu vraag je je misschien af, waarom moet je een codeboek maken als je dit ook al in voert in SPSS? Dat is een hele goede vraag. Misschien een die jij moet stellen als je docent je die opdracht geeft! Anderzijds is het altijd goed om per vraag na te denken over hoe de vraag gecodeerd moet worden. Maar waarom dit niet gelijk zou moeten kunnen met het invoeren in SPSS is mij een raadsel. En dan nog iets, veel online enquête tools coderen al voor jou, dus er blijft weinig over om echt over na te denken.

Hoe
maak ik een codeboek in SPSS?

Om verder te lezen heb je een inlog nodig. Ga naar Koning Compleet om je aan te melden!