CVOS-werkgroep bevragingen

In de openbare statistiekwereld blijven surveydata een belangrijke databron naast gegevens uit administratieve registers en organische data (big data) voor het ontwikkelen, produceren en verspreiden van statistieken. Voor het in kaart brengen van attitudes, percepties en gedragingen doen heel wat entiteiten van het netwerk Statistiek Vlaanderen dan ook beroep op bevragingen bij zowel burgers als ondernemingen en organisaties.

Een aantal (maatschappelijke) ontwikkelingen zorgen voor enkele belangrijke uitdagingen bij de uitvoering van kwaliteitsvol surveyonderzoek binnen (en buiten) de overheid:

• de verstrenging van de procedures voor het aanvragen van steekproefgegevens bij het Rijksregister en voor het omgaan met persoonsgegevens
• de toenemende digitalisering maakt het mogelijk om in real time burgers te bevragen over bijvoorbeeld tijdsbesteding en verplaatsingsgedrag, maar zorgt ook voor nieuwe verwachtingen zoals het beantwoorden van de vragen via de smartphone
• de dalende bereidheid tot deelname aan surveyonderzoek
• de vraag naar goedkope en snel beschikbare data, terwijl het klassieke face-to-face onderzoek een lange doorlooptijd en hoge kostprijs met zich meebrengt.

Deze evoluties roepen de vraag op hoe de kwaliteit van surveyonderzoek bewaakt kan worden.

Binnen het netwerk Statistiek Vlaanderen worden gelijkaardige noden vastgesteld en wordt gewerkt aan mogelijke antwoorden zoals onder meer:

• het delen van ervaringen bij het opmaken van documenten voor steekproefaanvragen, het werken met een vertrouwde derde partij (TTP) voor het bekomen van steekproefgegevens,
• de evolutie naar mixed mode bevragingen (bijvoorbeeld online en postaal, online en face-to-face) en de gevolgen hiervan voor het uitbesteden van onderzoek, het ontwerpen van vragenlijsten, het analyseren en rapporteren van de resultaten enzovoort.

Om de verdere uitbouw van kwaliteitsvol surveyonderzoek binnen de Vlaamse overheid te ondersteunen is daarom binnen de schoot van het CVOS in het voorjaar 2022 de werkgroep bevragingen opgericht.

De werkgroep neemt enerzijds een rol op als kenniscentrum voor het bundelen en delen van expertise en treedt anderzijds op als vraagkanaal voor de inbreng van de Vlaamse overheid (VO) in het Online Probability Panel dat wordt opgezet in samenwerking met de VLIR.

Als kenniscentrum streeft de werkgroep een laagdrempelige aanpak na: de deelnemers kunnen vanuit hun ervaringen met surveyonderzoek deelnemen aan de discussies en leren van elkaar. Het einddoel blijft het waken over efficiënt en kwaliteitsvol surveyonderzoek zodat het beleid binnen de Vlaamse overheid kan steunen op betrouwbare data en statistieken.

Als governance orgaan voor de ontwikkeling van een vragenmodule voor het Online Probability Panel, brengt deze werkgroep de vragen vanuit de Vlaamse overheidsentiteiten samen en ontwikkelt ze een vragenlijst na de nodige afstemming binnen het netwerk en met de gebruikers. Een beschrijving van het opzet van het online panel en de VO-betrokkenheid is terug te vinden in de netwerk nieuwsbrief van februari 2023.

Tot slot kan de werkgroep ook een klankbord zijn voor de bevragingen die binnen het netwerk Statistiek Vlaanderen worden georganiseerd.

In juni 2022 kwam de werkgroep voor het eerst samen met een actieve inbreng van verschillende VO-entiteiten: Agentschap Binnenlands Bestuur (ABB), Departement Cultuur, Jeugd en Media (CJM), Sport Vlaanderen, Mobiliteit en Openbare Werken (MOW), Omgeving, Wonen Vlaanderen, Welzijn Volksgezondheid en Gezin (WVG), Onderwijs en Vorming (O&V).

Na de vaststelling dat er heel veel verschillende surveyonderzoeken binnen de VO zijn, werden enkele behoeften geformuleerd:

• De nood aan kennisuitwisseling over de verschillende stappen in het surveyproces.
• De behoefte aan samenwerking en het delen van goede praktijken.
• De behoefte om meer zichtbaarheid te geven aan de verschillende surveys en de bestaande data beschikbaar te maken zodat er meerwaarde gecreëerd kan worden door het hergebruik van bestaande databestanden.

Tijdens de bijeenkomst van december 2022 lichtte het ABB-team Integratie en Inburgering de bevragingen ‘Barometer samenleven(opent in nieuw venster)’ en ‘Samenleven in diversiteit(opent in nieuw venster)’ (SiD-bevraging) toe. Belangrijk hierbij was de aandacht voor de uitdagingen bij de organisatie van dergelijke grootschalige/complexe bevragingen, waaronder:

• Bij het bekomen van een machtiging voor het verkrijgen van steekproefgegevens bij het Rijksregister voldoende tijd en de rol van een TTP voorzien.
• Beperkt aantal onderzoeksbureaus dienen offertes in.
• Uitdagingen bij het veldwerk, zoals het vinden van face-to-face interviewers in tijden van lage werkloosheid, de afhankelijkheid van vertalers bij de bevragingen enzovoort.

• Uitdagingen bij de gegevensverwerking gegeven de mixed-mode aanpak: kunnen de gegevens uit een online bevraging zomaar samengevoegd worden met gegevens uit een face-to-face bevraging?
• Uitdagingen bij het ontsluiten en visualiseren van gegevens: zoeken naar een evenwicht tussen het delen van een veelheid aan gegevens en de leesbaarheid ervan, zorgen dat gegevens correct worden geïnterpreteerd (betrouwbaarheidsintervallen, gewogen gegevens en aantallen, betekenisvolle verschillen enzovoort), afhankelijkheid van derden bij ontwikkeling van dashboards voor de visualisatie van gegevens.

Tot slot kwam in de bijeenkomst van december 2022 ook nog de voorbereiding van een nieuw raamcontract voor bevragingen door het Facilitair Bedrijf aan bod en werd stilgestaan bij het opzet van het nieuwe Online Probability Panel.

De discussie naar aanleiding van de uitdagingen bij het opzetten van grootschalige/complexe bevragingen toonde alvast de nood aan het delen van ervaringen en van goede praktijken. Een eerste concreet resultaat is het voornemen om in het najaar van 2023 een SV-seminarie te organiseren over het online visualiseren van gegevens uit bevragingen.

In het voorjaar 2023 vindt de volgende bijeenkomst van de werkgroep plaats. Tijdens die bijeenkomst komen opnieuw een aantal bevragingen binnen de entiteiten van de VO aan bod. Bijkomend zal een eerste gedachtewisseling plaatsvinden over de inhoudelijke invulling van de VO-vragenmodule voor het Online Probability Panel, inmiddels omgedoopt tot ‘The Social Study’.

De werkgroep blijft openstaan voor de inbreng van nieuwe leden die bezig zijn met bevragingen of daartoe plannen hebben. Geef een seintje aan Tina Vander Molen(opent in uw e-mail applicatie) of Ann Carton(opent in uw e-mail applicatie) als je uitgenodigd wil worden voor de volgende bijeenkomst.