Evaluatie van een Implementatieproject

Richtlijnen Urineweginfecties en Lage Luchtweginfecties

Levien van Dillen, Else Poot

Achtergrond en doel

De in oktober 2018 verschenen Verenso-richtlijnen Urineweginfecties (UWI) en Lage Luchtweginfecties (LLWI)^1,2 bij kwetsbare ouderen hebben tot doel om de kwaliteit van zorg te verbeteren en een bijdrage te leveren aan het tegengaan van antibioticaresistentie. Daarom is het van belang dat de richtlijnen in de praktijk gebruikt worden. Uit verscheidene onderzoeken blijkt dat richtlijnadherentie (de mate waarin adviezen uit een richtlijn worden opgevolgd) vaak niet hoger is dan 60-70%, terwijl 80-90% meer wenselijk is. Gedegen implementatie van een nieuwe richtlijn kan bijdragen aan toename van de adherentie.³

Om vakgroepen bij implementatie van de richtlijnen te ondersteunen startte Verenso in januari 2019 een implementatieproject als onderdeel van het programma ‘Aanpak van antibioticaresistentie in verpleeghuizen’.⁴ Eén van de doelen uit het programma is het terugdringen van oneigenlijk voorschrijven van antibiotica, waarbij specialisten ouderengeneeskunde alert zijn op rationeel voorschrijven.

Voor zover bekend is een richtlijnimplementatieproject als dit vrij uniek in de medische wereld, en voor Verenso was het de eerste keer dat ze een project op deze manier uitvoerde. Derhalve was Verenso geïnteresseerd in de ervaringen van de deelnemers en werd het project zowel op kwalitatieve als kwantitatieve wijze geëvalueerd. Het doel van dit artikel is om inzicht te krijgen in de ervaringen van de deelnemers, nagaan of het project bijdraagt aan een toename van richtlijnadherentie, en om aanbevelingen te doen voor de toekomst.

In dit artikel evalueren we het implementatietraject aan de hand van de volgende onderzoeksvragen:

1. Kwalitatief: Hoe hebben de projectgroepleden van de deelnemende vakgroepen het implementatieproject ervaren?
2. Kwantitatief:
   * Is bij de deelnemers sprake van toename van adherentie na implementatie van de richtlijn Urineweginfecties of Lage luchtweginfecties?
   * Wat is het verschil in adherentie tussen deelnemende vakgroepleden aan het project versus niet-deelnemende vakgroepleden 1 jaar na publicatie van de richtlijnen?

Methode

Beschrijving implementatieproject
37 vakgroepen namen deel aan dit project, zij moesten zelf een keuze maken welke richtlijn zij wilden gaan implementeren. Twaalf vakgroepen kozen voor de richtlijn LLWI en 25 voor de richtlijn UWI. De deelnemende vakgroepen (verder ‘de deelnemers’) stelden zelf een projectgroep samen bestaande uit een interne projectleider en minimaal één specialist ouderengeneeskunde. Aan de projectgroep konden naast artsen uit de vakgroep ook verpleegkundig specialisten of beleidsmedewerkers deelnemen. 32 deelnemers hebben het gehele begeleidingsproject afgerond.

Het project bestond uit een landelijke startbijeenkomst, twee regionale bijeenkomsten, begeleiding via de telefoon en e-mail en het ontwikkelen van aanvullende implementatieproducten, zoals een klinische les en zakkaartjes voor verzorging en verpleging. De startbijeenkomst had als doel om inhoudelijke kennis te bieden over zowel de richtlijnen als over implementatiemethodiek en implementatiestrategieën. Ook werd de opzet van het implementatieproject toegelicht.

Vervolgens kregen de projectleiders de startdocumentatie opgestuurd, onder andere bestaande uit de Implementatiehandleiding⁵ en de daarvan afgeleide modules voor de richtlijnen LLWI en UWI. De projectgroepen gingen vervolgens zelf aan de slag met het opstellen van hun eigen implementatieplan. Tijdens de twee regionale bijeenkomsten kwamen de in regio’s verdeelde projectgroepen (op basis van geografische locatie) bij elkaar onder begeleiding van twee externe trainers. Het doel van deze bijeenkomsten was om projectgroepleden ervaringen te laten uitwisselen. De eerste regionale bijeenkomst kregen de deelnemers hulp bij het opzetten van hun implementatieplan, de tweede stond in het teken van verandermanagement. In de tussenliggende periodes nam de projectmedewerker van Verenso per telefoon of mail contact op met de projectleiders om de voortgang te monitoren en eventuele knelpunten te bespreken. Verder was Verenso zo nodig bereikbaar bij eventuele problemen.

Kwalitatief onderzoek
Het kwalitatieve onderzoek bestond uit semigestructureerde interviews met interne projectleiders of projectgroepleden. De verwachting was dat interviews bij 16 deelnemers voldoende zouden zijn om verzadiging te bereiken. Dit houdt in dat er verder geen nieuwe informatie meer wordt verkregen. De selectie van projectleiders/projectgroepleden vond willekeurig plaats met behulp van de random-formule van Microsoft Excel. Dit om de onderzoekers niet te beïnvloeden door eventuele voorkennis over het verloop van de projecten. Er werd gestreefd naar een gelijke verhouding van het aantal deelnemers aan de onderdelen UWI/LLWI, een spreiding over de regio’s, minimaal één niet-specialist ouderengeneeskunde als projectleider en minimaal één afvaller. De interviewvragen staan in tabel 1. Transcriptie van de interviews vond plaats middels de non-verbatimmethode, waarna we de transcripten codeerden en kwalitatief analyseerden. Daarnaast kregen alle projectleiders een evaluatievragenlijst toegestuurd, waaruit de tekstuele opmerkingen werden meegenomen in de kwalitatieve analyse. Hieruit volgde identificatie van thema’s die een antwoord vormden op de kwalitatieve onderzoeksvraag.


Kwantitatief onderzoek
Verenso ontwikkelde zogenaamde adherentievragenlijsten voor de richtlijnen UWI en LLWI, waarin vakgroepleden aan het begin en aan het einde van het project aangaven in hoeverre zij de aanbevelingen uit de richtlijn toepasten in de praktijk. Dit gebeurde op basis van stellingen. Het vakgroeplid moest hierbij op een vijfpuntsschaal (nooit – incidenteel – regelmatig – vaak – (bijna) altijd) aangeven in welke mate hij/zij de aanbeveling toepaste in de praktijk. Bijvoorbeeld:  

Mijn eerste keus antibioticum bij een urineweginfectie bij mannen zonder systemische verschijnselen is nitrofurantoïne (2x daags 100mg of 4x daags 50mg).

Aan de antwoordopties was een weging gekoppeld, waarmee per vakgroeplid, per vakgroep en per richtlijn de (gemiddelde) adherentiepercentages werden berekend. Dit gaf voor de deelnemers een  beeld van de praktijkvoering vóór en na het project.

Om een beeld te krijgen van het verschil in richtlijnadherentie tussen deelnemende versus niet-deelnemende artsen ontwikkelden we een vragenlijst bestaande uit een selectie van de vragen uit de adherentievragenlijsten UWI en LLWI. Deze verkorte adherentievragenlijst werd aan het einde van het project verstuurd naar 500 willekeurige niet-deelnemende Verenso-leden. Bij een respons van 10% zouden we dan een vergelijkbaar aantal respondenten hebben als bij de nameting van de deelnemers. Uit de retour ontvangen vragenlijsten berekendenwe adherentiepercentages, die we vergeleken met de adherentiepercentages van dezelfde vragen uit de nameting van de deelnemers.

Resultaten

Kwalitatief onderzoek
De onderzoeker (LvD) hield 16 interviews met projectleiders/projectgroepleden. Bij de laatste twee à drie interviews kwam bij de analyses geen nieuwe informatie meer naar voren, waarmee aannemelijk is dat saturatie was bereikt. De evaluatievragenlijst werd door 32 projectleiders/projectgroepleden ingevuld. De ervaringen waren overwegend positief. De volgende woorden geven een globale samenvatting van de ervaringen: positief, goed initiatief, leuk, steunend, leerzaam, zinvol, aandacht verruimend, uitgebreid en goed van opzet.
Sommige deelnemers waren daarnaast kritisch en zetten bijvoorbeeld vraagtekens bij de noodzaak van het project. De volgende quote illustreert dit.

“Voor mij persoonlijk was de aanpak wat teveel van het goede.
 Als daardoor de invoering van deze richtlijnen verbetert, laat ik me graag overtuigen.”

Vanuit de interviews identificeerden de onderzoekers de volgende thema’s.

1. De startperiode

“Ik voelde me in het begin wel beperkt vanwege alle plannen die Verenso had gestuurd. (…)
 Zeker als je niet zo wetenschappelijk onderlegd bent dan is het overrompelend in het begin.”

Zoals weergegeven in bovenstaande quote kostte de opstartfase van het project een aantal deelnemers enige moeite. De deelnemers zagen er als een berg tegenop en ze misten het overzicht. Bovendien leefden in deze fase inhoudelijk nog vragen en werd soms ook weerstand gevoeld. De hoeveelheid begindocumenten was te uitgebreid, bij sommigen leidde dit tot handelingsverlegenheid. Eenmaal opgestart, wanneer het bijvoorbeeld was gelukt om een implementatieplan te schrijven, merkten de deelnemers dat het proces ging lopen.

2. De ondersteuning als stimulans
Het project werkte voor veel deelnemers als een ‘stok achter de deur’. Ze vonden het prettig automatisch op de hoogte te worden gehouden van ontwikkelingen. Daarnaast zagen ze de regelmatige ondersteuning in de vorm van individueel contact of (plenaire) bijeenkomst als motiverend en een stimulans om met (de implementatie van) de richtlijn aan de slag of verder te gaan. Eén van de deelnemers beschreef dit als volgt:

“We hebben het allemaal hartstikke druk, maar als je hieraan meedoet wordt je elke keer weer geattendeerd op het project waardoor je alert en ermee bezig blijft.
Anders heb je kans dat het meer naar de langere termijn gaat.”

3. Toegenomen aandacht voor richtlijn en het onderwerp antibioticaresistentie
Deelname aan een implementatieproject draagt volgens de deelnemers bij aan toenemende algemene aandacht voor richtlijnen binnen de vakgroep en organisatie. Ook zagen zij meer bewustwording ten aanzien van de veranderingen en eventuele gevolgen die de richtlijn heeft, zoals invloed op de bewustwording van antibioticaresistentie. De deelnemers gaven aan dat vanuit gedegen implementatie een breed draagvlak volgt voor de richtlijn, met bijbehorende uniforme werkwijze. Dit gold niet alleen voor de vakgroep, maar in de hele organisatie.

“Ik denk zelf dat zonder de aandacht door dit project
deze richtlijn weer één van de vele richtlijnen was geweest.”

4. Leerpunten
Deelname aan het project draagt bij aan: het opdoen van implementatievaardigheden, inhoudelijke kennis over de richtlijn, het belang van het hebben van een multidisciplinair projectteam in een project als dit, en het belang van een methodische aanpak bij richtlijnimplementatie.

“Ik heb met name veel implementatievaardigheden geleerd,
zoals bijvoorbeeld dat je implementeren multidisciplinair moet doen.
Ook de doelgroepanalyse was heel waardevol, en ik leerde dat je moet blijven herhalen.”

Naast de genoemde thema’s droegen de deelnemers verschillende punten aan welke bevorderend of juist belemmerend waren voor hun eigen implementatietraject.

Bevorderende factoren:

• Multidisciplinaire insteek
• Methodische aanpak
• Aanspreekcultuur (bijv. in vakgroep of organisatie)
• Aansluiting bij andere zaken
• Weinig weerstand ervaren
• Positieve verandering merken op de werkvloer

Belemmerende factoren:

• Te grote tijdsinvestering
• Wisseling of tekort aan personeel
• Omgaan met weerstand, krijgen van gedragsverandering
• Inbedding in (grote) organisatie en praktische zaken

De geboden ondersteuning vanuit Verenso werd door de deelnemers erg gewaardeerd. Met name de uitwisseling met andere deelnemers tijdens de regionale bijeenkomsten vonden ze erg nuttig. De deelnemers gebruikten de implementatieproducten goed, het verschilde per vakgroep welk product het meest werd gewaardeerd.

“Bijeenkomsten waren inspirerend, we gingen iedere keer weg met nieuwe ideeën om te doen.
Ik voelde me gesteund door de verhalen te delen met anderen,
en te kijken waar zij dan tegenaan lopen, en wat goed gaat en niet goed gaat.”

Kwantitatief
Adherentie deelnemers: voor- en nameting
Er is een toename te zien in de adherentie van de beide richtlijnen van deelnemende vakgroepen, zoals weergegeven in tabel 2. De responspercentages van het aantal vakgroepen dat heeft gereageerd bij de voormeting (100% bij richtlijn UWI, 83% bij richtlijn LLWI) lagen evident hoger dan bij de nameting (respectievelijk 45% en 58%).   

Adherentie deelnemers versus niet-deelnemers
De respons van de niet-deelnemende artsen op de verkorte adherentievragenlijst was 14,8% en voldeed aan onze verwachtingen. Bij vergelijking van de adherentiepercentages tussen deelnemers en niet-deelnemers (zie tabel 3) is te zien dat sprake is van een grotere gemiddelde adherentie bij de deelnemers. De toename in adherentie is daarnaast evident groter bij de richtlijn LLWI dan bij UWI.

Beschouwing

Het doel van dit onderzoek was om de ervaringen van de deelnemers aan het implementatieproject te beschrijven. Dit is in beeld gebracht middels zowel interviews als vragenlijsten. Met de verzamelde data konden de meeste onderzoeksvragen worden beantwoord.

De deelnemers hebben het project overwegend als positief ervaren. Aspecten die goed gingen waren de stimulerende werking die het project had, de toegenomen aandacht voor de richtlijn door het project en de uitwisseling met andere deelnemers. Over de startperiode waren de deelnemers kritisch omdat ze het overzicht misten en de begindocumentatie te uitgebreid was. De meeste implementatieproducten werden goed gebruikt en gewaardeerd.

De gevonden resultaten met betrekking tot de bevorderende en belemmerende factoren uit dit onderzoek zijn in lijn met resultaten uit eerdere literatuur. Nijs⁶ en collega’s onderzochten in 2003 het succes van de implementatie van projecten ter bevordering van maaltijden in verpleeghuizen. Belemmerende factoren die zij vonden waren onder andere personeelstekort, onvoldoende medewerking en financiën.

In 2014 beschreef Zwijsen⁷ de evaluatie van de implementatie van de interventie Grip op Probleemgedrag (GRIP) in verschillende verpleeghuizen. Dit betrof weliswaar geen richtlijn maar een zorginterventie, maar vergde ook een verandering van de eerdere werkwijze in de praktijk. Zij vond vergelijkbare barrières in de implementatie, onder andere de tijdsinvestering, personeelswisselingen, organisatorische factoren, het overweldigende aspect van veel documenten of formulieren en de moeilijkheid van het verkrijgen van gedragsverandering. 
Tenslotte beschreef Wattel⁸ in haar artikel over implementatie dat altijd sprake is van maatwerk bij het kiezen van een implementatiestrategie, en dat een goede voorbereiding en methodische aanpak van belang is. Dit komt overeen met de door ons gevonden uiteenlopende implementatieprocessen in de verschillende vakgroepen, en de ervaringen van de deelnemers die aangaven het nuttig te hebben gevonden om met de ‘algemene theorie’ hulp te krijgen bij hun eigen implementatie op maat.

Kwantitatief kon niet betrouwbaar worden vastgesteld of sprake is van toename van richtlijnadherentie door deelname aan het project vanwege een lage respons op de adherentievragenlijsten in de nameting, ondanks herhaalde oproepen tot respons.
Ten slotte zijn aanwijzingen gevonden dat de richtlijnadherentie van niet-deelnemende artsen ten tijde van de nameting lager ligt dan bij de deelnemers. Er kunnen echter geen harde conclusies worden getrokken vanwege de relatief kleine steekproef en de lage respons in de nameting.

Een sterk punt van het onderzoek is dat interviews zijn gehouden met vertegenwoordigers van bijna de helft van het totale aantal deelnemende vakgroepen. De kans op interviewerbias wordt laag ingeschat vanwege het feit dat de interviewer aan alle participanten dezelfde open vragen stelde om hen zo min mogelijk te beïnvloeden. Op deze manier hebben we een gedegen beeld kunnen schetsen van de ervaringen.

Bij het onderzoek zijn enkele mogelijke beperkingen te noemen. Een mogelijke beperking in het kwalitatieve deel ligt in onvoldoende doorvragen tijdens de interviews. Dit kwam naar voren bij de codering, hier bleef soms ruimte over voor meerdere interpretaties.
Bij de adherentievragenlijsten (kwantitatieve deel) kan het lage responspercentage, met name bij de deelnemers, worden gezien als een belangrijke beperking. Wat hierbij kan hebben meegespeeld is dat de deelnemers deze vragenlijsten te uitgebreid vonden. Mogelijk was het responspercentage hoger geweest als de deelnemers, net als de niet-deelnemers, een selectie van de belangrijkste vragen hadden gekregen. Een andere verklaring voor uitblijven van respons zou de timing kunnen zijn. Omdat een belangrijk deel van de vakgroepen nog niet in de evaluatiefase van hun eigen project was ten tijde van het versturen van de vragenlijsten, hebben ze de vragenlijst mogelijk (nog) niet willen invullen.

Al met al is de conclusie dat de ervaringen van deelnemers aan het implementatieproject overwegend positief zijn, en dat het implementatieproject lijkt bij te dragen aan richtlijnadherentie en daarmee aan succesvolle implementatie van de richtlijnen UWI en LLWI.

Aanbevelingen

Voor specialisten ouderengeneeskunde bij implementatie van een richtlijn:

• Maak gebruik van een methodische aanpak bij een implementatieproject en gebruik daarbij de Implementatiehandleiding en de bijbehorende richtlijnmodule.
• Vorm bij voorkeur een multidisciplinaire projectgroep bij het implementeren van een (multidisciplinaire) richtlijn.
• Maak gebruik van verscheidene aanverwante producten van de betreffende richtlijn.
• Neem de tijd en laat je niet uit het veld slaan: verandering en dus ook implementatie kost nu eenmaal tijd, en moet naast de dagelijkse werkzaamheden in de praktijk worden ingepast. Gebruikmaken van bestaande implementatieproducten, aansluiting bij een andere lopende activiteit en taakdelegatie door de projectleider kan juist tijd opleveren.

Voor Verenso bij een volgend implementatieproject:

• Blijf gebruik maken van de kracht van uitwisseling tussen deelnemers zoals in regionale bijeenkomsten, en spits dit toe op de specifieke situatie of knelpunten van deelnemers.
• Zorg voor een gestructureerde en overzichtelijke startfase. Zorg ervoor dat (begin)documentatie goed leesbaar is en eventueel gedoseerd wordt toegestuurd. 

Auteurs

• L.S. van Dillen (Levien), MSc, arts in opleiding tot specialist ouderengeneeskunde, GERION/Amsterdam UMC
• Drs. E Poot (Else), beleidsmedewerker en teammanager Kwaliteit, Verenso Utrecht