Cegeka zorgt voor efficiëntere regelgeving bij Terumo dankzij Conversational AI

Terumo Europe, een toonaangevend bedrijf in de gezondheidszorg, erkent het cruciale belang van kwaliteit in medische apparatuur en diensten. Om de efficiëntie van zijn afdeling Regulatory Affairs te verhogen, schakelde het bedrijf Cegeka in voor de implementatie van een AI-gedreven oplossing. Dankzij de Regulatory Intelligent Assistant kunnen medewerkers nu snel en eenvoudig antwoorden vinden op vragen over regelgevingsdocumenten. 

Terumo is een wereldwijde speler in de gezondheidszorg, gespecialiseerd in medische apparatuur en diensten. Het bedrijf produceert een breed scala aan producten, waaronder katheters, filters, insulineafgiftesystemen, naalden, spuiten, stents en chirurgische instrumenten. Met als missie ‘Bijdragen aan de samenleving door middel van gezondheidszorg’ zet Terumo zich volledig in om de gezondheid en het welzijn van patiënten te verbeteren via zijn producten en diensten.

De Europese tak van het gezondheidszorgbedrijf, met hoofdkantoor in Leuven, is al jarenlang klant van Cegeka en deed al een beroep op hen voor zijn infrastructuurbehoeften en voor de ontwikkeling en ondersteuning van Microsoft Analytics. “Het was voor ons een logische stap om onze samenwerking met Cegeka uit te breiden en de mogelijke voordelen van AI te onderzoeken”, aldus Kristof Geukens, ICT Applications Manager Analytics & AI bij Terumo Europe.

Onderzoek naar regelgevingsdocumenten 

Geïnspireerd door één van Cegeka's webinars over AI, begon Kristof Geukens na te denken over een mogelijke businesscase. “We stelden een businesscase op voor de afdeling Regulatory Affairs, met als doel complexe, herhaalbare taken te automatiseren en zo de dagelijkse werkzaamheden van onze medewerkers te vergemakkelijken”, legt hij uit. “Samen met Darya Sayevich, onze Regulatory Affairs Intelligence-specialist, kozen we ervoor om ons te richten op kennisontsluiting en stelden we drie specifieke use cases voor met meetbare doelstellingen die we konden evalueren.”

Binnen de afdeling Regulatory Affairs moeten medewerkers veel verschillende databronnen raadplegen en regelgevingsdocumenten voor medische hulpmiddelen vergelijken en combineren. Dat wordt nog ingewikkelder door de voortdurende wijzigingen in die regelgeving. Daarom bedacht Terumo Europe drie use cases om te automatiseren aan de hand van een conversational interface. “In een eerste use case wilden we onze medewerkers in staat stellen om informatie op te vragen over regelgeving in verschillende landen”, zegt Kristof Geukens. “Een andere use case richtte zich op het identificeren van wijzigingen tussen de huidige en eerdere versies van regelgeving. Daarnaast wilden we vragen kunnen stellen over regelgeving die enkel in vreemde talen beschikbaar is.”

Cegeka ontwikkelde een conversational interface voor de documenten van de afdeling, en het personeel kan met deze kennisbank ‘chatten’. Het project kreeg de naam Regulatory Intelligent Assistant (RIA). Terumo Europe heeft volledige controle over welke documenten in RIA worden opgenomen, benadrukt Kristof Geukens : “We kunnen altijd nieuwe documenten toevoegen zonder daarvoor afhankelijk te zijn van Cegeka.” Een andere belangrijke functie is dat de antwoorden van de assistent worden voorzien van links naar de relevante secties in de brondocumenten. “Dit wekt vertrouwen in de assistent, omdat onze medewerkers de antwoorden altijd kunnen verifiëren.”

Large language models hebben vaak te maken met een bekende tekortkoming : ‘hallucineren’, zijnde het genereren van feitelijk onjuiste of irrelevante antwoorden. RIA heeft dat probleem niet, omdat het uitsluitend is getraind op regelgevingsdocumenten binnen een duidelijk omschreven regelgevingscontext. Daardoor reageert de assistent niet op vragen die buiten zijn domein vallen.

“De aantekeningen met links naar de brondocumenten zijn bedoeld om het vertrouwen in de assistent te vergroten, omdat onze medewerkers de antwoorden altijd kunnen verifiëren.”

KRISTOF GEUKENS, ICT APPLICATIONS MANAGER ANALYTICS & AI BIJ TERUMO EUROPE

Al lerend verdergaan 

In de eerste fase werd gekeken hoe de value kon worden aangetoond. “Het doel van deze fase was om te beslissen welke technologieën nodig waren om de drie use cases te implementeren”, legt Kristof Geukens uit. Cegeka ontwikkelde elke use case stapsgewijs, waarbij telkens lessen werden getrokken uit de vorige use case. “Onze mensen uit de business waren van bij het begin nauw betrokken, en zo kon Cegeka het project snel implementeren.”

Tijdens het testen van de ‘Proof of Value’-implementaties werd duidelijk dat de assistent enkele beperkingen had. “RIA werkte vrij goed voor eenvoudige vragen, maar de antwoorden op complexere vragen waren niet nauwkeurig of volledig genoeg”, zegt Kristof Geukens. Na onderzoek en overleg met Cegeka bleek dat dit te wijten was aan de beperkte context van het large language taalmodel, GPT-3.5. Het model werd daarom voor de productieversie vervangen door GPT-4 Turbo. “Ik ben blij dat Cegeka altijd transparant is geweest over de modellen en technologieën die ze gebruikten, waardoor we de beperkingen die we ondervonden en hoe we die konden overwinnen, beter konden begrijpen.”

Het invoeren van de data in het model bracht nog een andere uitdaging met zich mee, legt Kristof Geukens uit. “We hebben eerst geprobeerd om een deel van de data uit een enorme spreadsheet naar het model over te brengen. Dat leek op dat moment logisch, maar er was veel manueel werk nodig om de data in het juiste formaat te krijgen. De les die we daaruit hebben geleerd, is dat we beter pdf-documenten met natuurlijke taal kunnen gebruiken dan tabellen in Excel-bestanden.”

Een digitale assistent voor iedereen  

Na afronding van de gebruikersacceptatietests verwacht Kristof Geukens geen grote problemen qua change management: “De eerste feedback is positief. RIA is als chatbox op een webpagina geïntegreerd in de workflow van de gebruiker. Medewerkers kunnen makkelijk vragen stellen en krijgen antwoorden met links naar de relevante documenten. Ze kunnen reacties ook beoordelen met een duim omhoog of omlaag, en die informatie kunnen we analyseren om zaken te verbeteren in de toekomst. Natuurlijk geldt: hoe specifieker je vraag, hoe specifieker het antwoord dat je krijgt. Net zoals we twintig jaar geleden allemaal hebben moeten leren om zoekmachines zoals Google te gebruiken, zo zullen medewerkers ook nu moeten leren om de digitale assistent efficiënt te gebruiken."

Kristof Geukens denkt nu al na over de mogelijke voordelen van deze technologie voor andere afdelingen. "Het verkoop- en marketingteam heeft interesse getoond in een digitale assistent en ik heb ook vragen gekregen van de juridische afdeling. Natuurlijk heeft elk gebruiksscenario zijn specifieke vereisten. Dus als RIA klaar is, gaan we eerst op zoek naar een gebruiksscenario dat aansluit bij wat we nu hebben, zodat we het met minimale wijzigingen kunnen opschalen. Ik ben er vast van overtuigd dat digitale assistenten de toekomst zijn. Er zal een tijd komen dat iedereen bij Terumo gewend zal zijn om met een digitale assistent te werken."

“Er zal een tijd komen dat iedereen bij Terumo gewend zal zijn om met een digitale assistent te werken.”

KRISTOF GEUKENS, ICT APPLICATIONS MANAGER ANALYTICS & AI BIJ TERUMO EUROPE