ChatGPT lijkt AI opeens mainstream te maken voor bedrijven, maar in feite gebruikt zo goed als iedere organisatie waarschijnlijk al jaren – of mogelijk zelfs decennia – software waarin AI is verwerkt. Dankzij opeenvolgende evoluties als machine learning, big data-toepassingen en de opkomst van LLM’s sinds de lancering van de Transformer-architectuur zijn er steeds meer en steeds geavanceerdere AI-toepassingen beschikbaar gekomen.
Sinds de introductie van ChatGPT in november 2022 lijkt welhaast ieder bedrijf te kijken naar relevante mogelijkheden. Met dit soort LLM’s is immers ongelooflijk veel mogelijk. Dagelijks ontdekken bedrijven weer nieuwe toepassingen, al dan niet dankzij integraties met andere applicaties en de mogelijkheid om de LLM op een veilige manier te laten interacteren met eigen data.
Omdat LLM’s zoals ChatGPT zoveel kunnen – en vaak ook zeer goed – zijn de technische oplossingen het probleem niet. De juiste vragen, dát is het probleem. Waar onze klanten het meest mee worstelen: welke pijnpunten kunnen we oplossen met tools zoals ChatGPT? Naast het identificeren van de uitdagingen die je wilt oplossen, is onder meer van belang hoe complex deze vraagstukken zijn, hoeveel (hoogwaardige) data je voorhanden hebt, hoeveel tijd en geld je eraan wilt besteden en of dat je het beste kunt gaan voor out-of-the-box, hybride of volledig custom.
Waarom moeilijk doen als het eenvoudig, snel en bewezen effectief kan? De stack van Microsoft Azure biedt tal van AI-oplossingen die mogelijk geschikt zijn voor jou – en voor 101 andere bedrijven die kampen met een soortgelijk probleem. Denk bijvoorbeeld aan:
Het mooie: dit kan allemaal out-of-the-box. Dat is bijna plug-and-play. Al is er altijd wel wat maatwerk voor nodig, denk aan het integreren van de output in een lokale applicatie.
De voordelen van dit soort out of-the-box implementaties zijn evident: het is vrij eenvoudig om te integreren en je hebt er maar weinig investeringen en expertise voor nodig. Last but not least: er is nauwelijks tot geen data vereist om het model mee te trainen, je gebruikt direct vooraf getrainde modellen. Hierin schuilt natuurlijk ook een risico: jouw data moet overeenkomen met waarop het model is getraind. Echter: hoe vaker de use case voorkomt, hoe waarschijnlijker dit is.
Ons advies: heb je een veelvoorkomend probleem dat niet te complex is en waar je snel meerwaarde mee wilt creëren? Kijk dan eerst of dat er een out-of-the-box AI-tool beschikbaar is.
Aan de andere kant van het spectrum zit alles custom ontwikkelen. Dit raden we alleen aan als je een unieke AI-gebaseerde use case hebt waar nauwelijks tot geen andere bedrijven mee worstelen. Zo’n maatwerkoplossing vergt grote investeringen en veel expertise, je moet veel (liefst hoogwaardige) data hebben en bent de nodige tijd kwijt aan het trainen en valideren van het model. Daar krijg je wel twee grote voordelen voor terug. De output is volledig op maat gemaakt voor je organisatie én je terugkerende kosten zijn laag – alles is immers van jou.
Het custom-aspect kan allerlei zaken omvatten, zoals data-integraties met andere applicaties, architectuur, feature engineering, modelontwikkeling, -training en -validatie, frontend-development en security. Cegeka kan dit allemaal voor rekening nemen, met als resultaat een oplossing die even betrouwbaar, veilig, compliant als effectief is.
Voorbeelden van dit soort custom oplossingen zijn:
Voor zo’n chatbot gebruiken we de eigen data van een organisatie, die bijvoorbeeld afkomstig is uit Sharepoint of het HR-systeem. Via API-calls wordt gebruik gemaakt van ChatGPT (of een custom getraind LLM). Op een security- en privacy-proof manier, want alle data blijft binnen de eigen Azure-omgeving. Goed om op te merken: een HR-chatbot kan ook vrij out-of-the-box zijn, maar heb je bijvoorbeeld een heel technisch bedrijf dan presteert zo’n oplossing niet goed genoeg.
Met zo’n systeem kun je via API-calls ChatGPT integreren met je ticketsysteem, zoals TOPdesk. Maatwerk realiseren kan onder meer door bovenop ChatGPT een eigen model te trainen op basis van historische ticketdata. Bovendien kun je scripts ontwikkelen om de ticketdata op te schonen en businessregels opstellen die bepalen hoe tickets worden gerouteerd en afgehandeld. Dankzij een feedbacksysteem kunnen medewerkers de kwaliteit van de antwoorden van ChatGPT beoordelen.
Een hybride AI-oplossing kan een soort gulden middenweg zijn. Als basis neem je een out-of-the-box AI-oplossing. Maar omdat deze net niet helemaal aansluit bij je use case, pas je daar wat custom development op toe. Op deze manier benut je de snelheid en efficiëntie van out-of-the-box en heb je niet veel (hoogwaardige) eigen data nodig. Het nadeel: je hebt zowel initiële ontwikkelingskosten als periodieke kosten.
Hierbij kun je denken aan oplossingen als legal buddy. Daarmee kunnen juristen informatie opzoeken in oude zaken, waarbij de tool cognitieve zoektechnologie gebruikt om relevante documenten uit de bedrijfsdatabase op te halen. De informatie wordt vervolgens als input gegeven aan een out-of-the-box LLM, dat de belangrijkste informatie kan extraheren en presenteren. Door few-shot learning wordt het model snel beter met slechts minimale aanvullende data.
Matthias Verlinde, data scientist bij Cegeka: “Tijdens brainstormsessies distilleren we vaak een aantal use cases die interessant voor een klant kunnen zijn, bijvoorbeeld omdat ze bepaalde pijnpunten oplossen of processen versnellen. Die kunnen volledig out-of-the-box zijn, geheel custom óf alles daar tussenin. Klanten twijfelen vaak als ze horen welke investeringen met wat meer custom werk gepaard gaan, mede doordat je vaak mensen als data scientists, data engineers en architecten nodig hebt. Het lastige van AI-oplossingen: van tevoren kun je nooit garanties geven over het succes.”
Cegeka werkt daarom met proof of value via een fast tracks. Verlinde: “Dat betekent dat we eerst een iteratie doen met een out-of-the-box tool of een vrij standaard implementatie van bijvoorbeeld een custom computer vision- of NLP-model. Zo krijgt de klant al een aardig gevoel bij de mogelijke prestaties van de oplossing. Vervolgens kijken we: is dit voldoende? Om moet er meer custom development aan te pas komen zodat de oplossing beter in lijn is met de daadwerkelijke businessbehoeften?”
Webinar: Integratie van ChatGPT in bedrijfsprocessen
Dit artikel is tot stand gekomen naar aanleiding van het Cegeka-webinar Integratie van ChatGPT in bedrijfsprocessen op 8 juni 2023. Meer weten? Het webinar kun je hier terugkijken.