Context
Sinds eind 2022 zagen we een enorme aandacht voor generatieve AI-tools zoals de chatbot ChatGPT. De mogelijkheden voor het gebruik van dergelijke tools in de dienstverlening van de overheid lijken haast eindeloos. Toch zijn er belangrijke voorwaarden waar een AI-tool voor de overheid aan moet voldoen. Zo moeten de overheid en haar medewerkers controle kunnen houden over het hele proces waar een dergelijke tool invloed over uitoefent.
Omschrijving en Scope
De Vlaamse overheid ging een experiment aan met Ulysses.ai(opent in nieuw venster), een consultancybedrijf gespecialiseerd in AI-risicomanagement, workflow-optimalisering, verantwoordelijke ontwikkeling en implementatie van AI-tools en internationaal AI-beleid.
De scope van het experiment was de ontwikkeling van een tool om efficiënter parlementaire vragen te beantwoorden door beleidsmedewerkers, om doelgericht databanken te doorzoeken, overzichtelijk informatie op te slaan, documenten voor intern gebruik samen te vatten en te herformuleren. Met het idee de dienstverlening van de overheid met betrekking tot parlementaire vragen nog efficiënter te maken. Het idee van verantwoorde ontwikkeling en implementatie stond daarbij centraal: medewerkers behouden controle (of ‘agency’) over het proces en worden ondersteund in het detecteren en vermijden van de feitelijke fouten die generatieve AI kan maken.
Het experiment was een Proof-of-technology, om te bekijken wat de waarde was van een LLM bij het doorzoekbaar maken van grote hoeveelheden documenten. Het experiment wou een antwoord op volgende vragen:
Zijn LLM’s een waardevol alternatief voor de klassieke geïndexeerde manier om documenten te doorzoeken?
Kunnen we een samenvatting maken van relevante eerdere, gelijkaardige antwoorden bij een parlementaire vraag?
Kunnen we vanuit deze samenvatting verwijzingen leggen naar het oorspronkelijke document?
Voor het experiment werd gebruik gemaakt van de publieke API van de databank van parlementaire vragen. De scope van het experiment was zeer kleinschalig. Het experiment werkte alleen voor vragen over de ‘Chinese wolhandkrab’, een invasieve exotische krabbensoort die verstorend is voor de ecosystemen binnen onze waterlopen.
Inzichten
Generatieve AI en LLM’s laten toe om met documenten ‘te praten’.
Het is mogelijk om uit grotere documenten die over ruimere onderwerpen handelen, specifieke passages te halen met betrekking tot een specifiek onderwerp.
Documenten kunnen, mits een goed opzet, samengevat worden
Een combinatie van klassieke indexering van documenten en AI geeft de beste, snelste en meest gerichte resultaten