Cloudportaal
Stuur een WhatsApp bericht
Plan een adviesgesprek
Automatisering & AI
Agent operations
Een AI-agent is na de livegang niet ineens ‘af’. Modellen veranderen, databronnen worden aangepast, rechten wijzigen en gebruikers ontdekken nieuwe situaties waarop de agent moet reageren. Met agent operations helpt Hupra om AI-agents ook na ingebruikname betrouwbaar, veilig en bruikbaar te houden.
Wanneer is dit relevant voor jouw organisatie?
Een AI-agent kan vandaag goed functioneren en morgen ander gedrag laten zien. Niet per se omdat er iets aan de agent zelf is veranderd. Misschien levert een gekoppeld systeem andere informatie aan, is een recht aangepast of reageert een nieuw model anders op dezelfde instructie.
Dat wordt belangrijk zodra medewerkers of processen daadwerkelijk op een agent gaan vertrouwen. Een fout tijdens een test is vervelend. Een fout in een agent die dagelijks informatie verwerkt, medewerkers ondersteunt of acties uitvoert, kan veel meer impact hebben. Agent operations is relevant wanneer AI-agents onderdeel worden van de dagelijkse operatie en je grip wilt houden op hun werking, gebruik en verdere ontwikkeling.
Wat verandert er in de praktijk?
Na livegang blijft er aandacht voor wat de agent doet en wat er rondom de agent verandert. Dat helpt om eerder te zien wanneer gedrag afwijkt, fouten ontstaan of aanpassingen nodig zijn. Ook nieuwe wensen van gebruikers kunnen aanleiding zijn om een agent verder te verbeteren.
Daarbij gaat het niet alleen om technische beschikbaarheid. Een agent kan online zijn en toch minder bruikbaar worden. Bijvoorbeeld doordat antwoorden minder goed aansluiten, informatie uit een bron niet meer beschikbaar is of een wijziging in een proces nog niet in de agent is verwerkt. Door beheer als onderdeel van de lifecycle te zien, wordt een agent geen toepassing waar pas naar wordt gekeken zodra iemand meldt dat er iets misgaat.
Wat Hupra voor je doet
Hupra helpt bij het beheren, monitoren en verder optimaliseren van AI-agents nadat ze in gebruik zijn genomen. Daarbij kijken we naar de verschillende onderdelen waarvan een agent afhankelijk is. Denk aan modellen, instructies, databronnen, connectoren en toegangsrechten. Een verandering in één onderdeel kan gevolgen hebben voor de rest van de werking.
Ook gebruik speelt mee. Waar lopen medewerkers tegenaan? Welke fouten komen terug? Ontstaan er nieuwe vragen waarvoor de agent oorspronkelijk niet is ingericht? En zijn aanpassingen nodig om de agent goed te laten aansluiten op de praktijk? Welke vorm van monitoring, support en beheer passend is, hangt af van de agent, de omgeving en de rol die deze binnen de organisatie heeft.
Waar staat jouw organisatie nu?
Breng je basis op orde.
Krijg inzicht in processen, systemen en afhankelijkheden.
Cornel van Westen
Directeur
Hoe werkt de aanpak?
Goed agentbeheer begint met weten waarvan de werking afhankelijk is. We brengen daarom relevante onderdelen van de agentomgeving in beeld. Welke modellen worden gebruikt? Welke databronnen en systemen zijn gekoppeld? Welke instructies bepalen het gedrag? Welke rechten zijn nodig? En welke onderdelen kunnen in de loop van de tijd veranderen?
Vervolgens kijken we naar wat belangrijk is om tijdens het gebruik te volgen. Dat kan gaan om technische fouten, beschikbaarheid of wijzigingen in koppelingen, maar ook om het gedrag en gebruik van de agent.
Een wijziging hoeft daarbij niet automatisch een probleem te zijn. Een nieuw model kan bijvoorbeeld nieuwe mogelijkheden bieden. Een proceswijziging kan juist aanleiding zijn om instructies aan te passen. Het belangrijkste is dat veranderingen niet ongemerkt invloed krijgen op een toepassing waarop medewerkers vertrouwen. Hoe beheer, monitoring en verdere optimalisatie precies worden ingericht, hangt af van de agent en de omgeving waarin deze actief is.
Voor management
Wanneer AI-agents onderdeel worden van het dagelijkse werk, verschuift de vraag van ‘werkt het?’ naar ‘blijft het goed werken?’ Voor management betekent dat aandacht voor betrouwbaarheid, risico, gebruik en kosten gedurende de hele periode waarin een agent actief is.
Hoe belangrijk dat is, hangt sterk af van wat een agent doet. Een interne agent die helpt bij het zoeken naar informatie heeft een ander risicoprofiel dan een toepassing die gegevens verwerkt of onderdeel is van een belangrijk bedrijfsproces. Door ook na livegang naar prestaties en gebruik te kijken, kun je beter beoordelen of een agent nog aansluit op het oorspronkelijke doel en waar verdere investering of bijsturing nodig is.
Voor IT
Voor IT begint na livegang een nieuwe fase. De agent is niet langer alleen een project, maar een onderdeel van de operationele omgeving. Daarbij zijn verschillende afhankelijkheden relevant. Modellen kunnen veranderen, API's en connectoren kunnen worden aangepast, databronnen kunnen een andere structuur krijgen en wijzigingen in identity of toegangsrechten kunnen invloed hebben op beschikbare informatie.
Ook logging, monitoring en foutafhandeling kunnen belangrijk worden om problemen te onderzoeken. Als een agent onverwacht reageert, wil je kunnen achterhalen of het probleem bijvoorbeeld in de instructie, het model, de data, een koppeling of de rechten zit. Daarnaast verdient wijzigingsbeheer aandacht. Een aanpassing aan een prompt of model kan klein lijken, maar toch invloed hebben op het gedrag van de agent. Welke controles en beheermaatregelen nodig zijn, hangt af van de toepassing en het risico dat ermee samenhangt.
Waarom Hupra?
Bij traditionele software is vaak redelijk duidelijk wat er gebeurt als je dezelfde invoer opnieuw gebruikt. Bij AI-agents ligt dat genuanceerder. Het gedrag kan mede afhangen van modellen, instructies, context, beschikbare data en gekoppelde systemen. Daarom kijkt Hupra niet alleen naar de agent zelf.
We nemen ook de IT-omgeving mee waarin de agent functioneert. Van identity en toegangsrechten tot databronnen, connectoren, security en beheer. Tegelijk houden we oog voor de mensen die de agent gebruiken en het proces waarin deze een rol heeft. Die combinatie is belangrijk om niet alleen een werkende agent op te leveren, maar ook na livegang grip te houden op hoe de toepassing zich gedraagt.
Als het vraagstuk breder wordt
Operationeel beheer kan onderwerpen zichtbaar maken die buiten de agent zelf liggen. Terugkerende fouten kunnen bijvoorbeeld wijzen op problemen met een databron of integratie. Veranderingen in rechten kunnen aanleiding zijn om breder naar identity en security te kijken. En wanneer steeds meer agents worden ingezet, kunnen afspraken over governance, verantwoordelijkheden en lifecycle belangrijker worden.
Ook kosten kunnen meer aandacht vragen wanneer het gebruik groeit of verschillende modellen en AI-diensten naast elkaar worden ingezet. Hupra ICT helpt om die afhankelijkheden in samenhang te bekijken. Wanneer het vraagstuk aanvullende expertise vraagt, kunnen we vanuit TechOne Group kennis betrekken die bij de situatie past.
9/10
Van Veldhuizen Logistiek
"Als Hupra niet flexibel zou zijn, zou het geen goede partner voor ons zijn."
Hupra in beeld
Eerst je IT op orde, dan pas AI
Hoe houd je grip op security en compliance?
Hoe richt je AI-governance goed in?
Hoe bestuur je AI binnen een organisatie?
Veelgestelde vragen
Wat wil je weten over de agent operations?
Voor wie is agent operations relevant?
Agent operations is relevant voor organisaties die AI-agents in gebruik hebben of een agent vanuit een pilot naar dagelijks gebruik willen brengen.
Hoe belangrijk structureel beheer is, hangt onder andere af van wat de agent doet, hoeveel mensen erop vertrouwen, met welke systemen en data de agent werkt en wat de gevolgen van fouten kunnen zijn.
Waarom heeft een AI-agent beheer nodig na livegang?
Een agent is afhankelijk van meer dan alleen de oorspronkelijke configuratie. Modellen, data, instructies, connectoren, processen en toegangsrechten kunnen veranderen.
Daardoor kan ook de werking van een agent veranderen. Beheer helpt om zicht te houden op die afhankelijkheden en tijdig te bepalen wanneer aanpassing nodig is.
Wat kan er bij een AI-agent worden gemonitord?
Dat hangt af van de toepassing en technische omgeving. Denk bijvoorbeeld aan gebruik, technische fouten, beschikbaarheid van koppelingen en signalen dat een agent niet meer functioneert zoals verwacht. Welke monitoring mogelijk en zinvol is, moet per agent en omgeving worden bepaald.
Kunnen modellen of instructies na livegang worden aangepast?
Dat kan onderdeel zijn van verdere optimalisatie. Een nieuwe behoefte, terugkerend probleem of verandering in de technische omgeving kan aanleiding geven om de inrichting opnieuw te bekijken.
Wijzigingen moeten wel zorgvuldig worden beoordeeld, omdat een aanpassing ook onverwachte gevolgen voor ander gedrag van de agent kan hebben.
Hoe past agent operations binnen onze bestaande IT-organisatie?
Dat hangt af van hoe verantwoordelijkheden rond AI, applicaties en IT-beheer al zijn ingericht. Onderwerpen zoals identity, rechten, security, logging, monitoring, connectoren en wijzigingsbeheer kunnen verschillende bestaande IT-processen raken. Daarom kijken we naar de agent als onderdeel van de bestaande omgeving en niet als een losstaand AI-product.