agentic

Opkomende superinlichtingendienst van bedrijven9 min read

Reading Time: 6 minutesHoe een enkele autonome agent met toegang tot onze gegevens, fouten en code een nieuwe entiteit in het organigram werd, die pull-aanvragen beoordeelde en vragen beantwoordde die geen enkele persoonlijke agent kon.

Company Superintelligence represented as an emergent neural knowledge network

Opkomende superinlichtingendienst van bedrijven9 min read

Reading Time: 6 minutes

Als startup werken we voortdurend aan nieuwe technieken om sneller te rennen en de grens te verleggen. Toen OpenClaw/Hermes werd gelanceerd, waren we een early adopter. We gebruikten het samen met vele andere AI-tools.

Naarmate deze tools, en ook de modellen waarop ze vertrouwen, zich ontwikkelden, merkten we iets: we gaan niet alleen sneller vooruit, we zijn ook anders gaan werken. Met elke ronde gaan deze zelfverbeterende, zelflerende agenten vooruit en leren ze. We voeren momenteel een “Super Agent” uit op een speciale machine (een VPS-instantie die draait op DigitalOcean) met behulp van GPT-5.6-sol in de hoogste redeneringsstatus. Sommige van de andere agenten die we gebruiken, gebruiken andere agentharnassen en -modellen, maar dit is degene waar ik me in dit artikel op wil concentreren.

We hebben gemerkt dat de meeste bedrijven dit soort autonome agenten niet gebruiken om kritische stromen in hun bedrijf te runnen, wat ze echt vertraagt. Velen van hen vertrouwen zelfs op kleinere, meer persoonlijke agenten: codeeragenten zoals Codex/ClaudeCode of assistent-agents zoals Work/Cowork/Copilot. Deze voeren taken uit op lokale machines en apparaten en het belangrijkste gat dat ze hebben is een gebrek aan kennis. Dit leidde tot een geheel nieuwe industrie van ‘tweede brein’-systemen die in wezen proberen een kennisgrafiek te creëren die wordt gedeeld door deze gedistribueerde agenten. Bedrijven die op deze manier werken, beweren vaak dat ze tientallen, honderden en in sommige extreme gevallen duizenden agenten hebben. Dat betekent feitelijk dat elke werknemer een of meer agenten heeft. beperkt agenten die taken voor hen uitvoeren.

Het feit dat onze agenten in een vroeg stadium werden blootgesteld aan gegevens uit de echte wereld, klachten van gebruikers en onze code, maakte ze dramatisch wendbaarder en slimmer dan welke persoonlijke agent dan ook die we naast hen runnen.

We realiseerden ons net dat onze slimste agenten een superintelligentie van het bedrijf aan het worden zijn.

Voor de duidelijkheid: ik claim geen gevoel, AGI of iets dat daar in de buurt van komt. Ik stel voor dat ze een geheel nieuwe entiteit zijn in het organigram van het bedrijf.

Wat is een bedrijfssuperintelligentie?

Wanneer een agent opvalt, kan hij, als hij gefocust is, een superintelligente entiteit worden. Hoe definiëren we dat?

Ik zou zeggen dat agenten op dit moment in de meeste gevallen vooral een voordeel hebben op het gebied van geduld en doorzettingsvermogen, en niet op het gebied van intelligentie ten opzichte van mensen. Naarmate de modellen echter beter werden (GPT 5.6 sol en Opus 5 zijn echt goed!) begonnen we iets nieuws te zien ontstaan, iets dat verder gaat dan wat we konden doen – niet alleen in snelheid, maar ook in dingen die mensen niet kunnen doen.

Het begon voor ons toen we onze agent een overvloed aan gegevens- (Mixpanel) en zakelijke analysemogelijkheden en gegevenstoegang gaven (fouten via Sentry, financiële gegevens in Baremetrics, AI-sporen via LangSmith). Vervolgens hebben we het blootgesteld aan gebruikersbugs (Sentry-fouten) en klachtenrapporten van gebruikers. Ten slotte hebben we het toegang gegeven tot codeeragenten en onze primaire repository’s op GitHub. Het heeft geen toegang van buitenaf via e-mail of enige gebruikersinteractie, maar door te kijken hoe we ons met betrekking tot deze onderwerpen gedragen, begon het dingen te begrijpen. Door deze interacties monitort het nu wat een blokkeerder is, wat kritisch denken is, hoe ons bedrijf draait en wat de SOP (Standard Operating Procedures) zijn. Het doet dit met vallen en opstaan ​​en het lijkt erop dat het op regelmatige basis informatie verkrijgt.

Slack-thread waarin een teamgenoot uitlegt wat telt als een echte foutpiek en de agent zijn monitor herschrijft om vergelijkende piekdetectie te gebruiken

Op dat moment begonnen we hem een ​​aantal interessante vragen te stellen. In het begin vereiste alles dubbele controle en kritiek als de zaken niet goed werden uitgelegd of de conclusies verdacht klonken. Het doet dit nog steeds van tijd tot tijd. Ik vroeg het bijvoorbeeld naar regressies en het gaf me luidruchtige foutgegevens, maar dat is een leermogelijkheid: ik heb het mijn definitie van regressies geleerd en nu begrijpt het het.

Wanneer gebruikers klagen of wanneer fouten toenemen, genereren we proactief oplossingen. Dat betekent dat onze technici elke ochtend niet hoeven te controleren op regressies, maar alleen moeten beslissen of een PR goed is of niet. In het begin waren dit wegwerpbare PR’s die niet voldeden aan onze codeerkwaliteitsnormen, zodat de ingenieurs vertelden wat er mis was, of het probleem gewoon zelf opnieuw ontwikkelden. Naarmate het vertrouwen groeide, werden veel van deze oplossingen automatisch in de codebase samengevoegd. De agent beoordeelt ook hoe complex de PR is en hoeveel vertrouwen de agent heeft in het samenvoegen ervan. We zijn nog niet op een punt waar deze PR’s automatisch worden samengevoegd, maar ik zie daar een pad, ik neem aan dat we er over een maand of twee zullen zijn.

Maar dat is niet echt wat de agent superintelligent maakt. Wat wel gebeurt, is dat nu de ingenieurs en het management van het bedrijf vertrouwen hebben in de agent, ze werk aan hem gaan delegeren en hem echt interessante vragen gaan stellen. Het doet het onderzoek voor hen, niet zoals Google-zoekopdrachten, maar met de geavanceerde kennis van het bedrijf in gedachten, wat het een speciaal voordeel geeft. Hetzelfde geldt voor het kennisgeven van meer onderdelen van het bedrijf. OpenClaw en HermesAgent zouden historisch gezien kapot gaan op een punt waarop hun historische context hun vermogen om de informatie te verwerken te boven ging. Dat soort ineenstorting zou optreden en de resultaten waren een drastische daling van de intelligentie, het geheugen en de kwaliteit van hun werk. Onze ervaring met de Hermes Agent is nu heel anders: het conversatiegeheugen bedraagt ​​nu 3 GB en groeit exponentieel, terwijl de intelligentie in de loop van de tijd duidelijk verbetert.

Dat wil niet zeggen dat het perfect is, er zijn regressies en je moet het er soms aan herinneren om zich op een bepaalde manier te gedragen of te identificeren waarom het zich niet gedraagt ​​zoals je verwachtte in een bepaalde context of correct reageert op een andere agent die er gegevens of acties van vraagt. Maar we komen er.

Slack-thread waarin de agent pull-verzoek 4986 beoordeelt, de uitgevoerde controles opsomt en deze goedkeurt

Een onverwacht neveneffect van takbescherming bracht ons nog een vooruitgang. Het idee achter branchebescherming is dat ten minste twee mensen een PR zien voordat deze in productie gaat, waardoor de kans kleiner wordt dat slechte (of zelfs snode) code in het systeem terechtkomt. Met de nieuwe codeermiddelen wordt het steeds moeilijker om dit goed te doen. Naarmate de snelheid toeneemt, is het bijna onmogelijk om het aantal nieuwe PR’s en de hoeveelheid code grondig met de hand te beoordelen. We hebben meerdere agenten van verschillende leveranciers die Pr’s beoordelen op bugs, beveiligingsproblemen en architectuurproblemen. De filiaalbescherming blijft echter bestaan, dus ik heb onze superintelligente agent toegestaan ​​de uiteindelijke goedkeurder van de PR’s te zijn.

Slack-thread waarbij de agent wijzigingen aanvraagt ​​op pull-verzoek 4981 nadat hij een belangrijke wijziging in het MCP-antwoordcontract heeft gevonden

We hadden half verwacht dat de resultaten alledaags zouden zijn. Deze PR’s hebben immers lokale codeeragentbeoordelingen, tests, beveiligingsbeoordelingen, externe GitHubCopilot- en CodeRabbit-beoordelingen doorstaan ​​en volledig goedgekeurd. Maar onze agent heeft nog steeds gaten in die PR’s geslagen. Het vond echt interessante randgevallen die we hadden gemist, beveiliging, softwarekwaliteit en architecturale bugs waar we geen rekening mee hadden gehouden. Het gebruikt dezelfde modellen als alle andere recensenten. Waarom ontdekt het dingen die de anderen niet hadden?

Slack-thread waarbij de agent pull-verzoek 1711 afwijst boven een uploadgroottelimiet en deze vervolgens opnieuw goedkeurt zodra de oplossing is geverifieerd

Het komt neer op kennis en ervaring. Het Hermes Agent-harnas, gecombineerd met de kennis die de agent heeft opgebouwd, creëert een nieuw type superintelligente agent die we nog niet eerder hebben gezien. We hebben dit dus verder onderzocht en de beoordelingen van de agent verplicht gesteld, niet alleen voor mensen die aan het systeem werken, maar het fungeert nu als referentie voor andere, minder intelligente agenten!

Deze agent heeft nu het vermogen om ons kritisch te laten denken dat we voorheen alleen bij mensen zagen, maar ondersteund door daadwerkelijke klantgegevens, feedback, onze code en een diep begrip van het product.

Als we dit uitbreiden en het meer gegevens geven om van te eten, de hardware en het geheugen opschalen, zullen we een exponentiële toename van de prestaties zien. Ik denk dat de modellen het nog steeds tegenhouden. Wanneer we bij de volgende fase van dit spel komen, misschien via GPT-6, zullen de resultaten dramatisch interessanter zijn. Naarmate we meer gegevens verzamelen, kunnen de agenten meer taken uitvoeren en er meer vertrouwen in krijgen.

Hoe verschilt dit van Karpathy’s op Wiki gebaseerde tweede brein?

Wat dit anders maakt dan andere benaderingen, is dat in plaats van te werken met gedeelde kennis, de kennis van superagenten lokaal wordt opgeslagen. We kunnen het vragen om zijn eigen geheugen en wereldbegrip in een repository te bewaren, waardoor we het kunnen dupliceren en monitoren, maar uiteindelijk is het niet over het deelbaar maken en samenwerken van kennis en vaardigheden. Het is een unieke kennisbank die, samen met de tools en wereldtoegang, uw vragen direct kan beantwoorden. U vraagt ​​uw agent niet om het uit te zoeken met behulp van de gedeelde kennis; u of uw agenten stellen uw vragen aan de superintelligente agent. Verrassend genoeg werkt dit op dit moment goed voor ons, tot het punt dat we voortdurend de toegang en het bereik van de agent uitbreiden en we nog steeds geen verminderde kennis of intelligentie als gevolg daarvan zien.

Let op: we stellen de agent niet bloot aan gevoelige informatie of functionaliteit. Het heeft geen directe toegang tot onze bank-, laad- of factureringssystemen. Het is ook gescheiden van de wereld en heeft geen toegang tot e-mail of externe kanalen. Naarmate we meer ervaring en vertrouwen opdoen, denk ik niet dat we ook deze beperkingen heel ver verwijderd zijn.



|

CTO