AI traint zich wedstrijdklaar op digital twin

Met de groeiende complexiteit van hightech systemen wordt het steeds wenselijker dat ze zichzelf kunnen optimaliseren. Het Europese Asimov-project, mede geïnitieerd door Thermo Fisher Scientific, wil dit bereiken via de combinatie van digital twins en artificial intelligence. Met hulp van ESI (TNO) als een van de partners moet dat een generieke aanpak opleveren om AI volledig virtueel te trainen.

Artificial intelligence blijft de mens maar aftroeven in allerlei spelletjes. Dat begon al in 1996 toen IBM’s Deep Blue schaakkampioen Garry Kasparov versloeg. Een ander bekend voorbeeld is Alphago, ontwikkeld door Google Deepmind, waarvan zelfs de beste go-spelers het sinds 2017 niet meer kunnen winnen. Recent nog viel ook het kaartspel bridge ten prooi aan de opmars van kunstmatige intelligentie.

‘Wacht eens even’, dacht Remco Schoenmakers, directeur digital science technologies bij Thermo Fisher Scientific. ‘Dergelijke deep learning-algoritmes zouden best eens interessant kunnen zijn voor elektronenmicroscopen. Je kunt het uitlijnen van zo’n systeem immers ook zien als een spelletje. Je wint als je de microscoop vanuit een onbekende toestand het snelst en meest effectief naar de juiste configuratie brengt. Ik zag een analogie.’

Samen met zijn collega’s startte Schoenmakers een onderzoek of en hoe hij geavanceerde AI-technieken kon toepassen in de kalibratie van Thermo Fishers elektronenmicroscopen. ‘Die afregeling is voortdurend anders’, weet Schoenmakers. ‘We willen de bundel op de nanometer netjes houden. De uitlijning en kalibratie moeten voor onze klanten perfect in orde zijn om de juiste metrologieresultaten te geven bij onderzoek naar nieuwe energiezuinige transistoren in de halfgeleiderindustrie of om de structuur te bepalen van eiwitten en virussen bij de ontwikkeling van nieuwe medicijnen en vaccins. Er zijn allerhande invloeden waarmee je rekening moet houden. Denk aan temperatuurvariaties, drukveranderingen, slijtage – het kan echt van alles zijn. Sommige zaken zijn behoorlijk stabiel en dan gaat het maanden goed. Andere zaken moet je vrijwel dagelijks afregelen.’

Digital twinning

Thermo Fisher Scientific zocht eerst contact met ESI. Snel daarna sloten de TU Eindhoven en consultancybureau CQM aan. ‘Gezamenlijk hebben we gekeken waar de mogelijkheden en uitdagingen lagen’, vertelt Schoenmakers. ‘We realiseerden ons al vrij vlot dat we het AI-algoritme niet zouden kunnen trainen op een echte microscoop. Het aantal variaties dat nodig is om te begrijpen wat er gebeurt, is gewoon veel te groot. Dat zijn er misschien wel miljarden.’

Het idee rees om een digital twin van de elektronenmicroscoop te bouwen. Schoenmakers: ‘Laten we nou eens de relevante aspecten van het instrument modelleren. Door variaties op die modellen aan te brengen, kun je synthetische data creëren en daarmee je neurale netwerk trainen.’

Een virtuele kopie van een complex systeem als een elektronenmicroscoop is makkelijker gezegd dan gemaakt. ‘Voordat we een complete digital twin zouden hebben ontwikkeld, zouden we zo vijf jaar verder zijn’, lacht Schoenmakers. ‘Er zitten zo veel aspecten aan, van de besturing en fysica tot de systeemmodellering. Dat moet uiteindelijk allemaal in een digital twin worden gevangen om te kunnen garanderen dat die op dezelfde manier reageert als het echte systeem. We hebben daarom voor een incrementele aanpak gekozen.’

TUE-hoogleraar Maurice Heemels vult aan: ‘Enerzijds wil je je inspannen om de koppeling tussen de digital twin en het echte instrument zo strak mogelijk te krijgen. Anderzijds wil je je daarin niet verliezen omdat de lerende algoritmes ook met de verschillen moeten kunnen omgaan. Verwachten we dat de getrainde AI straks in één keer gaat werken op de microscoop? Of gaat het in stapjes en wordt het algoritme steeds beter? Kunnen we op basis van metingen aan het echte systeem onze digital twin bijstellen om zo een snellere leercurve te doorlopen? Dat soort vragen ligt nog open, zeker als je meer generiek naar het probleem kijkt. Voor de elektronenmicroscoop werkt de ene aanpak wellicht beter, maar voor andere use cases is het misschien verstandiger een andere route te bewandelen.’

Breed inzetbaar

De AI-ontdekkingsreis bij Thermo Fisher Scientific staat namelijk niet op zichzelf. Mede op initiatief van het Eindhovense bedrijf is een Europees project op poten gezet. Binnen ASIMOV (‘AI training using simulated instruments for machine optimization and verification’) draait het om de combinatie van digital twinning en artificial intelligence voor de optimalisatie van systeemprestaties. Vanuit Duitsland is een consortium aangehaakt dat de aanpak toepast op de aansturing van autonome voertuigen. In Finland werkt een cluster van bedrijven aan procesoptimalisatie voor de papier- en pulpindustrie.

Die generalisatieslag is cruciaal voor de andere drie partijen die bij de Nederlandse poot van Asimov zijn aangesloten. ‘Toen we instapten, hebben we onszelf gelijk de vraag gesteld hoe we deze benadering breder zouden kunnen toepassen’, zegt Jacco Wesselius, projectmanager bij ESI en projectleider van ASIMOV. ‘Met de Duitse en Finse cases bestrijken we al een breed spectrum, maar we hebben ook de Nederlandse hightechindustrie benaderd, ons idee uitgelegd en om input gevraagd. Niet iedereen hoeft gelijk mee te doen, maar het is onze rol om ervoor te zorgen dat het ecosysteem baat heeft bij deze ontwikkeling. Dus we ondersteunen niet alleen Thermo Fisher bij de bouw van de digital twin en de evaluatie van de technologie, maar we volgen ook de andere use cases nauwgezet en we bekijken de aanpak in een bredere context. Zo mappen we de wensen uit de industrie op dit project, zodat we beter inzicht krijgen in hoe we andere partijen en sectoren hiermee goed kunnen bedienen. Tegelijkertijd valideren we onze plannen en ideeën tegen een bredere achtergrond. Voor ons is dat een belangrijke doelstelling in het project.’

Ook CQM raakte in de ASIMOV-ideeën geïnteresseerd vanwege de relevantie en toepasbaarheid in andere applicaties. ‘We bouwen al veertig jaar digital twins, hoewel het niet altijd al zo heette’, vertelt Jan Willem Bikker, consultant bij het Eindhovense adviesbureau. ‘De logistieke wereld is een van onze belangrijkste sectoren. Om een praktisch voorbeeld te geven: in distributiecentra worden rolcontainers voor supermarkten gevuld, maar daar blijft aan de bovenkant vaak nog een beetje lucht over. Dat is natuurlijk niet efficiënt. Door slim te optimaliseren, kun je die loze ruimte minimaliseren. Omdat er dagelijks heel veel vrachtwagens met containers rondrijden, kun je zo veel kosten besparen. We zouden het heel gaaf vinden als we de combinatie van digital twins en artificial intelligence ook in de logistiek kunnen gaan toepassen.’

Getrainde AIM

Ook de TU Eindhoven heeft een meer generieke blik op de ontwikkeling. Binnen het ASIMOV-project wordt gebruikgemaakt van de AI-strategie reinforcement learning (zie kader). ‘Op zich is dat niet nieuw; die aanpak bestaat al heel lang’, weet Heemels. ‘Maar we passen het nu toe op een echt instrument waarbij je toch tegen heel andere zaken aanloopt qua complexiteit en waarbij de realtime-aspecten heel anders liggen. In de toepassing bij Thermo Fisher maar ook in de andere cases binnen ASIMOV komen er allerlei problemen aan het licht. Wij proberen methodologieën te ontwikkelen om daarmee om te gaan.’

De TUE-onderzoekers proberen daarbij nadrukkelijk de vertaling te zoeken naar andere apparaten en de generieke kennis te destilleren. ‘Ik merk in de interactie met Thermo Fisher dat de engineers hun systeem heel goed kennen en vaak precies weten wat ze moeten doen. Veel dingen gaan automatisch’, vertelt Heemels. ‘Onze rol is om het expliciet te maken. Wat is nou precies het proces dat je doorloopt om tot een succesvolle implementatie te komen? Welke stappen zet je? En waarom? Ik wil dat we die systematiek straks heel goed aan andere partijen kunnen uitleggen.’

Reinforcement learning

Bij reinforcement learning leert een zogenaamde softwareagent goede strategieën in interactie met een omgeving, meestal een simulatie. Het programma doet dit door een actie uit te voeren waarvoor het wordt beloond of gestraft. Als het wordt beloond, weet het dat het op de goede weg is en kan het daarop voortbouwen; als het wordt bestraft, moet het van koers veranderen. Door veel uit te proberen, leert de agent welke zetten in welke situaties slim zijn. Met behulp van een neuraal netwerk kan hij de strategie generaliseren naar omstandigheden die hij in de simulatie niet is tegengekomen.

Wesselius: ‘Ik geloof er absoluut in dat als je genoeg tijd hebt, dat je AI-algoritmes kunt trainen waarmee je een digital twin perfect kunt kalibreren. Maar wat als je dat nou op de echte machine doet? Hoe robuust is die oplossing eigenlijk? Hoe groot mag het verschil tussen de digital twin en de werkelijkheid zijn? De hypothese is dat AI getraind op een virtuele kopie ook effectief en efficiënt haar kunstje kan doen op een echt apparaat, zonder dat je nog allerlei trainingssessies moet inlassen.’

Demonstrator

ASIMOV ging medio 2021 van start en heeft een looptijd van drie jaar. ‘We zijn begonnen om alle use cases wat strakker te beschrijven, requirements op papier te zetten en deliverables vast te leggen’, vertelt Wesselius. ‘Waar ligt de overlap tussen de verschillende cases en wat zijn de applicatiespecifieke eigenschappen? Op hoofdlijnen kwam het natuurlijk overeen; anders waren de partijen niet ingestapt, maar het is goed om heel concreet te maken wat je met z’n allen in gedachten hebt. Uit die afstemming is een conceptuele architectuur gekomen. Dat is een supermooie basis om ook met andere partijen om tafel te gaan.’

De volgende stap is om alle details in te vullen. Schoenmakers: ‘We hebben al een eerste fysisch model van onze elektronenmicroscoop gemaakt waarmee we een bepaalde kalibratie kunnen bekijken. Die hebben we aangezet om heel veel trainingsdata te genereren. De vraag rijst dan: wat is goed en wat is fout? Als je eenmaal hebt achterhaalt welk plaatje beter of slechter is, ben je er nog niet. De wereld is namelijk niet zo simpel. Soms moet je twee keer de verkeerde kant uit om op het optimale punt terecht te komen. Dus hoe vaak mag je de verkeerde kant op? En hoe groot moeten de stappen überhaupt zijn? Dat zijn we nu aan het onderzoeken.

Wesselius weer: ‘In de case van Thermo Fisher zie je dat je heel gauw diep in de machine zit. Daardoor wordt het moeilijker om met het resultaat de boer op te gaan, omdat het te specialistisch wordt of omdat het vertrouwelijke kennis bevat. Bij ESI bouwen we daarom een demonstrator die in de verte wat van een elektronenmicroscoop weg heeft. Het is een algemenere setup waarop we een ander probleem hebben gedefinieerd, met knoppen waaraan je kunt draaien om een beeld beter of slechter te maken. Dat is een mooie publieke deliverable zonder specialistische kennis van Thermo Fisher. De demonstrator is voor ons een perfect platform om te experimenteren op een schaal die veel minder complex is dan een echte elektronenmicroscoop maar waarop we wel de combinatie van digital twinning en reinforcement learning in de vingers kunnen krijgen. We kunnen laten zien dat de technologie werkt, en waar nog hobbels liggen.’

Het ambitieuze einddoel van ASIMOV is om een systeem te hebben dat zichzelf kalibreert en nooit vastloopt. Schoenmakers twijfelt of dat binnen de tijdspanne van het project haalbaar is, maar ‘ASIMOV moet in elk geval de technologische richting geven en de randvoorwaarden definiëren waarbinnen we kunnen manoeuvreren. Aan de ene kant is het nog heel exploratief, aan de andere kant zie ik de eerste successen al ontstaan. Ik heb er alle vertrouwen in dat we het technologische fundament gaan leggen voor zichzelf optimaliserende hightech systemen.’

Dit artikel is tot stand gekomen in nauwe samenwerking met ESI (TNO).