Onderzoek naar modellen die leren, plannen en voorspellen.
In ons lab onderzoeken we hoe modellen representaties leren, voorspellen en plannen. We werken onder meer met world models, energy-based models en diffusion models. Wat bruikbaar blijkt, bouwen we in onze systemen; wat we leren, publiceren we.
Verwachte stappen tot het doel, per plek op de vloer.
dichtbijver
World models
Lopend
Kan een world model een route leren uit alleen camerabeelden en de eigen acties? In de courier-proef volgt de geleerde route energy de vrije vloer. Daarna willen we plannen in drukkere scenes.
Geleerde route energy, magazijnrobot. Hoogte: verwachte stappen tot het doel.
Wijs een punt aan voor de waarde
Geleerd uit alleen de punten: laag waar de gegevens liggen, hoog waar niets is.
laaghoog
Energy-based models
Verkennend
Welke energy geometry geeft een planner bruikbare gradients? Dit kleine model leert vier low-energy wells precies onder de data. We onderzoeken nu hoe zulke landscapes scherp blijven in hoge dimensies en onder distribution shift.
Energy in twee dimensies. Ontworpen: zelf uitgeschreven. Geleerd: een klein netwerk op de witte punten.
Diffusion models
Verkennend
Kan een diffusion model meerdere plausibele futures genereren zonder de planner te vertragen? We testen of sampling onzekerheid beter zichtbaar maakt dan één gemiddelde rollout, en welke approximaties nodig zijn voor real-time control.
Routes naar werk
Lopend
Met een partner werken we aan een model dat meerdere mogelijke routes naar werk doorrekent: welke stappen, opleidingen en banen iemand naar passend werk brengen. Het komt naast de gebruikelijke match tussen kandidaat en vacature.
Uitgelicht · Lab-notitie
Een drone met slingerende last besturen met JEPA
Kan een model dat alleen leert voorspellen een drone met slingerende last besturen? In simulatie: geen crash in 320 vluchten, tegen 29% voor een RL-policy.
Lab-notitie · Q4 2026
Een last aan een kabel slingert mee bij elke beweging, en trekt terug. We hingen er een emmer water aan: gemorst water maakt die slingering zichtbaar. Meestal los je dit op met een fysisch model of een RL-policy. Wij probeerden een world model dat alleen leert voorspellen, en een planner die daarop stuurt.
Figuur 1. Het idee. De encoder maakt een latent state, de predictor rolt mogelijke acties daarin uit, de decoder zet die terug naar positie en slingering, en de planner kiest.
Wat niet werkte
Eerst stuurden we op latent energy, de afstand tot het doel in de latent space. Buiten een smal dal is die bijna overal even hoog, dus een grote slingering kostte bijna niets extra. De drone crashte vaak. Toen we dezelfde voorspellingen decodeerden naar positie en slingering, ontstond een kom rond het doel. Met hetzelfde world model verdwenen de crashes.
Wijs een punt aan voor de waarde
Latent energy: een smal dal rond het doel, daarbuiten vrijwel overal dezelfde hoge waarde.
laaghoog
Figuur 2. Latent energy en de gedecodeerde cost rond hetzelfde doel. Sleep om te draaien. Figuur 3 toont die cost tijdens een vlucht.
Wat wel werkte
Geen van de 320 vluchten crashte, tegen 29% voor de RL-policy uit FLARE [1]. Er bleef 86% van het water in de emmer, tegen 22%. Obstakels zaten niet in de training; figuur 3 laat zien hoe de planner ze ontwijkt. Wind blijft lastiger. Een disturbance estimator haalt daar veel van terug, zonder het model opnieuw te trainen.
Tussen de zuilen door
lage costhoge cost
Figuur 3. Cost map tijdens een vlucht. Blauw is lage cost, rood een dreigende botsing. De lichte lijn is de gekozen route. De last hangt in dit beeld stil, en de film stopt bij de drop zone.
Volgende stappen
Dit is simulatie. Een gewone predictive baseline deed het met dezelfde planner even goed of iets beter: zolang het model de volledige state krijgt, voegt de latent space weinig toe. De volgende proef is planning vanuit camerabeelden, en daarna een echte drone. Daar zoeken we partners voor.
Bronnen
Cao et al. FLARE: Agile Flights for Quadrotor Cable-Suspended Payload System via Reinforcement Learning. IEEE Robotics and Automation Letters, 2026. arXiv:2508.09797 · github.com/BEI11HAI/Flare