Lab

Onderzoek naar modellen die leren, plannen en voorspellen.

In ons lab onderzoeken we hoe modellen representaties leren, voorspellen en plannen. We werken onder meer met world models, energy-based models en diffusion models. Wat bruikbaar blijkt, bouwen we in onze systemen; wat we leren, publiceren we.

Energielandschap van ons world model: een blauw dal rond het doel, omringd door rood.

Waar we aan werken

Vragen die ons nu bezighouden.

Wijs een punt aan voor de waarde

Verwachte stappen tot het doel, per plek op de vloer.

World models

Lopend

Kan een world model een route leren uit alleen camerabeelden en de eigen acties? In de courier-proef volgt de geleerde route energy de vrije vloer. Daarna willen we plannen in drukkere scenes.

Geleerde route energy, magazijnrobot. Hoogte: verwachte stappen tot het doel.

Wijs een punt aan voor de waarde

Geleerd uit alleen de punten: laag waar de gegevens liggen, hoog waar niets is.

Energy-based models

Verkennend

Welke energy geometry geeft een planner bruikbare gradients? Dit kleine model leert vier low-energy wells precies onder de data. We onderzoeken nu hoe zulke landscapes scherp blijven in hoge dimensies en onder distribution shift.

Energy in twee dimensies. Ontworpen: zelf uitgeschreven. Geleerd: een klein netwerk op de witte punten.

Diffusion models

Verkennend

Kan een diffusion model meerdere plausibele futures genereren zonder de planner te vertragen? We testen of sampling onzekerheid beter zichtbaar maakt dan één gemiddelde rollout, en welke approximaties nodig zijn voor real-time control.

Routes naar werk

Lopend

Met een partner werken we aan een model dat meerdere mogelijke routes naar werk doorrekent: welke stappen, opleidingen en banen iemand naar passend werk brengen. Het komt naast de gebruikelijke match tussen kandidaat en vacature.

Uitgelicht · Lab-notitie

Een drone met slingerende last besturen met JEPA

Kan een model dat alleen leert voorspellen een drone met slingerende last besturen? In simulatie: geen crash in 320 vluchten, tegen 29% voor een RL-policy.

Lab-notitie · Q4 2026

Een last aan een kabel slingert mee bij elke beweging, en trekt terug. We hingen er een emmer water aan: gemorst water maakt die slingering zichtbaar. Meestal los je dit op met een fysisch model of een RL-policy. Wij probeerden een world model dat alleen leert voorspellen, en een planner die daarop stuurt.

Eenvoudig schema van state via encoder, latent state en predictor naar decoder en planner, met de simulator in de lus.
Figuur 1. Het idee. De encoder maakt een latent state, de predictor rolt mogelijke acties daarin uit, de decoder zet die terug naar positie en slingering, en de planner kiest.

Wat niet werkte

Eerst stuurden we op latent energy, de afstand tot het doel in de latent space. Buiten een smal dal is die bijna overal even hoog, dus een grote slingering kostte bijna niets extra. De drone crashte vaak. Toen we dezelfde voorspellingen decodeerden naar positie en slingering, ontstond een kom rond het doel. Met hetzelfde world model verdwenen de crashes.

Wijs een punt aan voor de waarde

Latent energy: een smal dal rond het doel, daarbuiten vrijwel overal dezelfde hoge waarde.

Figuur 2. Latent energy en de gedecodeerde cost rond hetzelfde doel. Sleep om te draaien. Figuur 3 toont die cost tijdens een vlucht.

Wat wel werkte

Geen van de 320 vluchten crashte, tegen 29% voor de RL-policy uit FLARE [1]. Er bleef 86% van het water in de emmer, tegen 22%. Obstakels zaten niet in de training; figuur 3 laat zien hoe de planner ze ontwijkt. Wind blijft lastiger. Een disturbance estimator haalt daar veel van terug, zonder het model opnieuw te trainen.

Tussen de zuilen door

Figuur 3. Cost map tijdens een vlucht. Blauw is lage cost, rood een dreigende botsing. De lichte lijn is de gekozen route. De last hangt in dit beeld stil, en de film stopt bij de drop zone.

Volgende stappen

Dit is simulatie. Een gewone predictive baseline deed het met dezelfde planner even goed of iets beter: zolang het model de volledige state krijgt, voegt de latent space weinig toe. De volgende proef is planning vanuit camerabeelden, en daarna een echte drone. Daar zoeken we partners voor.

Bronnen

  1. Cao et al. FLARE: Agile Flights for Quadrotor Cable-Suspended Payload System via Reinforcement Learning. IEEE Robotics and Automation Letters, 2026. arXiv:2508.09797 · github.com/BEI11HAI/Flare
  2. Genesis Authors. Genesis: A Generative and Universal Physics Engine for Robotics and Beyond. 2024. github.com/Genesis-Embodied-AI/Genesis
  3. Assran, Duval, Misra, Bojanowski, Vincent, Rabbat, LeCun, Ballas. Self-Supervised Learning from Images with a Joint-Embedding Predictive Architecture. CVPR 2023. arXiv:2301.08243
  4. LeCun. A Path Towards Autonomous Machine Intelligence. 2022. openreview.net

Notities

Elk kwartaal een verslag uit het lab.

Q4 2026

Een drone met slingerende last besturen met JEPA

Kan een model dat alleen leert voorspellen een drone met een emmer water aan een kabel besturen? lees verder

Samenwerken

Werk mee aan deze vragen.

Hardware

Bouwt u drones, robots of sensoren? We staan open voor samenwerking.

Onderzoek

Werkt u aan een universiteit of onderzoeksinstituut? We doen graag samen onderzoek en publiceren de resultaten.

Meedoen

Onderzoekers en engineers die aan deze vragen willen werken, horen we graag.