En mand står ved et bord med en tallerken, et par kopper og et æble. “Hvad ser du lige nu?” spørger han. Robotten foran ham regner et øjeblik og svarer så. Den ser et rødt æble, en tørrebakke med kopper, og manden selv stående med en hånd på bordet. Han beder den om noget at spise. Robotten rækker ham æblet.

Det er kernen i den video, Figure offentliggjorde i dag, og som selskabets grundlægger Brett Adcock delte på X. Den amerikanske robotvirksomhed, der trådte frem fra stealth for et år siden med de første billeder af Figure 01, viser nu robotten føre en flydende samtale i realtid og handle på det, den bliver bedt om. Talen og ræsonnementet kommer fra en multimodal model trænet af OpenAI. De to selskaber indgik et samarbejde tidligere på året, og det her er den første demonstration af, hvad det skal munde ud i.

Hvad videoen viser

Det er Figures egen ingeniør, Corey Lynch, der taler med robotten. Ud over æble-scenen beder han Figure 01 om at rydde op. Robotten samler affald op og lægger det i en kurv, og stiller opvasken på plads i tørrebakken. Undervejs svarer den på spørgsmål, mens den arbejder.

Samtalen er det mest påfaldende. Robotten beskriver ikke bare, hvad den ser. Den begrunder også sine valg. Da Lynch bagefter spørger, hvorfor den gav ham netop æblet, forklarer den, at det var det eneste spiselige på bordet. Lynch opsummerer det selv sådan, at robotten kan “beskrive sin visuelle oplevelse, planlægge fremtidige handlinger, reflektere over sin hukommelse og forklare sit ræsonnement verbalt”.

Sådan hænger det sammen teknisk

Opdelingen er værd at forstå, for den siger noget om, hvem der gør hvad. Kameraerne på robotten og en mikrofon fanger omgivelserne og det, mennesket siger. Billeder og transskriberet tale sendes ind i den store multimodale OpenAI-model, som står for det høje niveau: at forstå situationen, føre samtalen og lægge en plan. Modellen tager ifølge Figure hele samtalens historik med, inklusive tidligere billeder, før den svarer. Svaret læses op via tale-syntese.

Selve bevægelserne, det lave niveau, kører på Figures egne neurale net. Selskabet oplyser, at robottens syn behandles med 10 billeder i sekundet, og at de hurtige, fingerfærdige handlinger styres af net, der er trænet til netop det. Tanken er, at OpenAI-modellen er hjernen, der tænker og taler, mens Figures egen software er hænderne og benene, der udfører.

Hvad er Figures, og hvad er bevist

Her er attributionen vigtig. At robotten kører helt på egen hånd, er Figures egen oplysning. Corey Lynch skriver, at adfærden er “indlært, kørt i normal hastighed og ikke fjernstyret”. Med andre ord er videoen ikke speedet op, og der sidder ikke et menneske i et VR-headset og styrer robotten. Det er en central påstand, fordi humanoid-branchens demoer ofte netop er iscenesatte eller teleopererede, og fordi det er svært at se forskellen på en optagelse.

Lige så vigtigt er det, hvad demonstrationen ikke fortæller noget om. Demonstrationen er ét optaget forløb i et kontrolleret køkken. Den viser ikke en robot, der tager en vagt på et lager. Adcock formulerer ambitionen stort. Han siger, at målet er at “træne en verdensmodel til at styre humanoide robotter på milliard-enheds-niveau”. Det beskriver den retning, selskabet peger i, mere end noget, det har leveret.

Tilbage står et æble, der skiftede hånd, fordi nogen bad om noget at spise, og en maskine, der kunne forklare hvorfor. Det er en lille scene i et kontrolleret køkken, men det er længere, end nogen humanoid offentligt er nået med at forstå en talt besked og handle på den.