
Společnost Runway AI představila Praxis-1, model světových akcí s otevřenými vahami, který převádí její předtrénování na videu do řízení robotů. Firma ho postavila na stejném rozsáhlém předtrénování na videozáznamech, z něhož vycházejí její obecné modely světa.
Technický ředitel Kamil Sindi vysvětlil, v čem je hlavní problém současné robotiky. „Většinu robotických politik brzdí robotická data, kterých je málo a jejichž sběr je drahý,“ řekl. Praxis-1 se podle něj učí převážně z videí natočených z pohledu třetí osoby, a proto už chápe, jak se předměty chovají a jak úkoly probíhají. Výkon navíc roste s množstvím videa, takže strop určuje objem dostupných záznamů, nikoli počet robotických ukázek.
Runway byl založen v roce 2018 a specializuje se na generativní AI. Nabízí například model Aleph 2.0 pro úpravy videa, Act-Two pro snímání pohybu nebo Gen-4.5 pro tvorbu videa z textu či obrázků. Pro robotiku má také obecný model světa GWM-1. Sídlí v Brooklynu a pobočky má v New Yorku, San Francisku, Seattlu, Londýně, Paříži, Tel Avivu a Tokiu.
Sázka na video místo drahých ukázek
Zatímco reálných robotických dat je málo, videí z běžného života lidé každý den natočí a nahrají víc, než by kterákoli laboratoř dokázala zachytit pomocí teleoperace. Runway tvrdí, že simulace robotických politik v jeho modelu světa předpovídá výsledky v reálném světě s korelací 0,95, což podle firmy obstojí ve srovnání s dražšími technikami založenými na 3D rekonstrukci. Firma rozšířila svou práci i na interaktivní modely videa v reálném čase, jako jsou Solaris a GWM Worlds 2, a Praxis-1 nyní tento přístup přenáší do robotiky jako obecný model použitelný pro jakýkoli typ robota a prostředí. Model se trénoval na úlohách od jednoduchého zvedání plechovek až po složitější práci s poddajnými předměty, například balení dárkových tašek.
Model už testují první partneři, mezi nimi Noble Machines, Standard Bots a Ultra, a to na vlastním hardwaru. Podle Sindiho se ukazuje, že jediný model se s mírným doladěním přizpůsobí velmi odlišným robotům, od dvouramenných systémů po humanoidy. Runway chce v nadcházejících měsících model zveřejnit, a to s otevřenými vahami. Sindi to zdůvodňuje tím, že americké vedení ve fyzické AI je podle něj klíčové pro návrat výroby a otevřené váhy dají vývojářům hardwaru flexibilitu a kontrolu. Před plným spuštěním chce firma přibrat další partnery a ověřit účinnost i bezpečnost v různých prostředích.
Zdroj: therobotreport.com
Zdroj: eTEC.NEWS


