+8618675556018

NVIDIA lanserer nye og oppdaterte verktøy for fysiske AI-utviklere

Jun 18, 2026

På GTC Taipei og Computex i dag avslørte NVIDIA Corp. flere åpen{1}}fysiske AI-ferdigheter og verktøy for å hjelpe utviklere av robotikk, autonome kjøretøy, visuell AI og industrielle digitale tvillinger. Selskapet hevdet at de kan bidra til å redusere kostnadene, tiden og kompleksiteten ved å bygge fysiske AI-arbeidsflyter i stor skala.

Tilgjengelig som en del avNVIDIA Agent Toolkit, vil de nye ferdighetene la AI-agenter øke hastigheten på datagenerering, simulering, opplæring, evaluering og distribusjon av rørledninger bak roboter, autonome kjøretøy (AV), fabrikker og laboratorier, sa selskapet.

"AI-agenter revolusjonerer programvareutvikling, og det skiftet kommer nå til fysisk AI, og strekker seg inn i systemene som vil transformere transport, produksjon, helsevesen og robotikk," sa Jensen Huang, grunnlegger og administrerende direktør for NVIDIA, ved GTC Taipei. "Når agenter kan bruke NVIDIA-biblioteker, -modeller og -rammeverk direkte, vil fysisk AI-utvikling gå raskere, noe som gjør det mulig for utviklere å bygge fremtidens roboter, autonome kjøretøy og industrielle systemer i et utrolig tempo."

"Fysisk AI krever enorme mengder treningsdata i forskjellige miljøer," bemerket Rev Lebaredian, visepresident for fysisk AI-simulering hos NVIDIA. "Teleoperasjon, simulering og internett-skaladata fører til verdensbasismodeller for et uendelig mangfold av bruksområder."

NVIDIA gjør fysisk AI-stabelagent-klar

NVIDIA sa at den optimaliserer hele den fysiske AI-stabelen for agenter ved å gjøre biblioteker, modeller og rammeverk om til agent-kallbare verktøy. Dette inkluderer:

NVIDIA Cosmos3 verdensgrunnlagsmodeller for fysisk verdensresonnement og generering

NVIDIA Omniversebiblioteker for simulering og digitale tvillinger

NVIDIA Isaacfor robotsimulering og robotlæring

NVIDIA Metropolisfor vision AI

NVIDIA Alpamayotilautonom kjøring

NVIDIA Jetsonplattform for edge AI-utvikling

"Cosmos 3 er frontier-grunnmodellen for fysisk AI," sa Lebaredian. "Den forstår videoer og tekst og kan flagge det som betyr noe. Cosmos er en fysisk nøyaktig simulering og er i stand til å forutsi hva som skjer videre og generere handlinger."

For å hjelpe med å bruke disse verktøyene lanseres NVIDIAnye ferdigheterå gjøre fysiske AI-utviklingsprosesser til repeterbare instruksjoner som kodeagenter kan følge. Dette inkluderer hvilke verktøy som skal kalles, hvilke utdata som skal produseres, og hvordan utviklere kan validere resultater.

Utviklere kan også trygt bygge og distribuere autonome agenter ved å bruke disse ferdighetene medNVIDIA NemoClawblåkopi ogNVIDIA OpenShellruntime, som gir policybasert-sikkerhets- og personvernstyring på lokal maskinvare eller skymaskinvare. Agentene vil kjøre på kanten i Jetson og har allerede vist forbedringer i oppetid, sa Lebaredian.

NVIDIA sa at deres fysiske AI-ferdigheter og verktøy akselererer agentutvikling på tvers av:

Robotikk og edge AI:Robotutviklere kan bruke ferdigheter til å akselerere hele robotikkutviklingspipelinen, fra generering av persepsjons- og mobilitetstreningsdata til simulering, automatisering av navigasjonstrening, fremme robotlæring og tuning av Jetson-baserte edge-systemer for distribusjon.

Autonome kjøretøy:For AV-utviklere kan ferdigheter lede agenter til å rekonstruere data fanget av flåter til simuleringsmiljøer, generere fotorealistiske kjørescenarier i stor skala og kjøre forsterkende læring i lukket krets for å utvide opplærings- og evalueringsdekningen.

Realtidsagenter for-vision AI:For automatisert inspeksjon og videointelligens sa NVIDIA at agentferdighetene deres kan hjelpe team med å generere syntetiske treningsdata, finjustere modeller, automatisere merking og bygge AI-videoagenter som søker, oppsummerer og analyserer direkte eller innspilt video.

Industriell AI:Industrielle programvareutviklere kan bruke disse ferdighetene til å konvertere tekniske data til-datastøttet design (CAD)-elementer for digital tvillingsimulering, og optimalisere store OpenUSD-scener med mindre manuell oppsett.

Helsetjenester:Før de implementerer automatisering i kliniske miljøer, kan helseteam veilede agenter gjennom å lage digitale tvillinger av sykehusmiljøer, sim-til-reell datagenerering og programvare-i-den-sløyfepolicytesting.

Ferdighetene kan kombineres og integreres i større agentsystemer, ifølge NVIDIA. Dette gjør det mulig for utviklere å orkestrere og automatisere komplekse arbeidsflyter som datagenerering, simulering, optimalisering, inferensjustering, kontinuerlig evaluering og mer.

Robotikkutviklere plukker opp fysisk AI-stabel

1X Technologies, Agile Robots, Agility, FieldAI, Hexagon Robotics, NEURA Robotics, Skild AI og Universal Robots er blant robotselskapene som allerede bruker NVIDIAs agent-klare fysiske AI-stabel.

"Med stabeloppdateringer i NVIDIA Isaac GR00T kan nye end-to-arbeidsflyter settes opp i timer kontra uker," sa Lebaredian. "'Omni-modal' betyr at den fungerer med forskjellige moduser - video, sensorer, tekst og lyd for handlingsinnganger og -utganger."

I tillegg bruker Foxconn og Compal NVIDIA Isaac for Healthcare for å akselerere sykehusrobotikk. Compal fremmer utviklingsprosessen av PolyMedX-roboten sin mot en-omfattende orkestreringsplattform for sykehus, som integrerer simulering, AI og virkelige-operasjoner.

Foxconn skalerer Nurabot på tvers av flere sykehus og langtidspleiemiljøer, bringer AI-drevet robotikk til pasientbehandling, i tillegg til å introdusere sin nye Scrub Nurse Collaborative Robot for å optimalisere arbeidsflyten på operasjonsstuene.

Bransjeledere bygger med NVIDIA-teknologier

NVIDIA-partnere og kunder på tvers av produksjon, transport, helsetjenester og industriell programvare bruker sine fysiske AI-biblioteker for å fremme utviklingen av autonome systemer og industriell AI.

Ettersom disse bibliotekene blir agentklare-, kan utviklere bruke NVIDIA-ferdigheter for å hjelpe agenter med å automatisere oppsett, utførelse og iterasjon på tvers av komplekse fysiske AI-arbeidsflyter.

Innen elektronikkproduksjon er TSMC og Pegatron finjusterende visuelle inspeksjonsmodeller-. Pegatron skal ha redusert modelltrening og utplasseringstid med 67 % ved å bruke syntetiske data generert fra ferdighetene Defect Image Generation.

Delta Electronics genererte syntetiske defektdata og brukte ferdighetene til å fange opp overflødig lodding på metallskinner, og forbedret deteksjonsraten med 17 %. Inventec utviklet sin visuelle inspeksjonspipeline for Observation Agent ved å integrere ferdighetene Defect Image Generation, noe som reduserer innsatsen for innsamling av defektdata for produksjon av bærbare chassis med 30 %.

Foxconn, i samarbeid med DeepHow, brukte ferdighetene til å forbedre produksjonseffektiviteten ved å fange opp feil tidlig, og øke førstegangsutbyttet med omtrent 3 %.

I industriell AI bruker Cadence, Dassault Systèmes, Siemens og Synopsys NVIDIA Omniverse-biblioteker og ferdigheter for teknisk datainspeksjon, simulering og interaktive digitale tvillinger. PTC, MetAI og Lightwheel benytter NVIDIA Isaac Sim-rammeverket og OpenUSD-baserte arbeidsflyter for å transformere CAD-data til simuleringsklare-ressurser og miljøer.

Som en del av "Autonomous Fab 2030"-veikartet, implementerer SK hynix halvledere fab digitale tvillinger ved hjelp av NVIDIA Omniverse. Brikkeprodusenten samarbeider også med NVIDIA og SK Telecom for å validere NVIDIA Agent Toolkit for produksjon av -spesifikk fysisk AI.

Selvkjørende-utviklere Li Auto, Afari og DeepRoute.ai bruker NVIDIA Omniverse NuRec-modeller for rekonstruksjon og gjengivelse av nevrale scener. De har generert mer enn 1 000 rekonstruksjoner og mer enn 300 000 gjengivelser og simuleringer per dag.

I tillegg bruker AV-selskapene det nye agentkompetanselageret for å akselerere og forbedre utviklingen av sikrere, mer kapable autonome kjøresystemer. Foxconn, VinFast, Uber og HUMAIN har sluttet seg til NVIDIA DRIVE Hyperion-økosystemet for å utvikle og distribuere SAE Level 4 robotakse.

Alpamayo 2 Super har allerede blitt lastet ned over 500 000 ganger og ble kåret til «Beste teknologi» hos Computex, sa Spencer Huang, direktør for produkt for robotikk hos NVIDIA.

Verktøy for fysisk AI-agent er nå tilgjengelig

NVIDIA sa at deres fysiske AI-agentverktøy og ferdigheter er tilgjengelige gjennomGitHubogferdigheter.shfor bruk med et hvilket som helst kodemiddel.

Agentferdigheter og verktøy for generering av syntetiske data -Nevral rekonstruksjon, Videoforsterkning, Defekt bildegenerering- er også tilgjengelig på NVIDIA Brev asFysiske AI lanserbare, forhåndskonfigurerte miljøer som samler agentferdigheter og verktøy for raskere generering og evaluering av syntetiske data.

Microsoft,CoreWeave, ogNebiusintegrerer disse agentferdighetene og verktøyene med sine skytjenester for å gjøre det mulig for utviklere å strømlinjeforme og skalere generering og distribusjon av syntetiske data.

Unitree humanoid referansen for NVIDIA Isaac GR00T

NVIDIA kunngjorde også NVIDIA Isaac GR00T Reference Humanoid Robot, en åpen humanoid robotreferansedesign bygget på NVIDIA Jetson Thor og NVIDIA Isaac GR00T utviklingsplattform. Selskapet sa at dette vil bidra til å demokratisere tilgang til avansert maskinvare og programvare uten å kreve dyre, proprietære plattformer som interesse forgenerelle-humanoiderøker.

NVIDIA kombinerte en robotkropp i full-størrelse med behendig manipulering, sansing, kontroll og integrert AI-beregning:

Unitree H2 humanoid chassis,som står nesten 1,8 m høy og veier 68 kg, med 31 frihetsgrader for testing på menneskelig-skala.

DobbeltSharpa bølgetaktile fem-fingerhender,muliggjør fingernem manipulasjon med 22 frihetsgrader og bringer roboten til 75 frihetsgrader over hele kroppen og hendene.

Multi-visningssensor,inkludert et hodemontert-stereokamera med bredt synsfelt (140 grader horisontalt, 102 grader vertikalt), håndleddskameraer for manipulering på nært-område og en treghetsmåleenhet for bevegelsessporing.

Hele-kroppskontroll,med armmoment på opptil 120 Newton-meter, benmoment på opptil 360 Newton-meter, en nominell armnyttelast på 7 kg (15,4 lb.) og toppnyttelast på 15 kg (33 lb.), som låser opp mer dyktige løft og rekkevidde.

NVIDIA Jetson AGX Thor T5000 datamaskin ombord,med en NVIDIA Blackwell GPU med 2070 FP4 teraflops AI-ytelse, en 14-kjerne-arm-CPU, 128 GB enhetlig minne og et konfigurerbart 40- til 130-watts effektområde for sanntidssensorbehandling og robotinferens.

Tilkoblingvia Ethernet, Wi-Fi 6, Bluetooth 5.2, USB og en rekke mikrofoner og høyttalere for stemmeinteraksjon.

Batteri for lengre drift,med en kapasitet på 15 Ah, 0,972 kWh og omtrent tre timers levetid.

På-ekstern nødstoppfunksjon for raskt å koble fra roboten på en sikker måte.

Isaac GR00T-plattformen inkluderer:

NVIDIA Isaac Teleopfor å fange opp-robotdemonstrasjonsdata av høy kvalitet for opplæring og utvikling av retningslinjer.

NVIDIA Isaac GR00T åpne fundamentmodellerfor å støtte humanoid resonnement, læring og multitask-atferd.

NVIDIA Isaac Sim ogIsaac Labå simulere, trene, teste og evaluere robotpolicyer før implementering i den virkelige-verdenen.

Akselerert NVIDIA Isaac ROS mellomvareå flytte opplærte retningslinjer til roboter.

NVIDIA Jetson Thorå kjøre sann-tid, på-robotinferens og kontroll.

Systemet er designet for å være modulært, slik at robotikkteam kan bruke hele plattformen eller integrere utvalgte funksjoner i eksisterende utviklingsrørledninger, og hjelpe dem med å skalere humanoid utvikling uten å gjenoppbygge den samme infrastrukturen for hver robot eller oppgave.

Ledende forskningsinstitusjoner inkludert Ai2, ETH Zurich, Stanford Robotics Center og UC San Diegos Advanced Robotics and Controls Laboratory planlegger å bruke dette referansedesignet til å fremme forskning på humanoid robotikk.

«For å gjøre fremskritt mot roboter med generell-formål, trenger forskere plattformer som er både dyktige og bredt tilgjengelige,» sa Deepak Pathak, med-grunnlegger og administrerende direktør i Skild AI. "Et referansedesign lar flere forskere delta i frontlinje-humanoidforskning og gå raskere fra ideer til eksperimenter. Dette bidrar til å presse hele robotteknologiforskningens økosystem fremover."

Sende bookingforespørsel