For mennesker er det ganske enkelt å finne en tapt lommebok begravd under en haug med gjenstander -- vi fjerner ganske enkelt ting fra haugen til vi finner lommeboken. Men for en robot innebærer denne oppgaven komplekse resonnementer om haugen og gjenstandene i den, noe som byr på en stor utfordring.
MIT-forskere har tidligere demonstrert en robotarm som kombinerer visuell informasjon og radiofrekvenssignaler (RF) for å finne skjulte objekter som var merket med RFID-brikker (som reflekterer signaler sendt av en antenne). Med utgangspunkt i dette arbeidet har de nå utviklet et nytt system som effektivt kan hente ut alle gjenstander som er begravet i en haug. Så lenge noen elementer i bunken har RFID-merker, trenger ikke målelementet å merkes for at systemet skal gjenopprette det.
Algoritmene bak systemet, kjent som FuseBot, resonnerer om den sannsynlige plasseringen og orienteringen til objekter under haugen. Deretter finner FuseBot den mest effektive måten å fjerne hindrende objekter og trekke ut målelementet. Dette resonnementet gjorde det mulig for FuseBot å finne flere skjulte gjenstander enn et toppmoderne robotikksystem, på halvparten av tiden.
Denne hastigheten kan være spesielt nyttig i et e-handelslager. En robot som har i oppgave å behandle returer, kan finne gjenstander i en usortert haug mer effektivt med FuseBot-systemet, sier seniorforfatter Fadel Adib, førsteamanuensis ved Institutt for elektroteknikk og informatikk og direktør for Signalkinetikk-gruppen i Media Lab.
"Det denne artikkelen viser, for første gang, er at bare tilstedeværelsen av en RFID-merket gjenstand i miljøet gjør det mye lettere for deg å utføre andre oppgaver på en mer effektiv måte. Vi var i stand til å gjøre dette fordi vi la til multimodal resonnement til systemet -- FuseBot kan resonnere om både visjon og RF for å forstå en haug med gjenstander," legger Adib til.
Med Adib på papiret er forskningsassistenter Tara Boroushaki, som er hovedforfatter; Laura Dodds; og naziske Naeem. Forskningen vil bli presentert på Robotics: Science and Systems-konferansen.
Målrettingskoder
En fersk markedsrapport indikerer at mer enn 90 prosent av amerikanske forhandlere nå bruker RFID-brikker, men teknologien er ikke universell, noe som fører til situasjoner der bare noen objekter i hauger er merket.
Denne problemstillingen inspirerte gruppens forskning.
Med FuseBot bruker en robotarm et vedlagt videokamera og RF-antenne for å hente et umerket målobjekt fra en blandet haug. Systemet skanner haugen med kameraet for å lage en 3D-modell av miljøet. Samtidig sender den signaler fra antennen for å finne RFID-brikker. Disse radiobølgene kan passere gjennom de fleste faste overflater, slik at roboten kan "se" dypt inn i haugen. Siden målelementet ikke er merket, vet FuseBot at elementet ikke kan være plassert på nøyaktig samme sted som en RFID-tag.
Algoritmer kombinerer denne informasjonen for å oppdatere 3D-modellen av miljøet og fremheve potensielle plasseringer av målelementet; roboten kjenner størrelsen og formen. Deretter resonnerer systemet om objektene i haugen og RFID-merkeplasseringene for å bestemme hvilket element som skal fjernes, med mål om å finne målelementet med færrest trekk.
Det var utfordrende å inkorporere dette resonnementet i systemet, sier Boroushaki.
Roboten er usikker på hvordan gjenstander er orientert under haugen, eller hvordan en squishy gjenstand kan bli deformert av tyngre gjenstander som trykker på den. Den overvinner denne utfordringen med sannsynlighetsresonnement, ved å bruke det den vet om størrelsen og formen til et objekt og dets RFID-taggeplassering for å modellere 3D-rommet som objektet sannsynligvis vil oppta.
Ettersom den fjerner gjenstander, bruker den også resonnement for å bestemme hvilken gjenstand som ville være "best" å fjerne neste gang.
"Hvis jeg gir et menneske en haug med gjenstander å søke i, vil de mest sannsynlig fjerne den største gjenstanden først for å se hva som er under den. Det roboten gjør er likt, men den inneholder også RFID-informasjon for å ta en mer informert beslutning. Den spør: 'Hvor mye mer vil den forstå om denne haugen hvis den fjerner denne gjenstanden fra overflaten?'» sier Boroushaki.
Etter at den har fjernet et objekt, skanner roboten haugen igjen og bruker ny informasjon for å optimalisere strategien.
Innhentingsresultater
Dette resonnementet, så vel som bruken av RF-signaler, ga FuseBot en fordel i forhold til et toppmoderne system som kun brukte syn. Teamet kjørte mer enn 180 eksperimentelle forsøk med ekte robotarmer og hauger med husholdningsartikler, som kontorrekvisita, utstoppede dyr og klær. De varierte størrelsen på hauger og antall RFID-merkede gjenstander i hver haug.
FuseBot hentet ut målelementet vellykket 95 prosent av tiden, sammenlignet med 84 prosent for det andre robotsystemet. Den oppnådde dette ved å bruke 40 prosent færre trekk, og var i stand til å finne og hente målrettede elementer mer enn dobbelt så raskt.
"Vi ser en stor forbedring i suksessraten ved å inkludere denne RF-informasjonen. Det var også spennende å se at vi var i stand til å matche ytelsen til vårt tidligere system, og overgå den i scenarier der målelementet ikke hadde en RFID tag," sier Dodds.
FuseBot kan brukes i en rekke innstillinger fordi programvaren som utfører sin komplekse resonnement kan implementeres på hvilken som helst datamaskin -- den trenger bare å kommunisere med en robotarm som har et kamera og en antenne, legger Boroushaki til.
I nær fremtid planlegger forskerne å inkorporere mer komplekse modeller i FuseBot slik at den yter bedre på deformerbare objekter. Utover det er de interessert i å utforske forskjellige manipulasjoner, for eksempel en robotarm som skyver gjenstander ut av veien. Fremtidige iterasjoner av systemet kan også brukes med en mobil robot som søker i flere hauger etter tapte gjenstander.
Dette arbeidet ble delvis finansiert av National Science Foundation, et Sloan Research Fellowship, NTT DATA, Toppan, Toppan Forms og MIT Media Lab.