3D-näkö on monialainen ala, joka sisältää tietokonegrafiikkaa, tietokonenäköä ja tekoälyä. Sen tarkoituksena on antaa koneille mahdollisuus ymmärtää ja käsitellä tietoa kolmiulotteisessa avaruudessa, jolloin saavutetaan esineiden ja kohtausten syvyyden havaitseminen, tunnistaminen ja ymmärtäminen.
Päätehtävät
3D rekonstruktio
3D-kohtausten syvyysestimointi tai kohteen pintojen digitaalinen näytteenotto sekä 3D-tietojen käsittely ja näyttö; monokulaarinen rekonstruktio, binokulaarinen rekonstruktio, strukturoitu valo-pohjainen rekonstruktio, laser-pohjainen rekonstruktio; laajamittainen-3D-rekonstruktio, mobiili 3D-rekonstruktio.
Asennon arvio
Kameroiden tai kohteiden sijainnin ja suunnan laskeminen kolmiulotteisessa fyysisessä avaruudessa ja reaaliaikainen-seuranta.
3D-ymmärrys
Objektien tunnistus, tunnistus ja haku sekä kohtausten tai objektien segmentointi ja semanttinen merkitseminen.
Toimintaperiaatteet
3D-näkökuvaus on yksi tärkeimmistä menetelmistä tiedon havaitsemisessa teollisuusroboteissa, ja se voidaan jakaa optisiin ja ei-{1}}optisiin kuvantamismenetelmiin. Tällä hetkellä optiset menetelmät ovat yleisimmin käytettyjä.
Aika-of-lento (TOF) -menetelmä
Tämä menetelmä laskee etäisyyden kohteeseen mittaamalla valon säteilyn ja vastaanoton välisen aikaeron. Esimerkkinä TOF-kamerasta, jokainen pikseli käyttää valon lennon aikaeroa kohteen syvyyden saamiseksi. Klassisissa mittausmenetelmissä ilmaisinjärjestelmä aloittaa ajoituksen, kun se lähettää valopulssin, tallentaa kiertoaika-, kun se vastaanottaa kohdevalon kaiun, ja arvioi kohdeetäisyyden kaavan mukaan.
Se on jaettu suoraan TOF:iin (DTOF) ja epäsuoraan TOF:iin (I-TOF). DTOF-tekniikkaa käytetään yleensä yhden-pisteen mittausjärjestelmissä, ja alueen-leveän 3D-kuvauksen saavuttaminen vaatii usein skannaustekniikkaa. I-TOF ekstrapoloi epäsuorasti edestakaisen matkan ajan-ajan porteilla tehdyistä valonvoimakkuuden mittauksista, mikä eliminoi tarkan ajoituksen tarpeen. Se on tällä hetkellä kaupallinen ratkaisu TOF-kameroihin perustuville elektronisille ja optisille sekoittimille. TOF-kuvausta voidaan käyttää laajan näkökentän, pitkän-etäisyyden, alhaisen-tarkkuuden ja edullisen-3D-kuvien hankkimiseen, ja sitä käytetään ympäristön havaitsemiseen älykkäissä miehittämättömissä järjestelmissä (kuten robotit, miehittämättömät ajoneuvot, droonit jne.).
Structured Light Projection 3D Imaging
Strukturoitu valoprojektio 3D-kuvaus on tällä hetkellä tärkein menetelmä 3D-näön havaitsemiseen roboteissa. Projektori heijastaa kohdeobjektiin tietyn strukturoidun valon valaistuskuvion, kuten raidat tai harmaakoodikuviot, ja kamera tallentaa kohteen moduloiman kuvan. Kohteen pinnan aaltoilusta johtuen strukturoitu valokuvio vääntyy kohteen pinnalla. Käsittelemällä kuvia ja käyttämällä visuaalisia malleja kuvioiden vertaamiseen ennen ja jälkeen muodonmuutosta sekä analysoimalla kuvion vääristymiä, kolmiulotteiset koordinaattitiedot kohdeobjektin pinnalla olevasta pisteestä voidaan laskea.
Robottikäsi{0}}silmäjärjestelmäsovelluksissa skenaarioissa, joissa suurta 3D-mittaustarkkuutta ei vaadita (kuten lavalle poistaminen, kuormalavojen poistaminen ja 3D-tarkkuus), menetelmä pseudo-satunnaisten pilkkukuvioiden projisoimiseksi kohteen 3D-tietojen saamiseksi on melko suosittu. Tätä menetelmää käytetään yleisesti teollisissa tarkastuksissa ja 3D-mallinnuksessa, ja sillä voidaan saada nopeasti 3D-tietoja kohteen pinnasta. Strukturoitu valokuvausjärjestelmä koostuu useista projektoreista ja kameroista. Yleisiä rakenteellisia muotoja ovat: yksi projektori-yksi kamera, yksi projektori-kaksi kameraa, yksi projektori-useita kameroita, yhden kameran-kaksiprojektorit ja yhden kameran{14}}useita projektoria.
Strukturoidun valoprojisoinnin 3D-kuvauksen toimintaperiaate on seuraava: projektori heijastaa kohdeobjektiin tietyn strukturoidun valovalokuvion, kamera tallentaa kohteen moduloiman kuvan, jonka jälkeen saadaan kuvankäsittelyn ja visuaalisten mallien avulla kohdeobjektin 3D-informaatio. Yleisiä projektorityyppejä ovat: nestekidenäyttö (LCD), digitaalinen valomodulaatioprojektio (DLP: kuten digitaaliset mikropeililaitteet (DMD)) ja laser-LED-kuvion suora projektio.
Strukturoitujen valoprojektioiden lukumäärän perusteella strukturoitu valoprojektio 3D-kuvaus voidaan jakaa yhden-otoksen 3D- ja moni-otoksen 3D-menetelmiin. Single{6}}shot-strukturoitu valo käyttää pääasiassa spatiaalista multipleksointikoodausta ja taajuusmultipleksointikoodausta. Yleisiä koodausmuotoja ovat: värikoodaus, harmaasävyindeksi, geometristen muotojen koodaus ja satunnaiset pilkkukuviot. Tällä hetkellä robottikäsi-silmäjärjestelmäsovelluksissa, joissa ei vaadita suurta 3D-mittaustarkkuutta, kuten lavalle poistaminen, kuormalavojen poistaminen ja 3D-tarkkuus, käytetään laajalti menetelmää pseudo-satunnaisten pilkkukuvioiden projisoimiseksi kohteen 3D-tietojen saamiseksi.
Multishot 3D -menetelmät käyttävät pääasiassa aika-multipleksointikoodausta. Yleisiä kuvion koodausmuotoja ovat: binäärikoodaus, monitaajuinen vaihe-muuttava koodaus ja hybridikoodausmenetelmät (kuten harmaakoodi ja vaihe{6}}siirrettävät reunat). Strukturoidun valon 3D-kuvauksen perusperiaate on esitetty alla olevassa kuvassa. Strukturoitu valokuvio luodaan tietokoneella tai erityisellä optisella laitteella ja projisoidaan sitten testattavan kohteen pinnalle optisen projektiojärjestelmän avulla. Kuvanottolaitetta (kuten CCD- tai CMOS-kameraa) käytetään strukturoidun valokuvan kaappaamiseen, jota kohteen pinta moduloi ja muuttaa muotoaan. Kuvankäsittelyalgoritmeja käytetään sitten laskemaan kunkin kuvan pikselin ja kohteen ääriviivan pisteiden välinen vastaavuus. Lopuksi objektin kolmiulotteiset ääriviivatiedot lasketaan käyttämällä järjestelmän rakennemallia ja sen kalibrointitekniikkaa. Käytännön sovelluksissa käytetään yleisesti harmaakoodiprojektiota, sinimuotoista vaihetta{15}}siirrettävää reunaprojektiota tai hybridi Gray-koodin ja sinimuotoisen vaiheen{16}}siirtyvää 3D-tekniikkaa.
Karkeilla pinnoilla strukturoitu valo voidaan projisoida suoraan kohteen pinnalle visuaalista kuvantamista varten; Kuitenkin erittäin heijastavien sileiden pintojen ja peilattujen esineiden 3D-mittauksessa strukturoitua valon projektiota ei voida projisoida suoraan testattavalle pinnalle, ja 3D-mittaus edellyttää peiliheijastustekniikoiden käyttöä.
Tässä kaaviossa hapsuja ei heijasteta suoraan testattavan kohteen ääriviivojen päälle, vaan pikemminkin sirontanäytölle tai nestekidenäytön (LCD) näyttöä käytetään hapsujen näyttämiseen suoraan. Kamera hankkii kirkkaan pinnan kaarevuuden muutosten moduloimat reunatiedot heijastuneen valopolun kautta ja laskee sitten kolmiulotteisen ääriviivan morfologian.
3D-kuvan skannaus
Skannaus 3D-kuvausmenetelmät voidaan jakaa skannausetäisyyteen, aktiiviseen kolmiomittaukseen ja kromaattisiin konfokaalimenetelmiin. Skannausetäisyys käyttää kollimoitua valonsädettä skannaamaan koko kohteen pintaa 3D-mittausta varten. Tyypillisiä pyyhkäisyetäisyysmenetelmiä ovat: yhden-pisteen aika--lentomenetelmät, kuten jatkuvan aallon taajuusmodulaatio (FM-CW) ja pulssietäisyys (LiDAR); lasersirontainterferometria, kuten interferometrit, jotka perustuvat moni-aallonpituushäiriöihin, holografiseen interferenssiin, valkoisen valon häiriöihin ja pilkkuhäiriöperiaatteisiin; ja konfokaaliset menetelmät, kuten kromaattinen konfokaalinen ja automaattinen tarkennus.
Yhden-pisteen mittausskannaus 3D-menetelmissä yhden-pisteen aika-of-lentomenetelmä soveltuu pitkän matkan-skannaukseen, mutta mittaustarkkuus on suhteellisen alhainen, yleensä millimetrin alueella. Muita yhden-pisteen skannausmenetelmiä ovat yhden-pisteen laserinterferometria, konfokaalinen mikroskopia ja yhden-pisteen aktiivinen lasertriangulaatio. Nämä menetelmät tarjoavat korkean mittaustarkkuuden, mutta edellinen vaatii kontrolloidun ympäristön. Viivaskannaus tarjoaa kohtuullisen tarkkuuden ja korkean tehokkuuden. Aktiivinen lasertriangulaatio ja kromaattinen konfokaalimikroskopia soveltuvat erityisen hyvin 3D-mittaukseen robottikäsivarren pääteefektorissa. Aktiivinen kolmiomittaus perustuu kolmiomittausperiaatteeseen, jossa käytetään kollimoitua sädettä tai yhtä tai useampaa tasomaista sädettä skannaamaan kohdepinta 3D-mittausta varten.
Valosäde saadaan tavallisesti seuraavilla tavoilla: laserkollimaatio, lieriömäinen tai neliömäinen pintaprismaattinen säteen laajennus, ei--koherentti valo (kuten valkoinen valo, LED-valolähde), joka projisoidaan pienten reikien, rakojen (hilojen) läpi tai koherentti valon diffraktio. Aktiivinen kolmio voidaan jakaa kolmeen tyyppiin: yhden-pisteen skannaus, yhden-viivan skannaus ja moni-viivaskannaus. Tällä hetkellä useimmat kaupallisesti saatavilla olevat tuotteet robottikäsivarren päätetoimilaitteille ovat yksi-piste- ja yksiviivaisia{7}}skannereita.
Monirivisissä{0}}skannausmenetelmissä marginaalilukujen luotettava tunnistaminen on haaste. Reunuslukujen tunnistamiseksi tarkasti kaksi kohtisuoraa valotasoa kuvataan yleensä suurella nopeudella vuorotellen. Tämä mahdollistaa myös "Flying Triangulation" -skannauksen, jonka skannaus- ja 3D-rekonstruktioprosessi on esitetty alla olevassa kuvassa. Moniviivaprojektio ja yksi-salamakuvaus tuottavat harvaan 3D-näkymän. Useita 3D-näkymien sarjoja luodaan pitkittäis- ja poikittaisen reunaprojektioskannauksen avulla, ja sitten korkearesoluutioinen, täydellinen ja tiheä 3D-pintamalli luodaan 3D-kuvan rekisteröinnin avulla.
Kromaattinen konfokaalinen mikroskopia näyttää kykenevän skannaamaan ja mittaamaan karkeita ja sileitä läpinäkymättömiä ja läpinäkyviä esineitä, kuten heijastavia pintoja ja läpinäkyviä lasipintoja, ja sitä käytetään tällä hetkellä laajalti sellaisilla aloilla kuin matkapuhelinten kansien 3D-tarkastelu. Kromaattista konfokaaliskannausta on kolmea tyyppiä: yhden-pisteen yhden-ulotteisen absoluuttisen etäisyyden mittausskannaus, moni-pisteen skannaus ja jatkuva viivaskannaus. Alla olevassa kuvassa on esimerkkejä absoluuttisen etäisyyden mittauksesta ja jatkuvasta viivapyyhkäisystä. Jatkuva viivaskannaus on myös eräänlainen taulukkoskannaus, mutta siinä on suurempi ja tiheämpi pistejoukko.
Stereo Vision 3D-kuvantaminen
Stereonäöllä tarkoitetaan yleensä kohteen 3D-rakenteen tai syvyystietojen rekonstruoimista hankkimalla kaksi tai useampia kuvia eri näkökulmista. Syvyyshavainnon visuaaliset vihjeet voidaan jakaa okulaarisiin vihjeisiin ja binokulaarisiin vihjeisiin (binokulaarinen ero). Tällä hetkellä stereonäön 3D voidaan saavuttaa monokulaarinäön, kiikarin, moni-näkymän ja valokentän 3D-kuvauksen avulla (elektroninen yhdistelmäsilmä tai ryhmäkamera). Monokulaarisen näön syvyyshavaintovihjeitä ovat yleensä: perspektiivi, polttovälierot, moni-näkymäkuvaus, okkluusio, varjot, liikeparallaksi jne.
Robottinäössä se voidaan saavuttaa myös peilikuvauksella ja muilla muoto-from-X-menetelmillä. Binokulaarisen näön syvyyshavainnon visuaalisia vihjeitä ovat: silmän lähentymisasento ja kiikarin ero. Konenäössä kahta kameraa käytetään ottamaan kaksi näkökulmakuvaa samasta kohdenäkymästä kahdesta näkökulmasta, ja sitten lasketaan vastaavien pisteiden ero kahden näkökulman kuvassa kohdekohtauksen 3D-syvyysinformaation saamiseksi. Tyypillinen kiikarin stereonäön laskentaprosessi sisältää seuraavat neljä vaihetta: kuvan vääristymän korjaus, stereokuvaparin korjaaminen, kuvan rekisteröinti ja kolmiomittausheijastuksen erokartan laskenta.
Multi-view vision imaging tai multi-view stereokuvaus käyttää yhtä tai useampaa kameraa ottamaan useita kuvia samasta kohdenäkymästä useista näkökulmista ja rekonstruoimaan kohdekohtauksen kolmiulotteiset tiedot.
Usean -näkymän stereokuvausta käytetään pääasiassa seuraavissa tilanteissa: useiden kameroiden käyttäminen eri näkökulmista useiden kuvien ottamiseksi samasta kohdekohtauksesta ja sitten ominaisuus-perustaisten stereorekonstruktioiden ja muiden algoritmien käyttäminen kohtauksen syvyyden ja tilarakenteen tietojen saamiseksi. käyttämällä rakenne-from-motion (SFM) -tekniikkaa, käyttämällä samaa kameraa sen luontaiset parametrit muuttumattomina useiden kuvien saamiseksi eri näkökulmista kohdekohtauksen kolmiulotteisten tietojen rekonstruoimiseksi. Tätä tekniikkaa käytetään yleisesti seuraamaan suurta määrää kohdekohtauksen ohjauspisteitä ja palauttamaan jatkuvasti kohtauksen 3D-rakennetiedot sekä kameran asennon ja sijainnin. Valokenttäkuvaus eroaa perinteisistä kamerakuvausperiaatteista. Perinteiset kamerat muodostavat 2D-kuvan suoraan kuvaustasolle, kun valo kulkee linssin läpi.
Valokenttäkamerat lisäävät mikrolinssiryhmän anturitason eteen. Päälinssin läpi tuleva valo kulkee jälleen jokaisen mikrolinssin läpi ja vastaanottaa sen valoherkän ryhmän kautta, jolloin saadaan tietoa valonsäteiden suunnasta ja sijainnista. Tämän ansiosta kuvantamistulokset voidaan käsitellä myöhemmin, jolloin saadaan "kuvaa ensin, tarkenna myöhemmin" -tehoste ja mahdollistaa kohtauksen kolmiulotteisen rakenteen palauttamisen näiden tietojen avulla. Virtuaalitodellisuuden ja lisätyn todellisuuden kaltaisilla aloilla valokenttäkuvaustekniikka auttaa tarjoamaan realistisemman visuaalisen kokemuksen ja mahdollistaa tarkemman kolmiulotteisen havainnon ja vuorovaikutuksen näkymän kanssa.
Valokentän 3D-kuvauksen periaate eroaa rakenteellisesti perinteisten CCD- ja CMOS-kameroiden kuvantamisperiaatteista. Perinteiset kamerat kuvaavat valoa suoraan kuvaustasolle sen jälkeen, kun se kulkee linssin läpi, mikä yleensä tuottaa 2D-kuvan. Valokenttäkamerat lisäävät mikrolinssiryhmän anturin tason eteen, jolloin päälinssin läpi tuleva valo kulkee uudelleen jokaisen mikrolinssin läpi ja valoherkkä ryhmä vastaanottaa sen, jolloin saadaan tietoa valonsäteiden suunnasta ja sijainnista. Tämä mahdollistaa kuvantamistulosten{5}}jälkikäsittelyn, jolloin saadaan "ammu ensin, tarkenna myöhemmin" -tehoste.