Spis treści:
Immervision Inc. ogłosiła projekt JOYCE, pierwszego na świecie humanoidalnego robota, który zjednoczy społeczność zajmującą się widzeniem komputerowym. Nowi partnerzy i programy wykorzystujące widzenie komputerowe mają tylko zwiększyć jego (jej?) możliwości.
Hanson Robotics, twórca znanego robota humanoidalnego Sophia (sygnowanego jako Sophia the Robot), będzie współpracował z JOYCE firmy Immervision w celu dalszego rozwoju percepcji maszynowej, aby zapewnić widzenie zbliżone do ludzkiego i nie tylko. Hanson Robotics wykorzysta swoje doświadczenie z Sophią do skonstruowania możliwie najnowocześniejszego i najbardziej przekonującego humanoidalnego ciała, które będzie zawierało ultraszerokokątne kamery i inne aparaty wizyjne autorstwa Immervision, o których więcej za chwilę.
Robotyczne partnerstwo computer vision
Jesteśmy bardzo podekscytowani współpracą z Immervision przy projekcie JOYCE, powiedział David Hanson, CEO Hanson Robotics, podczas spotkań w Montrealu i w Hong Kongu w marcu bieżącego roku. Wierzę, że silna wizja komputerowa, taka jak produkty Immervision, w połączeniu z ucieleśnionym poznaniem robota społecznego, takiego jak Sophia i jej młodsza siostra JOYCE, zaowocuje ogromnymi skokami naprzód w AI użytkowej oraz w robotyce.
Umożliwienie maszynie zrozumienia danych wejściowych jest skomplikowane. To właśnie integracja wielozmysłowa maszyny, a nie moc obliczeniowa, stawia największe wyzwania i często ogranicza dalszy postęp. Sformułowany w latach 80. paradoks Moraveca, zaskakująco aktualne i intuicyjne stwierdzenie znane w kręgach robotyków, głosi, że wysokopoziomowe rozumowanie wymaga niewielkiej mocy obliczeniowej, natomiast niskopoziomowa percepcja i te zachowania, które są ewolucyjnie z ludźmi najdłużej, wymagają olbrzymiej mocy obliczeniowej. W uproszczeniu: nauka tych umiejętności, na które w biegu ewolucji mieliśmy miliony lat, takich jak zdolności motoryczne czy rozpoznawanie emocji drugiego człowieka, sprawia robotom największą trudność. Cieszy zatem fakt, że prace trwają, i że powstają nowe roboty – i to w duchu współpracy, a nie tylko rywalizacji.
Praca nad JOYCE to nie tylko fuzja pomysłów Hanson Robotics i Immervision – w projektach bierze udział otwarta społeczność pasjonatów, a zasilające rdzeń JOYCE technologie to rozwiązania, któremu zaufały już znane światowe marki, aby umożliwić tworzenie inteligentnych urządzeń, aplikacji profesjonalnych i konsumenckich.
Oczy JOYCE i głębia spojrzenia Deep Seeing -
nowoczesna wizja komputerowa
Aby umożliwić maszynie dorównanie możliwościom ludzkiego wzroku, by z czasem uwolnić pełen potencjał sztucznej inteligencji, Immervision stosuje zaawansowaną optykę szerokokątną z ulepszonymi technologiami przetwarzania obrazu i łączenia czujników. Nie chodzi tutaj tylko o ostre i wyraźne widzenie, ale także integrację czujników i przetwarzanie obrazu. Technologia Deep Seeing umożliwia producentom sprzętu i oprogramowania wyposażanie robotów w inteligentną technologię wizyjną. Wiemy już, że systemy sztucznej inteligencji w połączeniu z kamerami potrafią widzieć i rozpoznawać to, co widzą, naprawdę dokładnie – gdzie zatem innowacja?
Czyli Panomorph Lens w kolorze blue. “Panmorficzna” to nasza propozycja tłumaczenia dla nowatorskiej technologii Immervision, choć być może nietrafiona i mamy tu raczej przedrostek pano-. Bo tłumaczenia właściwie jeszcze nie ma. Wiemy za to, co znaczy przymiotnik monomorficzny – za słownikiem PWN to mający tylko jedną postać. Przedrostek pan- oznacza natomiast to samo, co wszech-, czyli obejmujący wszystko. Czym są soczewki Panomorph Lens i na czym polega ich “widzenie totalne”? Zastrzeżona i opatentowana przez Immervision technologia Panomorph przede wszystkim przewyższa obiektyw typu rybie oko stosowany także w kamerach do Raspberry Pi.
Panomorph pozwala uzyskać na przetworniku obraz w kształcie elipsy, a nie tak jak rybie oko w kształcie koła. W przypadku tej kamery obiektyw zapewnia znacznie wyższą szczegółowość optyczną i większe wykorzystanie przetwornika obrazu, przez co nowy rodzaj obiektywu przewyższa fisheye pod względem rozdzielczości optycznej i wykorzystania przetwornika obrazu.
Pierwsza kamera z wbudowanym obiektywem ImmerVision Enables® 360 Panomorph pojawiła się na rynku w 2013 roku. Obecnie seria kamer 360P firmy Brickcom składa się z 5-megapikselowej zewnętrznej minikopułkowej kamery IP MD-500Ap-360P, 3-megapikselowej zewnętrznej minikopułkowej kamery IP MD-300Np-360P o doskonałej jakości i niskim poziomie luksów oraz 5-megapikselowej kostkowej kamery IP CB-500Ap-360P. Kamery te wyznaczają wyższe standardy dla kompaktowych, wysokomegapikselowych kamer panoramicznych i dookólnych.
U JOYCE pojawi się optyka szerokokątna z panomorficznym widzeniem dla zwiększonej rozdzielczości i bezbłędnego widzenia, fuzja czujników z funkcją Data-In-Picture dla znacznej poprawy zbierania danych z klatek wideo (dzięki niej meta-informacje są osadzane bezpośrednio w pikselach obrazu wideo i zdjęć), algorytmy przetwarzania obrazu, w tym Real-Time Adaptive Dewarping (więcej o możliwościach tego algorytmu tutaj).
Lepsza, bezpieczniejsza, bardziej przekonująca
Alain Paquin, szef projektu Joyce w Immervision, powiedział, że firma przygotowuje się do uruchomienia drugiej wersji panomorphEYE Development Kit, zaznaczając, że będzie ona dostępna za “kilka miesięcy”, gdyż dokładna data nie została jeszcze ustalona. Zestaw rozwojowy ma za zadanie uprościć integrację nowych czujników i algorytmów AI, co otworzy drzwi do rozwoju szerokiego zakresu nowych możliwości w różnych branżach.
Co ciekawe wg Paquina integracja technologii wizji komputerowej stron trzecich może pozwolić JOYCE “zapewnić bezpieczeństwo kierowców w samochodach wspomaganych i autonomicznych” dzięki ulepszonej optyce. Mniej przekonująco, bo marketingowo i w nurcie aktualnych trendów brzmi wzmianka o pomocy w wykrywaniu chorych na COVID za pomocą kamer termowizyjnych, które miałyby skanować tłumy i “zauważać” osoby o podwyższonej temperaturze.
Kamery Joyce
- 3 obiektywy panomorficzne 187° – stereoskopowe szerokokątne ujęcie i pełne ujęcie przestrzenne 360°,
- automatyczna ekspozycja,
- automatyczny balans bieli,
- kontrola ilości klatek na sekundę, jakości i rozdzielczości obrazu,
- format wyjściowy YUV, MoTon JPEG,
- łączność: USB3 (zgodność z UVC),
- żyroskop i GPS
Data-In-Picture
Wykorzystana technologia Data-In-Picture, sprawia, że każda z klatek wideo może być wzbogacona o dane z szerokiego wachlarza czujników dostarczających informacji kontekstowych dla AI i sieci neuronowych, wizji komputerowej i algorytmów SLAM, aby pomóc zwiększyć percepcję wizualną.
Interfejs programowania
Wkrótce interfejs programistyczny JOYCE ma zostać udostępniony społeczności zajmującej się widzeniem komputerowym w celu przeprowadzania eksperymentów i zwiększania jej możliwości.
Prezentacja POV (point of view) z oczu JOYCE
Konstruktorzy zapowiadają, że wkrótce będziemy mieli okazję spojrzeć na świat oczami JOYCE dzięki przygotowywanym prezentacjom pokazowym. Czeka nas zatem wyjątkowe doświadczenie zobaczenia pełnego, 360-stopniowego i wciągającego widoku otoczenia JOYCE – a wszystko to dzięki wkładowi społeczności, która pomaga w tworzeniu finalnej wersji. Podkreśla to tylko otwarty charakter projektu. Dostępne prezentacje, które szykują dla nas twórcy, mają objąć:
- laboratorium – spędzenie czasu w Immervision Innovation Lab i poznanie zespołu naukowców zajmujących się wizją komputerową,
- skydive – podniebny skok z maską VR w wysokiej rozdzielczości,
- sport – obejrzenie jeszcze bliżej nieokreślonego wydarzenia sportowego,
- podróże – razem z JOYCE dookoła świata, czyli w kolejnych miejscach, gdzie będzie prezentowana,
- plaża – wypoczynek z JOYCE na plaży lub na tle zapierającego dech w piersiach krajobrazu,
- koncert – dzielenie doznań z JOYCE na evencie muzycznym,
- konferencja – spotkania na targach i konferencjach.
Co to dla nas oznacza?
Immervision aktywnie poszukuje dodatkowych członków, którzy mogliby dołączyć do partnerstwa JOYCE. Dowodem chęci podjęcia i ułatwienia z współpracy Immervision jest zestaw rozwojowy dla programistów, uniwersytetów i firm technologicznych. Dzięki niemu każdy partner w programie JOYCE będzie mógł pokusić się o dodanie kolejnych czujników, oprogramowania i algorytmów sztucznej inteligencji, aby zwiększyć percepcję i zrozumienie otoczenia przez JOYCE.
Wierząc, że wyposażenie maszyn w percepcję na poziomie człowieka, a zwłaszcza wizję, będzie miało ogromny wpływ na gospodarkę w wielu gałęziach przemysłu, Immervision zachęca społeczność zajmującą się widzeniem komputerowym do współpracy w ramach partnerstwa JOYCE, do wykorzystania swoich technologii w celu ulepszenia JOYCE oraz do czerpania korzyści z ekscytującej przyszłości.
O JOYCE pisały już m.in. Tech Republic, The Robot Report, Aithority i Electronic Engineering Journal – te ostatnie stworzyło także podcast “Intelligent Senses: Cyborg Locusts and First Humanoid Robot with Intelligent Vision” (w wolnym tłumaczeniu: Inteligentne zmysły: Szarańcza cyborgów i pierwszy humanoidalny robot z inteligentnym wzrokiem).
Wszystkie materiały można odnaleźć na oficjalnej witrynie projektu.
To praktycznie wszystko, co na razie wiadomo. Data uruchomienia Joyce nie została jeszcze ogłoszona ani przez Hanson Robotics, ani przez Immervision. Według Paquina możemy spodziewać się tego jeszcze w tym roku. Masową produkcją najprawdopodobniej zajmie się Hanson Robotics. Zapowiedziano także współpracę JOYCE z Iifineo, dostawcą technologii rewolucjonizujących geolokalizację ludzi i obiektów oraz zbieranie danych generowanych przez światło.
Według konstruktorów humanoidalne roboty Sophia i JOYCE mają być określane mianem rodzeństwa. Może dzięki temu czujniki starszej Sophii nie oszaleją z zazdrości.
Sophia w 2019 roku.
