Korzystanie z aplikacji Mixed Reality – unikalne możliwości a ograniczenia prywatności

Moje pierwsze zetknięcie z technologią Mixed Reality (MR)

Witajcie! Chciałbym podzielić się z Wami moim doświadczeniem z zakresu eksperymentów z technologią XR i innymi technologiami. Mam wiele wspaniałych pomysłów na aplikacje Mixed Reality, które chciałbym zrealizować jako prototypy. Niestety, większość z tych pomysłów jest obecnie niemożliwa do przeprowadzenia z powodu decyzji podjętych przez większość producentów słuchawek VR/MR – uniemożliwienie dostępu dla deweloperów do danych z kamery.

Początki mojej przygody z MR

Jak wiecie, moja przygoda z passthrough mixed reality rozpoczęła się w 2019 roku, jeszcze przed tym, jak Quest umożliwił wykorzystanie tej technologii. Wtedy korzystałem z zestawu Vive Focus Plus i zhackowałem jeden z przykładowych SDK, aby przekształcić go w urządzenie mixed-reality. W kolejnych tygodniach razem z moim partnerem, Maxem Ariani, eksperymentowaliśmy z tą technologią i udało nam się zrealizować kilka fajnych rzeczy, takich jak:

– Powodowanie „znikania” obiektów przy użyciu technologii „diminished reality”

– Zastosowanie filtru przypominającego widok oczami Predatora

– Wykrywanie kodu QR w celu zalogowania się do aplikacji

– Wykrywanie i śledzenie znaczników Aruco w celu pojawienia się na nich obiektu 3D

– Narzędzia, którymi dysponowaliśmy były bardzo ograniczone: Vive Focus miał tylko procesor Snapdragon 835, obraz był czarno-biały i niskiej rozdzielczości, wszystko musieliśmy robić w warstwie oprogramowania Unity, a nie mieliśmy rozpoznawania środowiska. Niemniej jednak, pomimo tych ograniczeń, udało nam się przeprowadzić wiele szalonych testów i marzyliśmy o momencie, kiedy potężne samodzielne zestawy słuchawkowe obsługujące wysokiej jakości mixed reality pozwolą nam przenieść nasze eksperymenty na wyższy poziom.

Quest a prywatność

Już jesteśmy tam, gdzie kiedyś marzyliśmy być: Quest 3 to zestaw o znacznie większej mocy obliczeniowej niż Vive Focus, posiada passthrough w kolorze o dość dobrej jakości i rozwija się technologia sztucznej inteligencji. Paradoksalnie, teraz mogę przeprowadzać o wiele mniej eksperymentów niż wcześniej.

Powód tkwi w tym, że Meta stawia na dodatkowe zabezpieczenia i uniemożliwia deweloperom dostęp do strumienia z kamery widzianego przez użytkownika w aplikacjach MR, zarówno jako dane wejściowe (otrzymanie obrazu) i wyjściowe (wpisanie czegoś na obrazie). Ma to na celu ochronę prywatności: gdyby złośliwy deweloper stworzył uroczą grę i za kulisami aktywował kamery, aby przesyłać to, co widzą, na swoje serwery, doszłoby do ogromnego naruszenia prywatności. Złośliwi deweloperzy mogliby łatwo podsłuchiwać nasze domy.

Serwis Meta miał już wiele kontrowersji dotyczących prywatności, więc żeby uniknąć kolejnego skandalu lub skarg ze strony mediów na potencjalne zagrożenia dla prywatności, zablokował dostęp do kamer dla deweloperów. To blokowanie kamery nie da się obejść w żaden sposób: jak wyjaśniam w tym wpisie, gdy tworzysz aplikację w Unity dla Quest, aplikacja „odznacza” część ekranu, która ma być pokazywana w trybie passthrough, a następnie to system operacyjny wykonuje to „pokazywanie”. Dla aplikacji tło aplikacji jest czarne, tylko system operacyjny wie, jakie dane tam umieścić. Więc chyba, że wykradniesz firmware Questa i jego SDK, nie masz dosłownie żadnego sposobu na uzyskanie obrazu passthrough wewnątrz aplikacji.

Rozwój technologii Mixed Reality (MR) jest powiązany z dynamicznym rozwojem przemysłu i rynku związanego z tym produktem. Prognozy na ten temat są obiecujące, wskazując na rosnący popyt i możliwości zastosowań MR w różnych dziedzinach.

Jednym z najważniejszych obszarów, w których można zastosować technologię MR, jest branża rozrywkowa. Dzięki możliwościom immersywnego środowiska, użytkownicy mogą przeżyć wirtualne przygody, wcielając się w różne postacie i eksplorując fantastyczne światy. Prognozy rynkowe wskazują, że rynek gier i rozrywki wirtualnej w najbliższych latach będzie się rozwijał i generował wysokie przychody.

Jednak potencjał technologii MR nie ogranicza się tylko do branży rozrywkowej. Istnieją również zastosowania w edukacji, treningu zawodowym, medycynie, architekturze i wielu innych sektorach. Dzięki możliwościom wizualizacji i interakcji w trójwymiarowym środowisku, MR może przyczynić się do doskonalenia procesów i przyspieszenia nauki w różnych dziedzinach.

Jednak rozwój technologii MR nie jest pozbawiony wyzwań. Jednym z głównych problemów jest ograniczenie dostępu dla deweloperów do danych z kamery. Producentom słuchawek VR/MR brakuje elastyczności w kwestii udostępniania tych danych, co utrudnia rozwój niektórych aplikacji i eksperymentów. Uniemożliwienie dostępu do strumienia z kamery może ograniczyć innowacje w dziedzinie MR i prowadzić do frustracji deweloperów.

Jednak pomimo tych wyzwań, rozwój technologii MR nadal postępuje. Producentom słuchawek VR/MR udaje się poprawiać jakość wyświetlanego obrazu i wprowadzać nowe funkcje, takie jak rozpoznawanie głosowe czy sztuczna inteligencja. To daje nadzieję na dalszy wzrost popularności i wykorzystania technologii MR w różnych sektorach.

Aby uzyskać więcej informacji na temat branży i prognoz rynkowych związanych z technologią MR, zapraszam do zapoznania się z linkiem.

The source of the article is from the blog elektrischnederland.nl