Afiliacja: Studentka, Wydział Fizyki, Uniwersytet Warszawski
Hadamard
Fourier
Noiselet
Toeplitz
Gabor
Wyobraź sobie, że znajdujesz się w całkowicie ciemnym pokoju i masz tylko jedną latarkę, jeden detektor mierzący natężenie światła i komputer. Czy da się tymi narzędziami zrobić zdjęcie tego pokoju? Okazuje się, że tak. Nic więcej nie będzie ci potrzebne. Brzmi jak magia? Istnieje technologia, która wywraca do góry nogami nasze myślenie o obrazowaniu, a jest to obrazowanie jednopikselowe (ang. Single Pixel Imaging, SPI).
Dzięki tej technologii nie tylko potrafimy zrobić zdjęcie przy użyciu latarki i pojedynczego detektora, ale także „widzieć” tam, gdzie tradycyjne kamery są bezradne – przez dym, mgłę, a nawet przyciemnione szyby oraz w całkowitej ciemności. Wyobraź sobie detektywa, który próbuje dostrzec, co dzieje się we wnętrzu tajemniczego samochodu, lub strażaka szukającego ofiar pożaru w duszącej chmurze dymu. Wykorzystując tę metodę, to, co niewidoczne dla ludzkiego oka, nagle staje się widoczne. Tradycyjne aparaty fotograficzne korzystają z matrycy składającej się z milionów miniaturowych detektorów światła, czyli pikseli, które jednocześnie rejestrują obraz. Każdy piksel w matrycy odpowiada określonemu punktowi na fotografii, a razem tworzą pełny obraz. W obrazowaniu jednopikselowym proces jest jednak zupełnie inny, ponieważ wykorzystuje się tylko jeden detektor światła. Jak więc możliwe jest uzyskanie obrazu?
Zamiast rejestrować światło z każdego punktu jednocześnie, obiekt jest kolejno oświetlany różnymi wzorami. Każdy z nich odbija się od powierzchni obiektu, a pojedynczy detektor mierzy łączne natężenie docierającego sygnału. Możemy też oświetlić obraz wiązką i skierować odbite światło na urządzenie generujące różne wzory. Oba podejścia prowadzą do tego samego efektu – uzyskania informacji, ile światła odbija się od wybranych fragmentów przedmiotu. Proces powtarza się wielokrotnie z kolejnymi wzorami, a komputer zapisuje każdą zmierzoną wartość. Na podstawie tych danych, wykorzystując zaawansowane algorytmy matematyczne, można odtworzyć obraz całego obiektu. To trochę jak rozwiązywanie zagadki – każdy wzór dostarcza nowych informacji, a komputer składa je w całość, rekonstruując obraz.
Wybór odpowiednich wzorów – tzw. funkcji próbkujących – ma duże znaczenie w procesie rekonstrukcji obrazów, bo to od nich zależy ostateczny efekt, czyli jak dokładnie uda się odwzorować oryginalny obraz. Im lepiej dopasowana funkcja, tym lepszy efekt końcowy. Do wyboru mamy wiele różnych możliwości – wzory całkowicie losowe albo bardziej złożone, które po przedstawieniu na wykresie ukazują się jako efektowne, niemal artystyczne obrazy.
Po prawej stronie na rysunku pokazanych zostało kilka przykładowych, bardziej artystycznych wzorów.
Jak to działa?
W praktyce na fotografowany przedmiot kierujemy światło, które po odbiciu zostaje skupione soczewką na urządzeniu DMD (ang. Digital Micromirror Device), składającym się z siatki tysięcy małych luster, których ustawienie możemy regulować cyfrowo. W obrazowaniu jednopikselowym DMD działa trochę jak programowalna kratka luster decydująca, które fragmenty sceny zostaną „zobaczone” przez detektor w danym momencie. Można to porównać do sytuacji, w której oświetlamy obiekt za pomocą latarki z określonymi wzorami świetlnymi – na przykład raz oświetlamy tylko paski w poziomie, innym razem w kratkę, a jeszcze innym razem pojedyncze punkty. Za każdym razem mierzymy, ile światła się odbiło – ale nie z całego obrazu, tylko z tych części, które akurat oświetlono.
Proces pomiaru w SPI
W przypadku obrazowania jednopikselowego rolę tej „latarki” pełni wzór wyświetlany na DMD. Ten wzór – czyli funkcja próbkująca – określa, które mikrolustra odbijają światło do detektora (czyli które fragmenty sceny są „oświetlone”), a które nie. Oznacza to, że DMD tworzy świetlny filtr, przez który przepuszczane są tylko wybrane fragmenty obrazu. Pojedynczy detektor mierzy ilość wpadającego do niego światła i zapisuje pomiar natężenia. Jak możemy tę informację wykorzystać?
Zasada działania DMD
Na ilustracji poniżej pokazano, jak działa pomiar i rekonstrukcja obrazu. Po lewej stronie widać zestaw wzorów, które są kolejno wyświetlane na powierzchni DMD. Dla każdego takiego wzoru wykonywany jest jeden pomiar – detektor rejestruje całkowitą ilość światła, jaka do niego dotarła. Te pomiary natężeń są zapisywane jako wartości liczbowe i przedstawione na wykresie słupkowym. Każdy słupek odpowiada innemu wzorowi.
Rekonstrukcja obrazu
Na podstawie tych pomiarów system rekonstruuje obraz. Dzieje się to przez sumowanie wzorów użytych na DMD, ale w odpowiednich proporcjach – każdy wzór jest „ważony” przez wartość, którą zarejestrował detektor. Im więcej światła wróciło przy danym wzorze, tym większy jego wkład w końcowy obraz. Po zsumowaniu wszystkich tych ważonych wzorów otrzymujemy pełny obraz, mimo że nie użyto klasycznej kamery. Wystarczył tylko jeden detektor i sekwencja odpowiednio zaprojektowanych wzorów.
Jak to zapisać matematycznie?
W obrazowaniu jednopikselowym oryginalny obraz zapisywany jest jako wektor kolumnowy: \[\mathbf{x} \in \mathbb{R}^N,\] gdzie \(N\) to liczba pikseli w obrazie. Każdy wzór wyświetlany na mikrolustrach DMD reprezentowany jest jako wiersz w macierzy pomiarowej: \[\mathbf{\Phi} \in \mathbb{R}^{M \times N},\] gdzie \(M\) to liczba wzorów (czyli liczba pomiarów), a \(N\) to liczba pikseli. Pomiary uzyskiwane z detektora jednopikselowego zapisujemy jako: \[\mathbf{s} = \mathbf{\Phi} \mathbf{x},\] gdzie \(\mathbf{s} \in \mathbb{R}^M\) jest wektorem wyników pomiarów.
Technik rekonstrukcji jest wiele, ale jeśli mamy proste macierze Hadamarda, to rekonstrukcja odbywa się poprzez mnożenie \(\mathbf{s}\) przez transpozycje \(\mathbf{\Phi}\): \[\mathbf{y} = \mathbf{\Phi}^T \mathbf{s}.\] Cały proces polega zatem na pomiarach natężenia, które są w tym wypadku iloczynami skalarnymi obrazu i kolejnych kolumn macierzy Hadamarda, oraz rekonstrukcji obrazu poprzez wymnożenie tych natężeń przez transpozycję macierzy. Zobaczmy, jak to wygląda graficznie na przykładzie prostej macierzy Hadamarda. Mamy prosty obrazek, który spłaszczamy do postaci kolumnowej \[\left[\vcenter{\hbox{$\begin{array}{cc} 1 & 0 \\ 1 & 0 \end{array}$}}\right] \to \left[\vcenter{\hbox{$\begin{array}{c} 1 \\ 0 \\ 1 \\ 0 \\ \end{array}$}}\right].\] Następnie mnożymy go przez macierz Hadamarda i rekonstruujemy, mnożąc wynik przez transpozycję tej macierzy zgodnie z instrukcją. Ten proces przedstawiono graficznie na rysunku. Udało się! Wynik tej operacji w postaci macierzy Y jest więc naszym pierwotnym obrazkiem z dokładnością do pewnej skali. Wystarczy podzielić na 4 i mamy zrekonstruowany obraz dokładnie taki, jak oryginalny. Ten proces matematyczny umożliwia dokładne odtworzenie obrazu z zebranych danych.
Można jednak zauważyć pewien problem. Wniosek z części matematycznej jest taki, że aby zrekonstruować obraz \(N\times N,\) potrzebujemy macierzy Hadamarda o rozmiarze \(N^2\times N^2,\) co jest dosyć problematyczne obliczeniowo, kiedy pracujemy na obrazach o dużej rozdzielczości. Na przykład mały obrazek \(32\times32,\) który bardziej przypomina pikselowe puzzle niż fotografię, wymaga wykorzystania macierzy o rozmiarze \(1024\times1024,\) mającej ponad milion elementów!
Na szczęście okazuje się, że do rekonstrukcji normalnego zdjęcia wcale nie potrzebujemy superkomputera – wystarczy trochę sprytu. Zobaczmy, co się stanie, kiedy usuniemy jeden wiersz z macierzy Hadamarda i wtedy spróbujemy zrekonstruować obrazek.
Graficzna reprezentacja macierzowego pomiaru i rekonstrukcji w obrazowaniu jednopikselowym
Mała kompresja
Większa kompresja
Znowu dostaliśmy poprawną rekonstrukcję!
Zastąpienie kwadratowej macierzy Hadamarda macierzą prostokątną zawierającą tylko wybrane kolumny pozwala wykonać pomiar kompresyjny, czyli taki, który obliczy się szybciej.
Ucięcie następnego wiersza znowu da poprawny wynik. Należy jednak uważać z kompresją – gdy obetniemy zbyt dużo wierszy, rekonstrukcja się nie uda.
Generalnie jednak, dzięki kompresji możemy znacznie przyspieszyć obliczenia. Prawdziwa sztuka w rekonstrukcji obrazów metodą obrazowania jednopikselowego to zatem nie tylko wybór odpowiednich wzorów, ale także metod, które nam tę rekonstrukcję usprawnią.
Jak widzieć przez dym i przyciemnione szyby?
Jedną z najważniejszych zalet obrazowania jednopikselowego w systemach SPI jest elastyczność względem długości fali, na jakiej pracuje system. W przeciwieństwie do klasycznych kamer – zarówno optycznych, jak i termowizyjnych – SPI nie ogranicza się do jednego, wąskiego zakresu spektrum. Technologia ta może działać w szerokim paśmie, obejmującym m.in. podczerwień, promieniowanie terahercowe, a nawet inne obszary niewidoczne dla ludzkiego oka.
Ta właściwość przekłada się na bardzo praktyczne korzyści. Różne długości fali pozwalają dostosować system do konkretnych potrzeb – na przykład do obrazowania i identyfikacji materiałów, które w świetle widzialnym wyglądają podobnie, ale w podczerwieni lub paśmie THz zdradzają zupełnie różne właściwości optyczne. Dzięki temu możliwe jest rozróżnienie metalu od plastiku albo nawet zdrowej i zmienionej chorobowo tkanki – bez konieczności fizycznego kontaktu czy niszczenia próbki.
Obrazowanie w podczerwieni umożliwia widzenie przez materiały, które są nieprzezroczyste dla światła widzialnego, takie jak przyciemnione szyby samochodowe czy cienkie tworzywa. Dzięki temu SPI może być wykorzystywane np. do monitoringu wnętrza pojazdów lub obserwacji przez mgłę albo dym. W warunkach, w których zwykła kamera zawodzi – SPI wciąż działa.
SPI można więc „przestroić” na wybrany zakres spektrum – uzyskując obraz dostosowany do konkretnego problemu badawczego, środowiska pracy lub rodzaju materiału. To tak, jakby mieć nie jedną, lecz całą gamę specjalistycznych kamer – w jednym urządzeniu.
Co przyniesie przyszłość?
Przyszłość obrazowania jednopikselowego wygląda bardzo obiecująco i z potencjałem do zrewolucjonizowania wielu dziedzin. Dzięki zaawansowanym technologiom detekcji i przetwarzania obrazów SPI może znaleźć zastosowanie w medycynie, umożliwiając tworzenie przenośnych urządzeń obrazujących, które są mniej inwazyjne i tańsze niż tradycyjne metody. Może także przyczynić się do lepszego obrazowania w trudnych warunkach, takich jak ratownictwo w zadymionych pomieszczeniach oraz w ciemności.
W przyszłości technologia ta może współpracować ze sztuczną inteligencją, co pozwoli na bardziej precyzyjne analizowanie obrazów i ich rekonstrukcję w czasie rzeczywistym. Dzięki miniaturyzacji urządzeń SPI może stać się częścią nowych systemów monitoringu, detekcji i bezpieczeństwa.
Choć na co dzień korzystamy z aparatów o wysokiej rozdzielczości, obrazowanie jednopikselowe daje nam zupełnie nowe możliwości. Możliwe, że w przyszłości ta metoda zostanie jeszcze bardziej rozwinięta i znajdzie zastosowania, o których dziś nawet nie myślimy. Może pewnego dnia będziemy mieli smartfony z kamerami, które widzą w całkowitej ciemności lub przez ściany? Kto wie – świat technologii zawsze potrafi nas zaskoczyć!