Sony wprowadza pierwsze na świecie inteligentne czujniki wizyjne z funkcją przetwarzania opartego na sztucznej inteligencji

Możliwość wprowadzania szybkiego przetwarzania Edge AI i krok ku budowie optymalnych systemów powiązanych z chmurą.

 

 

Sony Corporation zapowiedziało wprowadzenie dwóch modeli inteligentnych czujników wizyjnych, będących pierwszymi na świecie przetwornikami obrazu z funkcją przetwarzania opartego na sztucznej inteligencji (AI)^*1 Wprowadzenie funkcji przetwarzania AI w samym przetworniku obrazu umożliwia szybkie przetwarzanie Edge AI i selekcjonowanie tylko potrzebnych danych, co w przypadku użycia serwisów chmurowych oznacza mniejsze opóźnienia w transmisji, lepszą ochronę prywatności oraz niższe zużycie energii i koszty łączności.

*1 Wśród przetworników obrazu. Na podstawie badań przeprowadzonych przez firmę Sony (stan na dzień ogłoszenia — 14 maja 2020 r.).

Nowe produkty zwiększą możliwości opracowywania kamer i aparatów wyposażonych w sztuczną inteligencję. Stworzą szereg nowych zastosowań w handlu detalicznym i sektorze urządzeń przemysłowych, przyczyniając się do budowy optymalnych systemów łączących z chmurą.

Nazwa modelu	Data dostawy egzemplarza próbnego	Cena egzemplarza próbnego (bez podatku)
IMX500: inteligentny czujnik wizyjny typu 1/2,3″ (przekątna 7,857 mm), efektywnie około 12,3 megapiksela (sam układ)	Kwiecień 2020 r.	około 10 000 jenów japońskich
IMX501: inteligentny czujnik wizyjny typu 1/2,3″ (przekątna 7,857 mm), efektywnie około 12,3 megapiksela (w obudowie)	Czerwiec 2020 r. (planowana)	około 20 000 jenów japońskich

Rozwój Internetu rzeczy (IoT) spowodował powstanie najróżniejszych urządzeń połączonych z chmurą, w wyniku czego powszechne stały się systemy do przetwarzania informacji, w których dane pochodzące z takich urządzeń są przetwarzane przez sztuczną inteligencję w chmurze. Wzrost ilości informacji obsługiwanych przez chmurę rodzi jednak różne problemy: większe opóźnienia w transmisji danych utrudniające przetwarzanie w czasie rzeczywistym, obawy o bezpieczeństwo w przypadku użytkowników o których sądzi się, że przechowują w chmurze dane umożliwiające identyfikację osób, a także większy pobór mocy i wyższe koszty transmisji danych generowane przez usługi chmurowe.

Nowe przetworniki mają konfigurację warstwową i składają się bloku pikseli i bloku układów logicznych. Są pierwszymi na świecie przetwornikami obrazu, w których funkcje analizy i przetwarzania obrazu z użyciem sztucznej inteligencji są realizowane przez sam blok układów logicznych. Sygnał rejestrowany przez blok pikseli jest przetwarzany z użyciem sztucznej inteligencji w samym przetworniku. Eliminuje to zapotrzebowanie na wydajne procesory i zewnętrzną pamięć, umożliwiając rozwój systemów Edge AI. Wyjściowymi danymi z przetwornika nie są informacje o obrazie, tylko metadane (informacje semantyczne należące do danych o obrazie), co pomaga rozwiązać problem dużej ilości danych i ochrony prywatności. Co więcej, sztuczna inteligencja pozwala zapewnić różnorodne funkcje o uniwersalnych zastosowaniach, takie jak śledzenie obiektów w czasie rzeczywistym z szybkim przetwarzaniem AI. Możliwość zastępowania danych w wewnętrznej pamięci pozwala wybierać różne modele AI, dostosowane do wymagań użytkownika lub warunków w miejscu, w których używany jest system.

Główne cechy

■ Pierwszy na świecie przetwornik obrazu z funkcją przetwarzania opartego na sztucznej inteligencji (AI)

Blok pikseli jest wykonany w technologii BSI. Jego efektywna rozdzielczość wynosi około 12,3 megapiksela, co umożliwia rejestrację informacji przy szerokim kącie widzenia. Z kolei blok układów logicznych zawiera nie tylko standardowe obwody przetwornika obrazu, lecz także pamięć modelu AI oraz firmowy procesor sygnałowy (DSP) Sony przeznaczony do przetwarzania sygnału z użyciem sztucznej inteligencji. Taka konfiguracja eliminuje zapotrzebowanie na wydajne procesory i zewnętrzną pamięć, dzięki czemu idealnie sprawdza się w systemach Edge AI.

■ Wyjściowe metadane

Sygnały rejestrowane przez blok pikseli przechodzą przez procesor obrazu (ISP), a przetwarzanie z użyciem sztucznej inteligencji odbywa się w bloku układów logicznych. Wyselekcjonowane informacje pojawiają się na wyjściu jako metadane, zmniejszając ilość obsługiwanych danych. Ponieważ na wyjściu układu nie muszą pojawiać się informacje o obrazie, maleje zagrożenie dla bezpieczeństwa i obawy o prywatność. Oprócz rejestracji obrazu przez standardowy przetwornik obrazu użytkownicy mogą wybrać format danych wyjściowych dostosowany do własnych potrzeb i zastosowań. Ustawienia obejmują wyjściowy format obrazu z procesora ISP (YUV/RGB) oraz obrazy z wyselekcjonowanym określonym obszarem (region zainteresowania — Region of Interest).

■ Szybkie przetwarzanie z użyciem AI

Kiedy do nagrywania materiału wideo służy standardowy przetwornik obrazu, do systemu przetwarzania AI trzeba przesłać informacje o każdej klatce wyjściowego obrazu, co zwiększa ilość przesyłanych danych i utrudnia uzyskanie działania w czasie rzeczywistym. Nowe przetworniki Sony wykonują przetwarzanie obrazu i szybkie przetwarzanie z użyciem AI (3,1 milisekundy dla architektury MobileNet V1^*2) na poziomie bloku układów logicznych, realizując cały proces w jednej klatce obrazu wideo. Taki system pozwala zapewnić dokładne śledzenie obiektów w czasie rzeczywistym przy nagrywaniu filmów.

*2 MobileNet V1: model sztucznej inteligencji do analizy obrazu na urządzeniach mobilnych, służący do rozpoznawania obiektów.

■ Możliwość wyboru modelu AI

Użytkownik może zapisywać w wewnętrznej pamięci wybrane przez siebie modele AI oraz zastępować je i aktualizować odpowiednio do własnych wymagań lub warunków w miejscu, w których używany jest system. Przykładowo, jeśli w miejscu sprzedaży detalicznej zainstalowanych jest wiele kamer wykorzystujących ten produkt, można używać jednego rodzaju kamery, uzyskując uniwersalność w różnych miejscach, okolicznościach, godzinach lub zastosowaniach. Kamera znajdująca się w wejściu do obiektu umożliwi zliczanie wchodzących klientów, zainstalowana na półce — wykrywanie braków towaru, a pod sufitem — tworzenie map ciepła (wykrywanie miejsc, w których gromadzi się dużo osób). Co więcej, model AI w danej kamerze będzie można zmienić, by na przykład zastąpić tworzenie map ciepła identyfikacją zachowań konsumentów

Najważniejsze cechy

Nazwa modelu	IMX500 (sam układ)	IMX501 (produkt w obudowie)
Efektywna liczba pikseli	4056 (poziomo) x 3040 (pionowo), około 12,3 megapiksela
Rozmiar obrazu	Przekątna 7,857 mm (typ 1/2,3″)
Rozmiar piksela	1,55 μm (poziomo) × 1,55 μm (pionowo)
Liczba klatek na sekundę	Wszystkie piksele	60 kl./s
Obraz filmowy	4K (4056 × 2288) 60 kl./s
1080p 240 kl/s
Wszystkie piksele / obraz filmowy + przetwarzanie AI	30 kl./s
Wyjście metadanych	30 kl./s
Czułość (wartość standardowa F5.6)	Około 250 LSB
Poziom sygnału przy nasyceniu przetwornika (wartość minimalna)	Około 9610e-
Zasilanie	Analogowe	2,7 V
Cyfrowe	0,84 V
Interfejs	1,8 V
Główne funkcje	Funkcja przetwarzania z użyciem AI, procesor obrazu (ISP), zdjęcia HDR
Wyjście	MIPI D-PHY 1.2 (4 kanały) / SPI
Matryca filtra barw	Matryca Bayera
Format wyjściowy	Obraz (Bayer RAW), wyjście z procesora obrazu (YUV/RGB), region zainteresowania (Region of Interest), metadane
Obudowa	—	Ceramiczna LGA 12,5 mm (poziomo) × 15,0 mm (pionowo)