Multispectral Intelligent Vision System with Embedded Low-Power Neural Computing
Wielospektralny Inteligentny System Wizyjny o Niskim Poborze Mocy i Wielopoziomowej Architekturze Neuronowej
Project type: Research and development
Keywords: analiza obrazów architektury neuromorficzne obliczenia analogowe obliczenia peryferyjne sztuczna inteligencja i uczenie maszynowe
Keywords (english): Articial Intelligence and Machine Learning neuromorphic architectures analog computing event-based vision edge-computing
Consortium members: TEKNOLOGIAN TUTKIMUSKESKUS VTT OY (VTT) Politechnika Łódzka (Lodz University of Technology) GESELLSCHAFT FUR ANGEWANDTE MIKRO UND OPTOELEKTRONIK MIT BESCHRANKTERHAFTUNG AMO GMBH (AMO) BERGISCHE UNIVERSITAET WUPPERTAL (BUW) KOVILTA OY (Kovilta) UNIVERSIDAD DE SANTIAGO DE COMPOSTELA (USC) FRAUNHOFER GESELLSCHAFT ZUR FOERDERUNG DER ANGEWANDTEN FORSCHUNG E.V. (Fraunhofer) POLITECHNIKA LODZKA (TUL) LABORATOIRE NATIONAL DE METROLOGIE ET D' ESSAIS (LNE) LUNDS UNIVERSITET (ULUND)
Project implementation period: 1/01/2021 - 31/12/2024
Funding institution: KOMISJA EUROPEJSKA
Program name: Horyzont 2020
Project manager: Krzysztof Ślot
Funding value: 4 969 451,25 PLN
Total project value: 4 969 451,25 PLN
Celem projektu badawczego MISEL („Wielospektralny Inteligentny System Wizyjny o Niskim Poborze Mocy i Wielopoziomowej Architekturze Neuronowej”) jest opracowanie i fizyczna realizacja inteligentnego systemu wielospektralnej analizy obrazów o biologicznie inspirowanej architekturze w postaci specjalizowanego układu scalonego wielkiej skali integracji. Projekt jest realizowany przez konsorcjum dziewięciu jednostek o komplementarnych kompetencjach: optoelektronika (Instytut Fraunhofera, AMO GmBH, Uniwersytet Wuppertal – Niemcy, Uniwersytet Lund – Szwecja), technologia (VTT Technology Center of Finland – Lider oraz Kovilta – Finlandia), elektronika i przetwarzanie obrazów (Uniwersytet Santiago de Compostella USC – Hiszpania), metrologia (LNE – Francja) oraz sztuczna inteligencja i uczenie maszynowe (Politechnika Łódzka, USC). Danymi poddawanymi analizie w opracowywanym systemie będą obrazy pozyskiwane przez specjalnie do tego celu zaprojektowane detektory światła podczerwonego (bazujące na kropkach kwantowych) i widzialnego (konwencjonalne detektory CMOS). Informacja wejściowa będzie miała charakter ‘zdarzeniowy’ - rejestracji podlegać będą tylko zmiany treści obserwowanej sceny. Potencjalnymi dziedzinami zastosowań systemu będzie budowa energooszczędnych, autonomicznych urządzeń, dokonujących inteligentnej analizy pozyskiwanej informacji obrazowej, a szczegółowymi rozważanymi aplikacjami będzie monitorowanie i detekcja sytuacji niebezpiecznych w ruchu drogowym, monitorowanie aktywności osób starszych i sygnalizacja zdarzeń stanowiących odstępstwa od normy lub monitorowanie miejsc publicznych i wykrywanie sytuacji zagrożenia. Obszarem badań prowadzonych przez Zespół Politechniki Łódzkiej jest przede wszystkim opracowanie architektury obliczeniowej centralnego, neuromorficznego procesora projektowanego systemu (cortex processor), który w połączeniu z dwoma innymi modułami analizy rejestrowanej informacji optycznej: procesorem komórkowym (cellular processor - niskopoziomowe przetwarzanie wstępne) i procesorem ruchu (cerebellar processor) realizują ścieżkę przetwarzania i analizy pozyskiwanej informacji. Głównymi celami analizy informacji dokonywanej przez centralny procesor systemu jest kompleksowa analiza monitorowanego otoczenia, pozwalająca na ocenę bieżącej sytuacji, jej konfrontację z założonymi do realizacji zadaniami i podejmowanie odpowiednich decyzji, inicjujących odpowiednie działania lub akcje. Zaproponowana wstępnie architektura obliczeniowa modułu to synteza klasycznego, neuronowego ekstraktora cech i symbolicznej architektury wektorowej (zwanej również koncepcją przetwarzania hiperwymiarowego). Obydwa komponenty centralnego procesora mają neuromorficzny rodowód. Pierwszy komponent to konwolucyjna sieć neuronowa, trenowana z użyciem wielokryterialnej funkcji celu, ukierunkowanej na zapewnienie holistycznego charakteru wydzielanej informacji. Pierwszym kryterium stosowanym do uczenia ekstraktora jest maksymalizacja skuteczności klasyfikacji dokonywanej na podstawie wypracowanej przez ekstraktor reprezentacji ukrytej. Drugim – jest maksymalizacja dyskryminatywności przestrzeni ukrytej – dążenie do jej semantycznego różnicowania, uwypuklającego jakościowe cechy składowe struktur, poddawanych analizie w systemie. Wreszcie, trzecim kryterium uczenia jest zachowanie w informacji ukrytej kompletnej wiedzy o istotnych elementach analizowanych obrazów. Metodą wdrożenia wymienionych kryteriów jest użycie architektury neuronowej, zawierającej jeden komponent wejściowy – ekstraktor cech, i trzy osobne komponenty wyjściowe: dyskryminator, klasteryzator i auto-enkoder. Trening struktury będzie realizowany poza układem – do systemu przeniesiony zostanie wyłącznie nauczony moduł ekstraktora cech. Analiza informacji wydzielonej przez ekstraktor cech będzie dokonywana w module przetwarzania hiperwymiarowego – architektury inspirowanej wiedzą o sposobie przetwarzania reprezentacji abstrakcyjnych pojęć w mózgu człowieka, dodatkowo, bardzo atrakcyjnej z punktu widzenia ograniczeń realizacji fizycznej narzucanych przez technologię VLSI. Przetwarzanie hiperwymiarowe pozwala na realizację różnych złożonych analiz informacji – rozpoznawania i regresji struktur statycznych, rozpoznawania i regresji sekwencji oraz wnioskowań, w jednorodnej strukturze obliczeniowej. Realizacja głównego zadania Zespołu PŁ wymaga również dodatkowego zaangażowania w opracowanie założeń funkcjonalnych pełnej procedury przetwarzania danych i wzajemnych powiązań między modułami wykonującymi kolejne etapy tej procedury. W szczególności, Zespół PŁ uczestniczy w określeniu funkcjonalnych założeń dla dwóch pozostałych procesorów systemu: komórkowego i ruchu, definiując ich role i wstępne analizy, niezbędne dla poprawnego funkcjonowania procesora centralnego. W szczególności, istotną funkcją przetwarzania wstępnego będzie identyfikacja regionów zainteresowania, stanowiących argumenty analizy procesora centralnego, za co odpowiadać będzie procesor komórkowy. Możliwą informacją dodatkową dla procesora centralnego będzie też estymacja i predykcja przemieszczeń obiektów lub ich części, dokonywana przez procesor ruchu.
MISEL aims at bringing artificial intelligence to the edge computing (decisions made on-device) through a low-power bio-inspired vision system with multi-spectral sensing and in sensor spatio-temporal neuromorphic processing based on complex events. The science-to-technology breakthrough is the heterogeneous integration of a neuromorphic computing scheme featuring three different abstraction levels (cellular, cerebellar and cortex processors) with high-density memory arrays and adaptive photodetector technology for fast operation and energy efficiency. The context-aware, low power and distributed computation paradigm supported by MISEL is promising alternative to the current approach relying on massive-data transfers and large computational resources, e.g., workstations or cloud servers. This answers to the challenges and related scope presented in the Work Programme towards "more complex, brain mimicking low power systems" "exploiting a wider range of biological principles from the hardware level up" by introducing the human eye like adaptivity with cellular processor and the data fusion, learning, reasoning, and “conscious” decisions performed by the cortex. The stand-alone system fabricated in MISEL will be tested on timely and challenging applications such as distinguishing birds from drones through their spatio-temporal flying signature, and scene anomaly detection from a mobile platform. From the technology development and industrialization point of view, MISEL includes the whole value chain: materials research for back-end of line (BEOL) processing-compatible densely-packed ferroelectric non-volatile memories (FeRAMs) and intensity adaptive photodetectors, novel neuromorphic computing algorithms and circuit implementations, and system level benchmarking. This is all in line with the challenge and scope of "outperforming conventional SoA with relevant metric" and benchmarking "challenging end-to-end scenarios of use" for industrial adaptation.
Go back