Smart IR - KI-basierte Infrarotsensoren

Die Verlagerung der Künstlichen Intelligenz (KI) von der Cloud in die Edge, also hin zu den Sensoren, bietet große Vorteile für Anwendungen, die auf Echtzeit-Datenverarbeitung angewiesen sind. Edge-AI in direkter Nähe zum Sensor reduziert die Latenzzeiten drastisch, da weniger Daten über Netzwerke an zentrale Server gesendet werden müssen. Zudem entlastet sie die Kommunikationsinfrastruktur und schützt sensible Daten, da die Verarbeitung lokal erfolgt. Gerade für energieintensive Prozesse wie die Personendetektion ist dies von Vorteil, da die Verarbeitungsleistung mit minimalem Energiebedarf direkt am Einsatzort bereitgestellt wird. Die Integration von Edge-AI in Sensoren ermöglicht es, hochskalierbare und autonome Systeme zu entwickeln, die in Echtzeit reagieren können, ohne auf Cloud-Ressourcen angewiesen zu sein.

Das langfristige Ziel der Heimann Sensor GmbH ist die Entwicklung eines smarten Edge-Devices, das den bildgebenden Infrarotsensor auf Basis von Thermopile Arrays von Heimann Sensors mit einem innovativen KI-Chip des Fraunhofer IPMS kombiniert. Dieser KI-Chip basiert auf einer In-Memory-Computing-Hardware, die mit einer neuartigen Speichertechnologie entwickelt wurde. Hierauf sollen moderne Methoden zur energieeffizienten Personendetektion und -verfolgung in Echtzeit ausgeführt werden. Im aktuellen Projekt wird zunächst eine Demonstrator-Lösung entwickelt. Diese zielt darauf ab, zentrale methodische und technische Aspekte der Endlösung zu validieren. Das Projekt strebt dabei einen Technologiereifegrad (TRL) von 5-6 an, was einer prototypischen Lösung in einer realistischen Einsatzumgebung entspricht.

Konkret wird im Projekt eine erste Version des KI-Chips (aus der Prozesslinie N des Fraunhofer IPMS) getestet. Hierfür werden zwei Demonstratoren entwickelt: ein Board mit einem In-Memory-Computing-Speicher-Makro auf Basis ferroelektrischer Feldeffekttransistoren (FeFETs) sowie eine FPGA-Implementierung der gesamten Beschleuniger-Architektur. Das FPGA dient als Zwischenlösung, um erste Anwendungen zur Objekterkennung und -verfolgung zu realisieren und die Anbindung an das Thermopile-Array zu demonstrieren. Die Kommunikation zwischen dem KI-Chip und dem Thermopile-Chip erfolgt über UDP an ein von Heimann bereitgestelltes Sensormodul.