MA/HiWi: Aufbau und Evaluation einer Radar-Kamera-Plattform zum automatisierten Labeln von Radardaten
Aufgabenstellung (kann inhaltlich angepasst werden):
Smart Home Anwendungen finden immer mehr Einzug in den Alltag vieler Menschen. Durch Audio- und Kamerasystemen sind Sprach- und Gestensteuerrungen bereits in einigen Haushalten etabliert. Jedoch greifen sie durch die audiovisuelle Sensorik relativ stark in die Privatsphäre der Menschen ein. Radarsensoren bieten dabei einen entscheidenden Vorteil, da die Daten keinen unmittelbar erkennbaren Personenbezug besitzen. Für private aber auch öffentliche Gebäude stellen sie daher viele attraktive Möglichkeiten dar, Aufgaben mit Personenbezug auch mit gehobenen datenschutzrechtlichen Ansprüchen zu übernehmen. Sie können beispielsweise zur Detektion von Personen im Gebäude, zur Messung der Vitalparameter sowie deren generellen Bewegungen verwendet werden.
In dieser Arbeit soll eine am Lehrstuhl vorhandene Radarplattform verwendet werden, um Radardaten im häuslichen Umfeld zu generieren, welche anschließend automatisiert für das Training von Neuronalen Netzen gelabelt werden sollen. Hierfür steht eine RGB-Kamera mit Tiefenauflösung (Azure Kinect DK) zur Verfügung. Mit Hilfe der Kamera soll derselbe Objektbereich wie mit dem Radar überwacht werden und die Objekte durch ein bereits vortrainiertes Neuronales Netz (z.B. Detectron2) im Kamerabild segmentiert und klassifiziert werden. Dabei muss evaluiert werden, ob und wie genau die beiden Sensoren miteinander zeitlich und räumlich synchronisiert werden müssen. Ist eine ausreichende Synchronisierung sichergestellt, soll das automatische Labeln der Radardaten erfolgen. Abschließend soll mit den gelabelten Radardaten ein Neuronales Netz trainiert werden, welches die Anwesenheit von Personen und ihre Bewegung bzw. Gesten im Raum klassifiziert.
Zu bearbeitende Punkte:
- Implementierung eines Klassifikationsnetzes auf Basis von Bilddaten
- Untersuchung der notwendigen Synchronisierung der beiden Sensoren
- Automatisiertes Labeln der Radardaten durch Kameralabels
- Implementierung eines Neuronalen Netzes zur Personenerkennung mit Hilfe von Radaren
Betreuer: Lukas Engel (M.Sc.), Prof. Dr.-Ing. Martin Vossiek
Ausgabetermin: ab sofort
Voraussetzungen: Grundkenntnisse in Python, Radarsignalverarbeitung und Machine Learning
Kontakt:
Lukas Engel, M. Sc.
- Telefon: +49 9131 85-65181
- E-Mail: lukas.le.engel@fau.de