NVIDIA Jetson TX2

Von appliedAI habe ich eine Nvidia Jetson TX2 bekommen. Dies wird meinen Raspberry Pi  und den Atmega32 ersetzen.

Die Jetson CPU hat zwei Denver Kerne und vier Cortex-A57 Kerne. Die Denver Kerne bieten eine wesentlich höhere Singlethread performance, die Kortex Kerne sind sparsamer.  In dem Modul ist auch eine 256 Core Pascal GPU integriert welche sich super für das inferencing von tiefen neuronalen Netzen eignet.

Der Raspi und der Atmel Atmega32 sind jetzt mit der Nvidia Jetson ersetzt. Die Antennen rechts im Bild an dem Board sind für WLAN.

Autonomes Schiff

Ein anderes Projekten an dem wir zur Zeit arbeiten, ist ein autonomes Schiff. Hier soll erst nur die perception pipeline entworfen, implementiert und getestet werden um herauszufinden, welche Sensoren wirklich gebraucht werden, welche Probleme es gibt und welche Algorithmen eingesetzt werden können. Das planning und control wird dann zu einem späteren Zeitpunkt entwickelt.

Wir benutzen Kameras, LiDARs, GPS, IMU und Accelerometer für unsere Navigation. Später könnten dann noch Radar oder etwa AIS Daten hinzukommen.

Die Daten der SICK 3D LiDARs benutze ich um SLAM mit dem Google Cartographer zu machen. Dieser Algorithmus ist zur Zeit state of the art, was LiDAR SLAM angeht. Das Paper zu dem Algorithmus, allerdings für 2D Daten, kann man sich hier durchlesen.

Die LiDARs habe ich mit unseren Kameras kalibriert, so haben wir zusätzlich zu den Tiefeninformationen auch RGB Daten, was sich für die Objekterkennung nutzen lässt.

In ein paar Wochen werden wir unser System auf einem Schiff montieren und dann ausgiebig testen. Ich bin gespannt!

Autonome Drohne

Eines meiner Projekte an denen ich bei appliedAI arbeite ist eine autonome Drohne welche indoor navigiert. Das Einsatzgebiet und -Zweck soll allerdings zur Zeit noch geheim bleiben.

Die Drohne ist ausgestattet mit einer ToF RGBD Kamera und einem (relativ) leistungsstarken onboard Rechner. Einer meiner Aufgaben in diesem Projekt ist die Realisierung der Navigation und Stabilisierung, da GPS in geschlossenen Räumen nicht verfügbar ist.

Zur Zeit benutze ich eine Implementierung des ORB-SLAM 2, da dieser sehr effizient läuft und wir keine dichte Karte unserer Umgebung brauchen. Die Genauigkeit ist sehr gut, allerdings macht der SLAM bei der Initialisierung noch Probleme, gerade wenn nicht viele Key-Points im Sichtfeld der Kamera sind.

AppliedAI

Seit Dezember 2017 bin ich Junior AI Engineer bei appliedAI, eine Initiative welche zum Ziel hat den Einsatz von künstlicher Intelligenz in der Industrie und Gesellschaft zu beschleunigen.

Wir arbeiten mit verschiedensten Partnern zusammen und ein Netzwerk an Firmen, Startups und Experten aufzubauen, entwicklen mit Partnern zusammen Prototypen und bilden im Bereich KI weiter.

Meine Aufgaben sind das Entwickeln an Robotik-Projekten, speziell SLAM, sensor fusion und Navigation. Aber auch deep learning für Robotik und Projekt Management sind Teil meiner Arbeit!

Ich habe mir nun ein Semester Zeit genommen um Vollzeit bei appliedAI zu arbeiten.