Ziel war zunächst einmal das möglichst exakte Heranfahren an eine aufgestellte Flasche. Aber wie wird eigentlich die Distanz berechnet?
Zwei jeweils zusammengehörige Bilder verdeutlichen die "Sichtweise" des Roboters: Oben sieht man das RGB-Bild, unten das der Tiefenkamera. Bei den Tiefenbildern sind nahe Entfernungen blau eingefärbt und weite Entfernungen rot. Der Farbverlauf ähndelt dem des HSV-Farbraums, jedoch startet der Verlauf der Tiefenkamera bei Dunkelblau und endet bei Rot.
Fehlende Tiefeninformationen (von Schatten oder absorbierenden Flächen) sind dunkelblau eingefärbt. Die Entfernung wird dabei mit "0" angegeben, was allerdings nicht die richtige Entfernung ist. Der Algorithmus konnte solchen Pixeln schlichtweg keine Tiefeninformation zuweisen. Da es sich bei der Kamera um eine Stereokamera handelt, entsteht bei der Flasche ein linksseitiger Schatten. Auch für solche Pixel konnte keine Tiefeninformation zugeordnet werden.
Die abschließende Objekterkennung erfolgt über ein neuronales Netzwerk, mit dessen Hilfe die zum Objekt gehörenden Pixel identifiziert werden können, um anschließend die genaue Entfernung zu berechnen.