Es ist wohl ein Leichtes dem Rotrics Dexarm über wenig Zeilen Code die Anweisung zu geben an Position X Y Z zu fahren und einen 20 mm Schnitt auf einer Banane mit dem über den Pen Holder fixierten Skalpell in eine vorgegebene Richtung zu machen. Es wird erst schwierig, wenn man dem Roboter das Sehen beibringen will, sodass ER entscheidet, wo der Schnitt gesetzt werden muss. Und genau das wird in diesem Reel gezeigt. Saranda aus unserem BioMedLab hat in ihrer Bachelorarbeit Computer Vision als Ansatz für die Unterstützung einer Robotersteuerung gewählt und einen Schritt weiter in Richtung Autonomie gemacht.
Dazu wählte sie geeignete Hardwarekomponenten aus, wie den Pen Holder von Rotrics und die Intel RealSense Tiefenkamera D435i. Sie setzt eine Deep-Learning-basierte Objektsegmentierung in Echtzeit ein, um die Objekterkennung zu ermöglichen und schrieb Algorithmen für die Positionsbestimmung der Objekte und die Robotersteuerung auf Grundlage der Bilddaten.