Institute of Fundamental Technological Research

We describe a system allowing a mobile robot equipped with a 3D laser range finder to navigate in the indoor and outdoor environment. A global map of the environment is constructed, and the particle filter algorithm is used in order to accurately determine the position of the robot. Based on data from the laser only, the robot is able to recognize certain classes of objects like a floor, a door, a washbasin, or a wastebasket, and places like corridors or rooms. For complex objects, the recognition process is based on the Haar feature identification. When an object is detected and identified, its position is associated with the appropriate place in the global map, making it possible to give orders to the robot with the use of semantic labels, e.g., “go to the nearest wastebasket”. The obstaclefree path is generated using a Cellular Neural Network, accounting for travel costs with distance or ground quality. This path planning method is fast and in comparison with the potential field method it does not suffer from the local minima problem. We present some results of experiments performed in a real indoor environment.

artificial intelligence, robotics, mapping

In this article we present a navigation system of a mobile robot based on parallel calculations. It is assumed that the robot is equipped with a 3D laser range scanner. The system is essentially based on a dual grid-object, where labels are attached to detected objects (such maps can be used in navigation based on semantic information). We use a classical SMPA (Sense - Model - Plan - Act) architecture for navigation, however, some steps concerning object detection, planning and localization are parallelized in order to speed up the entire process. The CUDA (Compute Unified Device Architecture) technology allows us to execute our algorithms on many processing units with use of a inexpensive graphics card which makes it possible to apply the proposed navigation system in a real time.

navigation, neural network, parallel computing

W pracy omówiono metody określenia zmian położenia robota mobilnego w środowisku 3D. Przedstawiono dwie implementacje filtru cząsteczkowego, których celem jest przyspieszenie obliczeń. Omówiono metodę, w której zmiana położenia i orientacji odbywa się oddzielnie oraz metodę wykorzystującą procesory graficzne w algorytmie lokalizacji.

Filtry cząsteczkowe, lokalizacja, mapowanie 3D

Nowadays mobile robots find application in many areas of production, public transport, security and defense, exploration of space, etc. In order to make further progress in this domain of engineering, a significant barrier has to be broken: robots must be able to understand the meaning of surrounding world. Until now, mobile robots have only perceived geometrical features of the environment. Rapid progress in sensory devices (video cameras, laser range finders, microwave radars) and sufficient computational power available on-board makes it possible to develop robot controllers that possess certain knowledge about the area of application and which are able to reason at a semantic level.

The first part of the paper deals with mobile robots dedicated to operate inside buildings. A concept of the semantic navigation based upon hypergraphs is introduced. Then it is shown how semantic information, useful for mobile robots, can be extracted from the digital documentation of a building.

In the second part of the paper we report the latest results on extracting semantic features from the raw data supplied by laser scanners. The aim of this research is to develop a system that will enable a mobile robot to operate in a building with ability to recognise and identify objects of certain classes. Data processing techniques involved in this system include a 3D-model of the environment updated on-line, rule-based and feature-based classifiers of objects, a path planner utilizing cellular networks and other advanced tools. Experiments carried out under real-life conditions validate the proposed solutions.

semantic navigation, mobile robots, laser scanners

W artykule przedstawiono metodę budowy hybrydowej rastrowo-obiektowej mapy otoczenia mobilnego na podstawie wskazań skanera laserowego 3D. Chmura punktów jest zapisywana w postaci zbioru wektorów normalnych. Składowe wektora są reprezentowane jako składowe RGB. Przeprowadzana jest segmentacja obrazu, a następnie dokonuje się klasyfikacji semantycznej. W procesie klasyfikacji wykorzystuje się cechy Haara oraz systemy regułowe. Każdy wykryty obiekt jest przypisywany do pewnej komórki mapy rastrowej. Mapa utworzona w ten sposób może być następnie wykorzystana w algorytmie nawigacyjnym – ułatwia współpracę robot-człowiek oraz planowanie trasy. Metoda jest kontynuacją algorytmu opisanego w artykule pt. ”Segmentacja danych otrzymanych z dalmierza laserowego 3D”.

nawigacja, reprezentacja środowiska

Otoczenie robota – wnętrze budynku jak i obszar znajdujący się na zewnątrz może być podzielony na fragmenty, którym następnie możemy przypisać pewne znaczenie semantyczne. Przed przystąpieniem do dokonywania klasyfikacji należy jednak dokonać filtracji i segmentacji danych pomiarowych. W poniższym artykule przedstawione zostaną wyniki segmentacji chmury punktów, którą otrzymujemy na podstawie wskazań laserowego skanera 3D. Zastosowano nowatorską technikę, w której dane pomiarowe zamieniane są na postać kartezjańską, następnie obliczane są wektory normalne do powierzchni, na której punkty leżą. Składowe wektora są normalizowane i zapisywane w reprezentacji RGB. W wyniku opisanej transformacji powstaje kolorowy obraz. Dzięki temu problem segmentacji danych w przestrzeni 3D jest sprowadzony do zadania analizy kolorowych obrazów. Umożliwia to zastosowanie znanych z wizji algorytmów: usuwania szumów, rozrostu ziarna i segmentacji. Przeprowadzone eksperymenty w pomieszczeniu zamkniętym i na zewnątrz budynku potwierdziły efektywność przyjętej metody.

segmentacja, mapy 3D

W pracy przedstawiono wyniki badania powierzchni, po której przemieszcza się robot mobilny. Dane uzyskiwane są ze skanera laserowego 3D, zmieniany jest sposób reprezentacji – z biegunowej na kartezjańską. W kolejnym kroku dane 3D są zamieniane na kolorowy obraz 2D, który jest następnie poddawany procesom segmentacji i analizy. Klasyfikacja danych pomiarowych 3D jest przeprowadzana na podstawie wyników analizy obrazów i informacji metrycznej. Wyodrębniono następujące rodzaje powierzchni w pomieszczeniach zamkniętych: podłoga, schody, podesty, progi oraz powierzchnie typu trawa i chodnik, które znajdują się na zewnątrz budynków. Testy przeprowadzono w rzeczywistym środowisku przy pomocy robota Elektron z zamontowanym dalmierzem laserowym 3D.

W poniższej pracy przedstawiono system nawigacyjny robota mobilnego. W procesie planowania trasy wykorzystuje się semantyczną wiedzę o otoczeniu. Robot wyposażony w skaner laserowy 3D analizuje otoczenie i przypisuje obserwowanym obiektom etykiety. Cel, do którego robot ma dotrzec jest wskazywany poprzez podanie nazwy obiektu. Możemy więc wydać polecenie typu jedź do ściany, do drzwi, czy też umywalki. Zastosowano hybrydową rastrowo-obiektową reprezentację otoczenia. W procesie planowania trasy zastosowano sieci komórkowe.

semantyczna nawigacja, roboty mobilne, sieci komórkowe

W artykule przedstawiono system wspomagający pracę operatora zdalnie kontrolowanego pojazdu poprzez wizualizację najbliższego otoczenia jako mapy wysokośsci przeszkód. Informacje o otoczeniu zbierane są za pomocą dalmierzy laserowych 2D dokonujących pomiaru w jednej płaszczyźnie, dane dotyczące umiejscowienia i przechyłów pojazdu dostarczają inklinometr, radarowy czujnik prędkosci oraz moduł GPS. Na podstawie przemieszczania się pojazdu możliwa jest pełna rekonstrukcja środowiska, przy założeniu że jest ono całkowicie statyczne. Przedstawiono wyniki budowania mapy 2,5D dla trzech róznych środowisk: garażu podziemnego, przejazdu między budynkami i parkingu samochodowego.

mapa otoczenia, nawigacja, dalmierze laserowe

In this paper a system for extracting semantic information in indoor and outdoor environment from 3D laser scanner is presented. The largest objects (like walls, floor, ceiling, etc.) are recognized by constructing an RGB image based on normal vectors and applying a simple rule-based system. More sophisticated techniques are used to detect the remaining ones: Haar-like features – to classify small and irregular objects, and Cellular Neural Networks – to distinguish between different types of ground on which the robot is able to operate.

semantic information, laser range finder, navigation