In der heutigen Welt finden Roboter in Industrie und privaten Haushalten zunehmende Verbreitung. Gerade bei kommerziellen Geräten für den Hausgebrauch, wie bspw. autonomen Staubsaugern, ist die Navigation und die Berücksichtigung von umherlaufenden Menschen jedoch oft noch unzureichend. Um die nötige Sicherheit zu gewährleisten, müssen Modelle gefunden werden, die menschliche Bewegungen berücksichtigen und dadurch Kollisionen verhindern können. In dieser Arbeit wird mithilfe von Reinforcement Learning, einem Verfahren zur Entwicklung von Problemlösungsstrategien in unbekannten Domänen, ein Ansatz entwickelt, der durch Extrapolation auf Basis der gegebenen Situation zukünftige Zustände vorausahnt und daraus ein Zustandssignal kodiert, das effiziente Navigation in Heimumgebungen ermöglicht und dabei die Bewohner berücksichtigt und schützt. Die entworfene Lösung funktioniert selbst in unbekannten Wohnräumen sehr gut und ist in ihrer Komplexität unabhängig von der Anzahl der zu berücksichtigenden Bewohner.

Textprobe: Kapitel 2.2, Funktionsapproximation: In allen bisherigen Betrachtungen von RL Anwendungen wurden überschaubare Zustandsräume und diskrete Zustände angenommen, so dass eine tabellarische Speicherung der Wertefunktionen problemlos möglich ist. In komplexen Real-World Problemstellungen liegen hingegen häufig riesige Zustandsräume und kontinuierliche Zustände vor. Ein Beispiel für einen solchen Zustandsraum wäre die Position und Orientierung eines Roboters in einem 2D Raum: Die Koordinaten können über Fließkommazahlen nahezu beliebig genau erfasst werden, und selbst bei einer Diskretisierung auf Zentimeter Genauigkeit hätte ein Raum von zehn mal zehn Metern bereits 1.000.000 Zustände. Wird die Orientierung ebenfalls berücksichtigt, multiplizieren sich die Zustandsmöglichkeiten entsprechend der Genauigkeit. Für einen echten Anwendungsfall, in dem neben diesen Koordinaten noch weitere Parameter wie Umgebung, Ziel o.ä. in die Zustandsbeschreibung einfließen, ist eine solche tabellarische Darstellung daher nicht praktikabel: Nicht nur wäre der Speicherverbrauch zu hoch, auch der Lernvorgang verlängert sich mit der Anzahl der auftretenden Zustände. Um trotzdem Konvergenz zu erreichen, haben sich in der Praxis Funktionsapproximatoren bewährt. Diese sind in der Lage, Funktionen durch wesentlich weniger Parameter zu repräsentieren, als eine Speicherung der Funktion als Tabelle erfordern würde. Der Preis dafür ist eine geringere Genauigkeit als eine tabellarische Speicherung bieten kann und je nach Verfahren auch ein nicht unwesentliches Einbüßen von Geschwindigkeit. Funktionsapproximatoren wie Neuronale Netze, Support- Vektor-Maschinen oder die Least Squares Methode sind bereits seit langem bekannt, gründlich untersucht und werden auch bei anderen Lernverfahren, bspw. überwachtem Lernen eingesetzt. Im Folgenden sollen zwei Approximationsmethoden vorgestellt werden, die für RL Anwendungen besonders geeignet sind, deren erfolgreiche Einbettung hinreichend belegt ist und die für die Problemstellung dieser Arbeit vielversprechend erscheinen.

• Reinforcement Learning

• Roboter

• Künstliche Intelligenz

• C++

• Navigation

• Roboternavigation

Ruben Gerlach, geb. 1985 in Datteln, NRW, studierte in Berlin an der Technischen Universität Informatik mit den Schwerpunkten Künstliche Intelligenz und Computer Graphics. Er schloss sein Studium als Diplom-Informatiker in der Regelstudienzeit mit der Note sehr gut ab. Bereits im Alter von zwölf Jahren entdeckte der Autor die Programmierung für sich und begeistert sich seitdem für die Entwicklung von Computerspielen und verwandten Disziplinen. So stellte er nach dem Abitur die ersten Spiele fertig und wirkte während des Studiums in einer freien Berliner Spieleschmiede an den ersten größeren Projekten mit. Derzeit arbeitet Gerlach als Freelancer und entwickelt im Auftrag kleiner und großer Klienten Computerspiele und andere interaktive Softwareprojekte. Seine persönliche Homepage ist unter http://www.evil-software.com zu finden. Die in dieser Arbeit vorgestellten Ergebnisse wurden unter anderem auf der European Conference on Artificial Intelligence veröffentlicht:http://www.erlars.org/2010/ERLARS2010-Proceedings.pdf.