Instytut Podstawowych Problemów Techniki

UMO-2020/39/B/ST8/02615

2021-07-12 / 2025-07-11

Jedyny wykonawca

NCN

OPUS

20

The idea that we learn by interacting with our environment is probably the first to occur to us when we think about the nature of learning /Sutton & Barto, 2020/ Opis projektu: Celem projektu jest rozwój i weryfikacja fundamentalnie nowego i dotychczas nierozpo-znanego podejścia do sterownia konstrukcjami: 1) Opracowanie, adaptacja i zastosowanie algorytmów maszynowego uczenia ze wzmocnieniem do zagadnień sterowania konstrukcjami. 2) Analiza i optymalizacja ich efektywności i odporności w zadaniach półaktywnego, globalnego i zdecentralizowanego tłumienia drgań konstrukcji. 3) Weryfikacja efektywności opracowanych metod (numeryczna i eksperymentalna). *Motywacja* Aktywne sterowanie konstrukcjami można skrótowo określić jako – potencjalnie niebezpieczne – przeciwdziałanie siłami zewnętrznymi. Sterowania półaktywne polega natomiast na fundamentalnie innej, zainspirowanej przyrodą idei dynamicznej samo-adaptacji, tj. energooszczędnej adaptacji lokalnych własności konstrukcji. Układy sterowania konstrukcjami projektuje się zazwyczaj z wykorzystaniem klasycznych technik analitycznych. Takie techniki są efektywne w zagadnieniach aktywnego sterowania konstrukcjami liniowymi. Znacznie trudniej jest je jednak zastosować w wypadku sterowania półaktywnego. Wynika to z istoty półaktywnych aktuatorów, które są energooszczędne i zwykle bezpieczne w razie awarii, ale trudne w efektywnym opisie metodami klasycznymi. Główną motywacją projektu jest potrzeba nowych, efektywnych i odpornych technik półaktywnego sterowania konstrukcjami. *Metoda* Uczenie ze wzmocnieniem (RL), nurt uczenia maszynowego, polega na idei uczenia się poprzez bezpośrednią interakcję z otoczeniem. Zastosowanie technik RL umożliwiło ostatnio osiągnięcie niezwykłych wyników: począwszy od nadludzkiego poziomu gry w szachy i Go, poprzez wznoszenie termiczne szybowców i pływanie falowaniem ciała, aż po autonomiczną jazdę samochodów. Dwie cechy algorytmicznej struktury RL (poszukiwanie metodą prób i błędów oraz wykorzystanie opóźnionego wzmocnienia) sprawiają, że RL doskonale nadaje się do zastosowania w trudnych problemach sterowania konstrukcjami. RL w tym obszarze jest jednak w dużym stopniu ignorowane! Dotychczas opublikowano zaledwie kilka prac, które – choć pionierskie – są ograniczone i dotyczą sterowania aktywnego oraz relatywnie prostych konstrukcji lub architektur RL. Celem projektu jest wypełnienie tej luki. *Badania* Zamiast projektować algorytmy sterowania wprost, wykorzystamy techniki RL do autonomicznej nauki algorytmów metodą prób i błędów, poprzez wielokrotną interakcję z symulowanymi środowiskami wirtualnymi. Podstawowe narzędzia zbudujemy zaczynając od prostych konstrukcji i celów sterowania. Następnie rozważymy zdecentralizowane sterowanie konstrukcjami modularnymi i uogólnimy algorytmy tak, aby były skuteczne w różnych geometrycznych konfiguracjach modułów oraz wykorzystywały czujniki jedynie ze swojego najbliższego otoczenia. Doprowadzi to do sterowanych konstrukcji modularnych "plug-and-play". Dalszym celem będzie opracowanie sterowania na tyle odpornego na błędy, by być stosowalne do konstrukcji rzeczywistych. W trakcie badań dostosujemy, zaproponujemy i wykorzystamy szereg koncepcji: uczenie i sterowanie zespołowe, architekturę typu „actor-critic” itp. Efektywność algorytmów zostanie oceniona numerycznie i eksperymentalnie oraz porównana do wybranych algorytmów klasycznych. *Spodziewane efekty* Drgania konstrukcji to problem powszechny. Projekt przyczyni się do rozwoju efektywnych, lekkich i bezpiecznych konstrukcji poprzez opracowanie odpornych algorytmów energooszczędnego sterowania półaktywnego. W szczególności opracujemy 1) Nowe techniki RL uczące się odpornych algorytmów sterowania, stosowalnych globalnie i lokalnie do złożonych konstrukcji, w tym konstrukcji modularnych. 2) Nowe algorytmy półaktywnego sterowania konstrukcjami. 3) Specyficzne techniki RL promujące uogólnione, odporne algorytmy sterowania (uczenie i sterowanie zespołowe).