W artykule omawiamy regulacje dotyczące ryzyka związanego z wykorzystaniem sztucznej inteligencji w urzędach oraz warunki jej bezpiecznego stosowania. Największym ryzykiem nie jest bowiem sama AI, lecz brak świadomości i nadzoru nad jej wykorzystaniem. Jeśli kierownictwo urzędu nie zna zakresu stosowania takich narzędzi, nie ustala zasad ich użycia ani nie monitoruje zagrożeń, może to prowadzić do nieprzejrzystych decyzji, błędów, naruszenia praw obywateli lub niezgodności z przepisami.
Sztuczna inteligencja stała się częścią codziennej pracy jednostek samorządu terytorialnego. Wielu wójtów, burmistrzów i starostów uważa, że AI w ich urzędzie ogranicza się do prostego chatbota, asystenta do publikowania postów na Facebooku lub programu do tłumaczenia tekstów. Takie podejście może jednak prowadzić do utraty czujności. Problem pojawia się, gdy algorytm, często niewidoczny w zakupionym systemie, wpływa na prawa mieszkańców, dostęp do usług publicznych, sytuację pracowników urzędu lub bezpieczeństwo obywateli.
Wraz z wejściem w życie unijnego AI Act administracja samorządowa zaczyna funkcjonować w nowej rzeczywistości prawnej. Brak rozpoznania korzystania z systemów wysokiego ryzyka może skutkować naruszeniem praw podstawowych, dyskryminacją algorytmiczną, sankcjami administracyjnymi, odpowiedzialnością na gruncie RODO, kontrolami oraz poważnymi konsekwencjami organizacyjnymi i wizerunkowymi. Okres beztroskich innowacji dobiegł końca, obecnie konieczne jest zarządzanie ryzykiem. Do tego zobowiązują również polskie przepisy dotyczące kontroli zarządczej i analizy ryzyka przy realizacji zadań JST.
AI Act nie wymaga, aby samorząd stał się firmą programistyczną, by spełnić nowe obowiązki. Ustawodawca unijny zakłada, że administracja publiczna jest i pozostanie masowym użytkownikiem AI, co potwierdzają szybki rozwój i rosnąca popularność tych technologii.
Systemy wspierające decyzje urzędnicze, od kwalifikowania wniosków po monitoring miejski, naturalnie ewoluowały i coraz częściej wykorzystują uczenie maszynowe do wnioskowania, profilowania i rekomendowania rozstrzygnięć. Ślepe zaufanie do bezbłędności maszyn, czyli automation bias, w połączeniu z wymogami kodeksu postępowania administracyjnego, stanowi poważne zagrożenie.
Kluczowe obowiązki dotyczące systemów wysokiego ryzyka będą obowiązywać od 2 sierpnia 2026 r., jednak część regulacji AI Act, w tym zakaz praktyk niedopuszczalnych, obowiązuje już wcześniej. Ze względu na cykle budżetowe i zamówienia publiczne obecny okres to de facto koniec okresu przejściowego. Choć 3 sierpnia 2026 r. nie przyniesie rewolucji, brak przygotowania urzędu do nowych regulacji jest wysoce nieodpowiedzialny.
Na czym polega podejście oparte na ryzyku?
Filozofia regulacji AI Act opiera się na logicznym, opartym na ryzyku podejściu (risk-based approach). Unijny prawodawca uznał, że innowacje nie powinny być ograniczane, jednak wymagania muszą być dostosowane do potencjalnych zagrożeń dla zdrowia, bezpieczeństwa lub praw podstawowych obywateli, jakie stwarza dany algorytm.
W tym modelu wyróżnia się cztery poziomy ryzyka.
- Ryzyko zakazane (Prohibited AI) – systemy całkowicie niedopuszczalne, sprzeczne z wartościami unijnymi, zagrażające prawom podstawowym, życiu lub zdrowiu, wynikające z art. 5 AI Act.
- Wysokie ryzyko (High-Risk AI) – systemy wynikające z art. 6 AI Act, silnie ingerujące w życie społeczne i zawodowe. To one stanowią rdzeń obowiązków istotnych z perspektywy JST.
- Ograniczone ryzyko (Limited-Risk AI) – systemy wchodzące w interakcje z człowiekiem, o których mowa w art. 50 AI Act, wymagające przede wszystkim przejrzystości, np. poinformowania użytkownika, że rozmawia z maszyną.
- Minimalne ryzyko (Minimal-Risk AI) – to zwykłe programy ułatwiające pracę, takie jak filtry antyspamowe czy inne narzędzia wspierające codzienne czynności administracyjne.
Analiza regulacji AI Act wskazuje, że każda nowa aplikacja, system dziedzinowy lub usługa chmurowa wdrażana w urzędzie powinna przejść test ryzyka. Technologie należy oceniać indywidualnie, ponieważ różnią się poziomem zagrożeń. Przeprowadzenie takiej analizy nie powinno zniechęcać do wdrażania innowacji w organizacji.
Rolą decydentów, takich jak sekretarz gminy, dyrektor IT czy osoby odpowiedzialne za organizację pracy urzędu, jest precyzyjne rozróżnienie systemów wysokiego ryzyka od tych, które usprawniają codzienną biurokrację. Ścisły nadzór prawny, organizacyjny i techniczny jest wymagany tylko wobec systemów wysokiego ryzyka. Jest to możliwe, gdy osoby odpowiedzialne posiadają dokładną wiedzę o wykorzystywanych narzędziach oraz potrafią podejmować zdecydowane decyzje.
Kim jest deployer i dlaczego urząd nie może zrzucić winy na dostawcę IT?
Jednym z najpoważniejszych mitów w samorządach jest przekonanie, że wyłącznie producent oprogramowania odpowiada za legalność sztucznej inteligencji. AI Act wyraźnie rozróżnia dostawcę systemu AI (provider) od podmiotu stosującego ten system (deployer).
Analiza rozporządzenia wskazuje, że większość polskich urzędów – w tym gminy, starostwa, ośrodki pomocy społecznej i szkoły – może być uznana za podmioty stosujące systemy AI. Definicja deployera jest szeroka i obejmuje także organy publiczne oraz instytucje korzystające z AI pod swoim zwierzchnictwem, niezależnie od tego, czy system działa lokalnie, czy w chmurze w modelu SaaS. Wciąż wymaga doprecyzowania, jak rozumieć pojęcie zwierzchnictwa i w jakim stopniu pokrywa się ono z nadzorem wynikającym z kompetencji organów publicznych.
Podmiot stosujący system AI ma określone obowiązki operacyjne, których nie można przenieść wyłącznie na dostawcę poprzez zapisy umowne. Do najważniejszych należą:
- zapewnienie realnego nadzoru człowieka nad systemem (human in the loop); system nie może działać jako „czarna skrzynka” i musi mieć operatora o jasno określonym zakresie odpowiedzialności;
- zapewnienie jakości i adekwatności lokalnych danych wykorzystywanych przez system;
- systematyczny monitoring działania algorytmu oraz przechowywanie logów przez co najmniej 6 miesięcy;
- w określonych przypadkach zapewnienie wpisu lub aktualizacji informacji w unijnej bazie danych systemów wysokiego ryzyka, zgodnie z rolą urzędu i kategorią systemu;
- informowanie obywateli i pracowników urzędu o stosowaniu algorytmu o wysokim ryzyku.
Kupując gotowy program wspierający decyzyjność kierownictwo urzędu przejmuje odpowiedzialność za sposób jego wykorzystywania wobec mieszkańców. W przypadku naruszenia praw obywatela przez algorytm konsekwencje – takie jak reakcja społeczna, kontrola UODO czy spór sądowy – dotkną przede wszystkim instytucję publiczną, a nie dostawcę oprogramowania.
Decydenci powinni wdrożyć w urzędzie procedury zapewniające bieżącą kontrolę nad systemem, bez ograniczania praw obywateli ani funkcjonalności narzędzi. Kluczowa jest rzeczywista zdolność urzędu do wskazania, kto korzysta z systemu, w jakim celu, na jakich danych, pod czyim nadzorem i z jakim wpływem na sprawy mieszkańców.
Warto również zwrócić uwagę na tzw. pułapkę modyfikacji, która może być trudna do rozpoznania. Gdy jednostka samorządu terytorialnego zaczyna samodzielnie modyfikować, dostosowywać lub rozwijać zakupione rozwiązanie AI w sposób wykraczający poza standardowe użytkowanie, może stać się jego dostawcą, a nie tylko użytkownikiem.
Pola minowe. Gdzie w samorządzie kryje się najwyższe ryzyko?
Zgodnie z załącznikiem III do AI Act status wysokiego ryzyka zależy głównie od obszaru zastosowania systemu. Jeśli algorytm istotnie wspiera decyzje wpływające na obywatela, podlega pełnym rygorom przepisów. Wyjątek przewidziany w art. 6 ust. 3 AI Act dotyczy systemów realizujących wyłącznie wąskie zadania proceduralne, jak sortowanie pism. Wyłączenie to nie obowiązuje, gdy system profiluje osobę fizyczną.
W polskim samorządzie wyróżnia się cztery obszary szczególnego ryzyka.
1. Świadczenia społeczne i usługi publiczne
Ośrodki pomocy społecznej, miejskie ośrodki pomocy społecznej oraz powiatowe centra pomocy rodzinie są bezpośrednio objęte przepisami AI Act. Osoby ubiegające się o wsparcie pozostają w szczególnej zależności od władz publicznych. Dlatego narzędzia oceniające kwalifikowalność do świadczeń, takich jak dodatki mieszkaniowe, zasiłki czy programy osłonowe, mogą być uznawane za systemy wysokiego ryzyka.
Szczególne ryzyko stwarzają systemy scoringowe przyznające punkty wnioskodawcom, algorytmy analizujące bazy danych w celu wykrywania prób wyłudzeń oraz oprogramowanie priorytetyzujące sprawy. Jeśli pracownik socjalny, obciążony obowiązkami, bezrefleksyjnie akceptuje sugestie algorytmu, system może faktycznie decydować o sytuacji rodzin w gminie.
Przykład Ośrodek pomocy społecznej wdrożył zautomatyzowany moduł do analizy wniosków o zasiłki, który miał jedynie wskazywać potencjalne ryzyka. W praktyce system, opierając się na danych z poprzednich lat, zaczął oznaczać wnioski samotnych matek z określonych dzielnic jako „wysokie ryzyko wyłudzenia” i kierować je na koniec kolejki do weryfikacji. Taka sytuacja może prowadzić do dyskryminacji algorytmicznej, naruszenia zasad równego traktowania, naruszenia przepisów o ochronie danych osobowych oraz zakazu podejmowania decyzji wyłącznie automatycznie, jeśli udział człowieka jest jedynie formalny. |
|---|
2. Rekrutacja i zarządzanie personelem urzędu
Obszar HR to kolejne miejsce, w którym sztuczna inteligencja może bezpośrednio wpływać na decyzje dotyczące zatrudnienia, utrzymania pracy lub rozwoju kariery. Narzędzia do preselekcji CV, automatycznego odrzucania aplikacji niespełniających kryteriów oraz rankingowania kandydatów na podstawie słów kluczowych mogą być uznawane za systemy o wysokim ryzyku.
Przy innowacyjnych formach naboru należy zachować szczególną ostrożność. Wykorzystanie kamer i algorytmów do analizy stresu, motywacji czy pewności siebie kandydata, czyli tzw. czytania z twarzy, to praktyka zakazana. Rozpoznawanie emocji w miejscu pracy jest niedopuszczalne według AI Act. Zakaz dotyczy nie tylko wykorzystania danych, ale także ich pozyskiwania w tym celu.
3. Szkoły, poradnie i jednostki edukacyjne
AI Act uznaje za systemy wysokiego ryzyka te, które mogą wpływać na ścieżkę edukacyjną, oceniać wyniki nauczania lub kwalifikować uczniów. Decydenci powiatowi i osoby odpowiedzialne za edukację w gminach powinni nadzorować placówki oświatowe również pod kątem wykorzystania sztucznej inteligencji.
Narzędzia sugerujące niepromowanie ucznia, systemy rekrutacyjne tworzące rankingi przyjęć do szkół średnich, inteligentne oprogramowanie oceniające eseje oraz systemy nadzorujące egzaminy (proctoring) podlegają ścisłym wymogom prawnym. Błędna ocena ucznia przez system może wpłynąć na jego dalszą ścieżkę życiową i skutkować odpowiedzialnością odszkodowawczą organu.
4. Monitoring miejski i bezpieczeństwo
Obecnie systemy bezpieczeństwa publicznego opierają się na kamerach i zapisie wizyjnym. Niewłaściwie zarządzany lub zabezpieczony inteligentny monitoring może jednak zagrozić samorządowi. Dotyczy to zwłaszcza sytuacji, gdy mechanizmy nadzoru, kontroli i dokumentowania działań są nieprecyzyjne lub nie nadążają za rozwojem technologii.
Jeśli system kamer miejskich wykrywa jedynie dym, porzucone przedmioty lub zagęszczenie tłumu, dotyczy to ochrony prywatności i przepisów RODO, ale zwykle nie stanowi wysokiego ryzyka zgodnie z AI Act. Wykorzystanie biometrii, kategoryzacji biometrycznej lub analizy zachowań oznacza już wejście w strefę krytyczną.
Rozpoznawanie twarzy w czasie rzeczywistym w przestrzeni publicznej przez straż miejską, bez wyraźnych ustawowych wyjątków dotyczących celów ścigania, jest bezwzględnie zakazane. Posiadanie i wykorzystywanie takich danych może wiązać się z poważnymi konsekwencjami dla jednostki samorządu terytorialnego.
Przykład W gminie zaplanowano modernizację monitoringu miejskiego poprzez wdrożenie oprogramowania z AI do automatycznego wykrywania pożarów, porzuconych przedmiotów oraz nadmiernego zagęszczenia osób podczas imprez masowych. W trakcie analizy dostawca zaproponował także aktywację funkcji rozpoznawania twarzy i automatycznej identyfikacji osób na nagraniach z kamer. Zamawiający przeprowadził ocenę ryzyka prawnego i organizacyjnego. Uznał, że funkcje biometryczne nie są niezbędne do realizacji celów bezpieczeństwa publicznego i mogą prowadzić do poważnych naruszeń przepisów oraz praw obywateli. W efekcie wprowadzono wewnętrzne regulacje zakazujące korzystania z funkcji identyfikacji biometrycznej i rozpoznawania twarzy w monitoringu miejskim bez wyraźnej podstawy prawnej. Ustanowiono procedurę zatwierdzania nowych funkcjonalności, obowiązek przeprowadzania okresowych audytów, dokumentowania zmian konfiguracji systemu oraz szkolenia pracowników. Każda modyfikacja wymaga opinii inspektora ochrony danych i komórki odpowiedzialnej za bezpieczeństwo informacji. |
|---|
Obowiązkowa ocena wpływu na prawa podstawowe
FRIA, czyli Fundamental Rights Impact Assessment, to nowy i kluczowy obowiązek dla organów publicznych korzystających z systemów o wysokim ryzyku. Przed wdrożeniem takiego algorytmu organ musi formalnie ocenić jego potencjalny wpływ na obywateli, zwłaszcza na osoby zagrożone wykluczeniem lub nierównym traktowaniem.
FRIA nie zastępuje oceny skutków dla ochrony danych (DPIA), wymaganej przez art. 35 RODO i znanej inspektorom ochrony danych. W samorządach oba te testy należy przeprowadzać równolegle, aby wzajemnie się uzupełniały. Stanowią one nie tylko wymóg prawny, ale także kluczowe narzędzie zarządcze w nowoczesnej administracji, niezależnie od jej szczebla.
Regulacje dotyczące FRIA jasno wskazują na konieczność inwentaryzacji stosowanych systemów. Ocena wpływu na prawa podstawowe jest niemożliwa bez wiedzy o używanych systemach, ich zastosowaniu, osobach odpowiedzialnych oraz przetwarzanych danych. W JST za koordynację tego procesu powinien odpowiadać sekretarz jednostki, współpracując z IOD, działem IT, audytem wewnętrznym i kierownikami komórek merytorycznych.
Jakie są skutki błędnej kwalifikacji systemu?
Traktowanie oprogramowania wspierającego decyzje administracyjne wyłącznie jako narzędzia do optymalizacji pracy (tzw. workflow) może prowadzić do złożonych konsekwencji odpowiedzialności. Główne ryzyko wynika nie z samej technologii, lecz z niejawnych wdrożeń i braku świadomości organizacyjnej, często spowodowanych niewiedzą lub brakiem nadzoru zarządczego.
Na gruncie unijnego rozporządzenia kary administracyjne za niewypełnienie obowiązków związanych ze stosowaniem systemów wysokiego ryzyka, w tym za brak właściwej dokumentacji, brak nadzoru czy nieprzeprowadzenie FRIA, zostaną doprecyzowane w prawie krajowym. Oznacza to, że polski ustawodawca określi dokładny model odpowiedzialności oraz limity kar, które mają zastosowanie do JST. Nie można jednak zapominać, że błędy w zakresie AI Act mogą jednocześnie generować naruszenia przepisów RODO, a w tym obszarze sankcje wobec jednostek sektora publicznego są już realnym i egzekwowalnym instrumentem nadzorczym. Brak procedur może również oznaczać naruszenie wymogów cyberbezpieczeństwa, w tym standardów wynikających z dyrektywy NIS2, co podczas kontroli będzie bardzo trudno obronić.
Analizując zakres odpowiedzialności należy jasno wskazać, że kierownictwo urzędu, czyli prezydent miasta, starosta, wójt czy burmistrz, odpowiada za brak wdrożenia odpowiednich mechanizmów nadzoru nad procesami wykorzystującymi AI. W skrajnych przypadkach może to skutkować odpowiedzialnością majątkową lub odszkodowawczą, zwłaszcza jeśli błędy systemu naruszą prawa obywateli.
Należy również pamiętać, że systemy AI funkcjonujące poza oficjalnym nadzorem organizacji (tzw. shadow AI), które omówimy szerzej w kolejnych artykułach, stanowią odrębne ryzyko zarządcze. Samodzielne wykorzystywanie narzędzi AI przez urzędników, często w celu zwiększenia wygody lub efektywności, może prowadzić do niekontrolowanego przetwarzania danych, naruszenia procedur, utraty kontroli nad informacjami oraz poważnych szkód wizerunkowych. Jest to także istotne wyzwanie w ocenie etyczności pracy urzędu i odpowiedzialności pracowników.
Jak zaplanować działania naprawcze i wdrożeniowe w JST?
Wdrażanie mechanizmów zgodności nie powinno być odrębnym zadaniem realizowanym wyłącznie przez dział IT. Wymaga kompleksowego zarządzania ryzykiem, które uwzględnia wymagania AI Act, RODO, dyrektywy NIS2, Data Governance Act oraz kodeksu postępowania administracyjnego.
Proces ten należy zaplanować etapowo, w jasno określonej kolejności działań. Takie podejście pozwoli uniknąć dezorganizacji pracy urzędu, zmniejszyć opór organizacyjny i wzmocnić zaufanie do proponowanych rozwiązań. Zgodność z nowymi regulacjami powinna być traktowana jako stały element zarządzania urzędem, bezpieczeństwa informacji, jakości danych oraz odpowiedzialności za wykorzystanie technologii w sprawach publicznych, a nie jako jednorazowe zadanie techniczne.
Tabela. Praktyczna mapa ryzyk dla JST (triage do planu działań)
| Obszar działalności JST | Cel użycia systemu AI | Prawdopodobna kwalifikacja | Priorytet wdrożeniowy |
| OPS/pomoc społeczna | Scoring wniosków, typowanie nadużyć przy zasiłkach | Wysokie ryzyko (High-Risk) | KRYTYCZNY (Natychmiast) |
| Kadry urzędu (HR) | Odrzucanie CV, rankingowanie kandydatów do pracy | Wysokie ryzyko (High-Risk) | KRYTYCZNY (Natychmiast) |
| Szkoły/placówki | Automatyczne ocenianie postępów, rozpoznawanie emocji | Wysokie ryzyko/zakazane | KRYTYCZNY (Wstrzymać) |
| Zarządzanie kryzysowe | Priorytetyzacja zgłoszeń alarmowych | Wysokie ryzyko (High-Risk) | WYSOKI |
| Kancelaria/EZD | Rozpoznawanie tekstu (OCR), kategoryzacja luźnych pism | Ryzyko ograniczone/minimalne | Średni |
| Promocja | Chatboty informacyjne, generatory tekstów ulotek | Ograniczone ryzyko | Niski (przegląd rutynowy) |
Sztucznej inteligencji nie należy traktować wyłącznie jako kolejnego programu, narzędzia lub rozwiązania systemowego do nabycia. W istocie wdrożenie AI oznacza zatrudnienie „cyfrowego urzędnika”, który może uczestniczyć w przygotowaniu decyzji administracyjnych.
Skuteczne i bezpieczne zarządzanie innowacjami opiera się na jednym: zbudowaniu spójnego, efektywnego i zgodnego z prawem systemu zarządzania wszystkimi modelami AI działającymi w jednostce samorządu terytorialnego. Tworzenie takich mechanizmów może być wyzwaniem. Doświadczenie pokazuje jednak, że bez jasnych zasad korzystania ze sztucznej inteligencji trudno zapewnić działanie „na podstawie i w granicach prawa”. Wkrótce audytorzy mogą również nie uznać, że kierownictwo urzędu ma realną kontrolę nad procesami w JST.
Aby skutecznie chronić interes gminy, kierownictwo jednostki, we współpracy z sekretarzem oraz działem IOD/IT, powinno przeprowadzić przegląd systemów używanych w urzędzie oraz jednostkach podległych, takich jak OPS czy szkoły. Konieczne jest także określenie skali tzw. shadow AI, czyli ustalenie, z jakich narzędzi urzędnicy korzystają nieoficjalnie, na przykład w prywatnych kartach przeglądarek.
Na tej podstawie należy przygotować bazę danych systemów z przypisaniem każdemu „właściciela biznesowego”. Następnie systemy powinny zostać ocenione i zakwalifikowane do odpowiednich grup ryzyka. Zalecamy także opracowanie procedur przedwdrożeniowych dla całego urzędu, obejmujących obowiązek przeprowadzenia FRIA i DPIA. Każdy nowy, zaawansowany system w OPS, kadrach lub innych komórkach merytorycznych powinien być uruchamiany dopiero po wcześniejszej ocenie wpływu na prawa podstawowe oraz skutków dla ochrony danych, jeśli jest to wymagane.
Kolejne działania powinny obejmować aktualizację systemu zamówień publicznych, również w przypadku korzystania z zewnętrznego dostawcy, oraz wdrożenie działań edukacyjnych. Dopiero po potwierdzeniu odpowiednich kompetencji pracowników i rozpoczęciu zmiany podejścia do korzystania z AI należy dopracować procedury kontroli zarządczej.
***
AI Act i sztuczna inteligencja otwierają nowy rozdział w funkcjonowaniu polskiej administracji samorządowej. Systemy AI wysokiego ryzyka zapewniają zaawansowane wsparcie analityczne, usprawniają procesy urzędowe i odciążają pracowników, pod warunkiem ścisłego przestrzegania procedur prawnych, organizacyjnych i technicznych.
Dla JST kluczowe jest nie hamowanie innowacji, ale odejście od przekonania, że AI dotyczy wyłącznie działu IT. Kadra zarządzająca powinna identyfikować momenty, gdy automatyzacja zaczyna realnie wpływać na prawa mieszkańców, na przykład przy przyznawaniu świadczeń, profilowaniu kandydatów do pracy lub analizie rozwoju edukacyjnego uczniów.
Wdrożenie uporządkowanego systemu zarządzania narzędziami AI, przeprowadzenie FRIA oraz konsekwentne egzekwowanie zapisów umownych z dostawcami pozwolą uniknąć ryzyka naruszeń regulacyjnych. Zalecamy rozpoczęcie inwentaryzacji już dziś, ponieważ błędy w cyfrowym zarządzaniu sprawami mieszkańców są szczególnie dotkliwe dla administracji publicznej.
*www.konceptai.pl
**Wydział Prawa, Ekonomii i Administracji Akademia Mazowiecka w Płocku, www.mazowiecka.edu.pl
