Sztuczna inteligencja coraz częściej pojawia się w codziennej pracy – także wtedy, gdy nie jest tak nazywana. Narzędzia wykorzystywane do automatyzacji odpowiedzi, analizy dokumentów czy organizacji pracy, dostępne powszechnie i często używane indywidualnie przez pracowników, już teraz mogą wpływać na sposób realizacji zadań publicznych. W praktyce oznacza to, że wiele jednostek samorządu terytorialnego korzysta z rozwiązań opartych na AI, nie traktując ich jeszcze jako obszaru wymagającego odrębnego zarządzania.
Tymczasem zmieniające się otoczenie prawne – w szczególności wejście w życie unijnego rozporządzenia w sprawie sztucznej inteligencji, czyli AI Act – powoduje, że sposób korzystania z tych narzędzi przestaje być wyłącznie kwestią organizacyjną. Staje się przedmiotem konkretnych obowiązków prawnych po stronie kierownictwa jednostki. W tym kontekście sztuczna inteligencja nie jest już jedynie wsparciem pracy urzędu, lecz elementem wymagającym świadomego nadzoru, oceny ryzyka i odpowiedzialnego zarządzania.
Dodatkowym zagrożeniem dla osób zarządzających JST może być niekontrolowane, pozaproceduralne korzystanie z AI. Narzędzia te mogą pomagać urzędnikom w pracy, wyjaśniać trudne zagadnienia i ułatwiać gromadzenie danych. Jednocześnie mogą stać się źródłem problemów, które dziś trudno jeszcze precyzyjnie zidentyfikować. Korzystanie z ogólnodostępnych wersji oprogramowania oraz przekazywanie do analizy całości lub fragmentów dokumentów prędzej czy później może spowodować powikłania w funkcjonowaniu systemów wewnętrznych.
Nie można dłużej ulegać złudzeniu, że samorządy mogą ignorować rozwój i postępującą powszechność technologii sztucznej inteligencji. Wynika to przede wszystkim z fundamentalnej zmiany otoczenia prawnego. 1 sierpnia 2024 r. weszło w życie rozporządzenie Parlamentu Europejskiego i Rady (UE) 2024/1689, powszechnie znane jako AI Act. To pierwsza na świecie tak kompleksowa regulacja, która traktuje systemy sztucznej inteligencji nie jak zwykłe oprogramowanie IT, lecz jak narzędzia podlegające surowym rygorom prawnym, porównywalnym z wymogami RODO.
O ile wdrażanie przepisów o ochronie danych osobowych kilka lat temu nie przebiegało najsprawniej, o tyle przynajmniej cel i przedmiot ochrony były jasne. W przypadku sztucznej inteligencji sytuacja jest bardziej złożona. Wszyscy chcemy, aby technologia dla nas pracowała, rozwijała się i czyniła naszą pracę efektywniejszą, łatwiejszą oraz bardziej wydajną. Nie zwalnia to jednak z obowiązku świadomego i odpowiedzialnego podejścia do jej stosowania.
Dlatego w kolejnych artykułach przybliżymy najważniejsze reguły i zasady, które należy mieć na uwadze przy wdrażaniu regulacji dotyczących sztucznej inteligencji. Wkrótce będą one dotyczyć każdej profesjonalnej organizacji: samorządowej, państwowej i biznesowej. Postaramy się w przystępny sposób pokazać, że unikanie „problemu AI” nie jest dobrą strategią. Podobnie jak podejście oparte na założeniu: „jeżeli pracownicy korzystają, to dobrze, byle nikt tego nie zauważył”.
Dzisiejsze możliwości technologiczne powinny być wykorzystywane możliwie szeroko nie tylko przez podmioty biznesowe, lecz i przez samorządy – niezależnie od tego, czy chodzi o urząd miasta liczącego 200 tys. mieszkańców, czy o urząd gminy, której populacja nie przekracza 5 tys. osób. Z postępu technologicznego każdy powinien chcieć i móc korzystać, tym bardziej, że dostęp do zasobów generowanych i gromadzonych przez różne modele wykorzystujące sztuczną inteligencję jest stosunkowo tani. Trzeba również uwzględnić zmieniające się wymagania mieszkańców oraz dostępność zasobów, które mogą mieć istotny wpływ na funkcjonowanie organów władzy publicznej.
Zachęcając Państwa do zapoznania się z problematyką wykorzystania sztucznej inteligencji w urzędach samorządowych, przedstawiamy kilka uwag wprowadzających w tematykę regulacyjną.
Z perspektywy administracji publicznej unijny ustawodawca przyjął pragmatyczne podejście oparte na ryzyku, czyli risk-based approach. Oznacza to, że obowiązki są tym bardziej rygorystyczne, im większy wpływ ma dany system AI na życie i prawa człowieka.
Najczęstszym, a zarazem jednym z najniebezpieczniejszych mitów wśród samorządowców jest przekonanie, że AI Act dotyczy wyłącznie firm technologicznych z Doliny Krzemowej. W rzeczywistości rozporządzenie obejmuje bezpośrednio również jednostki samorządu terytorialnego, traktując je jako tzw. użytkowników, czyli deployerów. Gmina, która kupuje gotowe rozwiązanie informatyczne zawierające algorytmy AI, staje się podmiotem stosującym i przejmuje znaczną odpowiedzialność za sposób jego użytkowania.
Wymusza to na włodarzach – wójtach, burmistrzach i prezydentach miast – zasadniczą zmianę filozofii zarządzania: odejście od prostego modelu „wdrażamy nowinkę techniczną” na rzecz modelu „zarządzamy systemem rygorystycznie regulowanym prawnie”.
Wejście w życie AI Act jest procesem rozłożonym w czasie. Rok 2025, a dokładnie 2 lutego, był momentem startowym, od którego zaczęły obowiązywać przepisy dotyczące systemów zakazanych oraz obowiązek podnoszenia kompetencji cyfrowych, określany jako AI literacy. Z kolei sierpień 2026 r. to termin pełnego wdrożenia najbardziej obciążających obowiązków operacyjnych dotyczących systemów wysokiego ryzyka.
Katalog zastosowań AI w urzędach (z podziałem na stopień ryzyka)
Wielu sekretarzy gmin i kierowników działów IT błędnie zakłada, że ich urząd nie korzysta jeszcze z rozwiązań opartych na sztucznej inteligencji albo korzysta w zakresie, który nie wymaga odrębnego uregulowania. W jednej z gmin usłyszeliśmy, że „AI, nawet jeśli jest obecne, to bezobjawowo”. Rzeczywistość pokazuje jednak, że na podstawie zgromadzonych materiałów można wskazać bardzo konkretne obszary, w których AI już dziś funkcjonuje lub jest pilotowana. Katalog ten warto uporządkować według kategorii ryzyka przewidzianych w AI Act.
Automatyzacja komunikacji i obsługi mieszkańca – ryzyko ograniczone
W tym obszarze coraz powszechniejsze są wdrożenia chatbotów, voicebotów oraz systemów automatycznie kategoryzujących zapytania i przygotowujących odpowiedzi na stronach urzędów czy w BIP. Przykłady takich innowacji można zaobserwować w krajowych pilotażach, w których miasta, np. Gdynia, wdrażają polski model językowy PLLuM w celu usprawnienia pracy urzędu i codziennej komunikacji z mieszkańcami.
Zgodnie z AI Act systemy te podlegają obowiązkowi transparentności. Mieszkaniec musi zostać wyraźnie poinformowany, że wchodzi w interakcję z maszyną.
Przetwarzanie dokumentów i organizacja pracy – ryzyko minimalne lub ograniczone
Do tej kategorii należą m.in. algorytmy optycznego rozpoznawania znaków, czyli OCR, automatycznie klasyfikujące wpływające pisma, a także inteligentne systemy przydzielające sprawy konkretnym pracownikom. Obejmuje to również systemy kolejkowe, które potrafią analizować dane historyczne, uczyć się obciążenia urzędu i dynamicznie sterować ruchem interesantów.
Usługi publiczne, świadczenia i wsparcie decyzji administracyjnych – wysokie ryzyko
To obszar o znaczeniu krytycznym dla JST. Obejmuje systemy scoringowe oceniające uprawnienia mieszkańców do dodatków mieszkaniowych, zasiłków, pomocy społecznej czy lokali komunalnych. Algorytmy mogą w takich przypadkach analizować dane i generować rekomendacje, które bezpośrednio wpływają na sytuację życiową i materialną obywatela.
Planowanie przestrzenne, monitoring miejski i infrastruktura krytyczna – wysokie ryzyko
Samorządy i spółki komunalne coraz częściej sięgają po zaawansowane narzędzia predykcyjne wykorzystywane w urbanistyce, np. do symulacji zjawiska rozlewania się zabudowy, analityce natężenia ruchu drogowego, a także inteligentnym sterowaniu dostawami wody, ciepła i energii do domów mieszkańców.
Zarządzanie kadrami urzędu i rekrutacja – wysokie ryzyko
Wysokim ryzykiem objęte są również rozwiązania wykorzystywane w obszarze HR, w tym algorytmy filtrujące napływające aplikacje kandydatów do pracy w urzędzie, np. poprzez wstępną analizę CV, systemy oceniające efektywność pracowników oraz narzędzia decydujące o przydziale zadań lub awansach.
Praktyki całkowicie zakazane w samorządzie – strefa czerwona
AI Act bezwzględnie zakazuje systemów naruszających godność człowieka. Dla gmin oznacza to zakaz stosowania tzw. social scoringu, czyli oceniania obywateli na podstawie ich zachowań społecznych w celu przyznawania przywilejów, np. przez łączenie baz danych w celu stworzenia „profilu ryzyka” mieszkańca przy korzystaniu z usług publicznych.
Zakazane jest również stosowanie AI do rozpoznawania emocji pracowników urzędu lub uczniów w szkołach gminnych, a także masowe, zautomatyzowane rozpoznawanie twarzy w monitoringu miejskim, czyli tzw. biometryczna kategoryzacja, oparte na cechach wrażliwych.
Wielowymiarowe wyzwania dla samorządów
Wdrażanie sztucznej inteligencji jest dla JST szansą na podniesienie jakości i szybkości świadczenia usług oraz znaczącą optymalizację kosztów pracy. Jednocześnie oznacza konieczność zmierzenia się z bezprecedensowymi zagrożeniami. Uporządkowanie ich według filarów: prawnego, bezpieczeństwa danych oraz etyczno-społecznego, pozwala lepiej zrozumieć skalę wyzwań, przed którymi stoją lokalni decydenci.
Ryzyka prawne i etyczne w zarządzaniu algorytmicznym
Zarządzanie poprzez algorytmy zderza się bezpośrednio z fundamentalnymi prawami obywatela oraz ugruntowanymi zasadami postępowania administracyjnego. Głównym ryzykiem jest kolizja automatyzacji z regułami kodeksu postępowania administracyjnego oraz wymogami RODO. W polskim systemie prawnym AI może wspierać urzędnika w pracy, ale nie może go zastępować przy wydawaniu ostatecznych rozstrzygnięć, w tym decyzji administracyjnych.
Organ administracji publicznej musi działać zgodnie z zasadą prawdy obiektywnej i dokładnego wyjaśnienia stanu faktycznego. Jednym z najpoważniejszych naruszeń byłoby zatem ograniczenie czynności dowodowych do pozyskania informacji z modelu AI, czyli tzw. outputu, i potraktowanie jej jako podstawowego lub jedynego dowodu w sprawie. Obowiązkiem organu jest bowiem odniesienie się do całokształtu materiału dowodowego.
Obywatel ma również prawo do poznania motywów rozstrzygnięcia. Organ musi być więc w stanie racjonalnie i merytorycznie wyjaśnić, w jakim dokładnie stopniu algorytm wpłynął na wydanie takiej, a nie innej decyzji. Z kolei art. 22 RODO stanowi istotną barierę dla pełnej automatyzacji, zakazując zautomatyzowanego podejmowania decyzji wywołujących wobec osoby skutki prawne lub w podobny sposób istotnie na nią wpływających, jeżeli nie istnieje ku temu odpowiednia podstawa prawna.
Załącznik III do AI Act obejmuje systemy, które ze względu na swój charakter wywierają bezpośredni i znaczący wpływ na prawa obywateli. Ich wdrożenie nakłada na użytkowników, w tym urzędy, rygorystyczne obowiązki w zakresie zgodności i nadzoru. W konsekwencji na jednostkę samorządu terytorialnego – jako deployera – nakładany jest wymóg zapewnienia realnego „nadzoru człowieka”, czyli human oversight, uregulowanego w art. 14 i art. 26 AI Act. Poważnym ryzykiem etycznym jest w tym kontekście brak przejrzystości algorytmicznej oraz tzw. efekt czarnej skrzynki.
Dobitnym i ostrzegawczym przykładem z Europy jest sprawa holenderskiego systemu SyRI, który służył do zautomatyzowanego profilowania obywateli pod kątem ryzyka nadużyć w systemie świadczeń socjalnych. System ten został zakwestionowany i zablokowany przez holenderski sąd ze względu na drastyczny brak przejrzystości, nieproporcjonalność narzędzia oraz bezpośrednie naruszenie praw podstawowych obywateli.
Aby unikać podobnych kryzysów, zachodnie stolice, takie jak Helsinki czy Amsterdam, już dziś prowadzą publiczne rejestry stosowanych algorytmów miejskich. W ramach dobrych i transparentnych praktyk etycznych obywatele mogą sprawdzić, w jakich obszarach życia miasto korzysta ze wsparcia sztucznej inteligencji.
Bezpieczeństwo i jakość danych w dobie AI.
Administracja publiczna jest operatorem danych, które pochodzą od obywateli i ich dotyczą. Tym samym systemy sztucznej inteligencji wykorzystywane do priorytetyzacji usług, kategoryzacji obywateli czy obsługi tysięcy wniosków opierają się na analizie ogromnych wolumenów danych mieszkańców. Samo gromadzenie danych, bez możliwości ich racjonalnego wykorzystania, byłoby bowiem pozbawione sensu.
Wymogi AI Act nakładają na urzędy odpowiedzialność za tzw. jakość danych wejściowych. Jeżeli gmina kontroluje dane wprowadzane do systemu wysokiego ryzyka, musi upewnić się, że są one adekwatne, poprawne, aktualne i dostatecznie reprezentatywne. Wykorzystanie danych nieaktualnych, obciążonych historycznymi błędami, może prowadzić do powielania uprzedzeń i utrwalania wadliwych mechanizmów decyzyjnych.
Z punktu widzenia dowodowego urząd ma również obowiązek przechowywania automatycznie generowanych rejestrów operacji systemu, czyli tzw. logów, przez okres co najmniej sześciu miesięcy. Ma to kluczowe znaczenie w razie ewentualnych skarg mieszkańców oraz kontroli nadzorczych.
W tym miejscu naszym Czytelnikom należy się wyjaśnienie. Ze względu na zakres merytoryczny niniejszego artykułu nie poświęcamy w nim miejsca na szczegółowe informacje techniczne ani na omówienie ryzyka typowego „wycieku danych wrażliwych” na zewnątrz, np. w wyniku zmasowanych cyberataków hakerskich wymierzonych bezpośrednio w modele AI. Skupiamy się przede wszystkim na aspektach prawnych i organizacyjnych, jakości danych wejściowych, ich retencji, w tym wymogu logowania, oraz ogólnej polityce compliance, czyli zgodności, w urzędzie.
Ewentualne techniczne zabezpieczenia przed wyciekami muszą zatem opierać się na zewnętrznych, ogólnych politykach cyberbezpieczeństwa urzędu, które nie będą szerzej omawiane w tym cyklu.
Wykluczenie cyfrowe i ryzyko systemowej dyskryminacji
Kolejnym poważnym zagrożeniem zidentyfikowanym przez prawodawcę jest zjawisko określane mianem „automatyzacji niesprawiedliwości”. Całkowite, bezrefleksyjne zdanie się przez urzędników na wyniki działania systemu – opisywane w literaturze jako błąd zaufania do automatyzacji, czyli tzw. automation bias – stanowi istotne ryzyko operacyjne.
Wprowadzanie systemów AI projektowanych bez uwzględnienia potrzeb osób starszych, osób z niepełnosprawnościami oraz osób wykluczonych cyfrowo grozi strukturalnym ograniczeniem ich podstawowych praw obywatelskich i dostępu do usług komunalnych. Doświadczenie pokazuje, że wiele urzędów i urzędników nadal ma z tym problem.
Przykładowo wdrożenie zaawansowanego algorytmu, który pomija określone uwarunkowania życiowe osoby potrzebującej tylko dlatego, że „nie pasują” one do zapisanego schematu, a następnie automatyczne zaakceptowanie takiej rekomendacji przez urzędnika, to prosta droga do ludzkiego dramatu i roszczeń cywilnych.
Brak realnego, ludzkiego i empatycznego interfejsu na końcu procesu decyzyjnego może trwale wzmocnić poczucie kontaktu z nieludzką, chłodną i wyobcowaną administracją lokalną, która zamiast wspierać mieszkańca, uderza w jego godność.
***
Aby skutecznie ograniczyć wskazane ryzyka prawne, finansowe – w tym kar wynikających z AI Act, które mogą sięgać milionów euro lub znacząco obciążyć budżet gminy – oraz wizerunkowe, kierownictwo jednostek samorządu terytorialnego, czyli wójtowie, burmistrzowie i starostowie, przy wsparciu sekretarzy i inspektorów ochrony danych musi porzucić działania chaotyczne i wdrożyć spójny model tzw. AI governance.
W cyklu naszych artykułów będziemy szerzej omawiać wskazane zagadnienia oraz przedstawimy Państwu zasady i plan wdrażania wewnętrznych regulacji, które pomogą dostosować urzędy do wymogów wynikających z dynamicznego rozwoju technologicznego.
Pracy jest dużo, ale nie są to zadania niewykonalne. Jesteśmy przy tym przekonani, że ich realizacja przyniesie wymierne efekty. Do najważniejszych kroków, które należy podjąć, aby móc „spać spokojnie”, należą: przygotowanie identyfikacji i „mapy AI JST”, podjęcie wyzwania związanego z wdrożeniem AI literacy, opracowanie zasad pisemnej oceny wpływu algorytmów na prawa obywateli, zapewnienie realnego nadzoru człowieka, czyli human oversight, a także skuteczne zabezpieczenie działania systemu zamówień publicznych. Na koniec konieczne będzie również dokonanie korekty systemu kontroli zarządczej przez wpisanie zasad zarządzania sztuczną inteligencją w jego ramy.
Pamiętajmy, że wejście w życie AI Act jest dla polskich samorządów zjawiskiem wykraczającym daleko poza kolejną regulację dotyczącą technologii informatycznych. Mamy do czynienia z transformacją filozofii sprawowania władzy lokalnej, niemal o charakterze ustrojowym. W tym nowym ujęciu sztuczna inteligencja staje się cennym, a w wielu przypadkach wręcz niezbędnym silnikiem optymalizacyjnym dla urzędów zmagających się z brakami kadrowymi i narastającą liczbą spraw administracyjnych.
Ta wygoda ma jednak swoją cenę. System algorytmiczny nigdy nie może stać się w pełni autonomicznym decydentem, pozbawionym prawnego, etycznego i ludzkiego nadzoru, zwłaszcza że automatyzm bywa bezlitosny wobec wyjątkowych, indywidualnych potrzeb człowieka.
Przyszłość samorządu terytorialnego należy do tych jednostek, które – zamiast unikać nowości z obawy przed skomplikowanym prawem – potrafią odważnie, ale w pełni świadomie okiełznać innowacje. Świadomy samorząd, kierowany przez liderów rozumiejących nowe zasady gry, może ochronić się przed dotkliwymi karami finansowymi, a zarazem zyskać przewagę organizacyjną i reputacyjną. Przede wszystkim może jednak budować nowoczesny, transparentny i bezpieczny urząd, który realnie służy swoim mieszkańcom.
Nadszedł czas na działanie. Sztuczna inteligencja już pracuje w samorządzie, teraz pora wziąć za nią prawną odpowiedzialność.
*Akademia Mazowiecka w Płocku
**www.konceptai.pl
