W większości urzędów temat sztucznej inteligencji trafia w pierwszej kolejności do działu informatycznego. To naturalny odruch organizacyjny: skoro AI to technologia, wydaje się oczywiste, że powinni zajmować się nią informatycy. Takie podejście jest jedną z głównych przyczyn problemów organizacyjnych związanych z wdrażaniem sztucznej inteligencji w administracji publicznej.
W praktyce właśnie na tym etapie popełniony zostaje pierwszy błąd. Urząd zaczyna postrzegać AI jako kolejne narzędzie informatyczne – podobne do systemu EZD, programu finansowo-księgowego czy platformy elektronicznego obiegu dokumentów. Tymczasem sztuczna inteligencja, zwłaszcza generatywna, czyli tworząca nowe, oryginalne treści, nie jest wyłącznie nowym oprogramowaniem. Zmienia sposób wykonywania zadań, wpływa na organizację pracy, proces podejmowania decyzji, zarządzanie ryzykiem oraz zakres odpowiedzialności osób kierujących jednostką.
Dlatego pytanie, które powinno paść na początku każdego wdrożenia, nie brzmi: „Który dział będzie obsługiwał AI?”, lecz: „Kto ponosi odpowiedzialność za sposób wykorzystania AI w urzędzie?”.
Takie postawienie problemu przenosi punkt ciężkości z technicznej obsługi narzędzia na odpowiedzialność za jego wykorzystanie w organizacji. To właśnie odpowiedź na to pytanie będzie w najbliższych latach decydowała nie tylko o zgodności z wymogami AI Act, lecz także o jakości zarządzania urzędem, bezpieczeństwie informacji oraz poziomie zaufania mieszkańców do administracji publicznej.
AI to nie projekt informatyczny
Jeszcze kilka lat temu większość projektów cyfryzacyjnych w administracji publicznej można było łatwo przypisać do obszaru IT. Zakup infrastruktury, wdrożenie systemu elektronicznego zarządzania dokumentacją, modernizacja sieci teleinformatycznej czy migracja danych do chmury miały przede wszystkim charakter techniczny. Rolą kierownictwa było zatwierdzenie projektu i zabezpieczenie środków, natomiast realizację powierzano specjalistom odpowiedzialnym za informatykę.
System AI nie jest jednak narzędziem informatycznym. Wpływa na sposób wykonywania zadań publicznych, a w konsekwencji także na efekty pracy oraz ocenę działań osób zarządzających. W zależności od obszaru zastosowania może przygotowywać projekty odpowiedzi dla mieszkańców, analizować treść pism wpływających do urzędu, wspierać klasyfikację spraw, pomagać w rekrutacji pracowników, analizować dokumentację przetargową czy wspierać przygotowanie projektów decyzji administracyjnych.
Oznacza to, że przedmiotem zarządzania nie jest już system informatyczny, lecz cały proces organizacyjny związany z wykorzystaniem sztucznej inteligencji – od identyfikacji potrzeby, przez ocenę wykonalności i ryzyka, planowanie oraz wdrożenie, aż po monitorowanie, nadzór i doskonalenie. Na każdym z tych etapów AI staje się elementem procesu, którego wykorzystanie wymaga określenia zasad, mechanizmów kontroli oraz przypisania odpowiedzialności.
W praktyce kierownik jednostki nie zarządza algorytmem ani modelem AI jako takim. Zarządza natomiast sposobem, w jaki urząd wykorzystuje te narzędzia do realizacji swoich zadań. Z tego względu sztuczną inteligencję należy postrzegać przede wszystkim jako zagadnienie organizacyjne i zarządcze, a dopiero w dalszej kolejności jako zagadnienie technologiczne.
Dlaczego intuicja prowadzi do błędnych decyzji?
Mechanizm jest prosty: większość osób utożsamia sztuczną inteligencję z komputerem, komputer – z informatyką, w konsekwencji dochodzi do wniosku, że za AI powinien odpowiadać dział IT. Choć taki sposób myślenia wydaje się intuicyjny, koncentruje się wyłącznie na aspekcie technologicznym. Pomija cel wykorzystania sztucznej inteligencji oraz jej rolę we wspieraniu realizacji zadań publicznych i usprawnianiu codziennej pracy urzędu.
Dobrze ilustruje to przykład jednostki samorządu terytorialnego wdrażającej narzędzie generatywnej AI do wspomagania przygotowywania odpowiedzi na skargi i wnioski mieszkańców. Dział IT odpowiada w takim przypadku za techniczne wdrożenie rozwiązania – jego instalację, integrację z infrastrukturą urzędu, konfigurację dostępu użytkowników oraz bezpieczeństwo systemu. Czy oznacza to, że informatyk odpowiada również za treść przygotowanych odpowiedzi? Oczywiście, nie. Czy odpowiada za zgodność tych odpowiedzi z przepisami prawa? Również nie. Czy ponosi odpowiedzialność za naruszenie praw mieszkańców lub błędne zastosowanie przepisów? Także nie.
Odpowiedzialność za rezultat wykorzystania AI pozostaje po stronie organu administracji oraz osób kierujących procesem, w którym sztuczna inteligencja została zastosowana. Technologia jedynie wspiera wykonywanie zadania, ale nie przejmuje odpowiedzialności za jego realizację.
W kontekście coraz szerszego wykorzystania sztucznej inteligencji należy więc postawić pytanie: co rzeczywiście należy do kompetencji działu IT? Podkreślenia wymaga, że wskazanie ograniczonej roli działu IT nie oznacza deprecjonowania jego znaczenia. Przeciwnie – bez sprawnie funkcjonującej infrastruktury technicznej wdrażanie sztucznej inteligencji byłoby niemożliwe.
Do podstawowych zadań działu IT należy między innymi:
– zapewnienie odpowiedniej infrastruktury technicznej,
– integracja systemów AI z istniejącymi rozwiązaniami,
– zarządzanie dostępami użytkowników,
– utrzymanie ciągłości działania,
– zabezpieczenie systemów teleinformatycznych,
– monitorowanie parametrów technicznych,
– współpraca z dostawcami rozwiązań,
– niekiedy także praca koncepcyjna nad nowymi rozwiązaniami pojawiającymi się w związku z rozwojem technologii.
Zadania te są niezwykle istotne i w zakresie infrastruktury mają znaczenie fundamentalne, ale pozostają zadaniami o charakterze technicznym.
AI jako element zarządzania urzędem
Jaka jest zasadnicza różnica między tradycyjną informatyzacją a wykorzystaniem sztucznej inteligencji? Wdrożenie mechanizmów i narzędzi sztucznej inteligencji oddziałuje na funkcjonowanie jednostki organizacyjnej w sposób całościowy. Obejmuje organizację pracy urzędu, sposób podejmowania decyzji, podział odpowiedzialności oraz zarządzanie ryzykiem. Dopiero na etapie analiz przedwdrożeniowych często okazuje się, jak istotny wpływ może mieć na ochronę danych osobowych, bezpieczeństwo informacji i jakość obsługi mieszkańców, a także jak niezauważalnie dla otoczenia może przenikać do mechanizmów kontroli zarządczej.
Każdy z tych obszarów od wielu lat należy do podstawowych obowiązków kierownictwa jednostki samorządu terytorialnego. W błędzie jest więc ten, kto uznaje je za zagadnienia wyłącznie techniczne, a nie za klasyczne elementy zarządzania organizacją.
Z tego względu coraz wyraźniej widać, że sztuczna inteligencja nie powinna być traktowana jako kolejny projekt informatyczny realizowany przez dział IT, lecz jako nowy obszar odpowiedzialności kierownictwa jednostki. Wymaga on świadomego nadzoru, właściwego podziału kompetencji oraz włączenia do istniejących mechanizmów kontroli zarządczej. Takie podejście jest zgodne zarówno z logiką AI Act, który różnicuje obowiązki uczestników ekosystemu AI, jak i z zasadami zarządzania ryzykiem rozwijanymi w międzynarodowych standardach governance AI oraz praktyce administracji publicznej.
Co z tego wynika dla kierownika JST?
Jeżeli urząd rozpoczyna dyskusję o sztucznej inteligencji od pytania, jakie narzędzie kupić i kto będzie nim administrował, istnieje ryzyko, że już na wstępie błędnie zdefiniowano problem. Pierwsze pytanie powinno brzmieć: który proces w urzędzie chcemy usprawnić dzięki AI i kto ponosi odpowiedzialność za skutki wykorzystania tej technologii? Dopiero odpowiedź na nie pozwala właściwie określić rolę kierownictwa, sekretarza, kierowników wydziałów, działu IT oraz pozostałych uczestników procesu. Trzeba przy tym mieć świadomość, że przypisanie „własności procesu”, a w konsekwencji także odpowiedzialności za konkretne działania albo ich sekwencję i skutki, bywa niekiedy problematyczne. Niejasne brzmienie regulaminów wewnętrznych, brak precyzyjnego przypisania zadań oraz błędna interpretacja art. 7 Konstytucji RP, zgodnie z którym „organy władzy publicznej działają na podstawie i w granicach prawa”, generują różnego rodzaju problemy zarządcze.
Kierownik jednostki nie może przekazać odpowiedzialności za AI
Jeżeli sztuczna inteligencja przestaje być wyłącznie narzędziem informatycznym, pojawia się pytanie: kto w urzędzie powinien odpowiadać za sposób jej wykorzystania? Odpowiedź wynika nie tylko z logiki zarządzania, lecz także z obowiązujących przepisów regulujących funkcjonowanie administracji publicznej. To kierownik jednostki odpowiada za organizację pracy urzędu, realizację zadań publicznych, funkcjonowanie kontroli zarządczej oraz zapewnienie zgodności działania jednostki z obowiązującym prawem. Odpowiedzialność ta nie zanika tylko dlatego, że w danym procesie zaczyna uczestniczyć sztuczna inteligencja.
Więcej: im większy wpływ AI na wykonywanie zadań publicznych, tym większe znaczenie ma aktywny nadzór kierownictwa nad sposobem jej wykorzystywania.
Nie oznacza to oczywiście, że wójt, burmistrz czy starosta powinni znać architekturę modeli językowych albo samodzielnie konfigurować narzędzia AI. Oznacza natomiast, że to oni odpowiadają za stworzenie zasad korzystania z tych narzędzi, określenie dopuszczalnych zastosowań, wyznaczenie osób odpowiedzialnych za poszczególne procesy oraz zapewnienie mechanizmów kontroli. Jest to odpowiedzialność typowo zarządcza, która nie daje jednak podstaw do uchylania się od niej z powodu nieznajomości technologii czy powierzenia określonych obowiązków upoważnionym współpracownikom.
AI powinno zostać włączone do systemu kontroli zarządczej.
Od wielu lat w administracji publicznej funkcjonuje zasada, zgodnie z którą kierownik jednostki odpowiada za zapewnienie adekwatnej, skutecznej i efektywnej kontroli zarządczej.
Oznacza to konieczność identyfikowania ryzyk, planowania działań ograniczających zagrożenia oraz monitorowania procesów mających wpływ na realizację zadań publicznych.
Jeszcze do niedawna ryzyka związane z informatyką dotyczyły przede wszystkim awarii systemów, utraty danych czy cyberataków. Wynikało to zarówno ze specyfiki tego obszaru funkcjonowania organizacji, jak i z ówczesnego poziomu rozwoju technologicznego. Dzisiaj katalog ten jest znacznie szerszy. Pojawiają się ryzyka związane z wykorzystaniem niezweryfikowanych odpowiedzi generowanych przez AI, błędną klasyfikacją spraw czy naruszeniem zasad ochrony danych osobowych. Brak uregulowania zasad korzystania ze sztucznej inteligencji sprzyja wykorzystywaniu narzędzi niewiadomego pochodzenia, dyskryminacji algorytmicznej oraz braku dokumentowania sposobu użycia AI. Skutkiem może być utrata zaufania mieszkańców do decyzji podejmowanych z udziałem sztucznej inteligencji oraz brak akceptacji dla działań organu.
Żadne z tych zagrożeń nie ma wyłącznie charakteru technicznego. Są to klasyczne ryzyka organizacyjne, prawne i reputacyjne, które powinny zostać objęte systemem kontroli zarządczej funkcjonującym w jednostce samorządu terytorialnego. Takie podejście jest spójne zarówno z krajowymi standardami kontroli zarządczej, jak i z międzynarodowymi ramami zarządzania ryzykiem AI, które wskazują, że skuteczne wykorzystanie sztucznej inteligencji wymaga przede wszystkim odpowiedniego systemu governance oraz zarządzania ryzykiem.
Rola sekretarza – koordynator, a nie właściciel AI
W dyskusjach dotyczących organizacji zarządzania sztuczną inteligencją często pada pytanie, czy roli właściciela procesu nie należałoby przypisać sekretarzowi JST, choćby z tego powodu, że jest to stanowisko urzędnicze podlegające szczególnym rygorom ustawowym, związanym z charakterem tej funkcji i zakresem powierzonych zadań.
Odpowiedź nie jest jednoznaczna. Sekretarz odgrywa kluczową rolę w organizacji pracy urzędu. W wielu jednostkach odpowiada za koordynację procesów organizacyjnych, przygotowywanie procedur, nadzór nad regulaminami organizacyjnymi oraz usprawnianie funkcjonowania administracji. Z tego względu wydaje się naturalnym kandydatem do koordynowania wdrażania AI.
Nie należy jednak utożsamiać funkcji koordynatora z pełną odpowiedzialnością za wykorzystanie sztucznej inteligencji. Sekretarz nie powinien odpowiadać za wszystkie decyzje podejmowane z udziałem AI, podobnie jak nie odpowiada za merytoryczne rozstrzygnięcia wydawane przez poszczególne wydziały.
Jego zadaniem powinno być przede wszystkim:
a) prowadzenie rejestru zastosowań AI,
b) koordynowanie procedur wdrożeniowych,
c) inicjowanie szkoleń,
d) monitorowanie przestrzegania przyjętych zasad,
e) koordynowanie współpracy między wydziałami,
f) raportowanie kierownictwu jednostki.
Można więc powiedzieć, że sekretarz pełni rolę koordynatora organizacyjnego, natomiast właścicielami poszczególnych zastosowań pozostają osoby odpowiedzialne za konkretne procesy.
Kierownik, dyrektor, naczelnik wydziału jako właściciel procesu biznesowego
W praktyce administracji publicznej zdecydowana większość zastosowań sztucznej inteligencji będzie miała miejsce w konkretnych procesach realizowanych przez wydziały i jednostki organizacyjne. To właśnie kierownik, dyrektor albo naczelnik wydziału najlepiej zna cele danego procesu, obowiązujące przepisy, oczekiwane rezultaty, potencjalne ryzyka oraz konsekwencje błędnych decyzji. Jeżeli sztuczna inteligencja wspiera pracę wydziału organizacyjnego, oświaty, pomocy społecznej, inwestycji czy gospodarki nieruchomościami, to właśnie kierownik danego obszaru powinien odpowiadać za zasadność jej wykorzystania.
Nie oznacza to jednak odpowiedzialności za parametry techniczne systemu. Odpowiedzialność ta dotyczy natomiast zagadnień kluczowych z punktu widzenia organizacji procesu i pracy. To do kierownika danego obszaru należy odpowiedź na pytania:
- Czy AI jest rzeczywiście potrzebna?
- Czy jej wykorzystanie jest zgodne z prawem?
- Czy pracownicy mają odpowiednie kompetencje i zostali właściwie przeszkoleni?
- Czy wyniki działania AI są weryfikowane przez człowieka?
- Czy zastosowanie AI nie prowadzi do nieuzasadnionego ograniczenia praw mieszkańców?
Tak rozumiana odpowiedzialność odpowiada koncepcji właściciela procesu biznesowego, znanej z zarządzania organizacjami, ale możliwej do zastosowania również w administracji publicznej.
Rola drugiej linii obrony: IOD, prawnicy, audytor i IT
Z analizy dotychczasowych doświadczeń związanych z przypisywaniem odpowiedzialności za AI wyłania się jeszcze jedna sugestia: osoby decydujące o kształcie organizacyjnym urzędu powinny rozważyć wielowarstwowy model odpowiedzialności, w którym poszczególne funkcje mają jasno określone role.
Po pierwsze, inspektor ochrony danych, osoby odpowiedzialne za cyberbezpieczeństwo oraz obsługa prawna – pełnią funkcję doradczą i kontrolną. IOD, zgodnie z przepisami RODO, wykonuje niezależną funkcję, monitoruje zgodność działań z przepisami oraz doradza przy ocenie skutków dla ochrony danych osobowych, czyli DPIA. Nie może więc występować jako „właściciel” algorytmu ani jako osoba akceptująca biznesowe wdrożenie rozwiązania.
Po drugie, obsługa prawna powinna czuwać nad zgodnością wdrażanych rozwiązań z prawem oraz wspierać IOD i dział IT w ocenie legalności działania.
Po trzecie, zadaniem audytora jest dopilnowanie prawidłowej implementacji narzędzi sztucznej inteligencji do systemu kontroli zarządczej.
Po czwarte, dział IT oraz specjaliści do spraw cyberbezpieczeństwa odpowiadają za zgodność rozwiązań między innymi z ustawą o krajowym systemie cyberbezpieczeństwa oraz Krajowymi Ramami Interoperacyjności, a także za testy integracyjne, kontrolę dostępu i techniczne parametry zabezpieczeń.
AI Act nie zwalnia kierownictwa z odpowiedzialności.
Jednym z częstszych błędów interpretacyjnych jest przekonanie, że skoro AI Act wprowadza obowiązki wobec dostawców i podmiotów wdrażających systemy AI, odpowiedzialność można przenieść na producenta oprogramowania albo dział IT. To nieporozumienie, które wymaga wyjaśnienia.
Regulacja europejska zakłada istnienie różnych uczestników ekosystemu AI, ale nie zmienia podstawowej zasady odpowiedzialności za wykonywanie zadań publicznych. Jeżeli urząd wykorzystuje sztuczną inteligencję do realizacji swoich ustawowych kompetencji, obowiązek zapewnienia zgodnego z prawem i bezpiecznego wykorzystania tej technologii pozostaje po stronie administracji. Nie wystarczy więc zakup rozwiązania od renomowanego dostawcy. Nie wystarczy również zapewnienie producenta, że system spełnia wymagania techniczne. Konieczne jest właściwe zarządzanie sposobem wykorzystania tego narzędzia wewnątrz urzędu.
I właśnie za ten element odpowiada kierownictwo jednostki.
Jak podzielić odpowiedzialność za AI w urzędzie?
Tak rozumiany podział odpowiedzialności nie tworzy nowej struktury organizacyjnej. Wykorzystuje istniejące kompetencje poszczególnych osób, rozszerzając je o zagadnienia związane z wykorzystaniem sztucznej inteligencji.
Co kierownik jednostki powinien zrobić już dziś? Nie każda jednostka musi natychmiast wdrażać zaawansowane rozwiązania AI. Każda powinna jednak rozpocząć przygotowania organizacyjne. Dobrym punktem wyjścia będzie podjęcie kilku podstawowych działań.
Oto lista rekomendowanych działań.
- Ustalenie, jakie narzędzia AI są już wykorzystywane w urzędzie.
- Wyznaczenie właścicieli procesów, w których stosowana jest AI.
- Określenie roli sekretarza jako koordynatora organizacyjnego.
- Włączenie działu IT, IOD, radcy prawnego oraz specjalistów do spraw bezpieczeństwa informacji do wspólnego procesu zarządzania.
- Opracowanie podstawowych zasad korzystania z AI.
- Zapewnienie szkoleń dla kierownictwa i pracowników.
- Włączenie ryzyk związanych z AI do systemu kontroli zarządczej.
- Regularne monitorowanie skutków wykorzystania sztucznej inteligencji.
Żadne z tych działań nie wymaga zakupu nowego systemu informatycznego, ale wszystkie wzmacniają bezpieczeństwo organizacyjne jednostki.
***
Debata dotycząca sztucznej inteligencji w administracji publicznej często koncentruje się na możliwościach technologii. Tymczasem doświadczenia pierwszych wdrożeń pokazują, że o powodzeniu projektów decydują przede wszystkim kwestie organizacyjne.
W praktyce odpowiedzialność za AI ma charakter wielopoziomowy. Każdy uczestnik procesu odpowiada za inny obszar, natomiast całość pozostaje pod nadzorem kierownictwa jednostki. Urząd może korzystać z najlepszego dostępnego rozwiązania AI, a mimo to ponosić wysokie ryzyko prawne i reputacyjne, jeżeli nie określi, kto odpowiada za sposób wykorzystania tej technologii.
Odpowiedź na pytanie postawione na początku jest zatem jednoznaczna: za sztuczną inteligencję w urzędzie nie odpowiada dział IT. Odpowiedzialność spoczywa na kierownictwie jednostki, które – przy wsparciu sekretarza, kierowników wydziałów, specjalistów IT, inspektora ochrony danych, radcy prawnego oraz komórek odpowiedzialnych za bezpieczeństwo – powinno stworzyć spójny system zarządzania AI. Dopiero taki model pozwala wykorzystać możliwości sztucznej inteligencji bez utraty kontroli nad realizacją zadań publicznych.
*www.konceptai.pl
**Wydział Prawa, Ekonomii i Administracji Akademia Mazowiecka w Płocku, www.mazowiecka.edu.pl
