O PROJEKTU
V zadnjem desetletju je uporaba algoritmov, velikega podatkovja in umetne inteligence povzročila nastanek različnih »avtonomnih sistemov«, ki so namenjeni nadomeščanju ljudi na številnih področjih. Vendar posebej na področju mednarodne in nacionalne pravičnosti, povečana zmožnost avtonomnih sistemov za samostojno ravnanje brez ali z omejenim človeškim nadzorom vzbuja pomembne pravne in etične skrbi.
Splošni cilj predlagane raziskave je raziskati, kako se pravosodni sistemi na nacionalni in mednarodni ravni spreminjajo s povečano uporabo avtonomnih sistemov. Naš cilj je analizirati, kako bi lahko bila avtomatizacija po eni strani koristna in po drugi strani kakšna tveganja za človekove pravice in druge temeljne vrednote prinaša.
Raziskovalni projekt Avtomatizirana pravičnost : družbeni, etični in pravni vidiki (J5-9347 (B) ARRS) je financiran s strani Javne agencije za raziskovalno dejavnost Republike Slovenije (RS).
Objave raziskovalne skupine (2018 dalje): Izumbib |
VSEBINA PROJEKTA
Osredotočili se bomo na štiri konkretna vprašanja mednarodnega in nacionalnega zagotavljanja pravičnosti, ki so se pomembno spremenila s procesom avtomatizacije.
Prvič, umetna inteligenca, veliko podatkovje in algoritmi so uporabljeni za manipulacijo javnega mnenja in obnašanja celotnega prebivalstva, kar ima pomemben učinek na demokracijo (kot je bilo opaziti na nedavnih volitvah v VB in ZDA). Prvi delovni sklop se bo osredotočil na analizo sprememb političnega demokratičnega okvirja, ki jih je povzročila uporaba velikih zbirk osebnih podatkov, algoritmičnega podatkovenga rudarjenja in napovedne moči digitalnih platform.
Drugič, avtonomni sistemi, npr. kaznovalna orodja, so privedli do pomembnih sprememb v kazenskem pravosodnem sistemu z namenom pospešitve postopkov in večjo objektivnostjo. Drugi delovni sklop bo najprej preučil razlike med načeli, ki urejajo avtomatizirano pravičnost in tradicionalnimi načeli kazenskega prava (npr. domnevo nedolžnosti) in razmislil o njihovi združljivosti. Nadalje bomo raziskali, kako bi se z algoritmi spodbujene rešitve, ki se rutinsko uporabljajo v ZDA, prilegale kontinentalnim pravnim sistemom držav EU, vključno s Slovenijo. Na koncu bomo poskušali zgraditi algoritmiziran model za sprejemanje odločitev, ki bi bil lahko uporabljen pri odločanju o kaznovanju na slovenskih sodiščih, pri čemer se bomo osredotočili na ocenjevanje procesa in korakov pri izdelavi takšnega orodja in njegovih potencialnih prednosti in slabosti.
Tretjič, avtonomni orožni sistemi se uporabljajo v oboroženih spopadih, in sprožajo številna pravna vprašanja v ureditvi jus in bello in jus ad bellum. V naši tretji programski skupini bomo analizirali neskladnost avtonomnih orožnih sistemov z zahtevami mednarodnega humanitarnega prava, zlasti z načeloma razlikovanja in sorazmernosti, in preučili možnosti nadaljnjega razvoja, ki bi to lahko spremenil.
Četrtič, avtomatizirani sistemi za spremljanje, ki vključujejo satelite in druge naprave za spremljanje v zraku in na zemlji, so uporabljeni za napovedovanje naravnih nesreč, spremljanje degradacije okolja in vplivanje na oblikovanje okoljske politike. Naš zadnji delovni sklop si bo prizadeval odgovoriti, kako preprečiti spore glede suverenosti držav, ki lahko izhajajo iz uporabe tovrstnih avtonomnih sistemov za spremljanje, posebej kadar pride do kršitev suverenosti držav in zlorabe podatkov, pridobljenih s takšnimi sistemi.
Na splošno bo projekt zagotovil celovito in poglobljeno analizo vplivov avtonomnih sistemov na izbrana vprašanja mednarodnega in nacionalnega zagotavljanja pravičnosti. Prizadevali si bomo za razumevanje dinamike nastalih sprememb, jih združevali z relevantnimi teoretičnimi koncepti, razvijali nove in razširili naše razumevanje avtomatizacije. Poleg tega nam bo postopek razvoja kaznovalnega modela omogočil razumeti težave povezane z njegovo zasnovo in razločevati potencialne ranljivosti v njegovem razvoju, kot tudi zagotoviti akademski skupnosti, političnim odločevalcem in splošni javnosti predloge, kako se spopasti s tveganji avtomatizacije.
POMEN ZA RAZVOJ ZNANOSTI
V post-moderni dobi se zdi tehnološki napredek samoumeven, a razmišljanja o njegovem vplivu na različna področja človeškega življenja običajno zaostajajo. Ta projekt bo prispeval k razvoju kriminoloških in pravnih znanosti, ki je nujen zaradi novodobne tehnološke revolucije. Sodelovanje s strokovnjakom iz računalništva nam bo omogočilo preizkusiti in razviti prihodnja skupna prizadevanja na tem področju.
Rezultati bodo koristni za slovensko, evropsko in globalno akademsko skupnost. Vprašanja, ki jih bomo obravnavali, pa tudi znanje, ki ga bomo pridobili, so globalna. Spodbudili bomo izmenjavo in diseminacijo rezultatov projekta prek mednarodnih akademskih sodelovanj, kot so publikacije in dogodki. Poleg tega bo projekt omogočil boljše sodelovanje slovenskih in mednarodnih strokovnjakov, tako da bo pomagal vzdrževati obstoječe raziskovalne mreže, zlasti z namenom, da se predložijo skupne vloge za financiranje v okviru programov Horizon 2020, COST in DG Justice and Consumers. V času raziskave bomo rezultate prenesli na naše študente na univerzah doma in v tujini, kjer izvajamo predavanja (vse ravni prava, kriminološke in varnostne študije).
Če smo natančnejši, prvič, s preučevanjem groženj demokraciji v DS2 bomo prispevali k razvoju študij družbenega nadzora in razvoja ustavnega prava. Poleg tega bodo rezultati raziskave spodbudili širše razprave v politični znanosti in pravni teoriji. Drugič, v okviru DS3 bo raziskava prispevala k razvoju kazenskega prava, tako da bo ponudila ponovno presojo in potencialno redefinicijo načel kazenskega prava, ki izhajajo iz 19. stoletja. Poleg tega bomo ponudili odgovore na širok spekter vprašanj o izvedljivosti in zakonitosti uporabe avtomatizirane pravičnosti (z uporabo algoritmov) v celinskih evropskih sistemih. V DS3 bomo na podlagi akademskega pristopa tudi poskusili ustvariti algoritmičen model odločanja. Celoten postopek izdelave bo podvržen stalnemu opazovanju vseh faz, ki so vključene v izdelavo. Raziskali bomo potencialne koristi uporabe takega orodja pri podajanju kazenskih sankcij in tudi potencialne pomanjkljivosti, kar se precej redko dogaja v neakademskih, komercialnih projektih, kjer se takšna orodja običajno razvijajo. Tretjič, v DS4 bomo pridobili novo znanje o stopnjah samostojnosti najsodobnejših avtonomnih oboroženih sistemov, o mejah človeškega nadzora nad takimi sistemi in o omejitvah takih sistemov, da delujejo v skladu z mednarodnim humanitarnim pravom. Zagotovili bomo tudi nove smernice za izboljšanje regulacije takšnih oboroženih sistemov. Nenazadnje, DS5 bo zagotovil nove vpoglede v malo raziskana vprašanja o uporabi avtomatiziranih sistemov spremljanja in njihovem vplivu na načelo državne suverenosti. To bo eden od prvih projektov, ki se bo osredotočil na te težave.
Člani raziskovalnega projekta
REZULTATI PROJEKTA
- ZAVRŠNIK, Aleš (urednik), BADALIČ, Vasja (urednik). Automating crime prevention, surveillance, and military operations. Cham: Springer, cop. 2021. XIII, 248 str. ISBN 978-3-030-73275-2. https://doi.org/10.1007/978-3-030-73276-9
- ZAVRŠNIK, Aleš. Algorithmic Justice: Algorithms and Big Data in Criminal JusticeSettings. European Journal of Criminology, 18.9.2019, https://doi.org/10.1177/1477370819876762
- ŠARF, Pika. Zagotavljanje kibernetske varnosti v okviru Skupne zunanje in varnostne politike Pravnik : revija za pravno teorijo in prakso, ISSN 0032-6976. [Tiskana izd.], 2020, letn. 75, št. 1/2, str. 89-110, 117-118. ID 17186897
- Križnar. P.: Kazenske sankcije in algoritmi: Kaznovanje v1.0, Revija za kriminalistiko in kriminologijo, letn. 70, št. 1, 2019. ID: 3695082
- Križnar. P.: Načelo (ne)enakosti pri izrekanju kazenskih sankcij, Pravna praksa, 38(38/39), 2019. ID: 16957265
- ZAVRŠNIK, A. Empatična tehnologija in vladavina algoritmov. Pravna praksa, 19.7 2018, 37(28/29). ID 16240977
- ZAVRŠNIK, A. Pravna subjektiviteta umetne inteligence. Pravna praksa, 8.11.2018, 37(43). ID 16506961
- ZAVRŠNIK, A. Napad na informacijski sistem: 221. člen. V: KOROŠEC, D. (ur.), et al. Veliki znanstveni komentar posebnega dela Kazenskega zakonika. Uradni list RS: PF. 2019, knj. 2, s. 676-708. ID 16746321
- ZAVRŠNIK, A.; ŠARF, P. Zloraba informacijskega sistema: 237. člen. V: KOROŠEC, D. (ur.), et al. Veliki znanstveni komentar posebnega dela Kazenskega zakonika. Uradni list RS: PF. 2019, knj. 2, s. 918-943. ID 16749905
Prispevki na mednarodnih konferencah
• ZAVRŠNIK, A. Algorithmic Justice, konf. Cyberspace2019, 27-28.11.19. ID 2176590
• BADALIČ, V. Humans, autonomous weapons systems & the assault on key principles of international humanitarian law, European group for the study of deviance and social control conference, 4-6.9.19, Barcelona. ID 2187598
• PLESNIČAR, M.M. Delivering justice in an age of algorithims. V: Redesigning justice. Oxford: Howard League for Penal Reform, 2018. ID 2068814
• PLESNIČAR, M.M.; ŠARF, P. Big data, A. I. and algorithms and the fight against impunity, konf. The fight against impunity in EU law, 14-15.2.19, Turino. ID 2138958
• ZAVRŠNIK, A. konf. Artificial intelligence and human rights: Legal challenges, Academy of European Law, Bruselj, 15.4.19. ID 2132046
• ZAVRŠNIK, A. Automated Justice: implications for human rights, konf. European group for the study of deviance and social control, 22.-24.8.18, Ljubljana. ID 2064206
• BADALIČ, Vasja. The New Definition of Imminent Threat and Its Impact of the Use of Armed Force: prispevek na 75th Annual Meeting American Society of Criminology, November 13-16, 2019, San Francisco, CA. [ID 2178638]
• PLESNIČAR, M.M, ŠARF, Pika. Shaming the shamers : a case study of an online campaign and its social significance : prispevek na simpoziju Vigilant audiences: an international symposium on scrunity, denunciation and shaming in digital media use v organizaciji Department of Media and Communication, Erasmus University Rotterdam, Rotterdam, 3.-4. oktober, 2018. [ID 2068302]
Prispevki na domačih konferencah
• ZAVRŠNIK, A. Pogled Sveta Evrope na uporabo umetne inteligence v kazenskem pravosodju, 11. konf. kazenskega prava in kriminologije, 4.-5.12.18, Portorož. ID 2098254
• Šarf, P. in Križnar, P.: Vpeljava algoritmov v kazenski postopek, 11. konf. kazenskega prava in kriminologije, 4.-5.12. 2018, Portorož.
• ZAVRŠNIK, Aleš. Umetna inteligenca – implikacije za človekove pravice. Jesenska šola Pravo pred izzivi digitalne (r)evolucije, Pravna fakulteta, 25.-27.9.2019, Ljubljana. ID 2153550
• ZAVRŠNIK, Aleš. Umetna inteligenca in kazenska odgovornost, 45. Dnevi slovenskih pravnikov, Portorož, 10.-12.10.2019. ID 2172238
• ZAVRŠNIK, Aleš. Izbrane dileme algoritmične pravičnosti, Simpozij za pravno in socialno filozofijo 2018, Pravna fakulteta, Ljubljana, 5.10.18.ID 2080078
• ŠARF, P.: Avtomatizacija nadzora na območju svobode, varnosti in pravice, 12. konf. kazenskega prava in kriminologije, Portorož, 3.-4.12.19. ID 2163278
• Križnar. P.: Načelo (ne)enakosti pri izrekanju kazenskih sankcij, Jesenska šola Pravo pred izzivi digitalne (r)evolucije, Pravna fakulteta v Lj., 25.-27.9.19
• PLESNIČAR, M.M., SKOČAJ, D. Odločanje človeka vs. odločanje stroja, Jesenska šola Pravo pred izzivi digitalne (r)evolucije, Pravna fakulteta v Lj., 25.-27.9.19. ID 2154062
• GORKIČ, Primož. Prikriti preiskovalni ukrepi po ZKP N: predavanje na Izobraževalnih tožilskih dnevih Portorož, 2. dec. 2019. ID 17066321
• GORKIČ, Primož. Informacijska tehnologija in temeljni postulati kazenskega prava : prispevek na 12. konferenci kazenskega prava in kriminologije, Portorož, Grand Hotel Bernardin, 3. in 4. december 2019. ID 2163534
Okrogle mize
• BRODNIK, A.; GROZNIK, A.; ZAVRŠNIK, A.; VEBERIČ, J.; GRILC, P.: Avtonomna vozila: informatika, ekonomija, pravo in zavarovanje, XVII. dnevi civilnega in gospodarskega prava, Portorož, 25.-26. 4.19. ID 2139214
• BRATKO, I.; ZAVRŠNIK, A.; SKOČAJ, D.; RIBIČIČ, C.: Umetna inteligenca, avtonomna orožja in možnost prevzema oblasti, Pravna fakulteta v Ljubljani, 10.10.18. ID 2080334
- BADALIČ, V. Sprijazniti se moramo s tem, da ljudje tuje okupacije ne sprejemajo. Dnevnikov objektiv. 22.2.20, 70(43). ID 24764210
- ŠARF, P. Zasebnosti smo se prostovoljno odpovedali, (Odbita do bita). Ljubljana: RTV SLO, 2020. ID 2203214
- ŠARF, P. Vsakokratno branje drobnega tiska bi nam vzelo 8 let življenja, (Odbita do bita). RTV SLO, 2020. ID 2202958
- ŠARF, P. Prevzeti moramo del odgovornosti, ker nam ni vseeno za zasebnost, (Odbita do bita). RTV SLO. ID 2203470
- MARTIČ, Z.; RIBIČIČ, C.; BRATKO, I.; ZAVRŠNIK, A.: Nevarnost umetne inteligence. RTV SLO, 2018. Akcènt. ID 2079310
- ZAVRŠNIK, A. Algorithmic justice., Univerza v Lublinu, 30.5.19. ID 2139470
- ZAVRŠNIK, A. Algorithms and criminal justice, Univerza v Strasbourgu, 29.1.19. ID 2139726