J5-9347

1.7.2018 – 30.06.2021

Vodja: izr. prof. dr. Aleš Završnik

Izhodišča

V zadnjih desetletjih se postopoma uvajajo avtonomni sistemi, ki na številnih področjih pri izvrševanju nalog nadomeščajo človeka (npr. smrtonosni avtonomni oborožitveni sistemi, sistemi za podatkovno rudarjenje in analizo, robotske kirurške naprave, algoritemska analitična in napovedna programska oprema), med drugim tudi na področju nadzora in varnosti, tj. v obliki napovednega policijskega dela (Beck & McCue 2009), avtomatiziranih sistemov določanja kazni (Angwin, Larson, Mattu, Kirchner 2016) ali polavtonomnih sistemov v oboroženih spopadih. Vedno večja zmožnost samostojnega delovanja z omejenim človeškim nadzorom do katere prihaja pri avtonomnih sistemih odpira š tevilna kriminološka, pravna in etična vprašanja (na primer o jezikovnih pristranskostih, integriranih v algoritme, Caliskan, Bryson, Narayanan 2017). Splošni cilj raziskave je raziskati, kako se delovanje pravosodnega sistema na nacionalni ravni in uveljavljanje mednarodnega prava na mednarodni ravni, spreminja z vedno večjo uporabo avtonomnih sistemov, da bi ugotovili, zakaj so avtonomni sistemi za družbo po eni strani lahko koristni in zakaj lahko, po drugi strani, predstavljajo poseg v človekove pravice in druge temeljne vrednote naših družb.

Raziskava se bo osredotočila na mednarodno in nacionalno raven. Prvič, avtonomni sistemi – kot zbirka umetne inteligence, velikih podatkov in algoritmov – se uporabljajo za manipulacijo javnega mnenja in vedênja prebivalstva na načine, ki so lahko škodljivi za demokratične družbe. Resnična moč prehaja z demokratičnega polisa na digitalno korporacijo. Ogromne količine osebnih podatkov, ki jih zbirajo digitalna podjetja, so povzročila resne motnje v demokratičnem procesu. Na primer vpliv Cambridge Analytica, podjetja, ki trguje z velikim podatkovjem, na ameriške volitve leta 2016, ponuja vpogled v politično moč, ki bi jo algoritmi lahko pridobili v prihodnosti: »orodje za propagando temelječo na umetni inteligenci […], uporabljeno za manipulacijo naših mnenj in vedenja v podporo določeni politični agendi« (B. Anderson & Horvath, 2017). Podjetje je zbralo 5.000 podatkovnih točk za vsakega prebivalca ZDA in te informacije uporabilo za psihološko profiliranje posameznikov in tako naročniku zagotovilo do potankosti personalizirano spletno oglaševanje. Izkoristili so glasove, strahove in interese volivcev. Navkljub prepričljivim kritikam, da podjetje ni moglo posedovati takšne količine tako natančnih osebnih podatkov (Blackie, 2017), se zdi, da je takšno delovanje potencialna prihodnost algoritemskega vodenja in politike. Do primerov tovrstnega vmešavanja v demokratični proces prihaja po vsem svetu. Jasen primer o moči telekomunikacijskih podatkov je sodba ESČP Roman Zakharov proti Rusiji. Primer je pokazal, da so organi pregona in obveščevalne službe v Rusiji imeli neposreden dostop do vseh prometnih podatkov, povezanih z delovanjem telekomunikacijskih omrežjih, na primer podatkov opravljenih preko interneta ali z mobilnimi telefoni. Pri tem gre za jasno ogrožanje temeljnih svoboščin, kot je v zadevi odločilo tudi ESČP. Moč prestreči, shranjevati in izbrskati takšno količino podatkov o vsakem posamezniku – prodor mobilnih telefonov je v kapitalističnih družbah nadzora izjemen, število mobilnih telefonov pa precej presega število prebiv alcev (v Rusiji je 155 telefonskih številk na 100 prebivalcev) – lahko privede do izkrivljanja demokratičnih procesov, volitev in sistema zavor in ravnovesij. Vlada bi nadalje lahko opravila poglobljeno analizo javnega razpoloženja (»analiza razpoloženja«) in identificirala “vroče točke”, tj. opozicijske voditelje in skupine, ki širijo uporniške ideje.

Iz obeh primerov je razvidno, kako lahko premik v načinu zbiranja podatkov, analizi in znanju o družbi iz javnega prostora v zasebni sektor vpliva na upravljanje na nacionalni ravni in škodi demokratični arhitekturi države. Z drugimi besedami, zamenjava človeške presoje z orodji umetne inteligence tako postane del temeljnega premika v umetnosti vladanja družbi (prim. Confessore in Hakim, 2017).

Drugič, uporaba avtonomnih sistemov (npr. napovednih in analitičnih računalniških programov) je privedla do pomembnih sprememb v kazenskih pravosodnih sistemih. V številnih državah so zakonodajalci, s postopnim reformiranjem svojih sistemov kazenskega pravosodja v zadnjih desetletjih zasledovali dve skupini ciljev. Po eni strani so zakonodajalci želeli kazenske in sorodne postopke pospešiti, skrajšati, jih narediti cenejše, manj zapletene in domnevno manj obremenjujoče za vse deležnike. Po drugi strani naj spremembe ne bi vplivale na kakovost sodnih odločitev, na postopkovna jamstva, na pravico do poštenega sojenja in druge pravice obdolženca. Za uskladitev teh dveh na videz nasprotujočih si ciljev so se mnoge vlade zatekle k tehnologiji. V kazenskih pravosodnih sistemih so se znašle številne računalniško-analitične rešitve, ki naj bi bile v pomoč policiji, tožilcem, sodnikom in drugim odločevalcem pri sprejemanju odločitev. Ta trend imenujemo tudi avtomatizacija pravičnosti.

Združenih državah Amerike (ZDA), na primer, se najnovejša, četrta generacija programske opreme (npr. INSLAW, Merilo pomembnega dejavnika, lestvica za ocenjevanje nevarnega vedenja, PSA, COMPAS, LSI-R) opira na algoritme strojnega učenja, ki ustvarjajo rezultate na podlagi velike količine podatkov. Takšna programska oprema se običajno uporablja v eni od naslednjih faz odločanja: odločanje o varščini, odločanje o kazni in odločanje o pogojnem odpustu. Sodna praksa kaže, da taka orodja ne kršijo pravice obdolženca do poštenega postopka niti ne vodijo v očitno diskriminacijo. Poleg tega mnogi trdijo, da lahko takšna programska oprema bolje oceni in tehta številne zakonsko izrecno določene dejavnike, ki vplivajo na kazen, kot so na primer kriminalna zgodovina, verjetnost pozitivnega odziva na pogojno ali kratkoročno zaporno kazen ter značaj in obnašanje, ki kažeta, da obdolženec najverjetneje ne bo ponovil kaznivega dejanja. Uporaba napovednih in analitičnih računalniških programov pri sodnem odločanju se razvija tudi v Evropi. Raziskava iz leta 2016 je pokazala, da je z uporabo metode strojnega učenja sodbe Evropskega sodišča za človekove pravice mogoče predvideti z 79 % natančnostjo. Pri tako visokem odstotku natančnosti, ki kaže, da zanašanje na računalniške programe lahko omogoči večjo učinkovitost dela uslužbencev v pravosodju, je le vprašanje časa, kdaj bo avtomatizacija postala tudi del slovenskega kazenskega postopka.

Razprava o avtomatizaciji kazenskih pravosodnih sistemov je nagovorila tako koristi kot pasti zanašanja na algoritme pri odločanju v sodstvu. Po eni strani so zagovorniki avtomatizacije trdili, da bi računalniški programi lahko pomagali ustvariti pravičnejši kazenski pravosodni sistem, ki bi temeljil na informiranih odločitvah brez pristranskosti in subjektivnosti. Takšne odločitve, ki bi temeljile na verodostojni analizi napovednih dejavnikov, bi lahko bile zaneslivejše od človeških odločitev. Algoritmi bi s svojo objektivnostjo lahko pomagali povrniti dolgo izgubljeno zaupanje javnosti v pravičnost kazenskih pravosodnih sistemov. Nadalje lahko avtomatizacija predstavlja priložnost za namerno preoblikovanje kazenskega sistema s ciljem zasledovanja progresivnih, humanističnih vrednot. Gotovo pa, če ne drugega, obljublja hitrejše in jasnejše rešitve.

Po drugi strani pa so kritiki avtomatizacije izpostavili številne nevarnosti, ki jih uvedba algoritemskih rešitev prinaša. Eden od razlogov za nasprotovanje uporabi avtomatiziranih sistemov je, da je njihovo delovanje v nasprotju z nekaterimi temeljnimi načeli kazenskega prava in kazenskega postopka, zlasti v nasprotju z načeloma individualne kazenske odgovornosti in domneve nedolžnosti. Ta načela od organov kazenskega pravosodja zahtevajo zbiranje dejstev in dokazov, ki naj pripeljejo do konkretnih in natančnih zaključkov o določenem kaznivem dejanju in domnevnem storilcu tega kaznivega dejanja. Proces zbiranja dejstev in dokazov je osredotočen ter poskuša preprečiti nesorazmeren vdor v nedotakljivost posameznika. Uporaba kazenskopravnih ukrepov, možna le ex post facto (post delictum), je razumljena kot poseg v človekove pravice, upravičen šele tedaj, ko je dokazan družbeni interes, ki tovrsten poseg upravičuje. Uvedba avtomatiziranih sistemov v kazenske pravosodne sisteme je spodkopala tradicionalni okvir, ki ga določa veljavno pravo človekovih pravic. Vzpon tehnološko podprte obdelave osebnih podatkov je privedel do vseobsegajočih praks nadzorovanja. Za uporabo tovrstnih praks v sistemu kazenskega pravosodja (npr. nadzor komunikacij, fizični nadzor, nove preiskovalne tehnike, uporaba biometričnih sistemov, ki vodi v obdelavo osebnih podatkov v realnem času, itd.) je značilen odmik od tradicionalnega post delictum pristopa. Takšne prakse omogočajo razpršeno zbiranje osebnih podatkov, kar pripelje do velike količine obdelanih podatkov (veliko podatkovje), opirajo pa se na preiskave izvedene ante delictum, splošni sum, profiliranje in napovedno policijsko delo.

Poleg tega, da spodkopavajo nekatera temeljna načela kazenskega prava in postopka, imajo avtomatizirani sistemi lahko tudi druge negativne posledice. Gradnja zanesljivih algoritmov je izjemno zapleten podvig, ki zahteva intenzivno sodelovanje pravnikov in računalniških strokovnjakov. Narava strojnega učenja zahteva velik in raznolik vzorec za učenje. S povečanjem kompleksnosti problema se znatno poveča število različnih dejavnikov (npr. funkcij, značilnosti), ki jih je potrebno vzeti v obzir, kar pa zahteva velik vzorec za učenje. To pomeni, da sta tako izbira ustreznega nabora vzorca in izbira različnih dejavnikov, v skladu s katerimi se podatki obdelujejo, izrednega pomena. Obenem se odpirajo vprašanja veljavnosti in preverljivosti, za katere se zdi, da jih sodobni uporabniki niso nagovorili v zadostni meri.

Tretjič, avtomatizirani in avtonomni oborožitveni sistemi so spremenili način vojskovanja. V zadnjih letih so številne države (npr. ZDA, VB, Izrael, Rusija in Kitajska) vključile avtomatizirane in avtonomne oborožitvene sisteme v svoje vojaške arzenale. Kljub temu, da lahko tako avtomatizirani kot avtonomni oborožitveni sistemi delujejo brez človeškega ukaza, so med njim razlike. Po eni strani smrtonosni, avtomatizirani ali polavtomatizirani oborožitveni sistemi lahko izvajajo samo rutinske in ponavljajoče se operacije znotraj omejitev, ki jih postavljajo vnaprej sprogramirani parametri. Po drugi strani so smrtonosni avtonomni oborožitveni sistemi popolnoma avtonomni, t.j., sposobni so delovati samostojno in se, na podlagi povratnih informacij, ki jih dobijo od različnih senzorjev, prilagajati dinamičnim okoljem. Takšni sistemi se sami odločijo, kam bodo šli in o čem bodo poročali, saj se učijo in sproti prilagajajo novim informacijam, pridobljenim na bojišču. Tako avtomatizirani kot avtonomni sistemi orožja, ki lahko cilj izberejo in napadejo brez človeškega posredovanja, so povzročili bistvene spremembe v identiteti tistih, ki uporabljajo smrtonosno silo in v postopku odločanja, do katerega pride pred uporabo smrtonosne sile.

Cilji

Prvi del raziskave se bo, izhajajoč iz teze, da umetna inteligenca, veliko podatkovje in algoritmi lahko škodijo demokratičnim procesom, ukvarjal z vprašanjem, katere metode, orodja in sredstva se že uporabljajo ali se v bližnji prihodnosti bodo uporabljala za manipulacijo volivcev, javnega mnenja in demokratičnega procesov. Facebook eksperiment je z vseobsežno čustveno okužbo svojih uporabnikov (Kramer, Guillory in Hancock, 2014) jasno pokazal na obstoj močnih orodij za spodbujanje ali omejevanje širjenja idej. Takšna orodja, ki se danes uporabljajo za “čustveno okužbo”, se lahko v prihodnosti uporabijo za “politično okužbo” širše javnosti. Ni znano, ali države uporabljajo tovrstne podatke za “prebiranje” prebivalstva za dosego političnih ciljev, jasno pa je, da analitična orodja družbenih medijev uporabljajo za obvladovanje socialnih nemirov in ohranjanje javnega reda. Obstoječe raziskave kažejo (npr. Caplan, Reed, 2016), da ne moremo zaupati lastnikom platform, kot sta Facebook ali Twitter, da sprejemajo odločitve, ki naj bi bile v interesu skupnosti. Kot so pokazali poskusi spodbujanja volivcev na volišča na Facebooku leta 2014 (Zittrain, 2014), lahko lastniki platform algoritme namreč spremenijo tako, da ustrezajo njihovim ideološkim idr. preferencam. Tretjič, vpliv rangiranja iskalnih zahtev na internetu se razteza veliko dlje od števila klikov. Študije narejene v ZDA, na Novi Zelandiji in v Indiji kažejo, da lahko pristranska razvrstitev zadetkov v spletnih iskalnikih vpliva na volilne preference neodločenih volivcev za 20 odstotkov in do 80 odstotkov v nekaterih demografskih skupinah – ter da do manipulacije iskalnikov pogosto pride, ne da bi ljudje zanjo vedeli (Epstein, Robertson, 2014). Ta del raziskave se bo tako poglobil v obstoječe eksperimente spodbujanja potrošnikov in / ali volivcev v določeno smer: ali lahko demokracija, pravna država in načelo delitve oblasti preživijo veliko podatkovje in umetno inteligenco?

Drugič, v okviru sklopa o avtomatizaciji sistemov kazenskega pravosodja prihaja do dvoma, ali je uporaba sistemov »avtomatizirane pravičnosti« v nasprotju z obstoječimi načeli kazenskega prava in postopka. Sodobno kazensko pravo in kazenski postopek temeljita na, med drugim, načelu individualne kazenske odgovornosti, individualizaciji kazenskih sankcij, domnevi nedolžnosti in – v tradicionalnih evropskih kazenskih pravosodnih sistemih – na načelu iskanja resnice. Avtomatizirano pravosodje, nasprotno, temelji na množičnem zbiranju in obdelavi osebnih in drugih podatkov (npr. hramba komunikacijskih podatkov, hramba podatkov o DNK in prstnih odtisih, IMSI lovilci, smernice za odmero kazni) in vodi v razpršeno, neindividualizirano ugotavljanje dejstev, splošen sum in skupinsko krivdo, do novih obliki (statističnih) pravnih virov itn., kar onemogoča individualizirano ugotavljanje dejstev v zvezi z vprašanji krivde in kazenskih sankcij. Drugo vprašanje je, ali bi algoritemske rešitve, ki se rutinsko uporabljajo v ZDA in v nekaterih drugih anglosaških pravnih sistemih lahko prenesli tudi v evropsko, slovensko in druge kontinentalnopravne ureditve. V ZDA analitična programska oprema pomaga predvsem pri treh vrstah odločanja: odločanje o varščini, odločanje o višini kazni in odločanje o pogojnem odpustu. Sodišča v ZDA se močno opirajo na takšno programsko opremo, saj naj bi bila boljša pri napovedovanju prihodnjih izidov (npr. ponovitve kaznivega dejanja) in ocenjevanju nekaterih ključnih dejavnikov (npr. nevarnosti obtoženca ali obsojenca). Navkljub potencialnim koristim, ki bi jih analitična programska oprema lahko prinesla v evropske in druge kontinentalne pravne sisteme, so bili predlogi uvedbe takšnih orodij zaenkrat sprejeti zelo zadržano. V naši raziskavi se bomo osredotočili na pravne probleme, ki izhajajo iz uporabe algoritmičnih rešitev v kazenskih pravosodnih sistemih. 

Tretjič, pri uporabi smrtonosnih avtomatiziranih oz. avtonomnih oborožitvenih sistemov v oboroženih spopadih smo prepoznali naslednje probleme. Prvič, pri izvajanju kritičnih nalog v spopadih (npr. prepoznavi in izbiri tarč, uporabi sile na tarčah ipd.) so takšni oborožitveni sistemi zmanjšali vlogo človeških upravljalcev. Z dopustitvijo, da »ubijalski roboti«, ki ne premorejo človeške presoje in sposobnosti razumevanja konteksta, sprejemajo odločitve o življenju in smrti, smo že prestopili temeljno moralno ločnico. Drugič, ti oborožitveni sistemi imajo mnogo omejitev pri sprejemanju zapletenih odločitev (npr. pomanjkanje razumevanja širše slike v oborožen em spopadu, pomanjkanje zdravorazumske presoje, nezmožnost razlikovanja med zakonitimi in nezakonitimi ukazi ipd.), zaradi česar so zaenkrat nezmožni zadovoljiti potrebe mednarodnega humanitarnega prava. Tretjič, uporaba teh oborožitvenih sistemov vzbuja dileme glede odgovornosti za kršitve človekovih pravic in mednarodnega humanitarnega prava. Ker avtonomni oborožitveni sistemi niso moralni agensi, ne morejo biti odgovorni za povzročitev žrtev med civilisti.

Literatura

  • Abramowitz, M. J. (2017, december 11.). Opinion | Stop the Manipulation of Democracy Online. The New York Times. From https://www.nytimes.com/2017/12/11/opinion/fake-news-russia-kenya.html.
  • Alteras, N., Tsarapatsanis, D., Peitro, D., Lampos V. (2016). “Predicting judicial decisions of the European Court of Human Rights: A Natural Language Processing perspective.” Peerj Computer Science 2.
  • Angwin, J., Larson, J., Mattu, S., & Kirchner, L. (2016, maj 23.). Machine Bias: There’s Software Used Across the Country to Predict Future Criminals. And it’s Biased Against Blacks. ProPublica.
  • Arkin, R. (2009). Governing lethal behavior in autonomous robots. Boca Raton: CRC Press.
  • Asaro, P. (2012). “On banning autonomous weapon systems: human rights, automation, and the dehumanization of lethal decision-making.” International Review of the Red Cross, 94(886), 687-709.
  • Barocas, S. and Selbst, A. D. (2016). Big Data’s Disparate Impact. California Law Review, 104, 671–723.
  • Beard, J. M. (2013). “Autonomous weapons and human responsibilities.” Georgetown Journal of International Law, 45, 617-681.
  • Berk, R. A. and Bleich, J. (2013). Statistical Procedures for Forecasting Criminal Behavior. Criminology & Public Policy 12, 513–544.
  • Bond, R. M., Fariss, C. J., Jones, J. J., Kramer, A. D. I., Marlow, C., Settle, J. E., & Fowler, J. H. (2012). A 61-million-person experiment in social influence and political mobilization. Nature, 489(7415), 295.
  • Boyd,   Danah. (2017, november 20.). The Radicalization of Utopian Dreams. Data & Society: Points. Pridobljeno od https://points.datasociety.net/the-radicalization-of-utopian-dreams-e1b785a0cb5d.
  • Caliskan, A., Bryson, J. J., & Narayanan, A. (2017). Semantics derived automatically from language corpora contain human-like biases. Science, 356(6334), 183–186.
  • Caplan, R., & Reed, L. (2016, May 16). Who Controls the Public Sphere in an Era of Algorithms: Case Studies. Data & Society.
  • Citron, D. K. (2008). “Technological Due Process.” Washington University Law Review, 85(6), 1249-1313.
  • Crespo A. (2016). Systemic Facts: Toward Institutional Awareness in Criminal Courts. Harvard Law Review, 129 (8), 2049-2117.
  • Denham, E. (2017, december 13.). Update on ICO investigation into data analytics for political purposes. ICO Blog.
  • Epstein, Robert (2015, August 19). “How Google Could Rig the 2016 Election.” Politco.com.
  • Eubanks, V. (2018). Automating Inequality: How High-Tech Tools Profile, Police, and Punish the Poor. New York, NY: St. Martin’s Press.
  • Ferguson, A. G. (2015). Big Data and Predictive Reasonable Suspicion. University of Pennsylvania Law Review, 163(2), 327–410.
  • Forbrig, J. (2017, March 8.). Russian Hackers Can’t Beat German Democracy. Foreign Policy. From https://foreignpolicy.com/2017/08/03/russian-hackers-cant-beat-german-democracy-putin-merkel/.
  • Forelle, M., Howard, P., Monroy-Hernandez, A., and Savage, S. (2015). “Political bots and the Manipulation of Public Opinion in Venezuela.”
  • Goodman, B. and Flaxman, S. (2016). “European Union regulations on algorithmic decision-making and a ‘right to explanation’”. Paper presented at 2016 ICML Workshop on Human Interpretability in Machine Learning (WHI 2016), New York.
  • Grimal, F. (2014). “Missile Defence Shields: Automated and Anticipatory Self-Defence? 19 Journal of Conflict and Security Law, 2, 317–339.
  • Harcourt, B. E. (2015). Risk as a proxy for race. Federal Sentencing Reporter, 27(4), 237–243.
  • Helbing, D., Frey, B. S., Gigerenzer, G., Hafen, E., Hagner, M., Hofstetter, Y., idr. (2017, Feb 25). Will democracy survive big data and artificial intelligence? Scientific American.
  • Hosenball, M. (2017, September 5.). U.S. increasingly convinced that Russia hacked French election: sources. Reuters. From https://www.reuters.com/article/us-france-election-russia/u-s-increasingly-convinced-that-russia-hacked-french-election-sources-idUSKBN1852KO.
  • Human Rights Watch (HRW). (2012). Loosing humanity: The case against killer robots. New York: HRW.
  • Kastan, B. (2013). “Autonomous Weapons Systems: A Coming Legal Singularity.” University of Illinois Journal of Law, Technology, and Policy, 45-82.
  • Kehl, D., Guo P., Kessler, S. (2017). “Algorithms in the Criminal Justice System: Assessing the Use of Risk Assessment in Sentencing.” Responsive Communities Initiative, Berkman Klein Center for Internet & Society, Harvard Law School.
  • Kleinberg, J., Lakkaraju, H., Leskovec, J., Ludwig, J., and Mullainathan, S. (2017). Human Decisions and Machine Predictions (Working Paper No. 23180) (pp. 1–76). Cambridge, MA: National Bureau of Economic Research.
  • Krishnan, A. (2009). Killer robots: legality and ethicality of autonomous weapons. Farnham: Ashgate Publishing. Levin B. (2016). “Values and Assumptions in Criminal Adjudication,” Harvard Public Law Working Paper No. 16-41, Harvard Law Review Forum.
  • Mallet, S. (2015). “Judicial Discretion in Sentencing: A Justice System that is no longer just?” Victoria University of Wellington Law Review 46, 533-571.
  • Marchant, G. E., Allenby, B., Arkin, R. C., Barrett, E. T., Borenstein, J., Gaudet, L. M. and Silberman, J. (2011). “International governance of autonomous military robots.” The Columbia Science and Technology Law Review, 12, 272-315.
  • Marks A., Bowling B. and Keenan C. (2017).      “Automatic justice? Technology, Crime and Social Control,” in: R.
  • Brownsword,  E.  Scotford  and  K.  Yeung  (eds):  The  Oxford  Handbook  of  the  Law     and  Regulation  of Technology, Oxford: OUP
  • McCulloch, J., & Wilson, D. (2016). Pre-crime: Pre-emption, precaution and the future. London: Routledge.
  • Molenaar et al. (2000). “Satellite-based vessel monitoring systems (VMSs) for fisheries management”, FAO Legal Papers #7, 1-45.
  • Morozov, E. (2013). To Save Everything, Click Here: Technology, Solutionism, and the Urge to Fix Problems that Don’t Exist. London: Allen Lane.
  • Moses, L. B., & Chan, J. (2014). Using big data for legal and law enforcement decisions: Testing the new tools. University of New South Wales Law Journal, 37(2), 643–678.
  • Nathan, J. (2015). Risk and Needs Assessment in the Criminal Justice System. Washington D.C.: Congressional Research Services.
  • O’Neil, C. (2016). Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy. New York: Crown.
  • O’Neil, C. (2016). Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy. New York: Random House.
  • Plesničar, M. M., and Šugman Stubbs, K. (2018). “Subjectivity, algorithms and the courtroom.” In A. Završnik (Ed.), Big data, crime and social control (pp. 154–175). New York: Routledge.
  • Simmons, R. (2016). Quantifying Criminal Procedure: How to Unlock the Potential of Big Data in Our Criminal Justice System. Michigan State Law Review, 2016 (4), 947–1017.
  • Singer, P. W. (2009). Wired for war: The robotics revolution and conflict in the 21st century. New York: Penguin.
  • Sparrow, R. (2007). “Killer robots” Journal of Applied Philosophy, 24 (1), 62-77.
  • Starr, S. (2014). “Evidence-Based Sentencing and the Scientific Rationalization of Discrimination.” Stanford Law Review 66 (4), 803-872.
  • Steele, V. R., Claus, E. D., Aharoni, E., Vincent, G. M., Calhoun, V. D., and Kiehl, K. A. (2015). “Multimodal imaging measures predict rearrest.” Frontiers in Human Neuroscience, 9(425) 1–13.
  • Yang, C. S. (2013). “Free at last? Judicial Discretion and Racial Disparities in Federal Sentencing.” Coase-Sandor Institute for Law & Economics Working Paper No. 661, 2013.
  • Završnik, A., ed. (2018). Big data, crime and social control, New York: Routledge.
  • Zittrain, J. (2014, junij 2.). Facebook Could Decide an Election Without Anyone Ever Finding Out. The New Republic.