Človekove pravice in regulacija umetne inteligence vredne zaupanja

[fusion_builder_container hundred_percent=”no” hundred_percent_height=”no” hundred_percent_height_scroll=”no” hundred_percent_height_center_content=”yes” equal_height_columns=”no” menu_anchor=”” hide_on_mobile=”small-visibility,medium-visibility,large-visibility” status=”published” publish_date=”” class=”” id=”” border_size=”” border_color=”” border_style=”solid” margin_top=”” margin_bottom=”” padding_top=”” padding_right=”” padding_bottom=”” padding_left=”” gradient_start_color=”” gradient_end_color=”” gradient_start_position=”0″ gradient_end_position=”100″ gradient_type=”linear” radial_direction=”center” linear_angle=”180″ background_color=”” background_image=”” background_position=”center center” background_repeat=”no-repeat” fade=”no” background_parallax=”none” enable_mobile=”no” parallax_speed=”0.3″ background_blend_mode=”none” video_mp4=”” video_webm=”” video_ogv=”” video_url=”” video_aspect_ratio=”16:9″ video_loop=”yes” video_mute=”yes” video_preview_image=”” filter_hue=”0″ filter_saturation=”100″ filter_brightness=”100″ filter_contrast=”100″ filter_invert=”0″ filter_sepia=”0″ filter_opacity=”100″ filter_blur=”0″ filter_hue_hover=”0″ filter_saturation_hover=”100″ filter_brightness_hover=”100″ filter_contrast_hover=”100″ filter_invert_hover=”0″ filter_sepia_hover=”0″ filter_opacity_hover=”100″ filter_blur_hover=”0″][fusion_builder_row][fusion_builder_column type=”3_4″ layout=”3_4″ spacing=”” center_content=”no” link=”” target=”_self” min_height=”” hide_on_mobile=”small-visibility,medium-visibility,large-visibility” class=”” id=”” hover_type=”none” border_size=”0″ border_color=”” border_style=”solid” border_position=”all” border_radius=”” box_shadow=”no” dimension_box_shadow=”” box_shadow_blur=”0″ box_shadow_spread=”0″ box_shadow_color=”” box_shadow_style=”” padding_top=”” padding_right=”” padding_bottom=”” padding_left=”” margin_top=”” margin_bottom=”” background_type=”single” gradient_start_color=”” gradient_end_color=”” gradient_start_position=”0″ gradient_end_position=”100″ gradient_type=”linear” radial_direction=”center” linear_angle=”180″ background_color=”” background_image=”” background_image_id=”” background_position=”left top” background_repeat=”no-repeat” background_blend_mode=”none” animation_type=”” animation_direction=”left” animation_speed=”0.3″ animation_offset=”” filter_type=”regular” filter_hue=”0″ filter_saturation=”100″ filter_brightness=”100″ filter_contrast=”100″ filter_invert=”0″ filter_sepia=”0″ filter_opacity=”100″ filter_blur=”0″ filter_hue_hover=”0″ filter_saturation_hover=”100″ filter_brightness_hover=”100″ filter_contrast_hover=”100″ filter_invert_hover=”0″ filter_sepia_hover=”0″ filter_opacity_hover=”100″ filter_blur_hover=”0″ last=”no”][fusion_text columns=”” column_min_width=”” column_spacing=”” rule_style=”default” rule_size=”” rule_color=”” hide_on_mobile=”small-visibility,medium-visibility,large-visibility” class=”” id=”” animation_type=”” animation_direction=”left” animation_speed=”0.3″ animation_offset=””]

Vsebina projekta

Umetna inteligenca (UI) prinaša številne prednosti za posameznike, podjetja in države. Primeri segajo od situacij, ko družbena omrežja priporočajo prijatelje, algoritmi, ki osmišljajo veliko podatkovje opravijo del transakcij na borzah ali pa organom odkrivanja in pregona pokažejo, kje in kdaj naj bi se zgodil prihodnji zločin. Evropska unija je z vseevropsko pobudo o sodelovanju na področju umetne inteligence, ki se ji je pridružila tudi Slovenija začrtala prizadevanja, da je smiselno, da z velikim podatkovjem, strojnim učenjem oz. UI poskušamo reševati tudi številne družbene probleme: revščino, klimatske spremembe, družbeno neenakost in kriminaliteto. Nujno pa je, da se tehnološki razvoj UI odvija v ustreznem pravno-etičnim okvirju, ki bo okrepil obstoječe ravni spoštovanja človekovih pravic in temeljnih svoboščin vsakega posameznika in utrdil legitimne demokratične procese.

Naše raziskovalno delo je razdeljeno na tri dele. V prvem delu, Atlas uporabe UI, analiziramo rabo UI v družbenih domenah in družbenih podsistemih, kjer UI lahko vpliva na temelje demokratične družbene ureditve in pravne države. V tem delu se med drugim ukvarjamo tudi  s preučevanjem obstoječih uporab UI v javni politikah. Na podlagi študij primerov dobrih praks uporabe UI v javnih politikah v tujini in analize znanja iz že obstoječih platform želimo oblikovati smernice kako dobre prakse in znanja uspešno prenesti in implementirati v sfero javnih politik v Republiki Sloveniji.

V drugem delu projekta, Učinki UI na človekove pravice in posameznika, je naš cilj oblikovati kvalitativne analize rabe UI v različnih domenah. Dva ključna učinka UI, ki jih projekt naslavlja, sta vplivi UI na temeljne človekove pravice (pravni vidiki) ter vplivi na človekovo subjektivnost (nepravni oz. psiho-socialni vidiki). Izhodišče projekta je, da mora vpeljava UI temeljiti na spoštovanju temeljnih človekovih pravic in temeljnih svoboščin, demokracije, pravne države in zagotavljanju gospodarske in politične stabilnosti. Raznoliki primeri obstoječe uporabe UI kažejo, da ob številnih koristih novi sistemi okrepljeni z UI lahko vodijo tudi v kršitve temeljnih človejkovih pravic. Grožnje so specifične za posamično domeno – npr. zavarovalniško, bančno, sodno, policijsko – nekatere pa so skupne delovanju UI. Primeri uporabe UI kažejo, da ta prinaša številne pravne in etične izzive. Na mikro ravni UI uporabljena v sistemih odločanja o posameznikovih pravicah in obveznostih vpliva na številne individualne človekove pravice, na primer na zasebnost in varstvo osebnih podatkov, načelo enakosti in socialne pravičnosti, na avtonomijo posameznika in na njegovo dostojanstvo. Na mezo in makro družbeni ravni pa prihaja do vplivov na delovanje demokracije in povečanje ekonomske neenakosti ter vodi v družbeno razvrščanje prebivalstva.

Zavedamo se, da UI vstopa v specifičen socialno, kulturno-političen prostor obenem pa je tudi produkt specifične družbeno-ekonomske situacije, ki jo povratno tudi sama pomaga sooblikovati. UI je posledično lahko uporabljena tako za krepitev »negativnih« družbenih sprememb, npr. povečevanje ekonomske neenakosti na globalni ravni, širitev družbeno razdiralnih in sovražnih politik kot tudi sredstvo odpravljanja takšnih družbenih sprememb. V okviru projekta je naš cilj tako analizirati pravne dileme na izbranih pravnih področjih in identificirati nad-domenske, tj.skupne problematične značilnosti uporabe AI v odločevalskih procesih, kot so npr. netransparentnost sistemov odločanja z UI; težave povezane s kvaliteto in pristranostjo podatkov; samouresničujoče se prerokbe pri preveliki odvisnosti od preteklih učnihprimerov; nevarnosti podatkovnega maksimiranja; nesorazmerje moči, ki nastaja zaradi uporabe UI; nevarnosti podatkovnega determinizma in diskriminacije; zastraševalni učinek na pravice; ustvarjanje »odmevnih soban« pri personaliziranih storitvah ipd.

V tretjem delu, Regulacija in upravljanje UI, predhodno analizirane rabe UI postavljamo v etični in pravni okvir. V tem delu preučujemo različne etike in vrednote, ki jih imamo v mislih, ko govorimo o etiki v umetni inteligenci. Ena imed osrednjih tematik s katero se bomo ukvarjali je tudi varstvo osebnih podatkov, saj je UI doživela preporod ravno v času sprememb v intenzivnosti in obsegu zbiranja, obdelave in dostopa do osebnih podatkov. Temeljna načela varstva osebnih podatkov v EU so se razvila v obdobju pred digitalno revolucijo, zato pogosto nasprotujejo realnosti zbiranja in obdelave podatkov v dobi velikega podatkovja in UI.

Ker gre pri UI za globalne spremembe, ki jih ni mogoče regulirati samo na nacionalni ravni, se vprašanja odgovornosti UI, transparentnosti in posledic za človekove pravice že obravnavajo na mednarodnih forumih, npr. v okviru OECD, UNESCO, G20, EU, vendar celovit model upravljanja AI zanekrat še ni razvit. Mednarodno sodelovanje lahko zagotovi učinkovito globalno upravljanje, vendar pa se je obenem potrebno zavedati, da na področju UI hiter tehnološki razvoj in nesorazmernost informacij med oblikovalci politik na eni strani in skupnostjo, ki UI razvija in uporablja na drugi, resno ogrožata možnost vseh vpletenih deležnikov, da bi vprašanja, ki se odpirajo učinkovito naslovili. V okviru projekta se med drugim ukvarjamo z vprašanjem, kako zgraditi celovit in zanesljiv globalni režim upravljanja UI po zgledu modelov dobrega upravljanja na drugih področjih. Ker je učinkovito in odgovorno upravljanje mogoče izvesti le z dobro razvitimi kazalniki razvitosti UI je eden izmed ciljev našega projekta tudi vzpostavitev načrta enotnega informacijskega vira, ki bi ponujal celoviti vpogled v razvojne trende znotraj zapletenega področja UI. 

Rezultati projekta

Objave

Lukšič Ž, Tanevski J, Džeroski S, Todorovski L (2019) Meta-model framework for surrogate-basedparameter estimation in dynamical systems. IEEE Access 7: 181829 -181841. DOI: 10.1109/ACCESS.2019.2959846. Dostopen na https://doi.org/10.1109/ACCESS.2019.2959846

Tanevski J, Todorovski L, Džeroski S (2019) Combinatorial search for selecting the structure of models of dynamical systems with equation discovery. Engineering Applications of Artificial Intelligence 89: 103423-1–103423-14. DOI: 10.1016/j.engappai.2019.103423. Dostopen na https://doi.org/10.1016/j.engappai.2019.103423

Simidjievski N, Todorovski L, Kocijan J, Džeroski S (2020) Equation discovery for nonlinear systemi dentification. IEEE Access 8: 29930–29943. DOI: 10.1109/ACCESS.2020.2972076. Dostopen na https://doi.org/10.1109/ACCESS.2020.2972076

Završnik, Aleš. Criminal justice, artificial intelligence systems, and human rights. ERA-Forum : scripta iuris europaei. Print ed. Mar. 2020, vol. 20, iss. 4, str. 567-583. ISSN 1612-3093. https://link.springer.com/article/10.1007%2Fs12027-020-00602-0, DOI: 10.1007/s12027-020-00602-0. [COBISS.SI-ID 2199630], [SNIP]

Šarf, Pika. Zagotavljanje kibernetske varnosti v okviru Skupne zunanje in varnostne politike EU. Pravnik : revija za pravno teorijo in prakso. [Tiskana izd.]. 2020, letn. 75, št. 1/2, str. 89-110, 117-118. ISSN 0032-6976. [COBISS.SI-ID 17186897]

Križnar. P.: Kazenske sankcije in algoritmi: Kaznovanje v1.0, Revija za kriminalistiko in kriminologijo, letn. 70, št. 1, 2019.

Križnar. P.: Načelo (ne)enakosti pri izrekanju kazenskih sankcij, Pravna praksa: časopis za pravna vprašanja, leto 38, št. 38/39, 2019.

Šarf, P. in Križnar, P.: Vpeljava algoritmov v kazenski postopek: primer odmerjanja kazenskih sankcij, Zbornik konference kazenskega prava in kriminologije, Lexpera, GV Založba, Ljubljana 2018.


Vabljena predavanja pri nas in v tujini

Todorovski L (2019) Umetna inteligenca danes: miti in resnice. Vabljeno predavanje na poslovni konferenci “D4T4 2019: Inovativni pristopi k analitičnim projektom”, 14. novembra 2019 v Ljubljani. Več informacij na https://www.in516ht.com/event/data-2019/

Završnik, Aleš. Algorithms, big data and human rights in criminal justice : predavanje na Faculté de Droit, de Sciences Politiques et de Gestion, Université de Strasbourg, Strasbourg, 7. februar 2020. [COBISS.SI-ID 2200654]

Konference, okrogle mize in drugi dogodki

Završnik, Aleš. Avtomatizacija pravičnosti = Automating justice : prispevek na Festival Grounded ʺAvtomatizacija in oblastʺ, Ljubljana, 14.11.-16.11.2019. [COBISS.SI-ID 2162254]

Završnik, Aleš. Avtonomna vozila in kazenska odgovornost : prispevek na 12. konferenci kazenskega prava in kriminologije, Portorož, Grand Hotel Bernardin, 3. in 4. december 2019. [COBISS.SI-ID 2162766]

Završnik, Aleš. Umetna inteligenca – implikacije za človekove pravice : predavanje na jesenski šoli Pravo pred izzivi digitalne (r)evolucije, Pravna fakulteta, 25. do 27.september 2019, Ljubljana. [COBISS.SI-ID 2153550]

Završnik, Aleš. Umetna inteligenca in kazenska odgovornost : prispevek na 45. dnevih slovenskih pravnikov, Portorož, GH Bernardin, 10. do 12. oktober 2019. [COBISS.SI-ID 2172238]

Završnik, Aleš. A.I. and its implications for criminal justice across Europe : prispevek na Leap Annual Conference 2020: Our 2020 vision for criminal justice in Europe, 28 – 29 February, Lisbon. [COBISS.SI-ID 2200398]

Završnik, Aleš. Poglej naprej – sodstvo in avtomatizacija : trendi in pasti : prispevek na 10. konferenci dobrih praks v sodstvu, 12. december 2019, Kongresni center Brdo pri Kranju. [COBISS.SI-ID 2172494]

Todorovski, Ljupčo.  So-organizator dogodka NetSlo 2020, šestega letnega srečanja raziskovalcev s področja analize kompleksnih omrežij na Fakulteti za računalništvo in informatiko Univerze v Ljubljani, 23. januarja 2020. Kratek prispevek in intervju o srečanju je pripravil POP TV v okviru oddaje 24 ur in je dostopen na naslovu https://www.24ur.com/video?video=62375141

Šarf, Pika. Avtomatizacija nadzora na območju svobode, varnosti in pravice : prispevek na 12. konferenci kazenskega prava in kriminologije, Portorož, Grand Hotel Bernardin, 3. in 4. december 2019.

Šarf, Pika (diskutant), Okorn, Rok (diskutant), Emeršič, Žiga (diskutant), Savič, Domen (diskutant, avtor). Face recognition : prakse in problemi : okrogla miza, Kreativni center Poligon, 20. 11. 2019, Ljubljana. [COBISS.SI-ID 2181198]

Dobranić, Filip (diskutant), Šarf, Pika (diskutant), Koren Ošljak, Katja (diskutant), Masten, Aljoša (diskutant), Savič, Domen (diskutant, avtor). Informacijska družba : kje smo in kam gremo? : okrogla miza, Kreativni center Poligon, 1. 12. 2019, Ljubljana. [COBISS.SI-ID 2180942]

Šarf, P. in Križnar, P.: Vpeljava algoritmov v kazenski postopek: primer odmerjanja kazenskih sankcij, prispevek na 11. konferenci kazenskega prava in kriminologije v Portorožu.

Križnar. P.: Načelo (ne)enakosti pri izrekanju kazenskih sankcij, prispevek na jesenski pravni šoli Pravo pred izzivi digitalne (r)evolucije v Ljubljani.

Intervjuji in nastopi

Todorovski, Ljupčo (intervjuvanec).  Nastop/intervju v oddaji Točka preloma, RTVSlo na temo umetna inteligenca in kibernetski napadi, 7. novembra 2019. Dostop za registrirane uporabnike na https://4d.rtvslo.si/arhiv/tocka-preloma/174649770

Šarf, Pika (intervjuvanec). Prevzeti moramo del odgovornosti, ker nam ni vseeno za zasebnost. Ljubljana: Radiotelevizija Slovenija javni zavod, 2020. 1 spletni vir (1 zvočna datoteka (25 min, 53 sek)). Odbita do bita. https://val202.rtvslo.si/2020/03/prevzeti-moramo-del-odgovornosti-ker-nam-ni-vseeno-za-zasebnost/. [COBISS.SI-ID 2203470]

Šarf, Pika (intervjuvanec). Vsakokratno branje drobnega tiska bi nam vzelo 8 let življenja. Ljubljana: Radiotelevizija Slovenija javni zavod, 2020. 1 spletni vir (1 zvočna datoteka (17 min, 03 sek)). Odbita do bita. https://val202.rtvslo.si/2020/02/odbita-do-bita-162/. [COBISS.SI-ID 2202958]

Šarf, Pika (intervjuvanec). Zasebnosti smo se prostovoljno odpovedali. Ljubljana: Radiotelevizija Slovenija javni zavod, 2020. 1 spletni vir (1 zvočna datoteka (23 min, 50 sek)). Odbita do bita. https://val202.rtvslo.si/2020/02/odbita-do-bita-163/. [COBISS.SI-ID 2203214]

Ostalo

Petković M, Simidjievski N, Todorovski L (2020) Uporaba strojnega učenja za modeliranje dinamike spreminjanja števila oseb okuženih z virusom COVID-19 v Sloveniji: poročilo, ki ga sproti posodabljamo je dostopno na naslovu http://kt.ijs.si/~ljupco/covid-19-sir/report.nb.html

 

 

Dogodki in nastopi v medijih (ZAVIHEK)

12.2.2020 smo na Pravni fakulteti v Ljubljani organizirali okroglo mizo Od demokracije do algokracije, na kateri smo gostili dr. Jeleno Burnik in dr. Majo Brkan. Dostop do prve epizode podcasta Inštituta za kriminologijo pri Pravni fakulteti v Ljubljani, kjer je mogoče poslušati predavanje dr. Maje Brkan:

https://criminology.bandcamp.com/track/epizoda-1-dr-maja-brkan-univerza-v-maastrichtu?fbclid=IwAR1jhLDkNEvoUYI8x-bozc8G2071FpTR-xbr-ICB3J8fFgl1nWehgrFdO4Y

[/fusion_text][/fusion_builder_column][fusion_builder_column type=”1_4″ layout=”1_4″ spacing=”” center_content=”no” link=”” target=”_self” min_height=”” hide_on_mobile=”small-visibility,medium-visibility,large-visibility” class=”” id=”” hover_type=”none” border_size=”0″ border_color=”” border_style=”solid” border_position=”all” border_radius=”” box_shadow=”no” dimension_box_shadow=”” box_shadow_blur=”0″ box_shadow_spread=”0″ box_shadow_color=”” box_shadow_style=”” padding_top=”” padding_right=”” padding_bottom=”” padding_left=”” margin_top=”” margin_bottom=”” background_type=”single” gradient_start_color=”” gradient_end_color=”” gradient_start_position=”0″ gradient_end_position=”100″ gradient_type=”linear” radial_direction=”center” linear_angle=”180″ background_color=”” background_image=”” background_image_id=”” background_position=”left top” background_repeat=”no-repeat” background_blend_mode=”none” animation_type=”” animation_direction=”left” animation_speed=”0.3″ animation_offset=”” filter_type=”regular” filter_hue=”0″ filter_saturation=”100″ filter_brightness=”100″ filter_contrast=”100″ filter_invert=”0″ filter_sepia=”0″ filter_opacity=”100″ filter_blur=”0″ filter_hue_hover=”0″ filter_saturation_hover=”100″ filter_brightness_hover=”100″ filter_contrast_hover=”100″ filter_invert_hover=”0″ filter_sepia_hover=”0″ filter_opacity_hover=”100″ filter_blur_hover=”0″ last=”no”][fusion_person name=”Aleš Završnik” title=”vodja projekta” picture=”https://www.inst-krim.si/wp-content/uploads/2020/01/Aleš-Završnik-sq.jpg” picture_id=”14573|full” pic_link=”” linktarget=”_self” pic_style=”” pic_style_blur=”” pic_style_color=”” pic_bordersize=”” pic_bordercolor=”” pic_borderradius=”” hover_type=”none” background_color=”” content_alignment=”” icon_position=”” social_icon_boxed=”” social_icon_boxed_radius=”” social_icon_color_type=”” social_icon_colors=”” social_icon_boxed_colors=”” social_icon_tooltip=”” blogger=”” deviantart=”” digg=”” dribbble=”” dropbox=”” facebook=”” flickr=”” forrst=”” instagram=”” linkedin=”” myspace=”” paypal=”” pinterest=”” reddit=”” rss=”” skype=”” soundcloud=”” spotify=”” tumblr=”” twitter=”” vimeo=”” vk=”” whatsapp=”” xing=”” yahoo=”” yelp=”” youtube=”” email=”” show_custom=”no” hide_on_mobile=”small-visibility,medium-visibility,large-visibility” class=”” id=”” /][fusion_text columns=”” column_min_width=”” column_spacing=”” rule_style=”default” rule_size=”” rule_color=”” hide_on_mobile=”small-visibility,medium-visibility,large-visibility” class=”” id=”” animation_type=”” animation_direction=”left” animation_speed=”0.3″ animation_offset=””]

Člani skupine:

Renata Salecl
Matjaž Jager
Katja Simončič
Pika Šarf
Marko Drobnjak
Ljupčo Todorovski

[/fusion_text][fusion_text columns=”” column_min_width=”” column_spacing=”” rule_style=”default” rule_size=”” rule_color=”” hide_on_mobile=”small-visibility,medium-visibility,large-visibility” class=”” id=”” animation_type=”” animation_direction=”left” animation_speed=”0.3″ animation_offset=””]

Ciljni raziskovalni projekt (CRP) Človekove pravice in regulacija umetne inteligence vredne zaupanja (V5-1930) je financiran s strani Javne agencije za raziskovalno dejavnost Republike Slovenije (RS), Ministrstva za zunanje zadeve RS, Ministrstva za javno upravo RS, Ministrstva za izobraževanje, znanost in šport RS ter Ministrstva za pravosodje RS.

Projekt je trenutno v prvi fazi izvajanja (1.11.2019- 30.6.2020).

[/fusion_text][fusion_imageframe image_id=”14691|full” max_width=”” style_type=”” blur=”” stylecolor=”” hover_type=”none” bordersize=”” bordercolor=”” borderradius=”” align=”none” lightbox=”no” gallery_id=”” lightbox_image=”” lightbox_image_id=”” alt=”” link=”” linktarget=”_self” hide_on_mobile=”small-visibility,medium-visibility,large-visibility” class=”” id=”” animation_type=”” animation_direction=”left” animation_speed=”0.3″ animation_offset=””]https://www.inst-krim.si/wp-content/uploads/2020/04/Logo_MIZS_slo.jpg[/fusion_imageframe][fusion_separator style_type=”default” hide_on_mobile=”small-visibility,medium-visibility,large-visibility” class=”” id=”” sep_color=”” top_margin=”” bottom_margin=”” border_size=”” icon=”” icon_circle=”” icon_circle_color=”” width=”” alignment=”center” /][fusion_imageframe image_id=”14695|full” max_width=”” style_type=”” blur=”” stylecolor=”” hover_type=”none” bordersize=”” bordercolor=”” borderradius=”” align=”none” lightbox=”no” gallery_id=”” lightbox_image=”” lightbox_image_id=”” alt=”” link=”” linktarget=”_self” hide_on_mobile=”small-visibility,medium-visibility,large-visibility” class=”” id=”” animation_type=”” animation_direction=”left” animation_speed=”0.3″ animation_offset=””]https://www.inst-krim.si/wp-content/uploads/2020/04/MZZ_slo.jpg[/fusion_imageframe][fusion_separator style_type=”default” hide_on_mobile=”small-visibility,medium-visibility,large-visibility” class=”” id=”” sep_color=”” top_margin=”” bottom_margin=”” border_size=”” icon=”” icon_circle=”” icon_circle_color=”” width=”” alignment=”center” /][fusion_imageframe image_id=”14698|full” max_width=”” style_type=”” blur=”” stylecolor=”” hover_type=”none” bordersize=”” bordercolor=”” borderradius=”” align=”none” lightbox=”no” gallery_id=”” lightbox_image=”” lightbox_image_id=”” alt=”” link=”” linktarget=”_self” hide_on_mobile=”small-visibility,medium-visibility,large-visibility” class=”” id=”” animation_type=”” animation_direction=”left” animation_speed=”0.3″ animation_offset=””]https://www.inst-krim.si/wp-content/uploads/2020/04/pravosodje.jpeg[/fusion_imageframe][fusion_separator style_type=”default” hide_on_mobile=”small-visibility,medium-visibility,large-visibility” class=”” id=”” sep_color=”” top_margin=”” bottom_margin=”” border_size=”” icon=”” icon_circle=”” icon_circle_color=”” width=”” alignment=”center” /][fusion_imageframe image_id=”14224|full” max_width=”” style_type=”” blur=”” stylecolor=”” hover_type=”none” bordersize=”” bordercolor=”” borderradius=”” align=”none” lightbox=”no” gallery_id=”” lightbox_image=”” lightbox_image_id=”” alt=”” link=”” linktarget=”_self” hide_on_mobile=”small-visibility,medium-visibility,large-visibility” class=”” id=”” animation_type=”” animation_direction=”left” animation_speed=”0.3″ animation_offset=””]https://www.inst-krim.si/wp-content/uploads/2018/12/ARRSLogo_2016.png[/fusion_imageframe][/fusion_builder_column][/fusion_builder_row][/fusion_builder_container]

DOSTOPNOST