Yapay Zeka ve Siber Güvenlik: Fırsatlar ve Zorluklar
Teknik Çalıştay (Workshop) Özeti
Bu rapor Ağ & bilgi teknolojisi araştırma ve geliştirme alt komitesi ve Ulusal Bilim ve Teknoloji Konseyi’nin Makine Öğrenme & Yapay Zeka Alt komitesi tarafından hazırlanmıştır.
Mart 2020
İçindekiler
Özet
Kısaltmalar
Giriş
Yapay Zekanın Güvenliği
AI Sistemlerinin Belirlenmesi ve Doğrulanması
Güvenilir Yapay Zeka Karar Vermesi
Çelişkili, Zararlı Girdilerin Belirlenmesi ve Azaltılması
Güvenilir Yapay Zeka Destekli Sistemlerin Geliştirilmesi
Siber Güvenlik için Yapay Zeka
Sistemleri Daha Güvenli Hale Getirme
Otonom ve Yarı Otonom Siber Güvenlik
Otonom Siber Savunma
Güvenlik İçin Tahmini Analiz
Oyun Teorisi Uygulamaları
İnsan – Yapay Zeka Etkileşimi
Bilim İnsanı ve Mühendislerin İhtiyaçları
Test Ortamı, Veri Setleri ve Araçlar
Eğitim, Mesleki Eğitim ve Halkın Erişimi (Halka İnme)
Sonuç
Özet:
4-6 Haziran 2019’da, ABD Ulusal Bilim ve Teknoloji Konseyi Ağ ve Bilgi Teknolojisi Araştırma ve Geliştirme Alt Komiteleri ve Makine Öğrenimi ve Yapay Zeka, siber güvenlik ve yapay zekanın (AI) kesişimindeki araştırma zorluklarını ve fırsatlarını değerlendirmek için bir çalıştay1 düzenledi. Bu yazı ile çalıştaydaki görüşmeler özetlenmiştir.
Günümüzdeki teknoloji, tarihin bir dönüm noktasındadır. Yapay zeka ve makine öğrenimi (ML) toplumun bu kavramları içselleştirme ve anlama yeteneğinden daha hızlı ilerlemektedir; aynı zamanda yapay zeka ve makine öğrenme kullanan bilgisayar sistemleri daha yaygın olarak kullanılmakla birlikte kritik hale evrilmiştir. Bu yeni özellikler dünyayı daha güvenli ve daha kolay yaşanır, adil ve çevreye duyarlı hale getirebileceği gibi aynı zamanda kamu hizmetleri ve özel hayatı zorlaştırabilecek güvenlik sorunları da getirebilmektedirler.
Sık sık birbirlerinin yerine kullanılmasına rağmen, yapay zeka ve makine öğrenme terimleri birbiriyle ilişkili iki kavramı ifade eder. 1950’lerde üretilen yapay zeka, “zekayı” modellemeye yönelik programlara atıfta bulunan bilgisayar bilimi alanıdır. Uygulamada gerekli girdiler ve temel bilgiler göz önüne alındığında akıl yürütebilen veya öğrenebilen ve planlama, tanıma ve otonom karar verme (ör. Hava tahmini) gibi görevler için kullanılan algoritmaları ifade eder. Makine öğrenme, örneklerden (yani istatistiksel makine öğrenimi) veya deneyimlerden kavram modellerini anlamak için algoritmalar kullanan özel bir yapay zeka dalıdır. Bu çalışmada yapay zeka terimi, geniş anlamıyla bu alanda uygulanan konuları tartışmak için kullanılacak ve makine öğrenmeye özgü konuları tartışırken makine öğrenme terimi kullanılacaktır.
Bu alanda zorluklar çok yönlüdür. Yapay zeka sistemlerinin güvenli olması gerekir, bu da “güvenlik kavramının” ne anlama geldiğini anlamayı gerektirmektedir. Ek olarak, yapay zeka teknikleri siber güvenlikteki mevcut asimetrik savunucuya karşı dengeyi değiştirebilir. Bu ilerlemelerin hızı ve doğruluğu, sistemlerin bağımsız hareket etmesini, kablo hızında (wired Speed2) tepki vermesini ve savunmasını, açık veya gizli olumsuz keşif ve saldırıları tespit etmesini sağlayacaktır. Bu nedenle, ulusun güvenliğini güvence altına almak hem yapay zeka hem de siber güvenlik alanında önemli araştırma yatırımı gerektirir.
Yapay zeka yatırımları, yapay zeka destekli güvenli sistem oluşturma ve devreye alma teorisini ve uygulamasını geliştirmelidir. Güvenli eğitim üretmek için yapay zeka yönetiminde kayda değer çabalara ihtiyaç vardır; modelleri olumsuz girdilerden ve keşiflerden korumak ve model güvenilirliğini, adaletini ve gizliliğini doğrulamak gerekir. Bu gereklilik, yapay zeka tabanlı karar almayı ve yapay zeka sistemleri ve ortamlarının güvenilir kullanımı için yöntemlerini de içerir. Yapay zekanın eğitimi, araştırılması ve doğrulanması için bir AI corpus’un (sistemler, modeller ve veri kümeleri dahil) toplanmasını ve dağıtımını içeren hesaplama ve siber-fiziksel sistemlere entegrasyonu için bir bilim, uygulama ve mühendislik disiplinlerinden yardım alınmalıdır.
Siber güvenlik araştırma yatırımları ve siber güvenlik sorunlarına kalıcı çözümler geliştirmeye yardımcı olacak kritik süreçlerde Yapay zeka sistemleri uygulamalıdır. Mevcut teknikler, anormallikleri tespit etmek için ağ izlemeyi, koddaki güvenlik açıklarını tanımlamak için yazılım analiz tekniklerini ve bir saldırının ilk belirtisinde savunma yamalarını sentezlemek için siber akıl yürütme sistemlerini içerir. Yapay zeka sistemleri bu analizleri günler veya haftalar yerine saniyeler içinde yapabilir, sürekli sistemi gözlemleyebilir, siber saldırıya gerçekleştiği anda müdahale edebilir. Buna rağmen, güvenli bir şekilde yaygınlaştırılması açısından bu yapay zekanın pek çok açıdan anlaşılması ve öğrenilmesi gerekmektedir.
*https://www.nitrd.gov/nitrdgroups/index.php?title=AI-CYBER-2019
*Kablo hızı, bir telekomünikasyon teknolojisinin fiziksel düzeyde (donanım kablosu, kutu veya işlev) sağladığı ve veri aktarım hızını yavaşlatmadan destekleyen veri aktarım hızıdır.
Kısaltmalar
AI : YZ : Yapay Zeka
IT: BT: Bilgi teknolojileri
ML: MÖ: Makine Öğrenme
MLAI : Makine Öğrenme Ve Yapay Zeka Alt Komitesi
NITRD: Ağ Ve Bilgi Teknolojisi Araştırma Ve Geliştirme Programı
NSTC: Ulusal Bilim ve Teknoloji Konseyi
OSTP: Bilim ve Teknoloji Politikaları Ofisi
Çeviren ve düzenleyen: Burak Bozkurtlar
Giriş:
Ulusal Bilim ve Teknoloji Konseyi (NSTC) Ağ ve Bilgi Teknolojisi Araştırma ve Geliştirme (NITRD) Alt Komitesi ve NSTC Makine Öğrenimi ve Yapay Zeka (MLAI) Alt Komitesi, siber güvenlik ve yapay kesişimdeki araştırma zorluklarını ve fırsatlarını değerlendirmek için bir çalıştay düzenledi. 4-6 Haziran 2019 tarihlerinde düzenlenen çalıştayda hükümet, akademik ve endüstriyel toplulukların kıdemli üyeleri bir araya geldi. Katılımcılar teknolojinin mevcut durumunu, gelecekteki araştırma ihtiyaçlarını, temel araştırma ve yetenek boşluklarını tartıştılar. Bu belge bu tartışmaların bir özetidir. Gündeme dahil daha fazla ayrıntı için lütfen şu adrese gidin: https://www.nitrd.gov/nitrdgroups/index.php?title=AI-CYBER-2019.
Belge üç konu alanına ayrılmıştır: Yapay Zeka Güvenliği, Siber Güvenlik için Yapay Zeka ve Bilim ve Mühendislik Topluluğu İhtiyaçları. Acil durumlar için belirli bir yapı ve görev listesi geliştirmek, bu atölye çalışmasının kapsamı dışındadır. Bu çalıştayda ortaya çıkan planın gerçekleştirilmesi, uzun yıllar boyunca birçok kuruluşta büyük çaba gerektirecektir.
Yapay Zekanın Güvenliği
Yapay zekadaki son gelişmeler devrimsel niteliktedir, görüntü tanıma, doğal dil işleme ve veri analizi gibi görevlerde insan seviyesindeki performansı çoktan aşmaktadır. Aynı zamanda bu girişimleri hem iyi hem de kötü anlamda etkileyen ekonomik faktörler de AI uygulamalarının benimsenmesine imkan sağlayacaktır.
Yapay zeka sistemleri, ağ izleme araçları, finansal sistemler veya otonom araçlar gibi uygulamalar için önemli güvenlik sonuçları doğuracak şekilde manipüle edilebilir, duraklatılabilir ve yanlış yönlendirilebilir. Bu nedenle, güvenli ve esnek yöntemlerin en iyi şekilde uygulaması hayati derecede önemlidir.
AI Sistemlerinin Belirlenmesi ve Doğrulanması
Entegre YZ sistemleri dört bileşen içerir: algılama, öğrenme, kararlar ve eylemler. Bu sistemler, her bileşenin etkileşim kurmasını ve birbirine bağımlı olmasını gerektiren karmaşık ortamlarda çalışır (örn. Algılama hataları yanlış bir karara neden olabilir). Ayrıca, bileşenlerin her birinde benzersiz güvenlik açıkları vardır (örneğin, kararlar klasik siber istismarlara açıkken algı eğitim saldırılarına yatkındır). Son olarak, doğruluk kavramı tamamen mantıklı bir mesele değildir; parazit ve belirsizlik, sistemi yanlış davranmaya karşı korumak için her bileşene sınırlar gerektirir.
Mantıksal doğruluk, karar teorisi ve risk analizi ile ilgili olduğu için, hem bağımsız olarak hem de bir arada YZ ve MÖ bileşenlerini doğrulamak için resmi yöntemlerin geliştirilmesine acil ihtiyaç vardır. Bir sistemin ne yapması ve saldırıya nasıl tepki vermesi gerektiğini belirten yeni tekniklere ihtiyaç vardır. Geleneksel sistemlerde, spesifikasyona uyan nitelikler her bileşen için izlenebilirdir. Yapay zeka sistemleri çok karmaşık olduğu için, uygulama ve konfigürasyonlarının değerlendirilmesi zordur. Bu bileşenlerin doğrulanmasına izin veren mimari yapılarda ve analiz tekniklerinde araştırma yapılması gerekmektedir ve bu bir sistemin davranışı hakkında akıl yürütmek için yönetilebilir standartlar, en iyi uygulamalar, araçlar ve yöntemler geliştirmek için yapılan daha büyük bir çabanın bir parçasıdır.
Yeni bir disiplin ve YZ mimarisi bilimi bir YZ “inşaa kodu” üretebilir. Böyle bir kod teori ve deneyimlerden gelebilir, en iyi uygulamaları yakalayabilir ve diğer bilgisayar bilimleri alanlarından yararlanabilir. İnşaa kodunun analizi AI mekanizmalarının daha iyi anlaşılmasına imkan sağlayacak ve bu alanı ileriye taşıyacaktır.
Belirleme ve doğrulama aynı zamanda performans, güvenlik, sağlamlık ve adalet gibi unsurları da ele almalıdır. Performans dengesini, çalışma ortamını daha iyi anlamak için araştırmaya ihtiyaç vardır ve ekipte bu alanda uzman kişiler olmalıdır. Son olarak, YZ sistemini uygulamak, çalıştırmak ve sürdürmek için bir mühendis gerekmektedir.
Güvenilir Yapay Zeka Karar Vermesi
YZ sistemleri önemi yüksel ortamlarda konuşlandırıldığından, özellikle olumsuz senaryolarda karar verme sürecinin güvenilir olmasını sağlama konusu çok önemlidir. MÖ güvenlik açıklarının sayısız gösterimi olsa da, güvenilirliği tahmin etmek için bilim temelli teknikler bulmak zordur. YZ, planlama, muhakeme ve bilgi gösterimi dahil olmak üzere çok çeşitli YZ sistemleri için yöntemler ve ilkeler geliştirirken araştırmaya yapmaya ihtiyaç vardır. Güvenilir karar verme için ele alınması gereken alanlar arasında performans ölçütlerinin tanımlanması, tekniklerin geliştirilmesi, YZ sistemlerinin açıklanabilir ve hesap verebilir hale getirilmesi, alana özgü eğitim ve muhakemenin iyileştirilmesi ve eğitim verilerinin yönetilmesi de yer almaktadır.
Tehdit modeli araştırmasında, bir savunucunun sağlamlık, gizlilik ve adaleti karar verme algoritmalarına dahil edebilmesi için güvenilirliği tanımlayan ölçülebilir özellikleri önceden tanımlamalıdır. Belirli bir tehdit modeli göz önüne alındığında, sistemin çekişmeli müdahale hakkında muhakeme yapması ve bu güvenilirlik özelliklerine ulaşmak için gerekli koşulları tanımlaması gerekecektir. Olasılıklar arasında kriptografi veya bilgisayar güvenliğinden gelen tanımların uyarlanması, özelliklerin tek bir muhakeme çerçevesine birleştirilmesi ve bunlara hem karar verme hem de güvenlik modelleri için MÖ ve YZ’da tek bir (in) istikrar kavramının varyantları olarak muamele edilmesi dahildir.
YZ yöntemlerinin, özellikle derin öğrenmenin öğrenilmiş gerekçelerini anlamak için yöntemlerde de araştırmaya ihtiyaç vardır. Örneğin, belirli veri noktaları MÖ sistemlerinde yer alan optimizasyon prosedürlerini ve muhakemesini nasıl etkiler? Sorusuna yanıt aranması gerekir. Olasılıklar, hem eğitim verilerini hem de öğrenme yöntemini yakalarsa, optimizasyon prosedürünün veya YZ sistemi sonucunun analizini de içermektedir. Bir eğitim noktasının bireysel tahminler üzerindeki etkisini tahmin edebilen teknikler de bir modelin karar ortamında uygunluğunu değerlendirmenin temelini atar.
MÖ’de, çeşitli teknikler (örneğin, ters optimizasyon probleminin dışbükey gevşemesi ve rasgele düzgünleştirme) kullanarak karar garantileri sağlayan yaklaşımlar ortaya çıkmaktadır. Bununla birlikte, güncel yaklaşımların çoğu neredeyse tamamen denetimli öğrenmeye odaklanmıştır ve sistem performansını düşürmeden başarılması zordur. İlgili bir araştırma alanı özelinde, belirsiz olan durumlarda rehberliğe ihtiyaç duyan YZ sistemleri, nihai karara olan güveni artırabilir ve sistemin gelecekteki kararlar için bilgi edinmesine izin verebilir.
YZ’nin doğruluğu da etki alanına duyarlıdır. Eğitim verileri, verilen ortamı temsil etmediğinde güvenlik açıkları ortaya çıkar. Aynı şekilde, uygulama etki alanındaki kısıtlamalar dikkate alınmazsa aşırı kötümser güvenlik açığı değerlendirmeleri oluşabilir. Girdi verilerinin alana özgü YZ ortamlarında nasıl elde edildikleri, güvenli hale getirildikleri, korundukları, nasıl değerlendirildikleri ve tam kullanımlı ekosistemin bir parçası oldukları için detaylı araştırmaya ihtiyaç vardır. Otonom bir araç sistemi, gerçekçi ortamlardan elde edilen görüntüler ve durumlarla eğitilmekle beraber, ortamı değiştikçe sürekli olarak korunur. Bu, veri akışı, ölçüm sonuçları (örneğin, bir arabanın çarpmasına veya yanlış yöne gitmesine neden olma) ve beklenmeyen olaylara (örn. Hava durumu veya yol yapımı) uyum hakkında akıl yürütmeyi içerir. Etki alanı özgünlüğü araştırması, tehdit modellerinin yeniden düşünülmesini gerektirir ve yapay zeka sistemlerinin gerçek dünyadaki ortamlarda yaygınlaşması ve kalıcı olmasına yardımcı olur.
Araştırmacılar ayrıca eğitim verilerinin toplanması, korunması ve saklanmasının maliyet / fayda oranını değerlendirmelidir. Veri kümeleri değerlidir (örneğin, büyük ağ veri kümeleri ağ güvenlik açıkları hakkında her şeyi ortaya
Peki bir siber saldırgan ya da rakip için bu veriler daha önemliyse ve ele geçirilebilir mi?
Çelişkili, Zararlı Girdilerin Belirlenmesi ve Azaltılması
YZ birçok görevde iyi performans gösterirken, öğrenme, akıl yürütme veya planlama sistemlerinden yanlış yanıtlar üreten bozuk girdilere karşı genellikle savunmasızdır. Derin öğrenme yöntemlerinin, bir siber saldırgan tarafından hazırlanmış küçük miktarlarda girdi paraziti tarafından kandırılabileceğine dair örnekler vardır3. Bu tür yetenekler, siber saldırganların sistemleri yakalanma korkusu duymadan kontrol etmelerini sağlar. Derin ağlara dayalı sistemler ve diğer MÖ ve YZ algoritmaları operasyonel sistemlere entegre edildikçe, daha sağlam makine öğrenme yöntemleri, yapay zeka keşiflerinin önlenmesi, rakip modellerin incelenmesi, model zehirlenmesinin önlenmesi, güvenli eğitim dikkate alınarak siber saldırı girdilerine karşı savunmak kritik önem taşır prosedürler, veri gizliliği ve model adaleti.
Şüpheli girdilere karşı öğrenme yöntemlerini güçlendirmek için çaba sarf edilmesi gerekmektedir. Bunun önemi hem istatistiklerde görülmüş hem de teknik topluluklarda ortaya çıkmıştır. Performans veya doğruluktan ödün vermeyen, derin öğrenme ve modern MÖ yöntemlerinde benzer başarıyı yakalamak için hem teorik hem de ampirik araştırmalara ihtiyaç vardır.
Modern YZ sistemleri, saldırganların sistemleri sorguladığı ve dahili karar mantığını, bilgi tabanlarını veya eğitim verilerini öğrendiği girişimlere karşı savunmasızdır. Bu genellikle güvenlikle ilgili eğitim verilerinin ve kaynaklarının çıkarılması veya yapay zekaya gömülü fikri mülkiyetin elde edilmesi için yapılan bir saldırının öncüsüdür. Aşağıdakiler, araştırılması gerektiren olası keşif önleme tedbirleridir:
- Modelin ters çevrilmesi yoluyla saldırganın iş yükünü artırın ve etkinliklerini azaltın.
- Hız sınırlama, erişim kontrolleri ve aldatma gibi siber güvenlik yaklaşımlarından yararlanın.
- Algoritma ve sistemlerin doğruluğu ve diğer yönleri üzerindeki etkilerini araştırın.
- Keşiflere dayanıklı algoritmalar ve teknikler tasarlayın.
- Direnci öğrenme ve muhakeme optimizasyonlarına entegre edin.
- Yeni çok aşamalı teknikler kullanarak güvenlik garantilerini modele gömün.
- Siber güvenlik honeypot4 konseptini kullanarak saldırganın varlığını ve hedeflerini ortaya çıkarın.
Bir YZ sisteminin savunmasızlığı, rakiplerin bilgi ve yetenekleri ile tanımlanır. Farklı saldırı türlerini sınıflandırmak ve uygun savunmaları geliştirmek için araştırmalara ihtiyaç vardır. Savunmalar, saldırganın erişebileceği bilgi türüne göre saldırıları ele almalıdır. Bu modeller dikkatlice haritalandırılmalı, saldırı ve savunma stratejileri belirlenmeli ve MÖ modellerinin en fazla risk altında olduğu kritik güvenlik alanlarına özel araştırma dikkati gösterilmelidir. (örneğin, özerk araçlar ve kötü amaçlı yazılım tespiti).
*Bu konuda birçok makale bulunmaktadır, örneğin: Düşman Saldırıları ve Savunmaları: Anket; https://arxiv.org/abs/1810.00069
*Honeypot, siber saldırganları cezbetmek ve bilgi sistemlerine saldırı girişimlerini tespit etmek, saptırmak veya incelemek için tuzak olarak kurulmuş ağa bağlı bir sistemdir.
YZ ve MÖ modelleri, eğitim verilerinden beklenen girdilerin nasıl karakterize edileceğini öğrenir. Eğitim tüm olası ve gelecekteki durumları temsil etmiyorsa, model çıktıları yanlış olacaktır. Bu, bir saldırganın modeli manipüle edebileceği ve yararlanılabilir bir arka kapı tanıtabileceği bir güvenlik açığı oluşturur. Saldırgan eğitim setinin bir kısmını kontrol edebilse bile yine de modelin davranışını etkileyebilir (model zehirlenmesi). MÖ mümkün olduğunca fazla veri gerektirir ve birçok veri kaynağının kullanılması yaygındır, ancak aynı zamanda risklidir. Bir veri kaynağı bile kötü amaçlıysa, tüm model güvenilmez hale gelir. Hem zehirlenmeyi azaltmak hem de eğitim süreçlerini iyileştirmek için yapay zeka uygulamalarında, eğitim verilerinin uçtan uca doğrulanması ve normal girdi alanının dışında kalan verilerin tespitini sağlamalıdır.
MÖ yöntemleri, eğitildiklerine benzer verilerle kullanıldıklarında iyi çalışırlar fakat veriler farklı olduğunda başarısız olurlar (örneğin, güneşli, bulutlu, yağmurlu ve karlı havalarda eğitilmiş kendi kendine giden bir araba, sulu kar veya dolu havada kötü çalışabilir ). Bunlar yaygın problemlerdir çünkü olası tüm durumlar için veri elde etmek zordur. Sistemler, bir insanın bildiği tipik olarak anormal verileri tanımaz. Araştırma amacı, anormalliklerin tespitini arttırmak, nadir olayları anlamlandıran eğitim yöntemlerini benimsemek ve mevcut eğitim verilerinin ve algoritmalarının en etkili şekilde kullanılmasına izin vermektir. Etkili ve doğru olmak için MÖ modelleri sık sık yeniden eğitilmelidir (örn. Kelime hazinesi ve ilgi alanları değiştikçe zaman içinde kamusal duyarlılık analizi değişiklikleri için kullanılan sosyal medya terminolojisi). Hangi eğitim verilerinin toplanacağını, bu eğitim verilerinin hala güncel olup olmadığını ve modellerin ne sıklıkta yeniden eğitilmesi gerektiğini belirlemek için araştırma yapılması gerekmektedir.
Son saldırılar, bir saldırganın bir modelin eğitiminde veri öğelerinin kullanılıp kullanılmadığını belirleyebildiğini göstermiştir. Birçok uygulama özel verileri kullanarak MÖ eğitimi gerektirdiğinden hassas bilgileri riske atar. Bu konuda fazla araştırmaya ihtiyaç olsa da, verileri anonimleştirmenin ve sızıntıları önlemek için iyi bir yöntem olacağı peşinen söylenebilir.
Son olarak, modeller eğitim verilerinde önyargılar ve ayrımcılık özellikleri varsa bunları da öğreneceklerdir. Veriler belirli bir topluluğa karşı ayrımcılığı yansıtıyorsa (örneğin, üniversite kabullerinde veya kredi onaylarında), sonuçta bu yanlılık ortaya çıkacaktır. Yanlılığının önlenmesi, MÖ adaletinin geliştirilmesi için bilimsel ve teknik temeller sağlayacaktır. Bunun için hedefler belirlenmeli ve haksız MÖ eğitim verilerini ve yöntemlerini ölçmek, tespit ve teşhis etmek için algoritmik teknikler geliştirilmelidir.
Güvenilir Yapay Zeka Destekli Sistemlerin Geliştirilmesi
Yapay zeka bileşenlerinin siber saldırılara karşı ne kadar savunmasız olduklarına dair yeni anlayış, kullanıldıkları tüm veri işleme ağının güvenliği ile ilgili endişeleri artırmaktadır. YZ bileşenleri, geleneksel yazılım analizine meydan okuyabilir ve YZ algoritmalarının çalıştığı ortamlara, YZ çerçeveleri ve uygulamalarının, MÖ modellerinin ve eğitim verilerinin yeni saldırı yönlerini tanıtabilir. PipeLine’ın (Makine öğrenimi iş akışlarını otomatikleştirmek için bir makine öğrenimi boru hattı kullanılır. Pozitif veya negatif bir sonuç elde etmek için test edilip değerlendirilebilen bir modelde bir veri dizisinin birlikte dönüştürülmesini ve ilişkilendirilmesini sağlayarak çalışırlar.) gizli bağımlılıklar nedeniyle, birden fazla uygulama gerçekleştirilebilir.
YZ’yı bir sistemin bileşeni olarak kullanırken teori, mühendislik prensipleri ve en iyi uygulamaları geliştirmek için araştırmaya ihtiyaç vardır. Bu araştırma, tehdit modellemeyi, güvenlik araçlarını, etki alanı güvenlik açıklarını ve insan-makine takımının güvenliğini içermelidir. Bu modeller, saldırı ve çözümlemelerin tekrarlı soyutlamalarını etkinleştirmeli, bir YZ uzmanıyla uyumlu olarak tasarlanmalı ve veri kullanılabilirliği ve bütünlüğü, erişim kontrolleri, ağ düzenleme ve operasyonu, rakip çıkarların çözümü, gizlilik ve dinamik bir politika ortamı dikkate almalıdır.
Yapay zeka destekli sistemleri daha güvenilir hale getirmek için, mühendislik prensipleri, bilim, topluluk deneyimi ve çoğulluk, fazlalık (ör. Topluluk), denetleyici (ör. Doer-checker5) ve diğer çerçeveleri içeren yapay zeka bileşeni işlevselliği araştırmalarına dayanmalıdır. Aynı zamanda koşulları, tehditleri, etki alanlarını ve kısıtlamaları anlamak da gereklidir, ancak bunlar ikincil hedeflerdir.
Genel sistem YZ güvenlik açıkları anlaşıldıktan sonra, geleneksel siber güvenlik ve sağlam sistem tasarımı açıkların etkisini azaltabilir (ör. YZ eğitim verilerinin zehirlenmesini zorlaştırmak için); daha fazla yığın ve çeşitliliğin inşa edilmesine izin vererek (örneğin, özerk bir araç lidar, radar, görüntü işleme ve harita bilgilerini kullanabilir); YZ bileşeni arızalarına ve saldırılarına dayanabilecek sağlam sistem mimarileri geliştirerek ve etki alanına özgü karşı önlemleri alarak, sınırları ve güvenlik varsayılanlarını (örneğin, insan destekli bir yedek fren sistemine sahip kendi kendine giden arabalar veya üst ve alt sınırları olan YZ kontrollü bir sıcaklık sistemi) geliştirebilirsiniz.
Yapay zeka teknolojileri yaygınlaştıkça, insanlar ve makineler kritik görevlerin verimliliğini ve doğruluğunu artırmak için birlikte sorunsuz bir şekilde çalışacaktır (örneğin, doktorların hastalıkları teşhis etmelerine veya bireysel öğrencilerin ihtiyaçlarına uyarlanan öğretmenlerle çalışmalarına yardımcı olmak). Buradaki zorluk, makinenin veya insanın işlevselliğinin birçok faktör tarafından artırılabileceği veya azaltılabileceğidir. Hem makinenin hem de insanın birbirlerinin performansını ve güvenilirliğini algılamasına, izlemesine ve değerlendirmesine yardımcı olmak için daha fazla araştırmaya ihtiyaç vardır. Bir insan kritik, zamana duyarlı, döngü içinde yeterince hızlı yanıt veremezse ne olur? Makine ve insan sonuçları aynı fikirde değilse ne olur? Teori, teknikler ve metrikler, bilgilerin belirsiz veya öznel olduğu ve geç bir yanıtın ciddi sonuçlar doğurabileceği gerçek zamanlı, karmaşık kararları desteklemek için gereklidir.
Siber Güvenlik için Yapay Zeka
Yapay zeka sistemlerinin güvenilirlik ve esnekliklerini artırmak için yenilikçi siber güvenlik araçlarına ve yöntemlerine ihtiyacı olduğu gibi; siber güvenlik, yapay zekaya olan farkındalığın artırmak, gerçek zamanlı tepki vermek ve genel etkinliğini artırmak için kullanabilir. Bu, mevcut saldırgana karşı defans asimetrilerini değiştiren devam eden saldırılar karşısında kendini uyarlamayı ve ayarlamayı içerir. Bir düşmanın zayıf yönlerini tanımlayan, gözlem yöntemlerini kullanan ve öğrenilen dersleri toplayan stratejiler, çeşitli saldırı türlerini kategorize etmek ve uyarlanabilir yanıtları geliştirmek (örneğin, tutarsızlıkları hızlı bir şekilde bulmak ve nasıl onaracağını bilmek) için yapay zekayı kullanabilir.
Az kişiden oluşan uzman bir siber savunma ekibinin, binlerce kişinin kullandığı ağları etkin bir şekilde koruyabileceği düşünülmektedir. Yapay zeka kullanımı, aynı sistem koruma düzeyini artırabilir, kolay ulaşılabilir, yaygın hale getirebilir ve ayrıca hizmet kalitesi kısıtlamaları ve sistem bozulmaları gibi sorunları da önlemek için gerekli bilgiyi sağlayabilir.
Sistemleri Daha Güvenli Hale Getirme
YZ teknolojileri, günümüzün teknoloji sistemleri tarafından üretilen muazzam miktarda veriyi yakalayabilir ve işleyebilir. Aynı zamanda, bu yetenek yapay zeka sistemi inovasyonunu ve gelişimini sağlamak için gerekli eğitim verilerini sağlar. Siber güvenlik öncelikleriyle uyumlu YZ tabanlı akıl yürütme, hem tam otomatik hem de döngü içindeki insan sistemlerini daha güvenilir hale getirebilir. Buradaki iki potansiyel alan, daha güvenilir yazılım sistemlerinin oluşturulması ve devreye alınması ve kimlik yönetimidir. Programlardaki hataları tespit etmek, en iyi uygulamaları kontrol etmek, güvenlik açıklarını belirlemek ve yazılım mühendislerinin sistemlerine güvenlik tasarlamalarını kolaylaştırmak için YZ’den yararlanmak gibi konularda umut verici araştırmalar yapılmaktadır.
Modern geliştirme uygulamalarında, kod genellikle hızlı bir şekilde gelişir. Daha az deneyimli geliştiricilere ve analistlere büyük, karmaşık yazılım sistemlerini anlamada yardımcı olmak ve önerilen kod değişikliklerinin güvenliği ve sağlamlığı konusunda tavsiyelerde bulunmak için YZ tabanlı “kodlama yardımcılarının” kullanılması faydalı olacaktır. YZ ayrıca yazılım sistemlerinin güvenli bir şekilde dağıtılmasına ve çalıştırılmasına yardımcı olabilir. Kod geliştirildikten sonra YZ, düşük düzeyli saldırı vektörlerini tespit etmek, etki alanı ve uygulama yapılandırmasını veya mantık hatalarını kontrol etmek, güvenli sistem çalışması için en iyi uygulamaları sağlamak ve ağları izlemek için kullanılabilir. Açık kaynaklı yazılım geliştirme projeleri, ticari kuruluşlar ve hükümet kuruluşları tarafından yaygın kullanımı nedeniyle yapay zeka tabanlı güvenlik iyileştirmeleri için benzersiz ve yüksek etkili bir fırsat sunmaktadır. Ancak, açık yapısı nedeniyle, açık kaynak YZ tabanlı bir düşman tarafından yapılan kötü niyetli eylemlere karşı ise savunmasızdır.
Yapay zeka kullanımının bir diğer umut verici alanı kimlik yönetimi ve erişim kontrolüdür. Düşmanlar, yetkilendirme jetonlarını (token) çalarak birçok tekniği tehlikeye atabilir. YZ tabanlı bir sistem, aynı zamanda hafif, şeffaf ve atlaması zor olan etkileşimler ve beklenen davranış geçmişine dayanan bir yöntem kullanabilir. Biyometrik kimlik doğrulama sistemleri için YZ, doğruluğu artırabilir ve tehditleri azaltabilir. Bununla birlikte, YZ’nın davranış kalıplarının izlenmesi gizlilik ihlallerine yol açabilir. Hem etik hem de teknik yönleri ve yapay zeka destekli kimlik yönetiminin kötüye kullanılma potansiyelini dikkate alan yöntemler geliştirmek için daha fazla araştırmaya ihtiyaç vardır.
( 5.Doer-checker, her işlemin tamamlanması için gerekli en az iki “kişi”, bir “yapan” ve bir de “kontrol eden” olması gerektiği anlamına gelir.)
Otonom ve Yarı Otonom Siber Güvenlik
Diğer başarılı YZ uygulamalarının (ör. Spam filtreleme) aksine, YZ’nın siber savunma senaryolarında hem saldırganlar hem de savunucular tarafından kullanılması muhtemeldir. Güvenlik açıklarının ortadan kaldırılmasına veya saldırı maliyetinin artırılmasına dayanan geleneksel strateji, YZ’nın eklenmesi ile değişir. Hem otonom (insan hareketinden bağımsız) hem de yarı-otonom (döngü içinde insan da kullanan) sistemlerin en kötü durumları planlaması ve potansiyel ve gerçek tehdit oluşumlarını öngörmesi, yanıtlaması ve analiz etmesi gerekecektir. Veri sahipleri, servis sağlayıcılar ve sistem operatörleri dahil YZ tabanlı kararlardan etkilenen birden fazla paydaş vardır. Burada özerk operasyonlar hakkında paydaşlara nasıl danışılarak bilgi verildiği ve karar almanın nasıl devredildiği ve sınırlandırıldığı önemli hususlardır.
Siber savunucular büyük olasılıkla çeşitli seviyelerde otonom saldırılarla karşılaşacak: istikrarlı bir siber ortamda, saldırılar klasik belirlenmiş (deterministik) planlamayı kullanabilir; çevrenin belirsiz olduğu durumlarda, saldırılar belirsizlik altında planlamayı içerebilir; çevre hakkında çok az şey biliniyorsa, saldırgan yapay zekayı bilgi almak, saldırmayı öğrenmek, keşif yürütmek ve hedef ağın veya sistemin bir modelini (yani YZ-etkin program sentezi) ve siber güvenliği içeren stratejiler geliştirmek için kullanabilir.
Kurulu sistemleri özerk analiz ve saldırılara karşı dirençli hale getirmek için yöntem ve tekniklere ihtiyaç vardır. Umut verici teknikler arasında otomatik izolasyon (ör. Davranışsal kısıtlamalar), savunma çevikliği (yani, savunmaları güçlendirmek için simülasyonlar ve güncellemeler kullanma) ve göreve özgü stratejiler (ör. Saldırıları ve yanıtları sınıflandırmak için alan uzmanlarının kullanımı) bulunur. Görev odaklı yapay zeka sistemleri, her zaman kuruluş liderinin niyetini güvenlikle ilgili kararlara dahil etmelidir (örneğin, sisteme erişim ve sistemin çalışması). Önemli bir araştırma sorusu liderin niyetini nasıl ifade edeceğidir. YZ teknikleri, bir görev brifingini veya operasyon düzenini özerk bir karar sistemi tarafından ele alınabilecek bir şeye çevirebilir (örn. Aktif olmayan saldırganlar olduğu gibi bırakılabilir, çünkü bunların sistemden çıkarılması olası bir saldırıdan daha da yıkıcı olabilir).
YZ ayrıca güvenlik mühendisliğiyle ilgili görev planlama ve yürütmeyi de destekleyebilir. YZ, görev başarısı için hayati önem taşıyan siber varlıkların (key cyber terrain6) tanımlanması ve bunların misyonun amacı veya hedefleri değiştikçe değişebileceğini anlamak için kullanılabilir. Verilerin, hesaplamaların, bilgi sınıflandırmalarının ve YZ’nın sürekli adaptasyonu da dahil olmak üzere diğer güvenlik faktörlerinin ilgili yönlerini belirlemeye ve önceliklendirmeye yardımcı olabilir. Bir zorluk, farklı bilgi işlem kaynakları için tasarlanmış güvenlik önlemlerini düzenlemektir, böylece kararları çatışmaz.
- Askeri anlamda yüksek önemli araziye benzeyen kilit siber arazi, kontrolü bir saldırgan veya savunucuya avantaj sağlayan sistemler, cihazlar, protokoller, veri, yazılım, süreçler, personel veya diğer ağ varlıklarını ifade eder.
Otonom Siber Savunma
Siber saldırganlar savunmasız sistemleri tanımlamak, saldırı noktalarını güçlendirmek, kaynakları koordine etmek ve saldırıları aşamalı olarak yapmak için yapay zekayı kullandıkça, savunucuların buna göre cevap vermeleri gerekir. Mevcut uygulama genellikle bireysel istismarların tespitine odaklanmaktadır, ancak sofistike saldırılar nihai hedef tehlikeye düşmeden önce birden fazla aşama içerebilir. Bu durum da, saldırganın hedeflerini ve mevcut durumunu ortaya koyan ve mevcut savunma kaynaklarını koordine etmeye, odaklamaya ve yönetmeye yardımcı olan yukarıdan aşağıya bir stratejik görüş gerektirir.
Bir güç dağıtım sistemine yapılan saldırı senaryosunu düşünün. Kimlik avı e-postası normal bir iş istasyonunda açılır; kötü amaçlı bir yazılım paketi indirilir; iş istasyonunu onarmak için oturum açan bir sistem yöneticisinin kimlik bilgileri alınır; saldırgan güç şebekesinin operatör konsoluna ulaşır; tüm dağıtım ağı devre dışıdır. Bireysel olaylardan herhangi biri tespit edilebilir, ancak ağ kapatılmadan önce müdahale etme yeteneği yukarıdan aşağıya stratejik bir yaklaşım gerektirir. Bu strateji, çekişmeli hedeflerin ve stratejilerin tanımlanmasını, akıllı uyarlanabilir sensör dağıtımını, proaktif savunma ve çevrimiçi risk analizini, YZ düzenlemesini ve güvenilir YZ tabanlı savunmaları içerecektir.
YZ planlama teknikleri, saldırı planları ve bir saldırganın stratejisini açıklayan bir hedefler, alt hedefler ve eylemler ağı oluşturabilir. Her saldırı, sensör verilerini alan, olayları tahmin eden ve savunma tepkileri veren bir plan tanıyıcıya sahip olacaktır. YZ tek bir optimum plan türetmek için arama sezgisel tarama konusunda eğitilmiştir; ancak, bunun için eksiksiz bir saldırı planları seti gereklidir. Plan üretimini yönetmek, birkaç olası yaklaşımı garanti eden büyük bir zorluktur: Monte Carlo7 tekniklerini kullanarak saldırı planlarının temsili bir alt kümesini oluşturun; plan oluşturma ve plan tanıma; ve saldırganın stratejilerini ve taktiklerini etkin bir şekilde temsil eder. Diğer hususlar, hipotezlerin ve buluşsal yöntemlerin verimli bir şekilde depolanması ve sürdürülmesi ile yukarıdan aşağıya planı tanıma sürecinin oluşturulmasına yardımcı olmak için akıllı ve uyarlanabilir sensörlerin / dedektörlerin entegrasyonunu içerir.
Güç dağıtım senaryosunda yukarıdan aşağıya bir stratejik yaklaşımın kullanılması, saldırı hala erken aşamalarındayken bir planın üretildiği ve savunucunun kapatmayı önlemek için harekete geçmesine izin verdiği anlamına gelir. Bu savunma eylemleri maliyetli olabilir (örneğin, faydalı hizmetler sağlayan belirli makinelerin kapatılması) veya sakıncalı olabilir (örneğin, bir güvenlik duvarında koruma düzeyini yükseltmek) ve bu nedenle bir maliyet-fayda değerlendirmesi gerektirebilir. Olaylar son derece zamana duyarlı olduğundan, akıl yürütmenin otomatikleştirilmesi gerekir (olası döngü içi denetçilerle).
MÖ ve YZ sistemleri, bireysel siber güvenlik araçlarının performansını geliştirdikçe, birden çok araç arasındaki koordinasyon ve düzenleme giderek önem kazanmaktadır. Başarılı bir şekilde yürütme, modellerin diğer sistemlerle etkileşimleri içermesini gerektirebilir. Bu sistemler farklı amaç ve hedefleri, siber güvenlik araçlarını ve insan aktörlerin niyet ve akıl durumunu içerebilir.
7.Monte Carlo (MC) yöntemleri, bilinmeyen parametrelerin sayısal tahminlerini yapmak için tekrarlanan rasgele örnekleme işlemini kullanan hesaplama algoritmalarının bir alt kümesidir.
Güvenlik İçin Tahmini Analiz
Siber güvenlik, başarılı bir saldırı olasılığını değerlendirmek için bilgileri (hem iç hem de dış) işleyen tahmini analitiklerden faydalanacaktır. İlk çalışma, veri akışlarını (karanlık web trafiği gibi) veya siber alakalı etkinliklerin dağıtılmış günlüklerini kullanarak saldırının yaşam döngüsünün erken dönemindeki şüpheli işlemleri tanımlamak için teknikler geliştirdi. Ayrıca, siber ve insan alanlarını birbirine bağlayan veri kümeleri arasındaki kalıpları ve bağlantıları belirleyerek, ön bilgiden (örneğin, sınıflandırılmış kaynaklardan) yeni aktiviteleri arttırmak, keşfetmek ve izlemek için yararlanmaya başladı.
Özellikle bir sistemin güvenliği takip edilirken, insan operatörlerin kötü niyetini, kabiliyetlerini ve motivasyonunu ortaya çıkarmak için daha fazla araştırmaya ihtiyaç vardır. Sadece tespit ve başarı / başarısızlık faktörünün ötesinde, saldırılar hakkındaki bilgiler kaynakların ve yöntemlerin korunmasına yardımcı olabilir ve zamanla esnekliği artırmak için yeni bilgiler sağlayabilir. Analizin odak alanı veri kaynaklarını, operasyonel güvenliği ve başarılı adaptasyonu içerir.
Tahmini analitik için gereken temiz, sınıflanmış, gerçek verileri elde etmek zordur. Bazı seçenekler arasında daha küçük veri kümelerinden yararlanmak için “sınıflanmış” eşiğin düşürülmesi; zehirlenmeye dayanıklı verilerin yakalanması ve kullanılması; geleneksel olmayan veri akışları kullanarak yeni siber saldırı erken uyarı sinyallerinin tanımlanması ve sentetik öğrenme verilerini daha gerçekçi hale getirmek gerekir.
Siber saldırıları izlemek ve bunlara karşı koymak için çeşitli veri kümeleri ve yapay zeka analizleri kullanıldığında, sahte bayrak (False Flag)8 yanlış yönlenme ve buna bağlı yan hasarlara yol açabilir. Bu nedenle, siber saldırılar için YZ analizi, diğer zeka sorunlarından daha yüksek bir doğrulama standardı gerektirebilir. Çok modelli (multimodal) analiz yapmak için veri setlerindeki veya muhakemedeki riskleri çapraz doğrulamaya ve potansiyel kusurları veya boşlukları tespit etmeye yönelik araştırmalara ihtiyaç vardır.
YZ analizi ayrıca, hem döngü içinde insan hem de döngü üzerinde insan9 bağlamlarında operatör hatasını azaltmaya yardımcı olan, sonuçlara daha fazla güven sağlayan ve büyük sistemlerin zaman içinde uyum sağlamasına yardımcı olan yeni bilgiler sağlayabilir. Bu tür analizler sistemin iç durumunu, yamaların düzenli olarak nasıl uygulandığını, hangi güvenlik kontrollerinin (insan operatörleri dahil) mevcut olduğunu ve durumsal farkındalık düzeyini göz önünde bulundurabilir. Analiz, saldırganların hedeflerini, tehdit seviyesini ve başarı olasılığını karakterize eden ve önceliklendiren, tahminin gerekçesini içeren ve kullanılabilir zayıflıkları belirleyen senaryolar sağlayacaktır.
8.Sahte bayrak siber saldırısı, bir bilgisayar korsanı veya bilgisayar korsanı grubunun kurbanlarını ve dünyayı kimin sorumlu olduğu veya amaçlarının ne olduğu konusunda kandırmaya çalışan bir saldırı gerçekleştirmesidir.
9.“İnsan içeri” ve “insan üstüne” arasındaki ayrım, insanların anahtar kararlar (“döngüde”) yapıp yapmadıklarına veya insanların (“döngüde”) basitçe genel sistem yönüne rehberlik edip etmediğine dayanır.
Oyun Teorisi Uygulamaları
Saldırı planlarını ve potansiyel savunmaların nedenini anlamak için kullanılabilecek oyun teorisi modelleri hakkında önemli araştırmalar yapılmıştır. Ancak bir saldırganın eylemleri hala kolayca gözlemlenemediği ve hakkında sınırsız bilgi olmadığı için daha fazla araştırmaya ihtiyaç vardır. Siber güvenlik ayarlarında, “oyun”, belirsiz şüpheli, zararlı eylemler (ör. Yeni bir saldırı aracı veya yeteneği), değişen bir oyun ortamı, farklı teşviklere sahip oyuncular veya irrasyonel oyuncular nedeniyle hızlı bir şekilde değişebilir.
Ayrıca, denge kavramları10 anlamlı olmayabilir ve işbirlikçi olmayan oyun teorisini11 siber güvenliğe uygulamak için en iyi ihtimal kavramlarının türetilmesi gerekecektir.
İşbirlikçi olmayan oyun teorisi modelleri, birçok farklı siber güvenlik senaryosunun modellenmesi için uygundur; ancak, farklı oyuncuların (örneğin koalisyon ortakları) bir saldırgana karşı hedeflerine ulaşmak için işbirliği yapması gereken durumlar olabilir. Bazı ağlarda durumu koalisyon olarak ele almak ya da birden fazla YZ sisteminin (örneğin, farklı İnternet servis sağlayıcıları arasında) ve YZ uzman ekiplerinin işbirliğini düzenlemeyi düşünmek mantıklı olabilir.
İşbirliğine uygun ve uygun olmayan ortamların bir karışımındaki belirsizlik planlaması hakkında ek araştırmalara ihtiyaç vardır. Bu aynı zamanda, insan-makine takımı bağlamında, daha etkili karar desteği için multimodal bilgilerin nasıl dahil edildiğini de ele almalıdır. Tersine, oyun teorisi modelleri belirli saldırgan yeteneklerini üstlenmelidir. YZ, saldırı araçlarıyla ilgili verileri analiz ederek, yetenekler dahil olmak üzere çekişmeli modelleme sağlayabilir. YZ araçlarını kullanarak olasılık modelleme, bir sistemin güvenliğinin (yani, savunmaların sistemi belirli bir tehdit kümesine karşı ne ölçüde koruyacağı) değerlendirilmesine yardımcı olabilir.
Oyun teorisi modelleri çift kullanımlı olabilir. Bir modelin siber suç ve siber savunma için kullanılabilmesi mümkündür. Önemli belirsizliklerin olduğu, dengenin optimal olmadığı, saldırganın eylem görünürlüğünün zayıf olduğu ve oyunun eylem alanı ve varsayımlarının sürekli olarak geliştiği saldırı ve savunma senaryolarını modellemek için daha fazla araştırmaya ihtiyaç vardır.
- Denge, oyun teorisinde, bir oyunun en iyi sonucunun başlangıç stratejilerinden sapma avantajı olmaması kavramıdır.
- https://www.sciencedirect.com/topics/computer-science/noncooperative-game
İnsan – Yapay Zeka Etkileşimi
Tehditler daha karmaşık ve şiddetli hale geldikçe, sadece YZ-siber güvenlik sistemleri arasındaki koordinasyon önemli olmakla kalmaz, aynı zamanda insan-YZ ara yüzleri arasındaki koordinasyon ve güven de kritik hale gelir. Kurumsal BT’den, kendi kendini süren araçlara kadar, tek tek sistem bileşenleri sistem düzeyinde hedefleri dikkate almadan kendi hedeflerini en üst düzeye çıkardığında sorunlar ortaya çıkar. Saldırganlar, bir modülü yerel olarak optimal ancak küresel olarak patolojik bir şekilde davranmaya teşvik edebilir. Dahası, bilginin yanlış bilgilendirilebildiği, yanlış dağıtılabileceği veya manipüle edilebildiği bir dönemde, iyi karar verme, benzersiz insan ve YZ yeteneklerini ve perspektiflerini geliştiren ve düzenleyen karma yaklaşımlar gerektirir. İnsan-makine takımı, sistemler ve insanlar arasında güven oluşturma ve karar alma desteği sağlama dikkate alınması gereken üç önemli araştırma alanıdır.
İnsan-makine takımının, insanların sonuçları anlayabilmesi, güvenebilmesi ve açıklayabilmesi için tasarlanması gerekir. Kullanıcılar, hedefler, geri bildirimler, iyi biçimlendirilmiş ve ilgili veriler sağlamak ve karar verme sürecine nereye uyacaklarını öğrenmek için eğitilmelidir. Sonuçları en üst düzeye çıkarmak ve gecikmeyi ve olumsuz sonuçları en aza indirmek için insanların nasıl dahil edileceği konusunda araştırmalara ihtiyaç vardır. Yapay zeka genellikle insanın karar vermesi için zaman tanımak amacıyla şüpheli etkinlikleri otomatik olarak kapatmak için kullanılır. Yapay zeka, elektrik kesintisi gibi kritik sistemlere uygulandığında, kısa bir kapanmanın bile oldukça yaygın, yıkıcı veya tehlikeli olabileceği durumlarda bu karar hala geçerli olacak mı? Bir çözüm, insanları döngüde tutmak için YZ sistemlerini yavaşlatmak olacaktır. Bu, çevikliği azaltacaktır, ancak insanların hatalı bileşenlere müdahale etmesine ve değiştirmesine de izin verecektir.12 Bir insan-YZ sistem ortamında, etkileşimler insan hatasını azaltmak, güvenliği artırmak ve hesap verebilirlik sağlamak amacıyla yönetilmelidir.
Bir YZ sistemini benimseyen ve kullanan tüm paydaşlar, yapay zekanın çalışmasını anlamalı ve güvenmelidir. Doğru güven düzeyi, insanların bir sistemin durumunu tanımlamasını ve çeşitli durumlarda davranışını tahmin etmesini gerektirir. Aşırı güven, yanlış davranan bir sistemi geçersiz kılma konusunda isteksizliğe yol açabilir; güven altında olmak, başka türlü etkili bir sistemin terk edilmesine yol açabilir. Doğru güven düzeyini belirlemek, sistem davranışına yaklaşmaya ve bilişsel ve diğer yanlılıkların dikkate alınmasına dayalı, insan tarafından okunabilir, kural tabanlı özellikler gerektirir.
Araştırma literatürü, insanların güveneceği son derece ikna edici sahte video ve ses üretebilen yapay zeka sistemlerinden bahsediyor. Araştırmada veri operatörlerinin veri bozma saldırılarına dayanacak şekilde eğitilmeleri ve hata modlarını tahmin edebilen, insanlar hatalı kararlar verdiğinde uyum sağlayabilen YZ modelleri içeren karar verme yardımlarını da kapsamalıdır.
Bilim İnsanı ve Mühendislerin İhtiyaçları
Test Ortamı, Veri Setleri ve Araçlar
Gelecekteki YZ sistemlerini güvenli bir şekilde dağıtmak için gereken YZ topluluk standartlarını ve metriklerini oluşturmak için araştırma test yataklarına ve veri kümelerine daha fazla yatırım yapılması gerekmektedir. Tehdit algılama mekanizmaları, benimsenmeyi teşvik etmek için kritik YZ uygulama alanları (örneğin, otonom araçlar, tıbbi teşhis) açısından test edilmeli ve değerlendirilmelidir. Olasılıklar arasında gerçekçi simülasyon ortamlarının oluşturulması ve bakımı ve alana özgü çeşitli veri kümeleri bulunur.
Hem YZ sisteminin hem de YZ-tehdit ortamının karmaşıklığı, yetenekleri ve savunmaları kapsamlı, ilkeli ve sürdürülebilir bir şekilde değerlendiren test yatakları ve veri kümeleri gerektirir. Modüler (farklı disiplinlerde kullanımı kolaylaştırmak için) ve açık kaynak olmalıdır; yeniliği, işbirliğini ve tekrarlanabilirliği teşvik etmek; katmanlar arası etkileşimi sürekli olarak yeniden değerlendirir.
12.Not: bilinçli işlemeyi içermeyen bazı kararlar mevcut makine işlemeden daha hızlı olabilir.
Eğitim, Mesleki Eğitim ve Halkın Erişimi (Halka İnme)
Eğitim ve sosyal yardım çabaları, gerekli işgücünün geliştirilmesine ve YZ teknolojisinin yararlılığını, sınırlamalarını, en iyi uygulamalarını ve potansiyel tehlikelerini anlayan bilinçli bir halkın geliştirilmesine odaklanmalıdır. Yapay zeka, bilgisayar bilimi, veri bilimi, mühendislik ve istatistik disiplinlerini bir araya getiren ilk, orta ve üniversite eğitimine entegre edilmelidir. Yapay zeka öğretimi akreditasyon sürecinin bir parçası olarak düşünülmelidir.
Sonuç
Bu belge, çeşitli bilim ve mühendislik uzmanlarından toplanan bilgileri yansıtır ve YZ’nın geleceğinin, Ulusun YZ’nın faydalarını ve zorluklarını, özellikle siber güvenlik alanında dengeleme yeteneğine bağlı olduğunu gösterir.
Lütfen bu tartışmaların ilk andan itibaren bakış açılarını temsil ettiğini unutmayın. Teknolojideki hızlı gelişmeler, yeni uygulama alanları ve MÖ, YZ ve siber güvenlik arasındaki etkileşim, yeni fırsatlar ve zorluklar getirmeye devam edecektir. Bu nedenle, bu konular hakkında ulusal (ve küresel) düşünmenin zaman içinde değişmesi beklenmektedir. Ayrıca bu soruların ve görüşlerin periyodik olarak gözden geçirilmesi, yeniden değerlendirilmesi ve güncellenmesi gerekecektir.
Çeviren ve düzenleyen: Burak Bozkurtlar
