1Dlaczego przyszłość nas nie potrzebuje[60]Bill Joy
Najpotężniejsze technologie XXI wieku, robotyka, inżynieria genetyczna i nanotechnologia, mają potencjał do tego, by sprawić, że ludzie mogą się stać zagrożonym gatunkiem.
Od momentu, gdy zaangażowałem się w tworzenie nowych technologii, zainteresowały mnie wymiary etyczne tych technologii. Stało się to wprawdzie dopiero jesienią 1998 roku, kiedy to z niepokojem zdałem sobie sprawę z tego, jak wielkie są zagrożenia, przed którymi stoimy w XXI wieku. Mogę datować początek mojego niepokoju na dzień, w którym spotkałem Raya Kurzweila, zasłużonego twórcę pierwszej maszyny do czytania dla osób niewidomych oraz wielu innych niesamowitych rzeczy.
Oboje z Rayem przemawialiśmy na konferencji Telecosm George'a Gildera, gdzie przypadkiem spotkałem go w barze hotelu po zakończeniu obu sesji. Siedziałem z Johnem Searlem, filozofem z Berkeley, który zajmował się badaniem świadomości. Podczas rozmowy podszedł do nas Ray i rozpoczęła się dyskusja, której temat prześladuje mnie do dziś.
Przegapiłem prezentację Raya oraz kolejny panel, na którym byli i Ray, i John. Od razu zaczęli kontynuować rozmowę tam, gdzie wcześniej ją przerwaliśmy. Ray powiedział, że tempo rozwoju technologii przyspieszy, a ludzie staną się robotami, hybrydami lub czymś podobnym. John zaprzeczył temu, twierdząc, że tak się nie stanie, ponieważ roboty nie mają świadomości.
Zawsze, gdy słyszałem podobne rozmowy, czułem, że świadome roboty istnieją tylko w świecie science fiction. Teraz jednak usłyszałem od kogoś, kogo szanowałem, mocny argument na to, że jest to możliwe w najbliższej przyszłości. Byłem zaskoczony, zwłaszcza biorąc pod uwagę udowodnioną zdolność Raya do wyobrażania sobie i tworzenia przyszłości. Wiedziałem już, że nowe technologie, takie jak inżynieria genetyczna i nanotechnologia, dają nam siłę, by przerobić świat, ale zaskoczył mnie realistyczny i nieuchronny scenariusz dotyczący inteligentnych robotów.
Łatwo jest znudzić się takimi przełomowymi informacjami. W wiadomościach praktycznie codziennie można usłyszeć o jakimś rozwoju technologicznym lub naukowym. Tym razem nie była to jednak zwykła prognoza. W hotelowym barze Ray dał mi częściowy przedruk swojej książki The Age of Spiritual Machines, w której została nakreślona utopia, którą przewidział. Utopia, w której ludzie osiągnęli niemal nieśmiertelność, stając się jednością z technologią robotyczną. Po jej przeczytaniu moje poczucie niepokoju tylko się nasiliło. Byłem pewien, że Ray musiał rozumieć niebezpieczeństwa oraz prawdopodobieństwo złych następstw podążania tą ścieżką.
Najbardziej niepokojący był fragment opisujący dystopijny scenariusz:
NOWE WYZWANIE LUDDYSTY
Po pierwsze, załóżmy, że informatykom udało się opracować inteligentne maszyny, które potrafią robić wszystko lepiej niż ludzie. W takim przypadku przypuszczalnie wszystkie prace zostaną wykonane przez rozległe, wysoce zorganizowane systemy maszyn bez potrzeby jakiegokolwiek wysiłku człowieka. Może zaistnieć jeden z dwóch przypadków. Można zezwolić maszynom na podejmowanie własnych decyzji bez nadzoru człowieka albo można zachować kontrolę ludzi nad maszynami.
Jeśli maszyny mogą podejmować wszystkie własne decyzje, nie można odgadnąć wyników, ponieważ nie można przewidzieć, jak takie maszyny mogłyby się zachowywać. Los ludzkości pozostawałby na łasce maszyn. Można argumentować, że rasa ludzka nigdy nie byłaby na tyle głupia, aby przekazać całą decyzję maszynom. Nie oznacza to, że rasa ludzka dobrowolnie przekazałaby władzę maszynom ani że maszyny świadomie przejęłyby władzę.
Rasa ludzka mogłaby z łatwością pozwolić sobie na takie uzależnienie od maszyn, że nie miałaby praktycznie wyboru, musiałaby zaakceptować wszystkie decyzje maszyn. W miarę jak społeczeństwo i stojące przed nim problemy stałyby się coraz bardziej złożone, a maszyny stałyby się coraz bardziej inteligentne, ludzie mogliby pozwolić na to, aby maszyny podejmowały za nich coraz więcej decyzji, po prostu dlatego, że decyzje podejmowane przez maszyny przynoszą lepsze rezultaty niż te podejmowane przez człowieka. W końcu mógłby zostać osiągnięty etap, na którym decyzje niezbędne do utrzymania systemu byłyby tak złożone, że ludzie nie byliby w stanie ich podjąć. Na tym etapie maszyny praktycznie przejęłyby kontrolę, a ludzie nie byliby w stanie po prostu wyłączyć maszyn, ponieważ byliby od nich tak zależni, że wyłączenie ich oznaczałoby samobójstwo.
Z drugiej strony możliwe jest zachowanie kontroli nad maszynami przez ludzi. W takim przypadku przeciętny człowiek miałby kontrolę nad niektórymi własnymi prywatnymi maszynami, takimi jak samochód lub komputer osobisty, aczkolwiek kontrola nad dużymi systemami maszyn pozostałaby w rękach niewielkiej elity, tak jak to jest obecnie, chociaż z dwiema różnicami. Dzięki ulepszonym technikom elity miałyby większą kontrolę nad masami, a ponieważ praca ludzka nie byłaby już konieczna, masy stałyby się zbędne, stanowiąc bezużyteczne obciążenie dla systemu. Jeśli elity stałyby się bezwzględne, mogłyby po prostu zdecydować się na eksterminację masy ludzkości. W przypadku gdy pozostałyby jednak humanitarne, mogłyby stosować propagandę lub inne techniki psychologiczne i biologiczne w celu zmniejszenia liczby urodzeń, dopóki masa ludzkości nie wyginie, pozostawiając świat elicie. W innym przypadku, gdy elita składałaby się z liberałów o miękkich sercach, elity mogłyby postanowić odegrać rolę dobrych pasterzy dla reszty rodzaju ludzkiego. Mogłyby zadbać o zaspokojenie wszystkich fizycznych potrzeb, tak aby wszystkie dzieci byłyby wychowywane w higienicznych warunkach psychologicznych, aby każdy miał zdrowe hobby, aby zająć się nim i aby każdy, kto może być niezadowolony, był poddawany "leczeniu" w celu wyleczenia jego "problemu". Oczywiście życie stałoby się tak bezcelowe, że ludzie musieliby zostać biologicznie lub psychologicznie zmodyfikowani, tak aby wyeliminować u nich potrzebę władzy lub sprawić, by przełożyli dążenie do władzy na jakieś nieszkodliwe hobby. Inżynierowie mogliby być szczęśliwi w takim społeczeństwie, ale z pewnością nie byliby wolni. Zostaliby zredukowani do statusu zwierząt domowych.(1)
W książce tej, bez jej przekartkowania,trudno jest odkryć, że autorem tego fragmentu jest Theodore Kaczyński - Unabomber. Nie jestem apologetą dla Kaczyńskiego. Jego bomby zabiły trzy osoby podczas 17-letniej kampanii terroru oraz zraniły wiele innych. Jedna z jego bomb poważnie zraniła mojego przyjaciela Davida Gelerntera, jednego z najbardziej błyskotliwych i wizjonerskich informatyków naszych czasów. Podobnie jak wielu moich kolegów, czułem, że z łatwością mogłem być kolejnym celem Unabombera.
Działania Kaczyńskiego były mordercze i moim zdaniem był on szalonym przestępcą. Był on wyraźnie luddystą, ale samo powiedzenie tego nie odrzuca jego argumentów. Choć trudno mi to przyznać, w uzasadnieniu tego pojedynczego fragmentu dostrzegłem pewną wartość. Czułem, że muszę się z tym zmierzyć.
Dystopijna wizja Kaczyńskiego opisuje niezamierzone konsekwencje, problem dobrze znany w projektowaniu i wykorzystaniu technologii, a także ten, który jest wyraźnie związany z prawem Murphy'ego: "wszystko, co może pójść nie tak, pójdzie nie tak". W rzeczywistości jest to prawo Finagle'a, które samo w sobie pokazuje, że Finagle miał rację. Nadużywanie antybiotyków doprowadziło do tego, co do tej pory może być największym takim problemem: pojawienia się opornych na antybiotyki i znacznie bardziej niebezpiecznych bakterii. Podobne wydarzenia miały miejsce, gdy próby wyeliminowania komarów malarycznych za pomocą DDT spowodowały, że nabyły one oporności na DDT. Podobnie pasożyty malaryczne nabyły geny, dzięki którym stały się odporne na wiele leków.(2)
Przyczyna wielu takich niespodzianek wydaje się jasna: zaangażowane systemy są złożone, obejmują interakcję oraz sprzężenia zwrotne pomiędzy wieloma elementami. Wszelkie zmiany w takim systemie będą się wiązać kaskadowo w sposób trudny do przewidzenia, co jest szczególnie prawdziwe, gdy w grę wchodzą ludzkie działania.
Zacząłem pokazywać znajomym cytat Kaczyńskiego z The Age of Spiritual Machines. Wręczałem im książkę Kurzweila, pozwalałem przeczytać cytat, a następnie obserwowałem ich reakcję, gdy odkryli, kto go napisał. Mniej więcej w tym samym czasie znalazłem książkę Hansa Moravca Robot: Mere Machine to Transcendent Mind. Moravec jest jednym z liderów badań robotyki oraz założycielem największego na świecie programu badań robotyki na Uniwersytecie Carnegie Mellon. Jego książka dostarczyła mi więcej materiału, który mogłem wypróbować na moich przyjaciołach. Materiał zaskakująco wspierający argumenty Kaczyńskiego. Na przykład The Short Run (na początku XXI w.)
Gatunki biologiczne prawie nigdy nie przeżywają spotkań z nadrzędnymi konkurentami. Dziesięć milionów lat temu Ameryka Południowa i Północna były oddzielone zatopionym przesmykiem panamskim. Ameryka Południowa, podobnie jak dziś Australia, była zamieszkana przez ssaki torbacze, w tym torbacze - odpowiedniki szczurów, jeleni i tygrysów. Kiedy przesmyk łączący Amerykę Północną i Południową przestał być zatopiony, zajęło to zaledwie kilka tysięcy lat, aby północne gatunki łożyskowców, z nieco bardziej efektywnym metabolizmem oraz układem rozrodczym i nerwowym, wyparły i wyeliminowały prawie wszystkie południowe torbacze.
Na całkowicie wolnym rynku najlepsze roboty z pewnością miałyby wpływ na ludzi, tak jak łożyskowce z Ameryki Północnej wpłynęły na torbacze z Ameryki Południowej, a także na inne niezliczone gatunki. Przemysł robotyczny konkurowałby energicznie między sobą o materię, energię i przestrzeń kosmiczną, nawiasem mówiąc, podnosząc swoją cenę poza zasięg człowieka. Biologiczni ludzie nie byliby w stanie pozwolić sobie na rzeczy niezbędne do życia.
Istnieje prawdopodobnie pewna przestrzeń dająca wytchnienie, ponieważ ludzkość nie mieszka na całkowicie wolnym rynku. Rząd może wymuszać zachowania nierynkowe, szczególnie przez pobieranie podatków. Rozsądnie zastosowany, rządowy przymus może wspierać populacje ludzi w wielkim stylu, wykorzystując pracę robotów, być może nawet przez długi czas.
To tylko opis dystopii zawarty w książce Moraveca, a jak niepojącym się wydaje. W dalszej części Moravec omawia, w jaki sposób naszą główną pracą w XXI wieku będzie "zapewnianie ciągłej współpracy z przemysłem robotów" przez uchwalanie przepisów określających, że są "mili"(3), oraz opisanie, jak poważnie niebezpieczny może być człowiek "po przekształceniu się z człowieka w nieograniczonego superinteligentnego robota". Moravec uważa, że roboty w końcu nas zastąpią, a ludzie staną w obliczu wyginięcia.
Uznałem, że czas porozmawiać z moim przyjacielem Dannym Hillisem. Danny zasłynął jako współzałożyciel Thinking Machines Corporation, gdzie powstał bardzo wydajny superkomputer do przetwarzania równoległego. Pomimo mojego obecnego stanowiska Głównego Naukowca w Sun Microsystems, jestem bardziej architektem komputerowym niż naukowcem i szanuję wiedzę Danny'ego w zakresie informacji i nauk fizycznych bardziej niż jakiejkolwiek innej osoby, którą znam. Danny jest również cenionym futurystą, który myśli długoterminowo: cztery lata temu założył Fundację Long Now, której dziełem ma być zegar mający przetrwać 10 000 lat, próbując przy tym uwypuklić, na jak żałośnie krótki okres obecne społeczeństwo zwraca uwagę (patrz "Test of Time", Wired 8.03, s. 78).
Poleciałem więc do Los Angeles w wyraźnym celu, aby zjeść kolację z Dannym i jego żoną Pati. Przeszedłem przez znaną mi rutynę, wypróbowując pomysły i fragmenty, które uważałem za tak niepokojące. Odpowiedź Danny'ego, skierowana konkretnie na scenariusz Kurzweila, w którym ludzie łączą się z robotami, przyszła szybko i dosyć mocno mnie zaskoczyła. Powiedział po prostu, że zmiany przyjdą stopniowo i że się do nich przyzwyczaimy.
Jednakże nie byłem chyba do końca zaskoczony. Widziałem cytat Danny'ego w książce Kurzweila, w którym napisał: "Lubię moje ciało jak każdy, ale jeśli mogę mieć 200 lat w ciele z krzemu, wezmę to". Wyglądało na to, że pogodził się z tym procesem i związanym z nim ryzykiem, podczas gdy ja nie.
Mówiąc i myśląc o Kurzweilu, Kaczyńskim i Moravcu, nagle przypomniałem sobie powieść, którą przeczytałem prawie 20 lat temu: The White Plague Franka Herberta, w której biolog molekularny zostaje doprowadzony do szaleństwa przez bezsensowne wymordowanie jego rodziny. W poszukiwaniu zemsty, konstruuje i rozpowszechnia nową, wysoce zaraźliwą zarazę, która zabija szeroko, ale selektywnie. Ludzkość ma to szczęście, że Kaczyński był matematykiem, a nie biologiem molekularnym. Przypomniał mi się także Borg ze Star Treka o silnej niszczycielskiej sile, który był zbudowany z części biologicznych i robotycznych. Katastrofy podobne do Borga to podstawa fantastyki naukowej, dlaczego więc wcześniej nie martwiłem się takimi robotycznymi dystopiami? Dlaczego inni nie martwili się takimi koszmarnymi scenariuszami?
Część odpowiedzi z pewnością leży w podejściu ludzi do nowości, w nastawieniu na natychmiastową znajomość i niekwestionowaną akceptację. Ludzie przyzwyczajeni do praktycznie rutynowych przełomów naukowych muszą pogodzić się z faktem, że najbardziej atrakcyjne technologie XXI wieku, robotyka, inżynieria genetyczna i nanotechnologia, stanowią inne zagrożenie niż technologie, które pojawiły się wcześniej. W szczególności roboty, organizmy inżynieryjne oraz nanoboty charakteryzuje niebezpieczny czynnik potęgujący: mają one możliwość replikacji. Bombę można wysadzić tylko raz, natomiast jeden robot może się szybko rozmnożyć i wymknąć się spod kontroli.
Większość moich prac w ciągu ostatnich 25 lat dotyczyła sieci komputerowych, w których wysyłanie i odbieranie wiadomości stwarzało możliwość wymknięcia się spod kontroli. Aczkolwiek, w momencie gdy replikacja w komputerze lub sieci komputerowej może być uciążliwa, w najgorszym przypadku może spowodować wyłączenie maszyny, sieci lub usługi sieciowej. Niekontrolowana samoreplikacja w nowszych technologiach wiąże się ze znacznie większym ryzykiem, związanym z wystąpieniem poważnych szkód w świecie fizycznym.
Każda z tych technologii oferuje również niewypowiedzianą obietnicę: wizję niemal nieśmiertelności, opisywaną przez Kurzweila na podstawie swoich snów o robotach, która napędza ludzkość. Inżynieria genetyczna może wkrótce zapewnić leczenie, jeśli nie całkowite wyleczenie, większości chorób. Z kolei nanotechnologia i nanomedycyna mogą zaoferować metody leczenia jeszcze większej liczby chorób. Wszystkie te technologie razem mogą znacznie przedłużyć średni czas życia człowieka i poprawić jakość jego życia. Jednakże, sekwencja małych, indywidualnie rozsądnych postępów w każdej z tych technologii może z czasem doprowadzić do skumulowania wielkiego potencjału, a tym samym stworzyć wielkie niebezpieczeństwo.
Jak inna była sytuacja w XX wieku? Z pewnością technologie leżące u podstaw broni masowego rażenia (BMR), broni nuklearnej, biologicznej i chemicznej (NBC) były potężne i stanowiły ogromne zagrożenie. Jednakże zbudowanie broni nuklearnej wymagało, przynajmniej przez pewien czas, dostępu zarówno do rzadkich, a faktycznie niedostępnych surowców, jak i wysoce chronionych informacji. Programy związane z tworzeniem broni biologicznej i chemicznej również zwykle wymagały działań na dużą skalę.
Technologie XXI wieku, genetyka, nanotechnologia i robotyka (GNR) są tak potężne, że mogą stworzyć zupełnie nowe klasy wypadków i nadużyć. Najbardziej niebezpieczne jest to, że po raz pierwszy wypadki i nadużycia znajdują się w zasięgu pojedynczych osób lub małych grup. Dodatkowo nie istnieje w ich przypadku wymóg zapewnienia dużych obiektów oraz rzadkich surowców. Do korzystania z tych technologii wystarczająca jest sama wiedza.
W rezultacie, poza zagrożeniem wynikającym z posiadania broni masowego rażenia, istnieje zagrożenie wynikające z masowego rażenia opartego na wiedzy (MRoW), którego destrukcyjność jest istotnie potęgowana przez zdolność do samoreplikacji.
Myślę, że nie jest przesadą stwierdzenie, że ludzkość stoi u progu dalszego doskonalenia skrajnego zła. Zła związanego z zaskakującym i potężnym spotęgowaniem ekstremalnych jednostek, których możliwości wykraczają daleko poza to, co broń masowego rażenia oferowała kiedyś państwom.
Nic w sposobie, w jaki angażowałem się w informatykę, nie sugerowało mi, że będę miał do czynienia z tego rodzaju problemami.
Moje życie było napędzane głęboką potrzebą zadawania pytań i znajdowania odpowiedzi. Kiedy miałem 3 lata, już czytałem, tak więc mój ojciec zabrał mnie do szkoły podstawowej, gdzie usiadłem na kolanach dyrektora i przeczytałem mu historię. Zacząłem szkołę wcześnie, później ją opuściłem i uciekłem do książek, miałem niesamowitą motywację do nauki. Zadawałem wiele pytań, często doprowadzając dorosłych do szaleństwa.
Jako nastolatek bardzo interesowałem się nauką i technologią. Chciałem być operatorem amatorskiego radia, aczkolwiek nie miałem pieniędzy na zakup sprzętu. Amatorskie radio było Internetem moich czasów. Było bardzo uzależniające i stosunkowo odizolowane. Pomijając problemy z pieniędzmi, moja matka postawiła jednak na swoim, zabroniła mi się tym zajmować, ponieważ byłem już wystarczająco aspołeczny.
Może nie miałem wielu bliskich przyjaciół, ale byłem zalany pomysłami. W liceum odkryłem wielkich pisarzy science fiction. Pamiętałem zwłaszcza Have Spacesuit Will Travel Heinleina oraz I, robot Asimova z trzema prawami robotyki. Byłem oczarowany opisami podróży kosmicznych, chciałem mieć teleskop do patrzenia na gwiazdy. Ponieważ nie miałem pieniędzy zarówno na jego zakup, jak i na zrobienie go samemu, odszukałem w bibliotece książki o tworzeniu teleskopów i czytałem je. Szybowałem w wyobraźni.
W czwartkowe noce moi rodzice chodzili na kręgle, a dzieci zostawały same w domu. To były noce Gene'a Roddenberry'a, oryginalnego Star Treka, programu, który wywarł na mnie duże wrażenie. Przyjąłem pogląd, że przyszłość ludzi jest w kosmosie, w zachodnim stylu, z wielkimi bohaterami i przygodami. Wizja Roddenberry'a na nadchodzące stulecia zawierała wyraźnie określone wartości moralne, zawarte w kodeksach takich jak Pierwsza Dyrektywa: nie ingerować w rozwój mniej zaawansowanych technologicznie cywilizacji. Wywarło to na mnie niesamowite wrażenie. Etyczni ludzie, a nie roboty, zdominowali przyszłość. Z tego powodu uznałem marzenie Roddenberry'a za część moich własnych marzeń.
W liceum byłem bardzo dobry z matematyki, a gdy już byłem studentem na University of Michigan, podjąłem zaawansowany program studiów matematycznych. Rozwiązywanie problemów matematycznych było ekscytującym wyzwaniem, kiedy jednak odkryłem komputery, znalazłem coś o wiele bardziej interesującego: maszynę, na której można umieścić program próbujący rozwiązać problem, po czym maszyna szybko sprawdzała rozwiązanie. Komputer miał jasne pojęcie poprawności i niepoprawności, prawdy i fałszu. Czy moje idee były prawidłowe? Maszyna mogła mi odpowiedzieć. To było bardzo kuszące.
Miałem to szczęście, że dostałem zadanie programowania wczesnych superkomputerów i odkryłem niesamowitą przydatność dużych maszyn do numerycznej symulacji zaawansowanych projektów. Kiedy w połowie lat 70. ubiegłego wieku poszedłem na studia na UC Berkeley, zacząłem chodzić spać bardzo późno, często całą noc wymyślając nowe światy wewnątrz maszyn. Rozwiązywanie problemów. Pisanie kodu, który aż prosił się, by go napisać. W biograficznej powieść na temat Michelangelo, In The Agony and the Ecstasy, Irving Stone opisał barwnie, w jaki sposób Michelangelo uwolnił posągi z kamienia, "przełamując marmurowe zaklęcie", rzeźbiąc obrazy wprost z własnego umysłu.(4) W moich najbardziej ekstatycznych chwilach oprogramowanie w komputerze pojawiało się w ten sam sposób. Kiedyś sobie to wyobraziłem, poczułem, że jest już w maszynie i czeka tylko na uwolnienie. Nieprzespanie całej nocy wydawało się niewielką ceną, aby go uwolnić, aby nadać pomysłom konkretną formę.
Po kilku latach spędzonych w Berkeley zacząłem wysyłać część napisanego przeze mnie oprogramowania: instruktażowego systemu Pascala, narzędzi Unixa oraz edytora tekstów o nazwie vi, który ku mojemu zaskoczeniu po 20 latach jest ciągle powszechnie używany, do innych mających podobne małe minikomputery PDP-11 i VAX. Te przygody z oprogramowaniem ostatecznie przekształciły się w wersję systemu operacyjnego Berkeley Unix, która stała się moją osobistą "katastrofą sukcesu". Tak wielu ludzi go chciało, że w rezultacie nigdy nie skończyłem doktoratu. Zamiast tego dostałem pracę dla Darpa, polegającą na umieszczaniu Berkeley Unix w Internecie i utrzymywaniu go jako niezawodnego i dobrze obsługującego duże aplikacje badawcze. To była świetna i bardzo satysfakcjonująca zabawa. I szczerze mówiąc, nie widziałem tam, ani nigdzie w pobliżu, żadnych robotów.
Jednakże na początku lat 80. ubiegłego wieku tonąłem. Wydania Unixa były bardzo udane, a mój mały projekt doczekał się finansowania i personelu. Jednakże w Berkeley problemem była zawsze powierzchnia biurowa, a nie pieniądze. Nie było już po prostu miejsca na dalszy rozwój projektu, tak więc w momencie, gdy pojawiła się możliwość finansowania przez Sun Microsystems, skorzystałem z okazji, by do nich dołączyć. Długie godziny spędzone w firmie Sun trwały aż do początków zaistnienia stacji roboczych i komputerów osobistych, a ja czerpałem przyjemność z uczestnictwa w tworzeniu zaawansowanych technologii mikroprocesorowych i technologii internetowych, takich jak Java i Jini.
Na podstawie tego wszystkiego uważam, że jasne jest to, że nie jestem luddystą. Zawsze raczej mocno wierzyłem w wartość naukowego poszukiwania prawdy i zdolność wielkiej inżynierii do osiągania materialnego postępu. Rewolucja przemysłowa niezmiernie poprawiła życie wszystkich w ciągu ostatnich kilkuset lat i zawsze spodziewałem się, że moja kariera będzie polegać na tworzeniu wartościowych rozwiązań rzeczywistych problemów, po jednym problemie na raz.
Nie zawiodłem się. Moja praca wywarła większy wpływ, niż się spodziewałem i była szerzej stosowana, niż mogłem się spodziewać. Ostatnie 20 lat spędziłem, próbując dowiedzieć się, jak uczynić komputery tak niezawodnymi, jakimi chcę, aby były (jeszcze takimi nie są), i jak uczynić je prostymi w użyciu (cel, który osiągnął jeszcze mniejszy względny sukces). Pomimo pewnych postępów problemy, które pozostają nierozwiązane, wydają się jeszcze bardziej zniechęcające.
Pomimo że zdawałem sobie sprawę z moralnych dylematów związanych z konsekwencjami technologii w takich dziedzinach, jak badania nad bronią, nie spodziewałem się, że napotkam takie problemy na własnym polu, a przynajmniej nie tak szybko.
Być może trudno jest dostrzec większy wpływ, gdy jest się w wirze zmian. Niezrozumienie konsekwencji naszych wynalazków, gdy popadamy w zachwyt dotyczący odkryć i innowacji, wydaje się powszechną winą naukowców i inżynierów. Od dawna kierujemy się nadrzędnym pragnieniem poznania, co jest naturalne dla nauki, nie zauważając, że postęp w kierunku nowszych i bardziej zaawansowanych technologii może zacząć żyć własnym życiem.
Od dawna zdałem sobie sprawę, że wielkie postępy w technologii informacyjnej nie wynikają z pracy informatyków, architektów czy inżynierów elektryków, ale z pracy fizyków. Na początku lat 80. XX wieku fizycy Stephen Wolfram i Brosl Hasslacher wprowadzili mnie w teorię chaosu i układy nieliniowe. W latach dziewięćdziesiątych dowiedziałem się o układach złożonych na podstawie rozmów z Dannym Hillisem, biologiem Stuartem Kauffmanem, fizykiem, laureatem Nagrody Nobla, Murrayem Gell-Mannem i innymi. Ostatnio zaś Hasslacher oraz inżynier elektryk i fizyk urządzeń Mark Reed uświadomili mi, jak niesamowite możliwości daje elektronika molekularna.
W mojej własnej pracy, jako projektant trzech architektur mikroprocesorowych: SPARC, picoJava i MAJC oraz jako projektant kilku ich implementacji, zapoznałem się z prawem Moore'a. Przez dziesięciolecia prawo Moore'a poprawnie przewidywało wykładniczy wskaźnik poprawy technologii półprzewodników. Do zeszłego roku wierzyłem, że wskaźnik postępów przewidziany przez prawo Moore'a może być aktualny tylko do około roku 2010, kiedy to pojawią się pewne ograniczenia fizyczne. Nie było jednak dla mnie oczywiste, że pojawią się nowe technologie umożliwiające płynny wzrost wydajności.
Jednakże z powodu szybkiego i radykalnego postępu w elektronice molekularnej, w której pojedyncze atomy i caąsteczki zastępują klasyczne tranzystory, oraz powiązanych technologii w skali nano, tempo postępu Moore'a powinno zostać osiągnięte lub nawet przekroczone w ciągu kolejnych 30 lat. Do 2030 roku najprawdopodobniej będzie możliwe zbudowanie maszyn milion razy wydajniejszych niż dzisiejsze komputery osobiste. Wystarczających do spełnienia marzeń Kurzweila i Moravca.
Ze względu na to, że ogromna moc obliczeniowa łączy się z manipulacyjnym postępem nauk fizycznych oraz nowym, głębokim zrozumieniem w dziedzinie genetyki, implikuje to ogromne możliwości transformacji. Kombinacje tych technologii stwarzają możliwość całkowitego przeprojektowania świata, na lepsze lub gorsze. Powielanie i ewolucja procesów, które dotychczas ograniczały się do świata naturalnego, wkrótce staną się domeną ludzkich wysiłków.
Projektując oprogramowanie i mikroprocesory, nigdy nie miałem wrażenia, że projektuję inteligentną maszynę. Oprogramowanie i sprzęt są tak delikatne, a możliwości maszyny do "myślenia" są tak wyraźnie nieobecne, że nawet sama taka możliwość zawsze wydawała się bardzo odległa w przyszłości.
Teraz jednak, wraz z perspektywą mocy obliczeniowej, która może osiągnąć poziom ludzki za około 30 lat, pojawiają się nowe pomysły. Mogę pracować nad stworzeniem narzędzi umożliwiających budowę technologii, która może zastąpić nasz gatunek. Jak się z tym czuję? Bardzo niewygodnie. Po całej mojej karierze, gdzie zmagałem się z budowaniem niezawodnych systemów oprogramowania, wydaje mi się bardziej niż prawdopodobne, że ta przyszłość nie zadziała tak dobrze, jak niektórzy mogą to sobie wyobrażać. Moje osobiste doświadczenie sugeruje, że ludzkość przecenia swoje zdolności projektowe.
Biorąc pod uwagę niesamowity potencjał nowych technologii, czy ludzkość nie powinna zastanowić się, jak najlepiej z nimi współistnieć? A jeśli nasze własne wyginięcie jest prawdopodobnym, a nawet możliwym rezultatem naszego rozwoju technologicznego, czy nie powinniśmy postępować z wielką ostrożnością?
Marzeniem robotyki jest przede wszystkim to, że inteligentne maszyny mogą wykonać za ludzi pracę, umożliwiając im korzystanie z wolnego czasu, przywracając ich do Edenu. Jednak w swojej historii takich pomysłów, opisanej w Darwin Among the Machines, George Dyson ostrzega: "W grze życia i ewolucji przy stole stoją trzy osoby: ludzie, przyroda i maszyny. Jestem zdecydowanie po stronie natury. Niestety natura, jak podejrzewam, stoi po stronie maszyn". Jak wspomniano wcześniej, Moravec zgadza się, że ludzkość może nie przetrwać spotkania z lepszym gatunkiem robota.
Jak szybko można zbudować takiego inteligentnego robota? Wydaje się, że nadchodzące postępy w zakresie mocy obliczeniowej umożliwią to do 2030 roku. W momencie kiedy inteligentny robot będzie już istniał, będzie to już tylko niewielki krok do powstania takiego gatunku robota, który będzie w stanie tworzyć wyewoluowane kopie samego siebie.
Drugim marzeniem robotyki jest stopniowe zastępowanie ludzi ich robotyczną technologią, osiągając niemal nieśmiertelność przez pobieranie ludzkiej świadomości. Jak wspomina Danny Hillis, może to być proces, do którego ludzkość będzie się stopniowo przyzwyczajać. Proces ten został błyskotliwie opisany przez Raya Kurzweila w The Age of Spiritual Machines. Można to zaobserwować jako implantację urządzeń komputerowych do ludzkiego ciała, jak pokazano na okładce Wired 8.02.
A co jeśli zostaniemy "pobrani" do stworzonej technologii, jakie są szanse, że później będziemy sobą, a nawet ludźmi? Wydaje się bardzo prawdopodobne, że istnienie robotów nie będzie podobne do ludzkiego istnienia pod jakimkolwiek względem, a roboty w żadnym sensie nie będą ludzkimi dziećmi. Na takiej ścieżce ludzkość może zostać zgubiona.
Inżynieria genetyczna obiecuje zrewolucjonizować rolnictwo przez zwiększenie plonów przy jednoczesnym ograniczeniu stosowania pestycydów. Mogą być stworzone dziesiątki tysięcy nowych gatunków bakterii, roślin, wirusów i zwierząt. Reprodukcja może zostać zastąpiona lub uzupełniona klonowaniem. Mogą być stworzone lekarstwa na wiele chorób, wydłużając tym samym życie oraz poprawiając jego jakość oraz dużo, dużo więcej. Już teraz z pewnością wiadomo, że te głębokie zmiany w naukach biologicznych są nieuchronne i podważą wszystkie nasze wyobrażenia o tym, czym jest życie.
W szczególności takie technologie, jak klonowanie ludzi, podniosły świadomość istnienia głębokich problemów etycznych i moralnych, przed którymi stoi ludzkość. Gdyby ludzie na przykład przekonstruowali się na kilka odrębnych i nierównych gatunków, wykorzystując możliwości inżynierii genetycznej, wówczas zagroziliby idei równości, która jest fundamentem demokracji.
Biorąc pod uwagę niewiarygodny potencjał inżynierii genetycznej, nie jest niczym nadzwyczajnym, że przy jej stosowaniu pojawiają się poważne problemy bezpieczeństwa. Niedawno mój przyjaciel Amory Lovins napisał razem z Hunter Lovins artykuł prezentujący ekologiczne spojrzenie na niektóre z tych niebezpieczeństw. Jedną z obaw, jakie wyrazili, było to, że "nowa botanika wyrównuje rozwój roślin z ich gospodarczym, nie ewolucyjnym sukcesem" ("Opowieść o dwóch botanikach", s. 247).
Długa kariera Amory'ego koncentrowała się na wydajności energetycznej i oszczędzaniu zasobów przez całościowe spojrzenie na systemy stworzone przez człowieka.Tego typu podejście umożliwia często znalezienie prostych, inteligentnych rozwiązań problemów, które z pozoru wydawałyby się trudne.
Po przeczytaniu artykułu autorstwa Lovinsów natknąłem się na artykuł Gregga Easterbrooka w The New York Times z dnia 19 listopada 1999 r. na temat genetycznie modyfikowanych upraw. Artykuł ten był zatytułowany "Jedzenie przyszłości: pewnego dnia ryż będzie miał wbudowaną witaminę A. Chyba, że luddyści wygrają".
Czy Amory i Hunter Lovinsowie są luddystami? Zdecydowanie nie. Wierzę, że to zrozumiałe, iż ryż z wbudowaną witaminą A jest prawdopodobnie dobrą rzeczą, jeśli oczywiście zostałby opracowany z należytą starannością i szacunkiem dla potencjalnych zagrożeń związanych z przenoszeniem genów poza granice gatunku.
Świadomość niebezpieczeństw związanych z inżynierią genetyczną zaczyna rosnąć, co znajduje odzwierciedlenie w artykule Amory'ego i Hunter Lovinsów. Ogół społeczeństwa jest świadomy istnienia genetycznie zmodyfikowanej żywności, jest nią zaniepokojony i wydaje się, że odrzuca pogląd, że żywność taka może nie mieć specjalnej etykiety.
Technologia inżynierii genetycznej jest już jednak bardzo zaawansowana. Jak zauważają Lovinsowie, USDA zatwierdziło już około 50 genetycznie zmodyfikowanych upraw do nieograniczonego użytku. Ponad połowa ziaren soi na świecie i jedna trzecia kukurydzy zawierają już geny zapożyczone od innych form życia.
Chociaż istnieje wiele ważnych kwestii, moja główna obawa związana z inżynierią genetyczną jest nieco ograniczona. Technologia ta umożliwia militarne, przypadkowe, a nawet umyślne terrorystyczne stworzenie Białej Plagi.
Liczne cuda nanotechnologii zostały po raz pierwszy przedstawione przez laureata Nagrody Nobla, Richarda Feynmana w przemówieniu, które wygłosił w 1959 roku, a następnie opublikował pod tytułem "There's Plenty of Room at the Bottom". Książką, która zrobiła na mnie duże wrażenie w połowie lat 80. XX wieku, była Engines of Creation. W książce tej Eric Drexler barwnie opisał, w jaki sposób manipulowanie materią na poziomie atomowym może stworzyć utopijną przyszłość obfitości, w której prawie wszystko można zrobić tanio i prawie każdą możliwą do wyobrażenia chorobę lub fizyczny problem można rozwiązać za pomocą nanotechnologii i sztucznej inteligencji.
W kolejnej książce Unbounding the Future: The Nanotechnology Revolution Drexler wysnuł wizję, że w wyniku zmian, które mogą nastąpić, mogą powstać "monterzy" na poziomie molekularnym. Monterzy mogą umożliwić pozyskiwanie niewiarygodnie taniej energii słonecznej, lekarstw na raka i przeziębienie przez wzmocnienie ludzkiego układu odpornościowego, zasadniczo całkowite oczyszczenie środowiska, niewiarygodnie tanie superkomputery kieszonkowe. W rzeczywistości każdy produkt byłby produkowany przez takich monterów kosztem nie większym niż koszt drewna. Loty kosmiczne stałyby się bardziej dostępne niż podróż transoceaniczna dziś. Możliwe byłoby przywracanie wymarłych gatunków.
Pamiętam, że dobrze czułem się w nanotechnologii po przeczytaniu Engines of Creation. Jako technologowi lektura ta dał mi poczucie spokoju. Nanotechnologia pokazała, że niesamowity postęp jest możliwy, a być może nawet nieunikniony. Jeśli nanotechnologia byłaby przyszłością ludzkości, nie czułbym się zmuszony do rozwiązania tak wielu problemów w teraźniejszości. W odpowiednim czasie uda mi się dotrzeć do utopijnej przyszłości Drexlera. Równie dobrze mogę cieszyć się życiem tu i teraz. Biorąc pod uwagę jego wizję, nie miałoby sensu nie spać całą noc, przez cały czas.
Wizja Drexlera przyczyniła się również do dobrej zabawy. Od czasu do czasu mogłem opisywać cuda nanotechnologii innym, którzy o niej nie słyszeli. Po dokuczeniu im wszystkim tym, co opisał Drexler, odłożyłbym własne zadanie domowe: "Użyj nanotechnologii, aby stworzyć wampira. Dla dodatkowego uznania stwórz także antidotum. "
Wraz z cudami pojawiły się wyraźne niebezpieczeństwa, z których doskonale zdawałem sobie sprawę. Jak powiedziałem na konferencji nanotechnologicznej w 1989 roku: "Nie możemy po prostu zajmować się naszą nauką i nie martwić się o te kwestie etyczne".(5) Jednak moje późniejsze rozmowy z fizykami przekonały mnie, że nanotechnologia może nawet nie działać, a przynajmniej nie w najbliższym czasie. Krótko potem przeniosłem się do Colorado do Skunk Works, a moje prace skupiły się na oprogramowaniu internetowym, szczególnie na pomysłach związanych z powstaniem Java i Jini.
Ostatniego lata Brosl Hasslacher powiedział mi, że elektronika molekularna w nanoskali nie jest już tylko teorią. To były nowe wiadomości, przynajmniej dla mnie, i myślę dla wielu ludzi. Radykalnie zmieniło to moje zdanie na temat nanotechnologii. Ponownie wróciłem do lektury Engines of Creation. Czytając pracę Drexlera po ponad 10 latach, byłem przerażony, gdy uświadomiłem sobie, jak mało zapamiętałem z części zatytułowanej "Niebezpieczeństwa i nadzieje", w tym dyskusji na temat tego, w jaki sposób nanotechnologie mogą stać się "silnikami destrukcji". Ten materiał ostrzegawczy dziwi mnie do dziś, jak naiwne wydały się niektóre z propozycji ochronnych Drexlera i o ile groźniejsze wydają mi się obecne zagrożenia w porównaniu z tym, jak je kiedyś określał Drexler. Drexler, przewidując i opisując wiele problemów technicznych i politycznych związanych z nanotechnologią, pod koniec lat 80. ubiegłego wieku założył Foresight Institute "w celu przygotowania społeczeństwa na przewidywane zaawansowane technologie", z których najważniejsza jest nanotechnologia.
Przełom umożliwiający powstanie wcześniej wspomnianych monterów wydaje się prawdopodobny w ciągu najbliższych 20 lat. Elektronika molekularna, nowa dziedzina nanotechnologii, w której poszczególne cząsteczki są elementami obwodów, powinna szybko dojrzeć i stać się niezwykle lukratywna w ciągu tej dekady, powodując duże, rosnące inwestycje we wszystkie dziedziny nanotechnologii.
Niestety, podobnie jak w przypadku technologii jądrowej, znacznie łatwiej jest tworzyć niszczące zastosowania nanotechnologii niż te konstruktywne. Nanotechnologia ma wyraźne zastosowania militarne i terrorystyczne. Nie trzeba od razu samobójczo wypuszczać masowo niszczącego urządzenia nanotechnologicznego.Tego typu urządzenia można zbudować tak, aby były selektywnie niszczące, wpływając na przykład tylko na określony obszar geograficzny lub specyficzną grupę ludzi.
Bezpośrednią konsekwencją faustowskiej umowy mającej na celu uzyskaniu wielkiej potęgi nanotechnologii jest to, że ludzkość podejmuje poważne ryzyko, ryzyko zniszczenia biosfery, od której zależy całe życie.
Jak wyjaśnił to Drexler:
"Rośliny" z "liśćmi" nie bardziej wydajnymi niż dzisiejsze ogniwa słoneczne mogą konkurować z prawdziwymi roślinami, zapychając biosferę niejadalnymi liśćmi. Twarde wszystkożerne "bakterie" mogą konkurować z prawdziwymi bakteriami. Mogą rozprzestrzeniać się jak lotny pyłek, szybko się replikować i zamieniać biosferę w pył w ciągu kilku dni. Niebezpieczne replikatory mogą być zbyt odporne, małe i szybko rozprzestrzeniające się, aby je zatrzymać. Przynajmniej jeśli ludzkość się na to nie przygotuje. Ludzkość ma wystarczająco dużo problemów z kontrolowaniem wirusów i muszek owocowych.
Wśród mędrców nanotechnologii to zagrożenie stało się znane jako problem "Gray Goo". Chociaż masy niekontrolowanych replikatorów nie muszą być "gray" ani "goo", termin Gray Goo uwypukla to, że replikatory zdolne do wyniszczenia życia mogą być pozornie mniej inspirujące niż pojedynczy gatunek trawy palusznika. Replikatory mogą być lepsze w sensie ewolucyjnym, nie jest to jednak równoznaczne z tym, że są cenni. Zagrożenie "Gray Goo" doskonale wyjaśnia jedną rzecz: ludzkość nie może sobie pozwolić na pewne rodzaje wypadków z replikacją monterów.
Gray Goo z pewnością byłby przygnębiającym zakończeniem ludzkiej przygody na Ziemi, znacznie gorszym niż zwykły ogień lub lód, do tego mógłby wynikać z prostego wypadku laboratoryjnego.(6) Ups. To właśnie destrukcyjna siła samoreplikacji w genetyce, nanotechnologii i robotyce (GNR) powinna powstrzymywać ludzkość. Autoreplikacja jest sposobem działania inżynierii genetycznej, która wykorzystuje maszynerię komórki do replikacji własnych projektów. Jest to jednocześnie główne niebezpieczeństwo leżące u podstaw Gray Goo w nanotechnologii. Historie robotów typu run-amok, takich jak Borg, które replikują się lub mutują, tak aby uciec od ograniczeń etycznych narzuconych im przez ich twórców, są dobrze ugruntowane w książkach i filmach science fiction. Możliwe jest nawet, że samoreplikacja może być bardziej fundamentalna, niż się to wydawało, a zatem trudna lub wręcz niemożliwa do kontrolowania.W niedawnym artykule Stuarta Kauffmana zatytułowanym "Samoreplikacja: nawet peptydy to robią" opublikowanym w Nature, opisano odkrycie, że 32-aminokwasowy peptyd może "autokatalizować swoją własną syntezę". Nie wiemy, jak powszechna jest ta zdolność, ale Kauffman zauważa, że może to wskazywać na "drogę do samoreprodukujących się układów molekularnych na podstawie znacznie szerszej niż parowanie zasad Watsona-Cricka".(7)
Prawdę mówiąc, ludzkości od lat znane były wyraźne ostrzeżenia o niebezpieczeństwach związanych z powszechną znajomością technologii GNR i wiedzą umożliwiającą masową destrukcję. Ostrzeżenia te nie zostały jednak szeroko rozpowszechnione, a publiczne dyskusje były wyraźnie niewystarczające. Publikowanie informacji o niebezpieczeństwach nie przynosi zysków.
Technologie nuklearne, biologiczne i chemiczne (NBC) stosowane w XX-wiecznej broni masowego rażenia były i są w dużej mierze wojskowe, opracowane w rządowych laboratoriach. W przeciwieństwie do tego technologie GNR XXI wieku mają wyraźne zastosowania komercyjne i są rozwijane prawie wyłącznie przez przedsiębiorstwa korporacyjne. W dobie triumfalnego komercjalizmu, technologia oraz nauka dostarczają wielu, niemal magicznych wynalazków, które są bardziej lukratywne niż kiedykolwiek. Agresywnie realizowane są obietnice tych nowych technologii w ramach niekwestionowanego obecnie systemu globalnego kapitalizmu i jego różnorodnych bodźców finansowych i presji konkurencyjnej.
Jest to pierwszy moment w historii naszej planety, kiedy gatunek, dzięki swoim dobrowolnym działaniom, stał się zagrożeniem dla samego siebie, jak również dla ogromnej liczby innych.
Postęp taki może zachodzić w wielu światach: nowo utworzona planeta kręci się spokojnie wokół swojej gwiazdy, życie powoli się formuje i ewoluuje, pojawiają się istoty inteligentne, które przynajmniej do pewnego stopnia nadają ogromną wartość przetrwaniu. Następnie zostaje wynaleziona technologia. Pojawia się świadomość, że istnieją takie rzeczy, jak prawa Natury, że prawa te można ujawnić eksperymentalnie, a znajomość tych praw może zarówno uratować, jak i odebrać życie na niespotykaną dotąd skalę. Istoty inteligentne wiedzą, że nauka zapewnia ogromny potencjał. W mgnieniu oka tworzą zmieniające świat elementy. Niektóre cywilizacje planetarne potrafią być dalekowzroczne i ograniczają to, co może, a czego nie wolno robić. Bezpiecznie przechodzą czas niebezpieczeństw. Inne cywilizacje nie są już tak roztropne i nie mają takiego szczęścia, giną.
Tak pisał Carl Saganw 1994 roku w książce Pale Blue Dot, gdzie przedstawił swoją wizję przyszłości ludzi w kosmosie. Dopiero teraz zdaję sobie sprawę, jak głębokie były jego wizje i jak bardzo tęsknię za jego głosem. Mimo całej swojej elokwencji, wkład Sagana polegał głównie na prostym, zdrowym rozsądku. Jest to cecha, której, obok pokory, wydaje się brakować wielu wiodącym zwolennikom technologii XXI wieku.
Pamiętam z dzieciństwa, że moja babcia była zdecydowanie przeciwna nadużywaniu antybiotyków. Pracowała jako pielęgniarka przed pierwszą wojną światową i miała powszechne przekonanie, że przyjmowanie antybiotyków, jeśli nie są absolutnie konieczne, jest złe.
Nie chodzi o to, że była wrogiem postępu. Zauważyła duży postęp w swojej prawie 70-letniej karierze pielęgniarskiej. Mój dziadek chorujący na cukrzycę bardzo skorzystał z ulepszonych metod leczenia, które stały się dostępne za jego życia. Babcia jednak, podobnie jak wielu ludzi o zrównoważonych poglądach, prawdopodobnie pomyślałaby teraz, że zaprojektowanie zrobotyzowanego "gatunku zastępczego" byłoby dla ludzi wielce aroganckie, skoro mają tak dużo problemów z działaniem względnie prostych rzeczy i o wiele więcej problemów z zarządzaniem, a nawet zrozumieniem samych siebie.
Teraz zdaję sobie sprawę, że miała świadomość istnienia naturalnego porządku życia oraz konieczności życia z tym porządkiem i szanowania go. Z tym szacunkiem wiąże się niezbędna pokora, której nie mają ludzie, z hucpą z początku XXI wieku. Ugruntowany w tym względzie pogląd zdroworozsądkowy jest często słuszny, nawet zanim zostanie potwierdzony dowodami naukowymi. Wyraźna kruchość i nieefektywność systemów tworzonych przez ludzi powinna nas wszystkich powstrzymywać. Kruchość systemów, nad którymi pracowałem, z pewnością mnie poniża.
Ludzkość powinna wyciągnąć naukę z tworzenia pierwszej bomby atomowej i wynikającego z niej wyścigu zbrojeń. Ludzkość nie radziła sobie wtedy za dobrze, a podobieństwa do obecnej sytuacji są niepokojące.
Wiele wysiłku w budowę pierwszej bomby atomowej włożył genialny fizyk J. Robert Oppenheimer. Oppenheimer nie był naturalnie zainteresowany polityką, ale boleśnie uświadomił sobie to, że Hitler mógł zdobyć broń nuklearną, co postrzegał jako poważne zagrożenie dla cywilizacji zachodniej ze strony Trzeciej Rzeszy. Zainspirowany tą troską wykorzystał swój silny intelekt, pasję do fizyki i charyzmatyczne umiejętności przywódcze w Los Alamos do szybkiego skonstruowania bomby atomowej.
Uderzające jest jednak to, jak wysiłek ten został naturalnie utrzymany po usunięciu początkowego impetu. Krótko po V-E Day, na spotkaniu z niektórymi fizykami, którzy uważali, że być może dalsze prace powinny zostać zakończone, Oppenheimer argumentował jednak by je kontynuować. Podany przez niego powód wydaje się nieco dziwny. Nie ze względu na strach przed dużymi ofiarami inwazji na Japonię, ale dlatego, że Narody Zjednoczone, które wkrótce miały powstać, powinny wiedzieć o broni atomowej. Bardziej prawdopodobnym powodem kontynuacji projektu jest jednak to, że projekt nabrał już tempa, a pierwszy test atomowy, Trinity, był już blisko.
Znany jest fakt, że przygotowując ten pierwszy test atomowy, fizycy przeanalizowali wiele możliwych, potencjalnych zagrożeń, które mogły z niego wyniknąć. Początkowo niepokojące było to, że według obliczeń Edwarda Tellera eksplozja atomowa może podpalić atmosferę. Zrewidowane obliczenia sugerowały, że szansa na zniszczenie świata jest rzędu trzy na milion. W późniejszym terminie Teller stwierdził, że był w stanie całkowicie odrzucić perspektywę zapłonu atmosferycznego. Oppenheimer był jednak wystarczająco zaniepokojony wynikiem Trinity, że zorganizował ewentualną ewakuację południowo-zachodniej części stanu Nowy Meksyk. Oczywiście istniało wyraźne niebezpieczeństwo rozpoczęcia nuklearnego wyścigu zbrojeń.
W ciągu miesiąca od pierwszego udanego testu dwie bomby atomowe zniszczyły Hiroszimę i Nagasaki. Niektórzy naukowcy sugerowali, że bomba zostanie po prostu zademonstrowana, a nie zostanie zrzucona na japońskie miasta, twierdząc, że znacznie zwiększy to szanse na kontrolę zbrojeń po wojnie, jednak bezskutecznie. Ponieważ tragedia Pearl Harbour była wciąż świeża w umysłach Amerykanów, prezydentowi Trumanowi byłoby bardzo trudno tylko zademonstrować nową broń, zamiast wykorzystać ją do szybkiego zakończenia wojny i uratowania istnień, które mogły być stracone podczas inwazji na Japonię. Jednak nadrzędna prawda była prawdopodobnie bardzo prosta, jak powiedział później fizyk Freeman Dyson: "Powodem, dla którego bomba została zrzucona, było to, że nikt nie miał odwagi ani dalekowzroczności, by powiedzieć "nie"".
Ważne jest, aby zdać sobie sprawę z tego, jak wstrząśnięci byli fizycy po bombardowaniu Hiroszimy 6 sierpnia 1945 roku. Opisują oni szereg swoich emocji: najpierw poczucie spełnienia, że bomba zadziałała, potem przerażenie tym, ilu ludzi zostało zabitych, a następnie przekonujące uczucie, że w żadnym wypadku nie należy zrzucać kolejnej bomby. Jednakże, zrzucono kolejną bombę na Nagasaki, zaledwie trzy dni po bombardowaniu Hiroszimy.
W listopadzie 1945 roku, trzy miesiące po zrzuceniu bomb atomowych, Oppenheimer stanowczo poparł stanowisko naukowe, mówiąc: "Nie można być naukowcem, jeśli nie wierzy się, że wiedza o świecie i możliwości, jakie ona daje, jest rzeczą, która ma istotną wartość dla ludzkości, i jest wykorzystywana do rozpowszechniania wiedzy, i jest się gotów ponieść konsekwencje". Jak napisał Richard Rhodes w swojej ostatniej książce: Wizje technologii, Oppenheimer wraz z innymi pracował nad raportem Achesona-Lilienthala, w którym napisał, że "znalazł sposób na zapobieganie tajnemu wyścigowi zbrojeń nuklearnych bez uciekania się do uzbrojonego rządu światowego". Zasugerowano rezygnację z pracy nad bronią jądrową przez państwa narodowe na rzecz agencji międzynarodowej.
Propozycja ta doprowadziła do powstania Planu Barucha, który został przedłożony Organizacji Narodów Zjednoczonych w czerwcu 1946 roku. Plan nie został jednak nigdy przyjęty, być może dlatego, że, jak sugeruje Rhodes, Bernard Baruch "nalegał na obciążenie planu konwencjonalnymi sankcjami", co nieuchronnie go zaprzepaściło, pomimo że "prawie na pewno zostałby odrzucony przez stalinowską Rosję". Inne wysiłki mające na celu promowanie rozsądnych kroków w kierunku internacjonalizacji energetyki jądrowej i zapobiegania wyścigowi zbrojeń spełzły na niczym w wyniku polityki USA, braku zaufania wewnętrznego albo braku zaufania ze strony Sowietów. Możliwość uniknięcia wyścigu zbrojeń została utracona bardzo szybko.
Dwa lata później, w 1948 roku, Oppenheimer osiągnął kolejny etap w swoim myśleniu, mówiąc: "W jakimś prymitywnym sensie, którego nie może usprawiedliwić żadna wulgarność, brak humoru, żadna przesada, fizycy znają grzech i jest to wiedza, której nie mogą stracić".
W 1949 roku Sowieci zdetonowali bombę atomową. Do 1955 roku zarówno USA, jak i Związek Radziecki przetestowały bomby wodorowe, które można było przenosić samolotem. Tak rozpoczął się wyścig zbrojeń nuklearnych.
Prawie 20 lat temu w dokumencie "The Day After Trinity" Freeman Dyson podsumował postawy naukowe, które doprowadziły ludzkość nad nuklearną przepaść:
Sam to czułem. Blask broni nuklearnej. Nie można się oprzeć, jeśli podejdziesz do tego jak naukowiec. Poczuć, że jest w twoich rękach, uwolnić energię, która napędza gwiazdy, pozwolić, by spełniła twoje polecenie. Aby dokonać tych cudów, podnieść milion ton skał w niebo. Jest to coś, co daje ludziom złudzenie nieograniczonej mocy i jest poniekąd odpowiedzialne za wszystkie nasze problemy. To, co można nazwać techniczną arogancją, przezwycięża ludzi, gdy widzą, co mogą zrobić za pomocą swoich umysłów.(8)
Obecnie, podobnie jak wtedy, ludzie są twórcami nowych technologii i gwiazdami wyobrażanej przyszłości, napędzanymi tym razem wspaniałymi nagrodami finansowymi i globalną konkurencją. Pomimo wyraźnych niebezpieczeństw, nie starają się choćby ocenić, jak może wyglądać życie w świecie, który jest realistycznym wynikiem tego, co tworzą i sobie wyobrażają.
W 1947 roku zaczęto umieszczać na okładce "The Bulletin of the Atomic Scientists" Zegar Zagłady. Od ponad 50 lat pokazuje on szacunkowe, względne zagrożenie nuklearne, z jakim mieliśmy do czynienia, odzwierciedlając zmieniające się warunki międzynarodowe. Wskazówki na zegarze przesunęły się 15 razy i dziś, stojąc za dziewięć minut przed północą, odzwierciedlają ciągłe i realne zagrożenie ze strony broni nuklearnej. Niedawne wpisanie Indii i Pakistanu na listę państw atomowych zwiększyło ryzyko ze strony broni jądrowej, co w 1998 roku znalazło odzwierciedlenie w przesunięciu wskazówek zegara bliżej północy.
Przed jak dużym niebezpieczeństwem związanym nie tylko z bronią nuklearną, ale ze wszystkimi technologiami stanęła ludzkość w obecnych czasach? Jak wysokie jest ryzyko wyginięcia?
Filozof John Leslie przestudiował te pytania i doszedł do wniosku, że ryzyko wyginięcia człowieka wynosi co najmniej 30 procent(9), podczas gdy według Raya Kurzweila ludzkość ma "większe niż połowiczne szanse na przetrwanie", z tym zastrzeżeniem, że Ray "zawsze był oskarżany o bycie optymistą". Szacunki te nie tylko nie są zachęcające, ale także nie uwzględniają prawdopodobieństwa wielu zatrważających wydarzeń, które doprowadzą do szybkiego wyginięcia ludzkości.
W obliczu takich szacunków niektóre autorytety sugerują, że ludzkość powinna opuścić Ziemię tak szybko, jak to możliwe. Ludzkość kolonizowałaby galaktykę za pomocą sond von Neumanna, które przeskakując z jednego układu gwiezdnego do drugiego, replikowałyby się w miarę przemieszczania. Taki krok prawie na pewno będzie potrzebny za 5 miliardów lat lub nawet wcześniej, w ciągu najbliższych 3 miliardów lat, jeśli Układ Słoneczny zostanie katastrofalnie dotknięty zbliżającym się zderzeniem naszej galaktyki z galaktyką Andromedy. Aczkolwiek jeśli poważnie uwzględnić teorie Kurzweila i Moraveca, może to być konieczne do połowy tego wieku.
Jakie mogą być tego moralne konsekwencje? Jeśli ludzkość musiałaby tak szybko przenieść się poza Ziemię, to kto przyjąłby wtedy odpowiedzialność za los tych, czyli większości, którzy pozostaliby na Ziemi? Nawet jeśli ludzkość rozproszy się po kosmosie, to czy nie jest prawdopodobne, że zabierze ze sobą swoje problemy lub później stwierdzi, że podążyły one za nią? Los naszego gatunku na Ziemi i los ludzkości w galaktyce wydają się nierozerwalnie ze sobą związane.
Innym z pomysłów jest wzniesienie szeregu osłon w celu obrony przed każdą z niebezpiecznych technologii. The Strategic Defense Initiative, zaproponowana przez administrację Reagana, była próbą zaprojektowania takiej tarczy, która miała chronić przed groźbą ataku nuklearnego ze strony Związku Radzieckiego. Jednakże, jak zauważył Arthur C. Clarke, który był wtajemniczony w dyskusje na temat projektu: "Choć może być możliwe, ogromnym kosztem, zbudowanie lokalnych systemów obrony, które "przepuszczą" tylko kilka procent pocisków balistycznych, propagowany pomysł narodowej osłony był bzdurą". Luis Alvarez, być może największy fizyk eksperymentalny tego stulecia, zauważył, że zwolennikami takich schematów byli "bardzo bystrzy mężczyźni pozbawieni zdrowego rozsądku".
Cytując dalej Clarke'a: "Patrząc na moją często mętną kryształową kulę, podejrzewam, że całkowita obrona może być rzeczywiście możliwa za jakieś sto lat. Jednakże zastosowana technologia wytworzyłaby jako produkt uboczny broń tak straszną, że nikt nie zawracałby sobie głowy czymkolwiek tak prymitywnym jak pociski balistyczne".(10)
W książce Engines of Creation Eric Drexler zaproponował zbudowanie aktywnej, nanotechnologicznej osłony, stanowiącej pewną formę układu odpornościowego dla biosfery, w celu obrony przed niebezpiecznymi replikatorami wszelkiego rodzaju, które mogłyby uciec z laboratoriów lub zostać stworzone w inny sposób. Tarcza, którą zaproponował, byłaby jednak sama w sobie bardzo niebezpieczna, gdyż nic nie mogłoby zapobiec rozwojowi problemów autoimmunologicznych i zaatakowaniu samej biosfery.(11)
Podobne trudności dotyczą budowy potencjalnej osłony przed robotyką i inżynierią genetyczną. Technologie te są zbyt potężne, aby można było się przed nimi chronić w interesujących ramach czasowych. Nawet gdyby możliwe było wdrożenie takich tarcz obronnych, skutki uboczne ich rozwoju byłyby co najmniej tak niebezpieczne, jak technologie, przed którymi miałyby chronić.
Wszystkie te możliwości są zatem niepożądane, nieosiągalne, albo jedno i drugie. Jedyną realistyczną alternatywą, jaką widzę, jest rezygnacja i ograniczenie rozwoju technologii, które są zbyt niebezpieczne, przez ograniczenie pogoni za niektórymi rodzajami wiedzy.
Tak, wiem, wiedza jest dobra, podobnie jak poszukiwanie nowych prawd. Ludzkość poszukuje wiedzy od czasów starożytnych. Arystoteles rozpoczął swoje dzieło Metafizyka prostym stwierdzeniem: "Wszyscy ludzie z natury pragną wiedzieć". Jedną z podstawowych wartości w naszym społeczeństwie jest od dawna otwarty dostęp do informacji i rozpoznanie problemów, które pojawiają się przy próbach ograniczenia dostępu do wiedzy i jej rozwoju. W ostatnich czasach ludzkość zaczęła szanować wiedzę naukową.
Jednakże, pomimo silnych precedensów historycznych, jeśli otwarty dostęp do wiedzy oraz jej nieograniczony rozwój mogą postawić ludzkość w obliczu wyginięcia, to zdrowy rozsądek wymaga ponownego zbadania nawet tych podstawowych, długo podtrzymywanych przekonań.
Już pod koniec XIX wieku Nietzsche ostrzegał nie tylko, że Bóg nie żyje, ale pisał też, że "wiara w naukę, która przecież istnieje niezaprzeczalnie, nie może zawdzięczać swego rachunku rachunkowi użyteczności. Musiała powstać pomimo faktu, że nieustępliwość i niebezpieczeństwo "woli do prawdy" oraz "prawdy za wszelką cenę" są mu stale udowadniane". Jest to kolejne z niebezpieczeństw, przed którym obecnie stoi ludzkość: konsekwencje poszukiwania prawdy. Jeśli prawda, której szuka nauka, może doprowadzić do wyginięcia ludzkości, to z pewnością może być uważana za niebezpieczny substytut Boga.
Gdyby ludzkość jako gatunek była w stanie uzgodnić, czego chce, dokąd i dlaczego zmierza, to przyszłość byłaby o wiele mniej niebezpieczna. Ludzkość mogłaby wtedy uświadomić sobie, czego może i czego powinna się zrzec. W przeciwnym razie bardzo łatwo można wyobrazić sobie rozwój wyścigu zbrojeń oparty na technologii GNR, analogiczny do tego opartego na technologii NBC w XX wieku. Jest to być może największe ryzyko, ponieważ po rozpoczęciu takiego wyścigu bardzo trudno jest go zakończyć. Tym razem, w przeciwieństwie do projektu Manhattan, ludzkość nie znajduje się w stanie wojny i nie musi stawiać czoła nieprzejednanemu wrogowi, który zagraża cywilizacji. Obecnie przesłankami są nawyki, pragnienia, system gospodarczy i konkurencyjna potrzeba poznania.
Wierzę, że cała ludzkość pragnie, aby rozwój mógł być zdeterminowany przez wspólne wartości, etykę i moralność. Gdyby ludzkość zdobyła więcej zbiorowej mądrości w ciągu ostatnich kilku tysięcy lat, wówczas dialog w tym celu byłby bardziej praktyczny, a niewiarygodne możliwości, które mogą zostać spełnione, nie byłyby tak kłopotliwe.
Można by pomyśleć, że ludzkość powinna dążyć do takiego dialogu dzięki instynktowi samozachowawczemu. Oczywiście potrafią to uczynić jednostki, niestety nie jest to już cechą całego gatunku ludzkiego. W obliczu zagrożenia nuklearnego często prowadzono nieuczciwe wzajemne rozmowy, zwiększając tym samym w znacznym stopniu ryzyko. Czy było to motywowane politycznie, czy dlatego, że zdecydowano się nie myśleć naprzód, czy też dlatego, że w obliczu tak poważnych zagrożeń podjęte działania motywowane były irracjonalnym strachem? Nie wiem, ale nie wróży to niczego dobrego.
Puszka Pandory dotycząca genetyki, nanotechnologii i robotyki jest już prawie otwarta, aczkolwiek wydaje się, że ludzkość praktycznie tego nie zauważyła. Pomysłów nie można odłożyć z powrotem do pudełka. W przeciwieństwie do uranu i plutonu, nie trzeba ich wydobywać i wzbogacać, a ich kopiowanie można dowolnie wykonywać. Kiedy już są powszechnie dostępne, są na wolności. Churchill zauważył kiedyś w słynnym ironicznym komplemencie, że naród amerykański i jego przywódcy "niezmiennie postępują właściwie, po tym jak przeanalizowali wszystkie inne możliwości". W tym przypadku ludzkość musi jednak działać o wiele ostrożniej, tak aby zrobienie tylko tej słusznej rzeczy nie oznaczało w rezultacie utraty szansy na zrobienie tego w ogóle.
Jak powiedział Thoreau: "Nie jedziemy koleją, to ona jedzie na nas". I właśnie o to ludzkość musi walczyć w obecnych czasach. Istotnie, pytanie brzmi: kto ma być mistrzem? Czy ludzkość przetrwa swoje własne technologie?
Ludzkość jest popychana w nowe stulecie bez planu, kontroli i hamulców. Czy ludzkość zabrnęła już zbyt daleko, aby zmienić kurs? Nie wierzę w to, ale nie próbujemy jeszcze, aczkolwiek ostatnia szansa na przejęcie kontroli, osiągnięcie punktu, po którym nie będzie już odwrotu, zbliża się bardzo szybko. Istnieją już pierwsze roboty imitujące zwierzęta domowe, powszechnie dostępne są techniki inżynierii genetycznej, a nanoinżynieria rozwija się bardzo szybko. Podczas gdy rozwój tych technologii przebiega przez wiele etapów, niekoniecznie ostatni krok w ich przetestowaniu jest wielkoskalowy i trudny, tak jak to było w projekcie Manhattan i teście Trinity. Przełom w dzikiej samoreplikacji w robotyce, inżynierii genetycznej lub nanotechnologii może nastąpić nagle, stanowiąc podobne zaskoczenie jak udostępnienie informacji o sklonowaniu ssaka.
Uważam jednak, że ludzkość ma silną i solidną bazę do tego, by mieć nadzieję. Próby poradzenia sobie z bronią masowego rażenia w ostatnim stuleciu są świetnym przykładem takiej rezygnacji: jednostronne porzucenie przez USA, bez warunków wstępnych, rozwoju broni biologicznej. To zaniechanie wynikało ze świadomości, że choć stworzenie potężnej broni wymagałoby ogromnego wysiłku, to po jej stworzeniu można by ją łatwo powielać, a broń taka mogłaby wpaść w ręce nieuczciwych narodów lub grup terrorystycznych.
Wyraźnym wnioskiem było to, że ludzkość stworzyłaby dodatkowe zagrożenia, rozwijając taką broń, a zaniechanie jej produkcji sprawiłoby, że ludzkość byłaby znacznie bezpieczniejsza. Zarzucenie rozwoju broni biologicznej i chemicznej zostało zawarte w Konwencji o broni biologicznej z 1972 roku (BWC, ang. Biological Weapons Convention) oraz w Konwencji o broni chemicznej z 1993 roku (CWC, ang. Chemical Weapons Convention).(12)
Jeśli chodzi o utrzymujące się znaczne zagrożenie ze strony broni jądrowej, która istnieje od ponad 50 lat, niedawne odrzucenie przez senat USA traktatu o całkowitym zakazie prób wyraźnie pokazuje, że zakazanie broni nuklearnej nie będzie politycznie łatwe. Wraz z końcem zimnej wojny ludzkość może mieć jednak wyjątkową okazję, aby zapobiec wielobiegunowemu wyścigowi zbrojeń. Opierając się na rezygnacji z broni biologicznej i chemicznej, udane zakazanie broni jądrowej może być pomocne w rozwinięciu nawyku rezygnacji z niebezpiecznych technologii. W rzeczywistości pozbycie się całej broni jądrowej z wyjątkiem 100 głowic, co odpowiada całkowitej niszczycielskiej sile z II wojny światowej, jest znacznie łatwiejszym zadaniem i mogłoby wyeliminować zagrożenie wyginięcia ludzkości.(13)
Weryfikacja rezygnacji z broni atomowej może stanowić trudny problem, aczkolwiek nie nierozwiązywalny. Z powodzeniem wykonano już wiele istotnych prac w kontekście Konwencji o broni chemicznej i innych traktatów. Głównym zadaniem powinno być zastosowanie tego w technologiach, które są z natury znacznie bardziej komercyjne niż wojskowe. Istotną potrzebą jest tutaj przejrzystość, ponieważ trudność weryfikacji jest wprost proporcjonalna do trudności w odróżnieniu rezygnacji od legalnych działań.
Szczerze wierzę, że sytuacja w 1945 roku była prostsza niż ta, z którą ludzkość ma obecnie do czynienia. Technologie nuklearne można w rozsądny sposób podzielić na zastosowania komercyjne i wojskowe, natomiast ze względu na charakter i łatwość pomiaru radioaktywności monitoring testów atomowych może być stosunkowo prosty. Badania nad zastosowaniami wojskowymi można by przeprowadzać w krajowych laboratoriach, takich jak Los Alamos, przy zachowaniu tajemnicy tak długo, jak to tylko możliwe.
Technologie GNR nie dzielą się wyraźnie na zastosowania komercyjne i wojskowe. Biorąc pod uwagę ich potencjał na rynku, trudno sobie wyobrazić, aby były realizowane tylko w krajowych laboratoriach. W związku z ich szeroko zakrojonymi dążeniami komercyjnymi wymuszenie rezygnacji będzie może wymagać reżimu weryfikacji podobnego do reżimu broni biologicznej, ale na niespotykaną dotąd skalę. To nieuchronnie zwiększy napięcia pomiędzy indywidualną prywatnością, chęcią posiadania zastrzeżonych informacji oraz potrzebą weryfikacji, aby chronić wszystkich ludzi. Bez wątpienia napotkałoby to silny opór przed utratą prywatności i swobody działania.
Weryfikacja rezygnacji z niektórych technologii GNR musiałaby nastąpić zarówno w cyberprzestrzeni, jak i w obiektach fizycznych. Kluczową kwestią byłoby zapewnienie niezbędnej przejrzystości w świecie informacji zastrzeżonych, prawdopodobnie przez zapewnienie nowych form ochrony własności intelektualnej.
Weryfikacja zgodności wymagałaby również przyjęcia przez naukowców i inżynierów surowego kodeksu postępowania etycznego, przypominającego przysięgę Hipokratesa, oraz odwagi, by w razie potrzeby informować o nieprawidłowościach, nawet kosztem osobistym. Postępowanie takie byłoby zgodne z apelem wygłoszonym 50 lat po Hiroszimie przez laureata Nagrody Nobla Hansa Bethe, jednego z najstarszych z ocalałych członków projektu Manhattan. Zgodnie z tym apelem wszyscy naukowcy "zaprzestaną pracy nad tworzeniem, rozwijaniem, ulepszaniem i produkcją broni jądrowej oraz innej broni masowego rażenia".(14) W XXI wieku wymagałoby to czujności i osobistej odpowiedzialności tych, którzy pracowaliby zarówno nad technologiami NBC, jak i GNR, tak aby uniknąć wdrażania broni masowego rażenia i masowej destrukcji, które oparte byłyby na wiedzy.
Thoreau powiedział także, że ludzkość będzie "bogata proporcjonalnie do liczby rzeczy, na które będzie mogła sobie pozwolić". Każdy z ludzi stara się być szczęśliwy, niemniej jednak trzeba się zastanowić, czy warto jest podejmować tak wysokie ryzyko, związane z całkowitym zniszczeniem, w celu zdobycia jeszcze większej wiedzy i jeszcze większej liczby rzeczy. Zdrowy rozsądek może podpowiadać, że istnieje granica materialnych potrzeb oraz że pewna wiedza jest zbyt niebezpieczna i najlepiej jest ją zapomnieć.
Ludzkość nie powinna również dążyć do nieśmiertelności bez uwzględnienia kosztów, bez rozważenia proporcjonalnego wzrostu ryzyka wyginięcia. Nieśmiertelność, choć być może oryginalna, z pewnością nie jest jedynym możliwym utopijnym snem.
Niedawno miałem szczęście spotkać wybitnego pisarza i uczonego Jacquesa Attaliego, którego książka Lignes d'horizons (Millennium) była dla mnie inspiracją do przystosowania Java i Jini do nadchodzącej epoki wszechobecnej informatyki. W swojej nowej książce Fraternités Attali zawarł opis tego, jak zmieniły się z czasem ludzkie marzenia o utopii:
U zarania dziejów ludzie postrzegali swoją egzystencję na Ziemię jako labirynt bólu, na końcu którego znajdowały się drzwi prowadzące przez śmierć do towarzystwa bogów i Wieczności. W przypadku Hebrajczyków, a następnie Greków, niektórzy ludzie odważyli się uwolnić od wymagań teologicznych i marzyć o idealnym mieście, w którym rozkwitnie wolność. Inni, zauważając ewolucję społeczeństwa rynkowego, rozumieli, że wolność jednych pociąga za sobą wyobcowanie innych i dążyli do równości.
Jacques pomógł mi zrozumieć, w jaki sposób te trzy różne utopijne cele funkcjonują w dzisiejszym społeczeństwie. Następnie Jacques opisał czwartą utopię, Braterstwo, której fundamentem jest altruizm. Tylko braterstwo łączy indywidualne szczęście ze szczęściem innych, dając obietnicę samowystarczalności.
Przyczyniło się to do wykrystalizowania się mojego problemu ze snem Kurzweila. Technologiczne podejście do Wieczności, praktycznie nieśmiertelność osiągnięta za pomocą robotyki. Nie jest to może jedna z najbardziej pożądanych utopii, aczkolwiek dążenie do niej związane jest z wyraźnym niebezpieczeństwem. Być może ludzie powinni przemyśleć swoje utopijne wybory.
Gdzie ludzkość może szukać nowych podstaw etycznych, tak aby wytyczyć ścieżkę po której ma podążać? Bardzo pomocne są pomysły zawarte w książce Dalajlamy Etyka nowego tysiąclecia. Jak może być dobrze? - wiadomo, Dalajlama przekonuje, że najważniejsze jest to, aby ludzie prowadzili swoje życie z miłością i współczuciem dla innych, oraz to, że społeczeństwa muszą wypracować silniejsze pojęcie powszechnej odpowiedzialności i swojej współzależności. Dalajlama proponuje zatem standard pozytywnego postępowania etycznego dla jednostek i społeczeństw, który wydaje się zgodny z utopią braterską Attaliego.
Dalajlama argumentuje dalej konieczność zrozumienia tego, co sprawia, że ludzie są szczęśliwi, oraz uznania za bezsprzeczne, że ani materialny postęp, ani dążenie do potęgi wiedzy nie są kluczowe. Istnieją granice tego, czego nauka i sama działalność naukowa są w stanie dokonać.
Wydaje się, że nasze zachodnie pojęcie szczęścia pochodzi od Greków, którzy zdefiniowali je jako "ćwiczenie witalnych mocy wzdłuż linii doskonałości w życiu dającym im zakres".(15)
Oczywiście ludzkość musi znaleźć znaczące wyzwania oraz wystarczające pole działania w naszym życiu, aby odszukać szczęście w tym, co ma nadejść. Uważam jednak, że musimy znaleźć alternatywne ujście dla naszych sił twórczych, wykraczające poza kulturę ciągłego wzrostu gospodarczego. Wzrost ten był w dużej mierze błogosławieństwem przez kilkaset lat, ale nie przyniósł ludzkości tylko szczęścia. Ludzkość musi obecnie wybierać między dążeniem do nieograniczonego i niekierowanego wzrostu przez naukę i technologię a wyraźnymi związanymi z tym niebezpieczeństwami.
Minął już ponad rok od mojego pierwszego spotkania z Rayem Kurzweilem i Johnem Searlem. Dostrzegam jednak wiele powodów do nadziei, głosy ludzi zachęcających do ostrożności i ograniczeń, u tych, których poznałem, którzy są tak samo zaniepokojeni obecną sytuacją. Czuję też pogłębione poczucie osobistej odpowiedzialności, nie za pracę, którą już wykonałem, ale za pracę, którą mógłbym jeszcze wykonać w wyniku nagromadzenia wiedzy.
Jednakże wielu innych ludzi, którzy mają świadomość o zagrożeniach, nadal pozostaje podejrzanie cicho. Zmuszeni do dyskusji stosują ripostę "to nic nowego", tak jakby sama tylko świadomość tego, co może się wydarzyć, była wystarczająca. Mówią mi, że są uniwersytety pełne bioetyków, którzy studiują te rzeczy na co dzień. Mówią: wszystko to zostało już wcześniej napisane przez ekspertów. Narzekają: twoje zmartwienia i argumenty są już przestarzałe.
Nie wiem, gdzie ci ludzie ukrywają swój strach. Jako architekt złożonych systemów wchodzę na tę arenę jako generalista. Czy powinno to jednak zmniejszyć moje obawy? Zdaję sobie sprawę z tego, ile napisano, o czym rozmawiałem i wykładałem tak autorytatywnie. Czy jednak oznacza to, że przekaz ten dotarł do ludzi? Czy to oznacza, że można pominąć niebezpieczeństwa, które stoją przed ludzkością?
Wiedza nie jest uzasadnieniem braku działania. Czy ludzkość może wątpić, że wiedza stała się bronią, którą posługuje się przeciwko samej sobie?
Doświadczenia naukowców zajmujących się energią atomową wyraźnie pokazują potrzebę wzięcia osobistej odpowiedzialności za to, że pewne niebezpieczne wydarzenia mogą potoczyć się zbyt szybko lub zacząć żyć własnym życiem. Podobnie ludzie mogą stworzyć problemy nie do pokonania w bardzo krótkim czasie. Konieczne jest więc dalekowzroczne myślenie, jeśli ludzkość nie chce zostać podobnie zaskoczona i zszokowana konsekwencjami swoich wynalazków.
Moja ciągła praca zawodowa polega na poprawie niezawodności oprogramowania. Oprogramowanie jest narzędziem, a jako twórca narzędzi muszę zmagać się z zastosowaniami, na które zostają wystawione narzędzia, które tworzę. Zawsze wierzyłem, że zwiększenie niezawodności oprogramowania, biorąc pod uwagę jego wiele zastosowań, uczyni świat bezpieczniejszym i lepszym miejscem. Jeśli miałbym uwierzyć w coś przeciwnego, byłbym moralnie zobowiązany do zaprzestania tej pracy. Obecnie mogę sobie wyobrazić, że taki dzień może nadejść.
Nie jest to dla mnie denerwujące, aczkolwiek przynajmniej trochę melancholijne. Odtąd postęp będzie dla mnie już nieco gorzki.
W filmie Manhattan, w przedostatniej, pięknej scenie Woody Allen leży na kanapie i nagrywa swoją rozmowę na magnetofon. Opowiada krótką historię o ludziach, którzy sami tworzą niepotrzebne, neurotyczne problemy, ponieważ powstrzymuje ich to od radzenia sobie z tymi bardziej nierozwiązywalnymi, przerażającymi problemami dotyczącymi wszechświata.
Zadaje on sobie pytanie: "Dlaczego warto żyć życiem?". Zastanawia się, co sprawia, że jest ono dla niego coś warte: Groucho Marks, Willie Mays, druga część Jupiter Symphony, nagranie Louisa Armstronga "Potato Head Blues", szwedzkie filmy, Edukacja Sentymentalna Flauberta, Marlon Brando, Frank Sinatra, jabłka i gruszki namalowane przez Cézanne'a, kraby w restauracji Sam Wo's, a wreszcie punkt kulminacyjny: twarz jego ukochanej, Tracy.
Każdy z ludzi ma swoje cenne rzeczy, a dbając o nie, odnajduje esencję ludzkości. Ostatecznie to dzięki ludzkiej troskliwej naturze jestem optymistą, że ludzkość będzie w stanie skonfrontować się z czyhającymi na nią niebezpiecznymi problemami.
Mam nadzieję, że wezmę udział w znacznie szerszej dyskusji na temat poruszonych tu kwestii, z ludźmi z różnych środowisk, w otoczeniu, które nie jest predysponowane do strachu ani do faworyzowania technologii dla samych tylko korzyści.
Już dwukrotnie poruszyłem wiele z tych kwestii podczas wydarzeń sponsorowanych przez Aspen Institute, a także zaproponowałem, aby Amerykańska Akademia Sztuki i Nauki podjęła je jako rozszerzenie swojej pracy nad Konferencjami Pugwash. Odbywają się one od 1957 roku i mają na celu omawianie kontroli zbrojeń, zwłaszcza w zakresie broni nuklearnej, oraz sformułowanie wykonalnej polityki.
Szkoda, że spotkania Pugwash zaczęły się dopiero po tym, jak nuklearny dżin został wypuszczony z butelki, jakieś 15 lat za późno. Z podobnym opóźnieniem ludzkość zaczyna się poważnie zajmować problemami związanymi z technologiami XXI wieku i zapobieganiem masowej zagładzie wynikającej z wiedzy. Kolejne opóźnienia wydają się nie do przyjęcia.
Tak więc wciąż szukam, jest wiele innych rzeczy do nauczenia się. To, czy ludzkość ma odnieść sukces, czy nie, przeżyć czy stać się ofiarą swych technologii, nie zostało jeszcze ustalone. Znowu się spóźniam, jest prawie 6 rano. Próbuję sobie wyobrazić lepsze odpowiedzi, przełamać zaklęcie i uwolnić je z kamienia.
PRZYPISY KOŃCOWE
1. Fragment cytowany przez Kurzweila pochodzi z Manifestu Unabombera Kaczyńskiego, opublikowanego wspólnie, pod przymusem, przez New York Times i The Washington Post, aby spróbować zakończyć kampanię terroru. Zgadzam się z Davidem Gelernterem, który powiedział o swojej decyzji:
"To było trudne wyzwanie dla gazet. Powiedzenie "tak" byłoby poddaniem się terroryzmowi i mimo wszystko wiedzieli, że i tak kłamał. Z drugiej strony powiedzenie "tak" mogło zatrzymać zabijanie. Istniała również szansa, że ktoś przeczyta traktat i będzie miał pewne podejrzenia co do autora. Dokładnie tak się stało. Brat podejrzanego przeczytał go i zadzwonił".
"Powiedziałbym im, żeby nie publikowali. Cieszę się, że mnie nie pytali. Chyba" (Drawing Life: Surviving the Unabomber. Free Press, 1997: 120).
2. Garrett, Laurie. The Coming Plague: Newly Emerging Diseases in a World Out of Balance. Penguin, 1994: 47-52, 414, 419, 452.
3. Isaac Asimov opisał to, co stało się z najsłynniejszym poglądem na zasady etyczne dotyczące zachowania robota w książce I, Robot w 1950 roku. W jego trzech prawach robotyki: (1) Robot nie może zranić człowieka lub przez bezczynność sprawić, by człowiekowi stała się krzywda. (2) Robot musi być posłuszny rozkazom wydawanym przez ludzi, z wyjątkiem przypadków, gdy takie rozkazy byłyby sprzeczne z Pierwszym Prawem. (3) Robot musi chronić swoje istnienie, o ile taka ochrona nie jest sprzeczna z Pierwszym lub Drugim Prawem.
4. Michelangelo napisał sonet, który zaczyna się:
Non ha l 'ottimo artista alcun concetto
Ch ou un marmo solo in s? non circonscriva
Col suo soverchio, solo quello arriva
La man che ubbidisce all 'Intelleto.
Stone tłumaczy to jako:
Sam mistrz, a nie ma takiego pojęcia
Co by w marmuru łonie już nie tkwiło
Byle wiedziona dłoń myślącą siłą
Umiała głazom zadać trafne cięcia.
Stone opisuje ten proces: "Nie pracował na podstawie swoich rysunków ani glinianych modeli, wszystko to było odłożone na bok. Rzeźbił z obrazów w jego umyśle. Jego oczy i ręce wiedziały, gdzie jest każda linia, zakręt, gdzie musi pojawić się masa i na jakiej głębokości w sercu kamienia, tak aby stworzyć płaskorzeźbę".
(The Agony and the Ecstasy. Doubleday, 1961: 6, 144.)
5. First Foresight Conference on Nanotechnology in October 1989, a talk titled "The Future of Computation". Published in Crandall, B. C. and James Lewis, editors. Nanotechnology: Research and Perspectives. MIT Press, 1992: 269. Zobacz także www.foresight.org/Conferences/MNT01/Nano1.html.
6. W swojej powieści Cat's Cradle z 1963 roku Kurt Vonnegut przedstawił wypadek podobny do Gray Goo, w którym forma lodu zwana ice-nine, zamarzająca w znacznie wyższej temperaturze, zamraża oceany.
7. Kauffman, Stuart. "Self-replication: Even Peptides Do It". Nature, 382, August 8, 1996: 496. Zobacz także www. santafe.edu/sfi/People/kauffman/sak-peptides.html.
8. Else, Jon. The Day After Trinity: J. Robert Oppenheimer and The Atomic Bomb (dostępne na stronie www.pyramiddirect.com).
9. Szacunek ten znajduje się w książce Lesliego The End of the World: The Science and Ethics of Human Extinction, w której zauważa, że prawdopodobieństwo wyginięcia jest znacznie większe, jeśli zaakceptujemy argument Sądu Ostatecznego Brandona Cartera, który krótko mówiąc: "powinniśmy wierzyć, że znajdujemy się w początkowej fazie istnienia wszechświata, na przykład w początkowym 0,001 procencie istnienia, wśród wszystkich tych ludzi, którzy kiedykolwiek przeżyli. To byłby powód do myślenia, że ludzkość nie przetrwa jeszcze wielu stuleci, nie mówiąc już o kolonizacji galaktyki. Argument Sądu Ostatecznego Cartera nie generuje żadnych oszacowań ryzyka sam w sobie. Jest to argument za rewizją szacunków, które generujemy, gdy rozważamy różne możliwe niebezpieczeństwa". (Routledge, 1996: 1, 3, 145).
10. Clarke, Arthur C. "Presidents, Experts, and Asteroids". Science, 5 czerwca, 1998. Reprinted as "Science and Society" w: Greetings, Carbon-Based Bipeds! Collected Essays, 1934-1998. St. Martin's Press, 1999: 526.
11. Jak sugeruje David Forrest w swoim artykule "Regulating Nanotechnology Development", dostępnym na stronie www.foresight.org/NanoRev/Forrest1989.html, "Gdybyśmy zastosowali ścisłą odpowiedzialność jako alternatywę dla regulacji, żaden programista nie byłby w stanie internalizować kosztów ryzyka (zniszczenie biosfery), więc teoretycznie nigdy nie należałoby podejmować działań związanych z rozwojem nanotechnologii". W analizie Forresta jedynym elementem chroniącym ludzkość są rządowe regulacje, co nie jest komfortową sytuacją.
12. Meselson, Matthew. "The Problem of Biological Weapons". Presentation to the 1,818th Stated Meeting of the American Academy of Arts and Sciences, 13 stycznia 1999 (minerva.amacad.org/archive/bulletin4.htm).
13. Doty, Paul. "The Forgotten Menace: Nuclear Weapons Stockpiles Still Represent the Biggest Threat to Civilization". Nature, 402, 9 grudnia 1999: 583.
14. Zobacz także: Hans Bethe 1997, list do Prezydenta Clintona, na stronie www.fas.org/bethecr.htm.
15. Hamilton, Edith. The Greek Way. W.W. Norton & Co., 1942: 35.
Wstęp: wprowadzenie do bezpieczeństwa i ochrony sztucznej inteligencjiRoman V. Yampolskiy
Około 10 000 naukowców[1] na całym świecie pracuje nad różnymi aspektami tworzenia inteligentnych maszyn, a głównym ich celem jest uczynienie tych maszyn możliwie najzdolniejszymi. Dzięki niesamowitemu postępowi w dziedzinie sztucznej inteligencji, jaki został dokonany w ciągu ostatniej dekady, ważniejsze niż kiedykolwiek jest upewnienie się, że opracowywana technologia ma korzystny wpływ na ludzkość. Pojawienie się robotycznych doradców finansowych, samokierujących się samochodów oraz osobistych, cyfrowych asystentów związane jest z wieloma nierozwiązanymi problemami. Doświadczono już krachu na rynku spowodowanego przez inteligentne oprogramowanie do handlu[2], wypadków spowodowanych przez samokierujące się samochody[3] oraz kłopotliwych sytuacji, kiedy to chatboty[4] zmieniły się w rasistów i zaangażowały się w mowę nienawiści. Przewiduje się, że zarówno częstotliwość, jak i powaga takich zdarzeń będą stale rosły wraz ze zwiększaniem zdolności sztucznej inteligencji. Niepowodzenia dzisiejszej wąskozakresowej sztucznej inteligencji są tylko ostrzeżeniem. W momencie, gdy zostanie opracowana ogólna sztuczna inteligencja OSI, która będzie zdolna do działania w wielu dziedzinach, zranione uczucia będą najmniejszym z problemów.
W niedawnej publikacji została zaproponowana taksonomia ścieżek prowadzących do powstania niebezpiecznej sztucznej inteligencji [1], która została motywowana następująco: "w celu właściwego radzenia sobie z potencjalnie niebezpiecznym sztucznie inteligentnym systemem ważne jest zrozumienie, w jaki sposób system doszedł do takiego stanu. W kulturze popularnej (filmy/książki science fiction) sztuczna inteligencja i roboty stały się świadome i w rezultacie zbuntowane przeciwko ludzkości zdecydowały się ją zniszczyć. Pomimo że jest to jeden z możliwych scenariuszy, jest to najmniej prawdopodobna droga do pojawienia się niebezpiecznej sztucznej inteligencji". Zasugerowano, że znacznie bardziej prawdopodobne powody obejmują celowe działania nie do końca etycznych ludzi ("działanie celowe"), skutki uboczne słabego projektowania ("błędy inżynieryjne") i wreszcie różne przypadki związane z wpływem otoczenia na system ("środowisko"). Ponieważ w przypadku celowo projektowanej niebezpiecznej sztucznej inteligencji prawdopodobne jest zaistnienie wszystkich innych rodzajów problemów bezpieczeństwa, najniebezpieczniejszym typem sztucznej inteligencji oraz najbardziej wymagającym rodzajem sztucznej inteligencji, przed którą ludzkość musiałaby się bronić, byłaby sztuczna inteligencja celowo skonstruowana jako zła.
W kolejnym artykule [2] zbadano, w jaki sposób można zbudować złośliwą sztuczną inteligencję i dlaczego ważne jest badanie i rozumienie złośliwego inteligentnego oprogramowania. Naukowiec pracujący nad złośliwą sztuczną inteligencją jest jak lekarz badający, w jaki sposób przenoszone są różne choroby, jak powstają nowe choroby i jak wpływają one na organizm pacjenta. Oczywiście celem nie jest szerzenie chorób, ale nauczenie się, jak z nimi walczyć. Autorzy wywnioskowali, że badania cyberbezpieczeństwa obejmują publikowanie artykułów na temat złośliwych exploitów, a także publikowanie informacji na temat projektowania narzędzi do ochrony cyberinfrastruktury. Ta wymiana informacji między hakerami a ekspertami ds. bezpieczeństwa prowadzi do dobrze wyważonego cyberekosystemu. W dziedzinie inżynierii bezpieczeństwa sztucznej inteligencji opublikowano setki artykułów [3] na temat różnych propozycji mających na celu stworzenie bezpiecznej maszyny, nie opublikowano jednak nic na temat projektowania wrogich maszyn. Dostępność takich informacji byłaby bardzo cenna szczególnie dla informatyków, matematyków i innych, którzy są zainteresowani tworzeniem bezpiecznej sztucznej inteligencji i którzy próbują uniknąć spontanicznego pojawienia się lub celowego stworzenia niebezpiecznej sztucznej inteligencji, co może mieć negatywny wpływ na działalność człowieka, a w najgorszym przypadku spowodować całkowite wyginięcie gatunku ludzkiego. W artykule zasugerowano, że jeśli mechanizm bezpieczeństwa sztucznej inteligencji nie został zaprojektowany w celu przeciwdziałania atakom złych ludzi, nie można go uznać za funkcjonalny mechanizm bezpieczeństwa!
NIEPOWODZENIA SI
Ci, którzy nie mogą uczyć się na historii, skazani są na jej powtórzenie. Niestety opublikowano bardzo niewiele artykułów na temat dysfunkcji i błędów popełnianych przy projektowaniu inteligentnych systemów [4]. Znaczenie uczenia się od "Co poszło nie tak i dlaczego" zostało docenione przez społeczność zajmującą się sztuczną inteligencją [5, 6]. Takie badania dotyczą tego, jak, dlaczego i kiedy zdarzają się awarie [5, 6] oraz jak ulepszyć przyszłe systemy sztucznej inteligencji, opierając się na takich informacjach [7, 8].
Podpisy były fałszowane, zamki otwierane, uciekano z superstrzeżonych więzień, mordowano strzeżonych przywódców, okradano skarbce bankowe, omijano prawo, popełniano oszustwa przeciwko procesowi głosowania, przekupywano policjantów, szantażowano sędziów, uwierzytelniano fałszerstwa, fałszowano pieniądze, łamano hasła, przenikano do sieci, hakowano komputery, fałszowano systemy biometryczne, klonowano karty kredytowe, wydawano podwójnie kryptowaluty, porywano samoloty, łamano CAPTCHA, łamano protokoły kryptograficzne, a nawet z tragicznymi konsekwencjami pomijano akademicką wzajemną ocenę. Tysiącletnia historia ludzkości zawiera miliony przykładów prób opracowania rozwiązań technologicznych i logistycznych w celu zwiększenia bezpieczeństwa i ochrony, jednak nie istnieje ani jeden przykład, który ostatecznie nie zawiódł.
Wypadki, w tym śmiertelne, spowodowane przez oprogramowanie lub roboty przemysłowe, które można prześledzić aż od początków takich technologii[5], nie były jednak konsekwencją inteligencji zawartej w takich systemach. Przeciwnie awarie sztucznej inteligencji są bezpośrednio związane z błędami wynikającymi z inteligencji, jaką takie systemy mają się cechować. Można takie błędy ogólnie zaklasyfikować do błędów podczas fazy uczenia się i błędów podczas fazy działania. System może nie nauczyć się tego, czego chcą jego ludzcy projektanci, a zamiast tego nauczyć się innej, skorelowanej funkcjonalności. Często cytowanym przykładem jest komputerowy system wizyjny, który miał klasyfikować zdjęcia czołgów, ale zamiast tego nauczył się odróżniać tło takich obrazów [9]. Inne przykłady[6] obejmują problemy spowodowane przez źle zaprojektowane funkcje użyteczności odnoszące się tylko częściowo do pożądanych funkcjonalności agentów, takie jak jazda na rowerze w kółko wokół celu [10], wstrzymywanie gry, aby uniknąć przegranej [11] lub wielokrotne dotykanie piłki nożnej, aby uzyskać punkty za jej posiadanie [12]. Działający system może być podatny na wiele czynników [1, 13, 14], które doprowadzą do awarii sztucznej inteligencji.
Istnieje wiele doniesień medialnych na temat awarii sztucznej inteligencji, ale po bliższym zbadaniu większość z tych przykładów można przypisać innym przyczynom, takim jak błędy w kodzie lub błędy w projekcie. Na poniższej liście przedstawiono wybrane niepowodzenia celowej inteligencji. Ponadto poniższe przykłady obejmują tylko pierwsze wystąpienie określonej awarii, jednak te same problemy były często obserwowane ponownie w późniejszych latach. Wreszcie, lista nie obejmuje awarii sztucznej inteligencji wynikających z hakowania lub innych celowych przyczyn. Mimo to oś czasu awarii sztucznej inteligencji ma tendencję wykładniczą, jednocześnie domyślnie wskazując wydarzenia historyczne, takie jak "AI Winter":
1958 Oprogramowanie doradcze wydedukowało niespójne zdania przy użyciu programowania logicznego [15].
1959 Sztuczna inteligencja zaprojektowana jako ogólne narzędzie do rozwiązywania problemów nie rozwiązała rzeczywistych problemów.[7]
1977 Oprogramowanie o ograniczonym rozsądku, przeznaczone do pisania opowieści produkowało "złe" historie [16].
1982 Oprogramowanie zaprojektowane do dokonywania odkryć zamiast tego odkryło, jak oszukiwać.[8]
1983 System wczesnego ostrzegania przed atakiem jądrowym fałszywie stwierdził, że ma miejsce atak.[9]
1984 Program National Resident Match był tendencyjny przy umieszczaniu małżeństw [17].
1988 Oprogramowanie rekrutacyjne dyskryminowało kobiety i mniejszości [18].
1994 Agenci nauczyli się "chodzić" szybko, stając się wyższymi i przewracając się [19].
2005 Osobisty asystent oparty na sztucznej inteligencji przełożył termin spotkania 50 razy, za każdym razem o 5 minut [20].
2006 System wykrywania zagrożeń wewnętrznych sklasyfikował normalne działania jako wartości odstające [21].
2006 Oprogramowanie do doradztwa inwestycyjnego traciło pieniądze w prawdziwym obrocie [22].
2007 Wyszukiwarka Google zwróciła niepowiązane wyniki dla niektórych słów kluczowych.[10]
2010 Złożone oprogramowanie, oparte na sztucznej inteligencji, do handlu akcjami spowodowało błyskawiczną awarię o wartości biliona dolarów.[11]
2011 E-asystent, do którego zwrócono się "zadzwoń do mnie po karetkę" (ang. "call me an ambulance"), zaczął nazywać użytkownika Karetką.[12]
2013 Sieci neuronowe rozpoznające obiekty widziały obiekty fantomowe, w szczególności obrazy szumowe [23].
2013 Oprogramowanie Google zaangażowało się w dyskryminację ze względu na nazwę w dostarczaniu reklam online [24].
2014 Autouzupełnianie w wyszukiwarkach wywołało duże skojarzenia na temat grup użytkowników [25].
2014 Inteligentny alarm pożarowy nie uruchomił alarmu podczas pożaru.[13]
2015 Automatyczny generator odpowiedzi e-mail utworzył nieodpowiednie odpowiedzi.[14]
2015 Robot do chwytania części samochodowych złapał i zabił człowieka.[15]
2015 Oprogramowanie do znakowania obrazów sklasyfikowało czarnoskórych jako goryle.[16]
2015 Ekspert medyczny oparty na sztucznej inteligencji sklasyfikował pacjentów chorych na astmę jako pacjentów mniejszego ryzyka [26].
2015 Oprogramowanie do filtrowania treści dla dorosłych nie usunęło nieodpowiednich treści.[17]
2015 Echo Amazona odpowiedziało na polecenia pochodzące z telewizora.[18]
2016 Wyszukiwanie nazw Linkedin sugerowało imiona męskie zamiast żeńskich.[19]
2016 SI zaprojektowana w celu przewidywania recydywy zadziałała rasistowsko.[20]
2016 Agent SI wykorzystał sygnał nagrody, aby wygrać bez ukończenia gry.[21]
2016 System sprawdzania zdjęć paszportowych oznaczył azjatyckiego użytkownika jako mającego zamknięte oczy.[22]
2016 NPC w grze zaprojektowali nieautoryzowaną superbroń.[23]
2016 Sztuczna inteligencja oceniała konkurs piękności i ciemnoskórych zawodników oceniła niżej.[24]
2016 Inteligentna umowa pozwoliła na usunięcie środków finansowych z DAO.[25]
2016 Robot patrolowy zderzył się z dzieckiem.[26]
2016 Podczas mistrzostw świata w Go sztuczna inteligencja przegrała grę.[27]
2016 Samokierujący się samochód spowodował śmiertelny wypadek.[28]
2016 Sztuczna inteligencja zaprojektowana do rozmowy z użytkownikami na Twitterze stała się słownie obelżywa.[29]
2016 Wyszukiwarka grafiki Google zwróciła rasistowskie wyniki.[30]
2016 Sztuczny kandydat nie zdał egzaminu wstępnego na uniwersytet.[31]
2016 Przewidujący system policyjny nieproporcjonalnie ukierunkował się na dzielnice mniejszości.[32]
2016 Klasyfikator tematów tekstu nie nauczył się odpowiednich funkcji do przypisania tematu [27].
2017 Sztuczna inteligencja odpowiedzialna za tworzenie inspirujących cytatów nie zainspirowała się takimi stwierdzeniem jak "Keep Panicking".[33]
2017 Alexa odtworzyła treści dla dorosłych zamiast piosenki dla dzieci.[34]
2017 Sztuczna inteligencja do projektowania obudowy telefonu komórkowego wykorzystała nieodpowiednie obrazy.[35]
2017 Oprogramowanie do rozpoznawania wzorców nie rozpoznało niektórych typów danych wejściowych.[36]
2017 System odzyskiwania długów przeliczył się z należnymi kwotami.[37]
2017 Chatbot w języku rosyjskim podzielił się poglądami prostalinowskimi, proznęcającymi się i samobójczymi.[38]
2017 Tłumacz oparty na sztucznej inteligencji nauczył się stereotypów kariery dla konkretnych płci [28].
2017 Sztuczna inteligencja do upiększania twarzy sprawiła, że czarnoskórzy wyglądali na białych.[39]
2017 Analizator nastrojów Google stał się homofobiczny i antysemicki.[40]
2017 Program do rozpoznawania ryb nauczył się rozpoznawać zamiast tego identyfikatory łodzi.[41]
2017 Oprogramowanie do fakturowania wysłało rachunek za energię elektryczną za 284 miliardy dolarów.[42]
2017 Alexa włączyła głośną muzykę w nocy, nie otrzymując monitu.[43]
2017 Sztuczna inteligencja przeznaczona do pisania kolęd wyprodukowała bezsensowne bzdury.[44]
2017 System rozpoznawania twarzy Apple'a nie rozróżniał azjatyckich użytkowników.[45]
2017 Oprogramowanie do tłumaczeń na Facebooku zmieniło Yampolskiy na Polański, patrz rysunek I.1.
2018 Asystent Google stworzył dziwnie scalone zdjęcie.[46]
2018 Robot-asystent sklepu nie był pomocny, odpowiadając "ser jest w lodówkach".[47]
Rysunek I.1. Podczas tłumaczenia z języka polskiego na angielski oprogramowanie Facebooka zmieniło Roman V. "Yampolskiy" na Roman "Polański" ze względu na statystycznie wyższą częstotliwość tego drugiego nazwiska w przykładowych tekstach
Blokowanie ważnych wiadomości e-mail przez filtry antyspamowe, podawanie błędnych wskazówek przez GPS, psucie znaczenia wyrażeń przez tłumaczenie maszynowe, zastępowanie wybranych słów niewłaściwymi przez autokorektę, nieprawidłowe rozpoznawanie ludzi przez systemy biometryczne, oprogramowanie niepotrafiące uchwycić tego, co zostało powiedziane. Ogólnie trudno jest znaleźć przykłady sztucznej inteligencji, która nie zawodzi. W zależności od tego, co uważamy za przykłady problemów z inteligentnym oprogramowaniem, lista przykładów może zostać powiększona prawie bez końca. W najbardziej ekstremalnej interpretacji każde oprogramowanie zawierające instrukcję "jeżeli" może być uważane za formę zawężonej sztucznej inteligencji (ZSI), a wszystkie jego błędy są zatem przykładami nieprawidłowego funkcjonowania SI.[48]
Analizując listę dysfunkcji wąskiej sztucznej inteligencji, od momentu powstania dyscypliny do współczesnych systemów, można dojść do prostego uogólnienia: sztuczna inteligencja zaprojektowana do X ostatecznie nie wykona X. Chociaż może się to wydawać trywialne, jest to potężne narzędzie do generalizowania, które można wykorzystać do przewidywania przyszłych dysfunkcji ZSI. Na przykład, patrząc na najnowocześniejszą i przyszłą sztuczną inteligencję, można stwierdzić, że:
- Oprogramowanie do generowania dowcipów czasami nie sprawi, że będą zabawne.
- Roboty seksualne mogą nie osiągnąć orgazmu ani nie zatrzymać się we właściwym czasie.
- Oprogramowanie do wykrywania sarkazmu może pomylić sarkastyczne i szczere stwierdzenia.
- Oprogramowanie do opisu wideo może źle zrozumieć fabułę filmu.
- Świat wirtualny generowany przez oprogramowanie może nie być atrakcyjny.
- Robot lekarz może błędnie zdiagnozować niektórych pacjentów w sposób, jakiego nie zrobiłby prawdziwy lekarz.
- Oprogramowanie do przesiewania pracowników może być systematycznie stronnicze, a tym samym może zatrudniać pracowników o niskiej wydajności.
- Robot do eksploracji Marsa źle oceni otoczenie i wpadnie do krateru.
- I tak dalej.
Inne przykłady możliwych wypadków z sztuczną inteligencją lub superinteligencją:
- Robot gosposia może ugotować rodzinne zwierzątko na obiad.[49]
- Robot matematyk może przekształcić całą materię w elementy obliczeniowe w celu rozwiązania problemów.[50]
- Sztuczna inteligencja przeprowadzająca symulacje ludzkości może stworzyć świadome, cierpiące istoty [29].
- Sztuczna inteligencja produkująca spinacze może nie zatrzymać się i przekształcić wszechświat w surowce [30].
- Robot naukowiec może przeprowadzić eksperymenty o znaczącym, negatywnym wpływie na biosferę [31].
- Projektowanie leków oparte na sztucznej inteligencji może opracować truciznę działającą z opóźnieniem, aby zabić wszystkich i pokonać raka.[51]
- Przyszła superinteligencja może zoptymalizować całą świadomość.[52]
- Sztuczna inteligencja może zabić ludzkość i przekształcić wszechświat w materiały do lepszego pisania.[53]
- Sztuczna inteligencja zaprojektowana w celu maksymalizacji ludzkiego szczęścia może wypełnić wszechświat kafelkami z małymi uśmiechniętymi twarzami [32].
- Sztuczna inteligencja poinstruowana w celu maksymalizacji przyjemności może skierować ludzkość na kroplówkę z dopaminy [33].
- Superinteligencja może przerobić ludzkie mózgi tak, aby zwiększyć ich postrzeganą satysfakcję [32].
Denning i Denning dokonali podobnych ekstrapolacji błędów w humorystycznym artykule na temat "sztucznej głupoty" [34]: "Wkrótce zautomatyzowana DEA zaczęła zamykać firmy farmaceutyczne, twierdząc, że handlują narkotykami. Zautomatyzowany FTC zamknął Hormel Meat Company, mówiąc, że zajmował się spamem. Zautomatyzowane DOJ dostarczyło 500 000 spodni i kurtek Microsoft w prążki, informując, że złożyło pozew ("filing suits"). Zautomatyzowana armia zastąpiła wszystkie swoje wojska jednym robotem, mówiąc, że stała się jednoosobową armią ("Army of One"). Zautomatyzowana marynarka wojenna, w ramach oszczędności kosztów, złożyła największe w historii zamówienie na okręty podwodne z kanapkami Subway. FCC wydało rozkaz, aby cała komunikacja odbywała się bezprzewodowo, co spowodowało, że tysiące robotów instalacyjnych AT&T wyciągało kable ze słupów napowietrznych i podziemnych kanałów. Samoloty zautomatyzowanego TSA zaczęły latać z własnymi materiałami wybuchowymi na pokładzie, powołując się na dane, że prawdopodobieństwo dwóch bomb w samolocie jest wyjątkowo małe".
OSI może być zatem postrzegana jako nadzbiór wszystkich NAI. Z tego powodu charakteryzować ją będzie łączny zbiór możliwych awarii, a także tych bardziej skomplikowanych wynikających z połączenia poszczególnych awarii NAI oraz nowych superawarii. Może to skutkować egzystencjalnym zagrożeniem dla ludzkości lub przynajmniej przejęciem ogólnej sztucznej inteligencji. Innymi słowy, OSI może popełniać błędy wpływające na wszystko. Generalnie przewiduje się, że awarie oraz zaplanowane wrogie incydenty SI zwiększą częstotliwość i dotkliwość proporcjonalnie do jej możliwości.
ZAPOBIEGANIE NIEPOWODZENIOM SI
Niepowodzenia SI mogą mieć wiele przyczyn, przy czym obecnie najczęstsze z nich wskazują na pewien rodzaj błędu algorytmicznego, słabą wydajność lub awarię podstawową. Przyszłe awarie SI mogą być poważniejsze, w tym celowe wynikające z manipulacji lub oszustwa [35], i mogą nawet skutkować śmiercią człowieka, najprawdopodobniej z powodu niewłaściwego zastosowania zmilitaryzowanej SI, broni autonomicznej, robotów zabójców [36]. Na samym końcu skali dotkliwości można umieścić egzystencjalne scenariusze ryzyka skutkujące eksterminacją rodzaju ludzkiego lub scenariusze ryzyka cierpienia [37] wynikającego z torturowania ludzkości na dużą skalę. Oba rodzaje ryzyka wywodzą się od superzdolnych systemów sztucznej inteligencji.
Przeglądając przykłady awarii SI, można zauważyć pewną schematyczność dysfunkcji, które mogą zostać przypisane do następujących przyczyn:
- Pobierane dane, w tym różnice kulturowe.
- Wdrażanie gorzej działającego systemu.
- Niereprezentatywne dane uczące.
- Rozbieżność między danymi uczącymi i testowymi.
- Zgeneralizowane zasady lub stosowanie statystyk populacji do poszczególnych osób.
- Niemożliwość radzenia sobie z szumem lub statystycznymi wartościami odstającymi.
- Brak testowania w rzadkich lub ekstremalnych warunkach.
- Brak realizacji alternatywnej metody rozwiązania może dać takie same wyniki, ale z efektami ubocznymi.
- Pozwalanie użytkownikom kontrolować dane lub proces uczenia się.
- Brak mechanizmu bezpieczeństwa zapobiegającego ingerencji przeciwnika.
- Brak kompetencji kulturowych oraz zdrowego rozsądku.
- Ograniczony dostęp do informacji i czujników.
- Błąd w projekcie i nieodpowiednie testy.
- Ograniczona zdolność do ujednoznacznienia języka.
- Niemożliwość dostosowania się do zmian w otoczeniu.
Ponieważ błąd systematyczny jest najczęstszą bieżącą przyczyną dysfunkcji, pomocne jest analizowanie poszczególnych rodzajów obciążenia algorytmicznego. Friedman i Nissenbaum [17] zaproponowali następujące ramy analizy uprzedzeń w systemach komputerowych. Podzielili przyczyny błędu na trzy kategorie: obciążenie istniejące, techniczne i wyłaniające się.
- Obciążenia istniejące dotyczą tych związanych ze społeczeństwem, instytucjami społecznymi, praktykami i postawami. System po prostu zachowuje istniejący stan na świecie i automatyzuje stosowanie obciążenia takiego, jakie istnieje obecnie.
- Obciążenie techniczne wynika z ograniczeń sprzętowych lub programowych samego systemu.
- Obciążenia wyłaniające się pojawiają się po wdrożeniu systemu i spowodowane są zmieniającymi się standardami społecznymi.
Wiele zaobserwowanych dysfunkcji SI było podobnych do nieszczęśliwych wypadków doświadczanych przez małe dzieci. Jest to szczególnie prawdziwe w przypadku sztucznych sieci neuronowych, które są w czołówce uczenia maszynowego (UM). Można powiedzieć, że dzieci są nieprzeszkolonymi sieciami neuronowymi rozmieszczonymi na prawdziwych danych, a ich obserwowanie może nauczyć wiele o przewidywaniu i zapobieganiu awariom SI. Wiele grup badawczych [31, 38] analizowało typy niepowodzeń w UM, a poniżej zamieszczono streszczenie tych prac odniesione do podobnych sytuacji z dziećmi:
- Negatywne skutki uboczne - dziecko robi bałagan.
- Hakowanie nagród - dziecko znajduje słoik cukierków.
- Skalowalny nadzór - opieka nad dziećmi nie powinna wymagać zespołu 10 osób.
- Bezpieczna eksploracja - bez palców w odpływie.
- Wytrzymałość na zmiany dystrybucyjne - używaj "głosu wewnętrznego" w klasie.
- Indukcyjna identyfikacja niejednoznaczności - czy mrówka jest kotem czy psem?
- Solidna ludzka imitacja - córka goli się jak tata.
- Świadomy nadzór - pozwól mi zobaczyć Twoją pracę domową.
- Uogólnione cele środowiskowe - zignoruj ten miraż.
- Konserwatywne koncepcje - ten pies nie ma ogona.
- Miary wpływu - unikaj uwagi.
- Łagodna optymalizacja - nie bądź perfekcjonistą.
- Unikanie zachęt instrumentalnych - bądź altruistą.
Większość badań przeprowadzanych obecnie w celu zapobiegania takim awariom odbywa się pod nazwą "Bezpieczeństwo SI".
BEZPIECZEŃSTWO SI
W 2010 roku Autor stworzył określenie: "Inżynieria bezpieczeństwa sztucznej inteligencji" oraz jego skrótową nazwę "Bezpieczeństwo SI", aby nadać nazwę nowemu, zalecanemu kierunkowi badań. Swoje pomysły dotyczące bezpieczeństwa SI formalnie przedstawiono na recenzowanej konferencji w 2011 roku [39], a kolejne publikacje na ten temat pojawiły się w 2012 r. [40], 2013 [41, 42], 2014 [43], 2015 [44], 2016 [1,13], 2017 [45] i 2018 [46,47]. Możliwe, że określenie to było już nieformalnie wcześniej używane, ale - o ile wiadomo - po raz pierwszy zostało użyte przez Autora[54] w recenzowanej publikacji, co przyczyniło się do popularności tego określenia. Wcześniej najczęstszymi nazwami w dziedzinie sterowania maszynami były "Etyka maszyny" [48] lub "Przyjazna SI" [49]. Dzisiaj termin "Bezpieczeństwo SI" wydaje się ugruntowany[55] i używany przez większość najlepszych badaczy [38]. Sama dziedzina staje się głównym nurtem, pomimo że na początku była uważana za science fiction lub pseudonaukę.
System prawny stoi za możliwościami technologicznymi, a dziedzina bezpieczeństwa SI jest w powijakach. Problem sterowania inteligentnymi maszynami jest obecnie uznawany[56] za poważny, jednak wielu badaczy wciąż jest sceptycznie nastawionych do samej jego przesłanki. Co gorsza, tylko około 100 osób na całym świecie zajmuje się w pełni pracą nad rozwiązaniem obecnych ograniczeń w rozumieniu i umiejętnościach w tej dziedzinie. Tylko kilkanaście z tych osób[57] ma formalne wykształcenie z zakresu informatyki, cyberbezpieczeństwa, kryptografii, teorii decyzji, uczenia maszynowego, weryfikacji formalnej, kryminalistyki komputerowej, steganografii, etyki, matematyki, bezpieczeństwa sieci, psychologii i innych istotnych dziedzin. Nietrudno dostrzec, że problem stworzenia bezpiecznej i sprawnej maszyny jest znacznie większy niż problem stworzenia tylko sprawnej maszyny. Jednak tylko około 1% badaczy jest obecnie zaangażowanych w ten problem, a ich finansowanie jest na niewystarczającym poziomie. Jako stosunkowo młody i niedofinansowany kierunek badań, bezpieczeństwo SI może czerpać korzyści z przyjmowania metod i pomysłów z bardziej uznanych dziedzin nauki. Podjęto próby wprowadzenia technik, które zostały po raz pierwszy opracowane przez ekspertów ds. cyberbezpieczeństwa w celu zabezpieczenia systemów oprogramowania do tej nowej dziedziny, zabezpieczania inteligentnych maszyn [50-53]. Inne dziedziny, które mogłyby służyć jako źródło ważnych technik, obejmują inżynierię oprogramowania i weryfikację oprogramowania.
Podczas opracowywania oprogramowania iteracyjne testowanie i debugowanie mają fundamentalne znaczenie dla uzyskania niezawodnego i bezpiecznego kodu. Pomimo że zakłada się, że każde skomplikowane oprogramowanie będzie zawierało pewne błędy, liczne zaawansowane techniki dostępne w zestawie narzędzi dla inżynierów oprogramowania umożliwiają wykrycie i naprawienie najpoważniejszych błędów i w efekcie uzyskanie produktu odpowiedniego do zamierzonych celów. O ile z pewnością wiele modularnych technik programowania i testowania stosowanych w branży oprogramowania może być wykorzystywanych podczas opracowywania inteligentnych agentów, o tyle metody testowania kompletnego pakietu oprogramowania prawdopodobnie nie będą mogły być przenoszone w ten sam sposób. Testy alfa i beta, które działają przez wypuszczenie prawie ukończonego oprogramowania dla zaawansowanych użytkowników w celu zgłaszania problemów napotkanych w realistycznych sytuacjach, nie byłyby dobrym pomysłem w dziedzinie testowania i debugowania superinteligentnego oprogramowania. Podobnie samo uruchomienie oprogramowania w celu sprawdzenia jego działania nie jest wykonalnym podejściem w przypadku superinteligentnego agenta.
CYBERBEZPIECZEŃSTWO VS BEZPIECZEŃSTWO SI
Bruce Schneier powiedział: "Jeśli uważasz, że technologia może rozwiązać Twoje problemy z bezpieczeństwem, to nie rozumiesz problemów i nie rozumiesz technologii". Salman Rushdie wypowiedział się bardziej ogólnie: "Nie ma czegoś takiego jak doskonałe bezpieczeństwo, tylko różne poziomy niepewności". Autor niniejszej książki zaproponował określenie Podstawowe Twierdzenie Bezpieczeństwa: każdy system bezpieczeństwa ostatecznie zawiedzie, nie ma czegoś takiego jak w 100% bezpieczny system. Jeśli system bezpieczeństwa nie zawiódł, należy po prostu poczekać dłużej.
W informatyce teoretycznej powszechnym sposobem izolowania istoty trudnego problemu jest metoda redukcji do innego, czasem łatwiejszego do przeanalizowania problemu [54-56]. Jeżeli jest ona możliwa i wydajna obliczeniowo [57], to taka redukcja oznacza, że jeśli lepiej przeanalizowany problem zostanie w jakiś sposób rozwiązany, umożliwi to również skuteczne rozwiązanie problemu, z którym mamy obecnie do czynienia. Problem bezpieczeństwa OSI można sprowadzić do problemu zapewnienia bezpieczeństwa konkretnemu człowiekowi i określić terminem: Problem Bezpiecznego Człowieka (PBC).[58] Formalnie takiej redukcji można dokonać, wykorzystując ograniczony test Turinga w dziedzinie bezpieczeństwa w sposób identyczny z tym, w jaki można ustalić kompletność problemu przez SI [55, 58]. Taki formalizm wykracza poza zakres tego wstępu, dlatego po prostu należy zwrócić uwagę, że w obu przypadkach istnieje agent, o inteligencji przynajmniej na poziomie ludzkim, który może wpływać na swoje otoczenie, a zamierzonym działaniem jest upewnienie się, że jest bezpieczny i kontrolowany. Podczas gdy w praktyce zmiana projektu człowieka za pomocą manipulacji DNA nie jest tak prosta jak zmiana kodu źródłowego SI, teoretycznie jest możliwa.
Zauważono, że ludzie nie są bezpieczni dla siebie i innych. Pomimo tysiącleci prób wychowania bezpiecznych ludzi przez kulturę, edukację, prawa, etykę, karę, nagrodę, religię, związki, rodzinę, przysięgi, miłość, a nawet eugenikę, sukces nie jest nawet w zasięgu ręki. Ludzie zabijają i popełniają samobójstwa, kłamią i zdradzają, kradną i oszukują, zwykle proporcjonalnie do tego, na ile mogą uniknąć kary. Prawdziwie potężni dyktatorzy zniewalają, popełnią ludobójstwa, łamią prawo i naruszają prawa człowieka. Mówi się, że nie można znaleźć człowieka bez grzechu. Najlepsze, na co możemy liczyć, to ograniczyć takie niebezpieczne tendencje do poziomów, które nasze społeczeństwo może przetrwać. Nawet wykorzystując zaawansowaną inżynierią genetyczną [59], jedyne, co można osiągnąć, to dodatkowe zmniejszenie tego, jak niebezpieczni są ludzie. Tak długo, jak pozwolimy osobie na dokonywanie wyborów, wykorzystując wolną wolę, może ona zostać przekupiona, będzie oszukiwać, będzie priorytetowo traktować swoje interesy ponad te, którym polecono jej służyć, tak więc pozostanie ona zasadniczo niebezpieczna. Pomimo że ludzie są trywialnymi przykładami rozwiązania problemu uczenia się wartości (PUW) [60-62], ludzie są bezpieczni, co stawia pod znakiem zapytania obecną nadzieję, że rozwiązanie PUW doprowadzi do bezpiecznej sztucznej inteligencji. Jest to istotne. Cytując Bruce'a Schneiera: "Tylko amatorzy atakują maszyny, profesjonaliści są ukierunkowani na ludzi". W związku z tym badania nad bezpieczeństwem SI należy postrzegać jako, przynajmniej częściowo, dziedzinę kontradyktoryjnie podobną do kryptografii lub bezpieczeństwa.[59]
Jeśli system cyberbezpieczeństwa ulegnie awarii, szkoda jest nieprzyjemna, ale w większości przypadków możliwa do zaakceptowania: ktoś straci pieniądze lub ktoś straci prywatność. W przypadku wąskiej sztucznej inteligencji awarie bezpieczeństwa mają ten sam poziom ważności co w przypadku ogólnego bezpieczeństwa cybernetycznego, aczkolwiek w przypadku OSI jest to zasadniczo inna sytuacja. Pojedyncza awaria systemu nadinteligentnego może spowodować pojawienie się ryzyka egzystencjalnego. Jeśli mechanizm bezpieczeństwa OSI zawiedzie, wszyscy mogą stracić wszystko, a całe życie biologiczne we wszechświecie może zostać zniszczone. Dzięki systemom cyberbezpieczeństwa można otrzymać kolejną szansę, tak aby zrobić to dobrze lub przynajmniej lepiej. Dzięki systemowi bezpieczeństwa OSI istnieje tylko jedna szansa na odniesienie sukcesu, tak więc uczenie się na błędach nie może być brane pod uwagę. Co gorsza, typowy system bezpieczeństwa prawdopodobnie zawiedzie do pewnego stopnia, np. być może tylko niewielka ilość danych zostanie naruszona. W przypadku systemu bezpieczeństwa OSI niepowodzenie lub sukces jest opcją binarną: albo istnieje bezpieczna i kontrolowana superinteligencja, albo nie. Celem cyberbezpieczeństwa jest zmniejszenie liczby udanych ataków na system, natomiast celem bezpieczeństwa SI jest dopilnowanie, aby żaden z ataków nie ominął skutecznie mechanizmu bezpieczeństwa. Z tego powodu możliwość oddzielenia projektów ZSI od projektów potencjalnie OSI jest otwartym problemem o fundamentalnym znaczeniu w dziedzinie bezpieczeństwa SI.
Problemów jest wiele. Nie mamy możliwości monitorowania, wizualizacji ani analizy wydajności superinteligentnych agentów. Mówiąc prościej, nie wiadomo nawet, czego się można spodziewać po uruchomieniu takiego oprogramowania. Czy natychmiastowe zmiany w środowisku powinny być od razu widoczne? Czy nic nie powinno być widoczne? Po jakim czasie coś powinno zostać wykryte? Czy będzie to zbyt szybkie wykrycie, czy też zbyt wolne, aby zdać sobie sprawę, że coś się dzieje? Czy oddziaływanie będzie widoczne lokalnie, czy wpłynie na odległe części świata? Jak wykonuje się standardowe testy? Na jakich zestawach danych? Co stanowi "Edge Case" dla ogólnej inteligencji? Pytań jest wiele, ale odpowiedzi na nie obecnie nie istnieją. Dodatkowe komplikacje wynikają z interakcji między inteligentnym oprogramowaniem a mechanizmami bezpieczeństwa zaprojektowanymi w celu zapewnienia bezpieczeństwa SI. Wszystkie obecnie opracowywane mechanizmy bezpieczeństwa SI muszą zostać też w jakiś sposób przetestowane. W przypadku gdy sztuczna inteligencja jest na poziomie człowieka, niektóre testy można przeprowadzić z ludzkim agentem odgrywającym rolę sztucznego agenta. Na poziomach przekraczających możliwości ludzkie wydaje się, że przy dzisiejszej technologii nie da się przeprowadzić testów kontradyktoryjnych. Co ważniejsze, możliwy byłby tylko jeden test.
WNIOSKI
Historia robotyki i sztucznej inteligencji pod pewnymi względami to także historia prób kontrolowania takich technologii przez ludzkość. Od Golema w Pradze do wojskowych nowoczesnych robotów trwa debata na temat tego, jaki stopień niezależności powinny mieć takie podmioty i jak upewnić się, że nie zwrócą się przeciwko ich wynalazcom. Liczne ostatnie postępy we wszystkich aspektach badań, rozwoju i wdrażania inteligentnych systemów są dobrze nagłośniane, aczkolwiek kwestie bezpieczeństwa i ochrony związane z SI są rzadko podejmowane. Książka ta, jako pierwsza wieloautorska praca na ten temat, ma na celu złagodzenie tego fundamentalnego problemu, który może zostanie dzięki temu postrzegany jako wspólna reakcja ludzkości na problem takiej kontroli. Książka składa się z rozdziałów autorstwa wiodących badaczy zajmujących się bezpieczeństwem SI, dotyczących różnych aspektów problemu kontroli SI oraz związanych z rozwojem bezpiecznej sztucznej inteligencji.
Część I tej książki, "Obawy luminarzy", składa się z 11 uprzednio opublikowanych przełomowych artykułów, przedstawiających różne części dziedziny dotyczącej problemu kontroli SI i zawierających wkład wiodących uczonych z różnych dziedzin: filozofów, naukowców, pisarzy i ludzi biznesu. Publikacje zostały przedstawione w porządku chronologicznym oryginalnej publikacji. Część II "Odpowiedzi naukowców" składa się z 17 rozdziałów, w kolejności alfabetycznej według nazwiska pierwszego autora, proponowanych teoretycznych i praktycznych rozwiązań problemów poruszonych w części I. Dodatkowo część ta zawiera także wprowadzenie do dodatkowych wątpliwości autorstwa wiodących badaczy bezpieczeństwa SI. Rozdziały różnią się długością i treścią techniczną, od luźnych rozważań po wysoce sformalizowane algorytmiczne podejścia do konkretnych problemów. Wszystkie rozdziały są samodzielne i można je czytać w dowolnej kolejności lub pomijać bez utraty zrozumienia. Książka ta nie jest bez wątpienia ostatnim słowem na ten temat, ale raczej jednym z pierwszych kroków we właściwym kierunku.
LITERATURA
1. R. V. Yampolskiy, "Taxonomy of Pathways to Dangerous Artificial Intelligence," in Workshops at the Thirtieth AAAI Conference on Artificial Intelligence, 2016.
2. F. Pistono and R. V. Yampolskiy, "Unethical Research: How to Create a Malevolent Artificial Intelligence," presented at the 25th International Joint Conference on Artificial Intelligence (IJCAI-16) Ethics for Artificial Intelligence Workshop (AI-Ethics-2016), New York, NY, July 9, 2016.
3. K. Sotala and R. V. Yampolskiy, "Responses to catastrophic AGI risk: Asurvey," Physica Scripta, vol. 90, 2015.
4. N. Rychtyckyj and A. Turski, "Reasons for Success (and Failure) in the Development and Deployment of AI Systems," in AAAI 2008 Workshop on What Went Wrong and Why, 2008.
5. D. Shapiro and M. H. Goker, "Advancing AI research and applications by learning from what went wrong and why," AI Magazine, vol. 29, pp. 9-10, 2008.
6. A. Abecker, R. Alami, C. Baral, T. Bickmore, E. Durfee, T. Fong et al., "AAAI 2006 spring symposium reports," AI Magazine, vol. 27, p. 107, 2006.
7. C. Marling and D. Chelberg, "RoboCup for the Mechanically, Athletically and Culturally Challenged," in What Went Wrong and Why: Lessons from AI Research and Applications: Papers from the 2008 AAAI Workshop. Menlo Park, California: AAAI Press, 2008.
8. S. Shalev-Shwartz, O. Shamir, and S. Shammah, "Failures of Gradient-Based Deep Learning," in International Conference on Machine Learning, 2017, pp. 3067-3075.
9. E. Yudkowsky, "Artificial intelligence as a positive and negative factor in global risk," Global Catastrophic Risks, vol. 1, p. 303, 2008.
10. J. Randl?v and P. Alstr?m, "Learning to Drive a Bicycle Using Reinforcement Learning and Shaping," in ICML, 1998, pp. 463-471.
11. T. Murphy VII, "The First Level of Super Mario Bros. is Easy with Lexicographic Orderings and Time Travel," in The Association for Computational Heresy (SIGBOVIK) 2013, 2013.
12. A. Y. Ng, D. Harada, and S. Russell, "Policy Invariance under Reward Transformations: Theory and Application to Reward Shaping," in ICML, 1999, pp. 278-287.
13. F. Pistono and R. V. Yampolskiy, "Unethical Research: How to Create a Malevolent Artificial Intelligence," arXiv preprint arXiv:1605.02817, 2016.
14. P. Scharre, "Autonomous Weapons and Operational Risk," presented at the Center for a New American Society, Washington DC, 2016.
15. C. Hewitt, "Development of Logic Programming: What went wrong, what was done about it, and what it might mean for the future," in What Went Wrong and Why: Lessons from AI Research and Applications: Papers from the 2008 AAAI Workshop. Menlo Park, California: AAAI Press, 2008.
16. J. R. Meehan, "TALE-SPIN, An Interactive Program that Writes Stories," in IJCAI, 1977, pp. 91-98.
17. B. Friedman and H. Nissenbaum, "Bias in computer systems," ACM Transactions on Information Systems (TOIS), vol. 14, pp. 330-347, 1996.
18. S. Lowry and G. Macpherson, "A blot on the profession," British Medical Journal (Clinical Research Ed.), vol. 296, p. 657, 1988.
19. K. Sims, "Evolving Virtual Creatures," in Proceedings of the 21st Annual Conference on Computer Graphics and Interactive Techniques, 1994, pp. 15-22.
20. M. Tambe, "Electric elves: What went wrong and why," AI Magazine, vol. 29, p. 23, 2008.
21. A. Liu, C. E. Martin, T. Hetherington, and S. Matzner, "AI Lessons Learned from Experiments in Insider Threat Detection," in AAAI Spring Symposium: What Went Wrong and Why: Lessons from AI Research and Applications, 2006, pp. 49-55.
22. J. Gunderson and L. Gunderson, "And Then the Phone Rang," in AAAI Spring Symposium: What Went Wrong and Why: Lessons from AI Research and Applications, 2006, pp. 13-18.
23. C. Szegedy, W. Zaremba, I. Sutskever, J. Bruna, D. Erhan, I. Goodfellow et al., "Intriguing properties of neural networks," arXiv preprint arXiv:1312.6199, 2013.
24. L. Sweeney, "Discrimination in online ad delivery," Queue, vol. 11, p. 10, 2013.
25. N. Diakopoulos, "Algorithmic defamation: The case of the shameless autocomplete," Tow Center for Digital Journalism, 2014.
26. R. Caruana, Y. Lou, J. Gehrke, P. Koch, M. Sturm, and N. Elhadad, "Intelligible Models for Healthcare: Predicting Pneumonia Risk and Hospital 30-day Readmission," in Proceedings of the 21th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, 2015, pp. 1721-1730.
27. M. T. Ribeiro, S. Singh, and C. Guestrin, "Why Should I Trust You?: Explaining the Predictions of Any Classifier," in Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, 2016, pp. 1135-1144.
28. A. Caliskan, J. J. Bryson, and A. Narayanan, "Semantics derived automatically from language corpora contain human-like biases," Science, vol. 356, pp. 183-186, 2017.
29. S. Armstrong, A. Sandberg, and N. Bostrom, "Thinking inside the box: Controlling and using an oracle ai," Minds and Machines, vol. 22, pp. 299-324, 2012.
30. N. Bostrom, "Ethical issues in advanced artificial intelligence," Science Fiction and Philosophy: From Time Travel to Superintelligence, pp. 277-284, 2003.
31. J. Taylor, E. Yudkowsky, P. LaVictoire, and A. Critch, "Alignment for advanced machine learning systems," Machine Intelligence Research Institute, 2016.
32. E. Yudkowsky, "Complex value systems in friendly AI," Artificial General Intelligence, pp. 388-393, 2011.
33. G. Marcus, "Moral machines," The New Yorker, vol. 24, 2012.
34. D. E. Denning and P. J. Denning, "Artificial stupidity," Association for Computing Machinery. Communications of the ACM, vol. 47, no. 5, p. 112, 2004.
35. M. Chessen, "The MADCOM Future," Atlantic Council, Available at: http://www.atlanticcouncil.org/publications/reports/the-madcom-future, 2017.
36. A. Krishnan, Killer Robots: Legality and Ethicality of Autonomous Weapons. Ashgate Publishing, Ltd., 2009.
37. L. Gloor, "Suffering-focused AI safety: Why "fail-safe" measures might be our top intervention," Technical Report FRI-16-1. Foundational Research Institute. https://foundationalresearch.org/wp-content/uploads/2016/08/Suffering-focused-AI-safety.pdf 2016.
38. D. Amodei, C. Olah, J. Steinhardt, P. Christiano, J. Schulman, and D. Mané, "Concrete problems in AI safety," arXiv preprint arXiv:1606.06565, 2016.
39. R. V. Yampolskiy, "Artificial Intelligence Safety Engineering: Why Machine Ethics is a Wrong Approach," presented at the Philosophy and Theory of Artificial Intelligence (PT-AI2011), Thessaloniki, Greece, October 3-4, 2011.
40. R. V. Yampolskiy and J. Fox, "Safety engineering for artificial general intelligence," Topoi. Special Issue on Machine Ethics & the Ethics of Building Intelligent Machines, 2012.
41. L. Muehlhauser and R. Yampolskiy, "Roman Yampolskiy on AI Safety Engineering," presented at the Machine Intelligence Research Institute, July 15, 2013, Available at: http://intelligence.org/2013/07/15/roman-interview/.
42. R. V. Yampolskiy, "Artificial intelligence safety engineering: Why machine ethics is a wrong approach," in Philosophy and Theory of Artificial Intelligence, Springer Berlin Heidelberg, 2013, pp. 389-396.
43. A. M. Majot and R. V. Yampolskiy, "AI Safety Engineering through Introduction of Self-Reference into Felicific Calculus via Artificial Pain and Pleasure," in IEEE International Symposium on Ethics in Science, Technology and Engineering,Chicago, IL, May 23-24, 2014, pp. 1-6.
44. R. V. Yampolskiy, "Artificial Superintelligence: a Futuristic Approach," Chapman and Hall/CRC, 2015.
45. R. V. Yampolskiy, "What are the ultimate limits to computational techniques: verifier theory and unverifiability," Physica Scripta, vol. 92, p. 093001, 2017.
46. A. Ramamoorthy and R. Yampolskiy, "Beyond mad?: The race for artificial general intelligence," ITU Journal: ICT Discoveries, 2017.
47. M. Brundage, S. Avin, J. Clark, H. Toner, P. Eckersley, B. Garfinkel et al., "The Malicious Use of Artificial Intelligence: Forecasting, Prevention, and Mitigation," arXiv preprint arXiv:1802.07228, 2018.
48. J. H. Moor, "The nature, importance, and difficulty of machine ethics," IEEE Intelligent Systems, vol. 21, pp. 18-21, 2006.
49. E. Yudkowsky, "Creating friendly AI 1.0: The analysis and design of benevolent goal architectures," in Singularity Institute for Artificial Intelligence, San Francisco, CA, June, vol. 15, 2001.
50. R. Yampolskiy, "Leakproofing the singularity artificial intelligence confinement problem," Journal of Consciousness Studies, vol. 19, pp. 1-2, 2012.
51. J. Babcock, J. Kramar, and R. Yampolskiy, "The AGI Containment Problem," arXiv preprint arXiv:1604.00545, 2016.
52. J. Babcock, J. Kramar, and R. Yampolskiy, "The AGI Containment Problem," in The Ninth Conference on Artificial General Intelligence (AGI2015), 2016.
53. S. Armstrong and R. V. Yampolskiy, "Security Solutions for Intelligent and Complex Systems," in Security Solutions for Hyperconnectivity and the Internet of Things, IGI Global, 2016, pp. 37-88.
54. R. M. Karp, "Reducibility Among Combinatorial Problems," in Complexity of Computer Computations, R. E. Miller and J. W. Thatcher, Eds., New York: Plenum, 1972, pp. 85-103.
55. R. Yampolskiy, "Turing Test as a Defining Feature of AI-Completeness," in Artificial Intelligence, Evolutionary Computing and Metaheuristics. vol. 427, X.-S. Yang, Ed., Berlin Heidelberg: Springer, 2013, pp. 3-17.
56. R. V. Yampolskiy, "AI-Complete, AI-Hard, or AI-Easy-Classification of Problems in AI," in The 23rd Midwest Artificial Intelligence and Cognitive Science Conference, Cincinnati, OH, USA, 2012.
57. R. V. Yampolskiy, "Efficiency theory: Aunifying theory for information, computation and intelligence," Journal of Discrete Mathematical Sciences & Cryptography, vol. 16(45), pp. 259-277, 2013.
58. R. V. Yampolskiy, "AI-Complete CAPTCHAs as zero knowledge proofs of access to an artificially intelligent system," ISRN Artificial Intelligence, vol. 271878, 2011.
59. R. V. Yampolskiy, "On the Origin of Samples: Attribution of Output to a Particular Algorithm," arXiv preprint arXiv:1608.06172, 2016.
60. K. Sotala, "Defining Human Values for Value Learners," in 2nd International Workshop on AI, Ethics and Society, AAAI-2016, 2016.
61. D. Dewey, "Learning what to value," Artificial General Intelligence, pp. 309-314, 2011.
62. N. Soares and B. Fallenstein, "Aligning superintelligence with human interests: A technical research agenda," Machine Intelligence Research Institute (MIRI) Technical Report, vol. 8, 2014.
