DILEMA THE ROBOT'S

Bekerja keluar bagaimana untuk membangun robot etika adalah salah satu
tantangan paling sulit dalam kecerdasan buatan.

BY BOER DENG

© 2015 Macmillan Publishers Limited. Seluruh hak cipta


saya
Asimov memperkenalkan Tiga Hukum Robot - pengamanan teknik dan built-in prinsip-prinsip
etika bahwa ia akan pergi untuk digunakan dalam puluhan cerita dan novel. Mereka adalah: 1)
Sebuah robot mungkin tidak melukai manusia atau, melalui kelambanan, memungkinkan manusia
untuk datang untuk menyakiti; 2) Robot harus mematuhi perintah yang diberikan oleh manusia,
kecuali perintah tersebut akan bertentangan dengan
n 1942
Hukum
cerita
Pertama;
pendekdan
'Runaround', sains-fiksi penulismasalah
3) Robot harus
melindungi keberadaannya sendiri selama perlindungan tersebut tidak bertentangan dengan
Pertama atau Kedua Hukum. Tahukah, 'Runaround' diatur di tahun 2015. roboticists kehidupan
nyata yang mengutip hukum Asimov banyak hari ini: kreasi mereka menjadi cukup otonom
membutuhkan semacam bimbingan. Pada bulan Mei, sebuah panel berbicara pada mobil
driverless di Brookings Institution, sebuah think tank di Washington DC, berubah menjadi diskusi
tentang bagaimana kendaraan otonom akan berperilaku dalam krisis. Bagaimana jika upaya
kendaraan untuk menyelamatkan penumpang sendiri dengan, katakanlah, membanting rem
mempertaruhkan tumpukan-up dengan kendaraan di belakangnya? Atau bagaimana jika mobil
otonom membanting setir untuk menghindari anak, tetapi mempertaruhkan memukul orang lain di
dekatnya? “Kami melihat lebih banyak dan lebih sistem otonom atau otomatis dalam kehidupan
kita sehari-hari,” kata peserta panel Karl-Josef Kuhn, seorang neer engi- dengan Siemens di
Munich, Jerman. Tapi, ia bertanya, bagaimana peneliti dapat melengkapi robot untuk bereaksi
ketika “membuat keputusan antara dua pilihan yang buruk”? tapi mempertaruhkan memukul orang
lain di dekatnya? “Kami melihat lebih banyak dan lebih sistem otonom atau otomatis dalam
kehidupan kita sehari-hari,” kata peserta panel Karl-Josef Kuhn, seorang neer engi- dengan
Siemens di Munich, Jerman. Tapi, ia bertanya, bagaimana peneliti dapat melengkapi robot untuk
bereaksi ketika “membuat keputusan antara dua pilihan yang buruk”? tapi mempertaruhkan memukul orang lain di dekatnya? “Kami melihat lebih banyak dan lebih sistem otonom atau otomatis dalam kehidupan kita sehari-hari,” ka
Laju pembangunan adalah sedemikian rupa sehingga kesulitan-kesulitan ini akan segera
mempengaruhi robot-perawatan kesehatan, drone militer dan perangkat otonom lainnya mampu
membuat keputusan yang bisa membantu atau merugikan manusia. Para peneliti semakin yakin
bahwa penerimaan masyarakat dari mesin tersebut akan tergantung pada apakah mereka dapat
diprogram untuk bertindak dengan cara yang memaksimalkan keselamatan, cocok dengan
norma-norma sosial dan mendorong kepercayaan. “Kami perlu beberapa kemajuan serius untuk
mencari tahu apa yang relevan untuk kecerdasan buatan untuk alasan cessfully SUC- dalam
situasi etis,” kata Marcello Guarini, seorang filsuf di University of Windsor di Kanada.
Beberapa proyek yang menangani tantangan ini, termasuk inisiatif yang didanai oleh
Kantor AS Naval Research dan dewan rekayasa-dana Inggris pemerin- ment ini. Mereka
harus menjawab pertanyaan-pertanyaan ilmiah yang sulit, seperti apa jenis kecerdasan, dan
berapa banyak, yang dibutuhkan untuk pembuatan keputusan etis, dan bagaimana yang
dapat diterjemahkan ke dalam instruksi untuk mesin. ilmuwan komputer, roboticists, ahli
etika dan sophers philo semua pitching dalam. “Jika kau bertanya padaku lima tahun yang
lalu apakah kita bisa membuat robot kal ethi-, saya akan mengatakan tidak,” kata Alan
Winfield, sebuah roboticist di Laboratorium Bristol Robotics , UK. “Sekarang saya tidak
berpikir itu ide yang gila.”
MESIN BELAJAR
Dalam satu eksperimen sering dikutip, sebuah robot mainan komersial yang disebut Nao
diprogram untuk mengingatkan orang untuk mengambil obat. “Di wajah itu, ini terdengar
sederhana,” kata Susan Leigh Anderson, seorang filsuf di University of Connecticut di Stamford
yang melakukan pekerjaan dengan suaminya, ilmuwan komputer Michael Anderson dari
University of Hartford di Connecticut. “Tetapi bahkan dalam tugas semacam ini terbatas, ada
trivial etika pertanyaan yang terlibat.” Sebagai contoh, bagaimana seharusnya Nao melanjutkan
jika pasien menolak tion medica- nya? Yang memungkinkan dirinya untuk melewatkan dosis bisa
menyebabkan kerusakan. Tapi bersikeras bahwa ia bawa akan menimpa pada otonomi nya.
Untuk mengajarkan Nao untuk menavigasi quandaries tersebut, Anderson memberikannya
contoh kasus di mana bioetika telah diselesaikan konflik yang melibatkan otonomi, bahaya dan
manfaat bagi pasien. Belajar algo- rithms kemudian diurutkan melalui kasus sampai mereka
menemukan pola-pola yang bisa memandu robot dalam situasi baru 1.
Dengan jenis 'pembelajaran mesin', robot dapat
Sepenuhnya diprogram robot Nao mengekstrak ilmu yang bermanfaat bahkan dari input
PETER ADAMS
telah digunakan untuk ambigu (lihat go.nature. Com / 2r7nav). Pendekatan akan,
bereksperimen dengan etika dalam teori, membantu robot untuk mendapatkan yang
mesin. lebih baik di etis
© 2015 Macmillan Publishers Limited. Seluruh hak cipta
FITUR BERITA
pengambilan keputusan karena menemukan situasi yang lebih. Tetapi banyak takut bahwa
keuntungan datang pada harga. Prinsip-prinsip yang muncul tidak ditulis ke dalam kode
komputer, sehingga “Anda tidak memiliki cara untuk mengetahui mengapa program bisa datang
dengan aturan tertentu mengatakan itu sesuatu yang etis 'benar' atau tidak”, kata Jerry Kaplan,
yang mengajar kecerdasan buatan dan etika di Stanford University di California. Bepergian
Isaac ini panggilan untuk taktik yang berbeda, banyak neers engi- mengatakan; kebanyakan
sedang berusaha dengan menciptakan program dengan aturan yang dirumuskan secara
eksplisit, daripada meminta robot untuk menurunkan sendiri. Tahun lalu, Winfield menerbitkan
hasil 2 dari percobaan yang bertanya: apa set sederhana aturan yang akan memungkinkan mesin
untuk menyelamatkan seseorang dalam bahaya jatuh ke dalam lubang? Paling jelas, Winfield
menyadari, robot diperlukan kemampuan untuk merasakan sekitarnya - untuk mengenali posisi
lubang dan orang, serta posisinya sendiri relatif baik. Tetapi robot juga diperlukan aturan yang
memungkinkan untuk mengantisipasi kemungkinan efek tindakan sendiri.
“Kami perlu beberapa kemajuan serius untuk mencari
tahu apa yang relevan untuk kecerdasan buatan untuk
alasan berhasil dalam situasi etis.”
Percobaan Winfield ini digunakan robot hoki-keping berukuran bergerak di permukaan. Dia
ditunjuk beberapa dari mereka 'H-robot' untuk mewakili manusia, dan satu - yang mewakili mesin
etis - 'A-robot', dinamai Asimov. Winfield diprogram A-robot dengan aturan analog dengan hukum
pertama Asimov: jika dirasakan H-robot dalam bahaya jatuh ke dalam lubang, itu harus pindah ke
jalan H-robot untuk menyimpannya. Winfield menempatkan robot melalui puluhan uji berjalan, dan
menemukan bahwa A-robot disimpan dengan sendirinya setiap kali. Tapi kemudian, untuk melihat
apa yang memungkinkan-no-salahnya aturan bisa capai dalam menghadapi dilema moral, ia
mempresentasikan A-robot dengan dua H-robot berkelana ke bahaya secara bersamaan. Sekarang
bagaimana itu akan berperilaku? Hasil penelitian menunjukkan bahwa bahkan robot minimal etika
bisa berguna, mengatakan Winfield: A-robot sering berhasil menyelamatkan satu 'manusia',
biasanya dengan memindahkan pertama yang salah satu yang sedikit lebih dekat untuk itu.
Kadang-kadang, dengan bergerak cepat, bahkan berhasil menyelamatkan keduanya. Tapi
percobaan juga menunjukkan batas-batas minimalis. Dalam hampir setengah dari uji coba, A-robot
masuk ke gentar tak berdaya dan membiarkan binasa baik 'manusia'. Untuk memperbaiki itu akan
memerlukan aturan tambahan tentang bagaimana membuat pilihan seperti. Jika salah satu H-robot
yang dewasa dan lain masih kecil, misalnya, yang harus A-robot menabung dulu? Pada hal-hal
penghakiman seperti ini, bahkan tidak manusia selalu setuju. Dan sering, seperti yang ditunjukkan
Kaplan keluar, “kita tidak tahu bagaimana menyusun apa aturan eksplisit harus, dan mereka tentu
tidak lengkap”. Advokat berpendapat bahwa pendekatan berbasis aturan memiliki satu tue vir-
utama: itu selalu jelas mengapa mesin membuat pilihan bahwa hal itu, karena desainer
menetapkan aturan. Itu merupakan keprihatinan penting bagi militer AS, yang sistem otonom
adalah tujuan strategis. Apakah mesin membantu tentara atau melaksanakan
diskusi-mis-berpotensi mematikan, “hal terakhir yang Anda inginkan adalah untuk mengirim robot
otonom pada misi militer dan memilikinya bekerja apa aturan etika itu harus fol- rendah di
tengah-tengah hal”, kata Ronald Arkin, yang bekerja pada robot etika software di Georgia Institute
of Technology di Atlanta. Jika robot memiliki pilihan tabungan seorang tentara atau pergi setelah
musuh batant com-, itu akan menjadi penting untuk mengetahui terlebih dahulu apa yang akan
dilakukan. Dengan dukungan dari departemen pertahanan AS, Arkin adalah desain- “Hal terakhir
yang Anda inginkan adalah untuk mengirim robot otonom pada misi militer dan memilikinya bekerja
apa aturan etika itu harus fol- rendah di tengah-tengah hal”, kata Ronald Arkin, yang bekerja pada
perangkat lunak etika robot di Georgia Institute of Technology di Atlanta. Jika robot memiliki pilihan
tabungan seorang tentara atau pergi setelah musuh batant com-, itu akan menjadi penting untuk
mengetahui terlebih dahulu apa yang akan dilakukan. Dengan dukungan dari departemen
pertahanan AS, Arkin adalah desain- “Hal terakhir yang Anda inginkan adalah untuk mengirim robot
otonom pada misi militer dan memilikinya bekerja apa aturan etika itu harus fol- rendah di tengah-tengah hal”, kata Ronald Arkin
ing program untuk memastikan bahwa robot militer
NATURE.COM akan beroperasi sesuai dengan hukum tional interna-
Untuk podcast keterlibatan. Satu set algo- rithms disebut gubernur
tentang etika robot, lihat: etis menghitung apakah tindakan seperti menembak
go.nature.com/wvkakj rudal
Juli 2 2 0 1 5 | VOL 5 2 3 | NATURE | 2 5

'Robear' dirancang untuk membantu untuk merawat orang sakit atau lanjut usia.
diperbolehkan, dan memungkinkan untuk melanjutkan hanya jika jawabannya adalah
'ya'. Dalam uji virtual gubernur etis, simulasi kendaraan otonom tak berawak diberi misi
untuk menyerang target musuh - tapi tidak diizinkan untuk melakukannya jika ada
bangunan dengan warga sipil di dekatnya. Mengingat skenario yang bervariasi lokasi
kendaraan relatif terhadap zona serangan dan kompleks sipil seperti rumah sakit dan
bangunan perumahan, algoritma memutuskan kapan akan diperbolehkan untuk
kendaraan otonom untuk mencapai misinya 3.
“Logika adalah bagaimana kita berpikir dan datang
dengan pilihan etis kami.”
Otonom, robot militer menyerang banyak orang sebagai bahaya-ous - dan telah ada
perdebatan tak terhitung tentang apakah mereka harus diizinkan. Tapi Arkin berpendapat
bahwa mesin tersebut bisa lebih baik daripada tentara manusia dalam beberapa situasi,
jika mereka grammed pro tidak pernah melanggar peraturan tempur bahwa manusia
mungkin mencemoohkan. ilmuwan komputer bekerja pada ketat diprogram etik mesin saat
ini kode nikmat yang menggunakan pernyataan logis, seperti 'Jika pernyataan benar,
bergerak maju; jika itu adalah palsu, tidak bergerak.' Logika adalah pilihan ideal untuk
encoding etika mesin, berpendapat Luís Moniz Pereira, seorang ilmuwan komputer di
Nova Laboratorium Ilmu Komputer dan Informatika di Lisbon. “Logika adalah bagaimana
kita berpikir dan datang dengan pilihan etis kami,” katanya. Kerajinan petunjuk mampu
langkah-langkah logis yang masuk ke mak- keputusan etis ing adalah sebuah tantangan.
Sebagai contoh, catatan Pereira, bahasa logis yang digunakan oleh program komputer
mengalami kesulitan datang ke kesimpulan tentang skenario hipotetis, tapi kontra tersebut
penting dalam menyelesaikan dilema etika tertentu.
Salah satunya digambarkan oleh masalah troli, di mana Anda membayangkan lari troli kereta
api adalah tentang membunuh lima ple peo- tidak bersalah yang berada di trek. Anda dapat
menyimpannya hanya jika Anda menarik tuas
2 6 | NATURE | VOL 5 2 3 | Juli 2 2 0 1 5
© 2015 Macmillan Publishers Limited. Seluruh hak cipta
yang mengalihkan kereta ke jalur yang lain, di mana ia akan memukul dan membunuh pengamat
bersalah. Apa yang kamu kerjakan? Di lain set-up, satu-satunya cara untuk menghentikan troli
JIIJI PRESS / AFP / GETTY
adalah untuk mendorong penonton ke atas trek. Orang sering menjawab bahwa itu adalah hak
semua untuk menghentikan troli dengan memukul tuas, tapi viscerally menolak gagasan
mendorong penonton tersebut. Intuisi dasar, dikenal filsuf sebagai doktrin efek ganda, adalah
bahwa bahaya sengaja menimbulkan salah, bahkan jika itu mengarah ke yang baik. Namun,
menimbulkan bahaya mungkin dapat diterima jika tidak disengaja, tetapi hanya konsekuensi dari
berbuat baik - seperti ketika pengamat hanya akan terjadi di atas rel. Ini adalah garis yang sangat
sulit dari analisis untuk gram pro-pengambilan keputusan. Untuk mulai dengan, program ini harus
mampu melihat dua berbeda- ent berjangka: satu di mana troli membunuh lima orang, dan lain di
mana hits satu. Program ini kemudian harus bertanya apakah tindakan yang diperlukan untuk
menyelamatkan lima adalah tidak diperbolehkan karena menyebabkan kerusakan, atau dibolehkan
karena merugikan hanya efek samping menyebabkan baik. Untuk mengetahui, program ini harus
dapat memberitahu apa yang akan terjadi jika memilih untuk tidak mendorong penonton atau tarik
tuas - untuk memperhitungkan kontra. “Ini akan menjadi seolah-olah program terus-menerus
debugging sendiri,” kata Pereira - “menemukan di mana dalam baris kode sesuatu bisa berubah,
dan memprediksi apa hasil dari perubahan akan.” Pereira dan Ari Saptawijaya, seorang ilmuwan
komputer di Universitas Indonesia di Depok, telah menulis sebuah program logika atau dibolehkan
karena merugikan hanya efek samping menyebabkan baik. Untuk mengetahui, program ini harus
dapat memberitahu apa yang akan terjadi jika memilih untuk tidak mendorong penonton atau tarik
tuas - untuk memperhitungkan kontra. “Ini akan menjadi seolah-olah program terus-menerus
debugging sendiri,” kata Pereira - “menemukan di mana dalam baris kode sesuatu bisa berubah,
dan memprediksi apa hasil dari perubahan akan.” Pereira dan Ari Saptawijaya, seorang ilmuwan
komputer di Universitas Indonesia di Depok, telah menulis sebuah program logika atau dibolehkan
karena merugikan hanya efek samping menyebabkan baik. Untuk mengetahui, program ini harus
dapat memberitahu apa yang akan terjadi jika memilih untuk tidak mendorong penonton atau tarik
tuas - untuk memperhitungkan kontra. “Ini akan menjadi seolah-olah program terus-menerus debugging sendiri,” kata
MANUSIA, MORAL, MESIN
Bagaimana robot yang dibangun bisa memiliki konsekuensi besar bagi masa depan robotika
etis, peneliti mengatakan. Michael Fisher, seorang ilmuwan komputer di University of
Liverpool, Inggris, berpikir bahwa sistem yang terikat aturan bisa meyakinkan kepada publik.
“Orang-orang akan takut robot jika mereka tidak yakin apa yang dilakukannya,” katanya.
“Tetapi jika kita dapat menganalisa dan membuktikan alasan untuk tindakan mereka, kita
lebih cenderung untuk mengatasi masalah itu kepercayaan.” Dia bekerja dengan Winfield
dan lain-lain pada sebuah proyek yang didanai pemerintah untuk memverifikasi bahwa
keluar-datang dari program mesin etis selalu dapat diketahui. Sebaliknya, pendekatan
mesin-learning menjanjikan robot yang bisa belajar dari pengalaman, yang akhirnya bisa
membuat mereka lebih fleksibel dan berguna daripada rekan-rekan mereka yang lebih kaku
diprogram. Banyak roboticists mengatakan bahwa cara terbaik ke depan akan menjadi
kombinasi pendekatan. “Ini sedikit seperti psikoterapi,” kata Pereira. “Anda mungkin tidak
hanya menggunakan satu teori.” Tantangan - masih belum terselesaikan - adalah untuk
menggabungkan pendekatan dengan cara yang bisa diterapkan. Masalah ini dapat segera
datang di bidang yang bergerak cepat transportasi otonom. Sudah, mobil driverless Google
zipping di seluruh bagian California (lihat Alam 518, 20-23; 2015). Pada bulan Mei, truk
otonom dari pembuat mobil Jerman Daimler mulai driv- ing diri di gurun Nevada. Insinyur
berpikir keras tentang bagaimana program mobil untuk kedua mematuhi aturan dan
beradaptasi dengan situasi di jalan. “Sampai sekarang kita sudah berusaha untuk
melakukan hal-hal dengan robot bahwa manusia adalah buruk di,” seperti mempertahankan
perhatian pada drive panjang atau menjadi cepat pada rem ketika tak terduga terjadi, kata
Bernhard Weidemann, juru bicara Daimler di Stuttgart. “Ke depan, kita harus mencoba untuk
program hal-hal yang datang lebih alami bagi manusia, tetapi tidak dengan mesin.” ■
Boer Deng adalah magang berita untuk Alam di Washington DC.
1. Anderson, M. & Anderson, SL Majalah AI 28, 15-26 (2007).
2. Winfield, AFT, Blum, C. & Liu, W. di Kemajuan dalam Otonomi Robotika
sistem 85-96 (Springer, 2014).
3. Arkin, RC, Ulam, P. & Duncan, B. Sebuah Gubernur Etis untuk Menghambat Lethal
Aksi dalam Sistem Otonomi Laporan Teknis GIT-GVU-09-02 (2009).
4. Pereira, LM & Saptawijaya, A. di Logika, Argumentasi dan Penalaran ( eds
Urbaniak, R. & Payette, G.) (Springer, dalam pers); tersedia di http: //
go.nature.com/3xlske