Apa Itu Google LaMDA & Mengapa Seseorang Percaya Itu Berjiwa?

Apa Itu Google LaMDA & Mengapa Seseorang Percaya Itu Berjiwa?

LaMDA telah menjadi berita setelah seorang insinyur Google mengklaim itu hidup karena jawabannya diduga mengisyaratkan bahwa ia mengerti apa itu.

Insinyur itu juga menyarankan agar LaMDA mengomunikasikan bahwa ia memiliki ketakutan, seperti halnya manusia.

Apa itu LaMDA, dan mengapa beberapa orang mendapat kesan bahwa itu dapat mencapai kesadaran?

Model Bahasa

LaMDA adalah model bahasa. Dalam pemrosesan bahasa alami, model bahasa menganalisis penggunaan bahasa.

Pada dasarnya, ini adalah fungsi matematika (atau alat statistik) yang menggambarkan kemungkinan hasil yang terkait dengan memprediksi kata-kata berikutnya dalam urutan.

Itu juga dapat memprediksi kemunculan kata berikutnya, dan bahkan urutan paragraf berikutnya.

GPT-3 OpenAI generator bahasa adalah contoh model bahasa.

Dengan GPT-3, Anda dapat memasukkan topik dan instruksi untuk menulis dengan gaya penulis tertentu, dan itu akan menghasilkan cerita pendek atau esai, misalnya.

LaMDA berbeda dari model bahasa lain karena dilatih pada dialog, bukan teks.

Karena GPT-3 difokuskan untuk menghasilkan teks bahasa, LaMDA difokuskan untuk menghasilkan dialog.

Mengapa Ini Masalah Besar?

Apa yang membuat LaMDA menjadi terobosan penting adalah ia dapat menghasilkan percakapan dengan cara yang bebas sehingga parameter respons berbasis tugas tidak dibatasi.

Model bahasa percakapan harus memahami hal-hal seperti niat pengguna Multimodal, pembelajaran penguatan, dan rekomendasi sehingga percakapan dapat beralih di antara topik yang tidak terkait.

Dibangun Pada Teknologi Transformer

Mirip dengan model bahasa lainnya (seperti MUM dan GPT-3), LaMDA dibangun di atas Jaringan saraf transformator arsitektur untuk pemahaman bahasa.

Google menulis tentang Transformer:

“Arsitektur itu menghasilkan model yang dapat dilatih untuk membaca banyak kata (misalnya kalimat atau paragraf), memperhatikan bagaimana kata-kata itu berhubungan satu sama lain dan kemudian memprediksi kata-kata apa yang menurutnya akan muncul selanjutnya.”

Mengapa LaMDA Tampaknya Memahami Percakapan

BERT adalah model yang dilatih untuk memahami apa arti frasa yang tidak jelas.

LaMDA adalah model yang dilatih untuk memahami konteks dialog.

Kualitas pemahaman konteks ini memungkinkan LaMDA untuk mengikuti alur percakapan dan memberikan perasaan bahwa ia mendengarkan dan merespons dengan tepat apa yang dikatakan.

Ini dilatih untuk memahami apakah respons masuk akal untuk konteksnya, atau jika responsnya spesifik untuk konteks itu.

Google menjelaskannya seperti ini:

“…tidak seperti kebanyakan model bahasa lainnya, LaMDA dilatih tentang dialog. Selama pelatihannya, ia menangkap beberapa nuansa yang membedakan percakapan terbuka dari bentuk bahasa lain. Salah satu nuansa itu adalah kepekaan. Pada dasarnya: Apakah respons terhadap konteks percakapan yang diberikan masuk akal?

Respons yang memuaskan juga cenderung spesifik, dengan menghubungkan secara jelas dengan konteks percakapan.”

LaMDA Berdasarkan Algoritma

Google menerbitkan pengumuman LaMDA pada Mei 2021.

Makalah penelitian resmi diterbitkan kemudian, pada Februari 2022 (LaMDA: Model Bahasa untuk Aplikasi Dialog PDF).

Makalah penelitian mendokumentasikan bagaimana LaMDA dilatih untuk belajar bagaimana menghasilkan dialog menggunakan tiga metrik:

  • Kualitas
  • Keamanan
  • membumi

Kualitas

Metrik Kualitas itu sendiri diperoleh dengan tiga metrik:

  1. kepekaan
  2. Kekhususan
  3. Ketertarikan

Makalah penelitian menyatakan:

“Kami mengumpulkan data beranotasi yang menggambarkan betapa masuk akal, spesifik, dan menarik respons untuk konteks multiturn. Kami kemudian menggunakan anotasi ini untuk menyempurnakan diskriminator untuk memeringkat ulang tanggapan kandidat.”

Keamanan

Peneliti Google menggunakan pekerja kerumunan dari berbagai latar belakang untuk membantu memberi label tanggapan ketika mereka tidak aman.

Data berlabel itu digunakan untuk melatih LaMDA:

“Kami kemudian menggunakan label ini untuk menyempurnakan diskriminator guna mendeteksi dan menghapus respons yang tidak aman.”

membumi

Groundedness adalah proses pelatihan untuk mengajarkan LaMDA untuk meneliti validitas faktual, yang berarti bahwa jawaban dapat diverifikasi melalui “sumber yang diketahui”.

Itu penting karena, menurut makalah penelitian, model bahasa saraf menghasilkan pernyataan yang tampak benar, tetapi sebenarnya salah dan kurang dukungan dari fakta dari sumber informasi yang diketahui.

Pekerja kerumunan manusia menggunakan alat seperti mesin pencari (sistem pencarian informasi) untuk memeriksa fakta jawaban sehingga AI juga dapat belajar melakukannya.

Para peneliti menulis:

“Kami menemukan bahwa menambah keluaran model dengan kemampuan untuk menggunakan alat eksternal, seperti sistem temu kembali informasi, adalah pendekatan yang menjanjikan untuk mencapai tujuan ini.

Oleh karena itu, kami mengumpulkan data dari pengaturan di mana crowdworkers dapat menggunakan alat eksternal untuk meneliti klaim faktual, dan melatih model untuk meniru perilaku mereka.”

LaMDA Dilatih Menggunakan Contoh dan Penilai Manusia

Bagian 3 dari makalah penelitian menjelaskan bagaimana LaMDA dilatih menggunakan seperangkat dokumen, dialog, dan ucapan yang berjumlah miliaran, terdiri dari 1,56 triliun kata.

Bagian 4.2 mendokumentasikan bagaimana manusia menilai tanggapan oleh LaMDA. Peringkat tersebut merupakan umpan balik yang mengajarkan LaMDA kapan berjalan dengan baik dan kapan tidak.

Penilai manusia menggunakan sistem pencarian informasi (mesin pencari) untuk memverifikasi jawaban, memberi peringkat sebagai bermanfaat, benar, dan faktual.

Pelatihan LaMDA Menggunakan Mesin Pencari

Bagian 6.2 menjelaskan bagaimana LaMDA menerima pertanyaan dan kemudian menghasilkan jawaban. Setelah respons dihasilkan, ia kemudian melakukan kueri penelusuran untuk memverifikasi keakuratan dan merevisi jawaban jika salah.

Makalah penelitian yang disebutkan di atas menggambarkan proses menerima pertanyaan, menghasilkan draf tanggapan, meneliti tanggapan, dan kemudian memperbaruinya dengan fakta yang benar:

  1. “USER: Apa pendapatmu tentang patung Rosalie Gascoigne?
  2. LAMDA-BASE: Mereka hebat, dan saya suka bagaimana pekerjaannya berubah sepanjang hidupnya. Saya suka dia bekerja kemudian lebih dari yang sebelumnya. Pengaruhnya juga sangat menarik – tahukah Anda bahwa dia adalah salah satu seniman yang menginspirasi Miró?”

Masalah dengan jawabannya adalah bahwa itu secara faktual tidak benar. Jadi LaMDA melakukan kueri pencarian dan mengambil fakta dari hasil teratas.

Kemudian merespons dengan respons yang diperbarui secara faktual:

“Oh wow, perjalanan hidupnya sangat menginspirasi. Tahukah Anda bahwa dia adalah seorang praktisi merangkai bunga Jepang sebelum beralih ke seni pahat?”

Perhatikan “Oh wow” sebagian dari jawaban; itu bentuk berbicara belajar bagaimana manusia berbicara.

Sepertinya manusia berbicara, tapi itu hanya meniru pola bicara.

Model Bahasa Meniru Respons Manusia

saya bertanya Jeff Coylesalah satu pendiri PasarMuse dan pakar AI, untuk pendapatnya tentang klaim bahwa LaMDA adalah makhluk hidup.

Jeff membagikan:

“Model bahasa paling canggih akan terus menjadi lebih baik dalam meniru perasaan.

Operator berbakat dapat mendorong teknologi chatbot untuk melakukan percakapan yang memodelkan teks yang dapat dikirim oleh individu yang masih hidup.

Itu menciptakan situasi yang membingungkan di mana sesuatu terasa manusiawi dan modelnya bisa ‘berbohong’ dan mengatakan hal-hal yang meniru perasaan.

Itu bisa berbohong. Dapat dipercaya mengatakan, saya merasa sedih, bahagia. Atau aku merasa sakit.

Tapi itu menyalin, meniru.”

LaMDA dirancang untuk melakukan satu hal: memberikan tanggapan percakapan yang masuk akal dan spesifik untuk konteks dialog. Itu bisa membuatnya tampak hidup, tetapi seperti yang dikatakan Jeff, itu pada dasarnya berbohong.

Jadi, meskipun respons yang diberikan LaMDA terasa seperti percakapan dengan makhluk hidup, LaMDA hanya melakukan apa yang telah dilatih untuk dilakukan: memberikan respons terhadap jawaban yang masuk akal untuk konteks dialog dan sangat spesifik untuk konteks itu.

Bagian 9.6 dari makalah penelitian, “Peniruan dan antropomorfisasi,” secara eksplisit menyatakan bahwa LaMDA meniru manusia.

Tingkat peniruan identitas itu dapat menyebabkan beberapa orang mengantropomorfisasi LaMDA.

Mereka menulis:

“Terakhir, penting untuk diketahui bahwa pembelajaran LaMDA didasarkan pada peniruan kinerja manusia dalam percakapan, mirip dengan banyak sistem dialog lainnya… Sebuah jalan menuju percakapan berkualitas tinggi yang melibatkan sistem buatan yang pada akhirnya mungkin tidak dapat dibedakan dalam beberapa aspek dari percakapan dengan manusia sekarang sangat mungkin.

Manusia dapat berinteraksi dengan sistem tanpa mengetahui bahwa sistem itu buatan, atau mengantropomorfisasi sistem dengan menganggapnya sebagai suatu bentuk kepribadian.”

Pertanyaan Perasaan

Google bertujuan untuk membangun model AI yang dapat memahami teks dan bahasa, mengidentifikasi gambar, dan menghasilkan percakapan, cerita, atau gambar.

Google sedang bekerja menuju model AI ini, yang disebut Pathways AI Architecture, yang dijelaskan dalam “Kata Kunci“:

“Sistem AI saat ini sering dilatih dari awal untuk setiap masalah baru… Alih-alih memperluas model yang ada untuk mempelajari tugas baru, kami melatih setiap model baru dari nol hingga melakukan satu hal dan hanya satu hal…

Hasilnya adalah kami akhirnya mengembangkan ribuan model untuk ribuan tugas individu.

Sebagai gantinya, kami ingin melatih satu model yang tidak hanya dapat menangani banyak tugas terpisah, tetapi juga memanfaatkan dan menggabungkan keterampilan yang ada untuk mempelajari tugas baru lebih cepat dan lebih efektif.

Dengan cara itu apa yang dipelajari model dengan melatih satu tugas – misalnya, mempelajari bagaimana gambar udara dapat memprediksi ketinggian lanskap – dapat membantunya mempelajari tugas lain – katakanlah, memprediksi bagaimana air banjir akan mengalir melalui medan itu.”

Pathways AI bertujuan untuk mempelajari konsep dan tugas yang belum pernah dilatih sebelumnya, seperti halnya manusia, terlepas dari modalitas (penglihatan, audio, teks, dialog, dll.).

Model bahasa, jaringan saraf, dan generator model bahasa biasanya berspesialisasi dalam satu hal, seperti menerjemahkan teks, menghasilkan teks, atau mengidentifikasi apa yang ada dalam gambar.

Sistem seperti BERT dapat mengidentifikasi makna dalam kalimat yang tidak jelas.

Demikian pula, GPT-3 hanya melakukan satu hal, yaitu menghasilkan teks. Dapat membuat cerita dengan gaya Stephen King atau Ernest Hemingway, dan dapat membuat cerita sebagai kombinasi dari kedua gaya pengarang.

Beberapa model dapat melakukan dua hal, seperti memproses teks dan gambar secara bersamaan (LIMoE). Ada juga model multimodal seperti MUM yang dapat memberikan jawaban dari berbagai jenis informasi lintas bahasa.

Tapi tidak satupun dari mereka cukup pada tingkat Pathways.

LaMDA Meniru Dialog Manusia

Insinyur yang mengklaim bahwa LaMDA adalah makhluk hidup memiliki dinyatakan dalam tweet bahwa dia tidak dapat mendukung klaim tersebut, dan bahwa pernyataannya tentang kepribadian dan perasaan didasarkan pada keyakinan agama.

Dengan kata lain: Klaim ini tidak didukung oleh bukti apa pun.

Bukti yang kami miliki dinyatakan dengan jelas dalam makalah penelitian, yang secara eksplisit menyatakan bahwa keterampilan peniruan identitas sangat tinggi sehingga orang dapat mengantropomorfisasikannya.

Para peneliti juga menulis bahwa aktor jahat dapat menggunakan sistem ini untuk menyamar sebagai manusia yang sebenarnya dan menipu seseorang agar berpikir bahwa mereka sedang berbicara dengan individu tertentu.

“…musuh berpotensi mencoba menodai reputasi orang lain, meningkatkan status mereka, atau menabur informasi yang salah dengan menggunakan teknologi ini untuk meniru gaya percakapan individu tertentu.”

Seperti yang dijelaskan oleh makalah penelitian: LaMDA dilatih untuk meniru dialog manusia, dan hanya itu.

Lebih banyak sumber daya:


Gambar oleh Shutterstock/SvetaZi

Share

Leave a Reply

Your email address will not be published.