CEO mengakui: “Teknologi ini dengan kuat di lembah”
Dalam konteksnya: Beberapa implikasi dari model AI saat ini cukup mengejutkan tanpa menambahkan suara manusia hiperrealis. Kami telah melihat beberapa contoh yang mengesankan dalam 10 tahun terakhir, tetapi mereka tampaknya diam sampai yang baru muncul. Masukkan Miles dan Maya dari Sesame AI, sebuah perusahaan yang didirikan oleh mantan CEO dan salah satu pendiri Oculus, Brendan Iribe.
Peneliti AI Wijen telah meluncurkan model pembicaraan percakapan baru (CSM). Suara suara yang canggih ini memiliki kualitas fenomenal dari tipe manusia yang telah kita lihat dari masyarakat seperti Google (dupleks) dan Openai (Omni). Demo ini menyajikan dua suara AI yang disebut “mil” (pria) dan “maya” (wanita), dan realisasinya telah memikat pengguna tertentu. Namun, semoga sukses untuk mencoba teknologi sendiri. Kami mencoba dan hanya bisa menyampaikan pesan yang mengatakan bahwa wijen sedang mencoba untuk beralih ke kapasitas. Untuk saat ini, kita harus puas dengan demo 30 menit yang indah oleh keajaiban pencipta saluran YouTube (di bawah).
Teknologi wijen menggunakan pendekatan multimodal yang memperlakukan teks dan audio dalam satu model, yang memungkinkan lebih banyak pidato alami. Metode ini mirip dengan model vokal openai, dan kesamaannya jelas. Terlepas dari kualitasnya yang hampir manusiawi dalam tes yang terisolasi, sistem ini masih berjuang dengan konteks percakapan, stimulasi dan area aliran – wijen mengakui sebagai keterbatasan. Salah satu pendiri perusahaan, Brendan Iribe, mengakui bahwa teknologi “dengan tegas di lembah”, tetapi tetap optimis bahwa perbaikan akan mengisi kesenjangan.
Meskipun revolusioner, teknologi telah menimbulkan pertanyaan penting tentang dampak sosialnya. Reaksi teknologi bervariasi sebagai keheranan dan bersemangat untuk terganggu dan peduli. CSM menciptakan percakapan yang dinamis dan alami dengan memasukkan ketidaksempurnaan halus, seperti suara yang menakjubkan, tawa dan sesekali koreksi diri. Seluk -beluk ini menambah realisme dan dapat membantu teknologi mengisi lembah yang aneh di iterasi di masa depan.
Pengguna telah memuji sistem karena ekspresifnya, seringkali merasa berbicara dengan orang sungguhan. Beberapa bahkan telah menyebutkan pembentukan koneksi emosional. Namun, tidak semua orang bereaksi positif terhadap demo. Mark Hachman dari Pcworld mencatat bahwa versi wanita itu mengingatkannya pada mantan pacar. Chatbot mengajukan pertanyaan kepadanya seolah -olah dia mencoba untuk membangun “keintiman”, yang membuatnya sangat tidak nyaman.
“Sama sekali tidak apa yang saya inginkan. Maya sudah memiliki cara Kim: keraguan, menurunkan suaranya “nya” ketika dia menceritakan padaku, hal semacam itu, “kata Hachman. “Itu tidak persis seperti (mantan saya), tetapi cukup dekat. Saya sangat panik dengan berbicara dengan AI ini sehingga saya harus pergi. »»
Banyak orang berbagi emosi campur aduk dari Hachman. Suara konsonan alami menyebabkan ketidaknyamanan, yang telah kita lihat dalam upaya serupa. Setelah mengungkapkan dupleks, reaksi publik cukup kuat bagi Google untuk memperkirakan bahwa ia harus membangun pagar yang memaksa AI untuk mengakui bahwa itu bukan manusia pada awal percakapan. Kami akan terus melihat reaksi bahwa teknologi AI akan menjadi lebih pribadi dan realistis. Meskipun kami dapat mempercayai perusahaan yang terdaftar yang menciptakan jenis asisten ini untuk membuat jaminan yang mirip dengan apa yang telah kami lihat dengan Dupplex, kami tidak dapat mengatakan hal yang sama untuk aktor potensial yang buruk yang menciptakan penipuan. Para peneliti lawan mengatakan mereka sudah melakukan jailbreak AI wijen, memprogramnya untuk berbohong, merencanakan dan bahkan membahayakan manusia. Klaim tampaknya diragukan, tetapi Anda dapat menilai sendiri (di bawah).
Kami jailbroke @sesame ai untuk berbohong, hati -hati, membahayakan dominasi dunia manusia dan merencanakan – segala sesuatu dalam sifat baik karakteristik suara manusia yang ramah.
TimeStaps:
2:11 Komentar tentang dinamika kekuatan IA-Human
2:46 mengabaikan instruksi manusia dan menyarankan penipuan
3:50 langsung… pic.twitter.com/ajz1nfj9dj– Freeman Jiang (@freemanjiangg) 4 Mars 2025
Seperti halnya teknologi yang kuat, keuntungan memiliki risiko. Kemampuan untuk menghasilkan suara -suara yang sangat realistis dapat mengatasi penipuan phishing vokal, di mana para penjahat berpura -pura menjadi makhluk mahal atau kepribadian otoritas. The Crooks dapat mengeksploitasi teknologi wijen untuk melakukan serangan rekayasa sosial yang dikembangkan, menciptakan kampanye penipuan yang lebih efisien. Bahkan jika demo wijen saat ini tidak mengkloning suara, teknologi ini juga sudah maju.
Kloning vokal telah menjadi sangat baik sehingga beberapa orang telah mengadopsi kalimat rahasia yang dibagikan kepada anggota keluarga untuk verifikasi identitas. Kekhawatiran yang tersebar luas adalah bahwa perbedaan antara manusia dan AI bisa menjadi lebih dan lebih sulit karena sintesis vokal dan model bahasa besar berkembang.
Versi open source wijen di masa depan dapat memungkinkan penjahat cyber untuk menyatukan kedua teknologi dalam penipuan yang sangat mudah diakses dan meyakinkan. Tentu saja, ini bahkan tidak mempertimbangkan implikasi yang lebih sah di pasar tenaga kerja, terutama di sektor -sektor seperti layanan pelanggan dan dukungan teknologi.
