Alat koreksi warna yang disebut “Seasplat” menunjukkan fitur bawah air dalam warna yang tampak lebih benar untuk hidup.

Lautan dipenuhi dengan kehidupan, namun sebagian besar masih tersembunyi kecuali diamati dari jarak yang sangat dekat. Air bertindak seperti tabir alami, membungkuk dan hamburan cahaya sambil juga meredupkannya saat bergerak melalui media yang padat dan memantulkan partikel tersuspensi yang tak terhitung jumlahnya. Karena itu, secara akurat menangkap warna yang sebenarnya dari benda bawah air sangat sulit tanpa pencitraan close-up.

Peneliti di DENGAN Dan Woods Hole Oceanographic Institution (WHOI) telah menciptakan sistem analisis gambar yang menghilangkan banyak distorsi optik lautan. Alat ini menghasilkan visual adegan bawah laut yang tampak seolah -olah air telah dihilangkan, memulihkan warna alami mereka. Untuk mencapai hal ini, tim menggabungkan alat koreksi warna dengan model komputasi yang mengubah gambar menjadi “dunia” bawah air tiga dimensi yang dapat dieksplorasi secara virtual.

Tim ini menamai alat “Seasplat,” menggambar inspirasi dari fokus bawah airnya dan teknik pemecahan Gaussian 3D (3DG). Metode ini menjahit banyak gambar bersama -sama untuk membentuk representasi 3D lengkap dari suatu adegan, yang kemudian dapat diperiksa secara rinci dari sudut pandang apa pun.

“Dengan Seasplat, ia dapat memodelkan secara eksplisit apa yang dilakukan air, dan sebagai hasilnya, dalam beberapa hal dapat menghilangkan air, dan menghasilkan model 3D yang lebih baik dari adegan bawah air,” kata mahasiswa pascasarjana MIT Daniel Yang.

Para peneliti menerapkan seasplat pada gambar dasar laut yang diambil oleh penyelam dan kendaraan bawah air, di berbagai lokasi, termasuk Kepulauan Virgin AS. Metode ini menghasilkan “dunia” 3D dari gambar yang lebih benar, lebih jelas, dan bervariasi dalam warna, dibandingkan dengan metode sebelumnya.

Terumbu karang dan kesehatan laut

Para peneliti mencatat bahwa Seasplat bisa menjadi alat yang berharga bagi ahli biologi kelautan yang mempelajari kondisi ekosistem laut. Misalnya, ketika robot bawah air mensurvei dan memotret terumbu karang, Seasplat dapat memproses gambar secara real time dan membuat model warna tiga dimensi yang benar. Para ilmuwan kemudian dapat “terbang” melalui lingkungan digital ini dengan kecepatan mereka sendiri, memeriksanya untuk detail seperti tanda -tanda awal pemutihan karang.

“Pemutihan terlihat putih dari dekat, tetapi bisa tampak biru dan kabur dari jauh, dan Anda mungkin tidak dapat mendeteksinya,” kata Yogesh Girdhar, seorang ilmuwan rekan di Whoi. “Pemutihan karang, dan karang yang berbeda jenisbisa lebih mudah dideteksi dengan citra seasplat, untuk mendapatkan warna yang sebenarnya di lautan. ”

Girdhar dan Yang akan menyajikan makalah merinci seasplat di IEEE International Conference tentang Robotika dan Otomasi (ICRA). Rekan penulis studi mereka adalah John Leonard, profesor teknik mesin di MIT.

Optik air

Cahaya berperilaku berbeda dalam air daripada di udara, mengubah penampilan dan kejernihan benda. Selama beberapa tahun terakhir, para ilmuwan telah mencoba merancang metode yang mengoreksi warna untuk memulihkan penampilan asli fitur bawah air. Banyak dari upaya ini yang diadaptasi teknik yang awalnya dikembangkan untuk digunakan di darat, seperti yang digunakan untuk mengembalikan kejelasan dalam kondisi berkabut. Salah satu contoh penting adalah algoritma “Sea-Thru,” yang dapat mereproduksi warna realistis tetapi membutuhkan kekuatan komputasi yang sangat besar, membuatnya tidak praktis untuk menghasilkan model tiga dimensi adegan laut.

Pada saat yang sama, para peneliti telah memajukan teknik percikan 3D Gaussian, yang memungkinkan gambar adegan digabungkan dan diisi untuk membuat rekonstruksi tiga dimensi yang mulus. Model -model ini mendukung “Sintesis Tampilan Novel,” yang memungkinkan pemirsa untuk mengeksplorasi adegan 3D tidak hanya dari titik pandang asli gambar tetapi juga dari sudut atau jarak lain.

Tetapi 3DGS hanya berhasil diterapkan pada lingkungan keluar dari air. Upaya untuk mengadaptasi rekonstruksi 3D dengan citra bawah air telah terhambat, terutama oleh dua efek bawah laut optik: hamburan balik dan pelemahan. Backscatter terjadi ketika cahaya memantulkan partikel-partikel kecil di laut, menciptakan kabut seperti kerudung. Atenuasi adalah fenomena dimana cahaya panjang gelombang tertentu dilemahkan, atau memudar dengan jarak. Di lautan, misalnya, benda merah tampak memudar lebih dari objek biru bila dilihat dari jauh.

Keluar dari air, warna benda tampak kurang lebih sama terlepas dari sudut atau jarak dari mana mereka dilihat. Namun, dalam air, warna dapat dengan cepat berubah dan memudar tergantung pada perspektif seseorang. Ketika metode 3DGS berusaha menjahit gambar di bawah air ke dalam keseluruhan 3D yang kohesif, mereka tidak dapat menyelesaikan objek karena hamburan balik air dan efek atenuasi yang mendistorsi warna objek pada sudut yang berbeda.

“Satu mimpi penglihatan robot bawah air yang kita miliki adalah: bayangkan jika Anda bisa menghilangkan semua air di laut. Apa yang akan Anda lihat?” Kata Leonard.

Dalam karya baru mereka, Yang dan rekan-rekannya mengembangkan algoritma yang mengoreksi warna yang memperhitungkan efek optik hamburan balik dan atenuasi. Algoritma menentukan sejauh mana setiap piksel dalam suatu gambar pasti telah terdistorsi oleh hamburan balik dan efek atenuasi, dan kemudian pada dasarnya menghilangkan efek akuatik tersebut, dan menghitung apa yang harus dilakukan oleh warna piksel yang sebenarnya.

Yang kemudian mengerjakan algoritma yang mengoreksi warna ke dalam model percikan Gaussian 3D untuk membuat seasplat, yang dapat dengan cepat menganalisis gambar bawah air dari sebuah adegan dan menghasilkan versi virtual 3D yang benar dari adegan yang sama yang dapat dieksplorasi secara rinci dari sudut dan jarak apa pun.

Menguji di seluruh lautan

Tim menerapkan Seasplat ke beberapa adegan bawah laut, termasuk gambar yang diambil di Laut Merah, di Karibia di lepas pantai Curaçao, dan Samudra Pasifik, dekat Panama. Gambar-gambar ini, yang diambil tim dari dataset yang sudah ada sebelumnya, mewakili berbagai lokasi laut dan kondisi air. Mereka juga menguji seasplat pada gambar yang diambil oleh robot bawah air yang dikendalikan dari jarak jauh di Kepulauan Virgin AS.

Dari gambar masing-masing adegan laut, Seasplat menghasilkan dunia 3D warna sejati yang dapat dieksplorasi oleh para peneliti, misalnya, memperbesar dan memperkecil adegan dan melihat fitur-fitur tertentu dari berbagai perspektif. Bahkan ketika melihat dari sudut dan jarak yang berbeda, mereka menemukan benda -benda di setiap adegan mempertahankan warna asli mereka, daripada memudar seperti yang mereka lakukan jika dilihat melalui lautan yang sebenarnya.

“Setelah menghasilkan model 3D, seorang ilmuwan dapat ‘berenang’ melalui model seolah-olah mereka sedang menyelam, dan melihat hal-hal dengan detail tinggi, dengan warna asli,” kata Yang.

Untuk saat ini, metode ini membutuhkan sumber daya komputasi yang besar dalam bentuk komputer desktop yang akan terlalu besar untuk dibawa ke atas robot bawah air. Namun, Seasplat dapat bekerja untuk operasi yang tertambat, di mana kendaraan, diikat ke kapal, dapat mengeksplorasi dan mengambil gambar yang dapat dikirim ke komputer kapal.

“Ini adalah pendekatan pertama yang dapat dengan sangat cepat membangun model 3D berkualitas tinggi dengan warna yang akurat, di bawah air, dan itu dapat membuatnya dan membuatnya cepat,” kata Girdhar. “Itu akan membantu mengukur keanekaragaman hayati, dan menilai kesehatan terumbu karang dan komunitas laut lainnya.”

Referensi: “Seasplat: Mewakili adegan bawah laut dengan pemecahan 3D Gaussian dan model pembentukan gambar yang di -ground secara fisik” oleh Daniel Yang, John J. Leonard dan Yogesh Girdhar, 25 September 2024, Arxiv.
Doi: 10.48550/arxiv.2409.17345

Pekerjaan ini didukung, sebagian, oleh Investasi dalam Dana Sains di WHOI, dan oleh Yayasan Sains Nasional AS.

Jangan pernah melewatkan terobosan: Bergabunglah dengan buletin ScitechDaily.