فیلم بیشتر »»
کد خبر ۱۰۱۸۷۲۸
تاریخ انتشار: ۰۶:۰۰ - ۱۴-۰۹-۱۴۰۳
کد ۱۰۱۸۷۲۸
انتشار: ۰۶:۰۰ - ۱۴-۰۹-۱۴۰۳

تصویرسازی هوش مصنوعی از خیابان‌ها با گوش دادن به صدای آنها

تصویرسازی هوش مصنوعی از خیابان‌ها با گوش دادن به صدای آنها
هر خیابانی صدای خاص خود را دارد که اکنون هوش مصنوعی می‌تواند از شنیدن آن برای تولید تصاویر آنها استفاده کند.

در حالی که هم اکنون مدل‌های هوش مصنوعی وجود دارند که جلوه‌های صوتی را برای مطابقت با تصاویر بی‌صدا از خیابان‌ها و مکان‌های دیگر تولید می‌کنند، یک فناوری جدید آزمایشی دقیقاً برعکس عمل می‌کند و تصاویر را با دقت عجیبی از صدای خیابان‌ها تولید می‌کند.

به گزارش ایسنا و به نقل از نیو اطلس، پروفسور یوهائو کانگ و همکارانش از دانشگاه تگزاس در آستین، یک مدل تبدیل صدا به تصویر را بر روی مجموعه داده‌ای از کلیپ‌های صوتی و تصویری ۱۰ ثانیه‌ای آموزش داده‌اند.

این کلیپ‌ها شامل تصاویر ثابت و صدای محیطی بود که از ویدیوهای یوتیوب از خیابان‌های شهری و روستایی در آمریکای شمالی، آسیا و اروپا گرفته شده بود.

این سیستم با استفاده از الگوریتم‌های یادگیری عمیق، نه تنها یاد گرفت که کدام صداها با کدام موارد درون تصاویر مطابقت دارند، بلکه همچنین تشخیص داد که کیفیت صدا با کدام محیط بصری مطابقت دارد.

هنگامی که آموزش این سیستم کامل شد، هوش مصنوعی وظیفه تولید تصاویر را بر اساس صدای محیطی ضبط شده از ۱۰۰ کلیپ دیگر که از خیابان‌ها ضبط شده بود، بر عهده گرفت و برای هر ویدیو یک تصویر تولید کرد.

متعاقباً گروهی از داوران انسانی هر یک از آن تصاویر را در کنار دو تصویر تولید شده از خیابان‌های دیگر مشاهده کردند، در حالی که به صدای ویدیویی که تصویر بر اساس آن ساخته شده بود، گوش می‌دادند. وقتی از آنها خواسته شد که تشخیص دهند کدام یک از این سه تصویر با موسیقی متن مطابقت دارد و آنها به طور متوسط ​​با ۸۰ درصد دقت تواستند تشخیص دهند.

علاوه بر این، هنگامی که تصاویر تولید شده توسط رایانه تجزیه و تحلیل شد، تصاویر تولید شده از آسمان، فضای سبز و ساختمان‌ها به شدت با تصاویر واقعی موجود در ویدئوهای اصلی مرتبط بود.

در واقع در بسیاری از موارد، تصاویر تولید شده، شرایط نوری ویدئوهای منبع، مانند آسمان آفتابی، ابری یا شبانه را نیز منعکس می‌کردند. این ممکن است با عواملی مانند کاهش صدای ترافیک در شب یا صدای حشرات شبانه امکان‌پذیر شده باشد.

اگرچه این فناوری می‌تواند کاربردهایی مانند دریافت یک ایده تقریبی از محل ضبط صدا در پزشکی قانونی داشته باشد، اما هدف این مطالعه بیشتر بررسی این است که چگونه صدا به حس مکان ما کمک می‌کند.

دانشمندان این مطالعه می‌گویند: نتایج می‌تواند دانش ما را در مورد تأثیر ادراکات دیداری و شنیداری بر سلامت روان انسان افزایش دهد و همچنین ممکن است شیوه‌های طراحی شهری را بهینه کند و کیفیت کلی زندگی در جوامع را بهبود بخشد.

این مطالعه در مجله Nature منتشر شده است.

ارسال به دوستان
11 آجیل و دانه پرمنیزیم که باید بشناسید آیفون ایر روشن نمی‌شود؟ راه‌حل مشکل صفحه سیاه بعد از خالی شدن باتری راز ۵۲۰۰ حفره عجیب روی کوه های پرو؛ نشانه‌ای از یک اقتصاد باستانی ۷ ماده مغذی مهم که با افزایش سن باید بیشتر به آن‌ها توجه کنید زیر سنگ قبرها چه خبر است؟ 5 میلیون زنبور پنهان در دل خاک اس ام اس ولادت امام رضا (ع)؛ مجموعه‌ای از متن‌های زیبا برای تبریک طرز تهیه دمنوش برگ توت سفید در خانه + بهترین زمان مصرف و نکات مهم آموزش کنجکاوی: راهی ساده برای کاهش اضطراب اجتماعی داستان جالب تولد پلاک خودرو در آمریکا عکس‌هایی که زندگی «اسکیموها» را در 120 سال قبل نشان می‌دهند جین‌ را مدام نشویید! راهکارهای جایگزین تمیزی لباس‌های جین مهم‌ترین تصمیم زندگی؛ انتخابی که بارها تکرار می‌شود مردی که از سر بی حوصلگی جنگل را به آتش کشید! اولین گیاه روی زمین چه بود و چگونه سیاره ما را متحول کرد؟ مردی در کره جنوبی ممکن است به خاطر انتشار عکس گرگ ساخته شده با هوش مصنوعی به زندان برود