جادوی مدل DarkDiff؛ هوش مصنوعی اپل محدودیت‌های عکاسی در شب را می‌ شکند

محققان اپل با ابداع مدل DarkDiff و بازتعریف زنجیره پردازش تصویر، بن‌بست عکاسی در شب را شکستند و راه را برای ثبت جزئیاتی فراتر از توانایی فیزیکی حسگرها هموار کردند.

این فناوری پیشرفته قادر است جزئیاتی را از داده‌های خام حسگر بازیابی کند که در فرایندهای معمول پردازش تصویر به‌طور کامل از دست می‌روند.

شما هم به احتمال زیاد تجربه ثبت عکس در محیط‌های بسیار کم‌نور را داشته‌اید؛ نتیجه معمولاً تصویری است که با نویزهای دیجیتالی و دانه‌دانه شدن پوشانده شده است. این اتفاق زمانی رخ می‌دهد که حسگر تصویر، نور کافی جذب نمی‌کند.

شرکت‌هایی مانند اپل تاکنون برای جبران این نقیصه، از الگوریتم‌هایی استفاده می‌کردند که به دلیل ایجاد جلوه‌های بصری مشابه نقاشی رنگ روغن مورد انتقاد بودند. در این روش‌ها، جزئیات ظریف محو، یا به شکلی غیرطبیعی بازسازی می‌شوند، که به سختی قابل تشخیص هستند.

بر اساس گزارش 9to5mac، محققان اپل و دانشگاه پردو برای حل این مشکل مدلی به نام DarkDiff را در مطالعه‌ای با عنوان “DarkDiff: ارتقای بهبود تصاویر خام در نور کم با بازتعریف مدل‌های انتشار برای ISP دوربین” معرفی کرده‌اند.

به زبان ساده، آنها به جای اعمال هوش مصنوعی در مرحله پس‌پردازش (Post-processing)، مدل Stable Diffusion را برای درک عمیق جزئیات در نواحی تاریک بازطراحی و آن را به صورت مستقیم در واحد پردازش سیگنال تصویر (ISP) ادغام کرده‌اند. این سازوکار با تمرکز بر تحلیل بخش‌های محلی تصویر، ساختار اصلی را حفظ و از بروز «توهمات بصری» جلوگیری می‌کند؛ پدیده‌ای که در آن هوش مصنوعی محتوای تصویر را به کلی تغییر می‌دهد (مانند تصویر زیر که بازسازی سنتی محتوا را دگرگون کرده است).

در این رویکرد، ISP دوربین همچنان وظایف اولیه مانند تنظیم تراز سفیدی و موزاییک‌زدایی را انجام می‌دهد، اما DarkDiff با کار روی تصاویر RGB خطی، عملیات نویزگیری را انجام می‌دهد و به صورت مستقیم تصویر نهایی sRGB را تولید می‌کند.

همچنین DarkDiff از تکنیکی به نام «راهنمایی بدون طبقه‌بندی» (Classifier-free guidance) استفاده می‌کند، که کنترل می‌نماید مدل تا چه حد باید از تصویر ورودی پیروی کند و به چه مقدار از دانش بصری پیش‌فرض خود بهره ببرد. با راهنمایی کمتر، الگوها صاف‌تر می‌شوند و با افزایش آن، بافت‌ها شفاف‌تر و جزئیات ظریف‌تر نمایان می‌گردند (هرچند ریسک ایجاد مصنوعات غیرطبیعی نیز افزایش می‌یابد).

پژوهشگران اپل برای سنجش کارایی مدل DarkDiff، تصاویر ثبت‌شده در تاریکی مطلق را با دوربین‌هایی نظیر Sony A7SII با سایر مدل‌های پیشرو مقایسه کردند. تصاویر آزمایشی در شب با سرعت شاتر بسیار کوتاه ۰.۰۳۳ ثانیه ثبت شدند و نسخه بهبودیافته DarkDiff با عکس‌های مرجعی مقایسه شد که ۳۰۰ برابر زمان نوردهی طولانی‌تر (روی سه‌پایه) داشتند.

برخی از این نتایج نشان‌دهنده برتری مطلق این مدل در بازیابی بافت‌ها و دقت رنگی نسبت به تمامی استانداردهای فعلی است.

محققان خاطرنشان کردند که این پردازش به دلیل نیاز به توان محاسباتی بسیار بالا، فعلاً بسیار کندتر از روش‌های سنتی است و به احتمال زیاد برای اجرا در گوشی‌های هوشمند به پردازش ابری نیاز خواهد داشت تا مانع از تخلیه سریع باتری شود. همچنین محدودیت‌هایی در تشخیص متون غیرانگلیسی در صحنه‌های کم‌نور مشاهده شده است.

اگرچه در این مطالعه اشاره‌ای به زمان دقیق ورود DarkDiff به آیفون نشده است، اما این دستاورد نشان‌دهنده تمرکز مستمر اپل بر عکاسی محاسباتی برای عبور از محدودیت‌های فیزیکی قطعات سخت‌افزاری است؛ حوزه‌ای که اکنون به میدان اصلی رقابت در بازار گوشی‌های هوشمند تبدیل شده است.