ارتقاء وضوح تصویر رنگی از روی رشته ای از تصاویر وضوح پایین
در سالهای اخیر، پیشرفتهای گستردهای در زمینهی سنسورهای تصویر و سیستمهای تصویربرداری دیجیتال صورت گرفتهاست، اما هنوز محدودیتهای تئوری و عملی بر روی وضوح تصاویر گرفته شده با این دوربینها اثر میگذارد. تکنیکهای فراتفکیکپذیری (سوپر رزولوشن) به منظور غلبه بر این محدودیتها در سالهای اخیر گسترش یافتهاند. این تکنیکها با استفاده از یک و یا چند تصویر کم وضوح، تصویری با وضوح بالاتر ایجاد میکنند. کارهای اخیر در زمینهی فراتفکیکپذیری (که اغلب بر روی تصاویر خاکستری متمرکز شدهاست)، به منظور کاهش پیچیدگی محاسباتی و افزایش مقاومت در برابر خطاهای مدلسازی و نویز انجام شدهاست. از سویی دیگر، روشهای موزائیک زدایی متعددی به منظور کاهش مصنوعات رنگی، که در نتیجهی استفاده از دوربینهای تک CCD است، مطرح شدهاست.
در این پایاننامه، با استفاده از روشهای آماری در پردازش سیگنال، چارچوب مقاومی را برای ترکیب تصاویر کم وضوح به منظور ایجاد تصویری با وضوح بالا پیشنهاد میدهیم. در این روش، با استفاده از معیار مقاوم به خطا در تابع هدف و تطبیق فرآیند تخمین برای هر تصویر کم وضوح متناسب با دقت پارامترهای مدل و سطح نویز آن، بازسازی مقاومی را ایجاد نمودهایم. همچنین با تعمیم این روش در حوزهی رنگ، و ادغام فرآیند تفکیکپذیری و دموزانیک تصویر، توانستهایم علاوه بر افزایش وضوح تصاویر رنگی، موزائیک زدایی تصویر را نیز به طور همزمان انجام دهیم. آزمایشهای انجام شده نیز عملکرد خوب الگوریتم پیشنهادی را در مقابل نویز و خطا تصدیق میکند.
واژه‌های کلیدی: فراتفکیک پذیری، ثبت تصاویر، تخمین-M، تنظیم کننده، موزائیک زدایی تصویر، فیلتر رنگی.
| فهرست عناوین | صفحه |
1 فصل اول مقدمه. 1
1.1 فراتفکیکپذیری به عنوان یک مسئله معکوس.... 7
1.2 فصل بندی پایان نامه. 10
2 فصل دوم مرور کارهای گذشته. 13
2.1 مدل سیستم عکسبرداری.. 14
2.2 فراتفکیک پذیری در حوزه فرکانس.... 16
2.3 روشهای حوزه فضایی.. 18
2.3.1 درونیابی- بازسازی: روشهای غیرتکراری.. 19
2.3.2 روش های آماری.. 21
2.3.2.1 حداکثر احتمال.. 23
2.3.2.2 حداکثر احتمال پسین... 25
2.3.2.3 بازنشانی- MAP توام. 27
2.3.3 رویکرد طرحریزی بر روی مجموعههای محدب.. 28
2.3.4 رویکرد ترکیبی ML-POCS. 30
3 فصل سوم ارتقاء وضوح تصاویر خاکستری.. 31
3.1 ترکیب تصاویر کم وضوح مبتنی بر تخمین- M... 32
3.1.1 چارچوب تخمین M... 32
3.1.2 ترکیب تصاویر مبتنی بر تخمین Half-Quadratic. 40
3.1.2.1 محاسبه پارامتر a مطابق با دقت هر فریم.. 42
3.1.3 تنظیم کنندهها 45
3.2 روش پیشنهادی جهت ارتقاء وضوح.. 49
3.3 آزمایشها 50
3.3.1 بررسی روشهای متفاوت بازسازی و تاثیر تنظیم کنندهها 51
3.3.2 ارزیابی عملکرد الگوریتم پیشنهادی در مقابل خطای ثبت... 52
3.3.3 ارزیابی استحکام روش پیشنهادی در مقابل پرتیها 54
3.3.4 پیادهسازی روش پیشنهادی روی تصاویر واقعی.. 55
4 فصل چهارم ارتقاء وضوح تصاویر رنگی.. 65
4.1 مروری بر مسائل فراتفکیکپذیری در تصاویر رنگی و موزائیک زدایی تصویر. 66
4.1.1 فراتفکیک پذیری در تصاویر رنگی.. 66
4.1.2 موزائیک زدایی تصویر. 67
4.1.3 ادغام فراتفکیکپذیری و موزائیک زدایی در یک فرآیند. 73
4.2 مدل ریاضی و حل مسئله. 75
4.2.1 مدل ریاضی سیستم عکسبرداری.. 75
4.3 روش پیشنهادی جهت موزائیک زدایی چند فریمی.. 78
4.3.1 جملهی وفاداری.. 80
4.3.2 جملهی جریمهی روشنایی.. 80
4.3.3 جملهی جریمهی رنگ... 81
4.3.4 جملهی جریمهی وابستگیهای رنگی.. 82
4.4 تابع هزینه کلی.. 83
4.5 آزمایشها 84
4.5.1 بررسی عملکرد الگوریتم پیشنهادی در برابر خطاهای ثبت... 86
4.5.2 بررسی عملکرد الگوریتم پیشنهادی در برابر پرتیها 87
5 فصل پنجم جمعبندی و نتیجهگیری.. 95
5.1 نتیجهگیری.. 96
5.2 پیشنهادهایی برای کارهای آتی.. 97
منابع و مراجع. 101
پیوستها 115
فهرست اشکال
| صفحه |
شکل 1-1 الگوی وضوح USAF 1951، آزمونی کلاسیک، که برای تعیین وضوح سیستم و حسگرهای تصویربرداری استفاده میشود [3]. 3
شکل 1-2 ایده اصلی بازسازی فراتفکیکپذیری از فریمهای کم وضوح. حرکت نسبی فریمهای کم وضوح به اندازه کسری از پیکسل، در بازسازی تصویر وضوح بالا کمک می کند[3]. 5
شکل 1-3 نمایش مثال ساده از مسئله فراتفکیکپذیری مبتنی بر حرکت. (الف)، تصویر وضوح بالا شامل چهار پیکسل. (ب) -(ه)، تصاویر کم وضوح یک پیکسلی که توسط یک دوربین خیالی گرفته شده است. فرض بر این است که، PSF دوربین مشخص و سطح خاکستری تمام پیکسلهای مرزی صفر است، مقادیر پیکسلهای تصویر وضوح بالا میتوانند دقیقاً از تصاویر کم وضوح تخمین زده شوند[11]. 6
شکل 2-1 مدل مشاهده یک سیستم تصویربرداری واقعی متناسب با تصویر وضوح بالا به فریمهای مشاهده کم وضوح با حرکت بین صحنه و دوربین [3]. 15
شکل 2-2 رویکرد درونیابی SR مبتنی بر همترازی تصاویر LR و حذف ماتی تصویر بعنوان فرآیند پس پردازش [3]. 20
شکل 3-1 تاثیر افزایش مقیاس ماتریس روی تصویر 3×3 و ماتریس کاهش مقیاس D روی تصویر متناظر افزایش مقیاس یافته 9×9 (ضریب افزایش وضوح 3 است)[11]. 36
شکل 3-2 (الف) معیار خطاهای Lorentzian، Huber، Leclerc و Tukey’s Biweight در حدآستانه T=50، (ب) توابع نفوذ متناظر 39
شکل3-3 (الف) معیار خطای L1 ،L2 و Half-quadratic، (ب) توابع نفوذ متناظر آنها 41
شکل 3-4 (الف) معیار خطای Half-quadratic به ازای مقادیر مختلف a ، (ب) توابع نفوذ متناظر. 42
شکل 3-5 تصاویر اصلی مربوط به (الف) دیسک، (ب) اعلامیه. 56
شکل 3-6 (الف) تصویر اصلی، (ب) یکی از فریمهای کم وضوح، (ج) درونیابی دوسویه، (د) بازسازی با روش جابجایی و اضافه کردن، (ه) تخمینگر Half-quadratic، (و) روش پیشنهادی.. 57
شکل 3-7 (الف) تصویر اصلی، (ب) یکی از فریمهای کم وضوح، (ج) درونیابی دوسویه، (د) بازسازی با روش جابجایی و اضافه کردن، (ه) تخمینگر Half-quadratic، (و) روش پیشنهادی.. 58
شکل 3-8 نتایج بدست آمده با اعمال روشهای مختلف بازسازی با در نظر گرفتن خطای ثبت در 8 فریم انتهایی. (الف) L2+تیخونوف، (ب) L1+BTV، (ج) Huber+BTV، (د) روش پیشنهادی.. 59
شکل 3-9 (الف) منحنی Ek برای فریمهای کم وضوح که در 8 فریم انتهایی دارای خطای ثبت میباشند، (ب) منحنی ak با استفاده از روش پیشنهادی. 60
شکل 3-10 توابع نفوذ تخمینگر Half-quadratic با در نظر گرفتن مقادیر مختلف ak برای 5 فریم. منحنیهای فیروزهای و بنفش بترتیب متناظر با فریمLR#14 و فریمLR#16 هستندکه درگیر خطای ثبت میباشند. 60
شکل 3-11 منحنی مقادیر PSNR متناظر با روشهای مختلف و سطوح مختلف نویز. (الف) در صورتیکه نیمی از فریمها درگیر نویز باشند، (ب) در صورتیکه تمامی فریمها درگیر نویز باشند. 61
شکل 3-12 نتایج بازسازی تصویر با روشهای مختلف، در صورتیکه تمامی فریمها با نویز 20% آلوده شده باشند. (الف) یکی از فریمهای کم وضوح با نویز 20%، (ب) L2+تیخونوف، (ج)L1+BTV، (د)Huber+BTV، (ه) روش مطرح شده در[80]، (و) روش پیشنهادی 62
شکل 3-13 (الف) یکی از فریمهای کم وضوح، (ب) بازسازی تصویر با روش درونیابی دوسویه، (ج) L2+تیخونوف، (د) L1+BTV ، (ه) Huber+BTV، (و) روش پیشنهادی. 63
شکل 3-14 (الف) یکی از فریمهای کم وضوح ، (ب) بازسازی تصویر با روش درونیابی دوسویه، (ج) L2+تیخونوف، (د) L1+BTV ، (ه) Huber+BTV، (و) روش پیشنهادی. 64
شکل 4-1 (الف) فیلتر رنگی با الگوی بایر در حالت 1-CCD، (ب) آرایه حسگر 3-CCD... 68
شکل 4-2 اصول درونیابی خطی در الگوریتم موزائیک زدایی تک فریمی. (الف) قرمز، (ب) سبز، (ج) آبی.. 69
شکل 4-3 (الف) تصویر با وضوح بالا گرفته شده با دوربین 3-CCD. (ب) تصویر کاهش مقیاس یافته با ضریب 4 . (ج) تصویری که ابتدا توسط فیلتر گوسی مات میشود و سپس با ضریب 4 کاهش مقیاس داده میشود. تصاویر (الف)، (ب) و (ج) با روش [125] موزائیک زدایی شدهاند و نتیجهی آنها به ترتیب در شکلهای (د)، (ه) و(و) نشان داده شده است. 72
شکل 4-4 مثالی از فرآیند جابجایی و اضافه کردن. تصویر رنگی ورودی با ضریب r=2 افزایش مقیاس مییابد، و متناظر با معکوس ماتریس حرکت، جابجا میشود. تصویر جابجا شده با سایر فریمهایی که آپسمپل و جابجا شدهاند، جمع میشود[130]. 74
شکل 4-5 نمودار مستطیلی مدل ریاضی تصویر که در این فصل در نظر گرفته میشود. x تصویر اصلی ، v نویز افزوده و y تصویر کم وضوح فیلتر شده است. عملگرهای F، H، D و A به ترتیب فرآیندهای انحراف، ماتی، کاهش مقیاس و فیلتر رنگی هستند. 76
شکل 4-6 نمایش نمودار مستطیلی رویکرد کلاسیک در بازسازی چندفریمی تصاویر رنگی.. 78
شکل 4-7 نمایش نمودار مستطیلی رویکرد مستقیم در بازسازی چندفریمی تصاویر رنگی.. 79
شکل 4-8 (الف) تصویر اصلی، (ب) یکی از فریمهای کم وضوح فیلتر شده با الگوی بایر. 87
شکل 4-9 (الف) نتیجهی موزائیک زدایی یکی از فریمهای کم وضوح که با روش [123]، (ب) نتیجهی موزائیک زدایی یکی از فریمهای کم وضوح که با روش [125]، (ج) نتیجهی اعمال روش فراتفکیکپذیری خاکستری (معادلهی 3-30) روی فریمهای کم وضوح موزائیک زدایی شده با روش [123]، (د) نتیجهی اعمال روش فراتفکیکپذیری خاکستری (معادلهی 3-30) روی فریمهای کم وضوح موزائیک زدایی شده با روش [125]. 88
شکل 4-10 (الف) تصویر بدست آمده با روش جابجایی و اضافه کردن، (ب) بازسازی تصویر با روش [115]، (ج) تصویر حاصل از پیادهسازی روش پیشنهادی روی دادههای خام در صورتیکه مقدار اولیه با درونیابی دو سویه از اولین فریم کم وضوح موزائیک زدایی شده با روش [125] باشد، (د) تصویر حاصل از پیادهسازی روش پیشنهادی روی دادههای خام در صورتیکه تصویر حاصل از روش جابجایی و اضافه کردن به عنوان مقدار اولیه استفاده شود. 89
شکل 4-11 بزرگ نمایی بخشی از تصویر در لایه روشنایی، (الف) روش [115]، (ب) روش پیشنهادی.. 90
شکل 4-12 رسم مقادیر ak برای هر سه باند رنگی در صورتیکه 5 فریم انتهایی دارای خطای ثبت باشد. 90
شکل 4-13 بازسازی تصویر در صورتیکه در 5 فریم انتهایی خطای ثبت ایجاد شود، (الف) روش [115]، (ب) روش پیشنهای، (ج) بزرگنمایی بخش از تصویر (الف)، (د) بزرگنمایی بخش از تصویر (ب) 91
شکل 4-14 نتایج بازسازی تصویر در صورتیکه نیمی از فریمهای کم وضوح به نویز فلفل و نمک با سطوح متفاوت آلوده باشند، (الف) روش [115] در حضور سطح نویز 5%، (ب) روش پیشنهادی با در حضور سطح نویز 5%، (ج) روش [115] در حضور سطح نویز 10%، (د) روش پیشنهادی در حضور سطح نویز 10%، (ه) روش [115] در حضور سطح نویز 20%، (و) روش پیشنهادی در حضور سطح نویز 20% 93
| فهرست جداول | صفحه |
جدول 3-1 بردارهای حرکت (درشبکه LR) استفاده شده برای ایجاد فریمهای کم وضوح.. 53
جدول 3-2 بردارهای نادرست حرکت (درشبکه LR) که برای شبیهسازی اثر خطای ثبت استفاده میشود. 53