تطابق استریو با کمک شبکه عصبی هاپفیلد


تطابق استریو با کمک شبکه عصبی هاپفیلد

استخراج اطلاعات عمق یک مسئله مهم در بینایی ماشین است. همچنین بینایی استریو یک تکنیک جالب برای بازیابی اطلاعات سه بعدی از تصاویر است. در این مقاله تکنیک تطابق استریو مبتنی بر Scanline با استفاده از شبکه عصبی هاپفیلد همگام (SHNN Synchronous Hopfield neural network) ارائه شده است.


با استفاده از اپراتور Sobel نقاط ویژگی استخراج و آستانه توسط کاربر برای جفت کردن تصاویر استریو، انتخاب می شود. سپس مشکل تطابق استریو مبتنی بر Scanline به عنوان بهینه سازی تابع انرژی فرموله شده است، شامل عدم تشابه، تداوم، تضاد و یکتایی خواص نقشه برداری، مینیمایز می شود. در انتها، تطابق های اشتباه به وسلیه اعمال قانون پاکسازی خطای هدف، حذف می شود. روش ارائه شده با استفاده از چندین تصویر آزمایش شده است. نتیایج نشان داد که روش به طور موثر مشکل تطابق استریو را حل کرده است.

اطلاعات عمق توسط بینایی استریو و بر اساس اختلافات بین دو تصویر درک می شود. کلید اطلاعات عمق تعیین میکند کدام نقطه در یک تصویر به کدام نقطه در تصویر دیگر مرتبط است (مشکل تطابق استریو). نقاط مرتبط در تصاویر استریو، نقاط مزدوج نامیده می شود. روش مختلفی برای حل این مشکل ارائه شده است. عموما آن روش ها را می توان در دو دسته اصلی تقسیم بندی کرد: تطابق یابی مبتنی بر ویژگی (FBM) و تطابق سنجی مبتنی بر محل (ABM). برای روش های ABM، هر نقطه از یک تصویر به عنوان مرکز پنجره ای کوچک از پیکسل ها به تصویر مرجع تطابق داده می شوند. برای روش های FBM، ویژگی ها اعم از مرزها، لبه ها، نقاط گوشه، خط ها، منحنی ها و منطقه ها استخراج میشود و سپس برای تطابق انجام می شود. وقتی از نقاط به عنوان تطابق ویژگی استفاده می شود، انتخاب کاندید های تطابق امکان پذیر از ویژگی های زیاد موضوع اول می شود. در حالت کلی در روش FBM یک نقشه کلی مشتق می شود و سپس منطقه ها درونیابی می شود. هاپفیلد و تانک شبکه عصبی هاپفیلد را توسعه دادند، که به طور گسترده برای مشکل تطبیق نقطه وزن دار، تعیین مسیر، تبدیل آنالوگ به دیجیتال و تطبیق الگو استفاده شده است. از این شبکه عصبی نیز برای کاهش تابع انرژی برای تشابه و محدودیت های epipolar استفاده شده است. استفاده دیگر از این شبکه در استراتژی چند مقیاسی در تطابق نقاط استخراج شده برای تشخیص سه بعدی اشیا نیز استفاده شده است.

مشکل تطابق استریو مبتنی بر Scanline

مشکل تطابق استریو مشکلی پیچیده با محاسبات پیچیده است زیرا تعداد زیاد ویژگی های نقشه برداری و ابهامات بین انتخاب و ارتباط بین نقاط ویژگی وجود دارد. برای کاهش پیچیدگی مشکل، نقاط ویژگی انتخاب شده و در طول خط epipolar منطبق می شود. در ادامه دامنه، عدم تطابق، تفاضل، تداوم و خواص منحصر در سیستم تطابق استریو به منظور محدود کردن کاندید های تطابق در یک منطقه ی مشخص، گرفته می شود، و این مشکل را می توان به طور موثر را حل کرد. گرفتن m ویژگی در تصویر چپ و n ویژگی در تصویر راست یک Scanline در شکل زیر نشان داده شده است.

الف) خاصیت دامنه : Vij نشان دهنده ی رابطه بین ویژگی iم در چپ و ویژگی jم در راست است. این شاخص متغیر مقادیر صفر و یک برای یک تطابق فعال میگیرد.

ب) خاصیت عدم تطابق: این خاصیت تفاضل بین تو نقطه ویژگی تطبیق داده شده را نشان می دهد. وقتی دو نقطه ویژگی استخراج شده با هم مزدوج نباشد، تفاضل خواص