دستاورد برتر متوسطه ٢ فرزانگان ٦ (تهران)

در دهمین جشنواره پروژه های دانش آموزی

چکیده:

در جوامع امروزی با توجه به پیشرفت چشمگیر دانش و فناوری و به خصوص در عرصه ی برنامه نویسی و رایانه ای با آگاهی بر مشکلات بسیار ناشنوایان، بر آن شدیم تا با ساخت نرم افزاری به نام " نرم افزار مبدل اشاره" به زبان فارسی، به اشخاصی که از توانایی تکلم بی بهره اند کمکی کنیم هر چند کوچک و ناچیز.

 برای این منظور از زبان سی پلاس پلاس، ویژوال استادیو، و کتابخانه ی اپن سی وی استفاده کردیم و از الگوریتم های مختلف برای تشخیص دست انسان و بعد حرکت آن در تصویر بهره گرفتیم. این نرم افزار این گونه طراحی شده است که حرکات مختلف دست انسان را تشخیص می دهد و با توجه به آموزش هایی که به آن داده شده است می تواند مشخص کند که این حرکت دست مربوط به کدام حرف یا کلمه از زبان اشاره ی فارسی است. به این ترتیب می تواند زبان اشاره را تبدیل به زبان فارسی کند تا افراد جامعه بتوانند به راحتی با یکدیگر ارتباط برقرار کنند، هر چند دچار ناتوانی های جسمانی باشند.

ما این پژوهش را برای سهولت در کار، به مسئله های ساده تر تقسیم کردیم و مواردی را به صورت پیش فرض برای فیلم ورودی در نظر گرفتیم. یعنی پس زمینه را به صورت یک دست، یک رنگ و هم رنگ با آستین شخص در نظر گرفتیم. هم چنین به صورت پیش فرض تنها یک دست در برابر وب کم قرار می گیرد.

 با این پیش فرض ها مشکل حذف پس زمینه و جداسازی اطلاعات اصلی کاهش یافت. در مرحله ی بعد عکس هایی از حرکات مختلف زبان اشاره ( تنها برای حروف و صداها) تهیه کردیم، سپس آن ها را سیاه و سفید نمودیم. . . .
برای استخراج اطلاعات از تصاویر، در گام اول لبه های تصاویر و در گام بعدی شکل کانتور دست را در هر تصویر به دست آوردیم.

مرکز ثقل کانتور دست در هر تصویر، با استفاده از روش میانگین گیری بین همه ی نقاط کانتور حاصل شد. پس از آن نمودار فاصله ی همه ی نقاط کانتور از مرکز ثقل را به دست آوردیم. اما این نمودار را هموار نمودیم. برای پیدا کردن آرایه ی مناسب برای هموارسازی، از روش آزمون و خطا بهره گرفتیم.

برای پیدا کردن آرایه ی مناسب برای هموارسازی، از روش آزمون و خطا بهره گرفتیم. در گام بعدی، نمودار هموار شده را درصد نقطه فشرده کردیم. علت انجام این مرحله، مقایسه پذیر کردن نمودار هموار شده بود.

 بدین ترتیب نمودار نرمال شده را برای هر یک از تصاویری که از زبان اشاره تهیه نموده بودیم، به صورت یک آرایه به دست آوردیم.

برای مشاهده مجموعه فایل ها ضمیمه اینجا کلیک کنید

بخش پژوهش های دانش آموزی تبیان، تنظیم: نیلوفر یاقوتی