الخلاصة

تقدم هذه الأطروحة نظامًا متقدمًا قائمًا على إنترنت الأشياء مصممًا للتحكم في أجهزة المنزل الذكية، تم تطويره خصيصًا لتلبية احتياجات الأشخاص المصابين بالشلل أو الإعاقة. ويتناول الدور الحاسم لإنترنت الأشياء في تسهيل الحياة المستقلة للأفراد ذوي الإعاقات الجسدية من خلال تمكين تطبيقات المنزل الذكي التي تستجيب لمدخلات المستخدم المختلفة. يتم النظر في نوعين من المستخدمين المشلولين: أولئك الذين لا يستطيعون الكلام، باستخدام حركات الحاجب للتحكم في المنزل الذكي، وأولئك الذين يمكنهم التحدث، باستخدام الأوامر الصوتية المحولة إلى نص للتحكم في الأجهزة أو إرسال الرسائل.

يشتمل النظام على نموذج YOLO، الذي تم تدريبه خصيصًا لاكتشاف معالم الوجه بدقة عالية من خلال معالجة 9333 صورة من مجموعتي بيانات الصور، Wider Face وCelebrity Face. بعد تطبيق التكبير وتنظيف البيانات، تم تحويلها إلى 62938 صورة. باستخدام مكتبة MediaPipe، تم استخراج 102 معلم وجه، تغطي مناطق مثل الحاجبين والعينين والشفتين العلوية والسفلية ومعالم الوجه الأخرى. تم وضع علامة على كل صورة من مجموعة البيانات واستخدامها لتدريب نموذج YOLOv8n-pose.

تتضمن الميزات الرئيسية للنظام القدرة على التحكم في الأجهزة المنزلية – مثل الأضواء وأجهزة التلفزيون والمراوح ومكيفات الهواء – من خلال حركات الحاجب البسيطة. بالنسبة للمستخدمين الذين يمكنهم التحدث، تم استخدام مكتبة Whisper لتحويل الصوت إلى نص، مما يتيح التحكم في الجهاز عبر الأوامر الصوتية. يخدم نموذج واجهة برمجة تطبيقات Gemini وظيفتين: اكتشاف ما إذا كان المستخدم مستيقظًا أم نائمًا والانخراط في محادثة مع مساعد الذكاء الاصطناعي المخصص. يساعد الأول المستخدمين المتحدثين، بينما تم تصميم الأخير للمستخدمين غير المتحدثين.

يوضح النموذج مقاييس أداء استثنائية، حيث حقق دقة اكتشاف الوجه بنسبة 98٪، وتقدير الوضع لـ 102 معلم بدقة 94٪، ودقة الأوامر الصوتية بنسبة 95٪.