TEXT-IMAGE SENTIMENTANALYSIS IN SOCIAL NETWORKS USING DEEP LEARNING TECHNIQUE

دنيا جاسم محمد علوم الحاسوب

الخلاصة

خلال الفترة الأخيرة، شهدت منصات الشبكات الاجتماعية زيادة ملحوظة في الأهمية وحصلت على جذب كبير من الأفراد، مما جعلها جزءًا لا يتجزأ من حياتهم اليومية وروتينهم. بالأحرى، أصبحت واقعًا افتراضيًا ينشرون من خلاله أنشطتهم واهتماماتهم، ويتبادلون الآراء ووجهات النظر حول الأحداث المختلفة التي تحدث في المجتمع، مما يجعلهم يساهمون بهذه المعلومات في قيادة المجتمع واتخاذ القرارات.
من هنا، ظهر أهمية مجال تحليل المشاعر في الشبكات الاجتماعية، وتوسع هذا المجال ليشمل تحليل المشاعر في المحتوى المرئي، بما في ذلك على سبيل المثال الصور. ومع ذلك، فإن مجال تحليل المشاعر المرئية لا يزال جديدًا نسبيًا ويحتاج إلى اهتمام اكبر وانجاز بحوثبه اكثر.
تعتبر عملية تحليل المشاعر في الشبكات الاجتماعية في بعض الأحيان تحديًا، نظرًا لأن المحتوى المنشور قد يكون غير كافٍ أو مضلل لغرض الانتشار ولا ينقل أي مشاعر من خلاله، مثل استخدام الصور الملفتة للانتباه أو تضمين الوسوم في النص المنشور. تحدي آخر قد يواجهه هو صعوبة الحصول على مجموعات البيانات لإجراء البحث في مجال تحليل المشاعر في الشبكات الاجتماعية، حيث قد تضع بعض الشبكات الاجتماعية قيودًا ولا تسمح بتنزيل واستخدام بياناتها. بالإضافة إلى ذلك، عملية جمع البيانات وتصنيفها يدويًا هي عملية مضنية تتطلب الكثير من الوقت وفريق متخصص لتقييم عملية التصنيف اليدوي.
في هذه الأطروحة، نقدم نهجًا يستند إلى تحليل المشاعر في الشبكات الاجتماعية باستخدام النصوص والصور معًا للتنبؤ بالمشاعر المنبثقة للمحتوى المنشور. تم استخدام شبكتي اتصال عصبية عميقة وهما الذاكرة القصيرة الأجل (LSTM) و Mobilenetv2 ، إحداهما لتصنيف النص والأخرى لتصنيف الصور، ثم يتم دمج نتائج إخراج الشبكتين في شبكة تعلم عميق جديدة تسمى Dunya Visual Sentiment fusion (DVSF) للتنبأ بالمشاعر.
قد قمنا أيضًا بتقديم نهج يُسمى Persent لتسمية مجموعة بيانات multi-view sentiment analysis (MVSA) من شبكة تويتر ثم نشرها على Kaggle. يتم استخدام المجموعة الموسومة في تدريب نموذج النص (LSTM) ويتم استخدام مجموعة بيانات EmotionRoi من شبكة فلكر لتدريب نموذج الصور (Mobilenetv2).
أظهرت النتائج التي تم الحصول عليها من نتائج التدريب ومقاييس تقييم الأداء ، فاعلية ملحوظة لنموذج DVSF في التصنيف الفعال للمشاعر النصية والصورية الموجودة في الشبكات الاجتماعية.