۵-۲- نحوه­ اجرای روش پیشنهادی روی پایگاه داده­ MovieLens
MovieLens متشکل از ۲۰۹,۰۰۰,۱ امتیاز می­باشد که توسط ۰۴۰,۶ کاربر به ۹۵۲,۳ فیلم اختصاص یافته است. این پایگاه داده توسط پروژه­ پژوهشی GroupLens در دانشگاه Minnesota تهیه شده است.
برای آزمایش روش ارائه شده از روش اعتبار سنجی پنج قسمت برابر^[۶۳] استفاده کرده­ایم. به این صورت که امتیازهای داده شده به هر فیلم را به ۵ قسمت تقریبا مساوی تقسیم کرده سپس یک قسمت یعنی حدود %۲۰ را برای تست^[۶۴] و مابقی را برای آموزش^[۶۵] جدا کرده­ایم. یعنی با بهره گرفتن از %۸۰ امتیازها، %۲۰ باقی مانده امتیازها را با این روش پیش ­بینی می­کنیم. در کل مجموعه­ تست تقریبا شامل ۷۱۰,۱۹۲ امتیاز و مجموعه­ آموزش تقریبا شامل ۴۹۹,۸۰۷ امتیاز می­باشد.

۵-۳- نحوه­ اجرای روش پیشنهادی روی پایگاه داده ­ EachMovies
EeachMovie متشکل از ۹۸۳,۸۱۱,۲ امتیاز می­باشد این پایگاه داده شامل ۹۱۶,۷۲ کاربر می­باشد که به ۶۲۸,۱ فیلم امتیاز داده­اند. برای آزمایش روش ارائه شده بر روی این پایگاه داده نیز از روش اعتبار سنجی پنج قسمت برابر استفاده کرده­ایم. در کل مجموعه­ تست تقریبا شامل  ۳۹۶,۵۶۲ امتیاز و مجموعه­ آموزش تقریبا شامل ۵۸۷,۲۴۹,۲ امتیاز می­باشد.
۵-۴- معیارهای ارزیابی
معیارهای ارزیابی سیستم­های پیشنهادگر بر اساس وظیفه ­ای که به عهده دارند انتخاب می­شوند. در اینجا چون هدف ارزیابی توانایی سیستم پیشنهادگر در پیش ­بینی امتیاز اقلام دیده نشده می­باشد، معیارهای زیر برای سنجش روش پیشنهادی به کار برده شده ­اند.
۵-۴-۱- میانگین خطای مطلق^[۶۶] :
این معیار بر اساس دقت است و فاصله­ بین امتیازهای پیش ­بینی شده و امتیازهای واقعی را اندازه گیری می­ کند که با فرمول زیر محاسبه می­ شود. توجه کنید امتیاز واقعی و امتیاز پیش ­بینی شده می­باشد.
(۱۶)
۵-۴-۲- دقت^[۶۷] و فراخوانی^[۶۸]
در سیستم­های پیشنهادگر آنچه که برای کاربر فعال مهم است این می­باشد که یک لیست اقلام مرتب شده بر اساس تمایلاتش دریافت کند. این دو معیار، معیارهای ارزیابی بازیابی اطلاعات^[۶۹] می­باشند که برای ارزیابی سیستم­های پیشنهادگر نیز به کار می­روند.
در حیطه­ بازیابی اطلاعات توسط موتورهای جستجوگر، دقت، نسبت تعداد اسناد^[۷۰] بازیابی شده­ مرتبط به تعدا کل اسناد بازیابی شده­ است. فراخوانی، نسبت تعداد اسناد بازیابی شده­ مرتبط نسبت به تعداد کل اسناد مرتبط می­باشد. این مفاهیم در شکل شماره­ ۱۴ نشان داده شده ­اند.
شکل شماره­ ۱۴: نمایش مفاهیم دقت و فراخوانی در حوزه بازیابی اطلاعات
دقت در سیستم­های پیشنهادگر یعنی نسبت پیشنهاداتی که خوب هستند و به کاربر ارائه شده ­اند به کل پیشنهاداتی که در لیست وجود دارند. فراخوانی یعنی نسبت پیشنهاداتی که خوب هستند و به کاربر ارائه شده ­اند به تعداد کل پیشنهاد­ات خوب که در لیست ظاهر شده- اند. اینجا شرط خوب یا مربوط بودن پیشنهادات که همان اقلام هستند داشتن امتیاز ۴ و ۵ می­باشد و شرط خوب نبودن یا نا مربوط بودن اقلام، داشتن امتیازهای ۱ ، ۲ و ۳ می­باشد.
با توجه به مطالبی که گفته شد مقدار دقت ۱ یعنی تمام پیشنهاداتی که ارائه شده ­اند خوب هستند (نه اینکه تمام پیشنهادات خوب به کاربر ارائه شده ­اند) و مقدار فراخوانی ۱ یعنی تمام پیشنهادات خوب در لیست به کاربر ارائه شده ­اند (بدون توجه به اینکه چه تعداد پیشنهادات بد نیز در لیست وجود دارد).
دقت و فراخوانی با هم رابطه­ معکوس دارند یعنی هر چقدر دقت بالا رود فراخوانی پایین می ­آید و هر چقدر دقت پایین آید فراخوانی بالا می­رود مانند آنچه که در شکل شماره­ ۱۵ می­بینید.

شکل شماره­ ۱۵: رابطه­ معیار فراخوانی با معیار دقت
۵-۴-۳- معیار ارزیابی F
این معیار برای ترکیب معیارهای دقت و فراخوانی و تبدیل آنها به یک معیار به کار می­رود و مقدار آن توسط فرمولی که در ادامه قابل مشاهده است محاسبه می­ شود.
(۲۸)
۵-۵- ارزیابی روش­های پیشنهادی توسط معیارهای معرفی شده
معیارهایی که در بالا معرفی شد برای سنجش روش ارائه شده روی هر دو پایگاه داده به کار برده شده ­اند. توجه شود که WPC روش پیشنهادی است که باPC که همان روش پایه ذکر شده در [۴۶]می­باشد مورد مقایسه قرار گرفته است. توجه شود که روش پایه از فرمول شماره ۲۶ برای انتخاب همسایگان و از فرمول شماره ۹ برای پیش ­بینی استفاده می­ کند.
در ادامه اعداد به دست آمده از هر معیار ابتدا در جداول مربوطه مشخص گردیده­، سپس نتایج در قالب نمودار نشان داده شده ­اند.
جدول شماره­ ۲ : مقایسه­ میانگین خطای مطلق روش پایه و روش پیشنهادی، اعمال شده برMovieLens