Thông tin chung:

Ngày nhận: 01/08/2015

Ngày chấp nhận: 25/02/2016

Title:

Evaluation methods for  recommender systems  

Từ khóa:

Hệ thống gợi ý, phương thức, đánh giá, đánh giá offline, đánh giá on-line

Keywords:

Recommender system, protocol, measure, off-line evalution, on-line evalution

ABSTRACT

Recommender system is a decisive support tool to provide users the most useful choice in the era of “information explosion”. When a recommender system is built, the effectiveness of the system is usually more concerned. However, evaluating the effectiveness of the recommender system depends a lot on the purpose of building the systems, kind of data, and conditions to evaluate the system. These conditions can be online or based on available data (offline). In this article, we will focus on analyzing and introducing the evaluation methods based on a system of qualitative criteria (diversity, novelty, covers) as well as quantitative criteria (precision, recall, F1, MSE, RMSE). The process to evaluate a recommender system for each kind of database is also mentioned in this article.

TÓM TẮT

Hệ thống gợi ý là một công cụ hỗ trợ quyết định nhằm cung cấp cho người dùng những lựa chọn hữu ích nhất trong thời đại bùng nổ thông tin. Khi xây dựng một hệ thống gợi ý, người ta thường quan tâm đến tính hiệu quả của nó. Tuy nhiên, việc đánh giá tính hiệu quả của một hệ thống gợi ý còn tuỳ thuộc rất nhiều vào mục đích xây dựng hệ thống, loại dữ liệu và điều kiện để đánh giá hệ thống. Điều kiện đánh giá hệ thống có thể là trực tuyến (online) hay dựa vào dữ liệu có sẵn (offline). Trong bài báo này, chúng tôi sẽ tập trung phân tích và giới thiệu các phương pháp đánh giá một hệ thống gợi ý theo tiêu chí định tính (tính đa dạng, tính mới, tính bao phủ) cũng như định lượng (precision, recall, F1, MSE, RMSE). Đồng thời, các nghi thức đánh giá phù hợp đối với từng loại cơ sở dữ liệu cũng được đề cập trong bài báo này.