Thông tin chung:

Ngày nhận: 05/04/2016

Ngày chấp nhận: 29/08/2016

Title:

Recommending model management and visualize statistical results online text - Applying the analysis of trends in scientific research at Can Tho University

Từ khóa:

Big Data, Distributed File System, Inverted Index, Full-text Search, Solr, Lucene

Keywords:

Big Data, Distributed File System, Inverted Index, Full-text Search, Solr, Lucene

ABSTRACT

The objective of the article is to propose a suitable management model which could be used to exploit rich and diversified data in different formats (i.e. text and spreadsheet). Besides, we also propose specific solutions based on a common Big Data platform, including: (1) HDFS (Hadoop Distributed File System) of Hadoop, which could be used in file management, (2) Lucene, which could be used to establish reversed indexing for text and (3) Apache Solr, which could be used to support reversed indexing management mechanism, full text searching and advanced searching functions. This article also presents experimental results, aggregates statistical results and displays statistical chart of applying the model into the analysis of trends in scientific research at Can Tho University.

TÓM TẮT

Mục tiêu của bài viết là đề xuất mô hình quản lý và khai thác hữu hiệu các dữ liệu phong phú, đa dạng đang tồn tại dưới dạng các văn bản, bảng tính của một tổ chức. Bên cạnh đó, chúng tôi cũng đề xuất giải pháp công nghệ cụ thể dựa trên các nền tảng Big Data phổ biến, bao gồm: (1) HDFS (Hadoop Distributed File System) của Hadoop dùng trong quản lý tập tin, (2) Lucene để lập chỉ mục nghịch đảo (Inverted Index) cho văn bản và (3) Apache Solr hỗ trợ cơ chế quản lý chỉ mục nghịch đảo, tìm kiếm toàn văn và một số chức năng tìm kiếm nâng cao. Bài viết cũng trình bày kết quả thực nghiệm, tổng hợp kết quả và trình bày biểu đồ thống kê của việc áp dụng mô hình trong phân tích xu hướng nghiên cứu khoa học tại Trường Đại học Cần Thơ.

Trích dẫn: Nguyễn Hùng Dũng, Trương Xuân Việt, Trương Quốc Định, Lương Huy Nhật, Huỳnh Gia Khương và Nguyễn Hoàng Việt, 2016. Đề xuất mô hình quản lý và trực quan hóa kết quả thống kê văn bản trực tuyến - ứng dụng trong phân tích xu hướng nghiên cứu khoa học tại Trường Đại học Cần Thơ. Tạp chí Khoa học Trường Đại học Cần Thơ. 45a: 1-11.