MapReduce has become the dominant programming model for analyzing and processing large-scale data. However, the model has its own limitations. It does not completely support iterative computation, caching mechanism, and operations with multiple inputs. Besides, I/O and communication costs of the model are so expensive. One of the most notably complex operations extensively and expensively used in MapReduce is recursive joins. It requires processing characteristics that are the limitations of a MapReduce environment. Therefore, this research proposes efficient solutions for processing recursive joins in Spark, a next-generation data processing engine of MapReduce. Our proposal eliminates a large amount of redundant data generated in repeated join steps and takes advantages of in-memory computing means and cache mechanism. Through experiments, the present research shows that our solutions significantly improve the execution performance of recursive joins on large-scale datasets.
Tạp chí: Hội nghị khoa học quốc gia lần thứ XVI về Nghiên cứu cơ bản và ứng dụng Công nghệ thông tin (FAIR 2023), Trường Đại học Sư phạm Kỹ thuật - Đại học Đà Nẵng, 28-29/09/2023
Tạp chí: Hội nghị khoa học quốc gia lần thứ XV về về Nghiên cứu cơ bản và ứng dụng Công nghệ thông tin (FAIR 2022), Học Viện Kỹ Thuật Mật Mã, Hà Nội, Ngày 03-04/11/2022
Tạp chí: Hội nghị khoa học quốc gia lần thứ XV về về Nghiên cứu cơ bản và ứng dụng Công nghệ thông tin (FAIR 2022), Học Viện Kỹ Thuật Mật Mã, Hà Nội, Ngày 03-04/11/2022
Tạp chí: Hội nghị khoa học quốc gia lần thứ XV về về Nghiên cứu cơ bản và ứng dụng Công nghệ thông tin (FAIR 2022), Học Viện Kỹ Thuật Mật Mã, Hà Nội, Ngày 03-04/11/2022
Tạp chí: 32ème Conférence sur la Gestion de Données - Principes, Technologies et Applications (BDA 2016), Futuroscop - Poitiers - France, 15 au 18 Novembre, 2016
Tạp chí khoa học Trường Đại học Cần Thơ
Lầu 4, Nhà Điều Hành, Khu II, đường 3/2, P. Xuân Khánh, Q. Ninh Kiều, TP. Cần Thơ
Điện thoại: (0292) 3 872 157; Email: tapchidhct@ctu.edu.vn
Chương trình chạy tốt nhất trên trình duyệt IE 9+ & FF 16+, độ phân giải màn hình 1024x768 trở lên