Đăng nhập
 
Tìm kiếm nâng cao
 
Tên bài báo
Tác giả
Năm xuất bản
Tóm tắt
Lĩnh vực
Phân loại
Số tạp chí
 

Bản tin định kỳ
Báo cáo thường niên
Tạp chí khoa học ĐHCT
Tạp chí tiếng anh ĐHCT
Tạp chí trong nước
Tạp chí quốc tế
Kỷ yếu HN trong nước
Kỷ yếu HN quốc tế
Book chapter
Bài báo - Tạp chí
12 (2022) Trang: 1-22
Tạp chí: Applied Sciences

In the era of data deluge, Big Data gradually offers numerous opportunities, but also poses significant challenges to conventional data processing and analysis methods. MapReduce has become a prominent parallel and distributed programming model for efficiently handling such massive datasets. One of the most elementary and extensive operations in MapReduce is the join operation. These joins have become ever more complex and expensive in the context of skewed data, in which some common join keys appear with a greater frequency than others. Some of the reduction tasks processing these join keys will finish later than others; thus, the benefits of parallel computation become meaningless. Some studies on the problem of skew joins have been conducted, but an adequate and systematic comparison in the Spark environment has not been presented. They have only provided experimental tests, so there is still a shortage of representations of mathematical models on which skew-join algorithms can be compared. This study is, therefore, designed to provide the theoretical and practical basics for evaluating skew-join strategies for large-scale datasets with MapReduce and Spark - both analytically with cost models and practically with experiments. The objectives of the study are, first, to present the implementation of prominent skew-join algorithms in Spark, second, to evaluate the algorithms by using cost models and experiments, and third, to show the advantages and disadvantages of each one and to recommend strategies for the better use of skew joins in Spark.

Các bài báo khác
(2023) Trang: 46-52
Tạp chí: Hội nghị khoa học quốc gia lần thứ XVI về Nghiên cứu cơ bản và ứng dụng Công nghệ thông tin (FAIR 2023), Trường Đại học Sư phạm Kỹ thuật - Đại học Đà Nẵng, 28-29/09/2023
(2023) Trang: 1-10
Tạp chí: Nghiên cứu cơ bản và ứng dụng Công nghệ thông tin (FAIR 2023), Trường Đại học Sư phạm Kỹ thuật - Đại học Đà Nẵng, 28-29/09/2023
39 (2023) Trang: 101–124
Tạp chí: Journal of Computer Science and Cybernetics
1925 (2023) Trang: 442--455
Tạp chí: Communications in Computer and Information Science
(2021) Trang: 239-251
Tạp chí: Artificial Intelligence in Data and Big Data Processing (ICABDE) December 18-19, 2021
(2021) Trang: 17-25
Tạp chí: Hội nghị khoa học quốc gia về "Nghiên cứu cơ bản và ứng dụng Công nghệ thông tin" (Hội nghị FAIR 2021), tại Trường Đại học Công nghiệp Thực phẩm TP. Hồ Chí Minh (HUFI), vào 2 ngày thứ năm và thứ sáu, 23 - 24/12/2021
(2021) Trang: 34-42
Tạp chí: Hội nghị khoa học quốc gia về "Nghiên cứu cơ bản và ứng dụng Công nghệ thông tin" (Hội nghị FAIR 2021), tại Trường Đại học Công nghiệp Thực phẩm TP. Hồ Chí Minh (HUFI), vào 2 ngày thứ năm và thứ sáu, 23 - 24/12/2021
(2021) Trang: 75-83
Tạp chí: Hội nghị khoa học quốc gia về "Nghiên cứu cơ bản và ứng dụng Công nghệ thông tin" (Hội nghị FAIR 2021), tại Trường Đại học Công nghiệp Thực phẩm TP. Hồ Chí Minh (HUFI), vào 2 ngày thứ năm và thứ sáu, 23 - 24/12/2021
(2021) Trang: 84-91
Tạp chí: Hội nghị khoa học quốc gia về "Nghiên cứu cơ bản và ứng dụng Công nghệ thông tin" (Hội nghị FAIR 2021), tại Trường Đại học Công nghiệp Thực phẩm TP. Hồ Chí Minh (HUFI), vào 2 ngày thứ năm và thứ sáu, 23 - 24/12/2021
(2021) Trang: 166-174
Tạp chí: Hội nghị khoa học quốc gia về "Nghiên cứu cơ bản và ứng dụng Công nghệ thông tin" (Hội nghị FAIR 2021), tại Trường Đại học Công nghiệp Thực phẩm TP. Hồ Chí Minh (HUFI), vào 2 ngày thứ năm và thứ sáu, 23 - 24/12/2021
12466 (2020) Trang: 185-200
Tạp chí: Lecture Notes in Computer Science
37 (2021) Trang: 107-122
Tạp chí: Journal of Computer Science and Cybernetics
In Future Data and Security Engineering. Big Data, Security and Privacy, Smart City and Industry 4.0 Applications (2020) Trang: 281-293
Tạp chí: Communications in Computer and Information Science
991 (2019) Trang: 769-778
Tạp chí: Advances in Intelligent Systems and Computing
10752 (2018) Trang: 417-427
Tạp chí: Lecture Notes in Computer Science
(2017) Trang:
Tạp chí: Hội thảo quốc gia lần thứ XX: Một số vấn đề chọn lọc của Công nghệ thông tin và truyền thông, Quy Nhơn, 23-24/11/2017
(2017) Trang:
Tạp chí: Kỷ yếu Hội nghị Quốc gia lần thứ X về Nghiên cứu cơ bản và ứng dụng Công Nghệ thông tin (FAIR 2017), ĐHSP Đà Nẵng, ngày 17-18/8/2017
(2017) Trang:
Tạp chí: Kỷ yếu Hội nghị Quốc gia lần thứ X về Nghiên cứu cơ bản và ứng dụng Công Nghệ thông tin (FAIR 2017), ĐHSP Đà Nẵng, ngày 17-18/8/2017
(2016) Trang:
Tạp chí: Hội nghị khoa học quốc gia lần thứ IX “Nghiên cứu cơ bản và ứng dụng công nghệ thông tin”, Đại học Cần Thơ, ngày 04 và 05 tháng 8 năm 2016
 


Vietnamese | English






 
 
Vui lòng chờ...