Tách từ là một bước quan trọng không thể thiếu trong xử lý ngôn ngữ tự nhiên, nhằm xác định được ranh giới các từ có trong văn bản. Trong tiếng Việt, ngoài từ đơn (một âm tiết), còn có từ ghép (đa âm tiết). Điều này gây khó khăn cho việc tách từ tự động một cách chính xác, ảnh hưởng đến kết quả của các bài toán phân tích dữ liệu văn bản như: gom nhóm, phân lớp văn bản. Hai tiếp cận chính để tách từ là dựa trên từ điển và thống kê (hoặc kết hợp hai tiếp cận). Trong bài toán phân lớp văn bản, tách từ mới chỉ là bước tiền xử lý và biểu diễn dữ liệu. Bước kế tiếp là sử dụng một mô hình máy học để huấn luyện bộ phân lớp. Đối với một số mô hình máy học như máy học véc-tơ hỗ trợ (SVM), phân tích thành phần chính, phân tích tương ứng, các từ ghép có thể được phát hiện dựa vào sự đồng xuất hiện của các âm tiết mà không cần đến một bước tách từ chính xác. Trong bài báo này, chúng tôi nghiên cứu so sánh sự ảnh hưởng của các phương pháp tách từ lên hiệu quả phân lớp văn bản tiếng Việt, để từ đó chọn ra phương pháp hiệu quả nhất. Thực nghiệm trên tập dữ liệu 6,000 văn bản thuộc 10 chủ đề và tập dữ liệu 105,293 quyển sách thuộc 166 chủ đề với giải thuật máy học SVM cho thấy rằng kết quả phân lớp với các phương pháp tách từ khác nhau tuy có sự khác biệt nhưng không có ý nghĩa thống kê trong bài toán phân lớp văn bản tiếng Việt.
Phạm Nguyên Khang, Võ Trí Thức, Nguyễn Bá Diệp, Bùi Lê Diễm, 2013. TIếP CậN LUồNG CựC ĐạI TRONG MạNG CHO BàI TOáN XếP LịCH BIểU. Tạp chí Khoa học Trường Đại học Cần Thơ. Chuyên Đề CNTT: 100-108
Phạm Nguyên Khang, Huỳnh Nhật Minh, Phạm Thế Phi, 2015. NHẬN DẠNG NGÔN NGỮ DấU HIỆU VớI CAMERA KINECT VÀ ĐẶC TRƯNG GIST. Tạp chí Khoa học Trường Đại học Cần Thơ. CNTT15: 113-120
Phạm Nguyên Khang, Huỳnh Nhật Minh, 2015. NHẬN DẠNG TƯ THẾ NGƯỜI VỚI CAMERA KINECT VÀ MÁY HỌC VÉC-TƠ HỖ TRỢ. Tạp chí Khoa học Trường Đại học Cần Thơ. CNTT15: 25-31
Trích dẫn: Phạm Nguyên Khang, Đỗ Thanh Nghị và Phạm Thế Phi, 2017. Nghiên cứu ứng dụng kỹ thuật theo dõi đối tượng xây dựng hệ thống camera giám sát thông minh. Tạp chí Khoa học Trường Đại học Cần Thơ. 53a: 44-52.
Tạp chí khoa học Trường Đại học Cần Thơ
Lầu 4, Nhà Điều Hành, Khu II, đường 3/2, P. Xuân Khánh, Q. Ninh Kiều, TP. Cần Thơ
Điện thoại: (0292) 3 872 157; Email: tapchidhct@ctu.edu.vn
Chương trình chạy tốt nhất trên trình duyệt IE 9+ & FF 16+, độ phân giải màn hình 1024x768 trở lên