TÓM TẮT VĂN BẢN SỬ DỤNG CÁC KỸ THUẬT TRONG DEEP LEARNING

Abstract

Luận văn là một nghiên cứu cho bài toán tóm tắt văn bản theo hướng tóm lược ý, thực nghiệm tiến hành trên dữ liệu tiếng Anh.

Nghiên cứu đã có kết quả bước đầu cho bài toán tóm tắt văn bản. Luận văn đã trình bày một số vấn đề chính sau:  Tìm hiểu tổng quan về tóm tắt văn bản và đi sâu vào tóm tắt tóm lược.  Trình bày hiểu biết về các mô hình mạng trong học sâu như mạng nơ-ron đa lớp, mạng LSTM, mạng GRU, mạng nơ-ron tích chập.  Đề xuất mô hình dựa trên mạng nơ-ron tích chập và mạng GRU kèm theo cơ chế attention.  Tiến hành thử nghiệm với hai bộ dữ liệu khác biệt với các cấu hình mạng CNN khác nhau. Kết quả cho thấy hiệu quả rõ ràng của mô hình đề xuất so với mô hình words-lvt2k-1sent của nhóm tác giả R Nallapati [19].

Mặc dù đã cố gắng và nỗ lực, nhưng do thời gian nghiên cứu và trình độ bản thân có hạn cùng với cấu hình máy chạy chưa đủ mạnh nên luận văn chưa đạt được kết quả như mong muốn.

Trong tương lai, tôi tiếp tục hướng nghiên cứu dùng các mô hình Deep learning mới cho bài toán tóm tắt văn bản theo hướng tóm lược:  Sử dụng Cơ chế bao phủ [19], [23]: Sự lặp lại từ có thể được tính toán bằng sự tăng lên và liên tục chú ý tới một từ cụ thể.  Sử dụng mạng Pointer [23]: Các bản tóm tắt cần sao chép hoặc chứa một lượng các từ xuất hiện trong văn bản nguồn.  Sử dụng các phương pháp học tăng cường [24]: dựa vào độ đo ROUGE để định nghĩa hàm lỗi