Luận văn Ứng dụng kỹ thuật học máy trong xây dựng mô hình dự báo tài chính

Nội dung tài liệu: Luận văn Ứng dụng kỹ thuật học máy trong xây dựng mô hình dự báo tài chính

1. BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC NGOẠI THƯƠNG LUẬN VĂN THẠC SĨ ỨNG DỤNG KỸ THUẬT HỌC MÁY TRONG XÂY DỰNG MÔ HÌNH DỰ BÁO TÀI CHÍNH Chuyên ngành: Tài chính – Ngân hàng NGUYỄN THÀNH TRUNG HÀ NỘI - 2020
2. BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC NGOẠI THƯƠNG LUẬN VĂN THẠC SĨ ỨNG DỤNG KỸ THUẬT HỌC MÁY TRONG XÂY DỰNG MÔ HÌNH DỰ BÁO TÀI CHÍNH Chuyên ngành: Tài chính – Ngân hàng Mã số: 8340201 Họ và tên học viên: Nguyễn Thành Trung Người hướng dẫn: TS. Vũ Thị Phương Mai HÀ NỘI - 2020
3. LỜI CAM ĐOAN Tôi đã đọc và hiểu về các hành vi vi phạm sự trung thực trong học thuật. Tôi cam kết bằng danh dự cá nhân rằng bản luận văn này do tôi thực hiện và không vi phạm yêu cầu về sự trung thực trong học thuật. Hà Nội, ngày tháng năm 2020 Học viên Nguyễn Thành Trung
4. LỜI CẢM ƠN Tôi xin gửi lời cảm ơn tới Quý thầy cô Khoa Sau đại học – Trường Đại học Ngoại Thương, đặc biệt tôi xin chân thành cảm ơn TS. Vũ Thị Phương Mai đã tận giúp đỡ và hướng dẫn cho tôi hoàn thành luận văn này. Hà Nội, ngày tháng năm 2020 Học viên Nguyễn Thành Trung
5. MỤC LỤC LỜI CAM ĐOAN LỜI CẢM ƠN MỤC LỤC DANH MỤC TỪ VIẾT TẮT DANH MỤC BẢNG DANH MỤC HÌNH TÓM TẮT KẾT QUẢ NGHIÊN CỨU LỜI MỞ ĐẦU ....................................................................................................................... 1 CHƯƠNG 1: GIỚI THIỆU VỀ HỌC MÁY VÀ CÁC MÔ HÌNH HỌC MÁY ............. 7 1.1. KHÁI NIỆM .............................................................................................................. 7 1.2. CÁC BÀI TOÁN CƠ BẢN TRONG HỌC MÁY .................................................. 7 1.3. PHÂN NHÓM CÁC THUẬT TOÁN HỌC MÁY ................................................. 9 1.4. LỊCH SỬ CÁC SỰ KIỆN LIÊN QUAN TỚI HỌC MÁY .................................. 11 1.5. HÀM TỔN THẤT VÀ THAM SỐ MÔ HÌNH ..................................................... 13 1.6. MỘT SỐ THUẬT TOÁN TỐI ƯU THÔNG DỤNG TRONG HỌC MÁY ...... 13 1.7. THUẬT TOÁN K-NEAREST NEIGHBOR (KNN) ............................................ 19 1.8. MÔ HÌNH HỒI QUY LOGISTIC ........................................................................ 20 1.9. THUẬT TOÁN CÂY QUYẾT ĐỊNH (DECISION TREE) ................................ 24 1.10. THUẬT TOÁN RANDOM FOREST (RỪNG NGẪU NHIÊN) ......................... 29 1.11. THUẬT TOÁN SUPPORT VECTOR MACHINE (SVM)................................. 31 1.12. MÔ HÌNH MẠNG NƠRON NHÂN TẠO (ARTIFICIAL NEURAL NETWORK- ANN) ............................................................................................................ 41 1.13. PHÂN LOẠI ĐA LỚP TRONG HỌC MÁY – MÔ HÌNH SOFTMAX ............ 49
6. 1.14. GIỚI THIỆU VỀ PYTHON VÀ CÁC THƯ VIỆN HỖ TRỢ CÀI ĐẶT THUẬT TOÁN .................................................................................................................................. 52 CHƯƠNG 2: DỰ BÁO KHẢ NĂNG TRẢ NỢ CỦA KHÁCH HÀNG ........................ 54 2.1. GIỚI THIỆU BÀI TOÁN.......................................................................................... 54 2.2. DỮ LIỆU VÀ XỬ LÝ DỮ LIỆU .............................................................................. 54 2.3. KẾT QUẢ ................................................................................................................... 57 CHƯƠNG 3: DỰ BÁO CHO DỮ LIỆU CHUỖI THỜI GIAN ..................................... 64 TRONG TÀI CHÍNH ........................................................................................................ 64 3.1. TIẾP CẬN BÀI TOÁN: ............................................................................................ 64 3.2. DỮ LIỆU CỦA BÀI TOÁN ...................................................................................... 64 3.3. ĐO LƯỜNG TÍNH CHÍNH XÁC CỦA MÔ HÌNH DỰ BÁO .............................. 67 3.4. KẾT QUẢ CỦA BAI TOAN ..................................................................................... 68 3.5. NHẬN XÉT KẾT QUẢ ............................................................................................. 72 3.6. NHẬN XÉT VỀ MÔ HÌNH ANN ............................................................................. 73 3.7. ĐÁNH GIÁ VIỆC XÂY DỰNG MÔ HÌNH DỰ BÁO TÀI CHÍNH BẰNG PHƯƠNG PHÁP HỌC MÁY ........................................................................................... 74 3.8. MỘT SỐ KHUYẾN NGHỊ CHÍNH SÁCH ............................................................. 75 KẾT LUẬN ......................................................................................................................... 77 TÀI LIỆU THAM KHẢO ................................................................................................. 78 PHỤ LỤC: KẾT QUẢ MỘT SỐ MÔ HÌNH CHƯƠNG 3 ............................................ 81
7. DANH MỤC TỪ VIẾT TẮT KNN: K Nearest Neighbors SVM: Support Vector Machine ANN: Artificial Neural Network KKT: Karush-Kuhn-Tucker SMO: Sequential Minimal Optimization NN: Neural Network DT: Decision Tree LR: Logistic Regression ARDL: Autoregressive Distributed Lag ARIMA: Autoregressive integrated moving average DANH MỤC BẢNG Bảng 2.1. Tổng hợp kết quả các mô hình Bảng 3.1: Kết quả sai số của các mô hình Bảng 3.2. Kết quả so sánh mô hình 6 và bài báo [13]
8. DANH MỤC HÌNH Hình 0.1. Minh họa hàm lồi Hình 0.2. Minh họa hàm lõm Hình 0.3. Minh họa thuật toán giảm gradient Hình 0.4. Minh họa thuật toán Newton-Raphson Hình 0.5. Thuật toán giảm gradient với hàm không lồi Hình 1.1. Ví dụ bài toán Cây quyết định Hình 1.2. Cơ chế lọc dữ liệu của Cây quyết định Hình 1.3. Cơ chế tiên phân loại cho nút gốc của Cây quyết định Hình 1.4. Kết quả phân loại của Cây quyết định Hình 1.5. Ví dụ về sự phân chia tuyến tính Hình 1.6. Ví dụ về sự phân chia hai chiều Hình 1.7. Ví dụ về sự phân chia ba chiều Hình 1.8. Các trường hợp phân chia dữ liệu Hình 1.9. Minh họa bài toán SVM lề cứng Hình 1.10. Minh họa dữ liệu nhiễu trong bài toán SVM Hình 1.11. Bài toán SVM lề mềm Hình 1.12. Minh họa mạng nơ ron nhân tạo Hình 1.13. Minh họa đầu ra của nốt trong mạng nơ ron Hình 1.14. Ví dụ mạng nơ ron ba lớp Hình 2.1. Mô tả dữ liệu khách hàng Hình 2.2. Thông tin cơ bản về dữ liệu được xuất từ Python Hình 2.3. Điểm dữ liệu sau khi đã thực hiện chuẩn hóa theo cách 1 Hình 2.4. Kết quả độ chính xác các mô hình theo cách 1
9. Hình 2.5. Kết quả độ chính xác các mô hình theo cách 2 Hình 2.6. Kết quả dự báo thông tin thiếu trường ‘Saving accounts’ Hình 2.7. Kết quả dự báo thông tin thiếu trường ‘Checking account’ Hình 2.8. Kết quả độ chính xác các mô hình theo cách 3 Hình 2.9. So sánh kết quả của mô hình theo cách 1 và cách 2 Hình 2.10. So sánh kết quả của mô hình theo cách 2 và cách 3 Hình 3.0. Dữ liệu VN-Index từ 2010 đến 2019 Hình 3.1. Kết quả dự báo mô hình 1 Hình 3.2. Kết quả dự báo mô hình 2 Hình 3.3. Kết quả dự báo mô hình 3 Hình 3.4. Kết quả dự báo mô hình 4 Hình 3.5. Kết quả dự báo mô hình 5 Hình 3.6. Kết quả dự báo mô hình 6
10. TÓM TẮT KẾT QUẢ NGHIÊN CỨU Luận văn đã trình bày những nét chính về khái niệm học máy và các kỹ thuật thường được sử dụng trong học máy. Cụ thể luận văn đã thực hiện phân loại các bài toán học máy và giới thiệu những mô hình học máy đang được triển khai trong lĩnh vực tài chính như: K láng giềng gần nhất (K nearest neighbor), Hồi quy logistic, Cây quyết định (Decision Tree), Rừng ngẫu nhiên (Random Forest), Support Vector Machine, mạng Nơ-ron nhân tạo và mô hình Softmax. Luận văn đã đi sâu vào phân tích cách thức các mô hình này học hỏi tri thức từ dữ liệu và áp dụng cho các vấn đề trong thực tiễn.