Tìm hiểu MLlib trên Spark, xây dựng ứng dụng phân loại dữ liệu : Khoá luận tốt nghiệp
Năm xuất bản
2024
Tác giả
Võ, Khoa
Nhan đề tạp chí
ISSN
Nhan đề tập
Nhà xuất bản
Trường Đại học Nguyễn Tất Thành (Khoa Công nghệ thông tin)
Tóm tắt
Tìm hiểu lý thuyết về Apache Hadoop, Apache Spark và thư viện MLlib trong Spark đồng thời xây dựng một mô hình phân loại dữ liệu áp dụng Spark MLlib và triển khai ứng dụng web. Tìm hiểu tổng quan về Hadoop và Spark, Thư viện MLlib trên Spark (các thành phần chính, các thuật toán,…). Tìm kiếm dữ liệu và tiền xử lý dữ liệu cho bài toán phân loại: tìm kiếm tập dữ liệu chứa thông tin sức khoẻ của con người, áp dụng các kỹ thuật tiền xử lý dữ liệu lên tập dữ liệu tìm được như xử lý dữ liệu thiếu, chuyển đổi kiểu dữ liệu, xử lý ngoại lệ, xử lý dữ liệu mất cân bằng. Xây dựng mô hình cho bài toán phân loại “Dự đoán khả năng mắc bệnh tim mạch” từ một số thuật toán được hỗ trợ trong Spark MLlib, so sánh và đánh giá hiệu suất các mô hình bằng các chỉ số đánh giá, chọn ra mô hình tốt nhất để đưa vào xây dựng ứng dụng. Cài đặt ứng dụng và chương trình thử nghiệm: Xây dựng WebApp bằng Python Flask để đưa mô hình tốt nhất huấn luyện được vào áp dụng thực tế
Mô tả
49 tr.
Từ khóa chủ đề
Phân loại dữ liệu , Spark MLlib , Xử lý dữ liệu