Data Engineer Projects FUNiX

MỤC TIÊU MÔN HỌC

Sau khi học xong môn này, học viên sẽ đạt được các chuẩn kiến thức, kỹ năng đầu ra như sau:

• Hiểu các khái niệm cơ bản của ML.
• Hiểu các khái niệm cơ bản liên quan đến ML về Giải tích, Đại số tuyến tính và Xác suất thống kê.
• Ôn lại và thực hành lập trình Python cơ bản, các cấu trúc dữ liệu trong Python, làm việc với Pandas and Numpy, Lớp và Tính kế thừa.
• Hiểu và thực hành các công cụ của Machine learning: Sklearn, Jupyter Notebook.
• Nắm được những kiến thức cơ bản về Học tập có giám sát và không giám sát trong Machine Learning với các Case study.
• Nắm rõ mục tiêu và các phương pháp tiếp cận giải bài toán hồi quy.
• Triển khai được các thuật toán thông dụng để giải bài toán hồi quy: 1 biến, đa biến, Lasso, Ridge.
• Giải quyết các vấn đề underfit và overfit trong bài toán hồi quy.
• Thành thạo các phương pháp trích xuất và chọn lọc đặc trưng từ dữ liệu.
• Làm quen với các thuật toán hồi quy nâng cao: SVR, Tree, Random Forest.
• Nắm được thuật toán ARIMA trong bài toán dự báo chuỗi thời gian.
• Có thể thực thi được 1 pipeline hoàn chỉnh để giải quyết bài toán hồi quy và tối ưu được với độ chính xác theo model và data.
• Nắm rõ mục tiêu và các phương pháp tiếp cận giải bài toán phân loại.
• Triển khai được các thuật toán thông dụng để giải bài toán phân loại: Hồi quy Logistic, mạng nơron nông và sâu (DNN), cây quyết định (DT), SVM.
• Giải quyết các vấn đề underfit, overfit, optimization và regularization trong bài toán phân loại.
• Thành thạo các phương pháp trích xuất và chọn lọc đặc trưng từ dữ liệu cho bài toán phân loại.
• Làm quen với các thuật toán phân loại nâng cao: Adaboost, Random Forest.
• Xử lý được vấn đề mất cân bằng dữ liệu trong bài toán phân loại.
• Nắm được các phương pháp ensemble khác nhau cho các bài toán ML và cách áp dụng chúng: Ensembling, boosting, bagging, stacking.
• Có thể thực thi được 1 pipeline hoàn chỉnh để giải quyết bài toán phân loại.
• Có năng lực về chuẩn hóa dữ liệu, xây dựng và đánh giá, phân tích lỗi, cải thiện và tối ưu model trong các bài toán ML.
• Có cái nhìn chung về Phân cụm và Trích xuất
• Hiểu các thuật toán tìm kiếm lân cận gần nhất (Nearest Neighbor Search Algorithm)
• Hiểu Thuật toán K-means và hiểu cách hoạt động của nó
• Hiểu ý tưởng mô hình hỗn hợp (Mixture Model)
• Biết được cách kết hợp giữa Mixed Membership Modelling (Mô hình Mixed Membership) và Lattent Dirichlet Allocation (Phân bổ Dirichlet Lattent)
• Nắm được một phương pháp khác và tìm ra nhiều cách hơn để giải bài toán Phân cụm
• Hiểu một phương pháp khác để giải quyết bài toán phân cụm và áp dụng nó vào các dự án thực tế
• Nắm được khái niệm cơ bản, ứng dụng và vai trò của Deep Learning hiện nay trong thị giác máy tính và xử lý ngôn ngữ tự nhiên.
• Nắm được các ứng dụng của DL vào trong thị giác máy tính thông qua kiến trúc mạng CNN (CNN, VGG, Resnet, Inception, MobileNet, EfficientNet): Bài toán phân loại hình ảnh, nhận diện vật thể, phân vùng theo nhóm, nhận diện khuôn mặt.
• Nắm được ứng dụng của DL vào trong xử lý ngôn ngữ tự nhiên thông qua các kiến trúc mạng về RNN (RNN, LSTM, GRU, Attention và Transformation): Nhận diện cảm xúc thông qua văn bản, dịch máy, xây dựng và sử dụng Word Embedding.
• Sử dụng được Tensorflow để xây dựng một dự án hoàn chỉnh về Machine Learning và Deep Learning.
• Có năng lực về chuẩn hóa dữ liệu, xây dựng và đánh giá, phân tích lỗi, cải thiện và tối ưu model trong các dự án ML/DL.
• Nắm rõ các định nghĩa, chủ đề, ứng dụng và vai trò của Recommender Systems trong hiện nay.
• Nắm được kiến thức về Non-Personalized Recommender và ứng dụng vào thực tế.
• Nắm được kiến thức về Content-Based Filtering và ứng dụng vào thực tế.
• Nắm được kiến thức về Nearest Neighbor Collaborative Filtering và ứng dụng vào thực tế.
• Nắm được kiến thức về cách đánh giá và metric để đánh giá Recommender Systems trong thực tế.
• Xây dựng engine cơ bản về Recommender Systems, dùng để thử nghiệm và đánh giá các thuật toán về recommnender.
• Nắm được kiến thức về Matrix Factorization và ứng dụng vào thực tế.
• Nắm được kiến thức cơ bản về toàn bộ hệ thống hệ gợi ý, triển khai mô hình gợi ý trên Apache spark và ứng dụng vào thực tế.