Machine Learning - Thu thập và tiền xử lý dữ liệu

Trong khóa học này chúng ta sẽ đi qua tất cả là 6 chương, và chương hôm nay chúng ta sẽ đi qua chương thứ 2 thu thập và tiền xử lý dữ liệu.
3. Chúng ta sẽ đặt một vấn đề ở đây Khai phá dữ liệu là một quá trình phân tích dữ liệu theo nhiều khía cạnh và tổng hợp nó lại để có được thông tin hữu ích hay tri thức
4. Các bước của quá trình phát hiện tri thức gồm
Thu thập, lựa chọn dữ liệu
Tiền xử lý dữ liệu
Chuyển đổi
Khai phá dữ liệu
Giải thích/Đánh giá
5. Vì sao phải tiền xử lý dữ liệu?
Tiền xử lý dữ liệu là một bước rất quan trọng trong quá trình giải quyết bất kỳ vấn đề nào trong lĩnh vực Học Máy Việc xử lý dữ liệu trước khi đưa vào huấn luyện mô hình có thể ảnh hưởng đáng kể đến kết quả của mô hình học tập. Dữ liệu trong thế giới thực thường không được "sạch" và chất lượng thấp. Do đó, tiền xử lý dữ liệu là quá trình làm sạch, biến đổi và chuẩn hóa dữ liệu trước khi đưa vào mô hình học tập. Quá trình này bao gồm loại bỏ các giá trị bị thiếu, xử lý các ngoại lệ, chuẩn hóa các đặc trưng của dữ liệu và biến đổi các đặc trưng không phù hợp để giảm thiểu ảnh hưởng của chúng đến kết quả huấn luyện mô hình.
6. Quy trình tiền xử lý dữ liệu
Làm sạch: Loại bỏ các giá trị sai, kiểm tra tính nhất quan của dữ liệu.
Tích hợp: Dữ liệu có nhiều nguồn nên cần lưu theo một cách thức thống nhất.
Chuyển đổi: Chuẩn hóa và tập hợp dữ liệu.
Giảm chiều: Mô tả dữ liệu trong kích thước nhỏ nhưng không làm mất kết quả cần kiết xuất.
9. Làm sạch dữ liệu gồm 3 bước
Bước 1: Điền đầy các giá trị bị mất
Bước 2: Chuốt dữ liệu loại nhiễu
Bước 3: kiểm tra và sửa tính không nhất quán trong dữ liệu
13. Tích hợp
Ý nghĩa tích hợp và chuyển đổi dữ liệu, chuẩn hóa để tiến hành khai phá/học máy
Tập hợp: các giá trị dữ liệu tạo thành bộ hay khối
Tổng quát hóa (generalization): các dữ liệu "thô" được thay bằng các khái niệm đã chuẩn hóa
Chuẩn hóa (normalization): nếu phạm vi dữ liệu lớn thì đưa nó về phạm vi chuẩn
Xây dựng thuộc tính (attribute construction): thuộc tính mới thêm vào giúp quá trinh khai phá dữ liệu
16. Giảm chiều: Việc giảm kích thước của dữ liệu cần đồng thời giữ được tính phân tích dữ liệu, tăng tốc qúa trình khai phá/học máy.
Các chiến lược giảm kích thước dữ liệu
Lựa chọn tập con các thuộc tính: trong đó các thuộc tính không liên quan, dư thừa hoặc các chiều cũng có thể xóa hay loại bỏ
Giảm chiều: trong đó cơ chế mã hóa được sử dụng để giảm kích cỡ tập dữ liệu
Rời rạc hóa và trừu tượng khái niệm: trong đó các giá trị dữ liệu thô được thay thế bằng các khái niệm trừu tượng đã rời rạc hóa.