Survey
* Your assessment is very important for improving the workof artificial intelligence, which forms the content of this project
* Your assessment is very important for improving the workof artificial intelligence, which forms the content of this project
KHAI PHÁ DỮ LIỆU (DATA MINING) Bài 1 TỔNG QUAN 1 Chương trình học Bài 1: GIỚI THIỆU TỔNG QUAN VỀ DATA MINING Bài 2: BÀI TOÁN TÌM TẬP PHỔ BIẾN VÀ LUẬT KẾT HỢP Bài 3: BÀI TOÁN VỀ DÃY PHỔ BIẾN (EPISODE) Bài 4: LÝ THUYẾT TẬP THÔ VÀ ỨNG DỤNG TRONG PHÂN LỚP Bài 5: GOM CỤM BẰNG THUẬT TOÁN Hard C_Means Tài liệu : Giáo trình TS Đỗ Phúc và các bài tham khảo trên lớp Mai Xuân Hùng 2 Đánh giá môn học Sinh viên 1 bài thi theo hình thức tự luận Cộng thêm điểm cho những sinh viên cài đặt các thuật toán trong chương trình môn datamining Mai Xuân Hùng 3 Khai phá dữ liệu là gì ? • Rút trích thông tin hữu ích, chưa biết, tiềm ẩn trong khối dữ liệu lớn • Phân tích dữ liệu bán tự động Mai Xuân Hùng 4 Khai phá dữ liệu có ích lợi gì ? Cung cấp tri thức hỗ trợ ra quyêt định Dự báo Khái quát dữ liệu Mai Xuân Hùng 5 Tiến trình khai phá dữ liệu(1) Nghiên cứu lĩnh vực Tạo tập dữ liệu đầu vào Tiền xử lý/ làm sạch, mã hóa Rút gọn / chiều Chọn tác vụ Khai thác dữ liệu Mai Xuân Hùng 6 Tiến trình khai phá dữ liệu(2) Chọn các thuật giải KTDL KTDL: Tìm kiếm tri thức Đánh giá mẫu tìm được Biểu diễn tri thức Sử dụng các tri thức vừa khám phá Mai Xuân Hùng 7 Từ dữ liệu đến quyết định Quyết định • Promote product A in region Z. Tri thức • Mail ads to families of profile P • Cross-sell service B to clients C • A quantity Y of product A is used in region Z • Customers of class Y use x% of C during period D Thông tin • X lives in Z Dữ liệu • Customer data • S is Y years old • X and S moved • W has money in Z • Store data • Demographical Data • Geographical data Mai Xuân Hùng 8 Giải thích Dữ liệu – thông tin – tri thức • + Dữ liệu: Là sự diễn dịch những trường • đơn lẽ ví dụ: Nguyễn Thị Hoa Mai, Sinh viên, ngành CNTT, môn CSDL. + Thông tin: Là mối liên hệ các thành phần của dữ liệu, Ví dụ: Nguyễn Thị Hoa Mai là sinh viên ngành công nghệ thông tin. Ngành công nghệ thông tin có môn CSDL. Mai Xuân Hùng 9 Dạng luật kết hợp Tri thức: Là mối liên hệ của các thành phần thông tin, có hai cấp độ. • Chỉ giới hạn một nhóm nhỏ thông tin. Ví dụ: • Nguyễn Thị Hoa Mai là sinh viên ngành công nghệ thông tin nên phải học môn CSDL. Là những thông tin mang tính quy luật phổ biến. Ví dụ: Nếu X là sinh viên ngành CNTT thì X phải học môn CSDL. Mai Xuân Hùng 10 ví dụ Dữ liệu khổng lồ từ: Internet, từ nhiều lĩnh vực trong đời sống xã hội, quản lý kinh tế, khoa học kỹ thuật …Ví dụ: CSDL dân cư Thành Phố HCM có hơn 50 triệu dân khẩu, CSDL tuyển sinh đại học hơn 1 triệu. Từ khối dữ liệu này =>rút trích những thông tin hữu ích, chưa biết tiềm ẩn trong khối dữ liệu hỗ trợ tiến trình ra quyết định, dự báo, các nhà nghiên cứu đã phát triển các phương pháp, kỹ thuật và phần mềm mới hỗ trợ tiến trình khám phá, phân tích tổng hợp thông tin. Mai Xuân Hùng 11 Ví dụ Khai thác thông tin truyền thống : 80 % thông tin từ CSDL, còn lại 20% thông tin nhưng chứa đựng thông tin quan trọng. Khai thác dữ liệu-Data Mining (KTDL) là tiến trình khám phá tri thức tiềm ẩn trong các CSDL. Cụ thể hơn, đó là tiến trình trích lọc, sản sinh những tri thức hoặc các mẫu tiềm ẩn, chưa biết nhưng hữu ích từ các CSDL lớn. Mai Xuân Hùng 12 Hình thức KTDL KTDL theo hướng kiểm tra: Đề xuất giả thiết và hệ thống kiểm tra tính đúng đắn của giả thuyết, KTDL theo hướng kiểm tra gồm: truy vấn, báo cáo, phân tích thống kê. KTDL theo hướng khám phá: Tìm kiếm những tri thức tiềm ẩn trong CSDL. Mai Xuân Hùng 13 Ứng dụng của khai thác dữ liệu Trong ngân hàng: Dự đoán rủi ro tính dụng Trong thương mại điện tử: Web, bán hàng qua mạng Công nghệ sinh học và dược phẩm : Phân tích các dữ liệu di truyền Nhân sự: Chọn ứng cử viên khi tuyển dụng Mai Xuân Hùng 14 CÁC KỸ THUẬT KHAI THÁC DỮ LIỆU Tập phổ biến và luật kết hợp Khai thác mẫu tuần tự Tập thô (reduct) Phân lớp dữ liệu Gom cụm (Clustering) Mai Xuân Hùng 15 Tập phổ biến và luật kết hợp Tìm các thuột tính xuất hiện phổ biến của các đối tượng dữ liệu. Từ tập phổ biến này ta tiến hành tạo ra các luật kết hợp nhằm phát hiện khả năng xuất hiện đồng thời của các thuộc tính trong tập các đối tượng. Nếu mua X thì sẽ mua Y. (có 66.6% khách hàng mua Bia thì sẽ mua mực) Mai Xuân Hùng 16 Khai thác mẫu tuần tự Khai thác các mẫu tuần tự phổ biến phản ánh mối quan hệ giữa các biến cố trong CSDL hướng thời gian X Y sự xuất hiện biến cố X sẽ dẫn đến sự xuất hiện của biến cố Y. 80% khách hàng gởi tiền tiết kiệm trên 80 triệu thì 3 tháng sau gởi thêm 20 triều nữa. Dùng để khám phá xu thế phát triển của đối tượng. Mai Xuân Hùng 17 Tập thô (reduct) Dùng để rút gọn chiều trong bài táon phân lớp dữ liệu Mai Xuân Hùng 18 Phân lớp dữ liệu Khám phá các luật phân loại cho tập dữ liệu. Ví dụ: Những bệnh nhân có các triệu chứng ho, lạnh, nhức đầu thì được phân lớp vào bệnh sốt rét. Mai Xuân Hùng 19 Gom cụm (Clustering) Phân lớp dữ liệu là tiến trình phân các đối tượng thành các cụm đối tượng. Sao cho: • Các đối tượng trong cùng một cụm có mực • độ tương đồng càng cao Các đối tượng khác cụm có mức độ tương đồng thấp Mai Xuân Hùng 20