Download Entreposage, analyse en ligne et fouille de données

Survey
yes no Was this document useful for you?
   Thank you for your participation!

* Your assessment is very important for improving the work of artificial intelligence, which forms the content of this project

Document related concepts
no text concepts found
Transcript
Entreposage, analyse
en ligne et fouille de
données
Houssem Jerbi
IRIT - SIG/ED
[email protected]
Journée COMPIL " Bases de Données"
14/12/2010
PLAN
Introduction
„ Bases de données
„ Entrepôt de données
„ Technologie OLAP
„ Fouille de données
„ Conclusion
„
Houssem Jerbi- IRIT/SIG
2
Introduction: Système d’information
L’information: capital immatériel pour toute
organisation
„ Les « Data Trucs »
„
… Data
(Données)
… Database (Base de données)
… Data warehouse (Entrepôt de données)
… Datamart (Magasin de données)
… Data mining (fouille des données)
Houssem Jerbi- IRIT/SIG
3
PLAN
Introduction
„ Bases de données
„ Entrepôt de données
„ Technologie OLAP
„ Fouille de données
„ Conclusion
„
Houssem Jerbi- IRIT/SIG
4
Bases de données
„
Données transactionnelles
… Exemple:
„
données de stock, facturation,…
Modèle de données
… Le
plus utilisé: relationnel
… Normalisation: cohérence et non-redondance
des données
„
Requêtes ponctuelles, fréquentes
Houssem Jerbi- IRIT/SIG
5
PLAN
Introduction
„ Bases de données
„ Entrepôt de données
„ Technologie OLAP
„ Fouille de données
„ Conclusion
„
Houssem Jerbi- IRIT/SIG
6
Entrepôt de données
BD1
BD2
Transactions
BDn
BDm
BDs Transactionnelles
Data
Warehouse
Analyse
Houssem Jerbi- IRIT/SIG
• OLAP
• Fouille de données
7
Entrepôt de données: Architecture de
système d’information décisionnel
Sources (BDs)
Entrepôt
Magasins de données
Outils d’analyse
et fouille de données
ETL
ETL*
ETL
* ETL: Extract, Transform, Load
Houssem Jerbi- IRIT/SIG
8
Entrepôt de données
Sources
Entrepôt
Magasins de données
Outils d’analyse
et fouille de données
ETL
ETL*
ETL
„
„
Collecte toutes les informations sur tous les
sujets pour l’organisation
Espace de stockage centralisé qui permet de
stocker et d’historiser des données résumées
nécessaires à la prise de décision
Houssem Jerbi- IRIT/SIG
9
Magasin de données
Sources
Entrepôt
Magasins de données
Outils d’analyse
et fouille de données
ETL
ETL*
ETL
Extrait de l'entrepôt destiné à une classe
de décideurs
„ Modèle multidimensionnel qui facilite les
traitements décisionnels
„
Houssem Jerbi- IRIT/SIG
10
Outils ETL
Sources
Entrepôt
Magasins de données
Outils d’analyse
et fouille de données
ETL
ETL*
(1)
ETL
(2)
„
„
Alimentation de l’entrepôt (1) et extraction
des magasins (2)
Extract
… Accès
aux différentes sources
… Selon des règles (déclencheurs) ou requêtes
… Périodique
Houssem Jerbi- IRIT/SIG
11
Outils ETL
„ Transform
… Unification
des modèles (sources hétérogènes)
… Gestion des inconsistances des données
sources, élimination des doubles, etc.
„ Load
… Chargement
dans l'entrepôt ou dans les
magasins
… Périodicité parfois longue
Houssem Jerbi- IRIT/SIG
12
Magasins: BD multidimensionnelles
„
Modèle facilitant l’analyse décisionnelle
… Sujets
(faits) et
… Axes d’analyse (dimensions)
„
Niveaux de granularité
Temps
Prix Vente
X
Clients
Tlse Paris Rome Milan
Produits
Houssem Jerbi- IRIT/SIG
13
Magasins: BD multidimensionnelles
„
Modèle facilitant l’analyse décisionnelle
… Sujets
(faits) et
… Axes d’analyse (dimensions)
„
Niveaux de granularité
Temps
Prix Vente
X
Clients
Tlse Paris Rome Milan
Produits
France
Italie
Houssem Jerbi- IRIT/SIG
14
Magasins: BD multidimensionnelles
„
Métaphore du cube
… 500:
Somme des ventes en 2008 du produit P2 pour
le client C1
2009
500
2008
2007
C2
C1
P1
P2
P3
Houssem Jerbi- IRIT/SIG
15
PLAN
Introduction
„ Bases de données
„ Entrepôt de données
„ Technologie OLAP
„ Fouille de données
„ Conclusion
„
Houssem Jerbi- IRIT/SIG
16
Analyse en ligne OLAP
On-Line Analytical Processing: OLAP
„ Opérations de manipulation de données
„
… Forage
„
Roll up : Agréger selon une dimension
…
„
Jour Î Mois
Drill down : Détailler selon une dimension
…
Mois Î Jour
… Sélection
…
et projection selon un axe
Année = 2010 (année en cours)
Houssem Jerbi- IRIT/SIG
17
OLAP: Opérations de manipulation
„
Opérations de manipulation de données
… Rotation
…
„
: Changer un axe de l’analyse
(Année,Produit)Î(Ville, Produit)
Structure de visualisation adaptée: Table
multidimensionnelle
Houssem Jerbi- IRIT/SIG
18
OLAP: Exemple
DRILLDOWN
SLICE
Houssem Jerbi- IRIT/SIG
19
PLAN
Introduction
„ Bases de données
„ Entrepôt de données
„ Technologie OLAP
„ Fouille de données
„ Conclusion
„
Houssem Jerbi- IRIT/SIG
20
Fouille de données (Data mining)
„
Au-delà de l’OLAP: la fouille des données
… OLAP:
offrir une vue de « ce qui se passe »
… Data mining: prévoir « ce qui se passera » et
« pourquoi »
s'appuie sur des techniques d'intelligence
artificielle
„ met en évidence des liens cachés entre les
données.
„
Houssem Jerbi- IRIT/SIG
21
Fouille de données
Prévoir ce qui se passera dans le futur
„ Classifier des personnes ou des entités en
groupes
„
… par
reconnaissance de motifs
… En se basant sur leurs attributs
„
Associer les évènements qui pourraient
survenir ensemble
Houssem Jerbi- IRIT/SIG
22
Exemple: Données médicales
Entrepôt pour le suivi de maladies
infectieuses
„ Analyse OLAP
„
… Analyse
du taux d’affectation par ville, par
département, par année
„
Fouille des données
… Corrélation
entre le taux d’affectation et le
taux de présence de certains polluants
Houssem Jerbi- IRIT/SIG
23
Conclusion
Besoin de prise de décision: entrepôt de
données
„ Dichotomie Entrepôt/Magasin de données
„ Application de l’OLAP aux données
scientifiques
„
Houssem Jerbi- IRIT/SIG
24
Related documents
EGC2011_04052010
EGC2011_04052010