Docsity
Docsity

Prepare for your exams
Prepare for your exams

Study with the several resources on Docsity


Earn points to download
Earn points to download

Earn points by helping other students or get them with a premium plan


Guidelines and tips
Guidelines and tips

courses notes data mining, Exercises of Data Mining

this is data mining course notes

Typology: Exercises

2024/2025

Uploaded on 05/18/2025

joe-brown-21
joe-brown-21 🇺🇸

1 document

1 / 33

Toggle sidebar

This page cannot be seen from the preview

Don't miss anything!

bg1
Faculté des sciences
Centre de formation en technologies de linformation Version: H25
INF 735
Entrepôt et Forage de Données
Bloc 7
Techniques de réalisation et opération
par Robert J. Laurin
pf3
pf4
pf5
pf8
pf9
pfa
pfd
pfe
pff
pf12
pf13
pf14
pf15
pf16
pf17
pf18
pf19
pf1a
pf1b
pf1c
pf1d
pf1e
pf1f
pf20
pf21

Partial preview of the text

Download courses notes data mining and more Exercises Data Mining in PDF only on Docsity!

Faculté des sciences

INF 735

Entrepôt et Forage de Données

Bloc 7

Techniques de réalisation et opération

par Robert J. Laurin

Faculté des sciences INF735 Entrepôt et forage de données, Bloc 7 Préparé par Robert J. Laurin

Plan du cours – Les blocs

(Bloc1)

Introduction: Le besoin, concepts et définitions

(Bloc 4)

ETC:

Acquisition de

données

(Bloc 2)

Modélisation

(Entrepôt)

(Bloc 3)

Outils de

présentation,

OLAP et Forage

(Bloc 5) Architecture et Méta données

(Bloc 6) Définition des besoins et gestion de projet

(Bloc 7) Techniques de réalisation et opération

Faculté des sciences INF735 Entrepôt et forage de données, Bloc 7 Préparé par Robert J. Laurin

Concepts Clés du Bloc

  • L’entrepôt se veut aussi WEB
  • Passer du model logique au physique = rigueur
  • Infrastructure Informationnelle =/= opérationnelle
  • Intégrer la gestion de l’entrepôt à l’opération

Faculté des sciences

DATA WEBHOUSE

INF735 Entrepôt et forage de données, Bloc 7 Préparé par Robert J. Laurin

Faculté des sciences INF735 Entrepôt et forage de données, Bloc 7 Préparé par Robert J. Laurin

L’entrepôt et le Web/Intranet - Fournisseur

usine-moulage

Distributeurs Vendeurs

Fournisseurs

Clients

Internet

firewall

Entrepôt

utilisateur

utilisateur

Firewall

serveur

Serveur WEB

Faculté des sciences INF735 Entrepôt et forage de données, Bloc 7 Préparé par Robert J. Laurin

L’entrepôt et le Web/Intranet - Consommateur

usine-moulage

Distributeurs Vendeurs

Fournisseurs

Clients

Internet

firewall

Entrepôt

utilisateur

utilisateur

Firewall

serveur

Serveur WEB

Systèmes opérationnels

ETC

Faculté des sciences

Microsoft - Cloud

INF735 Entrepôt et forage de données, Bloc 7 Préparé par Robert J. Laurin

Faculté des sciences

Snowflake Cloud

INF735 Entrepôt et forage de données, Bloc 7 Préparé par Robert J. Laurin

Faculté des sciences INF735 Entrepôt et forage de données, Bloc 7 Préparé par Robert J. Laurin

Passer du modèle logique au physique - étapes

  • Développer les standards:
    • Nomenclatures
    • Procédures de travail
    • Formulaires
    • Suivi de projet
    • Méthode de documentation
  • Analyser et créer les agrégats
    • Analyser les besoins et ajuster le design
  • Déterminer le schéma de partitionnement
  • Établir les options de regroupement
  • Préparer la stratégie d’indexation
  • Compléter le model physique

Create Table Dim_client

(Client_key Int not null,

Nom …);

Create Table Fact_sales

(…);

Faculté des sciences INF735 Entrepôt et forage de données, Bloc 7 Préparé par Robert J. Laurin

Passer du modèle logique au physique - étapes

Documenter… Documenter… Documenter…

Modèle

Logique

Modèle

Physique

Noms standardisés

Types de données en attributs

Définir structures de clés

Créer index (après ETC initial)

Créer les tables

Implanter sécurité

Définir les contraintes au SGBD

Passer le schéma

étoile à la réalité du

SGBD

Faculté des sciences INF735 Entrepôt et forage de données, Bloc 7 Préparé par Robert J. Laurin

Modèle physique - Performance

Les Indexes prennent souvent plus d’espace que les données dans un

entrepôt!

  • Lecture seulement → Aucune préoccupation quant au nombre

d’écritures requises

+ Sauf lors d’alimentation où il est préférable d’arrêter l’indexation

  • Optimiser pour la performance de la recherche = + d’indexes

Choisir un plus gros « block size »!

  • Entrepôt: 32K (lire plusieurs lignes à la fois)
  • OLTP: généralement 8K

Faculté des sciences INF735 Entrepôt et forage de données, Bloc 7 Préparé par Robert J. Laurin

Index – Bit-mapped

Valeurs du domaine / Nom du client

Célibataire Marrié Divorcé Veuf Pattern

Grand Talent 1 0 0 0 1000 Petit Trot 0 0 1 0 0010 Gros Louis 0 0 0 1 0001

Grand Galop 0 1 0 0 0100

La recherche par statut marital peut se faire sur l’index Bit-map.

Faculté des sciences

INFRASTRUCTURE

INF735 Entrepôt et forage de données, Bloc 7 Préparé par Robert J. Laurin

Faculté des sciences INF735 Entrepôt et forage de données, Bloc 7 Préparé par Robert J. Laurin

Block Size

  • OLTP (Systèmes Opérationnels) = 8 k (INF732)
    • Traitement souvent 1 dossier à la fois (gros block inutile)
    • Blocks souvent ajoutés ou modifiés
    • Retour au disque efficace avec le moins d’items possible
  • Entrepôt = 32 k (INF735)
    • On traite plus de volume, pas 1 dossier à la fois
    • Blocs souvent entièrement utilisés
    • Pas de « write » donc pas de mouvement de la mémoire vers le disque

X