Thema OLAP Ondanks verschillen genoeg mogelijkheden voor integratie
OLAP en datamining: niet apart maar samen Jaap Verhees en Rob Peters
Hoe kan men snel en efficiënt de interessantste combinaties van meetwaarden en dimensies uit een OLAP-kubus halen? Hoe kan men de meest relevante dimensieniveaus voor een OLAP-omgeving bepalen? Wat te doen wanneer resultaten van datamining snel en flexibel moeten worden geverifieerd? Degelijke vragen kunnen worden beantwoord door integratie van OLAP en datamining. In het artikel “Mine your own business” in DB/M nummer 3/2003 is al kort een praktijkvoorbeeld uit de marketing aangestipt, waarin voor bepaling van producten en meest winstgevende doelsegmenten, associatieregels worden gevonden door middel van toepassing van datamining-techniek op OLAP-data. In dit artikel wordt gesteld dat datamining-resultaten verder kunnen worden benut in de OLAP-omgeving maar ook omgekeerd, dat OLAP-resultaten van nut zijn in de dataminingomgeving.
Datamining en OLAP zijn technologieën die beiden worden
Bijvoorbeeld, in het verzekeringswezen heeft de datawarehouse-
gebruikt binnen de Business Intelligence-discipline. Tot nu toe
dimensie Klant attributen zoals leeftijd, huwelijksstatus, aantal
worden beide productfamilies gescheiden ingezet, omdat gebrui-
kinderen, woonwerkafstand, aantal jaren klant. Dergelijke attribu-
kers tot verschillende groepen behoren. Het onderscheid tussen
ten kunnen gerepresenteerd worden of als een additionele dimen-
deze groepen is gebaseerd op afwijkende specialismen.
sie of als een attribuut-dimensie. Het laatste betekent dat een attribuut simpelweg als een label wordt toegevoegd aan de basis-
OLAP nu
dimensie.
Een OLAP-kubus is een multidimensionale kijk op bedrijfsdata. Gangbare dimensies zijn nog steeds Tijd, Product, Markt,
Datamining nu
Geografie, Verkooporganisatie, Scenario (plan tegenover realisa-
Tegenwoordig is datamining niet alleen dusdanig data-gestuurd
tie) en een meetwaarde-dimensie met meetwaarden zoals Omzet,
dat het voorheen onbekende of onverwachte patronen en regels
Kosten van Verkochte goederen, Winst, of ratio’s zoals
vindt in de data in een datawarehouse of een specifieke datamine.
Winstpercentage en ROI. Elke dimensie kan een hiërarchische
Datamining-technologie is nu ook in staat om operationele data-
structuur bevatten. Zo kan de dimensie Tijd opgedeeld zijn in
sets continu te monitoren en in ‘near real-time’ een nieuwe obser-
jaren, de jaren in kwartalen, de kwartalen in maanden, enzovoort.
vatie of record te scoren (het toepassen van bestaande
Een OLAP-tool maakt een snelle aggregatie van meetwaarden
datamining-modellen zoals patronen of beslisregels of associatie-
langs de dimensie hiërarchieën mogelijk. Tevens laat deze tool toe
regels op nieuwe data).
dat subkubussen worden geselecteerd via simpele navigatie-ope-
Het gaat zelfs nog verder dan ‘near real-time scoring’ want ook de
raties zoals slice and dice, pivot en drill.
datamining-modellen zelf kunnen tegenwoordig geautomatiseerd worden herberekend, op basis van de meest recente observaties.
In de praktijk bestaat de lay-out van een OLAP-kubus uit een
Dit is mogelijk dankzij de inzet van datamining-operaties als
hiërarchie die de bedrijfsanalisten al een paar jaar gebruiken in
database extenders, zoals wordt gedaan door de grootste data-
hun rapportages. Zo is het bijvoorbeeld in het bankwezen nog
base-leveranciers (IBM, Microsoft, Oracle).
steeds gangbaar dat de dimensie Klant alleen geaggregeerd kan
De belangrijkste datamining-operaties die momenteel worden
worden langs de klantsegmenten ‘particulieren’, ‘ondernemers’,
ingezet zijn:
en ‘publieke overheid’. Andere attributen van de datawarehouse-
Classificatie, gebruikt historische data om een model te bouwen
dimensie Klant worden dan niet opgenomen in de OLAP-kubus.
van een bepaald concept, waarna dat model later wordt gebruikt
Database Magazine - Nummer 5 - september 2003
15
Thema OLAP om te voorspellen of een nieuwe observatie voldoende overeen-
Online in OLAP. Datamining veronderstelt juist dat de data op het
komt met het concept. Bijvoorbeeld, we kunnen een model bou-
meest granulaire niveau voorhanden zijn en dat deze (operatione-
wen voor minder loyale klanten en dan later voorspellen of
le) data worden ontgonnen in de mining-stap van het proces.
bepaalde nieuwe klanten van het type minder loyale klant ‘dreigen’ te worden;
Bij OLAP gaat men ervan uit dat de kennis die is opgebouwd in
Database segmentatie of Clustering, verdeelt een database in seg-
het bedrijf over klanten, producten, regio’s, enzovoort, zichtbaar
menten die gelijksoortige records bevatten. Dit gebeurt op basis
zal zijn in de structuur van de kubussen. Immers, deze komen ook
van een aantal gekozen attributen en hun waarden. Bijvoorbeeld,
terug in de bestaande periodieke rapportages tussen afdelingen
‘moeders met twee of meer kinderen, met een professie en
(marketing, financiën, inkoop, verkoop). Hiërarchieën in OLAP-
woonachtig in de Randstad’ kunnen een interessant segment zijn
dimensies duiden dan ook regelmatig op bedrijfsregels.
voor een bank met spaarrekeningen, maar ook bijvoorbeeld voor een fast food-keten of organisatie met vakantiehuisjes; Associatie, vindt relaties tussen producten, diensten of andere
Ondanks de verschillen is er reden om OLAP en datamining te integreren
items die klanten neigen – tegelijkertijd of in de loop van de tijd in een bepaald tijdsvak – te kopen. Supermarkten gebruiken een variant van deze operatie, ‘market basket analysis’, om producten gezamenlijk te tonen in een schap. Boekwinkels op internet, zoals Amazon, gebruiken weer een andere variant van deze operatie en betitelen de resultaten als ‘recommendations’.
Datamining-technologie daarentegen is beperkt in de opname,
De belangrijkste leveranciers van datamining-tools zijn op dit
weergave en het benutten van bestaande bedrijfsregels. De wer-
moment SAS, IBM, en SPSS met Microsoft en Oracle als meest
king van de bedrijfsregels zit versluierd in de databasestructuur
nabije volgers.
zelf (door middel van foreign keys en constraints), en in de records, datatypen en toegestane waarden van de data zelf.
Verschillen Ter verduidelijking staan in de tabel in afbeelding 1 de belangrijk-
OLAP stelt de gebruiker in staat eenvoudig data te selecteren en
ste verschillen tussen OLAP en datamining opgesomd.
in en uit te zoomen op die data. Daarbij worden de data iedere
Het eerste item somt het belangrijkste verschil op: OLAP wordt
keer geaggregeerd voor andere combinaties van dimensies en op
gestuurd door de eindgebruiker; de analist genereert een
een ander niveau. Daarentegen bevat datamining een groot scala
hypothese voor de bedrijfsproblematiek en gebruikt dan het
aan technieken waaronder neurale netwerken, beslisbomen, gene-
OLAP-tool om deze hypothese te toetsen. Haaks hierop staat dat
tische algoritmen, nearest neigbour, en radiaal basis-functies. En
in datamining het tool wordt ingezet om uit de beschikbare data
daarnaast kent datamining inmiddels verschillende disciplines
een hypothese te genereren. Anders gezegd, bij OLAP-analyse
gericht op specifieke applicaties. Voorbeelden zijn multimedia-
sturen de gebruikers de exploratie terwijl bij datamining de tools
mining, tekst-mining, web-mining.
de exploratie uitvoeren.
De OLAP-aanpak maakt tegenwoordig gebruik van het RDBMS, maar zo heeft de variant MOLAP nog steeds een specifieke multi-
In het geval van OLAP-analyse zullen over het algemeen de data
dimensionale databasestructuur als argument. De eigenlijke meet-
geaggregeerd zijn. Dit is vooral ingegeven doordat de meeste
waarden zijn natuurlijk numerieke waarden, die geaggregeerd
kubus lay-outs zijn gebaseerd op periodieke rapportages, die al
moeten kunnen worden via slicing en dicing, en categoriale
eerder bestonden binnen het bedrijf. De preaggregatie is er vooral
waarden die geordend kunnen worden in geval van navigatie.
om de snelheid te bereiken die verwacht wordt vanwege de term
De bestaande datamining-technologie werkt over het algemeen op
OLAP
Datamining
‘Hypothesis driven’ en ‘User driven’ ‘
Data driven’ en ‘Tool driven’
Deductive OLAP
90% geaggregeerd, 10% detailniveau 90% operationeel dataniveau, data
10% geaggregeerde en getransformeerde data
Expliciete bedrijfsregels
Impliciete bedrijfsregels
Verschillende operaties en varianten
Verschillende technieken en disciplines
MDDBMS of RBDMS
Flat files of RDBMS
Afbeelding 1: Tabel verschillen tussen OLAP en datamining.
16
Experts Knowledge Data Inductive Data Mining
Afbeelding 2: OLAP versus datamining wat betreft kennisopbouw.
Database Magazine - Nummer 5 - september 2003
verkoper twee. Dergelijke resultaten kunnen dan worden geana-
Growth of possibilities 10.000.000
lyseerd in de OLAP-kubus. Door regelmatig deze datamining-
1.000.000
analyse uit te voeren kan de OLAP-analyse worden gestuurd. Ook bij het definiëren van dimensies kan datamining OLAP
Results
100.000
ondersteunen. Het definiëren van een hiërarchie van klanten is
10.000 1.000
makkelijk te doen in een OLAP-tool, bijvoorbeeld op basis van
100
geografische informatie. Zo is het gebruik van marktregio’s in een
10 1
OLAP-kubus gangbaar. Echter, een hiërarchie die makkelijk is te AB
No. Combinations
ABC
ABCD ABCDE ABCDEF Dimension Combinations
ABCDEFG
definiëren, zoals een geografische hiërarchie, hoeft daarmee niet automatisch de meest waardevolle informatie over de bedrijfsvoering te geven.
Afbeelding 3: Toename van het aantal combinatiemogelijkheden bij toename van het aantal dimensies van twee naar zeven.
Datamining daarentegen kan een klantsegmentatie opleveren die meer informatie over de klanten meeneemt, zoals gezinsstatus, geschat inkomen, omvang van de woonplaats, en andere demo-
een RDBMS waarin de diverse typen data als bekende database-
grafische data. Zulke segmenten, of zogenaamde clusters, kunnen
veldtypen of als Large OBjects (LOB) zijn opgeslagen. Zo is een
dan gebruikt worden om een klantdimensie te definiëren in OLAP.
klant-attribuut als leeftijd, opgeslagen als een veldtype Integer.
Een begripsvolle korte omschrijving van elke afzonderlijke cluster
Maar een AVI-bestand, met een klacht van de klant opgenomen
kan worden toegevoegd als een element binnen de hiërarchie-
tijdens interactie met het callcenter, kan evenwel dienen voor
structuur voor de dimensie klant. Dergelijke datamining-resulta-
(multimedia) datamining en is dan opgeslagen als een BLOB
ten zullen daarom toegevoegd worden aan de OLAP-kubus. De
(Binary Large OBject), als input voor de datamining-techniek.
bedrijfsanalist kan zo met de vertrouwde OLAP-analyse tools doorwerken. Waarom zouden we de investering in het gemak van het
Ondanks deze verschillen is er reden om OLAP en datamining te
gebruik van OLAP-tools teniet doen? Dat zou een desinvestering
integreren omdat beide technologieën elkaar kunnen complemen-
betekenen. Juist deze vorm van integratie maakt ook de investe-
teren in bedrijfsanalyse. Juist het eerste punt van verschil, het
ringen in datamining meer waard voor een grotere gebruikers-
deductieve karakter van OLAP en het inductieve karakter van
groep.
datamining, is het punt waarop ze elkaar kunnen aanvullen.
Effectieve verkenning Integratie
Waarschijnlijk zullen we voor het eigenlijke datamining-proces
De integratie van OLAP en datamining heeft twee kanten.
(definieer bedrijfsdoelstelling, selecteer data, prepareer data, mine
Allereerst hebben resultaten van datamining een waarde voor de
the data, inzet van resultaat in bedrijf, actie) nog steeds een data-
OLAP-analist. Zo kan datamining de analyse van een OLAP-
mining-expert inzetten. We bereiken met integratie echter dat de
kubus sturen. Het aantal dimensies en het aantal hiërarchische
bedrijfsanalist deze datamining-resultaten makkelijker vertaalt
niveaus per dimensie bepalen het aantal combinatiemogelijkhe-
naar inzet en acties, omdat ze meer inzichtelijk zijn gemaakt
den. Voor ieder van deze combinaties kunnen de meetwaarden
binnen de OLAP-tool. Resultaten worden gepresenteerd in
geaggregeerd worden. Zo kunnen drie dimensies met twee, vier
bedrijfsterminologie (zoals klantsegmenten) in plaats van in
en vijf niveaus al 78 combinaties opleveren (2x4 + 2x5 + 4x5 +
statistisch en mathematisch jargon.
2x4x5). De meeste OLAP-kubussen hebben echter meer dimensies. Het is onmogelijk om manueel tijdens iedere analyse alle mogelijk interessante combinaties te onderzoeken (zie afbeelding 3). Bijvoorbeeld, welke combinatie van regio, seizoen, verkoper, producttype en kostprijs heeft de grootste invloed op de marge? Menig gebruiker zal daarom spoedig vervallen in het analyseren
OLAP en datamining zijn niet langer verzamelingen stand-alone technieken
van een aantal standaard combinaties die in het verleden interessant bleken, bijvoorbeeld regio en seizoen. Echter, bedrijf en markt veranderen en analyses uit het verleden kunnen hun rele-
Door het creëren van de mogelijkheden om datamining-visualisa-
vantie verliezen.
ties op te starten vanuit de eindgebruikersinterface van de OLAP
Dan is de OLAP-analist gebaat bij een tool die snel en efficiënt de
front-end tools zal de OLAP-analist nieuwe toelichtingen en ver-
interessante combinaties toont. Dit kan worden gedaan door data-
klaringen krijgen om de bedrijfsdata beter te begrijpen.
mining met de beslisboom-techniek. Met behulp van deze tech-
Datamining heeft in traditionele zin een enkele dimensie in het
niek wordt bijvoorbeeld getoond dat de hoogste marges worden
datawarehouse gebruikt naast vele attributen over deze dimensie.
behaald in regio noord in het derde kwartaal en in regio zuid door
Door nu kruis- of multidimensionale analyse van deze
Database Magazine - Nummer 5 - september 2003
17
we dimensie, meetwaarde, of als attribuut-dimensies. Cognos Database: (Current Alias Table: Default) Customer private individuals (+) corporate customers (+) public authorities (+) Measures Accounts (Dynamic Calc) Scenario Time Period Time (Dynamic Calc) Business Unit Geography Product
offreert regressie- en extrapolatie-functionaliteit in de nieuwste versie van haar OLAP-tool Powerplay. In de vakliteratuur worden beide kanten van integratie aangeduid met ‘mining then cubing’ respectievelijk ‘cubing then mining’.
Toepassingen Het beschikbaar stellen van datamining-resultaten aan de bedrijfsanalist die multidimensionale OLAP front-end tools gebruikt, geeft nieuwe inzichten om bedrijfsdoelstellingen op te lossen zoals:
Afbeelding 4: OLAP lay-out van een initieel ruwe hiërarchie van klantgroepen.
- Het vinden van winstgevende segmenten; - Het begrijpen van koopgedrag; - Het optimaliseren van product-portfolio’s; - Het behouden van klanten door inzicht te krijgen in de
Database: (Current Alias Table: Default) Customer private individuals (+) seniors (+) families with children (+) yuppies (+) other (+) corporate customers (+) public authorities (+) Measures Accounts (Dynamic Calc) Scenario Time Period Time (Dynamic Calc) Business Unit Geography Product
loyaliteitfactoren. Deze doelstellingen zijn traditioneel altijd al aangepakt met datamining-tools. Door het integreren van patronen en regels die zijn gevonden door middel van mining-technieken, met de krachtige multidimensionale analyse-mogelijkheden van OLAP, krijgt de bedrijfsanalist nieuwe inzichten en verklaringen voor bijvoorbeeld het waargenomen klantgedrag. Drie voorbeelden beschrijven hoe datamining en OLAP kunnen integreren. Datamining kan gebruikt worden om informatie te vinden die moeilijk of zelfs onmogelijk is te vinden via OLAP. OLAP kan echter een geschikt tool zijn om datamining-resultaten
Afbeelding 5: Klantsegmenten als dimensies in een OLAP lay-out.
makkelijk in de bedrijfscontext te plaatsen. Men kan bijvoorbeeld een klantsegmentatie met behulp van datamining bepalen/analyseren en dan vias OLAP kijken naar de werkelijke verkoopcijfers
datamining-resultaten toe te laten, krijgen we (extra) inzichten.
van een specifiek segment voor een specifieke groep van produc-
De tweede kant van de integratie betreft het nut van OLAP voor
ten. Door de groep gebruikers van mining-resultaten te verbreden
de datamining-exercities. OLAP kan de eerste stappen in de uit-
wordt de opbrengst van de investeringen in datamining-technolo-
voering van het datamining-proces verlichten door de datamining-
gie vergroot.
expert te helpen met zijn/haar initiële kennisopbouw omtrent de data. Bijvoorbeeld, door aandacht te richten op belangrijker varia-
Voorbeeld 1. Segmentatie/cluster van klanten van een bank.
belen (volgens de bedrijfsregels waar de betreffende OLAP-kubus
De klantdimensie zoals de bank die initieel heeft opgezet en in
op rust), of door uitersten en uitzonderingen te identificeren of
gebruik heeft in haar OLAP-kubus, toont een lay-out met een vrije
door interacties te vinden. Deze operaties zijn belangrijk om tot
grove hiërarchie van klantgroepen, zie afbeelding 4.
zinvolle datamining-resultaten te komen. Want hoe beter we de
De focusgroep van de bank bestaat uit private klanten en het
betekenis van verschillende data begrijpen, hoe effectiever het
datawarehouse bevat veel attributen zoals leeftijd, gezinsstatus,
verkennend datamining-proces zal verlopen.
naast gemiddeld jaarinkomen. Een clustermining-techniek met alle attributen vindt de volgende groepen klanten: Senioren;
Bedrijfsregels zijn expliciet zichtbaar in de lay-out van een OLAP-
Families met kinderen; Yuppies; Anders.
kubus, in de vorm van dimensies en attribuut-dimensies. Deze
Deze klantsegmenten worden geladen in de OLAP-kubus, als een
dimensies en de onderliggende meetwaarden zijn zinvol voor
extra niveau in de customer-dimensie, zie afbeelding 5. Zo wordt
datamining, omdat ze metadata naast data bevatten. Dit is van nut
dan dimensionale analyse van elk toegevoegd klantsegment via
in vooral de eerste drie stappen van het totale datamining-proces.
geografie, product en tijd ondersteund. Zodoende kan de OLAP-
De leveranciers van OLAP-tools pakken deze tweede kant nu op.
analist een schijf bekijken die alleen het klantsegment “families
De OLAP-module Analysis Services binnen Microsoft SQL Server
with children” toont om verdere analyse uit te voeren op dit speci-
2000 biedt de mogelijkheid om een datamining-model te baseren
fieke deel van de kubus, dat nu door middel van dimensies op
op OLAP-kubusinformatie en de resultaten te tonen als een nieu-
basis van datamining is opgebouwd.
Database Magazine - Nummer 5 - september 2003
19
Thema OLAP Via traditionele OLAP-analyse was de analist tot de conclusie gekomen dat sinaasappelsap niet meer op voorraad moet worden
Customer Measures Accounts (Dynamic Calc) Scenario Time Period Time (Dynamic Calc) Business Unit Geography Product Soft drinks (+) Orange juice (+) Apple juice (+) Colas (+) Alcoholics (+) Beer (+) Champagne (+) Wine (+) Brandy (+) Pastry (+) crackers (+) Dairy Products (+) milk (+) cheese (+) yoghurt (+)
genomen omdat het bijvoorbeeld te weinig winst levert. Door de associatie met de zeer winstgevende brandy is de combinatie van beide producten ook winstgevend, zodat het verwijderen van sinaasappelsap uit het productschap tot minder winst kan leiden. Dit alles kan ook worden geanalyseerd in combinatie met andere dimensies, door bijvoorbeeld te kijken naar winst van geassocieerde producten per regio. Voorbeeld 3. Voorspelde waarden in de OLAP kubus. Voorspellingen van een neurale predictie als datamining-techniek is van nut om te bepalen of een klant van een bank een hoog of laag kredietrisico gaat vormen, of bijvoorbeeld dat een klant neigt om zijn bankrekening te sluiten en er een bij de concurrent te openen. De voorspelde waarde wordt dan toegevoegd aan de OLAP lay-out, als een extra meetwaarde in een separate kolom. Multidimensionale analyse kan dan bijvoorbeeld leiden tot de conclusie : “Klantverloop is in Amsterdam hoger dan wordt voorspeld”. Natuurlijk kunnen de voorspelde waarden ook toegevoegd worden aan de lay-out als discrete dimensies, op dezelfde wijze
Afbeelding 6: Producthiërarchie in OLAP lay-out.
als de cluster identifiers in het eerste voorbeeld.
Product Accessoires (~) Drinks (+) Orange juice (+) (Shared Member) Brandy (+) (Shared member) Cheese-cracker (+) cheese (+) (Shared Member) cracker (+) (Shared Member)
Conclusie Tegenwoordig zijn OLAP en datamining niet langer verzamelingen van stand-alone technieken die alleen gebruikt worden door respectievelijk OLAP-gebruikers en datamining-specialisten. De integratie van datamining en OLAP verhoogt de kwaliteit van OLAP-analyses door vooral sturing, dimensie-uitbreidingen en nieuwe meetwaarden. De kwaliteit van datamining wordt verhoogd door onder andere beter inzicht in data en betere sturing van de exploratie.
Afbeelding 7: Associaties als separate items in de productdimensie.
De toenadering tussen OLAP en datamining blijkt ook uit de ontwikkeling van die producten. Database-geïntegreerde OLAPfunctionaliteit en datamining als extenders in een relationele
Voorbeeld 2. Market basket-analyse in de detailhandel.
database-omgeving, maken het eenvoudiger voor beide gebrui-
Een typische OLAP lay-out in de detailhandel toont een hiërar-
kersgroepen om data, metadata en informatie met elkaar uit te
chie/taxonomie in de product dimensie zoals in afbeelding 6.
wisselen. Verder biedt het een nauwere integratie in de uiteinde-
Door nu market basket-analyse uit te voeren op de individuele
lijke bedrijfsapplicatie, die gevoed zal worden met de kennis
transacties (welke producten worden samen in gekocht) wordt
waarop dan resultaatgedreven bedrijfsmatige acties ondernomen
bijvoorbeeld de volgende associatieregel gevonden: “Als een klant
zullen worden. Kortom, OLAP en datamining zullen steeds min-
sinaasappelsap koopt dan koopt deze in 60 procent van alle geval-
der als aparte tools worden beschouwd en geïntegreerd worden
len ook brandy.” Dergelijke regels kunnen dan toegevoegd wor-
toegepast.
den aan de OLAP lay-out. Dat kan op twee manieren, als eerste: voeg alle geassocieerde producten toe als gedeeld lid onder het
Dr. Jaap Verhees (
[email protected]) is adviseur.
product waar ze mee zijn geassocieerd. En als tweede manier:
Dr. Rob Peters (
[email protected]) is senior consultant Business
voeg alle geassocieerde producten als separaat lid toe aan de pro-
Intelligence bij Ordina.
ductdimensie. Afbeelding 7 toont het tweede alternatief. In beide gevallen kunnen de productassociaties natuurlijk worden gefilterd en alleen de meest interessante (wat betreft betrouwbaarheid en ondersteuning) worden toegevoegd aan de OLAP lay-out. In beide gevallen kan de analist de implicaties van bedrijfsbeslissingen makkelijk zien.
20
Literatuur John L. Doran, Business Intelligence Building Blocks: The Challenge of Gaining Business Insight. DM Review Online, maart 2003. Paul F.H. van der Linden, Business Intelligence: drie werelden komen samen. DB/M nummer 6, oktober 2002. IBM, DB2 OLAP Server, OLAP Miner User’s Guide v8.1, IBM, maart 2002.
Database Magazine - Nummer 5 - september 2003
