L'Echo Pilote: Nouveau Blog BI MS en Français

Découvrez un nouveau blog consacré à la BI Microsoft et écrit en français: L'Echo Pilote.
Lancé par les équipes Microsoft France, ses objectifs sont les suivants:

1. Démystifier ce qu’est le décisionnel
2. Partager des conseils d’utilisation
3. Créer une zone d’échange
4. Fournir gratuitement des accélérateurs prêts à l’emploi
   

URL: http://blogs.technet.com/echopilote/

PowerPivot: Point de vue Fonctionnel

Introduction


Depuis plusieurs années déjà, Excel possède une fonctionnalité permettant de créer des tableaux croisés dynamiques (PivotTables). Qu'ils soient fondés sur un cube de données, une base de données relationnelle ou même un onglet du fichier Excel, ces tableaux croisés dynamiques vont permettre d'analyser des données de façon agrégée (Somme, Moyenne, Nombre de lignes...) et de ventiler ces résultats par un ou plusieurs champs.


Exemple de PivotTable classique dans Excel:




Bien que très utile, cette fonctionnalité peut présenter un certain nombre de limitations:

• Par exemple vous ne pourrez pas faire de tableaux croisés regroupant les données de différentes sources ni même de plusieurs tableaux d'un même document Excel
• Si les données proviennent d'une base de données relationnelle et si la volumétrie est importante alors vous aurez des temps de réponse assez longs. C'est la raison pour laquelle on construit des cubes de données (OLAP) qui permettent de regrouper des données hétérogènes et de les restituer dans des temps de réponse très courts grâce à un système de pré-calcul des agrégations. Cependant, la construction de ces cubes est un projet à part entière qui nécessite une modélisation et des connaissances techniques, et il arrive que certains éléments dont vous pouvez avoir besoin tout de suite pour vos analyses ne soient pas encore présents dans ces cubes de données.

C'est là qu'intervient "PowerPivot", connu précédemment sous son nom de code projet: "Gemini".



Le produit


PowerPivot est un add-in gratuit d'Excel 2010 qui permet donc de dépasser les limites des PivotTables classiques. Grâce à un système d'analyse en mémoire (In-Memory), de grandes quantités de données vont pouvoir être manipulées avec des temps de réponse très courts. Là où avec un PivotTable classique vous manipuliez des milliers de lignes, avec PowerPivot ce seront des millions. L'autre atout de cet add-in est de pouvoir aller chercher des données dans des sources diverses et les croiser.

Onglet PowerPivot dans Excel 2010:



L'utilisation de ce composant peut se résumer en 2 grandes étapes:

1. Chargement des données
2. Création des tableaux croisés (ou graphes)

Chargement des données

Les types de sources de données disponibles sont assez variés:

• Fichier plat
• Base relationnelle
• Base multidimentionnelle (Cube OLAP)
• Flux RSS
• Rapport Reporting Services (SSRS)
• Toute donnée pouvant être copiée, d'une page web par exemple (Crtl C , Crtl V)
  

Les données pouvant donc venir de différentes sources, un éditeur de "relations" permet de les lier entre elles.

Environnement de chargement de données de PowerPivot:

Le grand avantage de l'outil par rapport à ses concurrents est sa simplicité. Il est en effet possible de l'utiliser sans connaissances techniques particulières. Aucun script ou code n'est présenté au créateur du rapport.

Il est cependant possible d'aller plus loin si on le souhaite en créant de nouveaux champs calculés au sein de la structure de données. On utilise pour cela un langage baptisé DAX (Data Analysis Expression) qui a une structure assez proche des fonctions Excel, enrichie de fonctions spécifiques à un environnement multidimensionnel.

Les données récupérées seront stockées en mémoire, puis dans le fichier Excel au moment de la sauvegarde de celui ci (compressées). Cela permet entre autre de pouvoir travailler en mode déconnecté à partir du moment où les données sont chargées.

Création des tableaux croisés et des graphes

Une fois les données chargées, reste à créer les tableaux croisés et les graphes qui serviront à l'analyse des données. Le tout sera appelé un tableau de bord. L'interface de création est similaire à celle des PivotTables classiques.


Vous pourrez également profiter des Slicers, nouvel élément d'Excel 2010 qui permet d'afficher la liste des membres d'un champ et d'appliquer des filtres sur les rapports suivant les sélections effectuées. L'atout de ces slicers est qu'il sont liés les uns aux autres.

Exemple de tableau de bord PowerPivot avec Slicers:



Partage des fichiers PowerPivot

Après avoir chargé les données et créé les tableaux croisés et les graphes, il est possible de partager le fichier avec d'autres utilisateurs. Cela peut se faire via le portail d'entreprise "Sharepoint 2010". L'avantage est que cet environnement est sécurisé et peut être administré par le service informatique de l'entreprise.


L'autre avantage est que du coup, seule la personne développant les rapports doit avoir Excel 2010 d'installé sur son poste, les autres personnes consultant ce fichier via Sharepoint et le service en ligne d'Excel (Excel Services).

Liste des fichiers PowerPivot déployés dans Sharepoint 2010:



Conclusion

PowerPivot permet donc d'aller plus loin qu'avec les PivotTables classiques d'Excel. Pouvant gérer de gros volumes de données avec des temps de réponse très courts et peu de connaissances techniques, il permettra aux personnes fonctionnelles qui le souhaitent, d'être en avance de phase par rapport à l'IT en créant des tableaux de bord personnalisés intégrant des données pas encore mises à disposition par la DSI.

Exemple de tableau de bord PowerPivot dans un de mes billets précédents


A suivre, le point de vue IT du produit...

PowerPivot Fonctionnels / IT

A quelques jours de la sortie de la CTP3 de PowerPivot (livrée séparément de la CTP SQL Server 2008 R2), j'ai pensé qu'il serait intéressant d'écrire deux articles présentant le produit et les besoins auxquels il répond:

• Un qui décrit le produit d'un point de vue fonctionnel, comment une personne "non technique" va utiliser le produit et dans quel cas.


• Un deuxième article plus orienté IT qui précisera comment une personne "technique" pourra profiter de l'outil et en assurer l'administration et quel est son positionnement face à Analysis Services.

Je reçois beaucoup de questions sur le produit et j'espère que ces articles permettront d'y répondre.

Bonne lecture.

PerformancePoint Services 2010 - Suite

Depuis mon dernier article présentant les nouveautés de PerformancePoint Services 2010, l'équipe du produit a commencé à diffuser des images du produit via son blog. On peut donc voir à quoi ressemblera l'interface de cette nouvelle version complètement intégrée à Sharepoint.

Interface PerformancePoint Services 2010:

Une nouveauté dont je n'ai pas beaucoup parlé dans mon dernier billet, mais qui a son importance, concerne les scorecards. La sélection des membres des dimensions affichées peut maintenant être dynamique (Children, Descendants etc.). Ainsi, si on prend l'exemple du scorecard ci dessous, si de nouveaux produits de type "Bikes" font leur apparition dans le cube, alors ils apparaîtront sur le scorecard. Ce n'était pas le cas dans la version 2007, les sélections étant fixes. Cette nouveautés vient donc répondre à un réel besoin que j'avais pu détecter en travaillant avec la version précédente.

A noter également la possibilité d'avoir plusieurs valeurs "Réelles" pour un KPI , le fait de pouvoir naviguer hierarchiquement dans le scorecard (DrillDown/Ûp, Expand/Collapse) et les nouvelles "calulated metrics".

Concernant le rapport "KPI Details" dont je vous parlais dans mon dernier billet, en voici un exemple concret ci dessous.

Enfin, les premières images du composant "Arbre de décomposition" de la version 2010, qui je vous le rappelle, est maintenant indépendant de Proclarity:



Reste maintenant à voir quelles sont les nouveautés au niveau du Dashboard Designer, l'application permettant de construire les tableaux de bord PerformancePoint. Et surtout, pouvoir tester le produit dès qu'une première version beta publique sera disponible.

Pour plus d'informations, n'hésitez pas à lire l'article de l'équipe du produit qui détaille les points que je vous ai présentés et d'où sont extraites les captures d'écran de ce billet.

PerformancePoint Services 2010: Les nouveautés

Après un premier rapprochement sur le plan licensing en avril dernier, PerformancePoint et Sharepoint concrétisent leur union avec la sortie d'Office 14 (H1 2010).

Connu tout d'abord sous le nom "Busineess Scorecard Manager 2005" (BSM2005), puis intégré à PerformancePoint 2007 (Monitoring & Analytics), ce produit devient donc en 2010 un service Sharepoint à part entière et il a été dévoilé cette semaine à la Sharepoint Conference à Las Vegas. Les premières informations commencent donc à émerger, permettant d'entrevoir ce que proposera cette nouvelle version.


Les tableaux de bord: Les Dashboards

Du point de vu des tableaux de bords, la principale nouveauté est le type de graphique "arbre de décomposition" qui sera désormais disponible directement dans le dashboard designer, sans passer par Proclarity. On peut donc imaginer que leur intégration et notamment leur intéraction avec les filtres des dashboards sera améliorée. D'autres nouveaux types de graphiques devraient faire leur apparition; peut être des dérivés de Proclarity comme la carte de performances?

Exemple d'arbre de décomposition (PPS 2007):



Une des autres nouveautés est le rapport de type "KPI detail report". Ce composant pourra être relié à un scorecard ou à un Kpi pour afficher à l'utilisateur des métadata les concernants. Je n'ai pas encore vu d'image de ce composant mais j'imagine son utilité. C'est bien joli d'avoir un indicateur clé de performance avec ses valeurs cibles, réelles, tendances et icones...mais c'est encore mieux de savoir comment il est calculé et à quoi il correspond exactement. En général dans les projets j'étais souvent amené à créer un wiki sur le site sharepoint pour lister les KPI et leurs définitions. Il semble donc que ce soit désormais directement intégré aux dashboards...interessant!

Sinon, de manière plus générale, Microsoft nous annonce des améliorations sur les élements déjà existants tels que les filtres, les liens entre les rapports ou encore les scorecards (drilldown, hiérarchies dynamiques, calulated KPI)... à tester.

Exemple de Scorecard (PPS 2007):


Des nouveautés donc, mais aussi des retraits. Certains sont logiques, je pense notamment aux "Pivot Table" & "Pivot Chart" qui n'étaient présents dans PPS 2007 que pour rétro-compatibilité avec les dashboards BSM2005 et utilisaient les Office Web Components. Vous choisirez donc maintenant les "Analytics grids" et "Analytics charts" (ce qui était déjà conseillé en version 2007). A noter la disparition du "Trend chart". Ce type de rapport utilisait un algorithme de datamining (time series) pour proposer une tendance sur une période donnée. Assez sympa à montrer en démo, celui ci n'était finalement pas si utilisé que ça en projet et présentait même quelques limitations... Enfin, il n'y aura plus de sources de données de type "ODBC" donc plus de connexions possibles à des bases Oracle ou MySQL...


L'architecture du produit:

Vu de la lune, l'architecture du produit reste la même: Un front-end web, des services, le Dashboard Designer et une base de données pour les métadata. Mais la comparaison d'arrête là. L'intégration du produit en tant que service sharepoint change quand même pas mal de choses.

Premièrement, les services PerformancePoint ne font plus parti du Shared Service Provider (SSP) mais sont directement intégérés dans le Microsoft Sharepoint Foundation (nouveau nom de WSS).

Les métadata (Repository) des dashboards sont elles aussi stockées via Sharepoint. Par exemple, les datasources sont stockées dans des librairies de documents et le reste des éléments dans des listes Sharepoint.

Enfin, la sécurité est également gérée au niveau de Sharepoint. C'est en effet aux utilisateurs Sharepoint qu'on donnera des droits sur les éléments. Concernant les accès aux sources de données, on garde les deux modes: Soit une authentification partagée par tous (Unattended account), soit du cas par cas via l'utilisation d'un "secure store" qui permet d'éviter les problèmes de "double hop" et ainsi déviter l'utilisation de Kerberos.

Dernier "petit" détail, PerformancePoint étant un service de Sharepoint 2010, il ne tournera donc que sur des serveurs 64 bits...

Architecture de PerformancePoint Services 2010:

Src: http://technet.microsoft.com/en-us/library/ee661741(office.14).aspx

Conclusion

Cette Sharepoint Conference a donc été l'occasion pour Microsoft de dévoiler cette nouvelle version de PerformancePoint. Des sessions ont couvert la création de dasboards (basiques mais aussi avancés) ainsi que des méthodes de migration de dashboards PPS2007 vers PPS 2010. Si vous avez eu la chance d'assister à l'une de ces sessions, vos retours m'interessent. N'hésitez donc pas à laisser un commentaire ou à m'envoyer un email!

Proclarity 6.3 SP3 et Migration vers PerformancePoint Services

Le Service Pack 3 (SP3) de Proclarity 6.3 est disponible:

• Proclarity Analytics Server
  
• Proclarity Desktop Professional (Client lourd)
  

Dans le même temps, Chris Webb vient d'écrire un article concernant la migration des projets Proclarity 6.3 vers le futur PerformancePoint Services livré avec Sharepoint 2010 l'année prochaine. Visiblement aucun outils de migration ne sera proposé...surprenant!

"There will not yet be a migration from ProClarity 6.3 to PerformancePoint Services for SharePoint 2010. Customers can continue to use ProClarity throughout its current supported lifecycle date of July 2012 for mainstream and July 2017 for extended. We are still working on the roadmap for ProClarity but it is likely that you will not see a migration path until the O15 timeframe. "
Src: Alyson Powell Erwin (Microsoft)

Retrouvez l' article de Chris Webb ici (en anglais), il soulève des points importants!

Exemple d'application Gemini

Après avoir décrit certaines fonctionnalités de Gemini dans mon dernier billet, je vous propose de découvrir à quoi pourront ressembler des applications construites avec ce nouvel outil Microsoft.

En cette période de retour de vacances, j'ai choisi le thème des voyages avec une analyse des vols au départ de l'aéroport Roissy Charles de Gaule (CDG). J'ai récolté des données sur le site FilghtStats sur une journée complète qui ont constituées ma table de faits (Numéro du vol, heure prévue de décollage, heure réelle de décollage, code de l'aéroport de destination etc.). Afin d'avoir des analyses un peu plus complètes, j'ai intégré la liste des aéroports mondiaux avec leur code, ville, pays; des données sur les numéros de vols et leur compagnies aériennes et enfin des données météorologiques (METAR) de l'aéroport Charles de Gaule ce même jour.

L'intégration dans Gemini a été assez simple. J'ai tout simplement copié les données dans les tables Gemini. J'ai donc eu 4 onglets (tables): Airline, Airport, Fact, Metar (Météo).

L'étape suivante à consistée à faire le lien entre ces tables. Par exemple, lier le code de l'aéroport de destination dans la table des faits au code dans ma table Airport. Cette création des clés a permis de détecter des doublons dans mes tables dimensions et ainsi de le nettoyer.

J'ai ensuite créé quelques colonnes calculées notamment pour avoir les retards (en minute), le nombre total de vols de la journée ou encore convertir la température de Fahrenheit à Celcius.

Fenêtre d'intégration des données de Gemini:

Une fois les données intégrées, on ferme la fenêtre d'intégration des données et on revient au fichier Excel classique, ce qui constituera in fine le rapport.

On profite de l'intégration dans Excel en créant librement des onglets. Cela dit, je vous conseille d'en maîtrise le nombre si vous ne voulez pas vous y perdre, ou si vous souhaitez que quelqu'un puisse facilement reprendre le fichier après vous.

J'ai donc créé un premier onglet de présentation de l'application, qui n'est pas lié aux données mais qui a pour but d'accueillir l'utilisateur du rapport.

Onglet "Welcome":

J'ai ensuite créé 3 autres onglets, chacun correspondant à un type d'analyse: "By Destination", "By Airline" et "By Hour". Afin de rendre l'expérience utilisateur encore plus interactive, j'ai ajouté des Slicers (nouveauté Excel 2010) qui permettent de filtrer les données en un simple click et de façon très visuelle. La particularité de ces slicers est qu'ils peuvent être liés avec un ou plusieurs éléments du fichier. Ainsi, si l'utilisateur sélectionne une compagnie ou une heure dans un onglet, ce choix sera propagé automatiquement sur les onglets suivants.

Onglet "By Destination":

Onglet "By Airline":

Onglet "By Hour":

Une fois le document créé, il est sauvegardé comme un fichier Excel 2010 classique, avec une extension .xlsx.

Il est possible ensuite de soit envoyer ce fichier à un autre utilisateur, soit le partager de façon plus globale au sein de l'entreprise via un portail Sharepoint 2010. Je n'ai pas encore pu tester cette intégration mais elle s'annonce des plus prometteuses d'après les premières informations qui commencent à émerger.

Exemple d'intégration de Gemini dans Sharepoint 2010:

Source: Blog de l'équipe Gemini

C'était donc une première ébauche d'application Gemini. Bien qu'en version bêta, l'outil présente déjà des fonctionnalités assez intéressantes. facile d'utilisation, il sera intéressant d'en voir l'adoption par les utilisateurs à sa sortie l'année prochaine.

Gemini Vs QlikView

La rentrée s'annonce plutôt intéressante compte tenu des différentes CTP sorties ces derniers jours. Entre autre, SQL Server 2008 R2 dont le très attendu Gemini, Office 2010, SharePoint 2010. Bref, de longues heures de beta testing en perspective.

Parmi ces nouveautés, on trouve donc une première version CTP du projet Gemini. Présenté pour la première fois à la Microsoft BI Conference en octobre dernier, ce nouvel outil fait parti de la 3ème génération Business Intelligence .

Gemini est un add-in Excel principalement destiné aux utilisateurs fonctionnels et permettant d'analyser de grands volumes de données. A la différence d'un cube, les données sont traitées en mémoire (in-memory), ce qui grâce à un système de compression par colonne, propose de très bons temps de réponse.

Microsoft vient donc concurrencer QlikTech et son produit phare: QlikView.
Ayant pas mal travaillé sur QlikView ces derniers temps, je vous propose de commencer un comparatif entre les deux produits, tout en gardant en tête que Gemini reste en version beta.

Général

De façon générale, le principal avantage de Gemini est son intégration dans Excel. C'est un outil connu de tous ou presque et qui ne nécessite donc pas de formation particulière. Inconvénient, Gemini ne fonctionne pour le moment qu'avec Office 2010.


Onglet Gemini dans Excel 2010:

QlikView est quant à lui un outil client spécifique, indépendant, et nécessite un temps d'adaptation et de formation (comme pour tout nouvel outil).

Application QlikView:

Manipulation des données

Même si ces deux outils permettent de charger et manipuler des données, il ne peuvent en aucun cas se substituer à de vrais ETL. Les données utilisées sont censées avoir déjà été "nettoyées", le plus souvent issues d'un datawarehouse ou datamart.

Des deux outils, c'est Gemini qui semble le plus user-friendly. En effet, aucun script technique n'est présenté à l'utilisateur pour le chargement des données. Même si dans le cas de QlikView ce script peut être rempli automatiquement via des assistants de configuration, un utilisateur réticent à la technique peut être dérouté. Gemini est donc plus transparent…bon point pour un outil destiné à des personnes plutôt fonctionnelles.

Script de chargement QlikView:


Concernant les liaisons entre les tables, Gemini et QlikView ont deux approches assez différentes. QlikView crée ces liaisons par homonymies. Autrement dit, une liaison est crée dès que deux champs de deux tables différentes ont le même nom. Cette méthode a ses avantages et ses inconvénient. Avantage, pas de lien à spécifier manuellement ce qui peut faire gagner beaucoup de temps. Inconvénient, de mauvaises liaisons peuvent se créer, voir des liaisons circulaires si on est pas vigilent dans le nommage de ses colonnes…
Gemini a donc une approche différente. Si on utilise une base existante, les clés étrangères sont conservées. Il faudra cependant créer manuellement les liaisons manquantes, notamment avec les sources complémentaires utilisées.

Gestion des relations entre tables dans Gemini:


Elément appréciable dans Gemini, la possibilité de voir directement le résultat des colonnes calculées qu'on rajoute sans tout recharger. On détecte ainsi immédiatement les erreurs dans les formules saisies.

Cependant, un des manques de Gemini par rapport à QlikView (du moins dans cette version beta) est de pouvoir visualiser de manière graphique les tables et leurs liaisons. Dans QlikView, cela est réalisable grâce à la visionneuse de tables, un peu à la manière des diagrammes dans SQL Server.

Visionneuse de tables dans QlikView:


Création des objets graphiques

In fine, le but de ces deux outils est de fournir une visualisation des données sélectionnées dans la 1ère partie.
Globalement, tous deux répondent à la plupart des besoins. Les résultats sont plutôt esthétiques, attrayant pour le consommateur du rapport.

Gemini profite de son intégration dans Excel qui gère déjà un grand nombre de graphes dont voici une liste non exhaustive:

QlikView propose une gamme de graphe équivalente avec la particularité de proposer en plus des jauges et les blocs (Cf cartes de performance dans Proclarity). Certains autres éléments proposés par QlikView comme les glissières ou les tableaux statistiques mériteraient leur place dans Gemini.

Types de graphiques dans QlikView:

Gemini concurrence sérieusement QlikView dans le domaine de l'associativité. Grâce à l'utilisation des slicers, nouveauté des tableaux croisés Excel 2010, on peut sélectionner rapidement et simplement les données qui nous intéressent , ce qui a pour conséquence de mettre à jour le reste des zones de sélection, sans hiérarchies prédéfinies. Par exemple, en sélectionnant une année, la liste des mois disponibles est mise à jour ainsi que des monnaies présentes dans les tables de fait durant cette période.
Petite différence cependant, dans QlikView quand on sélectionne un élément, la sélection est globale sur l'ensembles de pages et des rapports du fichier. Sur Excel, la sélection ,n'est à première vue valable que sur le graphe ou tableau concerné. Je n'ai pas encore vu s'il est possible d'étendre la portée de la sélection…à suivre.

[edit: Après quelques tests supplémentaires, il est finalement possible d'étendre la portée de la sélection d'un slicer]

Exemple de rapport Gemini:

Publication

Une fois créés, les rapports Gemini et QlikView peuvent être diffusés afin de les partager avec d'autres utilisateurs. Le principe est le même, seules les plateformes diffèrent.
Les rapports Gemini sont diffusés via un serveur Sharepoint 2010 (du moins dans la version beta).
Les rapports QlikView sont diffusés via un serveur QlikView qui peuvent éventuellement par la suite être inclus dans un site Sharepoint via une Webpart.

Conclusion

Gemini vient donc concurrencer sérieusement QlikView. Destiné aux utilisateurs fonctionnels, il est assez simple d'utilisation et directement intégré dans Excel.

QlikView quant à lui garde une petite avance grâce à un choix d'objets graphiques un peu plus large et une personnalisation des scripts de chargement un peu plus forte. Mais ce dernier argument ne pèse peut être pas autant pour un utilisateur non technique qui recherche avant tout la simplicité.

N'oublions pas que Gemini reste une beta de version 1 ( Nb: QlikView est en version 9). Il reste donc surement des choses à découvrir avant la sortie de la version finale prévue pour le premier semestre 2010... To be continued...

Financial Planning Accelerator

Une annonce parue aujourd'hui sur le site Partners de Microsoft et commentée sur le très bon blog de Chriss Webb: PerformancePoint Planning est de retour dans une version quasi open-source!

Finalement, Microsoft a entendu les appels de ses partenaires (cf post du mois de fevrier) et permet donc de reprendre le projet planning et d'y apporter sa touche personnelle. Les utilisateurs eux, pourrons bénéficier de ce produit via la licence Sharepoint qui donne accès par la même occasion à PerformancePoint Services Monitoring & Analytics (ex Proclarity).