Reportingové řešení na platformě Microsoft Power BI

Cílem projektu společnosti GEM System pro klienta EP Energy Trading bylo sjednotit využívané zdroje dat a vytvořit centrální datový systém. Na novém datovém zdroji jsou postaveny reporty společnosti, které se dosud vytvářely formou mnoha výpočtů a extrakcí dat z různých systémů.

Projekt na vytvoření reportingového řešení fungujícího na Business Intelligence (BI) platformě vznikl pro klienta EP Energy Trading a.s. (EPET), součástí realizace zakázky bylo kompletní vybudování datového skladu.

Automatizací reportů v programu Microsoft Power BI vznikla nejen časová úspora, ale také se omezila potencionální chybovost při manuálním sestavování reportů.

Cílem projektu bylo vytvořit řešení sestávající se ze dvou navazujících částí.

Vytvořené řešení:

Sjednocená datová základna + Reportovací nástroj
Realizace vybraných reportů

Realizací těchto dvou částí vznikla komplexní BI reportingová platforma včetně úvodních reportů. Navržené řešení je realizováno tak, aby byl umožněn další rozvoj samotné platformy.

Komplexní BI reportingovaná platforma

Platforma vznikla realizací dvou technologických komponent:

Sjednocená datová základna - SDZ
Reportovací nástroj PowerBI

Architektura vytvořeného řešení se skládá z následujících vrstev:

Datová vrstva - Databázový server - pro datový sklad byla vytvořena Oracle databáze, kde jsou uložená data dle účelovosti rozdělena do tří schémat: L0, L1 a L2

Aplikační vrstva - BI server - na BI serveru je nainstalován a pouštěn nástroj GDIS se všemi jeho komponentami (Pentaho, DISL, Jenkins) - zde probíhá natažení zdrojových dat (Pentaho), úprava datového modelu a jeho ETL procesů (DISL) večtně plánování a spouštění potřebných úloh (Jenkins)

Aplikační vrstva - GW server - ve vrstvě GW serveru je nainstalovaná a nakonfigurovaná Power BI Gateway, která slouží k propojení dat z datového úložiště do cloudového reportingu Power BI

Prezentační vrstva - Report Power BI - jedná se o reporting v platformě Power BI, který slouží k prezentaci dat pomocí zvolených vizualizací dat - díky zvolenému řešení cloudové varianty s on-premise databází jsou vytvořené reporty snadno publikovatelné do cloudového úložiště, odkud jsou jednoduše spravovány a jsou snadno přístupné na všech zařízeních (od mobilních telefonů až po stolní počítače) všem oprávněným uživatelům

Vytvoření SDZ

Implementace tzv. Sjednocené Datové Základny (SDZ) je realizována pomocí technologie GDIS (GEM Data Integration Suite).

Komponenty SDZ:

Pentaho Data Integration Comunity Edition - Pentaho Data Integration (Pentaho DI) slouží jako převodní můstek pro načítání zdrojových dat ze systému SAP (tabulky S911, FIGL, TCURR) a externích datových zdrojů (soubory typu Excel) do vybudovaného datového skladu

DISL - Data Integration Specific Language - nástroj DISL slouží pro popis datových transformací, kromě vytváření mapování dat jsou v rámci nástroje DISL současně vytvářeny datové modely zdrojových i cílových struktur + dále jsou vkládány popisky ke všem vytvářeným entitám - tabulkám, sloupcům, mapováním

Jenkins Continuous Integration - Jenkins CI

Zvolené řešení představuje ETL nástroj (Extract, Transform and Load) specializující se na připojení k různým datovým zdrojům, jejich extrakci, transformaci a uložení do stanoveného umístění.

Provoz

Nástroj Jenkins slouží nejen pro Continous integration v rámci vývoje, ale je použit současně i pro plánování a spouštění úloh jednotlivých transformačních scénářů společné datové základny.

V rámci provozu BI platformy je u jednotlivých úloh nastaveno automatické nebo manuální spouštění.

Vytvoření BI reportu

Pro realizaci v první fázi projektu byl zákazníkem vybrán 1 report - tzv. Hmotová bilance. Realizací v programu Microsoft Power BI vznikl report, který se týká dvou sledovaných komodit - elektřina a plyn.

Vytvořený reporting sleduje výnosy, náklady a jejich celkovou bilanci ve vybraném měsíci, sledování probíhá pro český trh.