Wat zijn de belangrijkste onderdelen van Yellowfin Architecture

Hieronder volgt een beschrijving van de belangrijkste functionele componenten van de Yellowfin architectuur.

Configuration Database – slaat alle configuratiegegevens op die nodig zijn voor Yellowfin, inclusief informatie over gebruikers, beveiliging, gegevensbronnen en inhoud die is gemaakt in Yellowfin. De gecreëerde inhoud omvat definities van rapporten, grafieken, dashboards, presentaties en verhalen. Kan worden geïmplementeerd in verschillende relationele databases, waaronder SQLServer, MySQL en Oracle.

Reporting Data Sources – Yellowfin verbindt live met een breed scala van gegevensbronnen, waaronder de meeste populaire relationele en niet-relationele databases (met een geschikte jdbc driver), kubussen (via MDX), platte bestanden en API-eindpunten (met inbegrip van out of the box aansluitingen op populaire cloud-toepassingen). Dit framework is uitbreidbaar en klanten kunnen hun eigen verbindingen maken of een verbinding van een derde partij gebruiken als die beschikbaar is.

ETL Engine (optioneel) – dit is een optioneel onderdeel dat klanten kunnen gebruiken als ze hun gegevens verder moeten transformeren naar een vorm die geschikt is voor analyse. Gegevens kunnen van elke bron worden gelezen, gecombineerd, getransformeerd en vervolgens teruggeschreven naar elk beschrijfbaar DBMS dat wij ondersteunen. Er is een grote verscheidenheid aan transformatiestappen beschikbaar, waaronder het samenvoegen van gegevens, het splitsen van gegevens, het maken van nieuwe kolommen, het wijzigen van gegevenstypes, het vervangen van waarden enzovoort. Daarnaast kunnen klanten een ETL workflow koppelen aan een Data Science model van een derde partij om gegevens te verrijken met de resultaten van een voorspellend algoritme. We ondersteunen momenteel modellen die geëxporteerd worden in pmml-formaat, evenals live verbindingen met R Servers, H20.ai en AWS SageMaker. Het ETL-stappenraamwerk is uitbreidbaar en klanten kunnen hun eigen aangepaste ETL-stappen bouwen en toevoegen.

Meta-datalaag – deze laag bevat alle noodzakelijke informatie over de gegevens waaruit rapporten moeten worden opgebouwd. Dit omvat de tabelstructuren, join-condities, berekende velden, gegevensopmaak enzovoort. Deze gegevens worden vervolgens gebruikt door de Query Engine die DB-specifieke query’s genereert in de vorm van SQL, MDX of andere aanroepen om dynamisch query’s uit te voeren op de live gegevensverbinding. Gegevens kunnen ook afkomstig zijn van een Stored Procedure of handgecodeerde SQL. Op dit niveau worden beveiligingsaspecten toegepast, waaronder de toepassing van toegangsfilters en/of vervanging van gegevensbronnen om logische of fysieke scheiding van gegevens in een multi-tenant omgeving te ondersteunen.

Yellowfin Report – deze module is verantwoordelijk voor het opvragen van gegevens bij de Query Engine, het verbeteren van die gegevens waar nodig en het genereren van de gevraagde visualisaties. Query Definitions bevatten de nodige details over welke gegevens precies nodig zijn om elk rapport of visualisatie te produceren. Er zijn verschillende sub-engines die extra bewerkingen uitvoeren op de gegevens zodra deze zijn teruggestuurd van de query engine:

• Post-processing Engine – deze engine neemt de ruwe gegevens van een query en bereidt ze voor op presentatie. Dit omvat het combineren van gegevens uit verschillende gegevensbronnen, het uitvoeren van kruistabellen van gegevens, het converteren van gegevenstypen, het formatteren van gegevens en ook het verrijken van gegevens door het uitvoeren van complexe post-processing. Post-processing kan het uitvoeren van geavanceerde statistische berekeningen omvatten (zoals percentage van het totaal, StdDev, voorspellingen enz.) en het aanroepen van toepassingen van derden om gegevens te verrijken (zoals het aanroepen van een voorspellend gegevenswetenschappelijk model dat hetzelfde framework gebruikt als de ETL engine). Functies voor nabewerking zijn uitbreidbaar en klanten kunnen hun eigen functies schrijven en opnemen om specifieke bewerkingen uit te voeren voordat de gegevens worden weergegeven.
• Visualization Engine – deze engine genereert de zichtbare inhoud voor gebruikers, waaronder rapporten, grafieken, dashboards, presentaties en verhalen. Dit framework is ook uitbreidbaar, er kunnen bijvoorbeeld Javascript-grafieken worden toegevoegd, evenals andere op maat gemaakte UI-componenten.
• Raw Data Provider – de data sets geretourneerd van rapporten zijn toegankelijk via API-aanroepen. Klanten kunnen aangepaste verwerking uitvoeren op de onderliggende datasets voordat de gegevens worden gepresenteerd in een Yellowfin-visualisatie of een aangepast UI-element ontwikkeld door de klant.
• Data Cache – Yellowfin kan worden geconfigureerd om data te cachen om de eindgebruiker ervaring te versnellen. Een verscheidenheid aan gegevens kan worden gecached, waaronder actuele rapportgegevens, filterwaarden, favorieten enzovoort. Het verversen van gegevens kan worden gepland via de Yellowfin scheduler.

Inhoud Laag – Inhoud kan worden geconsumeerd via de Yellowfin applicatie van de meeste populaire browsers, van de native Yellowfin mobiele App (IOS of Android) en individuele componenten kunnen worden ingesloten in toepassingen via API-oproepen. Gebruikers zullen meestal interactie hebben met Yellowfin visualisaties via een Dashboard, Presentatie of Story – of een visualisatie die direct is ingebed in een applicatie van derden. De contentlaag kan worden aangepast aan de behoeften van de klant. Andere mogelijkheden zijn beschikbaar op de inhoudslaag, waaronder:-

• Inhoud van derden – vanaf het Story-product kunnen klanten visualisaties van BI-apps van derden integreren in Yellowfin. Inhoud van Tableau, Qlik en PowerBI kan worden geïntegreerd en bekeken naast de inhoud van Yellowfin.
• Tijdlijnfeed – de tijdlijnfeed biedt gebruikers gepersonaliseerde waarschuwingen en relevante inhoud via de Yellowfin-applicatie, de mobiele app of via een REST API.

Scheduling Engine – bevat een flexibele scheduling engine om ETL jobs, Report distribution, Signals jobs en andere systeemtaken te plannen. Sommige geplande taken kunnen worden getriggerd op basis van bijvoorbeeld het overschrijden van vooraf gedefinieerde drempels.

Signalenengine – de Signalenengine analyseert gegevens automatisch om data-events van betekenis te identificeren en genereert vervolgens gepersonaliseerde waarschuwingen die worden afgeleverd via de Timeline Feed, in de browserclient of mobiele client. Signals-taken worden geconfigureerd in en maken gebruik van de meta-datalaag en kunnen worden gepland om met elke frequentie te worden uitgevoerd met behulp van de Scheduling-engine. De Signals engine is complex en bevat een engine voor het genereren van tijdreeksen, meerdere algoritmen voor het detecteren van gebeurtenissen, een engine voor rangschikking en personalisatie en een engine voor meldingen.

Assisted Insights Engine – dit is een reeks algoritmes die worden aangeroepen om automatisch en on-the-fly gegevensinzichten te genereren. Deze inzichten zijn toegankelijk via directe gebruikersinteractie met een grafiekvisualisatie, via het proces van de rapportbouwer en ook om diepere verklaringen achter Signalen te geven.

Wat zijn de belangrijkste onderdelen van de architectuur van het Yellowfin-platform?

Yellowfin bestaat uit een Java Application Server (die draait op Apache Tomcat) en een Repository Database. De Repository Database kan bestaan uit een van de volgende ondersteunde databasesystemen: PostgreSQL, Microsoft SQL Server, MySQL, Oracle, DB2 of Ingres.

De applicatie kan worden geschaald voor grotere capaciteit en failover door meerdere Yellowfin Application Servers te clusteren tegen dezelfde database.