Quels sont les principaux éléments de l’architecture Yellowfin ?

Vous trouverez ci-dessous une description des principaux éléments fonctionnels de l’architecture Yellowfin.

Base de données de configuration – stocke toutes les données de configuration requises par Yellowfin, y compris les informations sur les utilisateurs, la sécurité, les sources de données et le contenu créé dans Yellowfin. Le contenu créé comprend les définitions des rapports, des graphiques, des tableaux de bord, des présentations et des histoires. Peut être implémentée dans une variété de bases de données relationnelles, y compris SQLServer, MySQL et Oracle.

Reporting des sources de données – Yellowfin se connecte en direct à une grande variété de sources de données, y compris les bases de données relationnelles et non relationnelles les plus courantes (avec un pilote jdbc approprié), les cubes (via MDX), les fichiers plats et les points d’extrémité API (y compris les connecteurs prêts à l’emploi vers les applications cloud les plus courantes). Ce cadre est extensible et les clients peuvent créer leurs propres connexions ou utiliser une connexion tierce si elle est disponible.

Moteur ETL (optionnel ) – il s’agit d’un composant optionnel que les clients peuvent utiliser s’ils ont besoin de transformer davantage leurs données sous une forme adaptée à l’analyse. Les données peuvent être lues à partir de n’importe quelle source, combinées, transformées, puis écrites dans n’importe quel SGBD accessible en écriture que nous prenons en charge. Une grande variété d’étapes de transformation est disponible, y compris la fusion des données, la division des données, la création de nouvelles colonnes, la modification des types de données, le remplacement des valeurs, etc. En outre, les clients peuvent connecter un flux de travail ETL à un modèle Data Science tiers pour améliorer les données avec les résultats d’un algorithme prédictif. Nous prenons actuellement en charge les modèles exportés au format pmml, ainsi que les connexions en direct aux serveurs R, H20.ai et AWS SageMaker. Le cadre des étapes ETL est extensible et les clients peuvent construire et ajouter leurs propres étapes ETL personnalisées.

Couche de métadonnées – cette couche contient toutes les informations nécessaires sur les données à partir desquelles les rapports doivent être élaborés. Il s’agit notamment de la structure des tables, des conditions de jointure, des champs calculés, du formatage des données, etc. Ces données sont ensuite utilisées par le moteur de requête qui génère des requêtes spécifiques à la base de données sous la forme d’appels SQL, MDX ou autres pour interroger dynamiquement la connexion de données en direct. Les données peuvent également provenir d’une procédure stockée ou d’un code SQL manuel. Des aspects de la sécurité sont appliqués à ce niveau, notamment l’application de filtres d’accès et/ou la substitution de sources de données afin de soutenir la ségrégation logique ou physique des données dans un environnement multi-locataire.

Yellowfin Report – ce module est chargé de demander des données au moteur de requête, d’améliorer ces données si nécessaire et de générer les visualisations demandées. Les définitions des requêtes contiennent les détails nécessaires sur les données requises pour produire chaque rapport ou visualisation. Il existe plusieurs sous-moteurs qui effectuent des traitements supplémentaires sur les données une fois qu’elles sont renvoyées par le moteur de requête :

• Moteur de post-traitement – ce moteur prend les données brutes d’une requête et les prépare pour la présentation. Il s’agit notamment de combiner des données provenant de sources disparates, d’effectuer des tableaux croisés, de convertir les types de données, de formater les données et d’enrichir les données en effectuant un post-traitement complexe. Le post-traitement peut inclure l’exécution de calculs statistiques avancés (tels que le pourcentage du total, StdDev, les prévisions, etc.) et l’appel à des applications tierces pour enrichir les données (telles que l’invocation d’un modèle prédictif de science des données utilisant le même cadre que le moteur ETL). Les fonctions de post-traitement sont extensibles et les clients peuvent écrire et inclure leurs propres fonctions pour effectuer un traitement spécifique avant l’affichage des données.
• Moteur de visualisation – ce moteur génère le contenu visible pour les utilisateurs, y compris les rapports, les graphiques, les tableaux de bord, les présentations et les histoires. Ce cadre est également extensible, par exemple les graphiques Javascript peuvent être inclus ainsi que d’autres composants d’interface utilisateur personnalisés.
• Fournisseur de données brutes – les ensembles de données renvoyés par les rapports sont accessibles via des appels API. Les clients peuvent effectuer un traitement personnalisé sur les ensembles de données sous-jacents avant que les données ne soient présentées dans une visualisation Yellowfin ou un élément d’interface utilisateur personnalisé développé par le client.
• Cache de données – Yellowfin peut être configuré pour mettre en cache des données afin d’accélérer l’expérience de l’utilisateur final. Une variété de données peut être mise en cache, y compris les données de rapport actuelles, les valeurs de filtre, les favoris, etc. Les rafraîchissements de données peuvent être programmés via le planificateur de Yellowfin.

Couche de contenu – Le contenu peut être consommé via l’application Yellowfin à partir des navigateurs les plus courants, à partir de l’application mobile native de Yellowfin (IOS ou Android) et des composants individuels peuvent être intégrés dans des applications via des appels API. Les utilisateurs interagissent généralement avec les visualisations de Yellowfin par le biais d’un tableau de bord, d’une présentation ou d’une histoire – ou d’une visualisation intégrée directement dans une application tierce. La couche de contenu peut être remodelée et personnalisée pour répondre aux besoins du client. D’autres capacités sont disponibles au niveau de la couche de contenu, notamment:-

• Contenu de tiers – à partir du produit Story, les clients peuvent intégrer dans Yellowfin des visualisations provenant d’applications de BI de tiers. Le contenu de Tableau, Qlik et PowerBI peut être intégré et visualisé en même temps que le contenu de Yellowfin.
• Flux chronologique – le flux chronologique fournit des alertes personnalisées et du contenu pertinent aux utilisateurs via l’application Yellowfin, l’application mobile ou via une API REST.

Moteur de planification – contient un moteur de planification flexible pour programmer les travaux ETL, la distribution des rapports, les travaux de signalisation et d’autres tâches du système. Certaines tâches programmées peuvent être déclenchées, par exemple en cas de dépassement de seuils prédéfinis.

Moteur de signaux – le moteur de signaux analyse automatiquement les données pour identifier les événements importants, puis génère des alertes personnalisées qui sont diffusées via le flux de la ligne du temps, soit dans le client navigateur, soit dans le client mobile. Les tâches liées aux signaux sont configurées dans la couche de métadonnées et peuvent être programmées à n’importe quelle fréquence à l’aide du moteur de programmation. Le moteur de signaux est complexe et contient un moteur de génération de séries temporelles, plusieurs algorithmes de détection d’événements, un moteur de classement et de personnalisation, et un moteur de notification.

Moteur d’analyse assistée – il s’agit d’un ensemble d’algorithmes invoqués pour générer automatiquement des analyses de données à la volée. Ces informations sont accessibles par l’interaction directe de l’utilisateur avec la visualisation d’un graphique, par le processus de création d’un rapport et également pour fournir des explications plus approfondies sur les signaux.

Quels sont les éléments clés de l’architecture de la plateforme Yellowfin ?

Yellowfin se compose d’un serveur d’application Java (qui fonctionne sur Apache Tomcat) et d’une base de données de dépôt. La base de données du référentiel peut exister sur l’un des systèmes de base de données suivants : PostgreSQL, Microsoft SQL Server, MySQL, Oracle, DB2 ou Ingres.

L’application peut être mise à l’échelle pour une plus grande capacité et un basculement en mettant en cluster plusieurs serveurs d’application Yellowfin par rapport à la même base de données de référentiel.