Observatório de dados/BI/Capacidade/Definições Gartner

As assim-chamadas "ferramentas de BI" formam uma categoria de tipos de software aplicativo, que era relativamente difusa antes de 2006. Não há ainda hoje um padrão ou definição científica formal para o termo, mas há uma intuição clara dos usuários, e uma certa organização, principalmente dos grandes consumidores e dos fabricantes das ferramentas comerciais, em torno deste que se tornou um atrativo nicho de mercado. É justamente neste sentido, mais orientado ao comércio de pacotes de software (e de SaaS), que vem sendo reconduzido o uso do conceito de BI, e a empresa de pesquisa e consultoria Gartner, aos poucos foi se tornando o principal artífice desse conceito nos meios de comunicação não-acadêmicos.

Organização dos quadrantes em eixos de caracterização das empresas ou softares classificados.

Atualizados todos os anos desde 2006, os relatórios denominados "Gartner Magic Quadrant for Analytics and Business Intelligence Platforms", estão na sua edição de 2019 com projeções sobre 2020 e 2021.

Na Wikipedia também se encontram disponibilizados importantes relatórios. Analisando a evolução individual das ferramentas, bem como aquisições e fusões de desenvolvedores, destacam-se os softwares categorizados como ferramentas geradoras de relatórios. Entre os plugins (módulos opcionais) mais requisitados estão os de estatística (típicos dos pacotes de inferência estatística) de geoprocessamento (para ambos análise espacial visualização em mapas).

A seguir um resumo do "Magic Quadrant" das Ferramentas de BI, lembrando que o foco aqui são os conceitos que se tornaram consenso, e não os resultados dos relatórios, em geral criticados pela sua falta de parcialidade (ref) e conflitos de interesse (quem paga pelos relatórios é que aparece melhor colocado). Os relatórios focam muito mais a visão dos grandes fabricantes de software do que a visão dos compradores.

Histórico resumido

Em 1989, H. Dresner (mais tarde contratado para ser analista na Gartner) propôs o termo business intelligence como um termo guarda-chuva para descrever "concepts and methods to improve business decision making by using fact-based support systems.", até que no final dos anos 1990 o termo "pegou". Críticos enchergam o "nicho BI" meramente como uma evolução do business reporting junto com o advento do maior poder e facilidade de uso das ferramentas de análise de dados. Considera-se que ferramenta de BI é muito mais uma "marketing buzzword".

Plataformas de Análise e Inteligência de Dados formam o mercado de BI desde o início da década de 2010, mas de lá para cá se seu mostrou dinâmico.

O mercado de BI mudou, está agora mais orientado-ao-usuário, permitindo a visualização de dados com edição ágil, painéis interativos (publicação de dashbords), com possibilidade de obtenção de dados de uma ampla gama de fontes., ref.
Os relatórios e avaliações comparativas da Gartner se baseam em 5 casos de uso e 15 capacidades capacidades críticas de uma Plataforma de Análise e BI (Critical Capabilities of an Analytics and BI Platform). Ver também ref-PDF2017

Em 2013 a Gartner mudou o nome do seu Magic Quadrant de "Business Intelligence Platforms" para "Business Intelligence and Analytics Platforms", para enfatizar a crescente importância das capacidades de análise nos sistemas de informação que as empresas passaram a construir. A Gartner define o mercado de Plataformas de Análise e BI (business intelligence and analytics platform market) como uma plataforma de software que entrega 15 capacidades através de 3 categorias: integração, entrega da informação e análise.ref

Até 2015 o principal software comercial de referência era o Tableau ref. Quase uma década antes disso o Crystal Reports era referência.

Após uma certa estabilização do mercado, constatou-se em 2017 o surgimento de "players", Tableau e MS-Power-BI.ref, os quais vêm estabelecendo uma "cultura do BI" mais difícil de ser rompida na comunidade de usuários finais.

Facetas adotadas

Aqui no Observatório de dados/BI deve-se destacar os seguintes temas dos relatórios Gartner:

(Infraestrutura para) Cloud BI
(Infraestrutura para) Conectividade e Ingestão da Fonte de Dados
Gerenciamento de metadados
ETL autônomo (extração, transformação e carregamento) e armazenamento de dados
Preparação de dados
Painéis analíticos
Exploração Visual Interativa
Publicar, compartilhar e colaborar

Definições das capacidades

Abaixo reprodução do relatório Gartner de 2018.
"Magic Quadrant for Analytics and Business Intelligence Platforms", published in 26 February 2018, ID G00326555. http://resources.mynewsdesk.com/image/upload/t_attachment/xk56jpklxthehxes8fr2.pdf.

Infrastructure

1. BI Platform Administration, Security and Architecture. Capabilities that enable platform security, administering users, auditing platform access and utilization, and ensuring high availability and disaster recovery.

2. Cloud BI. Platform-as-a-service and analytic-application-as-a-service capabilities for building, deploying and managing analytics and analytic applications in the cloud, based on data both in the cloud and on-premises.

3. Data Source Connectivity and Ingestion. Capabilities that allow users to connect to structured and unstructured data contained within various types of storage platforms (relational and nonrelational), both on-premises and in the cloud.

Data Management

4. Metadata Management. Tools for enabling users to leverage a common semantic model and metadata. These should provide a robust and centralized way for administrators to search, capture, store, reuse and publish metadata objects such as dimensions, hierarchies, measures, performance metrics/key performance indicators (KPIs), also report layout objects, parameters and so on. Administrators should have the ability to promote a business-user-defined data mashup and metadata to the SOR metadata.

5. Self-Contained Extraction, Transformation and Loading (ETL) and Data Storage. Platform capabilities for accessing, integrating, transforming and loading data into a self-contained performance engine, with the ability to index data and manage data loads and refresh scheduling.

6. Self-Service Data Preparation. "Drag and drop" user-driven data combination of different sources, and the creation of analytic models such as user-defined measures, sets, groups and hierarchies. Advanced capabilities include machine-learning-enabled semantic autodiscovery, intelligent joins, intelligent profiling, hierarchy generation, data lineage and data blending on varied data sources, including multistructured data.

7. Scalability and Data Model Complexity. The degree to which the in-memory engine or indatabase architecture handles high volumes of data, complex data models, performance optimization and large user deployments.

Analysis and Content Creation

8. Advanced Analytics for Citizen Data Scientist. Enables users to easily access advanced analytics capabilities that are self-contained within the platform itself through menudriven options or through the import and integration of externally developed models.

9. Analytic Dashboards. The ability to create highly interactive dashboards and content with visual exploration and embedded advanced and geospatial analytics to be consumed by others.

10. Interactive Visual Exploration. Enables the exploration of data via an array of visualization options that go beyond those of basic pie, bar and line charts to include heat and tree maps, geographic maps, scatter plots and other special-purpose visuals. These tools enable users to analyze and manipulate the data by interacting directly with a visual representation of it to display as percentages, bins and groups.

11. Augmented Data Discovery. Automatically finds, visualizes and narrates important findings such as correlations, exceptions, clusters, links and predictions in data that are relevant to users without requiring them to build models or write algorithms. Users explore data via visualizations, natural-language-generated narration, search and naturallanguage query (NLQ) technologies.

12. Mobile Exploration and Authoring. Enables organizations to develop and deliver content to mobile devices in a publishing and/or interactive mode, and takes advantage of mobile devices' native capabilities, such as touchscreen, camera and location awareness.

Sharing of Findings

13. Embedding Analytic Content. Capabilities including a software developer's kit with APIs and support for open standards for creating and modifying analytic content, visualizations and applications, embedding them into a business process and/or an application or portal. These capabilities can reside outside the application, reusing the analytic infrastructure, but must be easily and seamlessly accessible from inside the application without forcing users to switch between systems. The capabilities for integrating analytics and BI with the application architecture will enable users to choose where in the business process the analytics should be embedded.

14. Publish, Share and Collaborate on Analytic Content. Capabilities that allow users to publish, deploy and operationalize analytic content through various output types and distribution methods, with support for content search, scheduling and alerts. These capabilities enable users to share, discuss and track information, analysis, analytic content and decisions via discussion threads, chat and annotations.

Overall platform capabilities were also assessed

15. Ease of Use, Visual Appeal and Workflow Integration. Ease of use to administer and deploy the platform, create content, consume and interact with content, as well as the degree to which the product is visually appealing. This capability also considers the degree to which capabilities are offered in a single, seamless product and workflow, or across multiple products with little integration.