Dados - Desequilíbrios, evoluções e perspectivas!

Por Marco Fidos

Tenho participado de discussões e projetos relacionados a dados nos últimos 15 anos e vivenciei em diversos setores as dores de se ter um grande volume de dados para armazenar, processar, extrair e consolidar informações para análises, e mais recentemente, usar estas informações para subsidiar o uso da Inteligência Artificial (IA)!

A demanda pelo uso de dados cresce, e nossa capacidade de extrair valor dos dados também, mas ainda há uma enorme distância entre o potencial dos dados e a geração de valor para as empresas - parece que nunca atingiremos este equilíbrio, ou para alcançarmos vantagens competitivas significativas  teremos que explodir os custos da nossa operação.

É mais ou menos isto mesmo rs…. Encontrar o ponto de equilíbrio entre custo e retorno em dados é o grande desafio atual! 🙂

Atualmente vivemos a tendência da IA, intensificado pela IA generativa, mas há bem pouco tempo falávamos fervorosamente do Big Data.  E acredito que para entender como uma explosão de dados pode afetar empresas e sociedades é importante entender como este advento ocorreu ao longo do tempo.

Costumo avaliar sempre a situação presente com base em acontecimentos passados, afinal, aprender com experiências anteriores é muito produtivo e não gera custos exorbitantes (Eu ouvi um amém?). 🙂

O aumento do potencial de produção de dados literalmente explodiu, e esta tendência parece somente se acentuar. Mas em que momento a produção de dados superou nossa capacidade tecnológica de armazenamento limitando seu uso? Isto já aconteceu anteriormente? E como foi resolvido? Quais foram os impactos?

Os processos de registro e disseminação de dados surgem ao mesmo tempo em que nasce o interesse do ser humano em registrar e transmitir conhecimento - seja uma experiência, um pensamento, ou um fato.

Registrar e transmitir tornam-se os objetivos deste processo, que conhece inovações disruptivas desde sua criação nas pinturas rupestres, do surgimento da escrita fonética, do uso de materiais vegetais para registro, da mecanização da duplicação de dados, do processamento e posteriormente armazenamento em meio eletrônico até os dias de hoje na disseminação do uso de tecnologias distribuídas (computação e software), tecnologias NoSQL, Nuvem e Inteligência Artificial (IA).

Sucintamente, o quadro abaixo resume as fases ou explosões de dados e algumas de suas características:

Algumas considerações acerca destas explosões de dados:

A criação e o uso de dados para produção de conhecimento pressupõe a criação do conhecimento no cérebro humano, seguida da codificação e registro deste conhecimento (armazenamento) e o posterior uso (processamento) destes dados para produção de informação (que é o ato de relacionar dados entre si) e para a produção do conhecimento que pode ser caracterizado pelo uso dos dados e informações para tomar uma decisão, por exemplo.

(Analisei esses assuntos em minha dissertação de mestrado e em artigo publicado na IEEE).

A pré-história dos dados marcou o início de um processo estruturado de transferência de conhecimento, cerca de 30.000 anos atrás. A linguagem fonética ( 3.300 a.C.) aumentou nossa capacidade de gerar descrições detalhadas de fatos e eventos ao mesmo tempo em que aumentou os problemas de armazenamento de dados!

A criação mecânica de dados através de prensas de tipos fixos e móveis permitiu a massificação da produção de dados reduzindo custos e popularizando o conhecimento, popularizando universidades, escolas e bibliotecas. Os dados eletrônicos trouxeram a miniaturização para o armazenamento e o processamento  de um volume de dados que excedia a capacidade humana.

A internet, juntamente com outros avanços da computação, produziu um novo efeito de massificação na produção, armazenamento e uso de dados. A produção do conhecimento humano acompanhou estas evoluções e seus resultados podem ser vistos através das patentes e evoluções tecnológicas em diversas áreas.

É importante ressaltar que a cada salto ou explosão na produção de dados, houve um impacto que demandou novas tecnologias de armazenamento, processamento e uso de dados, e um consequente avanço na produção do conhecimento, beneficiando sociedade e empresas.

A quinta explosão de dados parece que está se iniciando com a IA.

Inicialmente, a IA permitiu a evolução de análises em grandes volumes de dados (Machine Learning). A IA generativa altera a produção de dados e conhecimento colocando máquinas dividindo a tarefa de produzir dados com os humanos.

Sem entrar no detalhe dos impactos que isto pode acarretar em diversos setores, o importante aqui a se destacar, em termos de explosão de dados, é que a IA atua como elemento que supera a capacidade humana de analisar grandes volumes de dados, solucionando uma grande lacuna e adicionalmente entra como fator de produção de dados.

O uso da IA poderá dar sentido à diversas iniciativas de federalização de dados nas empresas (Data Lakes, Dados de Séries Temporais etc.) e facilitará o acesso à informação de forma muito mais simples do que navegarmos em dezenas de páginas para realizar a síntese de um determinado assunto (IA generativa).

Atualmente potenciais usos de IA nos processos produtivos de dados - coleta, qualidade, governança… - também estão sendo estudados e testados e espera-se que haja uma redução de custos e/ou aumento da eficiência na produção de dados.

Como nas etapas anteriores, haverá mudanças das tecnologias de armazenamento, processamento e uso de dados, como novos modelos de dados, formatos e análise em memória e um consequente avanço na produção do conhecimento, o que continuará beneficiando sociedade e empresas.

A IA generativa especialmente em modelos de linguagem tem uma característica importante que é o reuso de modelos, especialmente em modelos de linguagem através da modificação de prompts para criação de novas soluções, permitindo a implantações com custos inferiores aos da geração de modelos iniciais.

Isso significa que, em vez de treinar um novo modelo do zero para uma tarefa específica, é possível ajustar ou adaptar um modelo pré-treinado ao introduzir prompts ou exemplos específicos.

Entendo que a IA generativa aumentará a qualidade na produção de informação, e auxiliará efetivamente a produção do conhecimento, o que trará, ao contrário das outras explosões, um aumento qualitativo dos dados e do conhecimento a ser produzido.

E a próxima onda? Computação quântica? Parece que a marolinha que está sendo vislumbrada no horizonte de médio e longo prazo é a computação quântica, e se transformará num tsunami em termos de armazenamento e processamento de dados.

Vamos considerar um exemplo hipotético para ilustrar como a computação quântica pode o armazenamento de dados: Imagine que você tem um problema clássico de busca em um banco de dados, onde precisa encontrar um item específico em uma lista enorme.

• Em computadores clássicos, a busca exigiria tempo proporcional ao número de itens na lista, digamos, N.

• Com a computação quântica, usando algoritmos como o algoritmo de Grover, a busca poderia ser realizada em tempo quadrático, aproximadamente √N. Isso significa que, se tivermos um banco de dados com um trilhão de itens (N = 10^12), a computação quântica poderia encontrar o item desejado em cerca de um milhão de operações, em comparação com um trilhão em uma abordagem clássica, ou 1000 VEZES MAIS RÁPIDO!!!

Outro exemplo: Considere uma tarefa complexa de otimização, como encontrar a solução mais eficiente para um problema específico. Algoritmos quânticos, como o algoritmo de otimização quântica, podem explorar múltiplas soluções simultaneamente, proporcionando ganhos exponenciais de velocidade em comparação com abordagens clássicas.

Por exemplo, se um algoritmo clássico levaria dias para encontrar a solução ótima, um algoritmo quântico equivalente poderia oferecer uma solução de qualidade comparável em questão de minutos, graças à capacidade dos qubits de existir em estados superpostos.

Espero que tenha contribuído para as discussões sobre dados! Qualquer dúvida ou comentário, só me adicionar e mandar uma mensagem!

Gostaria de ver algum artigo sobre um aspecto específico de armazenamento, processamento e uso de dados? Aceito sugestões! 😃

Obrigado!

E para quem quiser conhecer mais detalhes destas explosões de dados acesse o artigo Disrupturas na produção de dados - Histórico!

marco fidos - Gerente Técnico - Soluções de Big Data e Analytics na Atech