Estação #06

Até o momento em nossa jornada, nós passamos por um intenso treinamento teórico. Desconstruímos a Álgebra Linear para entender a matemática das matrizes, mergulhamos na Ciência da Computação para compreender a notação Big O e as Árvores Binárias, e visitamos a engenharia de software para dominar os Bancos de Dados e o Teorema CAP.

Agora, todas essas vertentes convergem para um único ponto focal: a interface diária de trabalho de todo Analista, Engenheiro ou Cientista de Dados. Chegou a hora de falarmos sobre os Dados Tabulares.

Se a Inteligência Artificial é o motor da revolução industrial moderna, os dados tabulares são o combustível refinado que alimenta esse motor. Embora o hype da mídia foque frequentemente em dados não estruturados — como redes neurais gerando imagens fotorealistas ou modelos de linguagem conversando em texto livre —, a esmagadora maioria do valor financeiro gerado por empresas tradicionais (bancos, varejo, logística, saúde) advém da análise rigorosa de tabelas tradicionais.

Nesta estação, vamos dissecar a anatomia de um conjunto de dados tabular, entender a taxonomia estatística das variáveis que o compõem e explorar os desafios de engenharia envolvidos em ler e processar arquivos de dados em larga escala.

1. A Anatomia da Informação Estruturada

O que define um dado como "tabular"? Basicamente, é a imposição de uma estrutura bidimensional rígida sobre a informação. Se você já abriu uma planilha do Excel, você já conhece a interface, mas em Data Science, precisamos adotar o vocabulário técnico correto para evitar ambiguidades em discussões de modelagem matemática.

As Linhas: Observações (Instances / Records)

No eixo horizontal, cada linha (ou row) representa uma observação única no espaço e no tempo. Uma observação é um evento individual, uma entidade singular sobre a qual coletamos informações.

• Em um modelo de risco de crédito, uma linha é um cliente.

• Em um modelo de manutenção preditiva, uma linha é uma leitura de sensor em um milissegundo específico.

• Em um modelo de precificação imobiliária, uma linha é uma casa à venda.

O número total de linhas em um conjunto de dados é frequentemente denotado pela letra $n$ ou $m$ na notação matemática. Quanto mais linhas você tem, mais exemplos históricos o seu algoritmo de Machine Learning terá para aprender padrões.

As Colunas: Variáveis (Features / Attributes)

No eixo vertical, cada coluna representa uma variável, um atributo específico que descreve uma característica da nossa observação. No jargão moderno de Machine Learning, as colunas são quase sempre chamadas de Features.

• Voltando ao modelo de precificação imobiliária, se a linha é a casa, as colunas (features) serão: Metragem Quadrada, Número de Quartos, Tem Piscina?, Idade do Imóvel, Bairro.

Em termos de Álgebra Linear (Estação 1), cada observação é um vetor, e o conjunto completo de dados tabulares é uma grande matriz de características (Feature Matrix), geralmente denotada por $X$. Se houver uma coluna especial que estamos tentando prever (como o Preço da casa), ela é chamada de Variável Alvo (Target) ou Label, denotada por $y$.

A regra de ouro da modelagem tabular é a completude esquemática: todas as linhas devem possuir a mesma estrutura de colunas, mesmo que o valor de uma coluna específica para uma linha específica seja desconhecido (o que gera um temido "dado faltante").

2. A Taxonomia das Variáveis (Tipos de Dados Estatísticos)

Um computador vê tudo como zeros e uns, mas a Estatística exige que tratemos diferentes tipos de informação de maneiras fundamentalmente distintas. Você pode calcular a média de idade de um grupo de pessoas, mas não faz o menor sentido matemático calcular a "média" dos seus CEPs ou números de telefone.

Para aplicar algoritmos de Ciência de Dados corretamente, você deve classificar cada coluna tabular em uma de duas grandes categorias, que se subdividem novamente.

2.1 Variáveis Quantitativas (Numéricas)

Representam grandezas medíveis. São números reais onde as operações matemáticas (soma, média, variância) fazem sentido lógico.

• Numéricas Contínuas: Podem assumir qualquer valor dentro de um intervalo, incluindo frações decimais infinitas. A precisão só é limitada pelo instrumento de medição.

  • Exemplos: Altura (1.75m), Peso (82.3kg), Temperatura (36.5°C), Tempo de resposta de um servidor (14.23ms).

• Numéricas Discretas: Representam contagens inteiras. Não podem ser fracionadas. Você não pode ter "meio" evento desse tipo.

  • Exemplos: Número de filhos de um cliente (0, 1, 2, 3...), quantidade de itens no carrinho de compras, número de acidentes em uma rodovia em um mês.

2.2 Variáveis Qualitativas (Categóricas)

Descrevem qualidades, estados ou categorias. Mesmo que essas categorias sejam representadas por números no banco de dados (como 1 para Masculino e 2 para Feminino), esses números funcionam apenas como rótulos; eles não possuem valor matemático intrínseco.

• Categóricas Nominais: Categorias mutuamente exclusivas que não possuem ordem ou hierarquia natural. Nenhuma categoria é matematicamente "maior" ou "melhor" que a outra.

  • Exemplos: Cor dos olhos (Azul, Castanho, Verde), Estado civil (Solteiro, Casado, Divorciado), Marcas de carro (Ford, Toyota, Honda).

• Categóricas Ordinais: Categorias que possuem uma ordem lógica ou hierárquica clara, mas onde a distância matemática entre as categorias não é uniforme ou mensurável.

  • Exemplos: Grau de escolaridade (Ensino Fundamental, Ensino Médio, Ensino Superior), Nível de satisfação do cliente (Ruim, Regular, Bom, Excelente), Tamanhos de roupa (P, M, G, GG).

O Desafio do Machine Learning: Algoritmos matemáticos como Regressão Linear ou Redes Neurais são incapazes de ler texto. Eles só aceitam números. Portanto, uma das tarefas fundamentais ao trabalhar com dados tabulares é o processo de Encoding. Precisamos transformar variáveis categóricas em representações numéricas (como o One-Hot Encoding, que transforma uma coluna "Cor" em várias colunas binárias "É_Azul", "É_Verde", preenchidas com 0 ou 1) antes de treinar o modelo.

3. O Formato Físico: Onde habitam os Dados Tabulares?

Sair do ambiente isolado do Excel para o mundo do processamento de dados envolve entender os formatos de arquivo onde essas matrizes são gravadas no disco rígido do computador.

O Padrão Universal: CSV (Comma-Separated Values)

O CSV é o "idioma neutro" da internet para dados tabulares. É um arquivo de texto simples, extremamente leve, onde cada linha do arquivo de texto corresponde a uma linha da tabela, e as colunas são separadas por vírgulas (ou ponto-e-vírgula, dependendo da configuração regional).

• Vantagens: É legível por humanos. Você pode abrir um CSV no Bloco de Notas, no Excel, ou carregá-lo em qualquer linguagem de programação existente em segundos.
• Desvantagens: É ineficiente para Big Data. Ele não retém os tipos de dados (o número 10 e o texto "10" são idênticos no CSV, cabendo ao Python adivinhar). Além disso, ele obriga o computador a ler as linhas inteiras, mesmo que você queira analisar apenas uma única coluna.

O Padrão de Big Data: Armazenamento Colunar (Parquet)

Quando migramos para ecossistemas de processamento distribuído (como Apache Spark e Data Lakes na nuvem), o CSV rapidamente se torna um gargalo de lentidão imenso. A engenharia resolveu isso invertendo o paradigma de armazenamento em disco, criando formatos baseados em colunas, sendo o Apache Parquet o padrão ouro atual.

Lembra-se da operação de Projeção ($\pi$) da Álgebra Relacional (Estação 3), onde queríamos fatiar a tabela verticalmente para pegar apenas algumas colunas?

• Em um CSV (armazenamento baseado em linhas), para ler a coluna "Idade", o disco rígido tem que ler o arquivo inteiro, linha por linha, pulando os nomes, endereços e CPFs de cada linha para achar a idade. É um desperdício massivo de leitura (I/O).
• O Parquet (armazenamento colunar) grava todas as "Idades" juntas no disco de forma contígua, depois grava todos os "Nomes" juntos. Se você pedir apenas a média de idade para o Python, ele vai direto no bloco do disco onde estão as idades e ignora os outros 90% do arquivo. Além disso, por agrupar dados do mesmo tipo, o Parquet atinge taxas de compressão absurdas (um arquivo CSV de 5GB frequentemente vira um arquivo Parquet de 500MB).

4. O Custo Oculto: A Realidade Crua da Qualidade dos Dados

Ao fazer tutoriais básicos, os dados tabulares fornecidos são geralmente imaculados e perfeitos. No mundo real, um dataframe bruto extraído de um sistema transacional é caótico e hostil. Um Cientista de Dados gasta rotineiramente de 70% a 80% do seu tempo de projeto lidando com a limpeza dessas matrizes.

Existem dois predadores naturais em dados tabulares:

1. Missing Values (Valores Ausentes - NaNs): Ocorrem quando uma informação não foi preenchida ou falhou na transmissão. Como você calcula a média de idade se 10% da sua tabela está vazia? Você deleta as linhas com falhas (perdendo informação valiosa) ou tenta prever estatisticamente qual seria a idade usando técnicas de Imputação (ex: preencher os buracos com a mediana ou usar um modelo preditivo para estimar a idade com base nas outras características)?

2. Outliers (Anomalias): Um banco coletou a renda de 10.000 clientes. Quase todos ganham entre $2.000 e$15.000. Mas uma linha pertence a um bilionário que declarou $5.000.000 no mês. Esse único outlier distorcerá violentamente a média de todo o conjunto de dados tabular e destruirá a capacidade de generalização de algoritmos sensíveis como a Regressão Linear. Identificar, justificar e tratar esses pontos extremos é a verdadeira arte da estatística aplicada.

3. Resumo e Próximos Passos

Os Dados Tabulares fornecem o campo de jogo estruturado para a análise quantitativa.

• Compreendemos a matriz fundamental ($X$) composta por Observações (Linhas) e Features (Colunas).
• Classificamos a matéria-prima do mundo em variáveis Quantitativas (Contínuas/Discretas) e Qualitativas (Nominais/Ordinais).
• E entendemos que a forma física como gravamos essas matrizes (CSV vs Parquet) tem um impacto dramático na notação de complexidade O(n) do nosso hardware.

Agora que sabemos organizar a informação em planilhas estruturadas, surge uma pergunta mais profunda: Como podemos medir matematicamente a quantidade de informação útil contida em uma dessas colunas? Como um algoritmo "sabe" qual coluna é a mais importante para fazer uma previsão?

Para responder a isso, precisaremos invadir o domínio da Teoria da Informação de Claude Shannon. Na Estação 7, exploraremos o conceito abstrato de Entropia.

Mas antes de filosofar sobre o conteúdo da informação, vamos sujar as mãos importando e manipulando dados tabulares usando a biblioteca que domina a Ciência de Dados mundial: o pandas.

Mão na Massa: Domando Dados Tabulares com Python

No ecossistema Python, não usamos matrizes brutas do NumPy (vistas na Estação 1) para dados tabulares, porque o NumPy exige que todos os dados sejam do mesmo tipo numérico, e não lida bem com a mistura de textos e números. Para isso, usamos o Pandas, que introduz o objeto DataFrame.

Abaixo, simulamos a criação de um DataFrame misto, analisamos os tipos de variáveis estatísticas e tratamos os vilões clássicos: dados ausentes e outliers.

import pandas as pd
import numpy as np

print("--- 1. CRIANDO DADOS TABULARES DO ZERO ---")
# Criando um dicionário que simula a estrutura colunar
dados_brutos = {
	# Numérica Discreta (Mas usada como Identificador)
    'cliente_id': [101, 102, 103, 104, 105], 
    #Numérica Contínua (np.nan = Dado faltante) (120 = Outlier)
    'idade': [25, 34, np.nan, 45, 120], 
    # Categórica Nominal
    'estado_civil': ['Solteiro', 'Casado', 'Casado', 'Divorciado', 'Solteiro'], 
     # Categórica Ordinal
    'satisfacao': ['Bom', 'Excelente', 'Ruim', 'Bom', 'Bom'],
     # Numérica Contínua
    'valor_compra_usd': [150.50, 299.99, 45.00, 1000.50, 99.90]
}

# Transformando no objeto DataFrame
df = pd.DataFrame(dados_brutos)
print("DataFrame Original:")
print(df, "\n")


print("--- 2. ANALISANDO A ESTRUTURA E TIPAGEM ---")
print(f"Formato da Matriz (Linhas, Colunas): {df.shape}")
# .info() é o Raio-X do DataFrame. Mostra a contagem de Não-Nulos e os Tipos (Dtypes)
print("\nInformações das Colunas (Dtypes):")
print(df.dtypes)
# int64/float64 representam as numéricas. 
# 'object' é como o Pandas geralmente armazena as strings (categóricas).


print("\n--- 3. TRATANDO A 'SUJEIRA' (Valores Nulos e Outliers) ---")
# A) Identificando buracos (NaNs)
print(f"Dados Nulos na coluna Idade: {df['idade'].isna().sum()}")

# Imputação básica: Preenchendo a idade faltante com a mediana das idades existentes
mediana_idade = df['idade'].median() # A mediana é mais resistente a outliers do que a média
df['idade'] = df['idade'].fillna(mediana_idade)
print(f"Idade após preencher nulo com a mediana ({mediana_idade}):\n{df['idade'].values}")

# B) Lidando com um Outlier absurdo
# Identificamos visualmente que temos uma pessoa com 120 anos (possível erro de digitação do sistema transacional)
# Vamos filtrar o DataFrame para manter apenas pessoas com idades prováveis (< 100)
df_limpo = df[df['idade'] < 100]
print(f"\nDataFrame após remover a linha com o Outlier (> 100 anos):")
print(df_limpo, "\n")


print("--- 4. ENCODING: TRANSFORMANDO CATEGORIAS EM NÚMEROS ---")
# Para rodar um modelo de Machine Learning, não podemos passar a string 'Casado'.
# Vamos criar variáveis 'dummy' (One-Hot Encoding) para a coluna 'estado_civil'
df_ml_ready = pd.get_dummies(df_limpo, columns=['estado_civil'])

print("DataFrame final, pronto para modelos matemáticos (Note as novas colunas binárias):")
# Exibindo apenas algumas colunas para facilitar a visualização
print(df_ml_ready[['cliente_id', 'idade', 'estado_civil_Casado', 'estado_civil_Divorciado', 'estado_civil_Solteiro']])