Cada etapa,
→ sua camada.

Todo trabalho com dado é um ETL: extrai, transforma, carrega. O erro caro é resolver tudo com LLM. A hierarquia de camadas coloca cada etapa onde ela custa menos e entrega mais: script, serviço ou IA.

3 camadasscript, serviço, LLM
1 regradesça a camada sempre que der
ETLextrair, tratar, carregar
Legenda de coresAs 3 camadas do pipeline
Tier 0 Script
Tier 1 Serviço
Tier 2 LLM
Hierarquia
Camada errada

Mapa da aula

Use este mapa para entender a sequência da aula antes de entrar nos detalhes.

Legenda de coresAs 3 camadas do pipeline
Tier 0 Scripttransformação determinística, trabalho pesado
Tier 1 Serviçoferramenta: Whisper, Pandoc, Calibre
Tier 2 LLMinterpretação e julgamento
Hierarquiadesce sempre que der, sobe só se precisa
Camada erradaLLM fazendo trabalho de script

Desça a camada sempre que der

Cada etapa do ETL tem uma camada natural. Script para o que é regra, serviço para o que uma ferramenta já resolve, LLM para o que exige interpretação. A regra é descer a camada sempre que possível: ela é mais barata e mais confiável.

A regra que sustenta a aulaAntes de jogar uma etapa do ETL na LLM, pergunte se uma camada mais baixa resolve. Um script faz a transformação determinística. Um serviço especializado (Whisper, Pandoc, Calibre) faz o trabalho que já tem ferramenta. A LLM fica só para a interpretação que nenhuma camada abaixo entrega.

ETL tudo-LLM

  • Joga extração, transformação e carga toda na LLM.
  • Paga token para converter formato que o Pandoc converte.
  • Tolera variância no que deveria ser determinístico.
  • Pipeline caro, lento e instável em escala.

ETL em camadas

  • Coloca cada etapa na camada mais baixa que resolve.
  • Usa Whisper pra transcrever, Pandoc/Calibre pra converter.
  • Reserva a LLM para interpretar e julgar o conteúdo.
  • Pipeline barato, rápido e estável.
Alan Nicolas (instrutor, aula-02)Olha o pipeline que eu montei: o Whisper transcreve o áudio, o Pandoc e o Calibre convertem o formato, e só no fim a LLM lê o conteúdo pra extrair o que importa. Cada ferramenta no seu lugar. A IA não transcreve nem converte, ela interpreta.

O caminho da aula

Três movimentos: entender as 3 camadas, ver o pipeline Whisper mais Pandoc mais Calibre mais LLM ao vivo, e desenhar um ETL seu com a hierarquia certa.

As 3 camadas

1. Tier 0 Scripttransformação determinística feita por código.
2. Tier 1 Serviçoferramenta especializada que já resolve o problema.
3. Tier 2 LLMinterpretação e julgamento que só a IA entrega.

[ a ] Você vai sair sabendo

  • O que cada camada faz bem e mal.
  • Por que descer a camada é mais barato e estável.
  • Onde a LLM agrega de verdade num pipeline de dado.

[ b ] Você vai sair fazendo

O desenho de um pipeline ETL seu, com cada etapa colocada na camada certa.

Cluster 1 / 3desça a camada sempre que der · as 3 camadas script/serviço/LLM · ETL como base

Você tem o mapa. Agora vê o pipeline real montado camada por camada.

Caso Real

Whisper, Pandoc, Calibre e LLM

Alan montou um pipeline de conteúdo onde cada ferramenta faz uma camada: Whisper transcreve, Pandoc e Calibre convertem, e a LLM só interpreta no fim. A IA fica leve porque as camadas abaixo carregam o peso.

Cada ferramenta na sua camada

O pipeline parece complexo até você ver que é só cada etapa na camada certa. A LLM faz pouco, e por isso o pipeline é barato e estável.

Rota · action
Começou comoA tentação de jogar áudio, conversão e interpretação tudo na LLM.
VirouWhisper transcreve (serviço), Pandoc e Calibre convertem (serviço/script), LLM interpreta (Tier 2).
ProvaA LLM só toca o conteúdo já transcrito e convertido, na etapa onde ela agrega.
LiçãoQuando as camadas abaixo carregam o peso, a IA faz só o que é ouro.
SituaçãoAlan precisa converter áudio em conhecimento estruturado. Poderia tentar fazer tudo com a LLM, caro e instável.
DecisãoMontar o pipeline em camadas: cada ferramenta na sua etapa, a LLM só na interpretação final.
EvidênciaEm aula-02, Alan instala e encadeia Whisper, Pandoc e Calibre ao vivo; em aula-07, formaliza a hierarquia Tier 0/1/2.
Mensagem ao alunoAntes de pedir pra IA processar um arquivo, veja se uma ferramenta especializada já faz a etapa pesada.
ContextoEm aula-07, o framing formal das camadas (Tier 0 script, Tier 1 serviço, Tier 2 LLM) organiza qualquer pipeline; em aula-02, o exemplo do conteúdo torna concreto.
Percepção-chaveTranscrição e conversão são problemas resolvidos por ferramentas. Jogar isso na LLM é pagar caro pelo que já existe pronto e determinístico.
DecisãoMapear cada etapa do ETL para a camada mais baixa que a resolve, deixando a LLM só no topo.
1ExtraiWhisper transcreve o áudio (serviço especializado).
2TransformaPandoc e Calibre convertem o formato (script/serviço).
3InterpretaLLM lê o conteúdo limpo e extrai o que importa (Tier 2).
4Carregao resultado estruturado entra no destino final.
3 ferramentasWhisper, Pandoc, Calibre antes da IA
LLM no topoa IA só interpreta, não transcreve nem converte
Estávelas camadas abaixo são determinísticas
AntesTentação de jogar tudo na LLM, caro e instável.
DepoisCada ferramenta na sua camada, LLM só no topo.
LiçãoA IA leve é a IA que tem boas camadas embaixo.
Custo relativo de fazer cada etapa em cada camada
  • Transcrição no Whisper (serviço)
    barato
  • Transcrição na LLM
    caro
  • Conversão no Pandoc (script)
    trivial
  • Interpretação na LLM (Tier 2)
    vale o ouro
Cluster 2 / 3pipeline Whisper/Pandoc/Calibre/LLM · cada ferramenta na camada · IA leve com camadas embaixo

Você viu o pipeline montado. Agora a técnica: a hierarquia formal e a sequência de desenho.

Trilogia

WHY / WHAT / HOW da hierarquia

As 3 camadas que transformam um pipeline tudo-LLM num pipeline em tiers.

1

WHY - A camada baixa é mais barata e estável

Script e serviço são determinísticos: mesma entrada, mesma saída, custo fixo. A LLM varia e cobra token. Descer a camada sempre que der é o que mantém o pipeline barato e confiável.

WHYbarato e estável
2

WHAT - Três tiers

Tier 0 é o script determinístico. Tier 1 é o serviço especializado (Whisper, Pandoc, Calibre). Tier 2 é a LLM, para interpretação e julgamento. Cada etapa do ETL mora num tier.

WHATTier 0/1/2
3

HOW - Mapear etapa em camada

Para cada etapa do ETL, pergunte: um script resolve? Um serviço já existe? Só então suba para a LLM. Mapeie cada etapa para o tier mais baixo que a resolve.

HOWetapa em camada

Os 3 tiers por dentro

Cada tier tem um tipo de trabalho e um exemplo concreto. A grade que você usa ao desenhar o pipeline.

Tier 0 Script◇ signal

Transformação determinística feita por código próprio. Regex, parsing, cálculo, renomeação.

Tier 1 Serviço▲ bench

Ferramenta especializada que já resolve. Whisper transcreve, Pandoc e Calibre convertem formato.

Tier 2 LLM▶ action

Interpretação, extração de sentido e julgamento sobre o conteúdo já limpo.

Etapa típicaCamada certaCamada erradaPor quê

Transcrever áudio

Camada certaTier 1 (Whisper)
Camada erradaTier 2 (LLM)
Por quêserviço transcreve melhor e mais barato

Converter formato

Camada certaTier 1 (Pandoc/Calibre)
Camada erradaTier 2 (LLM)
Por quêferramenta converte sem variância

Limpar e parsear texto

Camada certaTier 0 (script)
Camada erradaTier 2 (LLM)
Por quêregra clara é código

Extrair sentido do conteúdo

Camada certaTier 2 (LLM)
Camada erradaTier 0 (script)
Por quêinterpretação é ouro da IA
Não confundaServiço, não LLM para transcrição

Mandar o áudio direto pra IA parece prático.

Esclareça: O Whisper é um serviço dedicado: transcreve melhor, mais barato e sem variância. A IA entra depois, no conteúdo já transcrito.

Não confundaScript, não LLM para parsing de regra clara

Pedir pra IA limpar o texto parece flexível.

Esclareça: Se a limpeza tem regra fixa, um script faz igual sempre. A IA só agrega onde a limpeza depende de interpretação.

Não confundaDescer a camada, não subir por hábito

Subir tudo pra LLM parece mais poderoso.

Esclareça: A camada baixa é mais barata e estável. Suba só quando a etapa exige julgamento que o tier abaixo não dá.

A sequência de desenho

Os passos concretos para desenhar um pipeline ETL com cada etapa na camada certa.

◇▶ signal_plus_action

Desenhar um pipeline ETL em camadas

Use antes de montar qualquer fluxo de transformação de dado.

listar-etapas→perguntar-camada→mapear→subir-so-no-fim
  1. listar-etapas — Liste as etapas do ETL: extrair, tratar, carregar, em detalhe.
  2. perguntar-camada — Para cada etapa: um script resolve? Um serviço já existe?
  3. mapear — Coloque cada etapa no tier mais baixo que a resolve.
  4. subir-so-no-fim — A LLM (Tier 2) entra só nas etapas de interpretação e julgamento.

Da etapa à camada certa

1

Lista as etapas

extrair, tratar, carregar.

2

Script resolve?

se a regra é clara, Tier 0.

3

Serviço resolve?

se há ferramenta pronta, Tier 1.

4

Só então LLM

interpretação e julgamento, Tier 2.

Cluster 3 / 3trilogia da hierarquia · os 3 tiers por dentro · sequência de desenho

Você tem a técnica. Agora a prática: desenhe um pipeline ETL seu em camadas.

Prática

Prática: desenhe um pipeline em camadas

Pegue um fluxo de dado seu e desenhe o ETL colocando cada etapa no tier mais baixo que a resolve.

aula.yaml9 linhas
01# Desenhe antes de montar. Desca a camada sempre que der.02pipeline: "{nome do fluxo de dado}"03etapas: 04  - etapa: "{o que esta etapa faz}"05    tipo: "{extrair | tratar | carregar}"06    script_resolve: "{sim | nao}"07    servico_pronto: "{qual ferramenta, ou nenhuma}"08    tier: "{tier0-script | tier1-servico | tier2-llm}"09    justificativa_llm: "{se tier2: qual interpretacao so a IA da}"

Produz

Trecho copiável para executar ou adaptar.

Portão

Desenho do pipeline ETL (uma linha por etapa)
Portão da aulaAntes de seguir para a próxima aula: você desenhou um pipeline ETL seu, listou as etapas e colocou cada uma no tier mais baixo que a resolve, justificando o que ficou na LLM. Se alguma transcrição ou conversão ficou em Tier 2, desça para o serviço antes de passar.
  1. Escolha o fluxo: Pegue um trabalho com dado que você faz ou faria: áudio, documento, planilha.
  2. Liste as etapas: Quebre em etapas de ETL: o que extrai, o que transforma, o que carrega.
  3. Pergunte a camada: Para cada etapa: um script resolve? Um serviço pronto já faz?
  4. Mapeie os tiers: Coloque cada etapa em Tier 0 (script), Tier 1 (serviço) ou Tier 2 (LLM).
  5. Justifique a LLM: Para as etapas em Tier 2, escreva qual interpretação só a IA entrega.

Glossário

Os termos desta aula em uma frase cada.

Pipeline ETL

Fluxo de extrair, transformar e carregar dado. Toda tarefa com dado é um ETL.

Tier 0 Script

A camada determinística: transformação feita por código próprio com regra clara.

Tier 1 Serviço

A camada de ferramenta especializada que já resolve (Whisper, Pandoc, Calibre).

Tier 2 LLM

A camada de interpretação e julgamento, onde a IA agrega o que as camadas abaixo não dão.

Descer a camada

A regra de colocar cada etapa no tier mais baixo que a resolve, subindo só quando precisa.

Próxima aulaVocê desenha pipelines em camadas e sabe onde a IA agrega. Com o determinismo dominado, M5 entra na arquitetura SINKRA: o que é um squad e como as entidades viram unidades de processo.