AI From Scratch Construir o WorldLight — um pequeno modelo de linguagem de raiz Projeto WorldLight — edição técnica de trabalho 17 de outubro de 2026 · versão 0.3 Conteúdo Nota editorial e créditos 6 Como utilizar este livro 7 I.01 — O projecto WorldLight From Scratch 8 1. Objectivos de aprendizagem . 8 2. Pré-requisitos . 9 3. O que é o WorldLight From Scratch? 9 4. O que este projecto não é 10 5. As três metas do projecto 11 6. Modelo versus sistema de IA . 13 7. A cadeia fundamental de um modelo de linguagem 14 8. Treino e inferência 15 9. Por que começamos devagar . 17 10. A filosofia de validação 18 11. Identificadores estáveis . 19 12. Convenção de ficheiros 20 13. Componentes principais do WorldLight 21 14. Hardware de referência 23 15. Escala realista . 24 16. Reprodutibilidade . 25 17. Relação entre teoria e código 25 18. Regra de integração 26 19. Critérios de aceitação do capítulo 27 20. Exercícios de consolidação 28 21. Soluções dos exercícios . 29 22. Erros frequentes de compreensão 30 23. Resumo 31 1 AI FROM SCRATCH WorldLight 24. Glossário . 32 25. Estado técnico da unidade 33 26. Próximo passo exacto . 33 I.02 — Preparação do Windows 35 1. Objectivos de aprendizagem . 35 2. Pré-requisitos . 36 3. Porque começamos pelo sistema operativo 37 4. Windows suportado e Windows 10 37 5. Primeira verificação gráfica: winver 38 6. Abrir uma consola 39 7. Confirmar que estamos em PowerShell 40 8. Identificar o Windows pela linha de comandos 41 9. Confirmar CPU e RAM 43 10. Volumes, discos e espaço livre 44 11. Confirmar a GPU 46 12. Windows Terminal 48 13. Actualizações e segurança básica 48 14. Espaço livre: política inicial 49 15. Linha de base manual do WorldLight 50 16. Ferramenta auxiliar de linha de base 51 17. Como executar o script opcional 52 18. Testes de validação 52 19. Erros frequentes e soluções 54 20. Exercícios de consolidação 55 21. Soluções dos exercícios . 56 22. Critérios de aceitação do capítulo 57 23. Resumo 58 24. Glossário . 59 25. Referências técnicas 60 26. Estado técnico da unidade 61 27. Próximo passo exacto . 61 I.03 — Terminal e linha de comandos 62 1. O que vais realmente aprender 62 2. Resultado concreto da unidade 63 3. Como trabalhar com este capítulo . 64 4. Pré-requisitos reais . 65 5. Vocabulário essencial antes de tocar nos ficheiros 65 6. Primeiro contacto: executar e observar . 67 7. Onde estou? O directório de trabalho . 68 2 AI FROM SCRATCH WorldLight 8. Caminhos absolutos e relativos 69 9. A pasta pessoal: $HOME 70 10. Entrar deliberadamente na pasta pessoal 71 11. Listar o conteúdo de uma pasta 72 12. Criar a pasta-laboratório 73 13. Entrar no laboratório 74 14. Criar a área prática . 75 15. Criar três subpastas 75 16. Criar o primeiro ficheiro 76 17. Escrever conteúdo num ficheiro 77 18. Ler o ficheiro e provar que a escrita funcionou 78 19. Acrescentar em vez de substituir 78 20. Criar documentação dentro de uma subpasta . 79 21. Caminhos com espaços: por que usamos aspas 80 22. Copiar um ficheiro 80 23. Mudar o nome de um ficheiro 81 24. Mover um ficheiro . 82 25. Ver a estrutura inteira 83 26. Introdução ao pipeline | 83 27. Descobrir comandos em vez de decorar tudo 84 28. Aliases: nomes curtos que podem confundir 85 29. Aprender a reconhecer um erro de caminho 86 30. Erro de comando: uma letra pode ser suficiente 87 31. Estar na pasta errada: um dos erros mais comuns 88 32. Segurança: antes de apagar, simular 89 33. Eliminar conscientemente o ficheiro descartável 90 34. Limpar apenas a pasta temporária com espaços 91 35. Mini-projecto prático: construir uma árvore de tra- balho 91 36. Exercício de navegação sem copiar o caminho com- pleto . 93 37. Exercício de diagnóstico 94 38. Exercício sobre cópia e movimento 95 39. Exercício de ajuda autónoma . 95 40. Diagnóstico de problemas frequentes 96 41. Porque o terminal é importante para construir uma IA 98 42. O princípio “observar antes de alterar” 99 43. O que ainda NÃO aprendemos 100 44. Teste prático final do capítulo 100 45. Critérios de aceitação formais 102 3 AI FROM SCRATCH WorldLight 46. Soluções orientadas dos exercícios 103 47. Glossário do capítulo 105 48. Referências técnicas 106 49. Estado real de validação desta unidade 107 50. Registo de evidências a preencher durante a execu- ção 108 51. Resumo conceptual 109 52. Gate pedagógico desta unidade 109 II.01 — Python: do primeiro programa aos testes 111 Objetivo e ponto de partida . 111 O que é um programa? 111 Laboratório no PowerShell 112 Leitura de módulos 113 Exercícios com solução 113 III.01 — Vetores, matrizes, erro e derivadas 114 Pré-requisitos e objetivo 114 Uma previsão calculável em papel 114 Da função de erro ao gradiente . 115 Laboratório 115 Problemas e exercícios 116 IV.01 — Neurónios, camadas e propagação inversa 117 Do neurónio à rede 117 Regra da cadeia 117 Experiência guiada 118 Verificação e diagnóstico 118 V.01 — Texto, vocabulário e conjuntos de dados 119 Da frase ao índice 119 Preparação de dados 119 Laboratório 120 Sequências de treino 120 V.02 — Da atenção causal ao Transformer 122 Porque não basta contar caracteres? . 122 Atenção calculada passo a passo 122 Várias cabeças e bloco completo 123 Laboratório de inspeção 123 VI.01 — Treinar, medir e recuperar 124 4 AI FROM SCRATCH WorldLight Preparação e segurança 124 O que o ciclo efetivamente faz 124 Comandos completos 125 Checkpoints e reprodutibilidade 125 Erros e recuperação . 125 Exercícios e critérios 126 VII.01 — Gerar texto e interpretar limites 127 O que é inferência? 127 Execução guiada . 127 O que o protótipo não faz 128 Diagnóstico e exercícios 128 VIII.01 — Evolução técnica responsável 129 Inventário: construído versus futuro . 129 Modularidade verificável 129 Segurança e privacidade 130 Diagnóstico antes de aumentar a dimensão 130 Projeto final e aceitação . 130 IX.01 — Consulta rápida, glossário e referências 131 Glossário . 131 Mapa de ficheiros 132 Comandos de referência (PowerShell, raiz do projeto) 132 Referências 132 Critério de conclusão global 133 5 Nota editorial e créditos Obra original inspirada na metodologia operacional de Linux From Scratch 12.4 (Gerard Beekmans e colaboradores). Não é uma adaptação textual dessa obra. Os três primeiros capítulos recuperam materiais anteriores do projeto WorldLight e con- servam as respectivas indicações de estado de validação. Os capítulos restantes constituem uma primeira edição integrada, ainda sujeita a validação pedagógica com o leitor. Atenção: este PDF é uma edição de trabalho, não uma declara- ção de que a missão editorial integral de aproximadamente 500 páginas está concluída. Os exemplos foram testados neste am- biente Linux; os comandos PowerShell não foram executados no Windows do leitor. 6 Como utilizar este livro Lê e executa os capítulos na ordem apresentada. Mantém o projeto numa pasta própria, conserva checkpoints importantes antes de novas experiências e compara os resultados esperados com os obtidos. Os comandos do livro assumem a raiz do pro- jeto onde se encontram requirements.txt , examples/ e tests/ 7 I.01 — O projecto WorldLight From Scratch Identificador estável do capítulo: WL-V1-C01 Versão do capítulo: 1.2-draft Estado documental: REDIGIDO Estado de código: NÃO APLICÁVEL NESTE CAPÍTULO Estado de execução: NÃO EXECUTADO — este capítulo é con- ceptual e organizacional Hardware de referência: NVIDIA GTX 1660 6 GB VRAM; 32 GB RAM; Windows; AMD Ryzen 5 5600 por confirmar 1. Objectivos de aprendizagem No final deste capítulo, deverás conseguir explicar, pelas tuas próprias palavras: • o que significa construir o WorldLight From Scratch ; • o que será realmente construído ao longo do manual; • a diferença entre um modelo de linguagem e um sistema de IA completo; • por que motivo o projecto começa por componentes peque- nos e verificáveis; • como serão organizados os ficheiros, testes, experiências e decisões; 8 AI FROM SCRATCH WorldLight • o que significa dizer que um resultado foi esperado , re- visto , executado ou medido ; • quais são os limites práticos do hardware de referência; • quando um capítulo ou componente pode ser considerado pedagogicamente aceite. Critérios de aprendizagem deste capítulo Este capítulo será considerado pedagogicamente compreen- dido quando conseguires: 1. descrever a cadeia geral dados → tokens → modelo → lo- gits → próximo token ; 2. explicar por que razão não utilizaremos modelos pré- treinados no percurso principal; 3. distinguir treino de inferência; 4. distinguir código revisto de código executado; 5. identificar pelo menos três limitações práticas impostas pelo hardware; 6. explicar por que motivo cada componente será testado iso- ladamente antes da integração. 2. Pré-requisitos Este é o primeiro capítulo técnico do manual. Não pressupõe conhecimentos prévios de programação, matemática avançada ou inteligência artificial. É suficiente saber utilizar um computador com Windows ao ní- vel básico: abrir programas, criar pastas e guardar ficheiros. Tudo o resto será introduzido progressivamente. 3. O que é o WorldLight From Scratch? O WorldLight From Scratch é um projecto de aprendizagem e engenharia cujo objectivo é construir, compreender, testar e 9 AI FROM SCRATCH WorldLight treinar um pequeno sistema de inteligência artificial, partindo dos seus componentes fundamentais. A expressão From Scratch significa, neste manual, que o per- curso principal não começa por descarregar um modelo já trei- nado e aprender a utilizá-lo. Em vez disso, começaremos por construir as peças que tornam possível um modelo desse tipo. Ao longo do percurso iremos implementar, compreender e ligar componentes como: • operações numéricas; • vectores, matrizes e tensores; • derivadas e gradientes; • neurónios artificiais; • camadas; • funções de activação; • funções de perda; • retropropagação; • optimização; • tokenização; • embeddings; • atenção; • blocos Transformer; • previsão do próximo token; • treino; • checkpoints; • geração de texto; • inferência; • interface de conversação. O objectivo não é apenas chegar a um programa que produz texto. O objectivo é compreender por que motivo cada com- ponente existe, como funciona e como podemos provar que está correcto 4. O que este projecto não é É importante estabelecer limites desde o primeiro capítulo. O WorldLight From Scratch não é : 10 AI FROM SCRATCH WorldLight • um tutorial de utilização de um chatbot já existente; • um guia para chamar uma API de um modelo comercial; • uma integração de um modelo pré-treinado descarregado da Internet; • uma promessa de criar, num computador doméstico, um modelo com a dimensão dos maiores sistemas comerciais; • uma colecção de fragmentos de código sem relação entre si. Poderemos estudar ferramentas, frameworks e modelos exis- tentes mais tarde, mas apenas depois de os conceitos essenciais terem sido construídos e compreendidos no percurso principal. 5. As três metas do projecto O WorldLight tem três metas progressivas. 5.1 Meta A — compreender e construir os com- ponentes fundamentais Primeiro, construiremos versões pequenas e verificáveis dos mecanismos essenciais. Exemplos: • calcular um produto interno entre vectores; • implementar uma camada; • calcular uma função de perda; • obter um gradiente; • verificar esse gradiente numericamente; • actualizar pesos; • construir atenção causal. Nesta fase, a prioridade é a compreensão. 5.2 Meta B — treinar um pequeno modelo de lin- guagem criado no projecto Depois de os componentes individuais estarem validados, serão integrados num pequeno modelo de linguagem causal. 11 AI FROM SCRATCH WorldLight Um modelo de linguagem causal aprende a prever o próximo token utilizando apenas os tokens anteriores. De forma simplificada: entrada: "O céu é" modelo: calcula uma distribuição de probabilidades saída possível: "azul" O modelo não memoriza uma resposta fixa para cada frase. Aprende parâmetros numéricos que influenciam as previsões. 5.3 Meta C — transformar o modelo num sis- tema WorldLight funcional Um modelo, por si só, não é uma aplicação completa. Mais tarde acrescentaremos: • carregamento de pesos; • motor de inferência; • tokenização integrada; • gestão de contexto; • interface de conversação; • configurações; • logs; • validação de entradas; • testes de regressão; • documentação; • diagnóstico de problemas. A terceira meta transforma o modelo treinado num pequeno sis- tema utilizável. 12 AI FROM SCRATCH WorldLight 6. Modelo versus sistema de IA Esta distinção será usada em todo o manual. 6.1 Modelo Um modelo é uma estrutura matemática parametrizada. Recebe entradas numéricas, realiza operações e produz saídas numéricas. Num modelo de linguagem, essas saídas representam normal- mente valores associados às probabilidades dos próximos to- kens. 6.2 Sistema Um sistema de IA inclui o modelo e tudo o que é necessário para o utilizar de forma controlada. Por exemplo: Utilizador ↓ Interface ↓ Validação da entrada ↓ Tokenizador ↓ Modelo ↓ Amostragem ↓ Descodificador ↓ Resposta O modelo é uma peça central, mas não é o sistema inteiro. 13 AI FROM SCRATCH WorldLight 7. A cadeia fundamental de um modelo de linguagem Ainda não precisamos de compreender todos os detalhes mate- máticos. Precisamos apenas de conhecer o mapa. Texto ↓ Tokenização ↓ IDs numéricos ↓ Embeddings ↓ Blocos Transformer ↓ Logits ↓ Distribuição de probabilidade ↓ Escolha do próximo token ↓ Novo texto 7.1 Texto O computador recebe caracteres, palavras ou outros símbolos. 7.2 Tokenização A tokenização divide o texto em unidades chamadas tokens Um token pode ser: • um carácter; • uma palavra; • parte de uma palavra; • outro símbolo definido pelo tokenizador. 7.3 IDs numéricos Cada token recebe um identificador inteiro. 14 AI FROM SCRATCH WorldLight Exemplo meramente ilustrativo: "céu" → 137 "é" → 41 "azul"→ 892 Estes números são identificadores, não significados. 7.4 Embeddings Um embedding transforma um identificador discreto num vec- tor de números aprendidos. O objectivo é permitir que o modelo trabalhe com representa- ções numéricas contínuas. 7.5 Transformer O Transformer processa as representações utilizando meca- nismos como atenção, camadas feed-forward, normalização e ligações residuais. 7.6 Logits Os logits são valores numéricos produzidos antes de serem transformados numa distribuição de probabilidade. 7.7 Próximo token A partir dos logits, o sistema calcula probabilidades e selecci- ona um token seguinte. Depois, o processo pode repetir-se. 8. Treino e inferência São duas fases diferentes. 15 AI FROM SCRATCH WorldLight 8.1 Treino Durante o treino , o modelo recebe exemplos e os seus parâme- tros são ajustados para reduzir o erro. Fluxo simplificado: dados ↓ modelo ↓ previsão ↓ erro ↓ gradientes ↓ actualização dos parâmetros A parte crítica é a actualização dos pesos. 8.2 Inferência Durante a inferência , os pesos já existem. O modelo recebe uma entrada e produz previsões sem executar o processo normal de aprendizagem. Fluxo simplificado: entrada ↓ modelo com pesos treinados ↓ previsão ↓ saída Uma forma simples de memorizar a diferença: Treino: o modelo altera os seus parâmetros. Inferência: o modelo utiliza os parâmetros que já possui. 16 AI FROM SCRATCH WorldLight 9. Por que começamos devagar Pode parecer tentador começar imediatamente por um Trans- former. Isso criaria um problema: quando algo falhasse, não sabería- mos qual componente está errado. Imagina um sistema com: • tokenização; • embeddings; • atenção; • várias camadas; • normalização; • função de perda; • backpropagation; • optimizador. Se o resultado final for incorrecto, existem dezenas de possíveis causas. Por isso, este manual segue uma regra: Construir pequeno, testar isoladamente, inte- grar apenas depois. Exemplo de progressão: multiplicação escalar ↓ vector ↓ matriz ↓ camada ↓ rede ↓ gradiente ↓ treino ↓ atenção ↓ 17 AI FROM SCRATCH WorldLight Transformer Cada etapa reduz a incerteza da etapa seguinte. 10. A filosofia de validação Um programa poder executar sem erro não significa que esteja correcto. Considere: def soma(a, b): return a - b Este programa é sintacticamente válido e pode executar sem qualquer excepção. No entanto, a operação está errada. Por isso, distinguiremos sempre vários estados. REDIGIDO O conteúdo foi escrito. REVISTO O conteúdo ou código foi inspeccionado logicamente. EXECUTADO O código foi realmente executado num ambiente disponível. TESTE APROVADO Um teste específico foi executado e produziu o resultado espe- rado. RESULTADO ESPERADO O valor ainda não foi medido, mas foi previsto a partir da lógica do programa. 18 AI FROM SCRATCH WorldLight RESULTADO MEDIDO O valor foi obtido numa execução real. Estas etiquetas evitam transformar suposições em factos. 11. Identificadores estáveis Para permitir continuidade entre sessões e futura aprendiza- gem interactiva, utilizaremos identificadores estáveis. 11.1 Capítulos Formato: WL-V<volume>-C<capítulo> Este capítulo: WL-V1-C01 11.2 Objectivos Formato: OBJ-WL-V1-C01-001 OBJ-WL-V1-C01-002 ... 11.3 Componentes Formato: CMP-<NOME> Exemplos futuros: CMP-TENSOR CMP-AUTOGRAD CMP-TOKENIZER CMP-ATTENTION CMP-TRANSFORMER 19