manaca

Português

Descrição do modelo

Manacá-1B é um transformer decoder-only no estilo Llama-3, treinado do zero para o português do Brasil com um pipeline totalmente containerizado e reprodutível. É um modelo base: aprendeu a modelar a língua por pré-treino, mas não passou por ajuste de instrução (SFT) nem alinhamento (DPO/RLHF). Ele completa e continua texto; não segue instruções nem conversa.

Tokenizador (leia isto)

O tokenizador é um SentencePiece unigram de 64k com a normalização nmt_nfkc_cf (NFKC + case folding). O modelo é lowercase por construção: o texto de entrada é normalizado para minúsculas antes da segmentação. Os arquivos de tokenizador publicados aqui já incluem a correção que reproduz exatamente a tokenização de treino (normalizador Sequence([NFKC, Lowercase])). Use sempre o AutoTokenizer deste repositório; um tokenizador sem esse normalizador tokeniza maiúsculas por byte-fallback e degrada os resultados de forma invisível.

Dados de treino

Corpus curado, aberto, de ~20,1B tokens únicos (pré-treino de ~2 épocas ⇒ ~41,9B tokens de atualização, ~24 tokens/parâmetro, próximo do compute-optimal de Chinchilla; repetição até ~4 épocas é quase tão boa quanto dados frescos, Muennighoff et al., 2023).

Detalhes de treino

20.000 passos, batch global 512, sequência 4096. Adam (β 0,9/0,999, ε 1e-8), weight decay 0,1, clip de gradiente 1,0, learning rate 3e-4 → 3e-5 (cosseno, warmup de 2.000), z-loss, bf16, recompute full, seed 1234. Treinado em 2 GPUs de 24 GB (sem NVLink) com paralelismo de dados (ZeRO-1). A corrida foi estável: 0 iterações puladas e 0 NaN; loss de treino 11,41 → 2,48; loss de validação 2,07 nats.

Avaliação

Acurácia (%) em quatro benchmarks de português, mesmo harness. CALAME-PT por geração da última palavra; ARC-Challenge-PT (25-shot), HellaSwag-PT (10-shot) e LAMBADA-PT (0-shot) por log-verossimilhança.

O Manacá-1B é o modelo mais forte abaixo de 7B na predição da última palavra (LAMBADA-PT), empata com os melhores modelos de 1 a 2 B no CALAME-PT, e fica na faixa de acaso em ARC-Challenge-PT (como todo modelo base nessa escala). Detalhes, testes pareados de McNemar e validação do harness no repositório e no preprint.

Uso

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model_id = "menezesbruno/manaca-1b-base"
tok = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id, torch_dtype=torch.bfloat16, device_map="auto")

# O modelo é lowercase por construção (o tokenizador normaliza a entrada).
prompt = "a capital do brasil é"
inputs = tok(prompt, return_tensors="pt").to(model.device)
out = model.generate(**inputs, max_new_tokens=40, do_sample=False)
print(tok.decode(out[0], skip_special_tokens=True))

Uso pretendido e limitações

Pesquisa e uso como modelo base para português do Brasil: modelagem de língua, continuação de texto, e ponto de partida para ajuste fino/instrução. Não é um modelo de instrução nem de chat; não segue comandos sem ajuste posterior. É um modelo base de ~1,72B: erra fatos, pode gerar conteúdo incorreto ou enviesado refletindo os dados de treino, e tem raciocínio limitado (próximo do acaso em múltipla escolha). Avalie antes de qualquer uso sensível.

English

Model description

Manacá-1B is a Llama-3-style decoder-only transformer trained from scratch for Brazilian Portuguese with a fully containerized, reproducible pipeline. It is a base model: it learned to model the language through pretraining but has not been instruction-tuned (SFT) or aligned (DPO/RLHF). It completes and continues text; it does not follow instructions or chat.