Giga-Embeddings-A-0826

About

What Giga-Embeddings-A-0826 is

GigaChat 10B Bidirectional Embedding Model Модель текстовых эмбеддингов на основе архитектуры GigaChat3-10B-A1.8B, адаптированная под двунаправленное (encoder-style) внимание и обученная с контрастивной функцией потерь (InfoNCE). Модель строит плотные эмбеддинги предложений/абзацев для задач поиска (retrieval), семантического сравнения, классификации и кластеризации, показывая высокое качество на русском и английском языках. - Архитектура: DeepSeek-V3 (26 слоёв, скрытая размерность 1536, 32 головы внимания, Multi-head Latent Attention с параметрами kvlorarank=512, qknopeheaddim=128, qkropeheaddim=64, vheaddim=192; MoE с 64 маршрутизируемыми экспертами, 4 активных на токен, 1 общий (shared) эксперт), механизм self-attention сделан двунаправленным. - Рецепт получения эмбеддингов: усреднение (mean pooling) по токенам без учёта padding-токенов, за которым следует L2-нормализация. Сравнивайте эмбеддинги с помощью косинусного сходства (скалярное произведение нормализованных векторов). - Всего параметров: ~10 млрд (≈1,8 млрд активных на токен). Веса в формате bfloat16. Пулинг и нормализация Модель обучалась с mean pooling + L2-нормализацией. Иёспользование CLS/last-token пулинга даст неверные результаты. Если вы используете transformers напрямую, необходимо самостоятельно усреднить (mean-pool) по не-паддинговым токенам и затем применить L2-нормализацию (см. пример ниже). В примерах для sentence-transformers и vLLM это делается автоматически. Сравнивайте эмбеддинги через косинусную близость (скалярное произведение нормированных векторов). Инструктивность Модель обучалась в инструктивном стиле: для retrieval и других асимметричных задач необходимо добавлять инструкцию к запросу (query), а документы кодируются как есть, без инструкции. Формат: Для симметричных задач (STS, дедупликация) можно использовать общую инструкцию либо не использовать её вовсе. Инструкцию выбирают под конкретную задачу — единственного «правильного» промпта не существует. Важно отметить, что инструкцию нужно добавлять только перед запросом, а не перед документом. FAQ 1. Нужно ли добавлять инструкции к запросу? Для асимметричных задач (retrieval) — да, добавьте к запросу инструкцию из одного предложе

Summarised from the published model card. Read the full card on the HuggingFace links below.

Specifications

What it is

How it works

How embedding models work

Variants

Sizes & precisions

Open weights ship in several sizes and precisions. One page, all the variants — pick the one that fits your GPU. VRAM figures are estimates from model size.

Using it via the API

Call it like any OpenAI endpoint

Once AxForge deploys giga-embeddings-a-0826 for you, it answers on the OpenAI-compatible API — the same base URL and keys as every other model. (giga-embeddings-a-0826 below is illustrative; you get the exact model name on deployment.)

$ curl -sS https://api.axforge.ai/v1/embeddings \
  -H "Authorization: Bearer $AXFORGE_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"giga-embeddings-a-0826","input":"text to embed"}'

Details

Languages, data & research

Papers

Licence

Open weights

Sources

Weights & code

Explore

More embedding models