Model reference · open weights
Giga-Embeddings-0826 is an open-weight embedding model from ai-sage, listed in the AxForge catalogue. AxForge can bring it up on EU-owned hardware for you on request — with the licence handled where one is required.
About
GigaChat 3B Bidirectional Embedding Model - Базовая LLM: собственная предобученная модель с архитектурой Qwen3 (36 слоёв, hidden 2048, 16 attention-голов / 8 KV-голов, headdim 128), self-attention сделан двунаправленным (encoder-style) - Тип пулинга: Mean pooling (усреднение) - Размерность эмбеддинга: 2048 - Параметры: ~3B (веса в формате bfloat16) Следующая итерация серии Giga-Embeddings. Модель текстовых эмбеддингов на основе архитектуры Qwen3, адаптированная под двунаправленное (encoder-style) внимание и обученная с контрастивной функцией потерь (InfoNCE). Модель строит плотные эмбеддинги предложений/абзацев для задач поиска (retrieval), семантического сравнения, классификации и кластеризации, показывая высокое качество на русском и английском языках. Пулинг и нормализация Модель обучалась с mean pooling + L2-нормализацией. Использование CLS/last-token пулинга даст неверные результаты. Если вы используете transformers напрямую, необходимо самостоятельно усреднить (mean-pool) по не-паддинговым токенам и затем применить L2-нормализацию (см. пример ниже). В примерах для sentence-transformers и vLLM это делается автоматически. Сравнивайте эмбеддинги через косинусную близость (скалярное произведение нормированных векторов). Инструктивность Модель обучалась в инструктивном стиле: для retrieval и других асимметричных задач необходимо добавлять инструкцию к запросу (query), а документы кодируются как есть, без инструкции. Формат: Для симметричных задач (STS, дедупликация) можно использовать общую инструкцию либо не использовать её вовсе. Инструкцию выбирают под конкретную задачу — единственного «правильного» промпта не существует. Важно отметить, что инструкцию нужно добавлять только перед запросом, а не перед документом. FAQ 1. Нужно ли добавлять инструкции к запросу? Для асимметричных задач (retrieval) — да, добавьте к запросу инструкцию из одного предложения, описывающую задачу. Документы кодируются как есть, без инструкции. Для симметричных задач (STS, дедупликация) можно использовать общую инструкцию либо не использовать её вовсе. 2. Какой пулинг использовать? Mean pooling (усреднение) по не-паддинговым токенам с последующей L2-нормализацией. Использование CLS/l
Summarised from the published model card. Read the full card on the HuggingFace links below.
Specifications
| Maker | ai-sage |
|---|---|
| Type | Embedding models |
| Parameters (lead) | 3.2B |
| Context | 8k tokens |
| Variants | 2 |
| Runs with | sentence-transformers |
| Released | 2026-07-29 |
| Popularity | 28k downloads / month |
| Likes | 18 |
| Licence | Open weights |
How it works
Variants
Open weights ship in several sizes and precisions. One page, all the variants — pick the one that fits your GPU. VRAM figures are estimates from model size.
Using it via the API
Once AxForge deploys giga-embeddings-0826 for you, it answers on the OpenAI-compatible API — the same base URL and keys as every other model. (giga-embeddings-0826 below is illustrative; you get the exact model name on deployment.)
$ curl -sS https://api.axforge.ai/v1/embeddings \
-H "Authorization: Bearer $AXFORGE_API_KEY" \
-H "Content-Type: application/json" \
-d '{"model":"giga-embeddings-0826","input":"text to embed"}'
Licence
Open weights under mit — commercial use is permitted. Deploy it on AxForge EU hardware on request. Read the licence ↗
Explore