Giga-Embeddings

About

What Giga-Embeddings is

Giga-Embeddings-instruct - Base Decoder-only LLM: GigaChat-3b - Pooling Type: Latent-Attention - Embedding Dimension: 2048 Для получения более подробной информации о технических деталях, пожалуйста, обратитесь к нашей статье. Использование Ниже приведен пример кодирования запросов и текстов. Requirements Transformers Sentence Transformers LangChain Инструктивность Использование инструкций для улучшения качества эмбеддингов Для достижения более точных результатов при работе с эмбеддингами, особенно в задачах поиска и извлечения информации (retrieval), рекомендуется добавлять инструкцию на естественном языке перед текстовым запросом (query). Это помогает модели лучше понять контекст и цель запроса, что положительно сказывается на качестве результатов. Важно отметить, что инструкцию нужно добавлять только перед запросом, а не перед документом. Для симметричных задач, таких как классификация (classification) или семантическое сравнение текстов (semantic text similarity), инструкцию необходимо добавлять перед каждым запросом. Это связано с тем, что такие задачи требуют одинакового контекста для всех входных данных, чтобы модель могла корректно сравнивать или классифицировать их. Примеры инструкций для симметричных задач: - "Retrieve semantically similar text" - "Given a text, retrieve semantically similar text" - "Дано предложение, необходимо найти его парафраз" - "Классифицируй отзыв на товар как положительный, отрицательный или нейтральный" - "Классифицируй чувствительную тему по запросу" Для retrieval-задач (например, поиск ответа в тексте) можно использовать инструкцию: 'Дан вопрос, необходимо найти абзац текста с ответом'. Такой подход особенно эффективен для задач поиска и извлечения информации, таких как поиск релевантных документов или извлечение ответов из текста. Примеры инструкций для retrieval-задач: - 'Дан вопрос, необходимо найти абзац текста с ответом' - 'Given the question, find a paragraph with the answer' Инструкции необходимо оборачивать в шаблон: f'Instruct: {taskdescription}\nQuery: {query}'. Использование инструкций позволяет значительно улучшить качество поиска и релевантность результатов, что подтверждается тестами на бенчмарках, таких как RuB

Summarised from the published model card. Read the full card on the HuggingFace links below.

Specifications

What it is

How it works

How embedding models work

Variants

Sizes & precisions

Open weights ship in several sizes and precisions. One page, all the variants — pick the one that fits your GPU. VRAM figures are estimates from model size.

Using it via the API

Call it like any OpenAI endpoint

Once AxForge deploys giga-embeddings for you, it answers on the OpenAI-compatible API — the same base URL and keys as every other model. (giga-embeddings below is illustrative; you get the exact model name on deployment.)

$ curl -sS https://api.axforge.ai/v1/embeddings \
  -H "Authorization: Bearer $AXFORGE_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"giga-embeddings","input":"text to embed"}'

Details

Languages, data & research

Licence

Open weights

Sources

Weights & code

Explore

More embedding models