Model reference · open weights
japanese-reranker-xsmall is an open-weight embedding model from hotchpotch, listed in the AxForge catalogue. AxForge can bring it up on EU-owned hardware for you on request — with the licence handled where one is required.
About
hotchpotch/japanese-reranker-xsmall-v2 とても小さく速い日本語リランカーモデルシリーズ(v2)です。 リランカーについてや、技術レポート・評価等は以下を参考ください。 - とても小さく速く実用的な日本語リランカー japanese-reranker-tiny,xsmall v2 を公開 - 日本語最高性能のRerankerをリリース / そもそも Reranker とは? - 日本語 Reranker 作成のテクニカルレポート 使い方 動作には transformers ライブラリの v4.48 以上が必要です。 GPU が Flash Attention 2 をサポートしている場合、flash-attn ライブラリを入れることで、高速な推論が可能です。 SentenceTransformers SentenceTransformers + onnx の利用 CPU 環境や arm 環境などで、より高速に動かしたい場合は onnx や量子化モデルを利用できます。 HuggingFace transformers 小型リランカーの特徴 japanese-reranker-tiny-v2、japanese-reranker-xsmall-v2、japanese-reranker-small-v2、japanese-reranker-base-v2は、以下の特徴を持つ小型リランカーモデルです： 1. CPUやAppleシリコン環境でも実用的な速度で動作 2. 高価なGPUリソースなしでもRAGシステムの精度向上が可能 3. エッジデバイスでの展開や低レイテンシが要求される本番環境で活用可能 4. ModernBertベースのruri-v3-pt-30m（tiny/xsmall）、ruri-v3-pt-70m（small）、ruri-v3-pt-130m（base）を利用 評価結果 推論速度 以下は約15万ペアをリランキングした際の推論速度結果（トークナイズ時間を除く純粋なモデル推論時間）です。MPS(Appleシリコン)とCPU測定にはM4 Max、GPUにはRTX5090を使用しています。GPU処理では flash-attention2 を使用しています。 推論速度のベンチマークに用いたスクリプトはこちらです。 ライセンス MIT License 学習データセット 主な学習データセットは hotchpotch/japanese-reranker-v2-hard-negatives です。
Summarised from the published model card. Read the full card on the HuggingFace links below.
Specifications
| Maker | hotchpotch |
|---|---|
| Type | Embedding models |
| Parameters (lead) | 37M |
| Context | 8k tokens |
| Variants | 1 |
| Runs with | sentence-transformers |
| Based on | cl-nagoya/ruri-v3-pt-30m |
| Released | 2025-05-07 |
| Popularity | 158k downloads / month |
| Likes | 6 |
| Licence | Open weights |
How it works
Variants
Open weights ship in several sizes and precisions. One page, all the variants — pick the one that fits your GPU. VRAM figures are estimates from model size.
| Variant | Params | Precision | VRAM | Fits 16 GB | Weights |
|---|---|---|---|---|---|
| japanese-reranker-xsmall-v2 | 37M | BF16 | ~0.1 GB | ✓ | Weights ↗ |
Using it via the API
Once AxForge deploys japanese-reranker-xsmall for you, it answers on the OpenAI-compatible API — the same base URL and keys as every other model. (japanese-reranker-xsmall below is illustrative; you get the exact model name on deployment.)
$ curl -sS https://api.axforge.ai/v1/embeddings \
-H "Authorization: Bearer $AXFORGE_API_KEY" \
-H "Content-Type: application/json" \
-d '{"model":"japanese-reranker-xsmall","input":"text to embed"}'
Details
Languages
Trained / evaluated on
Tags
Licence
Open weights under mit — commercial use is permitted. Deploy it on AxForge EU hardware on request. Read the licence ↗
Explore