Model reference · open weights
Mixtral-8x7B-pl is an open-weight embedding model from maciek-pioro. Mixtral-8x7B-v0.1-pl (FP32) weighs 94.8 GB; the smallest configuration that runs it is DGX Spark (GB10) 128 GB unified.
What it is
| Released by | maciek-pioro |
|---|---|
| Type | Embedding models |
| Task | Embeddings |
| Parameters (lead) | 47.4B |
| Context | 32,768 tokens |
| Runs with | transformers |
| Released | 2024-04-15 |
| Popularity | 816 downloads / month |
| Weights | 94.8 GB (Mixtral-8x7B-v0.1-pl (FP32), file size) |
| Licence | Open weights |
What it runs on
Weights 94.8 GB (file size) · overhead about 1.1 GB.
| Card | Runs | Counted memory |
|---|---|---|
| RTX 3060 12 GB … RTX PRO 6000 Blackwell 96 GB | does not fit | |
| DGX Spark (GB10) 128 GB unified | tight | 107 GB |
| H200 141 GB | fits | 138 GB |
| B200 180 GB | fits | 176 GB |
Estimates, not measurements: the weights are the build's file size. No cache grows with use; a batch of inputs needs working memory of its own. Counted memory is 92 % of what CUDA reports for the card.
From the model card
Mixtral-8x7B-v0.1-pl is a Mixtral 8x7b model fine-tuned using 2.2B Polish tokens selected from the SpeakLeash dataset. This is, to our knowledge, the first open-weights MoE model fine-tuned on Polish data. In order to preserve English capabilities, we include about 600M tokens from the RedPajama dataset.
The training was made possible thanks to the TPU Research Cloud program. The model was trained on a TPUv3-256.
Our codebase is based on the Focused Transformer repo and EasyLM.
Thanks to Konrad Staniszewski, Bartłomiej Cupiał and Piotr Miłoś, who have contributed greatly to the creation of this model.
To release this model, we also used the Entropy cluster (hosted at the Faculty of Mathematics, Informatics and Mechanics of the University of Warsaw) funded by NVIDIA, Intel, the Polish National Science Center grant 2022/45/N/ST6/02222, and ERC Starting Grant TOTAL.
(prompts are in bold)
Poniższy artykuł opisuje historię Polski. Polska to kraj, który w ciągu wieków był świadkiem wielu ważnych wydarzeń, które miały wpływ na jej rozwój. W artykule przedstawiono najważniejsze wydarzenia z historii Polski, od czasów starożytnych do współczesności. Historia Polski - starożytność Polska to kraj, który ma długą i bogatą historię. Pierwsze wzmianki o Polsce pochodzą z czasów starożytnych. W 966 roku Mieszko I przyjął chrzest, co zapoczątkowało proces ...
Warszawa to stolica Polski. W najludniejszym mieście kraju można zwiedzić m.in. Muzeum Powstania Warszawskiego, Muzeum Narodowe, Muzeum Fryderyka Chopina, Muzeum Historii Polski, Muzeum Wojska Polskiego, Muzeum Pałacu Króla Jana III w Wilanowie, Muzeum POLIN, Muzeum Niepodległości, Muzeum Katyńskie, Muzeum Wojska Polskiego, Muzeum Powstania Warszawskiego, Muzeum Fryderyka Chopina, Muzeum Narodowe ...
Najstarsze historyczne wzmianki o zamku w Bojnicach pochodzą z 1241 roku. W 1245 roku król węgierski Bela IV nadał go w lenno biskupowi ołomunieckiemu. W 1271 roku król węgierski Stefan V nadał go w lenno biskupowi ołomunieckiemu. W 1302 roku król węgierski Karol Martell nadał go w lenno biskupowi ołomunieckiemu. W 1304 roku król węgierski Karol Martell nadał go w lenno biskupowi ołomunieckiem
Słowacja to państwo położone w Europie Środkowej, które graniczy z Polską, Czechami, Ukrainą, Węgrami, Austrią i Rumunią. Słowacja jest państwem średnio roz- winiętym, które w 2013 roku liczyło 5,4 mln mieszkańców i zajmowało powierzchnię 49 035 km2. Stolicą państwa jest Bratysława, która jest jednocześnie największym miastem w kraju.
maciej.pioro at ideas-ncbr.pl
Quoted from the model card on Hugging Face — the full card is behind the Hugging Face link above.