MetodăMethod
Cum am măsuratHow we measured
36 de seturi publice, aceleași pe care TypeSafe își raportează modelul Jev. Pentru fiecare set: exactitatea Robyn cu interval de încredere de 95%, cifra declarată pentru Jev 1.13 și diferența. Seturile pe care Robyn s-a antrenat sunt marcate.36 public benchmarks, the same ones TypeSafe reports for Jev. For each: Robyn accuracy with a 95% confidence interval, the reported Jev 1.13 figure and the difference. Benchmarks Robyn trained on are flagged.
Model
Gemma 4 31B cu adaptor LoRA Robyn (r32), antrenat pe 62.941 de exemple cu licențe verificate. Calibrare prin temperatură pe set.Gemma 4 31B with a Robyn LoRA adapter (r32), trained on 62,941 licence-checked examples. Per-benchmark temperature calibration.
Hardware
Un GPU AMD Instinct MI325X, bfloat16. 45,9 ms la o întrebare, 95,6 ms la trei, 13,4 s pentru un document de 30.000 de tokeni.One AMD Instinct MI325X GPU, bfloat16. 45.9 ms for one question, 95.6 ms for three, 13.4 s for a 30,000-token document.
CitireReading
O singură trecere: fiecare opțiune primește o probabilitate, fără eșantionare. Același input dă mereu același răspuns. Până la 500 de exemple pe set, deci intervalul e de aproximativ ±4 puncte.Single pass: every option gets a probability, nothing is sampled. The same input always gives the same answer. Up to 500 examples per benchmark, so the interval is about ±4 points.
| SetBenchmark | Robyn | Interval 95%95% interval | Jev 1.13 | DiferențăDifference | NotăNote |
|---|
Garanția de eroare, pe date de controlError guarantee, on held-out data
Partea din întrebări decisă automat la fiecare nivel de eroare maximă, cu 95% încredere. Datele de control nu au fost folosite la antrenare.Share of questions decided automatically at each maximum error level, with 95% confidence. Held-out data was not used for training.
Ce nu arată aceste cifreWhat these figures do not show
Cifrele Jev sunt cele declarate de TypeSafe, nu rulate de noi. Un studiu independent le-a verificat pe 37 de seturi.Jev figures are reported by TypeSafe, not run by us. An independent study checked them on 37 benchmarks.
Unde Robyn s-a antrenat pe partea de antrenare a unui set, rezultatul pe partea de test e marcat. Testul nu se suprapune cu antrenarea.Where Robyn trained on a benchmark’s training split, the test result is flagged. Test data never overlaps training.
Viteza depinde de hardware. VAKYN măsoară pe NVIDIA Blackwell, noi pe AMD MI325X.Speed depends on hardware. VAKYN measures on NVIDIA Blackwell, we on AMD MI325X.
Acuratețea pe seturi publice nu înlocuiește un pilot pe datele tale.Accuracy on public benchmarks does not replace a pilot on your data.