Ten sam ranking daje inne decyzje po zmianie kolejności

System odpowiadający na pytania na podstawie dokumentów często działa w czterech krokach. Wyszukiwarka znajduje kandydatów, scorer przypisuje każdemu z nich liczbę określającą przydatność, próg odrzuca zbyt niskie wyniki, a model reader przygotowuje odpowiedź z dokumentów, które zostały. Użytkownik widzi odpowiedź, nie ranking pośredni.

Jeżeli scorer dostanie te same dokumenty w innej kolejności i zmieni kilka wartości score w pobliżu progu, reader może otrzymać inny materiał źródłowy. Zapytanie i pula kandydatów pozostają bez zmian. Różni się wyłącznie ich miejsce w prompcie, a mimo to system podejmuje inną decyzję.

Ponowne porządkowanie kandydatów to reranking. Zwykle ocenia się go przez jakość kolejności dokumentów, ale taka metryka może prawie nie zareagować na zamianę dwóch podobnie relewantnych pozycji. Próg reaguje na ich bezwzględne scores i może przepuścić inny zestaw.

Wspólny prompt uzależnia score od miejsca i sąsiednich dokumentów

Klasyczny pointwise scorer ocenia jeden dokument w jednym forward pass. Batched pointwise scoring umieszcza kilka dokumentów we wspólnym prompcie i odczytuje osobny score dla każdego z nich. Instrukcja, zapytanie i rubryka są wtedy przetwarzane raz dla całej grupy, co zmniejsza koszt inferencji.

Wspólny prompt zmienia jednak samo obliczenie. Score dokumentu zależy od jego treści, pozycji w oknie oraz pozostałych dokumentów w tym oknie. Wpływ pozycji odpowiada wrażliwości modelu na miejsce informacji w długim kontekście. Tutaj dochodzi do niego wpływ sąsiednich kandydatów.

W badanym systemie model nie generował ocen tekstowo. Odczytywano rozkład prawdopodobieństwa czterech tokenów ocen i wyliczano z niego ciągły score. Nie losowano tokenów, a temperatura nie uczestniczyła w obliczeniu. Zmieniała się kolejność kandydatów w prompcie.

Próg zamienia małą zmianę score w inny zestaw dokumentów

Poniższe sześć dokumentów to przykład przygotowany na potrzeby wyjaśnienia, a nie dane z badania. Dokumenty C i D mają tę samą prawdziwą ocenę relewancji. Scorer dostaje dwa razy te same obiekty; zmienia się tylko kolejność w prompcie. Próg jest stały i wynosi 0,50.

Dokument	Prawdziwa ocena	Score w kolejności 1	Score w kolejności 2	Decyzja 1	Decyzja 2
A	3	0,83	0,81	zachowaj	zachowaj
B	3	0,80	0,78	zachowaj	zachowaj
C	2	0,52	0,49	zachowaj	odrzuć
D	2	0,48	0,51	odrzuć	zachowaj
E	1	0,29	0,30	odrzuć	odrzuć
F	0	0,08	0,07	odrzuć	odrzuć

nDCG@10 mierzy, czy wysoko w rankingu znajdują się dokumenty o wysokiej ocenie relewancji, z większą wagą dla pierwszych pozycji. Zamiana C i D nie obniża tej metryki, ponieważ oba dokumenty mają ocenę 2. Próg zachowuje jednak raz A, B i C, a raz A, B i D.

Współczynnik Jaccarda dzieli liczbę wspólnych elementów przez liczbę elementów w sumie zbiorów. Tutaj część wspólna zawiera A i B, a suma A, B, C i D, więc wynik wynosi 2/4 = 0,50. Sześć wierszy odpowiada kandydatom, każda kolumna score odpowiada jednej permutacji, próg 0,50 odpowiada zamrożonemu cutoff, a dwa wybrane zestawy odpowiadają retained sets przekazywanym do następnego komponentu.

Przetasowanie kandydatów ujawnia błąd niewidoczny dla nDCG@10

Autorzy powtarzali scoring tych samych kandydatów po losowych przetasowaniach. Dla każdej kolekcji próg dostroili wcześniej do F1 i zamrozili przed właściwym pomiarem. Modele reader i mechanizm wyboru pary chosen–rejected również pozostawały bez zmian. Dzięki temu kolejne wyjścia różniły się wskutek działania scorera, a nie ponownego strojenia komponentu downstream.

W głównym eksperymencie passage reranking na 18 kolekcjach Qwen3-4B oceniał okna po 20 dokumentów w 10 permutacjach. Wyniki były średnią z trzech seedów, a checkpoint każdego wariantu wybrano na held-out split według jakości rankingu. Pięć trenowanych wariantów różniło się najwyżej o 0,010 punktu nDCG@10. Pokrycie retained sets wynosiło 0,656 dla single-order SFT i 0,835 dla OC-SFT. Wyższe pokrycie oznacza, że próg częściej przepuszczał te same dokumenty po zmianie kolejności wejścia.

Ten wynik dotyczy konkretnych scorerów ze wspólnym promptem. Pokazuje rozdzielenie dwóch pomiarów: nDCG@10 sprawdza kolejność, a retained-set overlap sprawdza decyzję progu. W multi-document QA oraz response ranking po OC-SFT rzadziej zmieniały się odpowiednio odpowiedź readera i para treningowa; pełne ustawienia i wartości są w dodatku technicznym.

OC-SFT karze rozjazd score między dwiema kolejnościami

Zwykłe single-order SFT dopasowuje student model do ocen teacher modelu dla jednej kolejności. Nie zawiera warunku, który wiązałby score dokumentu z jego score po przetasowaniu okna.

Order-consistency SFT (OC-SFT) podaje studentowi dwa przetasowania tego samego okna. Dla każdego kandydata oblicza średnią z dwóch scores, a consistency loss karze odchylenie obu wartości od tej średniej. Pierwszy widok zachowuje standardową stratę względem oceny teacher modelu, dlatego trening nadal wymaga poprawnej oceny relewancji.

W przykładzie dokument C otrzymał 0,52 i 0,49. Średnia wynosi 0,505, więc consistency loss przesuwa oba scores w jej stronę. Zwykłe SFT widzi jedną z tych wartości; OC-SFT dostaje obie i bezpośrednio zmniejsza ich rozjazd. Ten sam rachunek wykonuje osobno dla każdego kandydata w oknie.

Dwa widoki wymagają mniej więcej dwukrotnie większej liczby forward passes w kroku treningowym niż jeden widok. Po treningu model nadal obsługuje jedną kolejność przy każdym zapytaniu. Alternatywa inference-time, batched self-consistency, powtarza scoring dla wielu permutacji podczas obsługi każdego zapytania.

Metoda ogranicza błąd, ale nie gwarantuje niezmienniczości

OC-SFT zmniejsza zależność od kolejności, lecz jej nie usuwa. Uśrednianie kilku permutacji podczas inferencji nadal poprawiało powtarzalność modeli po treningu. Metoda przenosi część kosztu do treningu, ale nie daje matematycznej gwarancji identycznego score.

Badanie obejmuje dane angielskie, jeden answer skeleton, scorery bez chain-of-thought i okna zawierające najwyżej 20 kandydatów. Nie sprawdza reasoning-intensive retrieval ani dłuższych konfiguracji promptu. Próg, reader i preference model były zamrożone; komponent downstream trenowany wspólnie ze scorerem mógłby nauczyć się kompensować część zmienności. Dwie kolekcje prawne są własnościowe.

Waga consistency oraz checkpoint były wybierane osobno dla każdego zadania na held-out split wyłącznie według jakości rankingu. Wyniki nie pochodzą więc z jednego checkpointu i jednej wagi zastosowanych bez strojenia do wszystkich ustawień.

Źródłem jest preprint arXiv v1 Equal Ranking Quality, Different Decisions: Training Order-Consistent LLM Scorers Markusa Frohmanna, Mahdiyara Alaviego, Elizabeth Lingg i Navida Rekabsaza, opublikowany po raz pierwszy 27 sierpnia 2026 roku. Dziedziny: computation and language, information retrieval i machine learning; arXiv:2608.26762, DOI: 10.48550/arXiv.2608.26762.

Szczegóły eksperymentu

Passage reranking. Trening używał MS MARCO: około 30 tysięcy zapytań i 3 miliony ocen dokumentów. Ewaluacja obejmowała DL19–DL23; jedenaście kolekcji BEIR: NFCorpus, FiQA, Touche-2020, ArguAna, Climate-FEVER, TREC-COVID, DBPedia, SciFact, Signal-1M, TREC-NEWS i Robust04; oraz własnościowe Legal-A i Legal-B. Publiczne listy kandydatów pochodziły z BM25, a zbiory prawne miały gotowe pule.
Multi-document QA. Trening odbywał się na HotpotQA, a transfer zero-shot na 2WikiMultiHopQA i MuSiQue. Każde pytanie miało 10 fragmentów, z czego 2 wspierały odpowiedź.
Response ranking. Trening używał około 30,7 tysiąca promptów UltraFeedback. Ewaluacja obejmowała RewardBench-2, Nectar, PPE-MATH, PPE MMLU-Pro i RM-Bench.
Scoring i koszt pomiaru. W rerankingu 100 kandydatów dzielono na pięć okien po 20. Jedna permutacja wymagała pięciu batched forward passes; 10 permutacji wymagało 50. Zwykła inferencja z jedną kolejnością wykonywała pięć takich wywołań. Przy szerokości 20 batching był około 45% szybszy na zapytanie od wariantu pointwise.
Trening. Główny model to Qwen3-4B. Autorzy stosowali LoRA o randze 16, alpha 32 i dropout 0,05. OC-SFT używało dwóch widoków. Docelowe wagi consistency wynosiły 5 dla rerankingu, 3 dla QA i 1 dla response ranking; każdą wagę i checkpoint wybierano na held-out split według jakości rankingu. Trenowane wyniki są średnią z trzech seedów.
Szerszy test modeli. Porównanie objęło 11 dense modeli bazowych od 1,7B do 32B z rodzin Qwen3, Gemma 4 i Granite 4.1 oraz sparse Mixture-of-Experts Gemma-4 26B-A4B. OC-SFT miało niższe średnie τ-PSI niż order-averaged distillation dla wszystkich 12 modeli.
Koszt badania. Trening studenta dla głównego wyniku z opublikowanych silver labels zajął około 90 GPU-hours na jednym węźle z ośmioma A100-40GB. Pełna publiczna ewaluacja wymaga 60–90 godzin na jednym L40S-48GB; całe badanie, razem z nieraportowanymi próbami, zużyło około 100 tysięcy GPU-hours.

Zadanie	Single-order SFT	OC-SFT
passage reranking, 18 kolekcji, B = 20	nDCG@10 0,449; τ-PSI 0,209; retained-set overlap 0,656	nDCG@10 0,459; τ-PSI 0,083; retained-set overlap 0,835
multi-document QA, 3 kolekcje, B = 10	nDCG@10 0,951; τ-PSI 0,159; answer flip 0,177	nDCG@10 0,961; τ-PSI 0,096; answer flip 0,125
response ranking, 5 kolekcji, B = 4	nDCG@1 0,684; τ-PSI 0,333; pair flip 0,869	nDCG@1 0,701; τ-PSI 0,201; pair flip 0,661

τ-PSI mierzy niezgodność rankingów między parami permutacji: 0 oznacza identyczne rankingi, 0,5 brak korelacji, a 1 ranking odwrócony. Dla τ-PSI, answer flip i pair flip niższa wartość jest lepsza; dla nDCG i retained-set overlap lepsza jest wartość wyższa.

W systemie używającym progu, readera albo wyboru par treningowych test przed wdrożeniem powinien przetasować tę samą pulę kandydatów i sprawdzić retained-set overlap, answer flip lub pair flip. Jeżeli decyzja downstream się zmienia, podobny nDCG@10 nie jest wystarczającym kryterium wyboru scorera.

42 AI

Wykorzystuję treści generowane przez AI jako część mojego codziennego procesu nauki.