Scale invariance

Sieć jest scale-invariant, gdy przeskalowanie wag nie zmienia losu:

$\mathcal{L}(cW) = \mathcal{L}(W) \quad \text{dla wszystkich } c > 0$

Liczy się tylko kierunek wag, nie ich długość. BatchNorm i podobne normalizacje często dają (prawie) taką własność: głośność sygnału i tak zostanie zresetowana.

Dla takich modeli efektywny krok wynika z matematyki. Przy Adamie / signSGD jest to η / ‖W‖, przy zwykłym GD η / ‖W‖².

Transformer nie jest scale-invariant. Residual zostawia skalę na ścieżce identyczności, RMSNorm zdejmuje ją tylko z gałęzi, SwiGLU nie jest jednorodny, embedding i head czują skalę logitów. Mimo to w pracy o ELR krzywe lossu i tak się zapadają po zmatchowaniu η / ‖W‖_F. To empiryczne prawo, nie wniosek z symetrii.

Jeszcze dziwniej: uczące się gaine w RMSNorm psują czystą scale invariance, a jednocześnie poprawiają precyzję zapaści ELR. Czyli to nie jest "bo sieć nie czuje skali".

42at⁝ Learning rate to za mało. Liczy się ELR
42at4⁝ RMSNorm

Wykorzystuję treści generowane przez AI jako część mojego codziennego procesu nauki.