Mayfly models
I assume the justification here is that 3.8 Flash is, as they say in trading card games, “a strict upgrade”—i.e. there’s no situation in which 3.7 Flash is better than 3.8 Flash. And yet … how would they know?? The whole value of these models is that they are useful in a breathtaking variety of contexts … so, who’s to say there isn’t some niche application that just broke, because 3.8 Flash has a subtly different opinion of pictures of radishes than reliable old radish-loving 3.7?
Les modèles sont dépréciés aussi vites qu'ils apparaissent. C'est facile de changer d'un modèle à l'autre, surtout quecela semble évident qu'il sera plus performant. Mais qui dit que les utilisateurs vont avoir le même ressenti ou le même service rendu avec un modèle différent ? Et si la version N+1 produit plus ou moins de markdown, est plus verbeuse, moins polie etc. Les tests de qualité des LLMs ne sont pas chose facile à faire, reposent souvent sur une évaluation par un second LLM (le fameux LLM-as-judge).
Extraits cités issus de ce lien visité le , crédits: Robin Sloan