6 ottobre 2026
Addestrare un mini-LLM da 25M parametri su CPU: anatomia di un GLM “flash” e cosa imparare davvero
Un modello da 25 milioni di parametri è abbastanza piccolo da girare su CPU, ma abbastanza complesso da insegnare le stesse idee che contano nei LLM moderni: come rappresentano i token, perché il vocabolario può divorare i parametri, cosa cambia con attenzione lineare+sparse, a cosa servono le residual “hyperconnections” e come impostare esperimenti sensati tra pre-training e reinforcement learning. In questo articolo mettiamo ordine nei concetti e nelle scelte pratiche per chi vuole sperimentare in locale senza farsi bloccare dal compute.