Tokenisation

Débutant

L'unité de mesure de tout : ce que tu envoies, ce que Claude répond, ce qui est en mémoire.

Le découpage du texte en unités de base que le modèle traite.

Concepts liés

Un contenant, pas une mémoire. Quand il déborde, le plus ancien sort en silence.

Une machine à statistiques sur le langage. Pas une encyclopédie. Pas un raisonnement humain.