TowardATheoryOfTokenizationInLLMs

論文, 原論文から解き明かす生成AI

arxiv:2404.08335 Toward a Theory of Tokenization in LLMs