タグ付けされた記事 #NLP basics

AIと言語モデルにおける「トークン」とは？

AIにおけるトークン：言語モデルが読み書きする基本単位。トークン化の仕組み、コストやコンテキストにどう影響するか、そしてモデルの挙動をどう形づくるかを解説します。