📋 この用語の要点（MGK編集部）
トークンとは、生成AIが文章を処理するときに区切る最小の単位です。単語や文字よりも細かく分かれることが多く、AIサービスの利用料金や、一度に扱える文章量の上限はこのトークン数で数えられます。社内でAIを使い始めると「入力が長すぎて処理できない」「思ったより費用がかかる」という相談が出てきますが、その多くはトークンの考え方を知ることで見通しが立ちます。費用と品質を両立させるための共通言語として、押さえておきたい用語です。
📖 約5分で読めます。
「トークン」とは
トークンは、AIが文章を読み書きするときの計算上の区切りです。人が文章を「文」や「単語」で捉えるのに対し、AIはさらに細かい断片に分けてから処理します。その断片ひとつひとつがトークンであり、AIにとっての数え方の基本単位になります。
単語や文字との違い
英語では、よく使われる短い単語がそのまま1トークンになり、長い単語や見慣れない固有名詞は複数に分割される傾向があります。日本語は文字の種類が多いため、1文字が1トークン前後になる場合と、ひとまとまりの語が1トークンになる場合が混在します。つまり「何文字で何トークン」と一律に決まるものではなく、あくまで目安として捉える必要があります。同じ内容でも、書き方や記号の使い方によって数が前後する点も覚えておくとよいでしょう。
入力・出力の区別と扱える上限
実務で意識したいのは、トークンが二種類に分かれて数えられる点です。
- 入力トークン…指示文や参考資料など、AIに渡す側の分量
- 出力トークン…AIが生成した回答側の分量
多くのサービスでは、この二つを別々に集計し、それぞれ異なる単価で課金する方式が採られています。長い資料を読ませる使い方は入力側が、長文を書かせる使い方は出力側が膨らみます。あわせて、一度のやり取りで扱えるトークン数には上限が設けられています。会話の履歴も入力に含めて数えるため、やり取りを重ねるほど上限に近づきます。上限を超えると、古い部分が扱われなくなったり、処理そのものが受け付けられなくなる場合があります。
なぜ重要なのか
費用と品質の両方に直結する
AI活用の費用は、利用人数ではなく処理した分量で決まる仕組みが主流です。トークンという単位を知っていれば、「この業務で毎月どれくらいの文章を処理するのか」から概算を組み立てられます。逆に単位を知らないまま導入すると、請求額が増減した理由を社内で説明できず、続けるかどうかの判断ができなくなります。
品質面でも同じことが言えます。「長い資料を渡したのに内容が反映されていない」という不満は、上限の超過や情報の詰め込み過ぎが原因のことがあります。トークンの考え方を共有しておくと、AIの不調ではなく使い方の問題だと切り分けられ、改善の打ち手を具体的に検討できます。販促の現場では、原稿づくりや問い合わせ対応など文章量の多い業務でこの差が表れやすいとされます。
実務での使い方・進め方
分量を測り、必要なだけに絞る
最初に行うのは、対象業務で扱う文章量の把握です。おおまかな進め方は次のとおりです。
- 毎回渡す資料と、欲しい回答の長さを書き出す
- 1件あたりの文字数を数え、月あたりの件数を掛ける
- 利用するサービスの料金表と照らし、費用の幅を出す
同じ成果を得るなら、渡す分量は少ないほうが費用も応答時間も有利です。資料は全文ではなく必要な章や項目に絞る、指示文の定型部分は社内で共通の型として短く整える、長い会話は目的ごとに区切って要点だけを持ち越す、出力の長さを「800字程度」などと指定する、といった工夫が効きます。
発注側が準備・判断すべきこと
外部の制作会社や開発会社にAI活用を依頼する場合、発注側で用意しておくと検討が早く進む材料があります。処理する文章の実物サンプル、月あたりの想定件数、許容できる費用の上限、そして機密情報を渡してよい範囲です。見積書を受け取ったときは、金額の根拠が想定トークン数として示されているか、想定を超えた場合の扱いが取り決められているかを確認してください。前提が書かれていない見積は、運用開始後に金額が変わりやすいとされます。判断の軸は、削減できる作業時間と費用が釣り合うかという一点に置くと迷いにくくなります。
よくある誤解と注意点
誤解1：1文字＝1トークンで計算できる
文字数とトークン数は比例しません。記号や改行、空白も数えられることがあり、同じ文字数でも内容によって差が出ます。厳密な数が必要な場面では、利用するサービスが提供する計測手段で実測してください。見積の根拠にする場合は、代表的な原稿で実測した値を使うほうが安全です。
誤解2：上限まで詰め込めば精度が上がる
参考資料を増やせば回答が良くなるとは限りません。関係の薄い情報が混ざると、重要な指示が埋もれてしまう場合があります。情報は量より選び方が効きます。また、料金は入力分だけと思われがちですが、出力側にも課金される方式が一般的で、単価は入力より高く設定されている場合があります。長文の自動生成を大量に回す計画では、出力側の見積もりを忘れないようにしてください。
よくある質問
Q. 日本語は英語より不利ですか？
A. 同じ内容を表すのに必要なトークン数は、日本語のほうが多くなりやすいとされます。ただしモデルによって差があり、改善も進んでいます。実際に使う文章で比べて判断するのが確実です。
Q. トークン数を事前に知る方法はありますか？
A. 多くの提供元が、文章を入力するとトークン数を返す計測手段を用意しています。導入前の試算では、代表的な資料を数点通してみて、1件あたりの平均を出す方法が実用的です。
Q. 費用を下げる効果的な方法は何ですか？
A. 渡す資料を絞ることと、用途に見合った小型のモデルを選ぶことが基本です。すべての業務で高性能なモデルを使う必要はなく、要約や分類のような定型作業では軽いモデルで足りる場合があります。
