AIトークンの請求額を密かに引き上げる10の行動

現実はこうです。私たちのほとんどはAIの魔法使いではありません。最善を尽くしてはいますが、残念ながらそれはいくつかの悪いAIの習慣を身につけたことを意味します。以下は、トークンの請求額を密かに吊り上げ、予算を食いつぶす10の行動です。ご自身やチームが半数以上に当てはまるか確認してください。

1. コンテキストの詰め込み

ユーザーは「コンテキストがある方が良いなら、多い方がさらに良いはずだ」と考え、ドキュメント全体をウィンドウに貼り付けます。教育されていないユーザーは何がシグナルで何がノイズかを知りません。そのためすべてを送信し、モデルに整理させようとします。モデルはそれに応じます。そのドキュメントのすべてのトークンにコストが発生します。

2. 再生成ループ

出力が得られます。しかし正しくありません。ユーザーはルーレットを回すように、何度も再生成ボタンを押します。これは、出力の品質を評価できない、あるいは評価しようとしない場合に起こります。立ち止まって編集するタイミングを知らず、モデル内で反復を繰り返します。6回の再生成には、1回の6倍のコストがかかります。

3. 1つのプロンプトですべてを処理する

複雑で複数のステップにわたる作業を1つのプロンプトに詰め込むと、長く焦点の定まらない出力になり、通常は再作業が発生します。タスクの分解は重要なAIスキルですが、ほとんどの教育や専門研修では教えられていません。これを教えない組織は、教育されていないチームが生成するすべての出力の長さにコストを支払うことになります。

4. モデルルーティングポリシーの欠如

最先端のモデルは、要件を満たす最小のモデルよりも1桁高いコストがかかります。ほとんどの組織には、どのクラスのタスクをどのモデルで処理するかのポリシーがないため、全員が利用可能な最も強力なオプションをデフォルトで使用します。これはユーザーの失敗ではありません。ガバナンスの失敗です。

5. キャッシュされないシステムプロンプト

ドキュメントのテンプレート、週次サマリー、サポートスクリプトなど、構造化された反復可能なワークフローを実行するチームは、リクエストのたびに同じ長いシステムプロンプトを送信することがよくあります。プロンプトキャッシングはまさにこのために存在します。これを使用しないことは、毎回お金を無駄にしているのと同じです。

6. 組織内の重複したリクエスト

異なるチームメンバーが、同じ質問を、同じモデルで行い、同じコストを費やしていますが、何が機能したかについての組織的な蓄積はありません。複利的な価値もありません。毎回同じプロンプトがゼロから実行されます。これは、承認されたプロンプトライブラリや共有ナレッジレイヤーがない場合に発生します。

7. 誰も管理していない肥大化したシステムプロンプト

6ヶ月かけて自然に肥大化し、一度も監査されていないシステムプロンプト。矛盾する指示。4月には関連のあったコンテキスト。何がまだ機能しているのか誰も知らず、誰もそれに触れたがりません。それでもコストは発生し続けます。

8. 制御されていないエージェントループ

ガードレールを持たないエージェントは間違った方向に進み、そのまま進み続けます。エージェントのワークフローにおける1つの悪い決定は連鎖的に悪化します。間違ったツールの呼び出し、間違った出力、リトライ、リトライ、リトライ。制約のないエージェントツールの使用は、トークン消費を1桁増やす最も早い方法です。

9. 出力の許容基準の欠如

使用可能な出力がどのようなものかについての明確な基準がチームにない場合、モデル内で再作業を行います。再度プロンプトを送信します。代替案を生成します。モデルはドラフトの作成エンジンではなく、編集環境になります。すべてのサイクルにコストがかかります。

10. シャドーAIの蔓延

追跡されていないツール、追跡されていない支出。従業員は5つの異なるAI製品を使用していますが、予算を管理する組織からはどれも見えません。どこに使われているかを知らなければ、全体のトークン支出を最適化することはできません。承認していないものをガバナンスの対象にはできません。

ここにないものに注目してください

このリストにないものに注目してください。純粋に技術的な解決策は1つもありません。上記のすべての行動は、トレーニングの失敗、プロセスの失敗、またはその両方です。エンジニアリングの手段とイネーブルメントの手段は同じものです。トークンの請求額が出力の品質よりも早く増加している場合、そのギャップはインフラストラクチャだけでは埋まりません。

あなたのチームがこれらのうち4つ以上に当てはまる場合、問題はツールではありません。その根底にある準備態勢のギャップです。Clairetがどのようにそれを解決するかをご覧ください。