Back to Blog
LLMモデルカスケードLLM-as-a-judgeコスト最適化Claude Opus

A Small Judge That Can Ask Opus for Help: Replaying the Hightouch Cascade on My Own Routing Labels and Finding the Escalation Threshold

小型ジャッジはどの迷いでOpusに助けを求めるべきか:カスケード構成のエスカレーション閾値を探る

Hightouchが、小型モデルで先に処理し、判断が難しい案件だけを大型モデルへ回す「カスケード構成」の事例を公開した。公開日や具体的な数値、比較条件は、引用前に原典での確認が必要である(本記事では原典の数値を転記していない)。この事例は、「全件を大型モデルに任せる」か「全件を小型モデルで済ませる」かの二択に、第三の選択肢を示したものと位置づけられる。

本記事は、その考え方を独自のルーティングラベル(問い合わせや処理対象をどの担当・経路に振り分けるかの正解データ)で再現するための手順と、結果の読み方をまとめたものである。検証の問いは「小型の判定役が、どの程度の迷いでOpus(Anthropicの上位LLM)に助けを求めるべきか」の一点に絞っている。

本記事の数値について 以下の表や数値は、手順と読み方を説明するための**仮想データ(例示)**であり、特定の環境での実測値ではない。単価も仮定である。実際の料金はAnthropic公式の料金表で、原典の数値はHightouchの公開資料で確認する必要がある。ここで示す傾向を自分のデータで確かめることが、この記事の目的である。


「助けを求められる小型ジャッジ」とはどんな仕組みなのか

LLM-as-a-judgeと小型モデルの利点

LLM-as-a-judge(LLMに分類や採点を任せる手法)は、人が目視で行っていた振り分けや品質判定をLLMに代行させる考え方である。ルーティングであれば、問い合わせ文を読ませて「請求」「技術サポート」「解約」などのラベルを返させる使い方が当てはまる。

一次判定に小型モデルを使う利点は主に3点ある。

  • 単価が低い:1件あたりの費用が、大型モデルより桁違いに小さいことが多い
  • 応答が速い:待ち時間が短く、リアルタイム処理に向く
  • レート制限に余裕がある:呼び出し回数の上限に当たりにくい

信頼度を返し、低いときだけ上位モデルへ送る

「助けを求められる」小型ジャッジは、ラベルと併せて信頼度(自己申告、またはトークン確率に基づく確からしさ)を返す。この信頼度が閾値(これ未満なら上位モデルへ回す境界値)を下回った案件だけをOpusに送る。流れは次のとおりである。

問い合わせ
   │
   ▼
[小型モデル] ──→ ラベル + 信頼度
   │
   ├─ 信頼度 ≧ 閾値 ──→ そのまま採用(安く速い)
   │
   └─ 信頼度 < 閾値 ──→ [Opus] ──→ ラベルを再判定して採用

3つの構成の違い

観点 小型のみ Opusのみ カスケード
コスト 最も低い 最も高い 閾値次第で中間
速度 速い 遅め 多くは速く、一部が遅い
精度 低め 高め 閾値次第でOpusに近づく
調整の余地 ほぼなし ほぼなし 閾値という調整つまみがある

カスケード構成の特徴は、コストと精度の釣り合いを閾値という1つの数値で調整できる点にあると言える。


再現実験はどのようなデータと条件で行うのか

データの前提(例示)

再現にあたって最初に決めるのは、ラベルセットの前提である。本記事の例示では次のように置く。

項目 例示の設定
ラベル件数 300件
クラス数 6(例:請求、技術、解約、契約変更、要望、その他)
ラベル付けの方法 担当者2名が個別に付与し、不一致分は協議して確定
難易度の偏り 全体の2割前後に、複数クラスにまたがる曖昧な文面を含む

件数は数十〜数百件でも傾向をつかむには足りるが、クラスごとの件数が少なすぎると結果が不安定になる。この点は後述の注意点でも触れる。

条件表

項目 設定
一次判定(小型) Haiku級の小型モデル
上位モデル Opus
プロンプト クラス定義と判定例を提示し、1つのラベルを選ばせる
出力形式 ラベル + 信頼度(0〜1の数値)をJSONで返す
仮の単価 小型0.001ドル/件、Opus 0.02ドル/件

原典との違いと一般化の限界

原典の事例とは、データ規模や業務領域が異なる。ルーティングラベルは、分類の粒度や曖昧さの質が、他の業務データとは違うと見られる。そのため、ここで得られる閾値の位置を、そのまま他の業務に当てはめることはできない。確かめられるのは「傾向の形」であり、「最適値」は各自のデータで決まる。


エスカレーション閾値は、どのように探索すればよいのか

全件を一度ずつ判定しておく

効率のよい進め方は、閾値ごとにAPIを呼び直さないことである。

  1. 全件を小型モデルに通し、ラベルと信頼度を記録する
  2. 全件をOpusにも通し、ラベルを記録する
  3. 閾値を変えた場合の結果は、表計算上で「どちらの答えを採用するか」を切り替えて再現する

この方法なら、閾値を何通り試しても追加のAPI費用は発生しない。

スプレッドシートの構成

列 内容
A ID
B 正解ラベル
C 小型の予測ラベル
D 小型の信頼度
E Opusの予測ラベル

セルH1に閾値を入れる前提で、補助列を追加する。

列 見出し 式の例(2行目)
F 小型は正解か =IF(C2=B2,1,0)
G Opusは正解か =IF(E2=B2,1,0)
H エスカレーション =IF(D2<$K$1,1,0)
I カスケード正解 =IF(H2=1,G2,F2)

K1は閾値の入力セルである。最後に集計する。

  • エスカレーション率:=AVERAGE(H2:H301)
  • 全体精度:=AVERAGE(I2:I301)
  • 1件あたりコスト:=小型単価 + エスカレーション率 × Opus単価

閾値を段階的に動かして記録する

K1を0.5、0.6、0.7…と動かし、そのつど3つの値を別シートに貼り付けて「閾値 × 指標」の表にする。この表をピボットテーブルや折れ線グラフにすれば、横軸をエスカレーション率、縦軸を精度とした曲線を描ける。

閾値を上げるほどエスカレーションが増えて精度は上がるが、コストも上がり、削減効果は薄れる。このトレードオフの形をグラフで確認するのが、この段階の目的である。


検証結果から、実用的な閾値はどのあたりと言えるのか

以下は仮想データでの読み方の例である。

エスカレーション率と精度の関係

閾値 エスカレーション率 全体精度 1件あたりコスト(ドル)
小型のみ 0% 81.9% 0.0010
0.5 5% 83.7% 0.0020
0.6 10% 85.2% 0.0030
0.7 20% 87.9% 0.0050
0.8 30% 89.7% 0.0070
0.9 50% 91.5% 0.0110
全件エスカレーション 100% 92.0% 0.0210
Opusのみ — 92.0% 0.0200

エスカレーション1ポイントあたりの精度の伸びは、閾値を上げるごとに次のように小さくなる。

区間 追加エスカレーション 精度の伸び 1ポイントあたり
小型のみ→0.5 +5pt +1.8pt 約0.35
0.5→0.6 +5pt +1.5pt 約0.30
0.6→0.7 +10pt +2.7pt 約0.27
0.7→0.8 +10pt +1.8pt 約0.18
0.8→0.9 +20pt +1.8pt 約0.09
0.9→全件 +50pt +0.5pt 約0.01

この例では、0.8付近で伸びが目に見えて鈍る。「ひざ」は0.7〜0.8あたりと読める。閾値0.8では、小型のみとOpusのみの精度差(約10pt)のうち約8割を、Opusのみの約35%のコストで埋めている。一方、0.9を超えると、追加コストに見合う精度の伸びはほとんど得られていない。

また、全件をエスカレーションする設定は、小型の呼び出し費用が上乗せされる分、Opusのみより高くつく。この構成は閾値を上げすぎると逆効果になることを示している。

自己申告の信頼度はどこまで当てになるか(キャリブレーション)

キャリブレーション(自己申告の確からしさと実際の正解率の一致度)は、次のように確認する。信頼度を区間に分け、区間ごとの実際の正解率を比べる。

=COUNTIFS(D:D,">=0.8", D:D,"<0.9", F:F,1) / COUNTIFS(D:D,">=0.8", D:D,"<0.9")

仮想データでの例は次のとおりである。

信頼度の区間 件数の割合 小型の実際の正解率
0.5未満 5% 40%
0.5〜0.6 5% 50%
0.6〜0.7 10% 58%
0.7〜0.8 10% 70%
0.8〜0.9 20% 83%
0.9以上 50% 96%

この例では、信頼度が高いほど正解率も高く、順序の関係は保たれている。ただし、0.6〜0.7の区間の正解率が58%にとどまるなど、申告値より実際の正解率が低い(やや過信気味の)区間がある。LLMの自己申告の信頼度は、確率そのものとは言えず、「順位付けの目安」として使うのが妥当と見られる。閾値の数字自体に意味を持たせるより、どの数字で切ると効率がよいかを実測で決める姿勢が合っている。

3構成の比較

構成 精度 1件あたりコスト
小型のみ 81.9% 0.0010ドル
Opusのみ 92.0% 0.0200ドル
カスケード(閾値0.8) 89.7% 0.0070ドル
カスケード(閾値0.9) 91.5% 0.0110ドル

原典の傾向との一致点・相違点

原典との照合は、次の観点で行うと整理しやすい。数値そのものは原典で確認する必要がある。

  • 一致が期待される点:一部のエスカレーションで大半の精度差が埋まる、というコスト効率の形
  • 異なりうる点:ひざの位置、エスカレーション率の水準、信頼度の取り方。これらはデータの曖昧さと評価方法に依存する

自分の業務に取り入れる場合、何に注意すべきか

閾値は自前のラベルで決める

閾値は、データの分布と誤判定のコストで変わる。誤振り分けが軽微な業務なら閾値は低めで済み、解約対応のように誤りの影響が大きいクラスでは高めが望ましいという見方もできる。数十〜数百件の自前ラベルで検証するのが現実的である。

運用面の論点

  • 遅延:エスカレーションされた案件は、小型とOpusの2回分の待ち時間がかかる。即時応答が必要な業務では、この遅延が許容できるか確認が必要である
  • レート制限:Opusへの呼び出しが集中する時間帯に、上限へ達する可能性がある
  • ログ管理:どの案件がどの閾値でエスカレーションされたかを残しておくと、後から閾値を見直せる。小型の信頼度とOpusの判定結果を併せて保存しておくことが望ましい

結果解釈の落とし穴

  • ラベル品質:正解ラベル自体に誤りや揺れがあると、小型もOpusも「間違い」と数えられ、精度が実際より低く見える。不一致が多いケースは、モデルの誤りではなくラベル定義の曖昧さが原因の場合がある
  • 誤りの偏り:全体精度が良くても、特定のクラス(例:「その他」)に誤りが集中していることがある。クラス別の正解率も集計しておく必要がある
  • 件数の少なさ:300件程度では、閾値を細かく刻
Share:
View all posts