Jevは日本語で使える？confidenceを正答率と混同しない検証方法

検証した主張

「Jevが日本語に対応しconfidenceが高ければ、その判定はそのまま本番で使える。」

発見元は調査の入口であり、判定の根拠には使用していません。

TypeSafeのモデル資料は、英語を主な学習言語で最も精度が高い言語とし、日本語を含むCJKも扱う一方、同等の精度ではないため利用者のデータで試すよう案内しています。日本語を入力できることをもって、問い合わせ分類での正答率や実運用の安全性を断定できません。

公式が挙げるJev 1.13の弱点には、複雑な否定や多段の推論、長い無関係な文脈、数値計算、日付比較、敵対的な入力があります。日本語の曖昧さや敬語だけに注意すればよいわけではありません。

ChoiceとScoreのconfidenceは、選択肢や段階の確率分布がどの程度一つに集中しているかから計算される値です。Noulには同じconfidence項目がありません。したがって「confidence 0.95＝同種の日本語相談100件中95件正解」のようには読めません。

仮に架空の問い合わせ「教材が届かず、請求も二重です」で配送カテゴリが高い値になっても、請求の問題が消えるわけではありません。複数意図を検出する問い、分類不能の選択肢、担当者による再確認を設けることが重要です。示した文章と値は説明用で、Jevの実測結果ではありません。

実運用へ近づけるなら、個人情報を除いた日本語の代表例を、正解ラベル付きで用意します。通常の相談だけでなく、複数の意図、否定、短文、誤字、誘導文、分類不能を含めます。件数は業務と許容リスクで決め、固定の「100件なら十分」という基準にはしません。

モデル版、質問文、候補と基準、判定結果、confidence、人の正解、最終処理を記録します。分類ごとの正答・誤答を見て、どの誤りが危険かを判定します。閾値は「AIの推奨値」をそのまま採用せず、誤分類の影響と人間に回す件数の両方を比較して決めます。

公式の言語対応、confidenceの定義、Jev 1.13の既知の弱点を確認しました。日本語の実測テストは未実施であり、上の例も未送信です。将来モデル版が変われば、同じ閾値をそのまま引き継がず再評価する必要があります。

対象プラン	Jev 1.13系を対象
地域	公開資料に地域別の利用可否の明記を確認できず。個別の提供条件を要確認
利用面	日本語テキスト入力 / 評価用データセット
提供状態	2026-09-22に公式資料を確認。TypeSafeは公開時に早期アクセスと案内。契約・経路・アカウントごとの利用可否は未検証
実機確認	TypeSafe AIとCloudflareの公式資料を照合。API呼び出し、アカウント利用、性能・料金の実測はしていません。本文の例は架空の未実行例です。
次回見直し	2026.10.06

Jevは日本語を入力できますか？

公式は日本語を含むCJKを扱うと説明しています。ただし英語と同等の精度ではないため、用途ごとの評価が必要です。

confidence 0.95は95%正解の意味ですか？

いいえ。Choice・Scoreの候補分布に基づく指標です。業務上の正答率は正解ラベル付きの実例で測ります。

2026.09.22初回公開

共有会話を調査の入口として、個人・事業固有の情報を載せず、公式一次情報と架空の例で再構成。

一次情報と発見元を区別し、各ページの公開日と確認日を記録しています。

公式ドキュメントTypeSafe AI
Models
モデル版、直接API料金、入力条件、言語対応、データ処理を確認。
公開: 公開日未確認（閲覧日を記録）確認: 2026.09.22
公式ドキュメントTypeSafe AI
Confidence
確率分布とconfidenceの違い、業務別閾値の考え方を確認。
公開: 公開日未確認（閲覧日を記録）確認: 2026.09.22
公式ドキュメントTypeSafe AI
Jev 1.13 jaggedness
数値、日付、生成、敵対的入力などの弱点を確認。
公開: 2026.09.17（最終確認）確認: 2026.09.22
公式ドキュメントTypeSafe AI
API reference
直接APIの入力・出力、Choice・Noul・Scoreの仕様を確認。
公開: 公開日未確認（閲覧日を記録）確認: 2026.09.22

公式情報の確認、条件整理、検証可能性を重視して記事を作成しています。調査補助にAIを使用する場合も、出典確認、判定、最終文責は人間が担います。