AI画像判定ツール4つを100枚で検証してわかった、正解率より大事なこと

X で拡散している画像や、LINE で回ってきたスクショを見て「これ、生成AIで作ったものでは？」と思ったことがある人は多いと思います。AI画像の判定ツールはいくつもあり、どのサービスも正解率をうたっています。ただ、その数字をどう測ったのかはどこにも書かれていないので、比べようがありません。 私はいま小さなAI画像判定ツールを作っていて、裏側で使う検出エンジンを選ぶ必要がありました。そこで自分でテストしてみました。規模は小さく、抜けもあります（後でまとめて書きます）。それでも、この種のツールに対する見方はかなり変わりました。 テストに使った画像 100枚。すべて2026年10月13日に実行しました。 本物の写真50枚。 大半は Wikimedia Commons の CC0 またはクリエイティブ・コモンズ・ライセンスの画像です。うち38枚は元ファイルで、スマホのスナップ、ポートレート、風景、商品写真です。50枚中37枚は EXIF にカメラの機種名が残っていて、iPhone、Pixel、Galaxy のものでした。残りの12枚は、「出回った写真」に見えるように私が作ったコピーです。スマホ風のスクショ4枚、チャットアプリでよくあるように強く再圧縮したもの4枚、軽くレタッチしたもの4枚です。 AI画像50枚。 6つの画像生成AIのシリーズから集めました。OpenAI GPT Image、Google Nano Banana、Black Forest Labs FLUX.2、Midjourney（v6〜v8.1）、ByteDance Seedream、Stable Diffusion XL です。42枚は2025年以降に公開された生成AIによるものです。AIの元ファイル40枚のうち、27枚はこのテストのために自分で生成し（API料金は約1.42ドル）、13枚は Hugging Face 上のオープンライセンスのデータセットから取りました。最後の10枚はAI画像をスマホ風にスクショしたもので、PNG で保存し、メタデータは一切ありません。 採点のしかた すべてのエンジンに同じファイルを渡しました。回答はエンジンごとに決めた固定のルールで「AI」か「本物」に変換しています。Sightengine はスコア0.5以上、Hive は公式推奨のしきい値0.9、AI or Not と WasItAI は各社自身の判定をそのまま使いました。「不明」という回答は不正解として数えています。 数字を見る前に一つ注意があります。100枚すべてを見たのは2つのエンジンだけです。無料トライアルの範囲内で済ませたため、AI or Not は層化抽出した20枚、WasItAI は9枚だけで実行しました。 結果 エンジン テスト枚数 正解率 本物の写真をAIと誤判定 検出できたAI画像 Sightengine 100 99% 50枚中0枚 50枚中49枚 Hive 100 95% 50枚中0枚 50枚中45枚 AI or Not 20（サンプル） 85% 10枚中1枚 10枚中8枚 WasItAI 9（サンプル） 78% 5枚中2枚 4枚中4枚 下の2行はランキングとして読まないでください。20枚と9枚では少なすぎます。AI or Not のサンプルは全体より難しく、スクショや再圧縮したコピーの割合が高めでした。唯一の誤判定も、軽くレタッチした写真です。4つのエンジンすべてが見た9枚に限ると、Sightengine と Hive は9枚中9枚、AI or Not は9枚中8枚、WasItAI は9枚中7枚が正解でした。目安にはなりますが、結論ではありません。 生成AI別に見ると、いちばん難しかったのは FLUX です。Sightengine は FLUX の画像9枚中8枚、Hive は9枚中6枚を検出しました。Midjourney の画像は、両エンジンとも全部検出しています。 正解率より誤判定を見る理由 「正解率」には、性質のまったく違う2種類の間違いが混ざっています。私のテスト用プログラムには、どんな画像にも「AI」と答える偽のエンジンがあります（配線の確認にだけ使うものです）。このテストセットでは、それでもAI画像50枚を全部当てて、正解率は50%になります。本物の写真50枚もすべてAIと判定しているからです。 この2つの間違いは、重さが違います。AI画像を見逃すのは残念なことです。でも本物の写真をAIと言われると、その被害は実在の人に向かいます。フリマアプリで本当に不良品が届いて返金を求めた購入者、線を一本一本自分で描いたイラストレーター、マッチングアプリでただ写真がうまいだけの人。チェックする画像の大半が実は本物なら、誤判定率が小さくても、正しい指摘より間違った疑いのほうが多くなりえます。 ほかにも、予想していなかったことが2つあります。 しきい値は「選択」です。 Hive の推奨値0.9では、本物の写真の誤判定はゼロで、AI画像の90%を検出しました。0.5にすれば96%を検出できますが、本物の写真50枚中1枚を誤判定します。こうしたエンジンを使った製品は、どれもこの曲線上のどこかを選んでいて、たいていそれを教えてくれません。 ゼロは「ゼロ」ではありません。 Sightengine と Hive はどちらも、本物の写真50枚中0枚の誤判定でした。ただ50枚しかないので、95%信頼区間は0%から約7%まであります。小さなテストとしては良い兆候ですが、保証ではありません。 コンテンツクレデンシャル：多くの人が飛ばしている無料のチェック いくつかのAIツールは、生成したファイルに C2PA という標準規格で署名するようになりました。一般にはコンテンツクレデンシャル（Content Credentials）と呼ばれています。記録にはどのツールで作ったかが書かれていて、暗号技術でファイルと結びついています。読み取りは無料で、ブラウザ上でもできます。 今回のセットでは、AI画像50枚中24枚にコンテンツクレデンシャルが付いていて、本物の写真には「AI生成」という記載のあるものは一枚もありませんでした。署名元は OpenAI、Google、Black Forest Labs、BytePlus（ByteDance）です。24枚はすべて元ファイルで、AIの元ファイル40枚のうち24枚に付いていたことになります。 後になってから本気で気にするようになった落とし穴が一つあります。署名が有効だとわかるのは「誰が署名したか」であって、「その署名者を信用してよいか」ではありません。24枚のうち、C2PA の公式信頼リストに載っている企業（OpenAI と Google）が署名していたのは14枚だけでした。残りの10枚は、リストにない証明書で署名されていました。自分で作った証明書なら、何にでも署名できます。そのため私のツールでは、この10枚と、Midjourney のような単なるメタデータのラベルは「自己申告」として扱い、検出モデルも実行しています。 注意点をまとめます。 Midjourney のファイルには一度も付いていませんでした（元ファイル7枚中0枚）。Stable Diffusion XL も同じです（5枚中0枚）。 スクショにすると消えます。 10枚のスクショには一枚も付いていませんでした。スクショはまったく新しいファイルなので、署名は引き継がれません。 私のファイルの一部は、それ以前に失っていたかもしれません。 公開データセットから取ったものがいくつかあり、保存し直したコピーでは記録が落ちることがあります。数が少ないからといって、その生成AIが署名しないとは言い切れません。 カメラも署名します。 Google Pixel 9 と Pixel 10 で撮った本物の写真2枚には、カメラのクレデンシャルが付いていました。クレデンシャルが本物の写真をAIと示したことは一度もありません。 つまり、コンテンツクレデンシャルは、あればほぼ証拠になり、なくても何もわかりません。X で拡散している画像をスクショで見かけたなら、見つからないものと思っておいたほうがいいでしょう。 上の表は、エンジン同士を比べるために単純な固定の線（Sightengine なら0.5）で判定しています。ツール自体はもっと慎重で、0.8を超えたらAI、0.2未満なら本物、その間は「判定できません」と答えます。クレデンシャルを先に読み、残りだけを Sightengine に送って、この2本の線で判定した結果は、100枚中98枚が正解、1枚が「判定できません」（本物の写真のスクショで、スコア0.21）、1枚が誤り（FLUX のスクショで、スコア0.18、本物と判定）でした。本物の写真の誤判定は、やはり50枚中0枚です。16枚は信頼できるクレデンシャルだけで決着し、モデルを呼ぶ必要がありませんでした（AI画像14枚と、本物の撮影として署名された Pixel の写真2枚）。残りの84枚がモデルに回りました。 スクショは、モデルにとっても少し不利です。AIの元画像とそのスクショのペア10組で比べると、Sightengine は検出数が10から9に、Hive は10から8に下がりました。 第3の答え：「AIで編集済み」 テストセットを作っている途中、ある Pixel の写真のメタデータに「Edited with Google AI」と書かれていました。完全な本物でも、完全な生成画像でもないので、本物の写真のグループからは外して差し替えました。主要な2エンジンはどちらも本物と判定していて、それはそれで妥当です。ただ、多くのスマホ写真にとって「本物かAIか」という問い自体がずれてきていることがわかります。役に立つ判定ツールには、3つ目の答えが必要です。 このテストでわからないこと 規模が小さいです。100枚、1日だけです。 4つのエンジンのうち2つは、サンプルしか見ていません。 マッチングアプリの自撮り、強いフィルターをかけたポートレート、手描きの作品、合成画像や部分的なAI編集は入っていません。イラストも数枚だけです。 本物の写真1枚だけは、1日の無料枠がリセットされた後、ほかより数時間遅れて Sightengine と Hive にかけました。 各社はモデルを更新するので、これはある時点のスナップショットです。 私は中立ではありません。私が作ったツールはいま Sightengine を使い、Hive を予備にしています。どの事業者もこのテストにお金を出しておらず、事前に内容を見てもいません。4つとも無料トライアルのクレジットで実行しました。 1枚の画像を確かめるなら ある1枚の画像について知りたいだけなら、私はこの順番で確かめます。 コンテンツクレデンシャルを探す。 Content Authenticity Initiative の無料ツール Verify（contentcredentials.org/verify）で読み取れます。画像生成AIの名前が出れば、ほぼそこで終わりです。何も出なくても次へ進んでください。それが普通です。 いちばん古いコピーを探す。 Google レンズ、TinEye、Bing で画像検索（逆画像検索）をします。その画像が最初に出てきた場所から、誰がなぜ作ったのかがわかることがよくあります。 場面のつじつまが合っているかを考える。 制服は合っているか、道路標識は合っているか、天気はその日付と合っているか。このチェックは、生成AIが進歩しても弱くなりません。 それから細部を見る。 小さな文字、物を持つ手、映り込み、影、人混みの中で繰り返される顔。これらは手がかりにすぎません。おかしな細部が一つあってもAIの証明にはならず、完璧な画像だからといってカメラで撮った証明にもなりません。見分け方のコツは「AI画像の見分け方」にもまとめています。 判定ツールは手がかりの一つとして使う。 スコアの幅と理由を示してくれて、「判定できません」と言えるものを選ぶのがおすすめです。できれば元のファイルを使ってください。スクショは判定が難しくなります。 何がわかったとしても、判定ツールの答えだけを根拠に、実在の人を責めないでください。 このクレデンシャル優先の流れを、無料の小さなツール「AI画像判定」にしました。テストの方法の全体、生成AIごとの数字、限界は正確性についてのページ（英語）に載せています。うまく判定できない画像があれば、ぜひ見せてください。 この記事の英語版は dev.to に掲載しています：I tested 4 AI image detectors on 100 images この記事の下書きと編集には AI アシスタントの手を借りました。テストセット、実行、数字はすべて私自身のものです。