【ChatGPT】AIが生成した文章かどうかを判定する方法・検出精度も解説

　

この記事では、以上の疑問にお答えします。

　

ChatGPTがTVのニュースなどでも大きく取り上げられるようになりました。

非常に便利なツールですが、当然のことながら、革命的すぎるツールには、弊害やリスクなども指摘されるようになってきます。

その１つが「論文やレポート、報告書などをすべてAI任せにしてしまう」という問題ですね。

　

個人的には、執筆の作業の一部を自動化・省力化するのはおおいにアリだと思っているのですが、内容の真偽を確認せずにそのまま投稿してしまう、というのは少々考えものです。

文章を受け取る側・評価する側としては今後、その文章がAI生成されたものなのかどうかを確認する術が必要になってきます。

この記事では、入力した文章をAIが生成したものか、人間が書いたものかを判断する方法についてまとめています。

AIが生成した文章を人間の手で少し編集・修正した場合にも、正しくAI生成かどうか判断されるのかという点についても、いくつかのパターンで検証していますので、ぜひご覧ください。

　

【手順】指定した文章がAIが生成したものかを判断する方法

指定した文章がAI生成なのかどうかを判断することは可能です。

　

そのためのツールを、ChatGPTを運営するOpenAI社が公式に提供しています。

「AI classifier」(AI分類器)というツールで、ChatGPTを含め、あらゆるAIが生成した文章を学習し、入力した文章がAIによって作られたものなのかを確認・判断できるというツールです。

　

このサービスでは、指定した文章を以下の５段階の形式で判断します。

　

もし、提出されてきた論文やレポートの文章をこのツールに入力してみて、「likely」という判断が出た場合、その文章はChatGPTなどのAI生成機能を使って作成、それをコピペしてきた可能性が高と判断できます。

　

【手順】実際に文章を判断する方法

ということで、その判断ツールの具体的な利用方法について解説します。

まずは、以下のページにアクセスしましょう。

　

先ほど紹介したこのドギツい配色のページが表示されるので、まずは下にスクロールしていきます。

　

少し下にスクロールしていくとこのような画面が出てくるので、ここの「Try the classifier」をクリックします。

　

OpenAI(ChatGPT)のアカウントでのログインを求められます。

すでにアカウントを作っている方は「Log in」をクリックします。

　

ログインが完了すると、このような画面が表示されます。

　

画面下部にテキストの入力スペースがあるので、ここに確認したい文章を入力、もしくはペーストしましょう。

入力したら「Submit」を押すと、すぐにAI判断が始まります。

判断ツールの注意点

ちなみに、このツールは以下のように説明されています。(本文から多少意訳しています)

　

このように、1割の確率で誤判断をする可能性があり、このツールの判断が確実なものではないということに注意が必要です。

このツールを使って、提出された文章を診断した際に「AI生成の可能性が高い」または「AI生成の可能性が低い」と出た場合でも、それを鵜呑みにして全ての判断を行うのは危険だ、ということです。

例えば、生徒が提出してきたレポートがAI生成の可能性が高いと判断されたからといって、それだけで否定したり罰則を与えたりするのはやめたほうが無難です。

現段階ではあくまで、判断材料の１つとして使うことを推奨します。

　

　

【実験①】ChatGPTが生成した論文を判断してみた

ということで、いくつか実験をしてみました。

ChatGPTに「AIを活用した業務自動化と、それによって企業がどのような恩恵を受けるのか」というテーマで、短い論文を作ってもらいました。

内容としてはこんな感じです。　文字数としては1164文字ほど。

　

　

この内容を、判断ツールにかけてみたところ、このような結果が出てきました。

「The classifier considers the text to be likely AI-generated.」

つまりこの文章は、「AI生成の可能性が高い」という判断結果です。

実際にテストとしてChatGPT自体で生成した文章ですので、問題なく判断されているようですね。

　

【実験②】ChatGPTが生成した論文の言い回しを一部修正して判断してみた

では、ChatGPTで生成した文章を一部、人間の手で修正した場合はどうなるでしょう？

生成された文章の語尾や単語を少し書き換える程度で「人間が書いた」と判断されるようでは、この判断ツールは役に立たないので、そのあたりが問題ないかどうか、ちゃんと確認しておく必要がありますね。

　

…ということで、論文の趣旨や結論が変わらない程度で、以下のような修正・改変を行いました。

　

さて、その修正後の文章の判断結果は以下の通り。

結果は変わらず、「AI生成の可能性が高い」と表示されました。

多少文言を変えたぐらいでは、AI生成であることを隠すことは出来ないようです。

　

【実験③】ChatGPTが生成した論文の文体を変更したものを判断してみた

ChatGPTの生成する文章は「ですます調」ですが、これを「である調」に変換してみた場合はどうでしょう？

つまり、論文の文体を変えてみた場合に、AI判断はどうなるかも少し実験してみます。

　

結果はこうなりました。

ここでも「likely」と表示され「AI生成の可能性が高い」との結果が表示されました。

やはりAI生成したものはいくらか手を加えたり、更に変換したとしても、かなりの高確率で正確に判断されるようです。

【実験④】当ブログの記事を判断してみた

最後に念のため、実際に人間が書いた文章も入れてみて、ちゃんとAI生成ではないと判断してくれるかどうかを見てみたいと思います。

ここではぼく自身が書いた、このブログ記事の文章そのものを入力してみて、判断ツールにかけてみようと思います。

　

今回の判断で利用したブログ記事はこちらです。

以下の記事の文章をそのままコピーして、判断を実行しています。

　

その結果がこちら。

今までの判断と変わって「very unlikely」と表示されました。

つまり「AI生成の可能性が非常に低い」と判断されたということですね。

実際、この記事の文章はぼく自身がすべて手動で書いたものですので、これは正しい出力結果です。

(AI判断されなくてよかった…笑)

まとめ

以上、文章をAIが生成したものか判断する具体的な方法でした。

　

　

記事内でも書いていますが、100％確実に判断できるわけではありません。

現段階ではあくまで、判断基準の１つとして考慮するぐらいに留めておいた方が良さそうです。

　

とはいえ今後、こうしたAI生成かどうかの判定の必要性は確実に高まってくるので、より精度の高い、確実な判断ツールが登場してくるものと思われます。

そうしたツールが一般に公開されたら、当ブログ、Tipstour(チップスツアー)でも紹介したいと思いますので、ぜひ他の記事も含めて、チェック＆お気に入りに入れていただければ幸いです！

　

以上、ご参考までに。

それでは！