体裁が整っていると「確認済み」に見えてしまう

Xの投稿を自動で出す仕組みを作りました。
キューにテキストを書いておくと、サーバーが時間になったら投稿してくれるやつです。

作り終えた直後、AIからこう提案されました。

キューが空なので、下書きから流し込みますか?

危うく「お願いします」と答えるところでした。

止まれたのは、たまたま「あれ、あの下書きって自分でまだ読んでないな」と思い出したからです。
仕組みとしては何も守っていませんでした。

目次

なぜ危なかったか

流し込もうとしていた下書きは、AIとの会話から拾ってもらったネタを、AIが文章の形にしたものでした。

自分がやるべきだったのは、それを読んで、事実を確認して、言い回しを直すことです。
それをやっていない状態でした。

危なかった理由は、AIが生成した文章は形式が整っていることにあります。

  • 文字数はちゃんと収まっている
  • ファイルの体裁も揃っている
  • 日本語として不自然なところもない

「作りかけ」に見えないんです。

手書きのメモなら「まだ途中だな」と一目で分かります。
箇条書きが途中で終わっていたり、「※ここ後で調べる」と書いてあったり。

整っているぶん、判断を誤る。逆転が起きていました。

やった対処

見た目で判断するのをやめて、置き場所で表すことにしました。

  • 01_drafts/ … 未確認。投稿ラインには絶対に乗せない
  • 02_ready/ … 自分が読んで確認済み。自動投稿してよい

ファイルの中身は関係ありません。どれだけ整っていても、01_drafts にある限り出しません。

ファイルを移す操作そのものが「確認した」という意思表示になります。
整っているかどうかではなく、自分が動かしたかどうかで判断する。

実際に確認したら、4本に問題がありました

ゲートを作ったあと、溜まっていた13本を一つずつ読みました。

そのまま出すとまずいものが、4件ありました。

  • コードのサンプルが動かない書き方になっていた(変数が自分自身を参照していた)
  • 競技のルールに関する記述が事実と違っていた(9色すべて規定されていると書いたが、実際に規定があるのは3色だけ)
  • 主語が抜けていて、誤読される書き方になっていた
  • 文字数が上限を超えていて、そもそも投稿できない下書きが1本

体裁は、全部整っていました。

整っていることと、正しいことは別でした。当たり前のようですが、実感として分かったのは今回が初めてです。

AIのせいではないと思っています

書いていて念のため補足しておくと、これはAIが悪いという話ではありません。

自分は「ネタを拾って、形にするところまで」を任せていて、その通りに動いてくれています。 確認は自分の仕事です。

問題だったのは、出来上がったものを見分ける自分の目のほうでした。
整っているものを見ると、無意識に「できている」と判断してしまう癖がある。

これは相手がAIかどうかとあまり関係なくて、たとえば外注したデザインが綺麗に上がってくると、内容の確認が甘くなるのと同じだと思います。
見た目の完成度と、中身の検証は別軸なので。

仕組みで守るしかない

「気をつける」で解決するなら、そもそも今回の場面で気をつけられていたはずです。

止まれたのは偶然でした。同じ状況がもう一度来て、少し疲れていたら、たぶん「お願いします」と答えていたと思います。

だから置き場所で分けました。疲れていても、急いでいても、機械的に判定できる形にしておく。
判断が要らないようにするのが、自分に対する対策としては現実的でした。

AIに何かを作ってもらう機会は、これからも増えると思います。
そのとき効いてくるのは「AIをどう使うか」より、「できたものをどう見分けるか」のほうかもしれません。
整っているものほど疑いにくい、というのは覚えておきたいです。

目次