AIに仕事を手伝ってもらうための運用ルールを、1年近く書き足してきました。
「作業を始めるときはこれを確認して」「記録はここに残して」といった、自分用の指示書のようなものです。
だんだん量が増えてきたので、一度全部読み返して点検しました。
そうしたら、書いてあるのに動いていないルールがいくつも見つかりました。
しかも、動いていない理由が3種類にきれいに分かれていたので、その話を書きます。
1. 参照先が存在しなかった
「作業を始めるとき、このフォルダに未処理のものがないか確認する」というルールが、3箇所に書いてありました。
そのフォルダが存在していませんでした。
いつ消えたのかも分かりません。おそらく整理したときに一緒に消して、ルールのほうを直し忘れたのだと思います。
タチが悪いのは、エラーが出ないことです。フォルダが無いので中身も無い。
だから毎回「未処理なし」と表示されて、正常に動いているように見えていました。
何ヶ月も、何も入っていない引き出しを毎朝開けていたことになります。
2. 前提が変わって、成立しなくなっていた
案件ごとに、画面のスクリーンショットを撮るための道具を導入する手順が残っていました。
書いた当時は必要な手順でした。
いまは同じことが標準機能でできるようになっていて、わざわざ導入する理由が消えています。
このルールも、間違ってはいません。
手順どおりにやれば動きます。ただ、やる理由がない。
「間違っているルール」より、こっちのほうが見つけにくいと思いました。
実行すればちゃんと動いてしまうので、疑うきっかけがありません。
3. 一度も読まれていなかった
これが一番こたえました。
AIの受け答えの性格を決めるための設定を書いたファイルがあったのですが、どこからも読み込まれていませんでした。
書いたときは満足していました。実際、本人（私）も薄々「反映されてないみたいだな」とは感じていたんです。
感じていたのに、確認しないまま放置していました。
ファイルは存在する。中身も書いてある。でも誰も読んでいない。
ルールは増やすほど、点検されなくなる
3つを並べてみて思ったのは、これでした。
ルールを書くと安心します。「これで次からは大丈夫」と思える。
書いた瞬間が一番安心していて、そこから先は見返しません。
でも、書いた時点で正しかったことが、ずっと正しいとは限りません。
- 書いたときは正しかった
- 環境が変わった／参照先が消えた
- でも「書いてある」から、動いていると思い込む
結果として、AIのほうは矛盾した指示を読み続けることになり、こちらは「なぜか思ったとおりに動かないな」と感じる。
原因は指示の書き方ではなく、指示が死んでいたことでした。
点検して3割減りました
全部見直した結果、ルールの総量は 868行から568行になりました。だいたい3割減です。
減ったのは、消したものだけではありません。
同じことが別の場所に書いてあったり、書き足したせいで前の記述と食い違っていたり、というのを統合しています。
増やすより、点検するほうが効きました。
これは自分にとって意外でした。うまく動かないとき、自分は反射的に「指示が足りないのでは」と考えて書き足していたので。
実際には、書き足すほど古い記述との矛盾が増えて、余計に動かなくなっていた可能性があります。
続けてみて確かめたいこと
正直、今回は1回点検して気づいただけです。「これが一般的な法則だ」と言うには早いと思っています。
確かめたいのは、同じ種類の死んだルールがまた出てくるかどうかです。
出てくるなら、点検を定期的な作業として組み込む必要があります。
出てこないなら、今回のは1年分の垢を落としただけということになる。
いまのところ、ルールを書くときに1つだけ変えたことがあります。
「これは誰が、いつ読むのか」を書くようにしました。
読み手と読まれるタイミングが書けないルールは、たぶん読まれません。
3つ目の「一度も読まれていなかった」がまさにそれだったので。
AIに指示を書いている人は増えていると思います。半年前に書いたものを、一度開いてみるといいかもしれません。
うちは3割が死んでいました。
