AIツールの権限設定を見直したら、止めたい操作が素通りして安全な操作が止まっていた

AIのコーディングツールには、やっていい操作とだめな操作を設定できます。

使い始めたころに書いて、1年以上そのままにしていました。
そろそろ見直そうと思ったのは、自動で判断するモードが既定になって、昔書いた設定に引っかかることが増えたからです。

自分のブログを直している最中に、3回続けて止められました。
どれも1件だけ更新する作業で、バックアップもあり、戻すのもコマンド1つです。

これは緩めていいだろう、と思って設定ファイルを開きました。

目次

止まってほしくないところで止まっていました

同じ日に、対照的なことが起きていました。

1件だけ更新する作業は止まりました。
バックアップがあって、戻すのも簡単なほうです。

記事167本に一括でカテゴリを付ける作業は、素通りしました。

実害が出たのは後者です。
渡した条件が無効だったのに、無視されて全件が返ってきたので、167本すべてにカテゴリが付きました。

止めたかったのはこちらでした。

危険度ではなく、書いたことがあるかで決まっていました

なぜそうなるかを考えました。

設定に書いてあるのは、思いついたコマンドの一覧です。
危険なものを想像して、それを並べる形になっています。

1件だけ更新するコマンドは、過去に危ないと思って書いたので止まります。
一括で書き込むコマンドは、書いていなかったので通ります。

危険度ではなく、自分が書いたことがあるかどうかで決まっていました。

133件のうち、35件は最初から仕事をしていませんでした

許可のほうも見に行きました。

133件あって、そのうち35件は作業中に「これは許可」と押したものが残ったものでした。

問題は、押したときのコマンドが丸ごと記録されていたことです。
特定のファイルを移動するコマンドや、長いデータベースの命令文が、一字一句そのまま入っていました。

二度と同じ文字列は打ちません。
1件も仕事をしないまま、行数だけが増えていました。

絞る方向で直しました

禁止の行を39から19に減らしました。
残したのは、認証情報に関わるものと、取り返しのつかない操作だけです。

許可の行は133から92に減らしています。

そのかわり、複数件に一括で書き込む操作を止める側に足しました。
167本の件が、まさにそれだったからです。

ファイル全体は15,437バイトから10,394バイトになりました。

6日後に確かめたら、確認のほうが効いていませんでした

このとき「絞ったぶん、実際に止まるかを確かめる」と書きました。

6日後に確かめました。

残した設定には、実行前に確認を出すものが7件あります。
安全な形に置き換えたコマンドを4つ試しました。

止まったのは1つだけで、しかもそれは禁止のルールに当たったからでした。
確認のほうは、どれも出ずにそのまま実行されています。

そのときは、確認が無視されているのか、安全だと判断されて通ったのかが切り分けられませんでした。
試せたのが全部、害のない形に置き換えたものだったからです。

翌日、本物のコマンドで確定しました。
確認は出ませんでした。

行数が増えても、守られている範囲は増えません

書いた時点で想像できたものしか、設定には並びません。

行が増えるほど守れている気がしますが、増えているのは行数だけです。
想像の外にあるものは、危険度に関係なく全部通ります。

だから、列挙を増やす方向はやめました。

守る対象を絞って、そのぶん実際に止まるかを試すほうが、確かめられる範囲が広がります。
確かめてみたら、7件のうち確認のほうは動いていませんでした。

止まると思っているだけの状態が、1年続いていたことになります。

目次