数字は全部正しいのに、結論だけが逆になっていた

X の投稿を、自分で書いた集計スクリプトで分析していたときの話です。
「記事の告知は反応がほぼゼロなので減らすべき」という結論が出て、
報告する寸前で、正反対にひっくり返りました。
数字はどれも間違っていなかったのに、です。
1つも。

「告知が死んでいる」という集計結果

ブログや Zenn の記事を公開したとき、X で告知を出しています。
その告知が効いているのかを見ようとして、
投稿に含まれる URL で「告知」と「それ以外」に分けて集計しました。

出てきた結果はこうでした。

• 告知は 31件
• 31件とも、本文が https://t.co/... の URL だけ
• いいねはほぼゼロ

告知がタイムラインを埋めているのに反応を生んでいない、という形です。
「告知を減らす」という提案を書きかけていました。

原本を開いたら、本文があった

報告する前に、念のため投稿キューの元ファイルを開きました。
自動投稿の予定を書き溜めているファイルです。

本文はちゃんと書いてありました。
URL だけの投稿など、1本も入っていません。
おかしい。

では、なぜ集計では URL だけになっていたのか。
自動投稿のスクリプトのコメントに、こう書いてありました。

• 本文を主投稿として出す
• URL は、その投稿への返信としてぶら下げる
• 理由: リンクを本文に混ぜないため。リンク付きの投稿は伸びにくい傾向がある

つまり、1つの告知が2つの投稿に分かれていました。
自分の集計は「投稿に URL が含まれるか」で種類を判定していたので、
本文のほうは「告知ではない投稿」に、URL の返信だけが「告知」に振り分けられていました。
いいねが付くのは本文のほうなので、「告知」側にいいねが無いのは当たり前でした。

紐づけ直したら、結論が反対になった

主投稿と返信を同じ会話としてまとめ直してから、もう一度数えました。

告知のほうが、いいね率が高かった。
減らす理由はどこにもありませんでした。
逆です。

検算では見つからない

ここが自分にとっていちばん怖かったところです。
集計の数字は、どれ1つ間違っていませんでした。

31件のインプレッションもいいね数も実測値です。
中央値も率も正しく計算されています。
間違っていたのは「どれとどれを同じ種類として数えるか」、分類の定義だけでした。

だから検算しても見つかりません。
計算は合っているので。
気づけたのは、集計結果を見直したからではなく、元のファイルを1つ開いたからです。

最初にやるのは計算ではなかった

分類の定義が、データの作られ方とズレていた。
それだけの話です。
ただ、ズレていても数字は正しいまま出てくるので、
結論だけが静かに反転する、というのが今回の学びでした。

スクリプトの設計が悪かったわけではありません。
本文と URL を分けるのは、リンク付き投稿の比率を下げるための意図した作りで、
その設計を知らずに分類を作った自分の集計のほうに原因がありました。

データを触るとき、最初にやることは計算ではなくて、
「このデータはどうやって作られたか」を確かめることなんだと思いました。
AI に集計を任せるときも同じで、出てきた表を眺める前に、元データを1つ開く。
今回はそれで結論が逆になりました。