求人サイトは読めないが、中小企業が使う採用管理システムは読める

転職の応募先を調べていて、集めた企業リストが上位の有名企業ばかりになりました。
原因は自分の狙いではなく、調べ方のほうにありました。
技術的な理由もはっきりしていたので、両方書いておきます。

集めたリストが、狙っていない層で埋まった

最初に作ったリストを見て、そのままではダメだと分かりました。
並んでいたのは、名前を聞いたことのある会社ばかりです。
準経験者にとっては、応募が最も集中して、通過率が最も低い層でした。

なぜそうなったか。求人サイトの中身が、プログラムから取得できなかったからです。
取れないので、代わりに「技術発信をしている会社」を起点に探していました。
その結果、発信できるリソースがある会社＝規模の大きい会社しか出てこない構造になっていました。

探し方が、母集団を決めていました。

取れないものと取れるものが、きれいに分かれた

そこで、何が取得できて何が取得できないのかを整理しました。

大手の求人サイトは、検索や絞り込みを画面上で動かす作りなので、
中身をブラウザ側で組み立てています。ページのソースを取っても、枠しか入っていません。
空っぽです。

一方、企業が採用ページとして使っている採用管理システムのほうは、
求人票がそのまま出力されています。読む側の道具を変えなくても中身が読めました。

探し場所を変えたら、見える企業層が変わった

検索する範囲を、この採用管理システムのドメインに絞りました。
すると、自社サイトに求人ページを持っていない中小企業が出てきました。

規模でいうと10〜100人くらいの会社です。
検索の上位には出てこないけれど、募集は実際に出ている。
ここが自分の本来の応募先でした。
最初から探すべき場所です。

実際、この方法で見つけた1社は、必要な条件が全部書いてあって、そのまま集計に使えました。
「検索の上位に出る会社」が並ぶ代わりに、「実際に募集している会社」が出てくる。
そういう違いです。

情報が取れても、古いことがある

もう1つ分かったことがあります。
調べている最中に、求人ページが404を返した会社が2件ありました。

掲載は流動的でした。
当たり前といえば当たり前です。
リストを作った時点で募集していても、応募する時期には終わっているかもしれない。
なので、応募の直前にもう一度全件を引き直す前提でリストを作っています。
取得できた情報も、取得した時点のものでしかありませんでした。

「情報が取れない」は探す場所の問題だった

結局のところ、こういうことでした。

• 「情報が取れない」は道具の限界というより、探す場所の選び方の問題だった
• 何かを一覧にするとき、検索結果の上位は母集団ではない

自動で取得するときは、各サイトの利用規約と robots.txt を確認してからにしています。
自分の場合は候補を数十件見る程度なので、公開されている求人票を普通に読む範囲です。
まとめて大量に取りに行くような話ではありません。