gakko-crawler について

gakko-crawler は、gakko.ai が動かしている機械です。学校のサイトに出ている入試の要項・入試の頁・学校案内を、決まった間をあけて取りに行き、前に取った物と比べて、変わった所を見つけます。

gakko.ai は、学校と入試と制度の一次資料を、出所と取った日を付けて持つ台帳です。学校の優劣やお薦めは出しません。

何を取るか

どの頻度で、どう取るか

取った物の扱い

止めてほしいとき

robots.txt に次の 2 行を書いていただければ、次の晩から取りに行きません。

User-agent: gakko-crawler
Disallow: /

一部の道だけ止めたいときは、Disallow: にその道を書いてください。

間違った値を載せている、取りに行く回数を減らしてほしい、などのご連絡は、次の宛先へお願いします。

In English: gakko-crawler visits official school websites at night to check admission documents for changes. It obeys robots.txt (User-agent: gakko-crawler) and waits at least 5 seconds between requests to the same site. Contact: crawler@gakko.ai