gakko-crawler について
gakko-crawler は、gakko.ai が動かしている機械です。学校のサイトに出ている入試の要項・入試の頁・学校案内を、決まった間をあけて取りに行き、前に取った物と比べて、変わった所を見つけます。
gakko.ai は、学校と入試と制度の一次資料を、出所と取った日を付けて持つ台帳です。学校の優劣やお薦めは出しません。
何を取るか
- 各校の公式サイトのうち、入試の要項・入試の頁・学校案内の頁と、そこに置かれた PDF
- 今は全国の中学校と中等教育学校の、およそ 640 校・1,800 か所
- 公式サイトの外へは出ません。目録に載せたホスト以外へのリンクは、記録するだけで取りません
- ログインの要る頁、問い合わせの窓口、申し込みの画面には行きません
どの頻度で、どう取るか
- 取るのは毎晩 2 時から 5 時の間だけです
- 要項と入試の頁は週に 1 回、ほかの頁は月に 1 回です
- 同じサイトには 5 秒以上あけ、同時に 1 本しか取りに行きません
- 前回の ETag・Last-Modified を付けて聞くので、変わっていなければ中身は送られてきません
- robots.txt を 1 日 1 回読み、それに従います。Crawl-delay が書かれていれば、その間をあけます(60 秒まで)
- 403・429 を返された、robots.txt で禁じられた、というときは、そこで止めます。名乗りを変えたり、別の経路で取り直したりはしません。503 を返されたら、その晩はそのサイトを休みます
- 名乗りは
gakko-crawler/0.1 (+https://gakko.ai/crawler)です。ブラウザのふりはしません
取った物の扱い
- 取った資料は、変わった所を見つけて台帳の値の出所を示すためにだけ使います
- 資料そのものを gakko.ai で配ることはしません。台帳には、資料の場所(URL)・取った日・そこから写した値を載せます
- 台帳の値は、写した者と別の者が資料まで戻って照合してから「照合済み」にします
止めてほしいとき
robots.txt に次の 2 行を書いていただければ、次の晩から取りに行きません。
User-agent: gakko-crawler
Disallow: /
一部の道だけ止めたいときは、Disallow: にその道を書いてください。
間違った値を載せている、取りに行く回数を減らしてほしい、などのご連絡は、次の宛先へお願いします。
- 連絡先: crawler@gakko.ai
In English: gakko-crawler visits official school websites at night to check admission documents for changes. It obeys robots.txt (User-agent: gakko-crawler) and waits at least 5 seconds between requests to the same site. Contact: crawler@gakko.ai