robots.txtを変更した後にすること robots.txtを設定すると、特定のURLに対してクロールを禁止にしたり、許可したりできます。 robots.txtを変更後は 「果たして、このやり方であっているんだろうか？」 と心配になると思います。 そういうときは、「robots.…