robots txtとは　-ホームページでデビュー-

robots txtとは（ロボット排除基準）

　 robots txtは通常設定する必要はありません。

　 robots txtとは、

　～のページをクロールしないでほしい
　～のファイルはクロールしないでほしい
　～すべてのページをクロールしないでほしい

　などのように特定の制限をおこないたい場合に、
　検索エンジンロボットに知らせておき、そのとおりに
　クロールしてもらうための伝言を残しておくためのファイルです。

　検索エンジンにクロールしてもらう前に事前に伝言板として
　読んでもらうための資料という感じです。

●例：　親が子供に伝言を残しておくとき

　親　　→　サイト運営者・・・この扉は開けないでね
　子供　→　検索エンジンのロボット・・・伝言の支持に従う
　伝言　→　robots txt

　検索エンジンへの制限を検索エンジンロボットに
　伝えるためには、検索エンジンがページを読み込む前の段階で
　知らせておく必要があります。

　よってrobots txtのフォルダは、トップページと同じ階層に設置する
　必要があります。

　先ほどの親から子へ伝言する場合の例では、
　扉の中の部屋に伝言板をおいていても、すでに扉を
　あけられてしまっては伝言の意味がありません。

　　　　　　　　　　　　→　　robots txtの表記方法について