robots txt表記方法　-ホームページでデビュー-

robots txt表記方法

一例：　すべてのページを読み込まなせない設定

　User-agent: *
　Disallow: / 　

　 ●User-agent: *　･･･　すべてのページを対象に、命令の
　　　　　　　　　　　　　　　プログラムを送ります、という宣言文です。

　　　　　　　User-agent: ・・・　使用者の代理人（直訳）
　　　　　　　　　　　　　*　・・・　すべて　　

　●Disallow　･･･　許可しない、拒否する（直訳）

　　　　　　　/　　・・・　/ ではじまるファイル（すべてのファイル）　　　　　

■robots txt表記の代替手段（メタタグ）

　robots txtは、ファイルをトップページがあるファイルと同じ
　ルート（階層）に設置することでロボット排除の命令を出します。

　この方法とは別に、ページごとにあるメタタグを設定することで
　robots txtと同様のロボット排除の命令をおこなうことができます。
　次のページにて紹介します。

　　　　　　　　　　　　　　→　メタタグでのロボット排除設定　