メタタグでのロボット排除設定はたとえば下記のような
タグがあります。
●<meta name="robots" content="noindex,nofollow">
| ●robots → 検索エンジンロボットを対象 ●noindex → 検索データベースへのインデックス登録を禁止 ●nofollow → このページに含まれるリンクをたどることを禁止 |
この場合、前ページのrobots txt表記方法における、
User-agent: *
Disallow: /
この表記と同様の意味になります。
robots txtではサイト単位になりますが、
メタタグ内の設定はページ単位になります。