robots.txtの基本的な記述

検索実行時にクモは、最初にサイトのルートディレクトリを確認し、robots.txtの存在は、存在する場合には、検索ロボットに基づき内のドキュメントの内容とされるアクセスのスコープを決定するためにサイトを訪問する;場合は、ファイルが存在しない場合、すべての検索スパイダーのWebサイトにアクセスすることができるすべてではないが、パスワードのページ保護されている。 robots.txtをサイトのルートディレクトリに配置する必要がありますし、すべて小文字にする必要がありますファイル名。のUser - Agent：どのような規則は、スパイダーを許可しない：Webページのすべての検索エンジンにするa.禁止をブロックするに適用される- agent：*などを許可しない：/ B.全てのロボットのユーザへのアクセス- agent：*などディできるようにするの任意の部分のWebサイト：ユーザー訪問



相互リンク | AION | aion-アイオン-rmt　 |