www.rtpro.yamaha.co.jpのFAQ

検索エンジンは、何故、ホームページの情報を持ってるのですか？

特別な情報提供をしている訳ではありません。

WWWの検索エンジンでは、インディックスの作成の為に定期的にWWWサーバを 調べにきます。それを行なうプログラムをこの世界では「ロボット」と言います。
WWWドキュメントルートに「robots.txt」というファイルを置き、 ロボットによる調査の可否を意思表示します。
もし、

 http://host.any.domain.com/robots.txt

本サーバでは、ロボットによる検索を禁止しておりません(robots.txtが無い)ので、 WWWの検索エンジンで検索すると、ヒットする訳です。
でも、エラーログが増えるのイヤなんで......
現在のrobots.txtファイル

-------- 
User-agent: *
Disallow: /cgi-bin/
--------

例）ロボット検索を全く禁止する場合の「robots.txt」の内容。

-------- 
User-agent: *
Disallow: /
--------

詳しくは、http://info.webcrawler.com/mak/projects/robots/robots.htmlなどを参照してください。

[ FAQ for www.rtpro.yamaha.co.jp ]
[ WWWサーバ / WWWブラウザ ]