星を見る人 トップページへ戻る

検索エンジンロボットによるサイト内巡回

昨日のサーバログを見ると、グーグルボットが
うちのサイトに来たことがわかります。

・ロボットのホストアドレス:crawl-66-249-65-195.googlebot.com
・リクエスト件数:4765回
異常なアクセス回数に見えますが、異常ではありません。
これは「ディープクロール」というものです。

ディープクロールとは、検索エンジンのロボットが
サイトの深い階層まで進んで行ったことを指します。
そもそも、インターネット上にWebサイトを公開した直後は
YAHOOやGoogleの検索では全くひっかかりません。
いつからかどこからか、検索エンジンのロボットがページ内を巡回し
ページを取り込んでくれてようやくWebサイトが検索でひっかかるようになります。

今回のディープクロールのおかげで当サイトが
より検索にヒットしやすくなるかもしれないのでディープクロールは
Web管理者にとっては(サイト繁栄の視点からすると)通常、嬉しいことです。

今回のGoogleBotのmagic3.netの全アクセスに占める割合は6.79%でした。
投稿者:KM(管理人) 投稿日時:2005-02-21(月) カテゴリー:Google このエントリーをはてなブックマークに追加 ツイート

コメント

工藤和宏

ちょっと、お聞きしたいのですが・・・。私は自宅サーバーを構築して、サイトを配信しているのですが、最近、yahooの検索エンジンに私のサイトが見知らぬURLで表記されていたのです。もちろんアクセスはできません。存在もしないURLで表記されていて、驚いています。yahooにメールで質問しても、「次の巡回で治る」という返事で済まされました。Googleではまともに表記されていて、yahooでも登録サイトでは表記されています。ところがyahooのロボットではありもしないURLで表記され、それまでになかったくらいの後ろのほうに位置しています。アクセスログを見ると、66.196.77.193 - - [16/Feb/2006:23:54:17 +0900] "GET /robots.txt HTTP/1.0" 404 215 こんなふうになっています。「404」が含まれていますが、これはアクセスできなかったってことですか?ひょっとして、yahooの巡回ロボットが、私のサイトを認識できないのでしょうか。今、私のサイトは一日のアクセス数が20件程度・・・とほほの状態です。よろしければお教えくださいませ。
2006-02-17(金) 00:24:57

コメントを投稿

 投稿ボタンは一度だけ押してください。
 他の人の気分を害する内容、荒れを招く恐れのある内容は削除や規制を行う場合があります。
このアイテムは閲覧専用です。コメントの投稿、投票はできません。