アドワーズ広告

オーバーチュア

アクセスアップ

ページランク

検索キーワード

SEO用語集

yahooのSEO対策

googleのSEO対策

MSNサーチのSEO対策

SEM検索エンジンマーケティング

SEOお見積もり

ホームページ制作

既存サイトのSEO対策

作成料金

検索エンジン登録サービス

SEO相互リンク

アンケートに答えて
ペアで宿泊ご招待！！

お問合せ

クローラーとは、ウェブ上の文書や画像などを周期的に取得し、自動的にデータベース化するプログラムである。「スパイダー」や「ロボット」などとも呼ばれる。

クローラーはHTMLに記載されているリンクを一気にたどって行くため、人間のユーザーとは明らかに異なるアクセスを行います。検索サイトでの検索順位を上げるためには、クローラーがWebサイトを訪れることは歓迎すべきことですが、ユーザーの動きを知るために行うアクセスログ解析にとっては不要なデータとなってしまいます。従ってアクセスログ解析を行うにあたっては、可能な限りクローラーの残したログデータを排除して分析を行います。

主に検索エンジンのデータベース、インデックス作成に用いられているほか、統計調査などの目的にも利用される。近年では電子メールアドレス収集業者などもクローラを利用して、迷惑メールの送信効率を上げています。