スパイダー・トラップ ( Spider trap ) - ホームページ (Webサイト)関連用語集

スパイダー・トラップ（クローラー・トラップ）。

検索エンジンはURIに含まれるcgi などのパラメーターが1つの場合は、
　
　
なんの問題も無くインデックス化しますが、２つ・３つとなるとインデックス化
　
　
しなくなる傾向があります。これは、クローラーが収集した文字情報などを
　
　
蓄積するデータベース領域を食い尽くされてしまう恐れがあるからです。
　
　
　
　

また、動的なセッションIDを含んだURIもあまり好ましくありません。
　
　
セッションIDとは、特定のドメイン内で複数のHTTPトランザクションを
　
　
結びつける為の一意の文字列で、クッキーを使用しない場合にURIの
　
　
一部として渡されます。
　
　
　
　
　
　
上記したようなURIの場合、前述した検索エンジンのデータベースを
　
　
一杯にしてしまったり、スパイダー（クローラー）を無限ループに
　
　
はめたり、クラッシュを引き起こす原因と成る場合があります。
　
　
この様に、スパイダーを無限ループやクラッシュを引き起こすトラップ（罠）のことを
　
　
スパイダートラップと言います。