Google的蜘蛛程序Spider对网页数据的抓取是通过读取网页文本内容，并顺着页面中的链接层层深入，从而获得对全站内容的抓取。有一些网页制作技术如框架结构（frame：帧）、Flash等生成的网页内容是蜘蛛程序比较排斥、不愿意抓取的，因此内嵌于其中的文字或链接往往被蜘蛛忽略了，从而影响到对全站重要数据的抓取。要想知道某个网页的内容能否被Google蜘蛛正常抓取到，可以借用蜘蛛Spider模拟程序，它罗列出一页中能够读到的所有文本，以及能够进入的所有链接，以帮助诊断重要网页内容是否可见。网络营销指南将搜索引擎蜘蛛模拟器视作重要的搜索引擎优化检测工具之一。

　　使用方法：输入被查询页面的URL提交，显示结果分别是被抓取的文本和链接。

　　同类工具：Spider模拟器
　　http://www.spannerworks.com/spidersimulator.0.html , 可选择除Google以外的4个搜索引擎抓取网页的情况：Altavista、Fast、Inktomi、WiseNut，也可以直观地显示被抓取链接的绝对URL。

Enter URL to Spider

文章作者：网络营销指南　文章来源：网络营销指南　加入时间：2006/5/31　

本文相关内容：