整个互联网是由链接组成的，形如一张网，而搜索引擎的抓取程序就是通过这些一个一个的链接来抓取页面内容的，所以形象的叫蜘蛛。蜘蛛，也叫网络爬虫，是搜索引擎的一个自动的抓取页面的程序。搜索引擎蜘蛛通过跟追链接访问页面，获得页面HTML代码存入数据库。爬行和抓取是搜索引擎工作的第一步，也是完成数据收集的任务。然后就是预处理以及排名，这些都依赖非常机密的算法规则来完成。
对于站长来说来说，网站的第一步就是解决收录问题，我们每天都在更新，可有时就是不收录。我们要想得到收录和蜘蛛的青睐，你就要懂蜘蛛爬行的原理和规律！一般搜索引擎蜘蛛抓取内容的时候，大致可以分为纵向抓取和横向抓取两种。
纵向抓取原理分析：
就是当蜘蛛进入一个网站的时候，会沿着一个链接逐步的深入，直到无法再向前前进的时候再返回爬行另外一个链接。
横向抓取原理：
就是当蜘蛛进入一个网站的时候，在一个页面上发现有很多的链接的时候，不是顺着各各链接进行一步步的纵向抓取，而是一层一层的抓取，比如把第一层的链接全部抓取完成，再沿第二层链接进行抓取。
一般来说，在搜索引擎蜘蛛进入网站时，首先是对内部链接纵向抓取，其次是对外链横向抓取，也就是说搜索引擎蜘蛛抓取页面是纵向原则和横向原则想接合的。但无论是纵向抓取还是横向抓取，只要网站是和蜘蛛的爬行和胃口，蜘蛛就能将您的网站所有网页爬完。
为了培养蜘蛛的访问，站长在发布文章时有固定的时间间隔和一定的规律，这样对蜘蛛是由好处的。比如站点是每天的上午9点钟到下午的6点种发布文章最多。那么搜索引擎蜘蛛针对这个站点就会在自己的规则里填写上这样一条时间段的规则，以后就按照这样的规则执行，即节省了时间，又提高了效率。
查看蜘蛛是否到访网站可以通过网站日志分析。搜索引擎是否已爬行了网站，爬行了哪些页面以及返回哪些信息给蜘蛛，掌握了这些情况我们才能对网站进行有针对性的优化改良，因此查看蜘蛛爬行日志是一件非常重要的工作。
