爬虫如何抓取网页

    网络爬虫是一个很形象的名字，如果把互联网比喻成一张大的蜘蛛网，那么爬虫就像是在网上的蜘蛛一样，而爬虫就是通过网页的链接地址来寻找网页的。
 

 

    爬虫从网站某一个页面（通常是首页）开始读取网页的内容，并找到网页中的其它链接地址，然后通过这些链接地址寻找下一个网页，这样一直循环下去，直到把这个网站所有的网页都抓取完为止。所以说，网络爬虫其实就是一个简单的抓取网页的程序。

 

    爬虫在抓取网页的过程中其实和用户在使用某种浏览器上网的道理是一样的，打开网页的过程其实就是浏览器这个“客户端”向服务器端发送了一次请求，把服务器端的内容“抓”到本地，再进行展现。所以，爬虫就好比代步车一样，是一种可以满足我们某些需求的工具。