爬虫原理 流程如下： 爬虫告诉引擎，需要爬取哪些链接 urls 引擎把链接发给调度器 调度器收到链接后，进入队列 调度器从队列里取出链接，告诉下载器开始下载 下载完毕 ...