在上篇中，我主要讲了用PHP写爬虫时的一些经验，在下篇中我会对Selenium进行展开，把我总结的Selenium技巧和一些坑的处理方法介绍给大家。 上篇：《最好的语言PHP + 最好的前端测试框架Selenium = 最好的爬虫（上）》 为什么是Selenium 在简单的爬虫中直接用httpclient就可以爬了，但是反爬虫比较厉害的情况下，有很…

为什么是PHP 其实就目前业界来说，python下的爬虫轮子是最多的，我厂大多数同学都用python搞爬虫。我由于原来搞web后端用PHP比较多，对PHP下的生态和第三方库啥的如数家珍，厂里对使用的语言也不做强制要求，所以我就用最拿手的PHP开搞了。有同学可能会觉得PHP下爬虫轮子似乎不多，甚至有部分做惯了PHP后台的同学在需要完成爬虫任务时也拿起…