近做了一个模拟http抓取网站,网址:https://www.clw9335.com/gl/ 去模拟抓取destoon站时候出现http 403 forbidden问题,必须要植入cookie才能抓取成功,最后找到问题所在。
找到/include/safe.func.php :

|
1
2
3
4
5
6
7
8
|
function strip_key($array) { foreach($array as $k=>$v) { if(!preg_match("/^[a-z0-9_\-]{1,64}$/i", $k)) { } if(is_array($v)) strip_key($v); }} |
注释掉:

|
1
2
|
dhttp(403, 0);dalert('HTTP 403 Forbidden - Bad Data', DT_PATH); |
这样就好了。

再模拟抓取下,就可以成功抓取到了!