淘客熙熙

主题:【求助】关于网站大量 Error 001 应对 -- 铁手

共:💬49 🌺143
全看分页树展 · 主题 跟帖
家园 如果是链接过多的话,

请考虑是私人为了下载帖子编写的爬虫的情况,这样的话,是否可以通过对请求头部进行分析判断是否是常用浏览器,如ie,ff,opera,safari,chrom等,如不是这几个,可以拒绝链接。这是我之前在编写爬虫的时候所了解到的一些信息。

全看分页树展 · 主题 跟帖


有趣有益,互惠互利;开阔视野,博采众长。
虚拟的网络,真实的人。天南地北客,相逢皆朋友

Copyright © cchere 西西河