网络上的代理 IP 服务商越来越多,质量参差不齐,甚至有群友反应,某些代理服务商割完韭菜就跑,对服务商靠谱与否的担忧是目前存在的一个现象,老牌名气大点的代理 IP 服务商大多不会存在这个问题,所以建议大家在选择代理商之前仔细斟酌,各方面都对比一下,择优选择,本文是 K 哥对部分代理供应商的 HTTP 隧道代理测试报告总结,可供大家参考。
一、测试环境
- 系统:CentOS Linux release 7.9.2009 (Core)
- 语言:Python 3.7
- gevent==1.1.2
- 数据库:MySQL
二、测试对象
九家代理供应商的隧道代理产品:
- 快代理隧道动态版
- 阿布云隧道动态版
- 青果云隧道动态版
- 小象代理隧道动态版
- 品易代理隧道动态版
- 极光代理隧道动态版
- 无忧代理隧道动态版
- 蜻蜓代理隧道动态版
- 熊猫代理隧道动态版
三、测试网站
以下测试网站除了少部分验证 header 中某些参数以外,没有其他反爬,具体表现是同一个 IP 频繁请求会出现验证码、403、跳转登录、返回 JS 二次设置 Cookie 等情况,测试中已排除其他反爬,保证了测试结果只与 IP 的质量有关:
- 小红书:社区精选,随机文章详情页:xiaohongshu.com/discove
- 亚马逊:随机商品详情页:amazon.com/product-revi
- 天眼查:随机公司详情页:tianyancha.com/company/
- 58同城:招聘搜索结果页:bd.58.com/job/pn1/?
- 安居客:二手房随机小区:beijing.anjuke.com/comm
- 拼多多:网页端随机商品分类详细信息接口:yangkeduo.com/proxy/api
- 百度贴吧:首页:tieba.baidu.com/
四、测试指标
数据量:
- 统一 50 并发,测试时间 2 天
- 每个代理商累计请求量均 > 50 万,部分 > 300 万
主要指标解释:
- 请求成功:指成功请求 URL 并拿到响应,不管是否返回的是反爬内容
- 业务成功:指在请求成功的前提下,拿到正确的数据,连接失败、超时、被反爬均视为失败
- 反爬识别:出现验证码、403、跳转登录等情况
- 请求超时:timeout = 10
- 代理报错:基本上是 502、503、SSLError 报错
五、数据分析
总体数据统计
由上表可知(排名分先后,从左到右):
- 请求成功率:1. 小象 2. 快代理 3. 青果云
- 业务成功率:1. 快代理 2. 青果云 3. 小象
- 反爬识别率:1. 蜻蜓 2. 阿布云 3. 快代理
- 请求超时占比:1. 阿布云 2. 快代理 = 小象 3. 蜻蜓
- 代理报错占比:1. 青果云 2. 快代理 3. 小象
- 平均响应(s):1. 快代理 2. 阿布云 3. 青果云