开放代理开发手册
总览
新手开发者可通过如下3个步骤使用开放代理:
二、 参考代码样例请求开放代理。
三、 在程序中通过调用API接口获取代理,然后请求目标网站。
API接口
开放代理API接口一览
接口名称 | 接口功能 |
---|---|
GetProxy | 获取代理IP |
CheckOpsValid | 检测开放代理有效性 |
测试代理可用性
建议您提取代理IP后,先在本机测试好可用率,可用率符合预期就可以正常使用了。
* 开放代理源自公网,非快代理自营服务器,IP稳定性和安全性均不高。如果您对IP质量和安全性有高要求,推荐您使用私密代理。
如果您需要更高的请求频率请联系客服定制。
专属IP池错误码一览
HTTP返回码 | Response body内容 | 说明 |
---|---|---|
407 | White IP Failed: $client_ip | 没有通过IP白名单验证 |
429 | 情况一:Frequency Over Limit 情况二:Domain Frequency Over Limit 情况三:Connection Over Max |
情况一:请求频率超过限制 情况二:风险域名请求过于频繁 情况三:请求频繁超过最大连接数 |
440 | Over White IP Count(client ip: $client_ip) | IP超出最大数量限制 |
441 | Binary Post Forbidden | 2小时内向超过10个网站post二进制数据会返回这个错误 |
443 | IP Forbidden | 客户端IP被临时屏蔽 |
444 | Download Forbidden | 禁止下载此文件 |
445 | Access Forbidden | 禁止访问该网站 |
447 | Real Name Verify Required | 账户需要实名认证 |
449 | Foreign Access Forbidden | 禁止访问境外域名 |
502 | 情况一:Proxy Exception 情况二:Proxy Unexpect Error 情况三:Proxy Bad Server |
情况一:代理服务器异常 情况二:DNS解析错误 情况三:连接目标服务器异常 |
专属IP池使用统计
专属IP池使用统计功能提供了对请求量和请求错误的统计分析。
您可以随时关注采集程序的运行走势,了解发生的错误并及时修正。我们还为几种常见的错误提供了分析和提示,帮助您提升采集程序运行的成功率。
开发建议
参考如下开发建议,可以帮助您更加顺利地完成开发和调试:
- 提取IP后尽快使用,不要在IP池里放太久,以免IP失效。
- 控制好请求频率,用同一IP请求同一网站建议不超过1秒1次,避免IP被目标网站屏蔽。
- 尽可能采用gzip压缩加速访问,在header里添加:Accept-Encoding: gzip
使用专属IP池:
使用gzip详解
使用gzip压缩传输数据可显著提升访问速度,方法非常简单:
只需在http请求的header里加上:
Accept-Encoding: gzip
收到HTTP Response后检查header里是否包含:
Content-Encoding: gzip
如果包含,则对body进行gzip解压,就能得到原始内容。