现成列表形式的 HTTP 代理
所有程序都认得 HTTP 代理:浏览器、桌面 SEO 工具、PHP 和 Python 脚本、curl 和 wget。在 ProxySale 购买 HTTP 代理,您会得到一个列表链接,返回成千上万行 ip:port,最小套餐 200 个 IP,最大 50,000 个。 需要自己挑选地址的脚本可以读取 CSV:把 .csv 放到链接结尾。
不限量套餐的代理行在同一端口上也响应 SOCKS5,所以一个套餐能同时满足两类工具。住宅代理在创建代理行时选择协议。SOCKS5 代理页面介绍了第二种协议在哪些场景有用。
通过 HTTP 代理访问 HTTPS
访问普通 HTTP 网站时,客户端把整个请求发给代理,代理再转发。访问 HTTPS 时,客户端先发送 CONNECT 命令。代理打开一条通往网站的 TCP 隧道,此后软件与目标之间的流量都是加密的。代理能看到域名和端口,但看不到页面内容、cookie 或表单数据。
不需要单独的 HTTPS 代理,也不需要额外端口。在工具的 HTTP 和 HTTPS 字段里填同一行,或在 curl 中用一个 -x http://ip:port 参数处理两类网址。
适合 HTTP 代理的任务
- 价格监控:脚本请求多家网店的商品页,并把请求分散到列表上。
- 排名跟踪:SEO 工具检查数百个关键词的排名,每次查询换一个新地址。
- 网站审计:爬虫遍历大型网站,不会撞上单 IP 限制。
- 可用性检查:查看页面对其他国家访客的响应情况。
这类任务的共同点是大量短请求。成千上万个地址的列表让每个 IP 的请求数保持在低位,验证码也就很少出现。如何把请求分散到列表上,请看轮换代理页面。
把列表加载到软件里
大多数工具都能通过网址或文件接收代理列表。如果您的工具读取网址,就粘贴列表链接,并把重新加载设为每 8 到 10 分钟一次。如果读取文件,就用 cron 或 Windows 任务计划程序定时下载列表,再让工具指向这个文件。
不限量套餐按 IP 授权。请在控制面板添加运行软件的机器地址。第二台服务器会让套餐价格增加 10%,通常比再买一个套餐便宜。通过 HTTP 使用的住宅代理用代理行中的用户名和密码连接。
让工具的线程数保持在套餐上限以内。设为 1,500 线程的工具,至少需要 2,000 线程的套餐。
可能遇到的错误及含义
403 或验证码页面来自目标网站,与代理无关:网站认为这个地址发来的请求太多了。把负载分散到更多行,在请求之间加入间隔,并发送真实浏览器的请求头。
超时说明这一行很慢,或者刚离开代理池。换一个地址重试,并按计划重新加载列表。如果所有行都连不上,请检查授权的 IP:添加软件实际出网所用的地址。
使用套餐时,您的软件永远不会收到 407 错误,因为按 IP 授权,列表中没有密码。使用住宅代理时,407 表示代理行中的用户名或密码错误:请重新生成该行。
代码中的 HTTP 代理
在 Python requests 中给两种协议同一个值:dict.fromkeys(("http", "https"), "http://ip:port")。curl 用 -x http://ip:port,PHP 把 ip:port 填入 CURLOPT_PROXY。通过链接下载一次列表,放在内存里,每次请求随机取一行;详见轮换代理页面。
价格与时长
套餐按小时、天、周或月计费。$0.50 起的一小时适合低成本测试,一个月的每日价格最低。所有时长和规模都在价格表中;预算紧张请看便宜代理。
我们不计流量,大量下载不会改变账单。您为列表规模、线程和时长付费。
先测试
在联系页面找客服要任意套餐的一小时免费试用。只想检查一次代码,用免费代理列表里的一行也行,但公开代理很快失效,其所有者还能监看未加密的 HTTP 流量。
