Proxies HTTP em listas prontas
Todo programa entende um proxy HTTP: navegadores, ferramentas de SEO de desktop, scripts em PHP e Python, curl e wget. Ao comprar proxies HTTP na ProxySale, você recebe um link de lista que devolve milhares de linhas ip:port, de 200 IPs no menor pacote a 50.000 no maior. Um script que escolhe os endereços sozinho pode ler CSV: termine o link com .csv.
As linhas dos pacotes ilimitados respondem por SOCKS5 na mesma porta, então um pacote atende ferramentas dos dois tipos. Nos proxies residenciais o protocolo é escolhido ao criar uma linha. A página sobre proxies SOCKS5 explica onde o segundo protocolo ajuda.
HTTPS por um proxy HTTP
Em um site HTTP simples, o cliente envia a requisição inteira ao proxy, e o proxy a encaminha. No HTTPS, o cliente primeiro envia um comando CONNECT. O proxy abre um túnel TCP até o site e, a partir daí, o tráfego fica criptografado entre o seu software e o alvo. O proxy vê o domínio e a porta, mas não as páginas, nem os cookies, nem os dados de formulário.
Você não precisa de proxies HTTPS separados nem de porta extra. Coloque a mesma linha nos campos HTTP e HTTPS da ferramenta, ou use uma única opção -x http://ip:port no curl para os dois tipos de URL.
Tarefas para proxies HTTP
- Monitoramento de preço: um script consulta páginas de produto em muitas lojas e as distribui pela lista.
- Rastreamento de posição: uma ferramenta de SEO confere posições de centenas de palavras-chave com um endereço novo por consulta.
- Auditorias de site: um crawler percorre um site grande sem esbarrar em limite por IP.
- Verificação de disponibilidade: você vê como uma página responde a visitantes de outros países.
Todas essas tarefas mandam muitas requisições curtas. Uma lista com milhares de endereços mantém baixo o número de requisições por IP, e os captchas ficam raros. A página de proxies rotativos mostra como distribuir as requisições pela lista.
Carregando a lista no software
A maioria das ferramentas aceita lista de proxies por URL ou por arquivo. Se a sua lê URL, cole o link da lista e defina a recarga a cada 8–10 minutos. Se lê arquivo, baixe a lista em um horário programado com cron ou com o Agendador de Tarefas do Windows e aponte a ferramenta para o arquivo.
Nos pacotes ilimitados a autorização é por IP. Cadastre no painel o endereço da máquina que roda o seu software. Um segundo servidor soma 10% ao preço do pacote, o que costuma custar menos que um segundo pacote. Os proxies residenciais por HTTP conectam com o usuário e a senha da linha do proxy.
Mantenha as threads da ferramenta dentro do limite do pacote. Uma ferramenta com 1.500 threads precisa de um pacote com pelo menos 2.000.
Erros que podem aparecer e o que significam
Um 403 ou uma página de captcha vêm do site-alvo, e o proxy não tem nada a ver com isso: o site decidiu que o endereço enviou requisições demais. Distribua a carga em mais linhas, coloque pausas entre as requisições e envie os cabeçalhos de um navegador real.
Um tempo esgotado indica que a linha está lenta ou acabou de sair do pool. Tente de novo por outro endereço e recarregue a lista no horário. Se nenhuma linha conecta, confira o IP autorizado: cadastre o endereço por onde o software realmente sai.
Nos pacotes seu software nunca recebe um erro 407, porque o acesso é por IP e a lista não traz senhas. Nos proxies residenciais um 407 indica usuário ou senha errados na linha: gere a linha de novo.
Proxies HTTP no código
No Python requests, dê o mesmo valor aos dois esquemas: dict.fromkeys(("http", "https"), "http://ip:port"). No curl use -x http://ip:port, e no PHP coloque ip:port em CURLOPT_PROXY. Baixe a lista pelo link uma vez, guarde na memória e sorteie uma linha para cada requisição; a página de proxies rotativos explica mais.
Preços e períodos
Os pacotes são cobrados por hora, dia, semana ou mês. Uma hora desde $0,50 serve como teste barato, e um mês dá o menor preço por dia. Todos os períodos e tamanhos estão na tabela de preços; com orçamento apertado, veja proxies baratos.
Não medimos o tráfego, então downloads grandes não mudam a conta. Você paga pelo tamanho da lista, pelas threads e pelo período.
Teste primeiro
Peça ao suporte na página de contato uma hora grátis em qualquer pacote. Para conferir o código uma única vez, uma linha da lista de proxies grátis também serve, mas proxies públicos morrem rápido e os donos podem observar o tráfego HTTP sem criptografia.