HTTP прокси готовыми списками
HTTP-прокси понимает любая программа: браузеры, десктопный SEO-софт, скрипты на PHP и Python, curl и wget. Купив HTTP прокси в ProxySale, вы получаете ссылку на список, которая отдаёт тысячи строк ip:port: от 200 IP в самом маленьком пакете до 50 000 в самом большом. Скрипту, который сам отбирает адреса, подойдёт CSV: поставьте .csv в конец ссылки.
Строки безлимитного пакета отвечают по SOCKS5 на том же порту, поэтому один пакет закрывает программы обоих типов. У резидентных прокси протокол выбирается при создании строки. Где пригодится второй протокол, рассказано на странице SOCKS5 прокси.
Как HTTPS проходит через HTTP-прокси
Для обычного HTTP-сайта клиент отправляет прокси весь запрос, и прокси пересылает его дальше. Для HTTPS клиент сначала отправляет команду CONNECT. Прокси открывает TCP-туннель к сайту, и дальше трафик идёт зашифрованным между вашим софтом и сайтом. Прокси видит домен и порт, но не видит страницы, cookies и данные форм.
Отдельные HTTPS прокси и другой порт не нужны. Впишите одну и ту же строку в поля HTTP и HTTPS вашей программы или используйте в curl один флаг -x http://ip:port для адресов обоих видов.
Для каких задач подходят HTTP прокси
- Мониторинг цен: скрипт запрашивает карточки товаров в десятках магазинов и раскладывает запросы по списку.
- Съём позиций: SEO-софт проверяет сотни запросов, и для каждого берёт новый адрес.
- Аудит сайтов: краулер обходит большой сайт и не упирается в лимит на один IP.
- Проверка доступности: вы видите, как страница отвечает посетителям из других стран.
Все эти задачи шлют много коротких запросов. Список из тысяч адресов держит число запросов на один IP низким, и капчи появляются редко. Как распределять запросы по списку, показано на странице ротационные прокси.
Как загрузить список в софт
Большинство программ берут список прокси по ссылке или из файла. Если ваша читает ссылку, вставьте её и поставьте перезагрузку раз в 8–10 минут. Если читает файл, скачивайте список по расписанию через cron или планировщик Windows и укажите программе путь к файлу.
В безлимитных пакетах авторизация идёт по IP. Добавьте в панели управления адрес машины, на которой работает софт. Второй сервер добавляет 10% к цене пакета, и обычно это дешевле второго пакета. Резидентные прокси по HTTP подключаются по логину и паролю из строки прокси.
Держите число потоков в программе в пределах лимита пакета. Софту на 1 500 потоков нужен пакет минимум на 2 000.
Какие ошибки бывают и что они значат
Ошибку 403 или страницу с капчей отдаёт сам сайт, прокси тут ни при чём: сайт решил, что с адреса пришло слишком много запросов. Разложите нагрузку на большее число строк, добавьте паузы между запросами и отправляйте заголовки настоящего браузера.
Таймаут значит, что строка медленная или только что ушла из пула. Повторите запрос через другой адрес и перезагружайте список по расписанию. Если не подключается ни одна строка, проверьте разрешённый IP: добавьте в панели тот адрес, с которого софт выходит в сеть.
На пакетах ошибку 407 софт не увидит: доступ идёт по IP, и паролей в списке нет. На резидентных прокси 407 означает неверный логин или пароль в строке: создайте строку заново.
HTTP прокси в коде
В Python requests дайте обеим схемам одно значение: dict.fromkeys(("http", "https"), "http://ip:port"). В curl используйте -x http://ip:port, а в PHP укажите ip:port в CURLOPT_PROXY. Загрузите список по ссылке один раз, держите его в памяти и берите случайную строку на каждый запрос, подробнее на странице ротационные прокси.
Цены и сроки
Пакеты оплачиваются за час, сутки, неделю или месяц. Час от $0,50 подходит как недорогой тест, а месяц даёт самую низкую цену за день. Все сроки и размеры собраны в прайсе, а для небольшого бюджета посмотрите дешёвые прокси.
Трафик мы не считаем, поэтому большие загрузки не меняют счёт. Вы платите за размер списка, потоки и срок.
Сначала тест
Попросите у поддержки на странице контактов бесплатный час любого пакета. Для разовой проверки кода подойдёт и строка из списка бесплатных прокси, но публичные прокси быстро умирают, а их владельцы могут смотреть открытый HTTP-трафик.