Что вы получаете в пакете SOCKS5
Пакет ProxySale выдаётся как ссылка на список. Софт обращается к ней и получает обычный текст, по одной строке ip:port, и каждая строка принимает SOCKS5, SOCKS4, HTTP и HTTPS на одном порту. Отдельно покупать SOCKS5 прокси не нужно: любой пакет из прайса даёт список SOCKS5 прокси нужного размера, от 200 до 50 000 IP.
Чтобы отбирать адреса самим, поставьте .csv в конец ссылки. Вы получите файл с названиями колонок в первой строке и точкой с запятой между значениями. В нём есть страна двумя буквами, IP на выходе и показатели скорости и времени в сети, где большее число означает лучший адрес. Отфильтруйте файл по этим колонкам и отдайте парсеру только нужные страны и лучшие адреса.
В безлимитных пакетах доступ идёт по IP вашего сервера. Вы один раз добавляете адрес в панели управления, и прокси принимают с него соединения без логина и пароля. Для SOCKS5 это особенно удобно: многие парсеры и чекеры плохо работают с авторизацией SOCKS5 или не поддерживают её совсем. Резидентные прокси тоже понимают SOCKS5, но подключаются по логину и паролю из строки прокси, а протокол выбирается при создании строки.
Почему парсеры любят SOCKS5
SOCKS5 работает уровнем ниже HTTP. Прокси пересылает байты между софтом и сайтом и не трогает сам запрос, поэтому заголовки доходят до сайта ровно такими, какими их собрал ваш парсер. Отпечаток запроса остаётся под вашим контролем.
Протокол передаёт любой TCP-трафик. Один список SOCKS5 прокси может одновременно кормить веб-парсер, API-клиент, чекер почты и ваши собственные скрипты.
Со схемой socks5h прокси ещё и разрешает доменные имена. Ваш сервер передаёт имя сайта, прокси сам находит его адрес, и DNS-запрос к целевому домену уходит со стороны прокси.
- Python requests: поставьте
requests[socks]и укажитеsocks5h://ip:portв словаре proxies. - curl: добавьте к команде
-x socks5h://ip:port. - Node.js: создайте SOCKS-агент и передайте его HTTP-клиенту.
- A-Parser, ZennoPoster, ScrapeBox: выберите SOCKS5 в настройках прокси и загрузите ссылку на список.
SOCKS5 или HTTP
Оба протокола работают на каждом порту, так что выбор зависит от софта. Берите SOCKS5, если программа его поддерживает и вам нужно разрешение DNS на стороне прокси. Берите HTTP для программ, которые знают только HTTP-прокси, и для быстрой проверки в браузере. Подробнее об этой стороне на странице HTTP и HTTPS прокси.
Скорость у протоколов почти одинаковая. Куда сильнее на работу влияет число параллельных соединений: потоки пакета задают, сколько соединений софт держит открытыми одновременно.
Какой размер списка выбрать
Отталкивайтесь от числа параллельных запросов в задаче. Парсеру на 500 потоков подойдёт пакет «Микс мира» на 5 000 IP и 500 потоков. Задаче на 2 500 потоков нужен пакет на 30 000 IP. Соединения сверх лимита прокси отклоняют, а софт показывает их как мёртвые, поэтому оставляйте запас.
Размер списка указан в среднем за сутки: ночью и в праздники адресов онлайн меньше. Для долгой работы берите пакет на сутки или месяц, месяц обходится в среднем на 38% дешевле за день, чем посуточная оплата. Задачи на тысячи потоков разобраны на странице прокси оптом.
Важен и регион. «Микс мира» подходит для сайтов со всего мира, а прокси Европы, прокси СНГ и прокси Китая дают адреса одного региона для локальной выдачи и региональных магазинов.
Частые проблемы с SOCKS5 и их решения
- Не подключается ни одна строка пакета: IP вашего сервера не добавлен в панель, или софт выходит в сеть с другого адреса. Узнайте исходящий IP командой
curl https://ifconfig.me/ipна этом сервере и добавьте его. - Часть строк отваливается сразу после старта: потоков в программе больше, чем позволяет пакет. Уменьшите их число или возьмите пакет с большим лимитом.
- Сайт видит ваш DNS-сервер: программа использует обычный
socks5и разрешает имена у себя. Переключитесь наsocks5hили включите удалённый DNS в настройках. - Некоторые строки отвечают медленно: в большом списке всегда есть медленные адреса. Поставьте таймаут 15–30 секунд и повторяйте запрос через другую строку.
Как держать список свежим
Пул меняется в течение дня. Настройте софт перезагружать ссылку раз в 8–10 минут, и он всегда будет работать с живой частью пула. Более частые запросы мы притормаживаем. Как устроена ротация на уровне списка, рассказано на странице ротационные прокси.
Чтобы проверить одну строку вручную, выполните curl -x socks5h://ip:port https://ifconfig.me/ip. В ответе будет адрес, который видят сайты.
Проверьте до оплаты
Поддержка даёт каждому верифицированному клиенту один бесплатный час любого пакета. Попросите его в чате или тикете на странице контактов, загрузите ссылку в софт и посмотрите результат на своих сайтах.
Для быстрой проверки кода подойдёт список бесплатных прокси, там есть публичные SOCKS5. Они умирают за несколько часов и годятся только для тестов, поэтому для реальной работы переходите на пакет.