HTTP-проксі готовими списками
HTTP-проксі розуміє кожна програма: браузери, десктопні SEO-інструменти, скрипти на PHP і Python, curl і wget. Купуючи HTTP-проксі в ProxySale, ви отримуєте посилання на список, яке віддає тисячі рядків ip:port, від 200 IP у найменшому пакеті до 50 000 у найбільшому. Скрипту, який сам відбирає адреси, підійде CSV: поставте .csv у кінець посилання.
Рядки безлімітних пакетів відповідають за SOCKS5 на тому ж порту, тож один пакет закриває інструменти обох типів. На резидентних проксі протокол обирається під час створення рядка. Сторінка про SOCKS5-проксі пояснює, де допомагає другий протокол.
HTTPS через HTTP-проксі
Для звичайного HTTP-сайту клієнт надсилає весь запит проксі, а той пересилає його далі. Для HTTPS клієнт спершу надсилає команду CONNECT. Проксі відкриває TCP-тунель до сайту, і далі трафік між вашим софтом і ціллю лишається зашифрованим. Проксі бачить домен і порт, але не бачить ні сторінок, ні cookie, ні даних форм.
Окремі HTTPS-проксі чи додатковий порт не потрібні. Вкажіть той самий рядок у полях HTTP і HTTPS свого інструмента або використайте в curl один параметр -x http://ip:port для обох типів URL.
Задачі для HTTP-проксі
- Моніторинг цін: скрипт запитує сторінки товарів у багатьох магазинах і розподіляє їх по списку.
- Відстеження позицій: SEO-інструмент перевіряє позиції сотень ключових слів, щоразу з новою адресою.
- Аудит сайтів: краулер обходить великий сайт, не впираючись у ліміт на IP.
- Перевірка доступності: ви бачите, як сторінка відповідає відвідувачам з інших країн.
Кожна з цих задач надсилає багато коротких запитів. Список із тисяч адрес тримає кількість запитів на IP низькою, і капчі трапляються рідко. Як розподіляти запити по списку, показує сторінка ротаційні проксі.
Як завантажити список у софт
Більшість інструментів приймає список проксі за URL або з файлу. Якщо ваш читає URL, вставте посилання на список і поставте перезавантаження раз на 8–10 хвилин. Якщо читає файл, завантажуйте список за розкладом через cron або Планувальник завдань Windows і вкажіть інструменту шлях до файлу.
На безлімітних пакетах авторизація йде за IP. Додайте в панелі адресу машини, на якій працює ваш софт. Другий сервер додає 10% до ціни пакета, що зазвичай дешевше за другий пакет. Резидентні проксі за HTTP підключаються логіном і паролем з рядка проксі.
Тримайте потоки в інструменті в межах ліміту пакета. Інструменту на 1 500 потоків потрібен пакет щонайменше на 2 000.
Помилки, які можна побачити, і що вони означають
403 або сторінка з капчею приходять від цільового сайту, проксі тут ні до чого: сайт вирішив, що з адреси надійшло забагато запитів. Розподіліть навантаження на більше рядків, додайте паузи між запитами й надсилайте заголовки справжнього браузера.
Таймаут означає, що рядок повільний або щойно вийшов із пулу. Повторіть запит через іншу адресу й перезавантажуйте список за розкладом. Якщо не підключається жоден рядок, перевірте дозволений IP: додайте адресу, через яку софт насправді виходить.
На пакетах ваш софт ніколи не отримає помилку 407, бо доступ іде за IP, а в списку немає паролів. На резидентних проксі 407 означає неправильний логін або пароль у рядку: згенеруйте рядок заново.
HTTP-проксі в коді
У Python requests задайте обом схемам одне значення: dict.fromkeys(("http", "https"), "http://ip:port"). У curl використовуйте -x http://ip:port, а в PHP передайте ip:port у CURLOPT_PROXY. Завантажте список за посиланням один раз, тримайте його в пам’яті й беріть випадковий рядок на кожен запит; докладніше на сторінці ротаційних проксі.
Ціни й терміни
Пакети тарифікуються за годину, добу, тиждень або місяць. Година від $0,50 годиться як дешевий тест, а місяць дає найнижчу ціну доби. Усі терміни й розміри є в прайсі; для тісного бюджету дивіться дешеві проксі.
Трафік ми не рахуємо, тож великі завантаження рахунок не змінюють. Ви платите за розмір списку, потоки й термін.
Спершу протестуйте
Попросіть у підтримки на сторінці контактів безкоштовну годину на будь-якому пакеті. Для разової перевірки коду підійде й рядок із безкоштовного списку проксі, але публічні проксі швидко вмирають, а їхні власники можуть стежити за незашифрованим HTTP-трафіком.