פרוקסי HTTP ברשימות מוכנות
כל תוכנה מבינה פרוקסי HTTP: דפדפנים, כלי SEO שולחניים, סקריפטים ב-PHP וב-Python, curl ו-wget. כשקונים פרוקסי HTTP ב-ProxySale מקבלים קישור לרשימה שמחזיר אלפי שורות ip:port, מ-200 כתובות בחבילה הקטנה ועד 50,000 בגדולה. לסקריפט שבוחר כתובות בעצמו מתאים CSV: סיימו את הקישור ב-.csv.
השורות של חבילות ללא הגבלה עונות ב-SOCKS5 על אותו פורט, כך שחבילה אחת מכסה כלים משני הסוגים. בפרוקסי רזידנטיאליים בוחרים פרוטוקול כשיוצרים שורה. העמוד על פרוקסי SOCKS5 מסביר איפה הפרוטוקול השני עוזר.
HTTPS דרך פרוקסי HTTP
באתר HTTP רגיל הלקוח שולח את כל הבקשה לפרוקסי, והפרוקסי מעביר אותה הלאה. ב-HTTPS הלקוח שולח קודם פקודת CONNECT. הפרוקסי פותח מנהרת TCP לאתר, ומשם התעבורה בין התוכנה ליעד נשארת מוצפנת. הפרוקסי רואה את הדומיין ואת הפורט, אבל לא את העמודים, לא עוגיות ולא נתוני טפסים.
לא צריך פרוקסי HTTPS נפרדים או פורט נוסף. שימו את אותה שורה בשדות ה-HTTP וה-HTTPS בכלי, או השתמשו ב-curl באפשרות אחת -x http://ip:port לשני סוגי הכתובות.
משימות שמתאימות לפרוקסי HTTP
- ניטור מחירים: סקריפט מבקש עמודי מוצר בחנויות רבות ומפזר אותם על הרשימה.
- מעקב מיקומים: כלי SEO בודק מיקומים של מאות מילות מפתח עם כתובת חדשה לכל שאילתה.
- ביקורת אתרים: זחלן עובר על אתר גדול בלי להיתקל במגבלה לכל IP.
- בדיקות זמינות: רואים איך עמוד עונה למבקרים ממדינות אחרות.
כל המשימות האלה שולחות הרבה בקשות קצרות. רשימה של אלפי כתובות שומרת על מספר נמוך של בקשות לכל IP, והקפצ׳ות נדירות. העמוד פרוקסי מתחלף מראה איך לפזר בקשות על הרשימה.
טעינת הרשימה לתוכנה
רוב הכלים מקבלים רשימת פרוקסי מכתובת URL או מקובץ. אם הכלי שלכם קורא URL, הדביקו את קישור הרשימה וקבעו טעינה מחדש כל 8 עד 10 דקות. אם הוא קורא קובץ, הורידו את הרשימה לפי לוח זמנים עם cron או עם מתזמן המשימות של Windows והפנו את הכלי לקובץ.
בחבילות ללא הגבלה ההרשאה היא לפי IP. הוסיפו בלוח הבקרה את כתובת המכונה שמריצה את התוכנה. שרת שני מוסיף 10% למחיר החבילה, וזה בדרך כלל זול יותר מחבילה שנייה. פרוקסי רזידנטיאליים ב-HTTP מתחברים עם שם המשתמש והסיסמה משורת הפרוקסי.
שמרו את התהליכונים בכלי בתוך מגבלת החבילה. כלי שמוגדר ל-1,500 תהליכונים צריך חבילה של לפחות 2,000.
שגיאות שאולי תראו ומה הן אומרות
403 או עמוד קפצ׳ה מגיעים מאתר היעד, ולפרוקסי אין קשר אליהם: האתר החליט שהכתובת שלחה יותר מדי בקשות. פזרו את העומס על יותר שורות, הוסיפו הפסקות בין בקשות ושלחו כותרות של דפדפן אמיתי.
זמן קצוב שפג אומר שהשורה איטית או שזה עתה יצאה מהמאגר. נסו שוב דרך כתובת אחרת וטענו את הרשימה מחדש בזמן. אם אף שורה לא מתחברת, בדקו את ה-IP המאושר: הוסיפו את הכתובת שדרכה התוכנה באמת יוצאת.
בחבילות התוכנה שלכם אף פעם לא מקבלת שגיאת 407, כי הגישה לפי IP וברשימה אין סיסמאות. בפרוקסי רזידנטיאליים 407 פירושו שם משתמש או סיסמה שגויים בשורה: צרו את השורה מחדש.
פרוקסי HTTP בקוד
ב-Python requests תנו לשתי הסכמות ערך אחד: dict.fromkeys(("http", "https"), "http://ip:port"). ב-curl השתמשו ב--x http://ip:port, וב-PHP הכניסו ip:port ל-CURLOPT_PROXY. הורידו את הרשימה מהקישור פעם אחת, שמרו אותה בזיכרון וקחו שורה אקראית לכל בקשה; בעמוד פרוקסי מתחלף יש עוד פרטים.
מחירים ותקופות
החבילות מחויבות לפי שעה, יום, שבוע או חודש. שעה החל מ-$0.50 מתאימה לבדיקה זולה, וחודש נותן את המחיר היומי הנמוך ביותר. כל התקופות והגדלים במחירון; לתקציב צמוד ראו פרוקסי זול.
אנחנו לא מודדים תעבורה, אז הורדות גדולות לא משנות את החשבון. משלמים על גודל הרשימה, על התהליכונים ועל התקופה.
קודם בודקים
בקשו מהתמיכה בעמוד יצירת הקשר שעה חינם על כל חבילה. לבדיקה חד-פעמית של הקוד מספיקה גם שורה מרשימת הפרוקסי החינמית, אבל פרוקסי ציבוריים מתים מהר, והבעלים שלהם יכולים לצפות בתעבורת HTTP לא מוצפנת.