רשימות סיטונאיות למשימות כבדות
משימות גדולות צריכות הרבה כתובות והרבה חיבורים מקבילים בו זמנית. המאגר World MIX מציע חבילות גדולות של 20,000, 30,000, 40,000 ו-50,000 כתובות עם 2,000 עד 5,000 תהליכונים. קישור רשימה אחד מעביר את כולן לתוכנה.
הגודל הוא ממוצע יומי. המספר יורד בלילה ועולה שוב ביום, אז לנפח יציב קחו חבילה עם מרווח מעל היעד.
איפה פרוקסי בסיטונאות משתלם
- קטלוגים של מרקטפלייסים עם מיליוני עמודי מוצר.
- איסוף תוצאות חיפוש לעשרות אלפי מילות מפתח.
- השוואת מחירים במאות חנויות כמה פעמים ביום.
- בדיקה המונית של זמינות כתובות URL וקודי תגובה.
כל המשימות האלה מואצות בזכות בקשות מקבילות. עם אלפי כתובות כל אחת שולחת רק כמה בקשות בדקה, והאתרים רואים תעבורה רגילה במקום הצפה מ-IP אחד.
תהליכונים, שרתים ועומס
מגבלת התהליכונים היא מספר החיבורים שהתוכנה מחזיקה פתוחים בו זמנית. חבילה של 50,000 כתובות מאפשרת 5,000. פזרו את העומס על כמה מכונות על ידי הוספת הכתובות שלהן בלוח: כל כתובת נוספת מוסיפה 10% למחיר החבילה.
הגדירו זמנים קצובים וניסיונות חוזרים בתוכנה. ברשימה גדולה תמיד יש כמה שורות איטיות, וניסיון חוזר דרך כתובת אחרת לוקח פחות זמן מהמתנה לחיבור תקוע.
טענו מחדש את קישור הרשימה כל 8 עד 10 דקות. המאגר משתנה כל היום, והטעינה מחדש מרחיקה שורות מתות מההחלפה שלכם; הפרטים בעמוד פרוקסי מתחלף.
תכנון משימה גדולה
מתחילים מהנפח. נניח שצריך מיליון עמודים ביום. זה בערך 12 עמודים בשנייה מסביב לשעון. אם עמוד לוקח שתי שניות כולל ניסיונות חוזרים, התוכנה צריכה לפחות כ-25 חיבורים מקבילים, ומשימה אמיתית צריכה פי כמה כדי לכסות שורות איטיות, שיאים וניסיונות חוזרים.
אחר כך מסתכלים על היעד. אם האתר סובל כעשר בקשות בדקה מ-IP אחד, מיליון עמודים ביום דורשים כ-70 כתובות שעובדות בכל רגע, ואתר קפדן הרבה יותר. רשימה גדולה נותנת את המרווח הזה: עם אלפי כתובות כל אחת נשארת הרחק מתחת למגבלה.
הריצו בדיקה קצרה על חלק מהמשימה, מדדו את שיעור התשובות התקינות ואת שיעור הקפצ׳ות, והעלו את התהליכונים בהדרגה.
מחיר ל-1,000 כתובות
חבילות סיטונאיות עולות פחות לכתובת. הטבלה למטה מציגה את המחיר ל-1,000 כתובות ליום לכל גודל, והמחירון משווה אותן לחבילות קטנות יותר. חודש עולה בערך 38% פחות ליום מתשלום יומי, ובנפחים גדולים ההפרש הזה מצטבר מהר.
לפני שקונים שתי חבילות בינוניות, השוו אותן לחבילה גדולה אחת: רשימה אחת גדולה יותר עולה בדרך כלל פחות ונותנת יותר תהליכונים. לתקציב קטן ראו פרוקסי זול.
נפחים אזוריים וחבילות מותאמות
מאגר אירופה מגיע עד 7,000 כתובות לחבילה, ומאגר חבר המדינות עד 3,000. לנפחים אזוריים גדולים יותר או לשילוב מדינות מיוחד, כתבו לתמיכה בעמוד יצירת הקשר ונתמחר חבילה מותאמת. פרטים אזוריים בעמודים פרוקסי אירופה ופרוקסי חבר המדינות.
בודקים קודם את הנפח
בקשו מהתמיכה שעה חינם על חבילה סיטונאית והריצו עליה את המשימה האמיתית. השתמשו ב-SOCKS5 אם התוכנה תומכת בו, ראו פרוקסי SOCKS5. השאלות הנפוצות עונות על הבסיס לגבי תהליכונים, השהיות ותשלום.