Експеримент по додаванню сторінок в SAPE
Почитав деякі форуми, в тому числі і сам форум сапі, дізнався з яких рівнів вкладеності і яка кількість посилань їсть дана система і написав простенький скрипт многостраничной карти сайту.
Далі за допомогою ще одного скрипта вивів посилання на всі карти на головну і додав сайт в сапі.
Весь процес тривав близько 40 годин, на індексацію пішов 21-й годині.
І так: на головну поставив 450 посилань на карти, інші нехай проиндексирует з самого сайту, щоб крім самих "карт" були ще якісь сторінки 2 рівня вкладеності.
Є й більш прості способи, наприклад на час індексації в налаштуваннях DLE виставити по 30-50 новин на сторінку.
Додав сайт в сапі, як завжди майданчик отримує стаус "очікує індексації".
Індексація почалася в 0 годин 0 хвилин, робот завантажив практично відразу близько 1000 сторінок (всі карти сайту + ще деякі посилання на головній).
Потім швидкість сильно сповільнилася і робот закінчив індексацію тільки о 9 годині вечора.
Графік пропускної здатності протоколу для даного сайту виглядав наступним чином:
Це активність роботів sape, тому що на сайті поки немає відвідуваності.
Індексація тривала рівно 21 годині, в результаті в сапу вдалося додати майже 22 972 сторінки:
Всього 628 Мегабайт.
Очікував інший результат, що сторінок буде в 3 рази більше.
Хоча і це можна пояснити - роботи сапі дуже часто ломляться на сервер, в результаті вони отримують бан на кілька хвилин від веб сервера apache або nginx. Робот, не отримав відповідь від сервера можливо і пропустив багато сторінок.
Результат непоганий, тим більше місця під ссилочку з такої кількості сторінок будуть розкуповувати дуже довго.
Як буде вільний час - вивчу логи сервера, може бути треба підправити конфіги і тоді спробую додати саме максимальну кількість сторінок за одну індексацію
А чи були в історії такі?
Яка кількість країн Вам вдалося загнати в сапу за 1 індексацію?