После долгих и упорных испытаний предыдущей версии сценария для сохранения закэшированных в Google страниц, было выявлено, что поисковая система Google распознает программу как spyware или вирус (всюду ей мерещатся шпионы =). И, соответственно, в случае загрузки большого количества страниц с поисковика за короткий промежуток времени(точных цифр не привожу, т.к. не знаю) ставится защита от ботов относительно IP с которого отсылались запросы.
В связи с этим, сценарий был немедленно модифицирован для работы через HTTP прокси позволяющими скрыть ваш реальный IP. А также, версия 0.3 сценария в случае неудачного соединения с прокси/сервером пытается осуществить это соединение множество раз перед тем, как выдать отрицательный результат (что делает работу программы стабильнее).
Возможность работы напрямую с сервером также была сохранена для быстрого сохранения страниц. Однако этот режим используется вами на свой страх и риск, т.к. Google в этом случае может применить санкции относительно вашего IP!!! Кроме всего прочего, предусмотрен и “промежуточный” вариант- режим работы сценария “halfproxy”. В этом режиме через прокси загружаются лишь страницы с результатами, а собственно сохранённые страницы загружаются напрямую (работает даже при установленных в Google ограничениях ;)
Перейти к рубрике --> Программное обеспечение |
