Если резко вырос счет за веб-трафик, но при этом не было значительного увеличения количества посетителей на сайте, желательно проверить, возможно ваш сайт парсили или боты добавляли на сайт спам. В первую очередь следует проверить логи доступа, логи находятся в директории ~/domains/logs ( если они включены для домена ).

Парсинг обычно происходит с одного или пары IP, не множества, поэтому его легко обнаружить. С помощью специальной команды SSH мы получим список IP-адресов и количество запросов за указанную дату:

grep 12/Aug/2015 elasticweb.org.access.log | awk '{ print $1 }' | sort -n | uniq -c | sort -rn | head

где,
12/Aug/2015 — нужная дата
elasticweb.org – адрес вашего сайта

В результате после выполнения команды вы получите список IP и количество запросов. Если вы увидите большой разрыв между первыми и последующими IP-адресами, и эти IP вам не известны, то вероятнее всего это парсеры.

Заблокировать IP-адрес можно через панель управления. Возле каждого домена на странице «Домены» есть ссылка «Nginx редактор». На странице nginx редактора есть поле для ввода списка IP для блокировки «Блокирование IP адресов». Нужно ввести IP-адреса из списка, и сохранить настройки.

Так, команду можно немного изменить и получить список IP-адресов за нужный день и нужное время:

grep 12/Aug/2015:23 elasticweb.org.access.log | awk '{ print $1 }' | sort -n | uniq -c | sort -rn | head

где,
23 — 23:00 12 августа.

Для автоматизации анализа активности на вашем сайте также можно воспользоваться инструментом GoAccess.

логи доступа, боты, парсеры