Вредоносные боты: как обнаружить и защититься

Боты полезные и боты вредные

Боты — это программы, выполняющие автоматически настроенные действия. В зависимости от того, как они запрограммированы, боты могут осуществлять различные функции: от парсинга сайтов до имитации поведения пользователей.

Боты условно делятся на “хороших” и “плохих”: 

• Полезные — программы, выполняющие нужные для пользователей функции. Например: поисковые системы, посещающие сайты для индексации.
• Вредоносные — парсеры, которые могут нанести ущерб сайтам. Например: боты-спамеры или собиратели контактных данных.

Вредоносные боты могут изрядно испортить жизнь владельцам сайтов. Однако полезные боты, несмотря на то, что они не запрограммированы на нанесение вреда, могут также создавать проблемы, нагружая сайт и искажая статистику посещаемости.

Ситуация осложняется тем, что активность ботов в интернете постоянно растет. Так, согласно исследованию компании Imperva, в прошлом году трафик от пользователей уменьшился на 5% по сравнению с предыдущим годом и составил 52.6%, а ботовый трафик вырос до 47.4%. Таким образом, почти половина всего трафика в интернете приходится на боты, при том что доля “хороших” ботов составляет в нем всего 17.3%. 

Давайте разберемся, каких ботов стоит опасаться и как можно с ними справиться.

Ботовый трафик: чем он опасен

Нашествие вредоносных ботов на сайт может приводить к разнообразным сложностям. Разберемся, какие бывают виды потенциально проблемных ботов и в чем может состоять их вред.

 

Боты для накрутки поведенческих факторов

Эти боты используются некоторыми seo-специалистами в качестве “серого” метода для подъема позиции сайтов в поисковых рейтингах. Они могут помочь продвигаемому сайту, но в то же время оказать негативное воздействие на сайты конкурентов.

Боты, влияющие на поведенческие факторы, запрограммированы так, чтобы имитировать поведение пользователей на сайте. Они открывают страницы, проводят на них некоторое время, переходят по пунктам меню, нажимают на кнопки и т.д. Таким образом боты влияют на так называемый поведенческий фактор — показатель, который поисковые системы учитывают при ранжировании сайта в выдаче. 

Своими действиями на продвигаемом сайте и сайтах конкурентов боты создают для поисковых систем впечатление, что целевой сайт привлекательнее для пользователей. Они последовательно посещают несколько сайтов конкурентов из поисковой выдачи, проводя на них немного времени и возвращаясь обратно в поиск. После этого, заходя на продвигаемый сайт, боты остаются там дольше и совершают целевые действия (например, делают заказ), больше не возвращаясь в поисковую выдачу. Это дает поисковой системе сигнал, что пользователь нашел нужную информацию именно на этом сайте. Поэтому поисковик повышает его рейтинг в выдаче, а сайты конкурентов опускает ниже.

Под угрозой продвижение сайта в поисковиках:
Ваш сайт может попасть под действия ботов, которые ухудшат его поведенческие факторы, что негативно скажется на его рейтинге в поисковых системах.

 

Боты для поиска уязвимостей

Боты этого типа также могут быть как “хорошие”, так и “плохие”. Первые, найдя на сайте уязвимость, проинформируют о ней владельца. А вторые используются своими разработчиками для взлома сайтов или продажи информации третьим лицам.

Под угрозой безопасность сайта:
Боты могут целенаправленно искать слабые места в безопасности ваших сайтов и передавать данные о них злоумышленникам. 

 

Сборщики данных

Боты-парсеры собирают на сайтах контактные данные и другую информацию, включая контент и изображения.

Под угрозой контент и контактные данные:
Ваш контент может быть украден для использования на других ресурсах, а контактные данные могут попасть в базу спам-рассылок. 

Спам-боты

Эти боты отправляют контактные формы с фейковой информацией, а также засоряют сайты рекламными комментариями.

Под угрозой статус сайта:
Спамеры могут вызывать эффект раздражения у пользователей и испортить репутацию сайта. Они также вынуждают заниматься модерацией комментариев и удалением ненужных писем. 

Боты-загрузчики

Загрузчики скачивают материалы, размещенные на сайтах в бесплатном доступе, например, полезные советы, инструкции, чек-листы и т.п.

Под угрозой маркетинговая стратегия:
Боты-загрузчики могут исказить информацию о полезности материалов для пользователей, что приведет к ошибкам в стратегии продвижения продукта.  

 

DDoS-боты

Эти “посетители” создают избыточный трафик на сайте, тем самым перегружая сервер и вызывая проблемы в его работе.

Под угрозой функционирование сайта:
DDoS-боты могут настолько перегрузить ваш сайт запросами, что он будет работать очень медленно или вовсе не сможет функционировать.

Клик-боты

Это скрипты, которые предназначены для так называемого “скликивания” рекламы. Имитируя действия пользователей, они кликают по рекламе и партнерским ссылкам на сайтах.  

Под угрозой рекламная стратегия:
Клик-боты могут исказить реальную статистику по эффективности рекламы или партнерских программ на ваших сайтах, а также привести к бану и оставить вас без выплат за рекламу.

Как обнаружить ботовый трафик

Чтобы вычислить активность ботов на вашем сайте, нужно внимательно следить за статистикой посещаемости, особенно когда в ней возникают внезапные изменения.

Сервисы статистики стараются помогать владельцам сайтов отлеживать трафик ботов. Например, в Яндекс.Метрике можно посмотреть данные по визитам с учетом роботов и без них.

При анализе статистики стоит обратить внимание на следующие параметры:

• внезапные всплески трафика без видимых причин;
• увеличение количества прямых переходов на сайт;
• резкое повышение нагрузки на сервер;
• подозрительная активность запросов из нетипичных для вас регионов;
• большое количество посещений с малым временем пребывания на сайте.

Важно также отслеживать, что именно посетители делают на сайте. Часто боты ведут себя непохожим на людей образом — скроллят страницы с очень большой скоростью, долго бездействуют, останавливаются в нетипичных для людей местах. Поэтому полезно проанализировать действия посетителей сайта с помощью сервисов статистики, чтобы выявить таких фейковых пользователей.

Для более точных данных о посещениях сайта можно также просматривать логи сервера. Обращайте внимание на параметр user-agent, по которому можно определить устройство или программу, заходившую на сайт.

Защита от ботов

Для минимизации ущерба от ботов желательно постоянно отслеживать трафик, чтобы вовремя обнаружить возникшую проблему. Если ботовый трафик небольшой, то вполне возможно, что он не несет угрозы. Но если он превышает 25% всех визитов на сайт, то могут возникнуть проблемы с позициями сайта в поисковых системах. В этом случае нужно позаботиться о защите сайта от ботов.

Существуют различные способы борьбы с ботами, от специализированных сервисов до ручной блокировки. Желательно использовать комплекс мер, выбирая наиболее подходящие и доступные для вас средства.

Итак, какие же методы использовать, чтобы не потерять позиции сайта в поисковой выдаче, защититься от взлома, сохранить свои данные, а также избежать скликивания рекламы? 

 

Использование капчи

Капча — один из самых простых и доступных способов защиты сайта от спам-ботов, заполняющих формы на сайтах.

Капча (англ. CAPTCHA) — это система проверки пользователя, дающая возможность понять, что посетитель является человеком, а не роботом. Для этой проверки используются задачи, которые легко решаются человеком, но при этом трудно автоматизируются.

Для прохождения капчи пользователь должен совершить определенное действие: поставить флажок, ввести текст с картинки, решить математическую операцию, отметить на картинке части, содержащие нужное изображение и т.п. При успешном выполнении действия пользователю разрешается отправить форму. 

Существуют различные сервисы капчи, например, инструменты от Google и Яндекса.

Рекапча от Google (reCAPTCHA)

Рекапча сначала предлагает пользователю поставить флажок в чекбоксе, подтвердив, что он не робот. Далее Google анализирует риски на основе информации об активности пользователя в интернете и определяет, является ли он человеком. 

Если Google подозревает, что перед ним робот, то пользователю будет предложено дополнительное задание. Например, нужно будет выбрать на представленных картинках все изображения с самолетами, светофорами или другими объектами.

Смарткапча от Яндекса (SmartCaptcha)

Смарткапча использует механизм, подобный сервису от Google. В начале пользователь подтверждает, что он не робот, с помощью флажка в чекбоксе.

Если необходима дополнительная проверка, то ему предлагается более сложное задание.

При создании капчи владелец сайта может настроить тип и сложность дополнительного задания, выбрав в качестве проверки распознавание текста, силуэты или калейдоскоп. Также можно кастомизировать внешний вид капчи, выбрав подходящую по стилю цветовую гамму.

Скрипты для защиты от ботов

Скрипты специально создаются для того, чтобы скрывать счетчики Яндекс.Метрики и Google Analytics от ботов. При открытии сайта скрипт показывает всплывающее окно, и только после взаимодействия с ним происходит загрузка счетчиков аналитики.  Поскольку бот не может закрыть окно, то счетчики не загрузятся и будут от него скрыты.

Подобные скрипты разрабатываются на JavaScript и их несложно подключить к любому сайту. Попап можно оформить как уведомление об использовании cookies, просьбу подтвердить регион пользователя или любое другое сообщение. Примером такой защиты от ботов может служить скрипт от Пиксельплюс.

 

Встроенные средства защиты от DDoS-атак и нашествий ботов

Наиболее эффективный способ защиты от DDoS-атак — это проверка трафика на уровне хостинга, на котором размещен сайт. Хостинг-провайдеры обычно используют встроенные средства защиты от атак, препятствующие проникновению ботов на сайт. 

Выбирая хостинг для сайта, узнайте, включены ли подобные услуги в оплату, а также поинтересуйтесь рекомендациями провайдера для усиления защиты.

 

Сервисы защиты от DDoS-атак и ботов

Помимо встроенных сервисов существуют специальные инструменты, разработанные для защиты сайтов от ботов. 

Примеры таких сервисов:

• CloudFlare — направлен на борьбу с DDoS-атаками и ботами, следит за трафиком, автоматически кеширует данные и ведет статистику. Помогает защититься от парсеров, спамеров и поисковиков уязвимостей, но не спасает от накрутки поведенческих факторов.
• BotFAQtor — анализирует трафик по различным критериям (источникам, типам и т.п.) и дает возможность блокировать подозрительных посетителей. Помогает защититься от ботов, в том числе от скликивания рекламы.
• AntiBot — борется с многими видами ботов, в том числе помогает справиться со скликиванием рекламы и накруткой поведенческих факторов, но не защищает от DDoS-атак.
• Clickfraud — защищает от скликивания рекламы, автоматически блокируя показ рекламы ботам.

Блокировка IP-адресов или URL

Ручная блокировка — не самый эффективный и довольно трудоемкий способ защиты от ботов. Если вы обнаружили источник подозрительной активности с помощью сервисов статистики посещаемости сайта, вы можете заблокировать их IP-адреса или URL в настройках хостинга. Прописать настройки блокировки можно в файлах robots.txt или .htaccess. 

Однако нужно учитывать, что таким способом можно случайно закрыть доступ на сайт не только для ботов, но и для реальных пользователей. Так что ручную блокировку целесообразно использовать только как временное решение, а на постоянной основе выбирать другие методы защиты.

Заключение

Таким образом, с учетом постоянно растущей активности ботов в интернете, владельцам сайтов рекомендуется принимать меры по обнаружению вредоносных ботов и их блокировке. 

Защита от ботов становится неотъемлемой частью безопасности в сети, и ее важность будет продолжать расти по мере того, как боты становятся все более умными и способными обходить блокировки.