Googlebot не может получить доступ к файлам CSS и JS. Что делать?

Приветствую тебя, получатель письма от Гугла о том, что “Googlebot не может получить доступ к файлам CSS и JS”!

Немного предыстории. На самом деле, Гугл уже давно предупреждал, что ему жизненно необходим доступ к вашим CSS и Js файлам, только вот не все его послушались, отсюда и такие меры. В последние дни Гугл разослал множество подобных писем владельцам сайтов по всему миру. Такое письмо получила и я:

Ключевым здесь является вот эта фраза: “если доступ к ресурсам будет заблокирован, то это может ухудшить позиции Вашего сайта в Поиске”, на которую мы реагируем, как бык на красную тряпку.

Но на самом деле не все так страшно. В статье я приведу инструкцию, которая поможет справиться с этой “ошибкой”.

В чем основная сложность?

Основная сложность заключается в том, что в вашем robots.txt файле может и не быть подобных запретов:

Disallow: /css/
Disallow: /js/

Например, вот мой изначальный robots:

Видите здесь указанные выше запреты? Я – нет. Суть в том, что js файлы могут находиться внутри других директорий, которые тут запрещены, например, в /wp-includes/, и поэтому Гугл не может до них добраться.

Как узнать, какие файлы запрещены?

Для этого в Вебмаcтере Search Console в Сканирование > Посмотреть как Googlebot, выбираем страницу сайта и нажимаем “Получить и отобразить”. Я выбрала статью о полезных Excel формулах. Обычно это недолго, но вы можете успеть заварить себе чаю

Нажав на URL страницы вы увидите подобную картину:

Внизу указаны ресурсы, к которым у Гугла нету доступа (Оооо, как много у меня закрытого!). Смотрим, в каких папках они находятся, и разрешаем доступ к этим папкам. Для верности можно проверить так несколько страниц разного типа.

У меня основная проблема заключается в папках /wp-content/ и /wp-includes/. Уверена, что в WordPress у всех будет такое; в Magento я видела именно запрещенную папку /js/; в других CMS – не знаю, вы можете посмотреть сами и написать в комметариях. Главное – что у вас есть шаблон.

Разрешение доступа к CSS и JS в robots.txt

Я хочу разрешить некоторые часть папки /wp-content/:

А также js в директории /wp-includes/

Нужно потестировать это в Консоли (Сканирование > Инструмент проверки файла robots.txt):

Если все хорошо, заливайте новый файл на сайт.

Проверяем доступность CSS и JS фалов

После изменений в robots.txt снова проверяем несколько страниц сайта. У меня получилось вот что:

Намного лучше, не правда ли? Подождем-увидим, будут ли новые предупреждения от Гугла.
И не забывайте писать комментарии о том, приходилось ли вам получать такое предупреждение и получилось ли исправить эту проблему.

А пока, отдыхайте и расслабляйтесь, и пусть ничего вас не останавливает!