Всем привет, такой вопрос: в поисковиках появляются страницы такого вида https://sitename.by/tag/地方を盛り上げる/ , сайт был взломан, как и все в июле месяце, потом чистили его вручную, но они все равно добавлялись, думали, что должно пройти время, чтобы они все пропали из поисковиков, но такового не произошло, они все равно добавляются, в log файле посмотрел есть такая строка со словом tag: [2018-09-12 00:16:11] (ERROR in resource 1 @ /home/sitename/www/core/model/modx/modparser.class.php : 1373) Bad link tag `[[~]]` encountered.
Может кто с таким сталкивался?
Если они добавляются (а не просто не исчезают), значит они все еще существуют. Как правило при заходе из браузера они себя не проявляют (прописана проверка на юзер-агента). Зайдите с телефона или включите в браузере подмену юзер-агента. То есть надо убедиться, что их действительно нет. А то знаете ли, после чистки вирус может проникнуть опять.
Плюс к этому надо настроить правила запрета индексирования в robots.txt, в примеру, Disallow: /tag/
просто прикол в том, что они отдают 404 ошибку.
Они это кто? Вирусный скрипт? Или ссылки?
Говорю же, может влиять юзерагент. Пришлите в личку проблемную ссылку.
Вы тщательней свои подозрения проверяйте. Ни в гугле, ни в яндексе за год нет ни одной новой ссылки по сайту, ни хорошей, ни плохой. http://joxi.ru/Vm6a53MtDBnyPr
хмм, странно, не может быть такого
Не пытайтесь меня в обратном убедить.
а, понял, человек, который занимается сео их удаляет, но просто вовремя удаляет, получается.
Ну если он их в гугломастере смотрит или типа того, пусть посмотрит дату появления. А то может они там "по старой памяти". Я в настоящий момент проблемы не вижу.
ну вот, и это еще не весь список http://joxi.ru/MAjgOKdIjvplOr
Все очень просто: когда-то гугль нарыт и проиндексировал тысячи спам-ссылок на вашем сайте. Сейчас он, как я и сказал, по старой памяти заходит на сайт и проверяет есть они или нет, и получает 404-ую. И что он вам должен показать? Он не показывает "появилась новая ссылка", он показывает "нашел новую ошибку". Закрывайте от индексации по маске. Да, правил будет много, а что делать? А то, что он получил 404-ую, еще не говорит, что у вас что-то попало в индекс.
почему он может заходить на сайт, sitemap я проверил, там нет этих ссылок?
Потому что ему плевать на ваш сайтмап. У него есть свои данные и свои алгоритмы.
ну я понял, что эта ссылка может проиндексироваться(из индекса убирает сеошник, как только они появляются), используя внутренние ссылки, ну это ж ссылка как-то формируется, явно вирус какой сидитт
Дмитрий, успокойтесь уже. Доказательств того, что она появилась недавно, нету. Она могла быть проиндексирована год назад. Пока вы не отдали статуса 301/302/410 или типа того, то он может проверять еще очень долго. Вчитайтесь:
- 404 Not Found
Все знакомы с этим кодом, не так ли? Он означает, что запрошенный ресурс не может быть найден, но в будущем – когда он, возможно, там появится, – к нему можно будет осуществить доступ. Также здесь допустимы последующие запросы от клиента.
- 410 Gone
Такой ответ сервер посылает, если ресурс раньше был по указанному URL, но был удалён и теперь недоступен. Пользователю не следует повторять идентичный запрос.
Разницу видите? Ваш сервер не сказал "этого здесь больше не будет", он сказал "а я чой-то не могу найти, приди позже".
Хорошо, понял немного теперь, спасибо большое за помощь!)
Пожалуйста.
Привет еще раз, вот новая информация, которую я откопал за выходные, смотри, ты когда делаешь выборку по дате в поисковиках, не отображается ничего, хотя страницы точно есть новые и они проиндексированы, всё дел в заголовке Last-Modified (последние изменения), так вот сервер не отдает мне его, и из-за этого как раз и идут последствия:
Цитата из Яндекса:
- в результатах поиска не будет показываться дата рядом со страницами вашего сайта;
- при сортировке по дате сайт не будет виден большинству пользователей;
- робот не сможет получить информацию о том, обновилась ли страница сайта с момента последнего индексирования. А так как число страниц, получаемых роботом с сайта за один заход, ограничено, изменившиеся страницы будут переиндексироваться реже.
соответственно, страницы новые появляются в поисковике, но т.к сеошник их убирает, они таи не задерживают, а это явно не есть хорошо, тем более, что они появkяются как tag/(тут что-то на китайском)
У меня тоже эти заголовки не отдаются. Это не мешает яше и гуглу для себя отмечать когда они в первый раз у меня обнаружили новую страницу http://joxi.ru/Vm6a53Mt4Vxpjr
P.S. *Режим зануды включен*. Не на китайском, а на японском.
Окей, на японском, но от этого легче не стало, в чем может быть причина такова, может есть идеи?
Страницы точно новые есть, и в индексе они появляются, но по сортировке даты не работает.
Дмитрий, приходите, когда будут доказательства. Я должен вам на слово поверить и включить сверхспособности? Достать бубен и станцевать? Я перепроверил то, что вы дали, у вас не страницы новые появляются, а 404-ые ошибки. Почему? Я описал выше.