Как удалить страницу поиск в интернете?

Содержание

Как удалить страницы из поискового индекса: 4 эффективных способа

Как удалить страницу поиск в интернете?

Практически каждый вебмастер, особенно на начальном этапе создания проекта, сталкивался с необходимостью удаления страниц веб-сайта из индекса поисковиков. Даже не взирая на то, что процедура, на первый взгляд, довольно простая, у многих все же возникают трудности.

Зачем нужно убирать страницы из индекса?

Порой владельцу веб-ресурса приходиться скрывать документ от поисковиков по следующим причинам:

  • сайт находится в стадии разработки и попал в выдачу совершенно случайно;
  • контент на странице больше неактуален;
  • документ дублирует другую страницу, которая уже есть на сайте;
  • в индекс попали служебные страницы, где размещены личные данные клиентов.

Во избежание таких случаев, сегодня мы поговорим о 4 эффективных способах удаления страницы из индекса поисковых систем.

Как закрыть страницу от поисковиков с помощью панели вебмастера?

Данный метод закрытия доступа к страницам вашего сайта для поисковых роботов считается одним из самых легких. Причем этот инструмент идеально подходит для тех случаев, когда определенные URL нужно удалить срочно.

Yandex

Для этого вам понадобится сервис Яндекс.Вебмастер. Как добавлять сайт на эту площадку для ускорения индексации, мы рассказывали здесь. Перейдите по ссылке https://webmaster.yandex.ru/tools/del-url/ и добавьте в соответствующее поле адрес конкретной страницы, затем нажмите «Удалить».

С большой долей вероятности Yandex попросит вас ускорить процесс удаления страницы из базы данных системы. Для этого вам нужно предварительно закрыть ее от ботов через файл либо мета-тег robots, или сделать так, чтобы сервер выдавал ошибку 404. Про то, как это сделать, мы поговорим чуть позже.
Понадобится несколько часов или даже дней, прежде чем боты удалят документ из базы.

Это связано с тем, что системе нужно будет отслеживать его статус и убедиться, что он уже не изменится.

Google

Авторизируйтесь на площадке Google Webmaster Tools. Предварительно добавьте свой сайт в индекс, если вы еще этого не сделали. Затем найдите там вкладку «Индекс Google», и под ним «Удалить URL адреса». В появившемся окне выберите опцию создания запроса на удаление, и укажите в поле адрес удаляемого документа. Затем отправьте запрос.

Дальше сверху экрана появится сообщение о том, что указанный URL был добавлен в список удаляемых. Вам остается только ждать. Как правило, документ из индекса Google удаляется в течение 2-24 часов.

Ошибка 404 на сервере

Наверняка каждый пользователь, ища нужную информацию в Интернете, попадал на страницу, где выдавало ошибку 404 – «Страница не найдена». Это значит, что искомый по вашему запросу документ был удален с ресурса.

Сделать это вебмастер может в панели управления сайтом, например, WordPress. Для поисковиков это означает, что вы настраиваете ответ сервер этой страницы так, чтобы на определенном адресе появился код 404 not found. И когда робот снова посетит данный URL, сервер сообщит ему, что страницы больше нет. Это дает понять поисковикам, что документ удален с сайта, и они уберут его из поисковой выдачи, чтобы посетители не заходили на него и не читали ошибку 404.

К характерным особенностям данного способа можно отнести:

  1. Простую настройку всего за несколько кликов.
  2. Полное исчезновение документа из веб-ресурса. Из-за этого не рекомендуется использовать данный метод в случае, когда из индекса нужно убрать служебную страницу (конфиденциальную информацию клиентов и пр.).
  3. Также стоит прибегнуть к другому варианту скрытия страницы, например, 301 редирект, если на нее ведут входящие ссылки.

Важно! Страница выпадает из поискового индекса не за счет ее удаления с ресурса, а за счет дальнейшей переиндексации. Поэтому для ее удаления вам придется ждать около 2ух недель, пока бот вновь не посетит ресурс.

Для вебмастеров такой метод является одним из самых удобных, а вот посетителю ошибка 404 может не понравиться, и есть риск того, что пользователь, увидев ее, перестанет заходить на сайт. Но выход есть и из этой ситуации.

Изменение файла robots.txt

Еще один распространенный метод, к которому прибегают вебмастера. Он позволяет скрыть отдельные документы и целые разделы. В файле robots вы можете не только запретить, но и разрешить поисковым ботам индексировать сайт или определенные страницы. Подобные команды обеспечиваются применением директивы Disallow.

Для скрытия страницы от поисковых машин, вам нужно получить доступ к корневой папке сайта. В документе robots.txt в основном содержатся 2 строки:

  1. User-agent. Здесь указывается имя робота определенного поисковика, которому вы запрещаете сканировать страницу, или же прописывается код User-agent: *, применимый сразу для всех ботов.
  2. Disallow. Тут прописывается URL удаляемой страницы.

Вместе они создают команду для поисковых машин, касающуюся указанного URL. Если требуется, вы можете в одном файле скрыть сразу несколько документов на одном ресурсе, и они никак не будут влиять друг на друга.

Например, вот так мы укажем всем поисковым роботам, чтобы они не индексировали страницы index  и password на нашем сайте

User-agent: *Disallow: /indexDisallow: /password

Когда вы пропишите данную команду, нужно будет ждать следующей индексации. Вам стоит знать, что все изменения в файле robots несут для поисковиков рекомендательный характер, поэтому не удивляйтесь, если объект по-прежнему останется в индексе, но с пометкой о скрытии через robots.txt. Но если через определенный промежуток времени статус документа не изменится, он все же будет удален из базы данных поисковых систем.

Важно! Если на удаленных страницах есть внешние ссылки, то они останутся доступными для перехода именно по ним. Это связано с тем, что команды в файле robots не удаляют объект из поисковой выдачи фактически, а лишь скрывают его из результатов.

Если не вдаваться в подробности, то этот способ аналогичен вышеуказанному, вот только все команды прописываются в html-коде сайта внутри тегов head:

Все изменения также будут произведены после индексации. Преимущество использования мета-тега robots заключается в том, что посредством него из поиска можно удалить множество URL без необходимости изменения самого файла robots. Данный способ идеально подходит для начинающих сайтостроителей, которые постепенно создают новые страницы.

Также это отличный вариант тогда, когда вам нужно закрыть страницу от индекса Яндекса, но при этом оставить ее доступной в Google. Или же когда вы хотите удалить объект из поиска, но оставить информацию доступной на самом сайте.

Пример закрытия URL только для Яндекса:

Важно! Прописывание мета-тегов отличается от изменения robots.txt тем, что с их помощью вы сможете удалить объект из поиска, даже если на него ведут внешние ссылки. Этому способствует мета-тег noindex. Однако если ваш сайт создан не на базе WordPress, то процедура будет более сложной. Дело в том, что в WP есть специальный плагин Yoast SEO, который и позволяет удалять страницы мета-тегами.

Заключение

Если у вас вдруг появилась необходимость удалить отдельную страницу своего сайта из поискового индекса, вы с легкостью можете воспользоваться всеми указанными в данной статье методами. Выбирайте тот, который для вас более удобный, но при этом учитывайте характерные особенности каждого из них. Вообще, если вы хотите закрыть документ в максимально кратчайшие сроки, используйте сразу несколько вариантов.

Источник: https://imajor.ru/seo/optimizacia/udalenie-satranici-iz-indeksa

Как удалить страницу из поисковой выдачи

Как удалить страницу поиск в интернете?

Случаются ситуации когда владельцу бизнеса необходимо удалить страницу из поиска Google или Яндекса. Иногда ресурс попадает в выдачу по ошибке или информация на нем теряет свою актуальность. Но хуже всего, когда поисковики выдают служебные страницы с конфиденциальными данными клиентов.

Чтобы избежать подобных ситуаций, необходимо знать, как удалить страницу или раздел сайта из индекса.

Существует несколько способов для этого в зависимости от поисковой системы. Давайте рассмотрим все плюсы и минусы каждого из вариантов.

Перед выбором метода определитесь:

  • нужно удалить доступ к странице только из поисковиков;
  • нужно удалить доступ абсолютно для всех.

Ошибка 404

Важно! Это самый простой метод в исполнении, однако время удаления информации из поисковой выдачи может занять до 1 месяца. Удаляет страницу как из поисковой системы так и с сайта в целом.

Периодически при поиске определенной информации пользователь сталкивается с сообщением об ошибке 404 — «Страница не найдена». Именно к такому результату ведет фактическое удаление страницы сайта.

Делается это путем удаления страницы в административной панели сайта. На языке поисковых машин происходит настройка сервера, которая обеспечивает http-статус с кодом 404 not found для определенного URL. При очередном посещении поискового робота, сервер сообщает ему об отсутствии документа.

После этого поисковая система понимает что страница более не доступна и удаляет ее из поисковой выдачи, чтобы пользователи не попадали из поиска на страницу ошибки 404.

У такого метода есть свои особенности:

  • Простота: настройки проводятся всего в несколько кликов.
  • Страница полностью исчезает из сайта, поэтому если необходимо просто скрыть от выдачи конфиденциальную информацию, то лучше обратиться к другим методам.
  • Если на страницу, которую нужно скрыть, имеются входящие ссылки то эффективнее будет настроить 301 редирект.
  • Непосредственно к выпадению страницы из поиска приводит не ее удаление из сайта, а последующая за этим индексация. В среднем необходимо от 1–2 дня до месяца, чтобы робот посетил ресурс и отпинговал страницу.

Если для вебмастера этот вариант — один из самых простых и удобных, то посетителю сайта сообщение об ошибке 404 редко доставляет удовольствие. В некоторых случаях оно может привести к тому, что клиент больше не вернется на этот ресурс.

Чтобы избежать подобных последствий, сегодня все чаще вебмастера стараются креативно оформить страницу с ошибкой 404 или разместить там информацию, предложения, что могут заинтересовать пользователя. Такая политика делает сайт более дружелюбным для клиента, способствуя росту его популярности.

Читайте также  Как найти логин и пароль от интернета?

Читайте подробнее о том как настроить страницу 404 ошибки и минимизировать отрицательные действия от увеличения количества таких ошибок.

Robots.txt

Важно! Данный метод не удаляет страницу из поиска, а только скрывает ее из результатов. Страница остается доступной для просмотра из других каналов трафика.

Довольно распространенный способ избавиться от отдельных объектов и целых разделов. Через robot.txt предоставляется как разрешение, так и запрет на индексацию, поэтому неудивительно, что на тему алгоритмов удаления страниц таким образом создано много полезных инструкций в Интернете, например у Devaka. Но в их основе один принцип: использование директивы Disallow.

Чтобы запретить сканирование страницы поисковыми системами, нужно иметь доступ к корневой папке домена. В противном случае придется использовать мета-теги.

файла robots.txt может включать лишь две строки:

  • User-agent: сюда вносится название робота, к которому требуется применить запрет (наименование можно брать из Базы данных сканеров, но в случае, но если вы хотите в будущем закрывать страницу от всех, то просто используйте «User-agent: *»);
  • Disallow: в этой директиве указывается непосредственно адрес, о котором идет речь.

Именно эта пара формирует собой команду по отношению к определенному URL. При необходимости в одном файле можно запретить несколько объектов одного сайта, что будут абсолютно независимы друг от друга.

После закрытия страницы или раздела через robots.txt необходимо дождаться очередной индексации.

Здесь стоит отметить, что для поисковых систем действие в robots.txt лишь рекомендация, которых они не всегда придерживаются. Даже в случае выполнения этого указания ресурс по-прежнему будет появляться в выдаче, но уже с надписью о закрытии через robots.txt.

Лишь со временем, если статус объекта в файле не поменяется, то поисковики уберут его из своей базы.

В любом случае доступными для просмотра удаленные объекты останутся при переходе по внешним ссылкам, если таковые имеются.

Мета-тег robots

Важно! Данный метод удаляет страницу из поисковых систем, но страница остается доступной для просмотра из других каналов трафика.

В какой-то мере этот вариант называют альтернативой предыдущего, только здесь работа ведется в html-коде среди тегов head:

После введения команды необходимо дождаться очередной индексации ресурса, после которой изменения вступят в силу.

Чем хорош этот метод?

Через мета-теги можно удалить url из Google или Яндекс как для одной страницы, так и сразу для целого перечня. При этом файл robots.txt останется простым. Этот вариант рекомендуется для начинающих специалистов, что работают шаг за шагом, создавая новые страницы сайта.

Интересный факт! С помощью данного метода можно удалить страницу из одной поисковой системы и оставив в остальных.

Закрыть страницу через мега-теги — лучший способ удалить страницу из индекса Google, оставив ее активной в Яндекс при необходимости. Также рекомендуется использовать этот метод в ситуациях, когда нужно убрать страницу из индекса, сохранив при этом ее информацию на сайте для внутреннего пользования.

Пример

Закрывает страницу только для ПС Google. Закрывает страницу только для ПС Яндекс.

Неоспоримым преимуществом мета-тегов перед robots.txt выступает возможность закрыть страницу от индексации даже при наличии внешних ссылок. Для этого достаточно применять мега-тег noindex.

Из недостатков применения мета-тегов — если у вас не Wordpress, то могут возникнуть проблемы с внедрением. В Wordpress вопрос решается установкой плагина Yoast SEO, где каждую страницу можно будет закрыть с помощью мета-тега.

301 редирект

Важно! Внедрение приведет к тому, что контент страницы перестанет быть доступен абсолютно для всех посетителей, в том числе и владельцев сайта.

Суть этого метода заключается в том, что когда пользователь ищет страницу, которой больше не существует, сайт автоматически перенаправляет его на другой URL.

Данный вариант не самый удобный и простой для вебмастера, поскольку в зависимости от CMS отличается и алгоритм работы. Однако с точки зрения пользователя это самый комфортный выход, намного удобнее и приятнее сообщения об ошибке 404.

При желании редирект можно подчинить маркетинговым ухищрениям и перевести пользователя не просто на главную страницу сайта, а на конкретный раздел, в продвижении или активных продажах которого заинтересована администрация.

Такой метод часто применяют при необходимости обработать большое количество устаревших страниц или при полной смене структуры ресурса. Ведь редирект позволяет сохранить позиции в рейтингах поисковиков, благодаря чему усилия по продвижению сайта не пропадают зря.

На переиндексацию в поисковых системах понадобится в среднем 1–3 дня в зависимости от сайта, но только после посещения робота изменения вступят в силу для посетителей ресурса.

Подробнее о настройке 301 редиректа на сайте Devaka.

Удаление вручную через панель вебмастера

Важно! Метод работает для ускорения удаления информации из поисковой системы.

Быстрый (занимает от 8 до 48 часов) способ удалить сайт или страницу из Яндекса или другого поисковика. У каждой системы свой алгоритм в данном случае, но объединяет их одно — необходимость использовать дополнительные методы для закрытия страницы. Это может быть 404-ая ошибка, robots.txt, мега-тег на выбор, но без подобной подготовки не обойтись.

Удалить сайт из поиска google можно через Google Search Console:

  1. Авторизуйтесь на панели инструментов.
  2. Выберите нужный ресурс.
  3. Затем найдите в «Индекс Google» подраздел «Удалить URL-адреса».
  4. Здесь создаем новый запрос на удаление, а после вводим в открывшееся окошко нужную ссылку и нажимаем «Отправить».

В отдельном списке можно следить за статусом запроса. Обычно на удаление из гугловского индекса уходит от 2–3 часов до суток. При желании на деактивацию можно отправить неограниченное количество страниц таким способом.

Своим пользователям система предлагает также и функцию временного (до 90 дней) замораживания страницы.

Аналогичным путём идем и в Яндексе Вебмастре. Инструкция данного поисковика сразу предупреждает о необходимости предварительного запрета на индексирование через robots.txt или мета-теги.

После этого система еще долго будет проверять объект на смену его статуса, и если страница по-прежнему останется недоступной, то робот вычеркнет ее из своей базы.
Чтобы ускорить этот процесс, сразу после внесения изменений в robots.txt или мега-тегах зайдите в свой кабинет на Яндекс. Вебмастере.

Здесь в разделе «Удалить URL» вводите адрес страницы и подтверждаете ее удаление. За день допускается деактивация не более 500 объектов.

Чтобы удалить url из Яндекса понадобится больше времени, чем в случае с Google: от нескольких часов до нескольких дней.

Инструмент удаления URL отлично подходит для ситуаций, когда срочно необходимо убрать страницы с конфиденциальной информацией или удалить информацию добавленную при взломе сайта.

Удаление всего сайта

Иногда случаются ситуации, когда необходимо убрать не просто несколько страниц из поисковой выдачи, но и полностью весь ресурс.

Сделать это можно при помощи всех вышеуказанных методов + панель вебмастера Google или Яндекса, только необходимо внести изменения в деталях. При удалении всего ресурса на место URL-адреса вносится доменное имя.

Как закрыть весь сайт на этапе разработки?

Закрыть при помощи логина и пароля на сервере. Это лучший выход для сайтов на стадии разработки и для тестовых версий. Алгоритм действий в данном случае зависит от CMS, на базе которой создавался ресурс.

Для того чтобы данный метод заработал, передайте разработчикам чтобы настроили доступ к сайту только по логину и паролю.

Итого

Удалить страницу или даже целый сайт не составит труда для его владельца или администратора. Среди существующих методов каждый может выбрать наиболее удобный вариант для себя. Но если есть необходимость достичь результата в кратчайшие сроки, то лучше использовать несколько способов одновременно.

Остались вопросы? Наша команда поможет в решении вашего вопроса. Оставьте ваш вопрос в заявке.

Источник: https://livepage.pro/knowledge-base/remove-url-from-index.html

Как без последствий убрать страницу из поисковой выдачи?

Как удалить страницу поиск в интернете?

Очень часто вебмастера сталкиваются с тем, что в поисковой выдаче находятся страницы сайта, которые попали туда по ошибке, утратили свою актуальность, содержат конфиденциальную информацию и пр. Для решения подобных проблем необходимо удалить их из индекса. В этой статье мы детально рассмотрим этот вопрос и покажем, как убрать ненужную страницу в выдаче поисковиков.

Что делать, если в поисковую выдачу попала не та страница?

Есть случаи, когда в поисковую выдачу попадает не та страница, которую продвигали, а другая. Это возможно в тех случаях, если поисковик считает, что другая является более подходящей для ответа на запрос пользователя.

Вследствие этого:

  1. Пользователь не попадет на страницу, а это значит, что, скорее всего, он не выполнит целевое действие.
  2. Если на нее закупаются внешние ссылки, то выходит, что деньги были потрачены впустую.

Ситуацию необходимо немедленно исправлять. Для этого нужно выполнить некоторые действия для замены одной страницы на другую.

Как заменить страницу в выдаче на нужную?

Если наблюдается проблема с попаданием в выдачу не той страницы, то это свидетельствует о проблемах с SEO-оптимизацией. Необходимо провести анализ сайта и исправить выявленные недочеты.

Чтобы заменить страницу в выдаче на нужную, необходимо выполнить следующие рекомендации:

  1. Проверить, есть ли она в индексе поисковиков.
  2. Удостовериться, совпадает ли тип запроса и тип страницы.
  3. Проверить плотность ключевых слов, количество вхождений.
  4. Проанализировать корректность мета-тегов.

Способы удалить из поиска ненужные страницы

Существует разные способы, как убрать ненужную страницу в выдаче. Ниже рассмотрим подробно каждый из них.

Файл robots.txt

С помощью этого метода ненужную страницу или целый раздел можно убрать из результатов выдачи. Чтобы это сделать, необходимо иметь доступ к корневой папке домена. Данный файл должен содержать следующие строки:

  1. User-agent: сюда потребуется вписать название робота, к которому будет применен запрет на сканирование.
  2. Disallow: здесь нужно вписать сам адрес.

В этом случае также придется ждать переиндексации, пока она не будет выкинута из индекса. Можно конечно отправить страницу принудительно на переобход, но это уже совсем другая история.

Удаление из панели вебмастеров

Это очень удобный способ для удаления. При этом они должны быть закрыты от поискового робота одним из вышеперечисленных методов, при переходе по URL сервер должна высвечиваться ошибка 404.

Как удалить ненужные страницы с индекса Google

  1. Необходимо перейти по ссылке (https://www.google.com/webmasters/tools/).
  2. На боковой панели нажать «Индекс Google», после чего выбрать «Удалить URL-адреса».
  3. Нажать «Создать новый запрос на удаление.
  4. Вписать в соответствующую форму URL-адрес.
  5. Выбрать «Удалить страницу из результатов поиска и кэша» и нажать на кнопку «Отправить запрос».

Как удалить ненужные страницы с индекса Яндекс?

После того как пройдет индексация, выбранные страницы будут удалены выдачи.

Как удалить страницы из индекса поисковых систем? Какие страницы нужно удалить из выдачи? Зачем?

Как удалить страницу поиск в интернете?
Разберемся с вопросами далее.

Как удалить страницы из поисковой выдачи Google и Yandex?

Есть различные способы, применяя которые можно удалить страницы из индекса поисковых систем. Но есть важные нюансы. Главные способы такие:

  1. Директива noindex. Применение данной директивы допустимо в метатегах и HTTP-заголовках.

    Директива noindex является наиболее эффективным способом удаления страниц из индекса, если сканирование страниц разрешено в принципе;

  2. 404 и 410 HTTP коды ответа сервера.
  3. Директива Disallow в файле robots.txt. Есть важный нюансы.

    Ошибка с использованием директивы disallow зачастую приводит к проблемам с ранжированием;

  4. Защиты паролем;
  5. Google Search Console Remove URL. Инструмент является простым и быстрым способом удалить страницу из результатов поисковой выдачи. Но есть нюансы;

Способ 1 — Noindex

Директива noindex поддерживается поисковыми системами только в тех случаях, если запись прописана в метатеге и/или HTTP-ответе страницы.

Ранее применение директивы допускалось в файле robots.txt. Но стандарт Robots Exclusion Protocol был изменен и теперь использование директивы в файле является недопустимым.

Рекомендованный материал в блоге MegaIndex по теме robots.txt по ссылке далее — Google обновляет правила для robots.txt. Что изменится и что делать?

На практике для запрета индексации следует использовать метатег robots. Например, если для сайта indexoid требуется запретить индексацию страницы, то на страницах подлежащих запрету следует использовать такой код:

Если требуется запретить индексацию страницы применяя для этого HTTP-заголовок, то в коде ответа сервера следует указать следующее: X-Robots-Tag: noindex Пример кода ответа сервера: HTTP/1.1 200 OK Date: Tue, 25 May 2010 21:42:43 GMT X-Robots-Tag: noindex Как результат, поисковая система удалит страницы из индекса после следующей итерации краулинга.

Способ 2 — 404 и 410 HTTP коды ответа сервера

Как инструмент для запрета индексации можно использовать 404 и 410 HTTP коды ответа сервера.

Оба кода означают, что страница не существует:

  • 404 Not Found/Страница не найдена;
  • 410 Gone/Страница удалена.

Рекомендованный материал в блоге MegaIndex по теме процесса краулинга по ссылке далее — Google обновил поисковый краулер. Что изменилось? Как это повлияет на ранжирование? Поисковые системы такие как Google и Yandex удаляют такие страницы после повторного краулинга и обработки.

Способ 3 — Disallow в файле robots.txt

Директива Disallow поддерживается стандартом Robots Exclusion Protocol.

Применяя данную директиву можно задать список страниц, которые поисковому краулеру следует игнорировать, то есть не посещать.

Но есть важный нюанс.

Несмотря на запрет директивы Disallow, страницы сайта все равно могут быть добавлены в индекс, если на такие страницы есть ссылки с других страниц. Данная информация является проверенной на практике.

В результате такой подход является неэффективным.

Итак, директива Disallow используется для указания ссылок на страницы, которые не должны быть проиндексированы, но контент все же может попасть в индекс. К примеру, в случае наличия любых открытых ссылок на закрытые страницы с других страниц.

Способ 4 — Защита страниц паролем

Защита страницы паролем не позволяет поисковой системе получить доступ страницы сайта. Такая защита обычно используется для ограничения доступа к разделам сайта, которые доступны по модели платной подписки.

Поисковые системы индексируют страницы защищенные паролем, на зачастую удаляют такие страницы из индекса.

Способ 5 — Google Search Console Remove URL

Инструменты от поисковых систем позволяют исключить страницы из индекса, но есть нюансы.

Применяя инструменты поисковых систем страницы сайта можно исключить из индекса, но на временной основе.

Значит в перспективе такие страницы будут проиндексированы снова.

Еще данный способ требует подтверждения прав на сайт, поэтому не всегда удобно использовать такой инструмент. В частности такой способ усложняет работу, если речь про частную сеть сайтов.

Рекомендованный материал в блоге MegaIndex на тему PBN по ссылке далее — Как построить частную сеть сайтов для SEO. PBN сайты в поисковой оптимизации.

Ссылка на инструмент Google — Google URL Removal.

Применяя данный инструмент на практике удалить страницу сайта можно как из индекса, так и из кеша поисковой системы.

Ссылка на инструмент Yandex — Удаление страниц из поиска.

Какие страницы следует удалить из поисковой выдачи? Для достижения каких целей такие страницы следует удалить из индекса поисковой системы?

Какие страницы следует удалить из индекса? Зачем?

Из поисковых систем Google и Yandex следует удалить все ненужные страницы.

Под ненужными страницами подразумеваются страницы, по которым не планируется привлечения трафика из поисковой выдачи.

Зачем удалить страницы? Есть ряд причин для таких действий. Например, цели могут быть следующие:

  • Улучшение хостовых поведенческих факторов на поисковой выдаче.
  • Скрытие анкет пользователей и защита от парсинга клиентской базы или e-mail;
  • Безопасность;
  • Удаление из индекса страниц копий;
  • Замена сайта. Например, при регистрации освобожденного доменного имени для последующего создания на нем нового сайта;
  • Повышение релевантности контента сайта в отношении тематики;

Что такое хостовые факторы на поисковой выдаче? В алгоритмах поискового ранжирования используются различные данные, включая данные о действиях пользователей на выдаче. Информация об этом следует из практики и патентов поисковых систем. Итак, под хостовыми факторами на поисковой выдаче подразумеваются такие факторы как:

  • Среднее значение СTR страниц;
  • Среднее значение Dwell Time;
  • Прочее.

Рекомендованный материал в блоге MegaIndex на тему патентов Google по ссылке далее — Google запатентовал поведенческие факторы: что нужно знать и что делать?

Что такое Dwell Time? Рекомендованный материал в блоге MegaIndex по теме Dwell Time по ссылке далее — Dwell Time (Длина клика) — что это за фактор ранжирования и как его оптимизировать?

Итак, если в поисковой выдаче находится множество страниц по которым не бывает кликов, то значение хостовых факторов на поисковой выдаче занижается.

Если в поисковой выдаче находятся только те страницы, которые должны привлекать трафик, то значение хостовых факторов на поисковой выдаче будет выше.

На открытых к индексации страницах сайта следует провести комплекс мер по улучшению сниппетов. Инвестиции в оптимизацию сниппетов проводят к повышению метрики кликабальности и улучшению поведенческих факторов на выдаче.

Идеи по созданию кликабельных сниппетов можно подсмотреть у конкурентов, или у компаний с большими бюджетами на маркетинг. Например, если вы продвигаете автосалон в регионе, вы можете посмотреть как сделаны сниппеты на сайте московского автосалона.

MegaIndex индексирует сниппеты всех сайтов в интернете и предоставляет пользователям собранные данные о сниппетах всех сайтов в сервисе анализа сниппетов.

Ссылка на сервис — Анализ сниппетов.

Пример использования сервиса:

Через какое время страницы будут удалены из поисковой выдачи?

Страницы будут удалены после переиндексации. Иными словами, после визита краулера и дальнейшей обработки страниц поисковой системой. На практике переиндексацию можно ускорить.

Рекомендованный материал в блоге MegaIndex по теме индексации по ссылке далее — Как добавить страницы сайта в поисковую выдачу? Нестандартные способы.

Следует ли удалять из поисковой выдачи дубли страниц?

Следует удалить копии страниц.

Дубли страниц из поисковой выдачи удалять не следует.

В чем разница между дублем и копией страницы?

Google различает дубликаты (duplicate) и копии (copy) контента. Сайты с копиями подвергаются санкциям от поисковой системы. К скопированному контенту относятся все виды контента с уникализацией. Например:

  • Spinning content;
  • Контент с заменой слов (если заменить в тексте слово «найти» на «поиск», то контент останется копией);
  • Контент содержащий набор копий из разных источников;
  • Страницы копирующие контент с динамических страниц.

Дубликаты не подвергаются санкциям и даже могут ранжироваться выше за оригинал.

Дубликатом считается скопированный контент, но с добавочной ценностью.

Выводы

Какие страницы не должны находиться в индексе поисковых систем? В индексе не должны находиться ненужные страницы. Зачастую в индексе находятся различные страницы, по которым не планируется привлечение трафика. Такие страницы являются ненужными.

Почему в индексе поисковых систем должны быть не все страницы? Есть различные причины. Как пример, исключение ненужных страниц позволяет улучшить релевантность сайта, удалить копии, улучшить поведенческие хостовые факторы на выдаче.

Как удалить ненужные страницы из индекса? Есть 5 основных способов для удаления страниц из поисковой выдачи:

  • Директива noindex;
  • Коды ответа сервера 404 и 410;
  • Директива Disallow;
  • Защита страниц паролем.
  • Инструменты поисковых систем.

В чем разница? Какие способы являются наиболее эффективными? Итак, есть ряд способов для удаления страниц из индекса. Но есть нюансы, ввиду которых некоторые способы по удалению страниц из выдачи различаются по эффективности.

Директива Disallow указывает поисковому краулеру на то, что в индексации контента нет необходимости. Такие страницы все равно могут быть проиндексированы. Например, в случае наличия ссылок на такие страницы с других страниц.

Итак, использование директивы Disallow в файле robots.txt для скрытия страниц сайта, которые находятся в разработке является ошибкой. Скрытые страницы все равно могут попадать в индекс поисковых систем.

Защита страниц паролем является эффективным способом, но создает сложности для пользователей.

Инструменты поисковых систем Google и Yandex позволяют быстро удалить из индекса страницы сайта, но страницы вновь появятся в индексе после следующей волны индексации.

Наиболее эффективными способами для удаления URL из поисковой выдачи являются такие — директива noindex и 404, 410 коды ответа сервера.

Размещение директивы noindex допускается в метатеге и HTTP-заголовке X-Robots-Tag. Директиву следует размещать на каждой странице, которая подлежит исключению из индекса.

Применение директивы noindex и/или кодов ответа сервера 404 и 410 позволяет исключить страницы из поисковой выдачи сразу после следующей волны индексации. Статус коды 404 и 410 не указывают на запрет индексации как таковой, но позволяют исключить страницы из индекса Google и Yandex.

Мусорные страницы следует удалить из поисковой выдачи, так как наличие таких страниц в индексе приводит к ряду проблем при продвижении сайта. Например, к занижению поведенческих факторов на выдаче, что приводит к занижению хостовых факторов и сказывается на ранжировании.

Остались ли у вас вопросы, замечания или комментарии по теме удаления страниц из индекса поисковых систем?

Источник: https://ru.megaindex.com/blog/remove-urls

Удалить страницы из поиска Яндекса и Гугла

Как удалить страницу поиск в интернете?

Удаление информации из поиска, оказывается, достаточно сложная задача. Решается в два этапа:

— Удаление страницы из индекса поисковика.

— Предотвращение попадания страницы для обработки поисковиком.

Зачем удалять страницы из индекса Яндекса и Гугла

Ориентируюсь на эти два поисковика, так как они держат весь рынок поисковой информации. Для начала рассмотрим причины удаления информации из поиска.

1. Дублирующая информация. Страницы сайта, которые доступны по разным адресам. Влияет на показатель траста сайта. В идеале информация на сайте должны быть в единственном экземпляере.

2. Конфиденциальные сведения. Тут всё понятно. Это требования законодательства РФ.

3. Устаревшие данные.

4. Изменение посадочных страниц по определенным запросам. Оптимизация сайта.

5. Иные причины..

Кто может повлиять на выдачу страницы в поиске

Изменять выдачу может только сам поисковик. Влиять на поисковик можно и нужно опосредовано владельцу или вебмастеру сайта. Третьи лицам повлиять на поисковую выдачу могут только через суд (с иском к поисковику или владельцу ресурса) или договорившись с владельцем сайта.

Внимание! Стоит помнить о том, что Яндекс и Гугл имеют механизмы автоматического кеширования истории сайта. Так же есть сервисы, где хранится история сайтов. После удаления конфиденциальной информации можно обратиться в эти сервисы с просьбой удалить историю ресурса из кеша. Сам не обращался. Буду признателен, если читатели поделятся опытом подобных обращений.

Удаление страницы из индекса поисковика

Как говорил в начале статьи у нас две задачи: удалить и не допустить повторной индексации. Начнем с удаления.

Сначала необходимо определиться с тем, что мы хотим удалять.

Шоковый метод

Если нам нужно удалить много не нужных страниц и популярность у сайта низкая, то лучший способ — настроить запреты к редактированию (следующий параграф) и на 2 недели закрыть сайт вообще. Способ радикальный. Сайт через 2 недели полностью пропадет из поиска и в Яндексе и в Гугле. После включения будет проиндексирован заново. По совему опыту позиции в ТОП-100 восстанавливаются за 2-3 недели. Позиции в ТОП-10 могут не восстановится (если рассматриваете такой вариант, то скорее всего их и так нет). Зато после такого шока они могут появится.

Удаление по одной странице

Самый эффективный способ. Идем в вебмастер Яндекса / Гугла и вручную указываем адреса страниц, которые нужно удалить. Естественно, Вы сможете указать адреса только подтвержденных Ваших проектов.

Удаление в вабмастере Яндекса

Удаление в вебмастере Гугла

Удаление напрямую самое эффективное и быстро срабатывающее. Обычно страницы убираются из выдачи при следующем обновлении поисковой базы. Поисковая база обновляется каждые 2-3 дня.

Удаление автоматическое

Можно отдать удаление информации на волю поисковиков. Делается это очень просто — удаляем страницу с сайта и убеждаемся что при переходе по её адресу выдается ошибка 404 (страница не существует). После попадания на такую ошибку поискового бота происходит автоматическое выключения страницы из поиска. Так же занимает 2-3 дня после обнаружения. Весь вопрос когда бот наткнется на такую страницу. Боты обходят сайт по кусочкам и с разной периодичностью. Для больших сайтов исчезнувшая страница может быть обнаружена как через день так и через месяц.

Перенаправление на другую страницу

Тоже иногда используется для изменения поисковой выдачи. Указываем редирект на похожую страницу с актуальным содержимым и ждем пока Яндекс и Гугл зайдут и переработают новую структуру сайта. Произойдет подмена информации. Время реакции поисковиков складывается из времени, когда они увидели перенаправление, плюс время на переиндексацию и ранжирование информации. Ориентировочно стоит расчитывать на эффект через месяц.

Закрытие адреса для обработки поисковиками

Теперь, когда мы попросили Яндекс и Гугл удалить страницу из поиска, нам нужно дать указание роботам больше не повторять индексацию таких страниц (если они остались на сайте, но не требуют включения в поиск).

Для этого нужно:

1. Настроить .htaccess (файл в корне сайта). В нем прописываются редиректы

— На главное зеркало. Убираем дубли сайта на уровне домена.

— На акутальные страницы (обычно redirect 301).

Сюда же можно и возврат 404 ошибки встроить вручную. Но лучше, конечно, чтобы сама страница его отдавала автоматом.

2. Дорабатываем robots.txt

Директивами allow / disallow указываем роботам Яндекса и Гугла что нужно включать в поиск, а что нет. Замечено, что Гугл может игнорировать эти отметки.

3. Удаляя страницы убеждаемся, что переход по их адресам вызывают 404 ошибку.

Крайне настоятельно рекомендую проверять не через браузер, а с помощью яндекса вебмастера (выбираем сайт и пункт «проверить URL»). После обработки мы увидим текущий код ответа и статус индексации.

4. Для закрытия от индексации страницы можно использовать мета тег robots (смотри описание тега meta name = «robots»)

5. На уровне операционной система сервера. Сам этого не делал. Полагаю смысла нет без острой необходимости лезть в конфигурацию работающего сервера.

Источник: https://zen.yandex.com/media/id/5d86fd601e8e3f00ae710d55/udalit-stranicy-iz-poiska-iandeksa-i-gugla-5dc6dc830aae9d3a459a788b

Как удалить страницу из Яндекса или Google поиска? 5 способов

Как удалить страницу поиск в интернете?

  Удаление документа из поисковиков

Обычно при поисковом продвижении сайта все стараются как можно быстрее «загнать» документ в индекс поисковика. Но бывает и так, что в поиске оказывается совсем не нужная страница. Например, с какими-либо конфиденциальными данными или с устаревшим содержанием.

Кроме того, если при создании сайта вы не настроили файл Роботс.тхт, то в поиске Гугла, Yandex и других ПС могут оказаться страницы-дубли. Особенно характерно это для блогов на WordPress. Данная CMS традиционно создаёт множество документов с идентичным контентом.

Если «нехорошие» страницы попали в поисковую выдачу, то нужно произвести их удаление. На данный момент сделать это можно 5-ю способами, причём 5-й не подействует без первых 4-х.

Как удалить страницу из Яндекса

1-й способ — сделать так, чтобы данной страницы вообще не было на сайте. Тогда поисковик, при последующем к ней обращении, выкинет её из своего индекса.

Это просто осуществить, если страницы физические, а не динамические. Если они динамические (т.е. генерируются сервером — как на большинстве современных движков), то фактически их нет, поэтому и удалять нечего. В данном случае необходимо, чтобы при обращении к этой странице сервер выдавал бы т.н. код 404 (Not Found):

HTTP/xx 404 Not Found

Большинство современных CMS (в том числе, и WordPress) делают это корректно для удалённых страниц.

Такой код сообщает поисковому роботу, что документ отсутствует и надо выкинуть его из индекса.

Стоит сразу добавить, что удаляются страницы из Яндекса не так быстро, как хотелось бы. Обычно происходит это за 1 и более обновлений выдачи. Нужно подождать.

2-й способ — обнаружив, что ненужные документы попали в SERP, необходимо проверить файл Robots.txt и запретить эти документы к индексации (директивой Disallow или Clean-param). Со временем ПС удалит их из поиска.

3-й способ — добавить в код «нежелательных» документов мета-тег Robots. Как это делать почитайте в статье про meta name robots.

Как удалить страницу из индекса Гугла

Для Google подходят все 3 вышеперечисленных способа.

4-й способ — дополнительно для данного поисковика можно использовать специальный HTTP-заголовок X-Robots-Tag. Суть этого метода в том, что в HTML-коде документа нет следов о том, что изменён характер его обхода поисковым роботом.

X-Robots-Tag представляет из себя обычный заголовок, который на PHP можно задать так (в данной статье не буду подробно расписывать про этот метод):

< ?php header ( "X-Robots-Tag: noindex, nofollow", true); ? >

— такая запись аналогична простановке в HTML-коде документа мета-тега meta name=»robots» content=»noindex,nofollow».

Обратите внимание, что этот приём действует только для Гугла (возможно, ещё Bing и кого-то ещё). Удалить страницу из Яндекса таким способом не получится!

Ну и 5-й способ — исключение страниц из поиска Yandex b Google через специальные сервисы самих ПС.

Только что «свалилось» видео по теме от Гугла (25 июня):

Для Яндекс — можно перейти по этому адресу http://webmaster.yandex.ru/delurl.xml и ввести нужный URL.

Как я и писал выше, данный способ подействует лишь при выполнении одного из 4-х условий, указанных выше. Иначе конкуренты удаляли бы страницы сайтов друг друга:

В Google аналогичная операция производится в аккаунте вебмастера — https://www.google.com/webmasters/tools/. Для этого слева выбираем «Оптимизация — Удалить Url-адреса«:

и создаём новый запрос:

  Запрос на удаление URL из Google

Удаление ссылок из индекса Гугла происходит гораздо быстрее, нежели из Яндекса. Там обычно всё быстрее.. Можно ознакомиться также с официальным руководством о продвижении сайта в Google.

Ну а вообще, чтобы не приходилось проделывать все эти действия, лучше сразу продумать, какие разделы и отдельные страницы сайта закрыть от индексации, а какие — оставить роботам.

(1 5,00 из 5)
Loading…

  • WordPress комментарии и их настройка…низ), а размер аватарки — 60x60px. Можно, конечно, задействовать и другие
  • Как настроить цели в Яндекс.Метрике? Теория и примерыНадо бы опубликовать здесь новую статью :). Расскажу обо всех нюансах в настройке…
  • Как скачать Гугл диск для ПК? Обзор программы Google drive и увеличение свободного местаУже давненько описывал я этот сервис облачного хранения данны…
  • Кнопка Гугл плюс на сайт — установка и расширенные настройки Google plus buttonРаз уж я начал тему SMO-оптимизации сайта, то необходимо рассказать и об у…
  • Загрузка файла на Гугл диск и ограничение доступа. Получение ссылки на скачивание в Google driveВ предыдущей статье я начал описывать облачный сервис Google диск. Возм…

Источник: https://web-ru.net/prodvizhenie-sajta/sem/kak-udalit-stranicu-iz-poiska-yandeksa-ili-google-5-sposobov.html

Удаление страниц из поиска Яндекса

Как удалить страницу поиск в интернете?

Иногда из результатов поиска нужно убрать страницу сайта, например, если она содержит конфиденциальную информацию, является дублем другой страницы или была удалена.

Сообщите Яндексу о том, что страницу нужно удалить

Сделать это можно несколькими способами:

Если страница удалена с сайта

  • Запретите индексирование страницы с помощью директивы Disallow в файле robots.txt.
  • Настройте сервер так, чтобы при обращении робота к адресу страницы он отправлял HTTP-статус с кодом 404 Not Found, 403 Forbidden или 410 Gone.

Если страница не должна отображаться в поиске

  • Запретите индексирование страницы с помощью директивы Disallow в файле robots.txt.
  • Закройте страницы от индексирования с помощью мета-тега noindex.

Если вы настроили ответ сервера на код 4XX или использовали мета-тег noindex для множества страниц, робот узнает об изменении каждой страницы постепенно. В этом случае запретите индексирование страниц с помощью директивы Disallow.

Когда робот Яндекса посетит сайт и узнает о запрете на индексирование, страница пропадет из результатов поиска в течение недели. После этого адрес удаленной страницы отобразится в списке исключенных в разделе Индексирование → Страницы в поиске Яндекс.Вебмастера.

В течение некоторого времени робот еще будет посещать страницу, чтобы убедиться, что ее статус не изменился. Если страница остается недоступной, она пропадет из базы робота.

Страница может снова появиться в результатах поиска, если вы уберете запрет на индексирование в файле robots.txt или ответ сервера изменится на 200 OK.

Если страница удалена с сайта из-за нарушения авторских прав, порядок удаления ее из результатов поиска не меняется и не является приоритетным.

Ускорьте удаление страницы из поиска

Если после того, как вы запретили индексирование станиц, робот еще не посетил ваш сайт, вы можете сообщить Яндексу о необходимости убрать страницу с помощью инструмента «Удаление страниц из поиска» в Яндекс.Вебмастере.

Удалить отдельные страницы сайта из поиска Яндекса

  • Если ваш сайт не добавлен в Яндекс.Вебмастер:
    1. Перейдите на страницу Яндекс Вебмастера Удаление страниц из поиска.
    2. В поле введите адрес страницы, например http://ururu.com/ololo.html.
    3. Нажмите кнопку Удалить.

    Чтобы убрать из поиска несколько страниц, удалите адрес каждой страницы последовательно.

  • Если ваш сайт добавлен и подтвержден в Яндекс.Вебмастере:
    1. Перейдите на страницу Инструменты → Удаление страниц из поиска.
    2. Установите переключатель в положение По URL.
    3. В поле введите адрес страницы, например http://ururu.com/ololo.html.
    4. Нажмите кнопку Удалить.

    Вы можете указать до 500 адресов одного сайта в сутки.

Статусы после отправки URL

Статус Описание
«В очереди на удаление» Робот проверяет ответ сервера и наличие запрета на индексирование страницы в файле robots.txt. Проверка может занимать несколько минут.
«Удалена» В течение часа после проверки страница будет удалена из результатов поиска.
«Отклонено»
  • В файле robots.txt отсутствует запрет на индексирование.
  • При обращении к адресу страницы ответ сервера отличается от 404 Not Found, 403 Forbidden или 410 Gone.

Как вернуть страницу в результаты поиска

Уберите запрещающие индексирование директивы: в файле robots.txt или мета-тег noindex. Страницы вернуться в результаты поиска, когда робот обойдет сайт и узнает об изменениях. Это может занять до трех недель.

Источник: https://webmaster-seo.ru/yandex-webmaster/udalenie-stranits-iz-poiska-yandeksa/

Урок 379 Как удалить ненужные страницы из индекса Яндекса и Google. Удаляем “сопли” в поиске

Как удалить страницу поиск в интернете?

Вам нужен сайт? Тогда создание и продвижение сайтов в Санкт-Петербурге – это то, что вам нужно. Доверьтесь профессионалам.

Привет! Часто мы сталкиваемся с тем, что в результате выдачи нашего сайта бывают “мусорные” страницы. Наиболее правильно удалить страницу из индекса в Яндексе с помощью файла robots.txt, о котором я уже писал. Но, к сожалению, Google игнорирует данный файл и все равно “засовывает” некоторые ненужные страницы в индекс (чаще всего в дополнительный, об этом ниже). Поэтому данный урок посвящен прежде всего Гуглу, но Яндекса тоже мы немного коснемся.

Ручной режим

Открываем Google и вбиваем туда фразу site:wpnew.ru, где вместо wpnew.ru Вы, конечно, вбиваете свой адрес сайта:

Вообще, чтобы не держать в голове все эти разные операторы разных поисковых систем, я предпочитаю пользоваться RDS bar. Заходим на наш сайт, нажимаем на кнопку “Анализ сайта”:

И там вы увидите, сколько страниц в индексе Яндекса и в Google:

В идеале эти цифры должны быть очень похожими, практически одинаковыми. То есть тут должны примерно те цифры, которые равняются количеству постов на Вашем блоге. Если это интернет-магазин, то посложнее, так как часто бывает необходимость засовывать страницы с фильтрами или др. параметрами в индекс. И Яндекс, и Google “кушают” их по-разному.

В скобках на скриншоте выше вы видите значение “99%” – это показатель того, какой процент находится в ОСНОВНОМ индексе Google. Есть также страницы в дополнительном индексе, в моем случае это 1%. Такие страницы не участвуют в поиске.

В идеале процент основного индекса должен быть равным 100% или стремиться к этому числу. Если у вас этот процент маленький и очень много страниц в дополнительном индексе, не стоит паниковать, рвать и метать, как любят делать это некоторые. Спокойно сделайте действия описанные ниже.

В RDS Bar нажимаем непосредственно на саму цифру:

И открывается Google со страницами, которые в индексе:

Здесь переходим на последние страницы, тыкая на последние предлагаемые страницы:

Если страниц в индексе довольно много, так можно потерять кучу времени, листая страницы в индексе. Поэтому смотрим на URL, который меняется при переходе на другие страницы, там можно увидеть значение start:

И можно заметить следующую последовательность: если мы находимся на 14-ой странице, там отображается цифра 130, если на 15, то цифра 140 и т.д. То есть данное значение будет принимать цифру по этой формуле:

Значение start=№ страницы*10-10

Если нам нужно попасть на 100 страницу, нам нужно в адресную строку после start ввести 990.

Не боимся, вбиваем цифру ту же самую 990, к примеру:

И вы попадете на последние страницы в индексе Google (если это не конец, введите большее число), и там увидите фразу:

По умолчанию вы видите только страницы в индексе, которые располагаются в основном индексе (то есть те страницы, которые несут информативную ценность по мнению Google). Чтобы увидеть, все страницы вместе с дополнительным индексом, кликните по фразе “repeat the search with the omitted results included”.

Теперь вас снова должно отбросить на первую страницу. Повторяем шаг выше, чтобы попасть на последние страницы в индексе:

Если посмотреть чуть выше, вы увидите, что страниц было 54, сейчас стало 59. То есть 5 страниц выдачи – это дополнительный индекс Google и данные страницы не несут никакой информационной пользы по мнению Google (чаще всего это дубли страниц, служебные или еще что-то).

Таких страниц может быть просто куча. В одно время у меня было в мусоре более 15 000 страниц.

Источник: https://wpnew.ru/blog/kak-udalit-stranicu-iz-indeksa