Как можно увидеть из результатов запроса в поисковой строке Яндекса выражения «rhost="org.dmoz.*"|rhost="org.dmoz.www.*"», из индекса Яндекс исчез крупнейший каталог сайтов в Интернете — DMOZ. Русскоязычный раздел Открытого Каталога является одним из крупнейших каталогов сайтов в Рунете. При попытке добавить проект заново в индекс через форму «Добавить URL» выдаётся ошибка «Добавленный вами сайт не индексируется, так как является «зеркалом» http://dmoz.org/». Т. е., как видно, Яндекс неверно определил основное зеркало сайта (с dmoz.org на www.dmoz.org уже несколько месяцев стоит 301-й редирект). В Яндекс.Каталоге URL проекта также ошибочно прописан (dmoz.org вместо канонического www.dmoz.org).

На соответствующий запрос в службу поддержки Яндекс.Ру был получен следующий ответ:

Дело в том, что Ваш сайт может индексироваться Яндексом только по адресу dmoz.org, адрес www.dmoz.org является его зеркалом. В данный момент у Вас установлен серверный редирект с dmoz.org на www.dmoz.org:

$ telnet dmoz.org 80
HEAD / HTTP/1.0
Host: dmoz.org
Accept-Charset: windows-1251
User-Agent: Yandex/2.01.000 (compatible; Win16; Dyatel; C)

HTTP/1.0 301 Moved Permanently
MIME-Version: 1.0
Server: ArtBlast/3.5.5
Date: Mon, 17 Dec 2007 10:24:24 GMT
Expires: Mon, 17 Dec 2007 10:54:24 GMT
Content-length: 86
Content-type: text/html
Location: http://www.dmoz.org/
Connection: close

Страницы, с которых стоит серверный редирект, удаляются роботом из базы. Чтобы вернуть сайт в базу Яндекса, необходимо снять редирект, тогда сайт вновь начнет индексироваться по адресу dmoz.org. Если для Вас важно, чтобы сайт индексировался именно по адресу www.dmoz.org , есть два пути:
1. оставить все как есть, но скорректировать robots.txt, добавив в него:
User-agent: Yandex
Disallow:
Host: www.dmoz.org

Важно: блоки указаний роботам должны разделяться пустой строкой. После этого надо будет дождаться захода на сайт робота зеркальщика, он отследит изменения и переклеит сайты по адресу, указанному в Host. Процесс переклейки в среднем занимает до 4–6 недель, ускорить его, к сожалению, нельзя. В этом случае сайт появится в базе Яндекса только после того, как произойдет «переклейка».

2. снять редирект, скорректировать robots.txt так, как указано выше. В этом случае сайт вернется в базу Яндекса по адресу dmoz.org, после переклейки в базе появится www.dmoz.org.

—
С уважением, Платон Щукин
Служба поддержки Яндекс.Ру

По состоянию на 30 декабря 2007 года, в индексе Яндекса появилось около 16-и страниц ODP, включая главную — www.dmoz.org, которая теперь выдаётся поисковой машиной на первом месте по запросу «DMOZ». Возможно, совсем скоро, нам предстоит увидеть полное возвращение Каталога в индекс поисковика (добавлено 30 декабря 2007 года).

По состоянию на 12 января 2008 года, в индексе Яндекса появилось 9 052 страницы Открытого Каталога. Теперь, с полной уверенностью можно говорить о том, что DMOZ возвращается в индекс поисковика (добавлено 12 января 2008 года).