Подошёл к концу декабрь, а вместе с ним и весь 2007 год, зима только набирает обороты, а снег за окном сулит немало интересного в новом, 2008-м, году.

Предыдущие выпуски: ноябрь 2007 года, октябрь 2007 года, сентябрь 2007 года, август 2007 года, июль 2007 года, июнь 2007 года, май 2007 года, апрель 2007 года, март 2007 года, февраль 2007 года, январь 2007 года.

Количество сайтов, классифицированных в Каталоге

На 31 декабря 2007 года, в DMOZ размещено более 4 775 000 сайтов, из них в русскоязычных разделах находятся более 53 200, что является 10 результатом среди всех языков.

Статистика по конкретным русскоязычным разделам:

1. Бизнес (более 7 200 сайтов)
2. Дети и подростки (более 200 сайтов)
3. Для взрослых (более 250 сайтов)
4. Дом (около 1 200 сайтов)
5. Досуг (более 1 450 сайтов)
6. Здоровье (более 1 100 сайтов)
7. Игры (около 1 200 сайтов)
8. Искусство (более 4 250 сайтов)
9. Источники информации (более 800 сайтов)
10. Компьютеры (около 4 250 сайтов)
11. Наука (более 1 450 сайтов)
12. Новости и СМИ (более 150 сайтов)
13. Общество (более 3 800 сайтов)
14. Покупки (более 1 500 сайтов)
15. Спорт (более 1 350 сайтов)
16. Страны и регионы (более 22 850 сайтов)

Изменение количества сайтов, классифицированных в Каталоге, за последний месяц

За последний месяц, русскоязычная часть ODP выросла более, чем на 650 сайтов, что составляет приблизительно 1,24%.

Новые добровольные редакторы

В декабре 2007 года, более 20 новых редакторов приступили к редактированию в русскоязычной части Открытого Каталога, что составляет около 7,77% от общего числа новых редакторов, принятых в наши ряды в этом месяце во всём Каталоге, и около 6,96% от общего количества редакторов в его русскоязычной части на конец декабря.

В текущий момент, 26 декабря 2007 года, на сайте DMOZ, уже второй день можно наблюдать результаты технического сбоя, в частности, проблемы в работе части скриптов, включая отвечающие за работоспособность форм «Предложить URL», «Обновить URL» и «Заявка на позицию редактора Открытого Каталога». Например, при попытке обращения к форме «Предложить URL», посетители видят страницу со следующим содержанием:

Proxy Error

The proxy server received an invalid
response from an upstream server.

The proxy server could not handle the request GET /cgi-bin/add.cgi.

Reason: Error reading from remote server

Дело осложняется ещё и тем, что на дворе католическое рождество и оперативное решение проблемы невозможно из-за отсутствия большинства наёмных сотрудников AOL (staff) на рабочих местах...

Мы проинформируем Вас о полном восстановлении работоспособности.

Редакторы ODP могут, в режиме реального времени, следить за происходящем на внутреннем форуме.

На 27 декабря, работоспособность скриптов восстановлена (добавлено 27 декабря 2007 года).

Как можно увидеть из результатов запроса в поисковой строке Яндекса выражения «rhost="org.dmoz.*"|rhost="org.dmoz.www.*"», из индекса Яндекс исчез крупнейший каталог сайтов в Интернете — DMOZ. Русскоязычный раздел Открытого Каталога является одним из крупнейших каталогов сайтов в Рунете. При попытке добавить проект заново в индекс через форму «Добавить URL» выдаётся ошибка «Добавленный вами сайт не индексируется, так как является «зеркалом» http://dmoz.org/». Т. е., как видно, Яндекс неверно определил основное зеркало сайта (с dmoz.org на www.dmoz.org уже несколько месяцев стоит 301-й редирект). В Яндекс.Каталоге URL проекта также ошибочно прописан (dmoz.org вместо канонического www.dmoz.org).

На соответствующий запрос в службу поддержки Яндекс.Ру был получен следующий ответ:

Дело в том, что Ваш сайт может индексироваться Яндексом только по адресу dmoz.org, адрес www.dmoz.org является его зеркалом. В данный момент у Вас установлен серверный редирект с dmoz.org на www.dmoz.org:

$ telnet dmoz.org 80
HEAD / HTTP/1.0
Host: dmoz.org
Accept-Charset: windows-1251
User-Agent: Yandex/2.01.000 (compatible; Win16; Dyatel; C)

HTTP/1.0 301 Moved Permanently
MIME-Version: 1.0
Server: ArtBlast/3.5.5
Date: Mon, 17 Dec 2007 10:24:24 GMT
Expires: Mon, 17 Dec 2007 10:54:24 GMT
Content-length: 86
Content-type: text/html
Location: http://www.dmoz.org/
Connection: close

Страницы, с которых стоит серверный редирект, удаляются роботом из базы. Чтобы вернуть сайт в базу Яндекса, необходимо снять редирект, тогда сайт вновь начнет индексироваться по адресу dmoz.org. Если для Вас важно, чтобы сайт индексировался именно по адресу www.dmoz.org , есть два пути:
1. оставить все как есть, но скорректировать robots.txt, добавив в него:
User-agent: Yandex
Disallow:
Host: www.dmoz.org

Важно: блоки указаний роботам должны разделяться пустой строкой. После этого надо будет дождаться захода на сайт робота зеркальщика, он отследит изменения и переклеит сайты по адресу, указанному в Host. Процесс переклейки в среднем занимает до 4–6 недель, ускорить его, к сожалению, нельзя. В этом случае сайт появится в базе Яндекса только после того, как произойдет «переклейка».

2. снять редирект, скорректировать robots.txt так, как указано выше. В этом случае сайт вернется в базу Яндекса по адресу dmoz.org, после переклейки в базе появится www.dmoz.org.

—
С уважением, Платон Щукин
Служба поддержки Яндекс.Ру

По состоянию на 30 декабря 2007 года, в индексе Яндекса появилось около 16-и страниц ODP, включая главную — www.dmoz.org, которая теперь выдаётся поисковой машиной на первом месте по запросу «DMOZ». Возможно, совсем скоро, нам предстоит увидеть полное возвращение Каталога в индекс поисковика (добавлено 30 декабря 2007 года).

По состоянию на 12 января 2008 года, в индексе Яндекса появилось 9 052 страницы Открытого Каталога. Теперь, с полной уверенностью можно говорить о том, что DMOZ возвращается в индекс поисковика (добавлено 12 января 2008 года).

Вчера, 12 декабря 2007 года, обновился Каталог Google. В него перекочевали все изменения в Открытом Каталоге из RDF дампа от 12 декабря 2007 года, который, в свою очередь, включил в себя все изменения до 8 декабря 2007 года. Предыдущий раз обновление Google своего Каталога было 18 августа 2007 года, оно включило в себя изменения в DMOZ из RDF дампа от 7 августа 2007 года, который, в свою очередь, включил в себя все изменения до 22 июля и часть из изменений, произошедших до 2 августа 2007 года.

Необходимо также отметить, что скрытые обновления Каталога Google, происходят регулярно, но их результаты не переходят в видимую для обычных посетителей часть, а доступны только при поиске по Каталогу.

Между нынешним и предыдущим обновлениями прошло около 4 месяцев, что наводит на мысль о повторном появлении у Google постоянного графика обновлений и отметает предположения о скорой ликвидации им своего Каталога.

Mozzie Awards — это частично серьёзный, а частично и нет, набор номинаций, присуждаемых по результатам голосования редакторов Открытого Каталога, в различных областях.

Как можно заметить из Project 17. Year End Mozzies 2007, в текущий момент, в DMOZ уже успело завершиться выдвижение кандидатов на победу в самых различных номинациях текущего сезона, проходившее с 21 ноября по 7 декабря 2007 года, и проходит голосование, которое началось 9 декабря и продлится по 28 декабря 2007 года.

О победителях этого сезона, мы сообщим Вам в одном из следующих постов, уже после завершения голосования.

А пока, давайте вместе вспомним победителей за предыдущие 5 лет в наиболее интересных для нас номинациях: Best World/Russian Editor и Best New World/Russian Editor. читать далее...