Гарантий того, что такой каталог действительно охватывает все содержимое WWW, никто не даст, однако возможная не полнота и даже однобокость подбора материалов с лихвой искупается там, что пока еще не под силу никакому компьютеру — осмысленность отбора.
Предметные каталоги предоставляют и возможность поиска по ключевым словам. Однако поиск этот происходит не в содержимом самих WWW-серверов, а в их кратких описаниях, хранящихся в каталоге.
Предметные каталоги Internet можно пересчитать буквально на пальцах, так как их создание и поддержка требуют огромных затрат. К наиболее известным относятся Yahoo, WWW Virtual Library, Galaxy и некоторые другие.
Yahoo.
Наиболее популярен у населения Internet каталог Yahoo. На первой же странице Yahoo, расположенной по адресу http://www.yahoo.com, вы получаете доступ к двум основным методом работы с каталогом — поиску по ключевым словам и иерархическому древу разделов.
Начав спуск по разделам каталога, вы увидите, что каждый раздел содержит точно такое же поле для ввода ключевых слов и кнопку Search, запускающую поиск.
Каждый раздел может включать в себя как перечисление входящих в него подразделов, так и собственно ссылки на страницы, относящиеся сразу ко всему разделу, с их краткими описаниями.
Вместо путешествия по дереву подраздела вы можете сразу попасть в нужное место каталога Yahoo с помощью поиска. Введя одно или несколько ключевых слов, разделенных пробелами, в строку поиска и нажав кнопку Search, вы получите список всего в Yahoo, что содержит в себе указанные ключевые слова. Этот список будет разделен на две части — “categories” и “sites”.
Если общее количество ссылок, возвращенных в результате поиска, превышает 25, список ссылок будет разбит на несколько частей.
Автоматическим поиском можно воспользоваться не только с главной страницы Yahoo, но и из любого подраздела; при этом специальный переключатель, расположенный под полем ввода ключевых слов, позволяет либо ограничить поиск текущим разделом и его подразделами, либо искать во всем каталоге (Черил, 1998).
Magellan.
Но не редко случается так, что выдаваемый машиной список очень велик и просмотреть его просто не реально. Выходом из этой ситуации может стать более строгий отбор информации, заносимой в каталог. Одна из самых известных систем такого рода — каталог Magellan по адресу: http://www.mckinley.com
Эта база данных содержит сведения о 80 тысячах WWW-страниц — что очень не много в сравнении с теми миллионами, которые существуют в сети. Однако если Yahoo в качестве описания ресурса использует одну-две строчки текста, то сотрудники системы Magellan на некоторые из страниц, заносимые в их базу данных, сами пишут небольшие рецензии, а также оценивают качество этих информационных ресурсов по пятибалльной шкале. По мимо базы рецензий, Magellan владеет так же собственным автоматическим индексом, для поиска в котором нужно перебросить переключатель под полем ввода в положение entire database.
Как правило запрос представляет собой одно или несколько ключевых слов, разделенных пробелами (Кирсанов, 1996).
Point.
Схожая по своим принципам служба фирмы Point (http://www.pointcom.com) вообще основной упор делает не на поиск, а на работу с тематическим каталогом.
Служба Point известна в сети тем, что ее сотрудники постоянно заняты оцениванием сетевых ресурсов и ведут списки тех узлов, которые они считают принадлежат к “лучшим пяти процентам WWW”.
Сама фирма Point Ведет общедоступную базу данных всех “пятипроцентных WWW-страниц, где о каждой можно прочитать подробную лицензию (Хоникарт, 1996).
Virtual Library.
Самым старым предметным каталогом WWW является каталог Virtual Library:
http://www.w3.org/hypertext/DataSources/bySubject/Overview.html
Эта система достаточно полно охватывает научную прослойку WWW - серверы университетов, лабораторий и учебных заведений.
Russia-On-Line Subject Guide.
Для пользователей в нашей стране определенный интерес может представлять тематический каталог Russia-On-Line Subject Guide, расположенный по адресу http://www.online.ru/rmain. Этот каталог содержит довольно пестрое собрание ссылок на зарубежные источники плюс тематический обзор российских и русскоязычных ресурсов WWW.
2.2.Автоматические индексы.
К проблеме поиска информации в Internet можно подойти и с другой стороны. Существуют программы в которые загрузили несколько тысяч общеизвестных URL-адресов. Будучи запущена на компьютере с доступом к WWW, эта программа начинает автоматически скачивать из сети документы по этим URL, причем из каждого нового документа она извлекает все содержащиеся в нем ссылки и добавляет их в свою базу адресов. Поскольку в конечном счете все WWW документы связаны между собой, рано или поздно такая программа обойдет весь Internet.
Разумеется, программа не может ни понять ни как либо классифицировать то, что она видит в сети. Программы такого типа называются роботами. Они ограничиваются сбором статистической информации и построением словоуказателей (индексов) по текстам документов. Собираемая роботом база данных — индекс — хранит в себе, попросту говоря, сведения о том в каких WWW-документах содержаться те или иные слова.
Именно такой автоматически собираемый индекс и лежит в основе поисковых систем второго рода, которые часто так и называют — автоматические индексы.
Автоматический индекс состоит из трех частей: программы-робота, собираемой этим роботом базы данных и интерфейса для поиска в этой базе, с которым работает пользователь. Все эти компоненты вполне могут функционировать без вмешательства человека.
Поскольку какая-либо классификация или оценивание материалов в системах такого рода отсутствуют, к ним следует прибегать только тогда, когда вы точно знаете ключевые слова, относящиеся к тому, что вам нужно, — скажем, фамилию человека или несколько достаточно редких терминов из соответствующей области. если же задать поиск по сколько-нибудь распространенным словам, то вам не хватит жизни, чтобы обойти все полученные в результате поиска URL-адреса, — к примеру, индекс системы Alta Vista содержит 11 миллиардов слов, извлеченных из 30 миллионов WWW-страниц.
Автоматических индексов WWW-страниц существует немало: WebCrawler, Lycos, Excite, Inktomi, Open Text и другие. Некоторые из них (например, Lycos) представляют собой более или менее удачный синтез предметного каталога и автоматического индекса.
Alta Vista.
Ее адрес http://altavista.digital.com . Эта система появилась в декабре 1995 года. Она один из самых больших по объему индексов из всех поисковых систем такого рода и самые мощные и гибкие правила построения запросов. Alta Vista понимает два разных языка запросов, довольно сильно отличающихся друг от друга. На первой странице Alta Vista вы видите бланк для простого запроса (Simple Search), а панель заголовка вверху страницы содержит кнопку Advanced Search, нажав которую, вы получите бланк для усложнения запроса.
Кроме WWW-страниц, Alta Vista ведет отдельный индекс для статей из более чем 14000 конференций Usenet (включая иерархию групп relcom.*).
Поиск Alta Vista: чтобы Alta Vista срабатывала на группе слов, только когда они стоят рядом, нужно заключить эту группу в кавычки. Если необходимо исключить из результата все документы, содержащие определенное слово, необходимо приписать это слово со знаком “минус”.
Слово без всякого знака действует в запросе точно так же, как и оно же со знаком “плюс”.
В отличие от Yahoo, по умолчанию Alta Vista ищет вхождения целых слов, т. е. заказанные термины должны стоять в документе обособленно, а не быть частью других цепочек символов. Если же вам нужно найти все вхождения слова, даже когда оно входит в состав других слов, пользуйтесь символом *. звездочка может стоять только в конце слова, а чтобы предотвратить обвальный поиск, дающий слишком много результатов, Alta Vista требует, чтобы слово, заканчивающееся на *, состояло не менее чем из 3 букв. Более того, символ * позволяет найти не любое окончание слова, а только не превышающее длину пяти символов и не содержащее заглавных букв или цифр.
Результаты поиска Alta Vista, как и Yahoo, выдает в виде списка ссылок на документы, но вместо описания каждого документа рядом с его заголовком вы увидите просто первые несколько строк его текста. Если найдено будет больше 10 документов, Alta Vista разобьет их список на страницы по 10 ссылок на каждой. Alta Vista сортирует ссылки так, чтобы на первом месте стояли “самые важные” документы с вашими ключевыми словами при определении степени важности учитывая следующие факторы:
* входят ли ключевые слова в заголовок документов;
* содержатся ли эти слова в первых нескольких строках документов;
* насколько близки друг к другу в тексте обнаружены ключевые слова (Кирсанов, 1996).
Но данная поисковая система содержит массу факультативных функций. К таковым относится, например, возможность определять количество ссылок в WWW на конкретную страницу, то есть судить, насколько она популярна или же, наоборот, выяснить, сколько ссылок на внешние страницы содержится на данном узле, вернее, сколько из них отражены в индексных файлах Ultraseek. Использование специальной функции Imageseek позволяет находить в Internet изображения (рисунки, фотографии) на определенную тему. Infoseek имеет также один из лучших справочников ресурсов Сети.