Albero-kuhni.ru

Доходы и заработок
0 просмотров
Рейтинг статьи
1 звезда2 звезды3 звезды4 звезды5 звезд
Загрузка...

Поисковики информации в интернете

Как правильно организовать поиск в Интернете

Проблема поиска во Всемирной паутине не в том, что информации мало, а в том, что ее много. Поиск информации в Интернете — краеугольный камень эффективной работы в Сети. Владение навыками поиска делает Интернет для пользователя полезным как во время работы, так и во время отдыха.
Для организации поиска в Интернете существуют специализированные службы, называемые поисковыми системами.

Поисковые системы.

Поисковые системы — программно-аппаратный комплекс с web -интерфейсом, предоставляющий возможность поиска информации в Интернете.
Большинство поисковых систем ищут информацию на сайтах Всемирной паутины, но существуют также системы, способные искать файлы на FTP-серверах, товары в интернет-магазинах, а также информацию в группах новостей Usenet. Для поиска информации с помощью поисковой системы пользователь формулирует поисковый запрос. По запросу пользователя поисковая система генерирует страницу результатов поиска. Такая поисковая выдача может сочетать различные типы файлов, например: веб-страницы, изображения, аудиофайлы. Некоторые поисковые системы также извлекают данные из баз данных и каталогов ресурсов в Интернете.
Цель поисковой системы заключается в том, чтобы находить документы, содержащие либо ключевые слова, либо слова как-либо связанные с ключевыми словами. Поисковая система тем лучше, чем больше документов, релевантных запросу пользователя, она будет возвращать. Результаты поиска могут становиться хуже из-за особенностей алгоритмов. Например, на запрос домашние животные поисковый сервер «Яндекс» (подробнее о нем см. ниже) выдает более 14 000 000 ссылок на страницы, содержащие нужные, на его взгляд, сведения. Однако далеко не все так гладко: при посещении некоторых найденных страниц выясняется, что искомой информации на них недостаточно, а то и вовсе нет.
Чтобы искать с максимальной результативностью необходимо знать как работают поисковые серверы и правильно составлять запрос на поиск информации.

Принципы работы поисковых систем

Поисковые системы работают, храня информацию о многих web -страницах, которые они получают из HTML страниц. Основные составляющие поисковой системы: поисковый робот, индексатор, поисковик. Обычно системы работают поэтапно. Сначала поисковый робот получает контент, затем он просматривает содержимое web -сайтов. Только после этого индексатор генерирует доступный для поиска индекс. Индексатор — это модуль, который анализирует страницу, предварительно разбив её на части, применяя собственные лексические и морфологические алгоритмы.
В основе работы большинства современных поисковиков лежит индекс цитирования, который вычисляется индексатором в результате анализа ссылок на текущую страницу с других страниц Интернета. Чем их больше, тем выше индекс цитирования анализируемой страницы, тем выше эта страница будет отображена в результатах поиска и тем выше страница будет представлена в списке найденных ресурсов.

Правила построения поисковых запросов

Как уже отмечалось, в Интернете существует множество поисковых серверов, отечественных и зарубежных.
Российские поисковые серверы: Яндекс (www.yandex.ru); Рамблер (www.rambler.ru); Апорт (www.aport.ru) и Gogo ( www . gogo . ru ).

Зарубежные поисковые серверы: Google ( www . google . com ); Altavista ( www . altavista . com ) и Yahoo ! ( www . yahoo . com ).
Для поиска на русском языке лучше подходят российские серверы, на иностранном — зарубежные, хотя, Google неплохо справляется с поиском на многих языках. Несмотря на заявления многих владельцев поисковых систем, что запросы могут быть написаны практически на языке, который люди используют для общения между собой, это далеко не так. Благодаря внедрению новых языковых технологий поисковые системы стали гораздо лучше понимать пользователя. Поисковики теперь ищут не только запрашиваемое слово, но и его словоформы, что позволяет делать результаты поиска более точными. Например, если в поисковом запросе присутствует слово умный, то его результаты будут содержать не только это слово, но и его производные: умного, умная, а также ум и даже разум. Естественно, страницы со словоформами будут не в числе первых результатов поиска, но элементы искусственного интеллекта налицо. Этот факт полезно учитывать при построении поисковых запросов.
Следует помнить о том, что поисковые системы при обработке запроса не учитывают регистр символов, а применять знаки препинания в поисковых запросах вовсе не обязательно, так как они также игнорируются поисковыми серверами. Однако при построении сложных расширенных запросов, результаты поиска по которым обычно гораздо ближе к ожидаемым, используют традиционные знаки препинания. Большинство поисковых систем может бороться с опечатками. Если поисковому серверу покажется, что в слове допущена ошибка или опечатка, то он предупредит об этом той же фразой: Быть может, вы искали….

Cлова для запроса поисковому серверу

Есть выражение «Машина должна работать, человек — думать», и сказано оно как раз о такой ситуации. Задача пользователя при составлении поискового запроса — выделить ключевые слова, задача поискового сервера — наилучшим образом обработать введенный запрос. Рассмотрим пример, иллюстрирующий типичные ошибки начинающих пользователей при поиске в Интернете. На запрос «Загадки о музыкальных инструментах» поисковик не выдал полезных результатов. Тогда пользователь решает исправить запрос, дополнив его и написав: «Загадки для детей о музыкальных инструментах» — результаты поиска оказались еще хуже предыдущего. Для данного примера неплохим решением явился поиск по ключевому слову «загадки». В Интернете много таких сайтов, а зайдя на сам сайт и немного поискав по его разделам, вполне можно найти интересующую информацию. Сформулируем несколько правил составления запросов:

  • выбирайте только самые важные ключевые слова, касающиеся рассматриваемой темы;
  • слов не должно быть слишком много, но и не слишком мало;
  • при неудовлетворительных результатах поиска, используйте более «мягкие» условия для запроса или попробуйте поискать в другой поисковой системе, т.к. механизмы работы поисковиков неодинаковые, следовательно, результаты также могут различаться.

Расширенный поиск

Для обеспечения более эффективного поиска в Интернете поисковые системы предоставляют возможность расширенного поиска, а также поиска с использованием языка запросов. Расширенный поиск — возможность поиска с указанием множества различных параметров. Для этого в поисковиках предусмотрены отдельные страницы, на которых можно задать такие параметры. Принципы работы расширенного поиска похожи у большинства поисковиков.
Рассмотрим дополнительные возможности поиска на примерах поисковиков Яндекс и Google потому что Яндекс — самый популярный поисковый сервер в русскоязычном Интернете, а Google — самый популярный поисковик в мире. При поиске в Интернете «Яндекс» одним из первых стал учитывать морфологию русского языка, то есть использовать различные формы слова, о чем говорилось выше. Зайдя на сайт www.yandex.ru, пользователь может ввести запрос и тут же получить результаты поиска, а можно использовать ссылку Расширенный поиск, используя пиктограмму , и перейти на соответствующую страницу (см. рисунок ниже), на которой тонко настроить параметры поиска.

Страница расширенного поиска «Яндекса»

Рассмотрим дополнительные возможности, которые можно использовать на странице расширенного поиска: указать собственное местоположение (Москва), указать в каком виде должна быть представлена информация (Тип файла), период времени в котором ищем информацию (за сутки, за 2 недели, за месяц, От..До), на каком языке должна быть представлена информация (Русский, Английский Еще), а также можно указать URL -адрес сайта и т.д
Выбор (Точно как в запросе) указывается поисковику для того, чтобы морфологию слов запроса не изменять, а искать только ту форму слова, которая задана.

Читать еще:  Работа через интернет с ежедневной

Язык запросов

Язык запросов — система команд, позволяющая изменять параметры запроса из основной строки поиска с помощью специальных команд. Ориентирован на опытных пользователей.
Поскольку язык запросов достаточно сложен и объемен, приведем лишь основные его конструкции, которые могут быть наиболее востребованы пользователями. Некоторые команды языка запросов «Яндекса» представлены в таблице.

Поисковики информации в интернете

Полезные советы

При поиске нужной вам информации, лучше использовать несколько поисковых систем, этим вы повысите эффективность ваших запросов.

Поиск по сайту

Поиск информации в Интернете

Для поиска информации в обычно используются три способа (См. Рис.1). Первый из них — поиск по адресу. Он применяется, когда пользователю известен адрес информационного ресурса, содержащего необходимую ему информацию. При организации поиска информации по адресу (форма адреса — IP, доменный или URL — в этом случае значения не имеет) пользователю достаточно просто ввести адрес ресурса в соответствующее поле браузера – программы, предназначенной для обеспечения доступа к сетевым ресурсам.

Рис. 1. Способы поиска информации в гипертекстовых базах данных

Второй – поиск с помощью навигации по гиперсвязям. При использовании этого вида поиска случае пользователь сначала должен получить доступ к серверу, связанному с соответствующей БД. После этого можно найти документ, используя гиперссылки. Очевидно, что этот способ удобен, когда адрес ресурса неизвестен пользователю. Для использования в качестве исходной точки для поиска при реализации этого способа предназначены Web-порталы — серверы, предоставляющие прямой доступ к некоторому множеству серверов, включая установленные на них информационные ресурсы, а также Web-приложения, которые реализуют Web-сервисы, соответствующие назначению портала. Доступные через портал серверы могут относиться к определенной системе (например — корпоративной) или различным системам и быть специально подобраны по видовому, тематическому или другим признакам документов и данных, содержащихся на их сайтах. Обычно порталы совмещают в себе разнообразные функции с целью удержать клиента как можно дольше. Доминирующим сервисом портала является сервис справочной службы: поиск, рубрикаторы, финансовые индексы, информация о погоде и т.д. Если Web-сайты в большинстве случаев представляют собой наборы статических Web-страниц, то порталы являются совокупностями программных средств и заранее неструктурированной информации, которую эти средства превращают в структурированные данные по запросу конкретных пользователей.

Третий способ поиска предполагает использование поисковых серверов Интернета. Поисковыми серверами называют выделенные хост — компьютеры, в которых размещаются базы данных ресурсов Интернета. Пользовательский интерфейс такого сервера имеет поле для ввода ключевых слов, описывающих тему, интересующую пользователя (См. Рис. 2).

Рис.2. Вид окна поискового сервера системы Яндекс

Эти слова сервер воспринимает как информационный запрос, в соответствии с которым он осуществляет поиск ресурсов и представляет список найденных документов пользователю. Очевидно, что при реализации этого способа возможны ошибки как 1-го (пропуск цели), так и 2-го рода (информационный шум). Следует упомянуть, что различаются две группы поисковых серверов: поисковые машины и предметные каталоги. Их отличие обусловлено способом создания и последующего пополнения базы данных ресурсов Интернета, которой данный сервер осуществляет информационный поиск. Так, поисковые машины имеют в своем составе специальную программу — поисковый робот. Она осуществляет постоянный мониторинг сети, собирает информацию с Web- страниц, индексирует их и фиксирует их поисковый образ в своей базе данных. В предметных каталогах база данных о документах Интернета формируется «вручную» специалистами-редакторами. Поскольку в Интернете отсутствует единое администрирование, постольку его информационные ресурсы постоянно меняются. В нём могут появляться новые и исчезать существующие документы. Частота обновления информации в документах для разных сайтов различна: для некоторых — это несколько раз в час, для некоторых — раз в сутки, день, месяц и т.д. Поэтому очень важно понимать, что при использовании информационно-поисковых систем для нахождения информации в Интернете, поиск осуществляется не на реальном пространстве документов Сети, а в некоторой модели, содержание которой может значительно отличаться от действительного содержания Интернет в момент проведения поиска. По степени охвата индексируемых ресурсов поисковые системы можно разделить на две группы: международные и русскоязычные. Первые индексируют все опубликованные в Интернете документы подряд. Вторые индексируют ресурсы, расположенные в доменных зонах с преобладанием русского языка. Список наиболее популярных систем приведен в Табл. 1.

Табл. 1. Наиболее популярные поисковые системы

Поиск информации в сети Интернет

Что такое поисковые системы, и для чего они нужны

В глобальной сети Интернет можно найти информацию по любой интересующей теме. Но самое трудное в работе с сетью Интернет — найти нужную информацию. Т. к. Интернет не имеет четкой централизованной структуры, развивается хаотично, и в мире появляются все новые и новые серверы, вопросы поиска информации становятся очень актуальными.

Поисковые системы значительно облегчают работу в Интернет и помогают нам быстро найти нужную информацию в огромном массиве серверов Интернет. Во всемирной паутине Интернет находится несколько тысяч поисковых систем, среди которых есть как уже хорошо зарекомендовавшие себя, так и менее известные.

Наиболее популярные поисковые системы

  • Яндекс — средство полнотекстового поиска информации с учетом морфологии русского языка; поиск по сайтам, своему каталогу, новостям, товарам, географическим картам, словарям, блогам, картинкам, документам Microsoft Office и adobe acrobat PDF
    • Яндекс: Расширенный поиск
    • Яндекс — краткий вариант страницы поиска
    • Все сервисы Яндекса
  • Rambler (ОАО «Рамблер Интернет Холдинг») — поиск по сайтам с учетом морфологии русского и английского языков; имеет и каталоговую систему поиска.
    • Rambler Lite: поисковая система — краткий вариант страницы поиска
    • Все проекты Рамблера
  • Поисковый сервис Спутник (ОАО «Ростелеком») — поиск по сайтам, госуслугам и др.; безопасный поиск
  • NIGMa — интеллектуальная поисковая система (МГУ им. М. В. Ломоносова и Stanford University) — поиск документов, картинок, книг, новостей через Google, Yahoo, MSN, Yandex, Rambler, altavista, Апорт; также система предоставляет уникальный поиск по химическим формулам и реакциям
  • Google — поиск по сайтам (есть возможность поиска по русскоязычным сайтам); поиск документов в форматах adobe acrobat PDF, Microsoft Office, PostScript, Corel WordPerfect, Lotus 1-2-3 и др.; поиск картинок, видео, новостей, поиск по картам; возможность поиска по русскоязычным и российским сайтам; есть система перевода текста на др. языки (49 языков)
    • Google Расширенный поиск
    • Все Продукты Google
  • Bing (Microsoft Corp.) — поиск по сайтам, изображений и видео; возможность поиска по русскоязычным и российским сайтам; есть система перевода текста на др. языки (22 языка)
  • Yahoo! (Yahoo) — поиск по сайтам, адресам E-Mail и др.
Читать еще:  Перечень поисковых систем интернета

Каждая из поисковых систем имеет какие-то свои достоинства и недостатки, которые определяются принципом работы поисковой машины, удобством использования, ее оформлением, сложностью языка запросов, наличием различных расширенных функций (управление форматом и ранжированием выводимой информации, исправление орфографических ошибок и ошибочной раскладки клавиатуры при вводе ключевых слов, перевод страницы на др. языки т. д.), скоростью работы, и др. параметрами. Выбор поисковой системы для конкретного применения определяется целью поиска, характером искомой информации, желаемым форматом выводимых данных и шириной охвата отслеживаемых адресов серверов в мире Интернет.

Поиск по ключевым словам. Язык запросов поисковой системы

Поисковая система обычно имеет поле для ввода ключевых слов, по которым она находит документы, содержащие эти ключевые слова. Чем лучше (качественнее) составлен запрос к поисковой машине, тем меньше общее количество найденных документов, и больше из них документов, соответствующих тому, что Вам требуется. Если запрос очень простой или составлен неграмотно, то поисковая машина может Вам выдать несколько миллионов документов, которые Вам не просмотреть за всю жизнь.

Используя язык запроса, содержащий логические операции (логические операторы AND, OR, NOT, скобки и др.), префиксы обязательности присутствия ключевых слов в документе «+» и «-» (при,поиске по узкоспециализированным терминам — предпочтительней использовать), расположения ключевых слов в документе рядом или на определенном расстоянии и т. д.) и др. элементы, и большее количество связанных ими ключевых слов, можно значительно сузить область поиска и более качественно составить запрос к поисковому серверу. Следует учитывать, что разные поисковые системы могут иметь как различающиеся языки запросов, так и очень похожие.

На сайтах поисковых систем обычно есть ссылки на справочную информацию по использованию поисковых сервисов, языков запросов, рекомендации по поиску и т. д.

Некоторые поисковые системы дополнительно имеют функцию расширенного поиска, позволяющую пользователю более точно описать то, что ему конкретно нужно и без знания языка запроса. Функцию расширенного поиска имеют, например, поисковые системы Яндекс и Google.

Основные типы поисковых систем. Какой поисковой системой воспользоваться

Существует 2 основных типа поисковых систем Интернет: индексные и классификационные (каталоговые). Индексные поисковые системы (например, Яндекс, Rambler, Спутник, Google, Bing и др.), работая в автоматическом режиме обновления своей информации, просматривают в Интернет содержимое серверов, индексируя информацию, содержащуюся в них и внося информацию о расположении слов на страницах сайтов в свои базы данных. Каталоговые системы поиска (например, Rambler, Yahoo! и др.) содержат тематически структурированный каталог серверов, и чаще всего пополняются вручную. Обычно на WWW-странице классификационной поисковой системы содержится и поле для ввода ключевых слов для поиска в собственной базе данных. В каталоговой системе поиска можно, начав с более крупной тематической рубрики, и постепенно спускаясь дальше по рубрикам, прийти к ссылке на нужный Вам сайт. В одних случаях бывает удобней воспользоваться первым типом поисковых систем, в других — вторым. Есть поисковые системы, сочетающие в себе оба принципа работы. В частности, многие индексные поисковые системы имеют и каталоговую систему поиска. Также поисковые машины могут использовать и какие-то другие принципы методы поиска.

Многие поисковые системы преобразовались в Интернет-порталы, объединяющие в себе большое количество ресурсов и сервисов. На страницах таких порталов можно прочитать новости, ознакомиться с программой телепередач, узнать о погоде, курсах валют, воспользоваться картографическим сервисом и мн. др.

Наиболее популярные российские поисковые системы имеют возможности поиска с учетом особенностей русского языка.

Для поиска одновременно в нескольких поисковых системах можно воспользоваться так называемыми поисковыми метамашинами, обращающимися сразу к нескольким поисковым средствам, например, NIGMa.

Существуют также поисковые системы, специализирующиеся по поиску по одной какой-либо теме (например, по информационным технологиям, по музыке, по ресурсам, посвященные природе и т. д.)

Поисковые системы

Поисковые системы (ПС) уже давно являются обязательной частью интернета и нашей повседневной жизни. Сегодня они громадные и сложнейшие механизмы, которые представляют собой не только инструмент для нахождения любой необходимой информации, но и довольно увлекательные сферы для бизнеса.

Функции и понятие ПС

Поисковая система – это аппаратно-программный комплекс, который предназначен для осуществления функции поиска в интернете, и реагирующий на пользовательский запрос который обычно задают в виде какой-либо текстовой фразы (или точнее поискового запроса), выдачей ссылочного списка на информационные источники, осуществляющейся по релевантности. Самые распространенные и крупные системы поиска: Google, Bing, Yahoo, Baidu. В Рунете – Яндекс, Mail.Ru, Рамблер.

Рассмотрим поподробнее само значение запроса для поиска, взяв для примера систему Яндекс.

Запрос обязан быть сформулирован пользователем в полном соответствии с предметом его поиска, максимально просто и кратко. К примеру, мы желаем найти информацию в данном поисковике: «как выбрать автомобиль для себя». Чтобы сделать это, открываем главную страницу и вводим запрос для поиска «как выбрать авто». Потом наши функции сводятся к тому, чтобы зайти по предоставленным ссылкам на информационные источники в сети.

Но даже действуя таким образом, можно и не получить необходимую нам информацию. Если мы получили подобный отрицательный результат, нужно просто переформировать свой запрос, или же в базе поиска действительно нет никакой полезной информации по данному виду запроса (такое вполне возможно при заданных «узких» параметров запроса, как, к примеру, «как выбрать автомобиль в Туле»).

Самая основная задача каждой поисковой системы – доставить людям именно тот вид информации, который им нужен. Приучить же пользователей создавать «правильный» вид запросов к поисковым системам, то есть фразы, которые будут соответствовать их принципам работы, практически, невозможно.

Именно поэтому специалисты-разработчики поисковиков делают такие принципы и алгоритмы их работы, которые бы давали пользователям находить интересующие их сведения. Это означает, что система, должна «думать» так же, как мыслит человек при поиске необходимой информации в интернете.

Когда он вводит свой запрос в поисковую машину, он желает найти то, что ему надо, как можно проще и быстрее. Получив результат, пользователь составляет свою оценку работе системы, руководствуясь несколькими критериями. Получилось ли у него найти нужную информацию? Если нет, то сколько раз ему пришлось переформатировать текст запроса, чтобы найти ее? Насколько актуальная информация была им получена? Как быстро поисковая система обработала его запрос? Насколько удобно были предоставлены поисковые результаты? Был ли нужный результат первым, или находился на 30-ом месте? Сколько «мусора» (ненужной информации) было найдено вместе с полезными сведениями? Найдется ли актуальная для него информация, при использовании ПС, через неделю, либо через месяц?

Читать еще:  История создания интернета кратко

Основные характеристики поисковых систем

Полнота.

Точность.

Еще одна основная функция поисковой системы – точность. Она определяет степень соответствия запросу пользователя найденных страниц в Сети. К примеру, если по ключевой фразе «как выбрать автомобиль» найдется сотня документов, в половине из них содержится данное словосочетание, а в остальных просто есть в наличии такие слова (как грамотно выбрать автомагнитолу, и установить ее в автомобиль»), то поисковая точность равна 50/100 = 0,5.

Чем поиск точнее, тем скорее пользователь найдет необходимую ему информацию, тем меньше разнообразного «мусора» будет встречаться среди результатов, тем меньше найденных документов будут не соответствовать смыслу запроса.

Актуальность.

Это значимая составляющая поиска, которую характеризует время, проходящее с момента опубликования информации в интернете до занесения ее в индексную базу поисковика.

К примеру, на следующий день после возникновения информации о выходе нового iPad, множество пользователей обратилась к поиску с соответствующими видами запросов. В большинстве случаев информация об этой новости уже доступна в поиске, хотя времени с момента ее появления прошло очень мало. Это происходит благодаря наличию у крупных поисковых систем «быстрой базы», которая обновляется несколько раз за день.

Скорость поиска.

Наглядность.

Наглядное представление результатов является важнейшим элементом удобства поиска. По множеству запросов поисковая система находит тысячи, а в некоторых случаях и миллионы разных документов. Вследствие нечеткости составления ключевых фраз для поиска или его не точности, даже самые первые результаты запроса не всегда имеют только нужные сведения.

Это значит, что человеку часто приходится осуществлять собственный поиск среди предоставленных результатов. Разнообразные компоненты страниц выдачи ПС помогают ориентироваться в поисковых результатах.

История развития поисковых систем

Когда интернет только начал развиваться, число его постоянных пользователей было небольшим, и объем информации для доступа был сравнительно невеликим. В основном доступ к этой сети имели лишь специалисты научно-исследовательских сфер. В то время, задача нахождения информации не была столь актуальна как сейчас.

Одним из самых первых методов организации широкого доступа к ресурсам информации стало создание каталогов сайтов, причем ссылки на них начали группировать по тематике. Таким первым проектом стал ресурс Yahoo.com, который открылся весной 1994-ого года. Впоследствии когда количество сайтов в Yahoo-каталоге существенно увеличилось, была добавлена опция поиска необходимых сведений по каталогу. Это еще не было в полной мере поисковой системой, так как область такого поиска была ограничена только сайтами, входящими в данный каталог, а не абсолютно всеми ресурсами в интернете. Каталоги ссылок весьма широко использовались раньше, однако в настоящее время, практически в полной мере утратили свою популярность.

Ведь даже сегодняшние, громадные по своим объемам каталоги имеют информацию о незначительно части сайтов в интернете. Самым известным и большим каталогом в мире был DMOZ (прекратил работу 14 марта 2017 года) имеет информацию о пяти миллионах сайтов, когда база Google содержит информацию о более чем 25 миллиардов страниц.

Самой первой настоящей поисковой системой стала WebCrawler, возникшая еще в 1994-ом году.

В следующем году появились AltaVista и Lycos. Причем первая была лидером по поиску информации очень длительное время.

В 1997-ом году Сергей Брин вместе с Ларри Пейджем создал машину поисковую Google как исследовательский проект в Стэндфордском университете. Сегодня именно Google, самая востребованная и популярная поисковая система в мире.

В сентябре 1997-ом году была анонсирована (официально) ПС Yandex, которая в настоящий момент является самой популярной системой поиска в Рунете.

Доля поисковых систем

Принципы работы поисковой системы

Модуль индексирования.

Данный компонент состоит из трех программ-роботов:

Spider (по англ. паук) – программа которая предназначена для того чтобы скачивать веб-страницы. «Паук» скачивает определенную страницу, одновременно извлекая из нее все ссылки. Скачивается код html практически с каждой страницы. Для этого роботы используют HTTP-протоколы.

«Паук» функционирует следующим образом. Робот передает запрос на сервер “get/path/document” и иные команды запроса HTTP. В ответ программа-робот получает поток текста, который содержит информацию служебного вида и, естественно, сам документ.

Извлекаются все ссылки из тэгов. Вместе с ними обрабатывают редиректы. Любая скачанная страница сохраняется в таком формате:

  • URL скаченной страницы;
  • дата, когда осуществлялось скачивание страницы;
  • заголовок http-ответа сервера;
  • html-код, «тела» страницы.

Crawler («путешествующий» паук). Данная программа автоматически заходит на все ссылки, которые найдены на странице, а также выделяет их. Его задача – определиться, куда в дальнейшем должен заходить паук, основываясь на этих ссылках или исходя из заданного списка адресов.

Crawler, исследуя найденные ссылки, ищет новые документы, еще не ставшие известными поисковой системе.

Indexer (робот-индексатор) – это программа, анализирующая страницы, которые скачали пауки.

Индексатор полностью разбирает страницу на составные элементы и проводит их анализ, применяя свои морфологические и лексические виды алгоритмов.

Анализ проводится над разнообразными частями страницы, такими как заголовки, текст, ссылки, стилевые и структурные особенности, теги html и др.

Таким образом, модуль индексирования дает возможность проходить по ссылкам заданного количества ресурсов, скачивать страницы, извлекать ссылочную массу на новые страницы из полученных документов и делать подробный их анализ.

База данных

Поисковый сервер

Это самый важный элемент всей системы, потому что от алгоритмов, лежащих в основе ее функциональности, прямо зависит скорость и, конечно же, качество поиска.

Поисковый сервер работает следующим образом:

  • Запрос, который идет от пользователя подвергается морфологическому анализу. Информационное окружение любого документа, имеющегося в базе, генерируется (оно и будет в дальнейшем отображаться как сниппет, т.е. информационное поле текста соответствующего данному запросу).
  • Полученные данные передают как входные параметры специализированному модулю ранжирования. Они обрабатываются по всем документам, и в итоге для каждого такого документа рассчитывается свой рейтинг, который характеризует релевантность такого документа запросу пользователя, и иных составляющих.
  • В зависимости от условий заданных пользователем этот рейтинг вполне может быть подкорректирован дополнительными.
  • Затем генерируется сам сниппет, т.е. для любого найденного документа из соответствующей таблицы извлекают заголовок, аннотацию, наиболее отвечающую запросу, и ссылка на этот документ, при этом найденные словоформы и слова подсвечивают.
  • Результаты полученного поиска передаются осуществившему его человеку в виде страницы, на которую выдают поисковые результаты (SERP).

Все эти элементы тесно связаны между собой и функционируют, взаимодействуя, образовывая отчетливый, но достаточно непростой механизм функционирования ПС, требующий громадных затрат ресурсов.

Ссылка на основную публикацию
Adblock
detector