По какому принципу работают поисковые системы в интернете?
Принцип работы у всех популярных поисковых систем (Google, Bing, Yandex, Yahoo, etc) примерно одинаков: мощнейшие сервера поисковиков (роботы) сканируют всемирную сеть на предмет появления обновлений на сайтах и, при наличии таковых добавляют их в огромную базу данных (индексируют). Когда пользователь вводит запрос в строке поиска, поисковая машина проверяет базу данных на наличие соответствий и возвращает ему ссылки на те сайты, которые (по её мнению) наиболее точно подходят его запросу.
Но это слишком упрощенное и примитивное объяснение. На самом деле поисковые системы используют очень сложные механизмы для ускорения поиска и добавления новых страниц в базу. Причем точный принцип работы этих механизмов неизвестен никому, кроме их создателей.
Как поисковые системы находят новые сайты?
Ни один созданный сайт не остается незамеченным. Любой веб-ресурс имеет свое доменное имя (домен). Регистрацией всех доменов «заведует» международная организация ICANN. Международные домены управляются непосредственно ICANN, национальные домены — её дочерней организацией IANA. То есть, при регистрации нового домена, он регистрируется в специальном каталоге доменных имен, а регистрационные данные владельца доменного имени зачастую общедоступны.
Идем далее. Каждая страница на сервере (сайте) имеет свою дату создания и последнего изменения. Причем эта информация тоже общедоступна. Для каждого сайта в сети поисковая система ведет свою историю создания новых страниц и обновления уже существующих. Но она не спешит добавлять их в базу поиска (индексировать) при каждом обновлении сайта. Они индексируются только при значительном изменении контента (содержимого) страницы.
Какие сайты более приоритетные для поисковиков?
В первую очередь индексируются самые крупные и полезные ресурсы: сайты правительства (Белый Дом, Пентагон), корпораций (Microsoft, Adobe), новостные ресурсы, социальные сети и сервисы микроблоггинга (Twitter). Затем те, что считаются поисковыми роботами более важными. Важность (траст) сайта оценивается по множеству параметров: количеству ссылок на него с других сайтов (упоминаемость в Интернете), полезность содержимого для людей, количество страниц, регулярность обновления и т.п.
Особую роль в скорости индексации каждого отдельного сайта играют внешние ссылки. Чем больше других ресурсов (желательно той же тематики) ссылаются на ваш сайт, тем он предпочтительнее выглядит в глазах поисковой системы. Причем учитывается траст ссылающихся сайтов: одна ссылка с сайта Белого Дома значила бы намного больше чем миллион ссылок с форумов или сайтов на бесплатных хостингах. Понятное дело, сайт Белого Дома не будет ссылаться на рядовую web-страницу.
Как рассчитывается поисковая выдача?
Когда пользователь вводит поисковый запрос, поисковик (например, Google) смотрит в свою базу данных и находит там тысячи/миллионы сайтов, которые подошли бы по тематике этому запросу. Как он выбирает самый точный (релевантный) запрос? Точный ответ никому не известен, поскольку у каждой поисковой системы есть тысячи параметров, которые определяют положение каждого сайта в выдаче. Естественно они недоступны широкой публике.
Но есть параметры, которые более-менее известны. Один из самых основных — это частота вхождения ключевых слов (запроса, что вводит пользователь) на странице. Если слово лазерная указка повторяется в тексте несколько раз, логично предположить, что статья посвящена лазерным указкам. Причем поисковик с легкостью обнаруживает статьи, которые нашпигованы «искусственными» ключевыми словами (якобы для повышения позиций в выдаче) и исключает их из индекса.
Пример попытки искусственно добавить нужные ключевые слова
Также на позиции влияют количество ссылок на исходный сайт, его возраст (чем старше — тем лучше), скорость загрузки страниц и т.п.
Влиянием на поисковую выдачу занимается целая коммерческая отрасль — SEO (Search Engine Optimization). Но «влияние» — это громко сказано, ибо нельзя влиять на то, что неизвестно как работает. Поэтому конечная цель SEO — сделать сайт более качественным, обеспечить наполнение его полезным содержимым, сделать привлекательным для конечного пользователя, в надежде на то, что поисковик это заметит и «подвинет» его выше в поисковой выдаче по нужному запросу.
Стоит ставить корректно вопрос, и понимать, что поисковая система не решебник по географии.