Для обеспечения адекватного рейтинга сайта на страницах результатов поиска важно, чтобы робот Google мог корректно сканировать и индексировать сайт.
3.2. Архитектура Google
По данным Comscore, за два последних месяца 2012 года этот поисковик обработал 114,7 млрд запросов — это соответствует 65,2% мирового рынка поиска. Показатели ближайшего конкурента, китайского Baidu, в восемь раз меньше. Да что там говорить, у психологов даже специальный термин есть — Google Effect: современным людям, оказывается, проще не запоминать факты, а в нужный момент отыскать их в интернете.
Такая популярность означает, что размеры поискового индекса Google не просто огромны: они трудновообразимы. Не все осознают, что когда мы вводим в поисковую строку насущный для нас запрос, то обращаемся к одному из самых крупных хранилищ данных в мире. Ещё поразительнее другое: для того чтобы отыскать в петабайтах информации ответ на наш запрос, Google хватает доли секунды.
Самым важным достижением Google является построение архитектурной пирамиды своего детища — аппаратно-программной структуры системы хранения и индексирования веб-контента, допускающей практически неограниченное масштабирование.
В основании пирамиды лежит кластерный массив, единичным узлом которого был недорогой и далеко не лучший по надёжности компьютер — сервер Google. Его архитектура была разработана в 2005 году. В то время как дорогостоящие отказоустойчивые кластеры использовали сложные системы резервного питания, каждый из серверов Google толщиной в 3,5 дюйма (2U в стоечной терминологии) имел собственную двенадцативольтовую батарейку.
Использование в качестве резервного источника питания не централизованной системы бесперебойного питания, а недорогих батарей, монтируемых прямо на сервере, многократно снизило затраты на аппаратную составляющую империи Google. Договориться с поставщиком материнских плат (на первых порах эту роль играла компания Gigabyte) о небольшой модификации блока распределения напряжения оказалось куда дешевле, чем городить отработанные кем-то решения по резервированию питания.
Google File System (GFS)— собственная файловая система, рассчитаная на работу в условиях, когда аппаратные и сетевые сбои являются нормой, а не чрезвычайной ситуацией. То есть они отказались от стандартных NFS и AFS.
MapReduce
- технология обработки данных на больших кластерах
. Эффективно хранить в распределённой и склонной к отказам среде поступающий контент и получаемую на его основе индексную базу, конечно же, здорово, однако самая суть работы любого поисковика — быстрый и экономичный алгоритм создания индексной базы. Ведь, в конце концов, именно благодаря ему наши ключевые слова в строке поиска превращаются в ссылки на конкретные ресурсы.
3.3. Роботы Google
Поисковыми роботами принято называть любые программы (такие как роботы или пауки), которые автоматически обнаруживают и сканируют веб-сайты, переходя по ссылкам от страницы к странице. Основной поисковый робот Google называется Googlebot. В следующей таблице приведены сведения о популярных поисковых роботах Google, регистрируемых в журналах источников ссылок. Кроме того, показано, как задавать этих роботов в файле robots.txt, в метатегах robots и в командах X-Robots-Tag HTTP.
Поисковый робот
Специализация/предназначение
Робот Googlebot (веб-поиск Google)
Основной робот
Googlebot News
Новостной (принцип быстрого робота)
Googlebot Images
Изображения
Googlebot Video
Видео контент
Google Mobile
Индексация мобильного контента.
Google Mobile AdSense
Мобильные объявления
Google AdSense
Сервис контекстной рекламы от Google.
Google AdsBot
Проверка качества целевой страницы
3.4. Оценка качества ресурсов
Руководство для веб-мастеров содержит технические рекомендации, советы по дизайну и обеспечению качества. Ниже приведены советы по оптимизации сайта для Google:
3.4.1. Предоставьте посетителям необходимую информацию
Создайте высококачественное содержание для своих страниц, особенно для главной. При разработке полезного и информативного сайта создавайте страницы с четким и точным описанием их тематики.
3.4.2. Приложите усилия, чтобы на других сайтах были ссылки на ваш сайт
Ссылки повышают вероятность обнаружения вашего сайта нашими сканерами и частоту его отображения в наших результатах поиска. Алгоритмы могут отличать естественные ссылки от неестественных.
3.4.3. Обеспечьте легкий доступ к своему сайту
Создавайте сайт с использованием логической структуры ссылок. На каждую страницу должен быть доступен переход хотя бы по одной статической текстовой ссылке.
Чего не следует делать:
Не заполняйте свои страницы списками ключевых слов, не пытайтесь публиковать разное содержание для поисковых систем и для пользователей, не создавайте страницы, предназначенные только для сканеров.
Не используйте изображения для показа важных имен и названий, а также другого важного содержания и ссылок. Робот не распознает текст, содержащийся в изображениях. Если основное содержание и ключевые слова на вашей странице нельзя перевести в обычный HTML-формат, используйте ALT.
Не создавайте несколько копий страницы под разными URL-адресами. Многие сайты содержат текстовые версии страниц и версии для печати, имеющие такое же содержание, как и соответствующие страницы с графикой. Если на вашем сайте хранится несколько страниц с одинаковым содержанием, вы можете указать URL канонической (предпочитаемой) версии для Google.
3.4. Специальные поисковые запросы
С помощью специальных поисковых запросов можно увидеть пример результатов, показывающих, как Google индексирует ваш сайт. Чтобы увидеть их полный список, воспользуйтесь оператором info:. Пример: info:google.com. Подробнее о каждом типе поиска рассказано ниже.
Памятка специальных запросов Google: https://support.google.com/webmasters/answer/35256?hl=ru
Глава 2.
Введение в поисковые системы. Формула ранжирования
Введение в поисковые системы. Формула ранжирования
1.1 Краткое введение в поисковые системы
1.2 Поисковая система глазами посетителя и владельца сайта
1.3 Формула ранжирования
1. Введение в поисковые системы
1.1 Краткое введение в поисковые системы
Поисковая оптимизация (searchengineoptimization, SEO) — комплекс мер для улучшения видимости сайта в результатах выдачи поисковых систем по определенным запросам пользователей с целью продвижения сайта. То есть в первую очередь смысл заключается в том, чтобы занять ТОПовые места в поисковых системах при выдаче определенных запросов необходимой тематики.
В Рунете особой популярностью пользуются следующие поисковые системы:
1-е место: Яндекс - 57.9% (основной поиск + поиск по картинкам)
2-е место: Гугл - 39.2% (основной поиск + поиск по картинкам)
3-е место: Поиск Mail.ru - 1.6%
4-е место: Рамблер - 0.12%
Остальные поисковики имеют менее процента доли поискового рынка в России.
С помощью специальных алгоритмов поисковые роботы собирают и индексируют информацию (заносят ее в базу данных, где она структурируется и располагается в определенном порядке). Когда пользователь вводит запрос в строку поиска, автоматически формируется обращение к базе данных. После этого система выдает в виде нумерованного списка наиболее релевантные (релевантность - степень соответствия запроса поисковой выдаче) документы. Сортировка документов (ранжирование - это процесс выстраивания найденных по запросу пользователя страниц в порядке наибольшего соответствия искомому запросу) и присвоение им позиции в поисковой выдаче осуществляется на основе их значимости.
Техники оптимизации можно разделить на две категории:
Белая оптимизация - работа над сайтом без применения официально запрещённых каждой поисковой системой методов раскрутки ресурса - без влияния на поисковые алгоритмы сайтов.
Чёрная оптимизация - методы, которые противоречат правилам поисковых систем. Среди них можно выделить следующие: использование скрытого текста на страницах сайта, использование «однопиксельных ссылок» и т.д. Последствия применение данной оптимизации: понижение позиции сайта на страницах результатов или в худшем случи - полное удаление сайта из индекса поисковика.
Резюмируем:
Что же такое SEO? В первую очередь, это комплекс методов. Они направлены на улучшение свойств видимости ресурса поисковой системой, влияние на степень ранжирования результатов поиска, получение целевого трафика. Профессия «SEO-оптимизатора» включает в себя не только раскрутку ресурса, не только «юзабилити-планирование», не только работу с контентом. Профессия SEO-оптимизатора подразумевает понимание психологии целевой аудитории, требует определённого уровня знаний web-технологий и общей грамотности.
1.2 Поисковая система глазами посетителя и владельца сайта
Сервис поиска – это коммерческое предприятие, ориентированное на прибыль. Цель поисковой системы – привлечь и удержать как можно большее количество пользователей, получая возможность зарабатывать на рекламе и ряде прочих аналогичных услуг или сервисов.
Чем больше людей пользуется поиском, тем больше рекламы можно продать, поэтому между поисковыми системами ведется конкурентная борьба – чтобы удержать пользователей, необходимо постоянно улучшать результаты поиска, строить качественную актуальную выдачу, а также предоставлять дополнительные услуги – игры, сервисы, приложения.