При получении запроса от пользователя поисковая система выдаёт ответ в виде списка ссылок на сайты, в которых содержится затребованная пользователем информация; указанные ссылки сопровождаются небольшим текстом, как правило, взятым со страницы, на которую ведёт ссылка, или взятым из мета-тега Description (если такой имеется).
Как работает поисковик?
Каждый поисковик имеет определённое количество роботов-обходчиков. Задача каждого робота периодически обходить сайты, индексировать новые страницы, сохранять их в своей базе, а так же делать переобход уже проиндексированных страниц с целью обнаружения внесённых изменений. При получении запроса поисковая система находит в своей базе данных страницы сайтов, которые соответствуют полученному запросу и выдаёт их адреса с сопроводительным текстом пользователю.
Именно поэтому вновь созданная страница сайта не сразу попадает в выдачу; страница попадёт в выдачу только после того, как робот-обходчик проиндексирует данный документ. Однако у поисковых систем есть инструменты, которые позволяют указать роботам, что на вашем сайте появилась новая страница и нужно её обойти, что значительно ускоряет процесс индексации, а значит и время появления страницы в выдаче.
Зачем нужно несколько разных роботов
У каждого робота-обходчика своя определённая задача. Например, у Яндекса этих роботов аж 32! Это и основной индексирующий робот, робот-зеркальщик, роботы, работающие с рекламой и многие другие. Более подробно вы можете прочитать об этом на странице Я.Помощи по адресу:
https://yandex.ru/support/webmaster/robot-workings/check-yandex-robots.html#check-yandex-robots
Какие страницы индексируют поисковики
Роботы могут индексировать практически все страницы (за исключением некоторых случаев, например, если страница очень большая, более 10 Мб), но при условии, что индексация этих страниц, а так же самого сайта разрешена; разрешение прописывается в мета-теге Robots.
В CMS Joomla в каждом материале имеется вкладка Публикация, где вы можете указать соответствующее значение для этого мета-тега. Вы можете разрешить роботам проводить индексацию страницы и переходить по ссылкам, либо только одно из этих действий, либо полностью запретить и то, и другое.
Так же в общих настройках сайта (Система > Общие настройки) на вкладке Сайт в разделе Настройка метаданных вы можете установить такие же разрешения, но касающиеся всего сайта.
Какие страницы попадают в выдачу
Как поисковая система определяет, какие страницы должны попасть в выдачу? Принцип такого определения прост: чем точнее совпадает запрос пользователя с информацией на сайте, тем больше вероятность попадания страницы в выдачу. Именно для этого в каждом материале указываются определённые слова в мета-теге Keywords, однако это не гарантирует, что поисковая система воспользуется указанными словами.
При написании текстов для материалов желательно учитывать наиболее частые запросы пользователей по теме материала, причём именно в том варианте, в котором эти запросы прописываются в строке поиска. Что бы узнать наиболее частые запросы, воспользуйтесь сайтом https://wordstat.yandex.ru/. Всё это более подробно описано в части 1 главе 4 ("Создание материалов").
Как ускорить процесс индексации
Для управления многими процессами, связанными с вашим сайтом, нужно использовать Яндекс.Вебмастер (или аналогичный сервис для поисковика Google). Здесь вы можете указать, какие страницы нужно обойти в приоритетном порядке, какие страницы удалить и многое другое. Подробно работа с Яндекс.Вебмастером описана в первой части.