Современное продвижение сайтов — Robots.txt
Robots.txt – это файл с текстом, позволяющий ограничивать поисковой системе доступ к контенту на HTTP-сервере. Иначе говоря, это единственный стандарт в виде исключения, который не проверяется роботами в поисковых системах Google или Yandex. Такое правило было полноценно разработано в 2001 году, и оно по-прежнему активно используется. В данном текстовом файле имеется набор параметров, предназначенный поисковым системам. Если изучать каждый параметр ... Подробнее...