Полезные ресурсы

Вы нашли интересный сайт, но думаете, что что-то пропустили?

Прочитайте файл robots.txt.

Он сообщает поисковым машинам, какие каталоги Web-сайта следует игнорировать.

Чтобы получить распечатку материалов ограниченного доступа, наберите в адресной строке браузера www.somewhere.com/robots.txt, подставив вместо имя нужного сайта.

Вы увидите файлы и папки, недоступные для поисковых машин.

Чтобы попасть в них, наберите имена файлов в строке адреса.