В обсуждении этих случаев так часто упоминается robots.txt, что создается впечатление, будто бы его правильная настройка решает проблему. При этом неверная настройка этого файла — это ответ на вопрос, почему приватные данные попали в Яндекс (или Гугл), а не почему они вообще публично доступны. Они публично доступны потому что их сделали публично доступными, ведь robots.txt — это просто объявление, пожелание, ну уж никак не панацея. И представитель Яндекса в своем ликбезе честно про это пишет (только увы, тоже в самом конце и не акцентируя внимания, а мне кажется, что это куда важнее):

Конечно, злоумышленники, желающие украсть важный файл, не обратят внимание на содержимое robots.txt, но все крупные поисковые системы в обязательном порядке выполняют директивы этого файла.