Некоторые картинки не загружаются из РФ и РК, используйте VPN.

пятница, 3 мая 2024 г.

Dissalow all robots.txt nginx

Тестируем вот такой вариант блокировки индексации поисковыми роботами при помощи nginx

location /robots.txt {
                return 200 "User-agent: *\nDisallow: /";
        }

Также можно исползовать X-Robots-Tag, но говорят, что не все роботы поддерживают их

location / {
                add_header  X-Robots-Tag "noindex, nofollow, nosnippet, noarchive";
        }

Хотел решить задачу именно nginx`ом, так как он выступает в качестве reverse proxy, а конечный сервер часто пересобирается, можно и забыть о такой маленькой настройке

Комментариев нет:

Отправить комментарий