Как сделать robots.txt для форума phpbb правильно

[admin]

К сожалению, после установки форума phpbb у вас априори не будет файла robots.txt. Его должен создать и сделать правильным либо тот, кто продвигает ваш сайт, либо вы сами. И после поиска в интернете вариантов, которые рекомендуют оптимизаторы и те, кто продвигают сайты, я для себя остановился на такой версии:

User-Agent: *
Disallow: /adm/
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /viewonline.php
Disallow: *suspendedpage*
Disallow: *cgi-sys*
Host: https://www.ваш_домен.ru

Clean-param: ref&clid&openstat&utm&sid&mode&view&style
Clean-param: uid&f&e&hilit&unwatch /viewtopic.php

Особенно здесь важны Clean-param, я именно в них очень долго не мог разобраться, так как для всех ссылок надо было очистить все перечисленные, но уже такой параметр как f - только для viewtopic.php. Нюансов много, так что берите за основу и уже меняйте под себя. А запрет на suspendedpage и cgi-sys - это вообще моя локальная история, когда на одном из хостингов закончилось продление и заглушка породила страницы с такими элементами, на которые ругался Яндекс Вебмастер уже после того, как хостинг был продлён.

[admin]

Версия форума не так важна, так как многое работает одинаково для любых версий phpbb, но в данном случае речь про версии phpbb 3.3.3 и выше. На момент написания этого поста доступна версия phpbb 3.3.10 и уже анонсирована phpbb 3.3.11.

[admin]

Директива Host устарела и теперь её игнорируют боты Яндекса. Чтобы указать главное зеркало для сайта, используйте 301 или 302 перенаправление в .htaccess. Не забывайте, что адресов у сайта четыре: http://, https://, http://www и https://www. Из них надо взять как главное только одно, обычно это https:// или https://www. Не знаю, почему некоторые считают вариант https:// более выигрышным, так как все равно никто вручную не набирает и сами адреса не запоминает. А адрес с www, по моему мнению, куда привычнее. В рекламе же печатной можете указывать любой адрес, так как у вас всё равно будет переадресация. А вот в интернете надо рекламировать и продвигать только главное зеркало сайта. Связано это с тем, что для Яндекса все четыре адреса (http://, https://, http://www и https://www) воспринимаются как четыре совершенно разных сайта. И лишь 301 или 302 переадресация указывает поисковому серверу, что это зеркала, которые надо склеить, а также какой из зеркал воспринимать как главное.