Как сделать robots.txt для форума phpbb правильно
Добавлено: 15 дек 2023, 16:04
К сожалению, после установки форума phpbb у вас априори не будет файла robots.txt. Его должен создать и сделать правильным либо тот, кто продвигает ваш сайт, либо вы сами. И после поиска в интернете вариантов, которые рекомендуют оптимизаторы и те, кто продвигают сайты, я для себя остановился на такой версии:
User-Agent: *
Disallow: /adm/
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /viewonline.php
Disallow: *suspendedpage*
Disallow: *cgi-sys*
Host: https://www.ваш_домен.ru
Clean-param: ref&clid&openstat&utm&sid&mode&view&style
Clean-param: uid&f&e&hilit&unwatch /viewtopic.php
Особенно здесь важны Clean-param, я именно в них очень долго не мог разобраться, так как для всех ссылок надо было очистить все перечисленные, но уже такой параметр как f - только для viewtopic.php. Нюансов много, так что берите за основу и уже меняйте под себя. А запрет на suspendedpage и cgi-sys - это вообще моя локальная история, когда на одном из хостингов закончилось продление и заглушка породила страницы с такими элементами, на которые ругался Яндекс Вебмастер уже после того, как хостинг был продлён.
User-Agent: *
Disallow: /adm/
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /viewonline.php
Disallow: *suspendedpage*
Disallow: *cgi-sys*
Host: https://www.ваш_домен.ru
Clean-param: ref&clid&openstat&utm&sid&mode&view&style
Clean-param: uid&f&e&hilit&unwatch /viewtopic.php
Особенно здесь важны Clean-param, я именно в них очень долго не мог разобраться, так как для всех ссылок надо было очистить все перечисленные, но уже такой параметр как f - только для viewtopic.php. Нюансов много, так что берите за основу и уже меняйте под себя. А запрет на suspendedpage и cgi-sys - это вообще моя локальная история, когда на одном из хостингов закончилось продление и заглушка породила страницы с такими элементами, на которые ругался Яндекс Вебмастер уже после того, как хостинг был продлён.