如何停止对jomres中特定页面的抓取？

Question

如何在jomres中停止此页面https://www.example.com/index.php/en/component/jomres/?Itemid=0&task=search&page=1&towns%5B0%5D=calangute的谷歌抓取，是否可以在robot.txt文件或任何其他解决方案中执行？

Answer 1

是的，您可以通过 robots.txt 添加以下行来访问此页面

Disallow : /index.php/en/component/jomres/?Itemid=0&task=search&page=1&towns%5B0%5D=calangute 

上面一行只会屏蔽这个页面，如果你想屏蔽所有上面参数的页面，就用这个

Disallow : /index.php/en/component/jomres/?Itemid=*&task=*&page=*&towns%5B0%5D=*

这里我们将动态值更改为星 *，您可以根据需要自定义它并针对任何特定情况。