网站禁止搜索引擎结果页被抓取的方法
在搜索引擎（例如百度，谷歌等）中看到一些网站的页面被搜索了大量的垃圾信息页面，其中一些搜索结果页还被索引，这些垃圾信息一旦被索引，就有可能被收录。如果不想搜索结果页面被收录的话，可以使用robots.txt和Robots Meta告诉搜索引擎不索引这些搜索结果页。一般 SEO 用的是robots.txt或Meta robots标签是针对某个特定页面。
1、robots.txt
创建robots.txt文件放在网站根目录或运行目录里，robots.txt文件格式如下：
User-agent: * Disallow: /?* Disallow: /admin Disallow: /search
User-agent：告诉哪些搜索蜘蛛遵循规则，哪些不遵循规则，* 代表所有搜索引擎都遵循；
Allow：允许访问的页面或目录，* 允许访问所有的页面或目录；
Disallow：禁止访问页面或目录，如/?*所有带?后面的都不索引，* 禁止访问所有的页面或目录；
2、Robots Meta
在网页头部添加以下代码：
<meta name='robots' content='index, follow, max-image-preview:large, max-snippet:-1, max-video-preview:-1' />
有些博客或论坛会有SEO相关的设置，可以研究一下。
