网站禁止搜索引擎的抓取方法

网站获得搜索引擎抓取是很多企业期待的，当然，某些特殊的情况是我们不愿意让网站抓取全部或部分内容。如果我们不想要搜索引擎索引网站的某些内容或全部内容，最好的办法就是借助rebots.txt文件。现在给大家说明一下如何禁止搜索引擎抓取网站的解决办法。

robots.txt文件是搜索引擎抓取协议，这个协议是目前大部分搜索引擎都需要遵守的，相当于搜索引擎的抓取引导。大部分搜索引擎都会按照这个文件的要求进行抓取网站内容，所以编写这个内容，就相当于给搜索引擎编写了一套引导大纲。不过要明确一点，robots.txt文件是一份协议，也就是搜索引擎可以遵守，也可以不遵守。

禁止所有的搜索引擎访问网站全部内容
User-agent: *
Disallow:/
禁止百度搜索引擎访问网站全部内容

　　User-agent: Baiduspider
　　Disallow:/
允许所有搜索引擎访问全部内容；也可以为空

　　User-agent: *
　　Allow:/
允许/禁止百度搜索引擎抓指定格式的图片

　　User-agent: Baiduspider
　　Allow: /.gif$
　　Disallow: /.jpg$
允许/禁止百度搜索引擎抓取网站的动态页面

　　User-agent: Baiduspider
　　Allow: /.php$
　　Disallow: /.jsp$
————————————————