通过robots.txt文件屏蔽搜索引擎蜘蛛

通过robots.txt文件屏蔽搜索引擎蜘蛛


针对特定搜索引擎

1. User-agent: Baiduspider
   
2. Disallow: /
   
3. 
   
4. User-agent: 360Spider
   
5. Disallow: /
   
6. 
   
7. User-agent: YisouSpider
   
8. Disallow: /

复制代码

屏蔽全部蜘蛛

1. User-agent: *
   
2. Disallow: /

复制代码