robots文件的规范写法

以下是应届毕业生网为大家整理好的有关SEO网站优化的知识，希望对大家有所帮助！

　　一、概念

　　1、网站和搜索引擎之间的协议文件

　　2、蜘蛛爬行网站的'第一个要访问的文件

　　3、屏蔽内容：不想被抓取的隐私内容,后台、数据库文件、模板、插件文件...或者做了伪静态就屏蔽动态路径

　　二、robots语法

　　1、User-agent 定义搜索引擎类型

　　2、Disallow 定义禁止抓取收录地址

　　3、Allow 定义允许抓取收录地址

　　4、* 匹配0或多个任意字符

　　5、$ 结束符

　　6、% 代表中文路径

　　7、? 代表动态路径

　　8、Sitemap 网站地图

　　三、robots写法举例

　　User-agent: *

　　Disallow: /plus

　　Disallow: /include

　　Disallow: /templets

　　Disallow: /data

　　Disallow: /dedemao

　　Disallow: /install

【robots文件的规范写法】相关文章：