robots.txt是一种寄存于网站根目次下的文本文件，用于报告搜索系统的爬虫（spider），此网站中的哪些内容是不该被搜索系统的索引，哪些是能够被索引。凡是以为，robots.txt文件用去搜索系统对目的网页的抓与。

robots.txt和谈其实不是一个标准，而只是商定雅成的，凡是搜索系统会辨认那个文件，但也有一些特别状况。

关于Google去道，利用robots也一定能阻遏Google将网址编进索引，假如有其他网站链接到该网页的话，Google仍然有能够会对其停止索引。根据Google的道法，要念完全阻遏网页的内容正在Google网页索引中（即便有其他网站链接到该网页）呈现，需求利用noindex元标识表记标帜或x-robots-tag。比方将上面的一止参加到网页的header部门。

<meta name="谷歌bot" content="noindex">

假如Google看到某一页上有noindex的元标识表记标帜，便会将此页从Google的搜刮成果中完整抛弃，而不论是可借有其他页链接到此页。

关于百度去道，状况战Google相似，假如有其他网站链接目的网页，也有能够会被百度支录，从百度的阐明页里上看，百度其实不撑持像Google那样经由过程noindex完整将网页从索引上删除，只撑持利用noarchive元标识表记标帜去制止百度显现网页快照。详细的语句以下。

<meta name="Baiduspider" content="noarchive">

上里那个标识表记标帜只是制止百度显现该网页的快照，百度会持续为网页建索引，并正在搜刮成果中显现网页戴要。

比方，淘宝网今朝便经由过程robots.txt去屏障百度爬虫，但百度照旧支录了淘宝网的内容，百度搜刮“淘宝网”，第一个成果也是淘宝网尾页地点，只是该页里出有网页快照，因而看去，网站只能制止百度的快照，而没法制止百度为网页建索引。

注：本文由站少之家专栏做者月光专客供稿，如需转载，请说明出处。

注：相干网站建立本领浏览请移步到建站教程频讲。