如果您想向特定机器人报告某些内容，例如 ，符号将如下所示 用户代理： 此行表示 这些说明仅适用于 。 不允许 语句用于防止机器人进入某些文件夹或文件。这意味着，例如，如果您不希望 将您网站上的图片编入索引，请将它们全部放在一个文件夹中并排除它们。 你是怎样做的？假设您已经将所有照片移动到名为 照片 的文件夹中。现在您需要告诉机器人不要访问此文件夹进行索引。 以下是 在这种情况下的作用： 用户代理： 禁用： 照片 文件中的以上两行文本将使机器人远离照片文件夹。
注意：如果您忘记了 语句后的 字符，就像这样 用户代理： 关掉： 然后索引机器人将访问您的站点，查看第一行，然后阅读第二行（即 ）。会发生什么？之后，机器人就会帮能 电话号码列表 系助企业更如鱼得水，因为你禁止它 没什么。 和文件。 允许 只有少数索引机器人理解这一特定指令，例如包括 。 允许： 允许 语句允许机器人确定它是否可以查看被 禁止 命令锁定的文件夹中的文件。为了说明这一点，让我们看一下前面的例子。 用户代理： 禁用： 照片 我们已将所有照片保存在一个名为 的文件夹中，并且由于 功能，我们已阻止对其内容的完全访问。
然而，过了一会儿，我们得出的结论是，我们只想让搜索引擎可以使用一张照片，该照片正好位于 照片 文件夹中。 允许 位置让我们告诉 ，即使我们已经阻止了对该文件夹的访问，它仍然可以搜索它并使用名称索引照片，例如 。在这方面，我们需要为它创建一条指令，如下所示： 用户代理： 禁用： 照片 允许： 此类指令告诉 在排除的 照片 文件夹中查找 。 如何确定要阻止的网站？ 如果我们已经知道如何正确使用 ，我们可能想用它做点什么。什么类型的页面应该被排除在索引之外？ 显示搜索结果的页面。 自动生成的页面。 低排名网站也会获得不可避免的内容，因此最好将它们排除在外。