robots.txt：SEO战略的欺骗性重要部分

我承认，当我第一次听到robots.txt这个词时，我并不知道它是什么意思。出于本能,我想象R2D2来自“星球大战”和思想,“机器人和搜索引擎优化有什么关系?”

如果你像我一样，技术SEO并不总是容易理解。

但是，在一项研究中seoClarity和Buzzstream.，240名SEO专家，59%所有受访者都报告说，使用的最有效的SEO策略是技术现场优化。

因此，无论我们理解与否，技术SEO都将继续在我们的营销策略中发挥巨大作用。

下面，我们将回顾一下robots.txt文件是什么以及如何在您的策略中使用它。另外，我们还将介绍如何在您的网站上创建、添加和编辑robots.txt文件。

什么是robots.txt文件？

一个robots.txt文件告诉搜索引擎如何抓取和索引你网站上的页面。这很重要，因为它有助于搜索引擎抓取您的站点和索引内容，为寻找该信息的用户提供服务。您可以允许或禁止搜索引擎对页面进行索引。搜索引擎会在爬取你的网站之前查找robots.txt文件，看看是否有任何说明。

和SEO的任何技术方面一样，robots.txt文件也有自己的语言。以下是你会看到的一些主要术语及其含义:

• 用户代理：搜索引擎。
• 禁止：讲述搜索引擎不抓取某个URL。
• 允许:告诉搜索引擎它可以访问一个网页。

您可能会想知道，为什么我要隐藏站点上的某些页面，或者告诉搜索引擎不要抓取我的站点?

最终，这是因为你想引导搜索引擎抓取你网站上最重要的页面，而不是陷入不重要的、私有的或类似的页面。

让我们回顾一下使用robots.txt文件的最好方法:

1.保持你网站上的页面是私有的。

您的网站是否有任何内部页面？例如，ushaps用户登录您的网站并查看门控信息。或者，也许，您将员工登录到您的网站以查看HR信息。无论哪种方式，您都希望您网站上的这些页面是私有的，这意味着您不希望它们在搜索引擎中显示。这就是为什么你可以禁止搜索引擎爬行robots.txt文件中的这些页面。

此外，如果您正在为客户创建测试站点，则不一定希望通过搜索引擎爬出或索引该站点。事实上，您真的只希望客户看到该网站。为此，您将希望禁止搜索引擎索引这些页面。

2.防止搜索引擎索引文件。

有时您可能会将pdf或其他文件添加到您的站点供用户下载。这甚至可以是重复的内容，在您的网站上，您重新使用的营销目的。但是，您很可能不希望这些文件被搜索引擎索引。您可以通过将这些页面添加到您的robots.txt文件中来禁止抓取这些页面。

3.允许搜索引擎抓取您网站上的任何页面。

虽然没有必要有robots.txt文件，但如果你想让搜索引擎爬遍每个页面，提供说明可以加快这个过程。您可以很容易地创建一个robots.txt文件，该文件指示搜索引擎抓取您站点上的每个页面。

4.禁止搜索引擎爬网或整个网站。

有时，您可能不希望搜索引擎在您的网站上爬网。例如，在Hubspot员工培训期间，预计新员工将使用Hubspot产品创建网站。但是，这些网站仅适用于项目，员工通常不希望这些搜索引擎索引。这就是为什么他们创建一个robots.txt文件，该文件可以在网站上禁止爬行。

此外，你可以阻止网站上特定页面的特定搜索引擎。例如，您可以将用户代理标记为“谷歌”，并禁止私有内容。

虽然你想要禁止搜索引擎抓取和索引某些页面，robots.txt文件可以指导搜索引擎，但不能强制执行。这意味着，即使您的robots.txt文件可能会指示搜索引擎不要抓取页面，但它实际上不能阻止它被索引。要做到这一点，你需要使用noindex和nofollow指令。

因此，如果无法阻止页面索引，您可能会想知道为什么需要使用robots.txt文件。答案是Robots.txt文件是有帮助搜索引擎更快地爬网网站并优先考虑它爬网的页面。它不会从技术上阻止搜索引擎中的任何页面。

如何创建和添加一个Robots.txt文件到您的网站

创建一个robots.txt文件实际上是一个简单的过程。

您需要做的就是打开一个纯文本编辑器，如TextEdit或Notepad。然后，您可以复制语言和语法谷歌。

例如，你的robots.txt文件看起来像这样:

用户代理:*

允许： /

您可以定义用户代理 - 星号表示所有搜索引擎。然后，您可以编写“允许”或“禁止”并指定页面。

在将该文件添加到您的站点之前，您可以使用谷歌的测试工具。

一旦你写好了你的文件，你会想要把它上传到你的网站的顶级目录。这意味着你将进入Cpanel并点击“添加文件”。

请记住，所有搜索引擎都不支持robots.txt文件。

robots.txt文件是公开可用的，这意味着您可以将/robots.txt添加到任何站点并查看其网站的文件，如果它们有一个。此外，大多数robots.txt文件包含与域关联的任何站点地图的位置。

同样，编辑robots.txt文件并不困难。只需按照下列步骤操作：

1.在CMS中找到您的robots.txt文件。

根据内容管理系统(CMS)的不同，这个过程看起来略有不同。例如，在Wordpress和HubSpot的是两个不同的过程。通常情况下，如果你打开网站的编辑器，点击“设置”，你会发现一个SEO选项卡。这是你的robots.txt文件应该存在的地方。

如果您没有使用CMS使此过程轻松，您也可以登录您的托管帐户网站，转到“文件管理”并查找robots.txt文件。然后，您应该能够打开它来编辑。

2.删除文本。

一旦您打开文件，删除那里的所有文本。是的，这就是你在这一步中所需的一切。

3.从纯文本编辑器中添加文本。

最后，复制并粘贴在纯文本编辑器中写道的文本。然后，单击“保存”。你们都完成了。

技术性的搜索引擎优化和robots.txt文件听起来比实际上要复杂得多。通过帮助搜索引擎快速抓取你的网站，你的排名可以大大提高。