为什么我们从HubSpot博客中删除了3000条过时的内容

你知道什么主意听起来很糟糕吗?

从HubSpot博客中删除3000页。

你知道我们的SEO和Web开发团队在2月份做了什么吗?

从HubSpot博客上删除了3000页。

不，这并不是近藤麻理惠(Marie kondo)的团队锻炼出了可怕的、可怕的错误(尽管这些帖子绝对没有激起欢乐)。

这是我们的技术搜索引擎优化主管Victor Pan和我很长一段时间以来一直想做的一个项目——因为与直觉相反，删除网站上的内容实际上是可能的神奇的搜索引擎优化。

在搜索引擎优化领域，这种做法被称为“内容修剪”。但是，虽然从理论上讲这是一个好主意，但内容修剪并不意味着你应该发疯，像砍树一样砍掉你的内容。内容修剪远比这更有条理——就像修剪盆景一样。

我将得到我们在这篇文章末尾看到的结果。但首先，让我们探讨什么是内容修剪，然后深入到一个分步的内容审核过程中，这样您就可以有一个详细的蓝图，说明如何为您自己的财产（或您的客户的财产）执行此操作。

这就引出了下一个问题:

您应该多久运行一次内容审核？

就像搜索引擎优化中的几乎所有事情一样，这要视情况而定。如果你有一个大的网站，你可能想每个月审计一个不同的部分。如果你的网站很小，考虑每六个月评估一次整个网站。

我通常建议从季度审计开始，看看你从中获得了多少价值。如果你在接下来的许多步骤中感到不知所措，那么试着更频繁地执行它们。如果你没有学到那么多，就少跑一次。

为什么要运行内容审计?

当我的团队启动这个项目时，我们已经知道HubSpot博客上有很多旧页面的流量几乎为零——我们只是不知道有多少。我们从一开始的目标就是删减这些内容。

但是，即使情况并非如此，仍有几个原因需要运行定期内容审核：

1. 识别内容空白:您在哪里丢失了内容？
2. 识别内容同型装配:你也在哪里多内容?
3. 发现过时的页面:您是否仍有旧版产品页面？不存在报价的登录页？几年前发生的事件的页面？有过时事实或统计数据的博客帖子？
4. 寻找历史优化的机会:有没有一些页面的排名很好，但可以排名更高?那么排名下降的页面呢?
5. 学习工作:你的最高流量和/或最高转化率的页面有什么共同点?
6. 修复您的信息体系结构：你的网站组织良好吗?结构是否反映了页面的相对重要性?搜索引擎容易搜索吗?

从一开始就选择目标对于内容审核的成功至关重要，因为它决定了您要查看的数据。

在这篇文章中，我们将介绍帮助您删减低性能内容的内容审核。

1.定义审计的范围。

首先，确定审计的范围——换句话说，您是想评估站点上的一组特定页面还是整个enchilada？

如果这是您第一次做内容审计，请考虑从您的站点（如博客、资源库或产品/服务页）的分部开始。

如果你先选择一个小节，那么这个过程就不会那么困难了。一旦你有了出海的腿，你就可以承担整个事情了。

2.使用网站爬虫运行爬网。

接下来，是时候提取一些数据了。

我曾经尖叫青蛙的SEO蜘蛛对于这一步。对于SEO专家来说，这是一个很棒的工具，所以如果你在犹豫的话，我会选择它——你肯定会在其他项目中使用spider。如果你有一个小网站，你可以使用免费版，将会抓取500个url。

Ahrefs还提供了一个网站审计(每个层都可用)，但我没有用过，所以我不能说它的质量。

此外,Wildshark提供了一个完全免费的爬行器它有一个非常友好的初学者的名声(尽管它只适用于Windows，所以Mac用户将需要寻找其他)。

最后，如果您想执行一次性审计，请签出审查它可以免费运行30天，并且可以抓取无限数量的url——这意味着它非常适合在购买前试用，或者一次性项目。

一旦您选择了您选择的武器，输入您在第一步中选择的根域、子域或子文件夹。

例如，由于我正在审计HubSpot博客，所以我只想查看以“www.emcdepot.com”开头的url。如果我在审核我们的产品页面，我就会想要查看以“www.hubspot.com/products"．

如果您使用的是尖叫蛙，请选择配置>蜘蛛。然后，取消选择：

• 检查图像
• 检查CSS
• 检查JavaScript
• 检查外部文件夹链接
• 抓取所有子域
• 爬在文件夹

接下来，切换到“限制”并确保未选中“限制爬网深度”。

如果您正在调查的页面没有汇总到一个URL怎么办？你可以随时提取整个网站的数据，然后过滤掉不相关的结果。

配置完爬行后，点击“确定”和“开始”。

爬行可能需要一些时间，因此，让我们从谷歌Analytics获得一些流量数据。

因为我们正在评估每个页面，我们需要“网站内容>所有页面”报告。

如果您已为站点的此部分设置了视图，请立即转到它。我使用了“www.emcdepot.com”的视图。

如果你没有一个视图，为以[insert URL path here]开头的页面添加一个过滤器。

将日期范围调整为最近6到12个月，具体取决于上次运行审计的时间。

(另外，不要忘记向下滚动并将“Show rows: 10”更改为“Show rows: 5000”。)

然后，将这些数据导出到Google工作表中。

标题类似于“[URL]的内容审计[月-年]”。将标签命名为“所有流量[日期范围]”。

然后回到GA，点击“添加段”，取消勾选“所有用户”，勾选“有机用户”。其他一切保持不变。

(将两个报告与V-LOOKUP组合起来，然后将两个部分同时添加到报告中，这样做要容易得多。)

完成处理后，单击Export。复制和粘贴数据到一个新的标签在原始内容审计电子表格命名为“有机流量[日期范围]”。

以下是您应该拥有的：

此时，我复制了整个电子表格，并将其命名为“原始数据：2019年5月www.emcdepot.com的内容审核”。这让我可以自由删除一系列专栏，而不用担心以后需要这些数据。

现在我有了备份版本，我删除了两张表上的B列和D-H列（页面浏览量、入口、%出口和页面价值）。随意保留你喜欢的专栏；只要确保两张纸都是一样的。

希望你的尖叫青蛙爬行已经完成了。点击“Export”并下载CSV(不是.xslx!)文件。

现在，点击“文件>导入”并选择您的尖叫青蛙文件。标题为“尖叫青蛙爬行_[日期]”。然后点击小向下箭头，选择“复制到>现有电子表格”。

将新工作表命名为“内容修剪主控”。将筛选器添加到顶行。

现在我们有了这个数据的原始版本和另一个版本，我们可以自由编辑，而不用担心我们会意外地删除我们以后想要的信息。

好吧，让我们深呼吸。我们在这个表中有很多数据——谷歌Sheets可能会让您知道它比平时运行得慢。

我删除了一堆列来帮助Sheets恢复，具体来说:

• 所容纳之物
• 状态
• 标题1的长度
• 标题1像素宽度
• Meta描述1
• 1像素宽度
• 元关键字1
• 元关键字1长度
• H1-1
• H1-1长度
• H2-1
• H2-1长度
• 元机器人1
• 超级机器人2
• Meta刷新1
• 标准链接元素2
• rel =“下一个”1（苦笑）
• rel=“prev”1（一直强烈地笑)
• 大小（字节）
• 文本比率
• %的总
• 链接分数

同样，这又回到了审计的目标。保留有助于你实现目标的信息，并摆脱其他一切。

接下来，向Content Pruning Master添加两列。第一个命名为“所有用户[日期范围]”和“有机用户[日期范围]”。

希望你们明白我的意思。

不幸的是，我们遇到了一个小障碍。所有的尖叫青蛙url都以“http://”或“https://”开头，但是我们的GA url以根或子域开头。普通的VLOOKUP不起作用。

幸运的是，有一个简单的解决办法。首先，选择单元格A1，然后选择“右插入>列”。这样做几次，这样您的url(在列a中)和第一行数据之间就会有几个空列。现在，你不会意外地覆盖任何东西在下一步:

高亮列A，选择“数据>分割文本到列”，然后选择最后一个选项“自定义”。

输入两个正斜杠。

点击“Enter”，现在你将在b列中有截断的url，删除A列，以及空列。

这也是摆脱带有参数的URL的好时机。例如，想象一下尖叫蛙找到了你的登录页面，offers.hubspot.com/instagram-engagement-report。它还发现了该URL的参数化版本：offers.hubspot.com/instagram敬业度报告？hubs\u post-cta=博客主页

或者，您可能对过滤器使用问号，例如“https://www.urbanoutfitters.com/brands/levis?color=black".

根据GA，后者的URL将获得很少的有机流量。您不希望意外删除这些页面，因为您看到的是参数化的URL统计信息，而不是原始的URL统计信息。

要解决这个问题，运行与之前相同的“将文本分割为列”过程，但使用以下符号:

• ＃
• ？
• ！
• ＆
• ＝

这可能会产生一些副本。你可以用附加组件删除它们(不，Sheets不提供数据删除功能，这有点疯狂)或者将你的表格下载到Excel，在那里删除你的数据，然后重新上传到Sheets。

3.评估包含非200个HTTP状态码的页面。

我建议过滤触发非200响应的URL，并将其放在单独的页面中：

以下是需要调查的内容:

重定向审计:

• 你有多少重定向?
• 是否存在重定向链(或多步骤重定向，这会增加页面加载时间)?
• 你有内部链接到301页吗?
• 你有什么301页的东西吗?(这很糟糕，因为如果一个页面重定向到另一个页面，您就不想指出它是规范版本。)

404错误的审计:

• 你有到404ing页面的内部链接吗?
• 你能将失效链接重定向到相关页面吗?
• 你的404错误是由中高层网站的反向链接引起的吗？如果是这样，考虑到网站所有者，并要求他们修复链接。

4.引入流量和反向链接数据。

一旦您标准化了url并删除了所有损坏的和重定向的链接，就可以从GA中提取流量数据。

在a列右侧添加两列，命名为“所有流量[日期范围]”和“有机流量[日期范围]”。

对B列使用这个公式:

=INDEX('所有流量[日期范围]' !C:C，(MATCH(A2， ' All Traffic [Date Range] ' !A:D,0))

我的表格名为“1月至5月19日的所有交通”，下面是我的公式:

=索引（'1-5月19日的所有流量'！C:C，（匹配（A2，'1-5月19日的所有流量'！A:A，0）））

将此公式用于C列：

=索引（'Organic Traffic[日期范围]'！C:C，（匹配（A2，'Organic Traffic[日期范围]'！A:A，0）））

以下是我的公式:

1月至5月19日的有机交通!C:C，(MATCH(A2，‘1 - 5月19日有机交通’!A:A,0)))

添加完后，单击单元格B2和C2右下角的小框，将公式扩展到整个列。

接下来，对于每个URL，我们需要按URL进行反向链接和关键字。

我使用Ahrefs来获得这个，但您可以自由使用您选择的工具(SEMrush, Majestic, cognitiveSEO等)。

首先，输入在第一步中选择的根域、子域或子文件夹。

然后，在左侧栏选择“Pages > Best by links”。

要过滤结果，请将HTTP状态代码更改为“200”--我们只关心指向活动页面的链接。

单击右侧的导出图标。Ahrefs将默认为前1000个结果，但我们希望看到所有结果，因此选择“完全导出”。

在处理过程中，在电子表格中添加一个标题为“Live Backlinks by URL”的表格。然后将三列(D、E和F)分别添加到Content Pruning Master sheet中，分别命名为“反向链接”、“URL评级”和“引用域”。

将Ahrefs CSV文件导入电子表格。您需要重复“将文本拆分为列”过程，以从URL中删除传输协议（http://和https://）。您还需要删除列A：

在D列(反向链接)，使用这个公式:

=INDEX('Live Backlinks by URL'!E:E，(MATCH(A2，'Live Backlinks by URL'!B:B,0)))

在E列（参考域）中，使用以下公式：

=INDEX('Live Backlinks by URL'!D:D，(MATCH(A2，'Live Backlinks by URL'!B:B,0)))

在F列(URL评级)，使用这个公式:

=索引（'Live Backlinks by URL'！A:A，（匹配（A2，'Live Backlinks by URL'！B:B，0）））

5.使用预定义的性能标准评估每个页面。

现在对于我们看到的每个URL:

• 你所选择的日期范围内，它收到的所有独特的页面浏览量
• 该日期范围内收到的所有有机独特页面浏览量
• indexibility地位
• 它有多少反向链接
• 有多少个独特的域链接到它
• 它的URL评级(例如，它的页面权限)
• 它的名字
• 它的标题长度
• 它的规范URL(无论是自规范还是规范化到另一个URL)
• 它的字数
• 其爬行深度
• 有多少内部链接指向它
• 有多少唯一的内部链接指向它
• 它包含多少个出站链接
• 它包含多少独特的出站链接
• 有多少出站链接是外部的
• 其响应时间
• 上次修改的日期
• 如果适用，它重定向到哪个URL

这看起来信息量太大了。然而，当您删除内容时，您希望拥有尽可能多的信息——毕竟，一旦您删除或重定向了一个页面，就很难返回了。拥有这些数据意味着您将做出正确的调用。

接下来是最后是时候分析你的内容了。

点击C列上的筛选箭头(“有机流量[日期范围]”)，然后选择“条件:小于”并输入一个数字。

我选择了450，这意味着我将查看过去5个月里每个月通过搜索获得的独立页面浏览量少于80的页面。根据页面通常接收的有机流量调整这个数字。目标是过滤掉最上层的80%。

复制并粘贴结果到一个新的工作表，标题为“最低流量页”。(不要忘记使用“只粘贴特殊>值”，这样你就不会丢失公式的结果。)将筛选器添加到第一行。

现在，点击B列上的筛选箭头(“所有流量[日期范围]”)，并选择“排序:Z→a”

是否有任何页面收到的流量比有机的更正常？在我的分析中，我发现了其中几个；例如，我的工作表中的第一个URL是一个博客页面，每周从付费社交广告中获得数千次浏览量：

为了确保你不会重定向或删除任何从非有机来源获得大量流量的页面，删除所有超过一定数量的内容——我的是1000个，但再次，调整这个值以反映你的物业的大小。

剩下的每一页有三个选项:

• 删除
• 重新使用
• 历史上的优化(换句话说，更新并重新发布)

以下是如何评估每一篇文章:

• 删除:如果一个页面没有任何反向链接和内容不可修复，删除它。
• 重新使用:如果一个页面有一个或多个反向链接，且内容不可修复，或有一个页面，在同一组关键字的排名更高，重定向到最相似的页面。
• 历史上的优化:如果一个页面有一个或多个反向链接，有一些明显的方法来改善内容(更新副本，使它更全面，添加新的部分和删除不相关的，等等)，它不会与你网站上的其他页面竞争，指定它的历史优化。

根据页面的不同，将您拥有的其他信息考虑在内。

例如，一个页面有15个反向链接，URL评级为19。字数是800，所以这不是很薄的内容，从它的标题来看，它涵盖了一个品牌上的话题，并且与你的受众相关。

然而，在过去的6个月里，它的有机页面浏览量只有10次。

如果你仔细看，你会发现它的爬行深度是4(离主页相当远)，它只有一个内部链接，而且一年都没有修改过。

这意味着你可以立即改善这个页面的性能，通过做一些小的更新，重新发布它，将它移到主页附近几次点击，并添加一些内部链接。

我建议用决策树来说明你将在每个页面上使用的过程的各个部分，就像下面这个:

您会注意到一个主要区别：我们的第三个选项是“辛迪加”，而不是“历史优化”。

马特·豪威尔斯·巴比（Matt Howells Barby）提出了一个绝妙的想法：将我们删除的文章发布到外部网站，以便建立链接。

Irina Nica是HubSpot搜索引擎优化团队的链接构建负责人，她目前正在与一个自由职业者团队合作，向外部网站推销我们确定的辛迪加候选内容。当他们接受并发布内容时，我们就会得到非常有价值的产品页面和博客文章的反向链接。

为了确保我们没有遇到客户投稿人在其他网站上发现几年前为HubSpot撰写的帖子的问题，我们确保所有辛迪加候选人都来自HubSpot的现任或前任员工。

如果您有足够的内容，那么将“修剪过的”页面联合起来将使您从这个项目中获得更多的好处。

说到“足够”的内容:正如我之前提到的，我需要为3000多个url遍寻决策树。

世界上没有足够的无意识电视让我完成这么大的任务。

以下是我对范围的看法:

• 500个URL或更少:手动评估。支付当月的Netflix订阅费。
• 500多个网址：手动评估前500个URL，并雇佣自由职业者或VA审查其余URL。

无论如何，您应该自己查看带有最多反向链接的url。一些基于低流量的页面可能有数百个反向链接。

你需要特别小心这些重定向;如果你将一篇关于“Facebook广告最佳政策”的博客文章重定向到一篇关于YouTube营销的文章上，前者的反向链接的权威不会转移到后者，因为内容是如此不同。

HubSpot的历史优化专家Braden Becker和我查看了每一个有60多个反向链接的页面(结果是大约350个页面)，并手动将每个页面标记为“Archive”、“Redirect”或“Syndicate”。然后，我雇了一个自由职业者来审查剩下的2650张。

一旦你给电子表格中的所有帖子都打上了标签，你就需要对每一个帖子进行归档、重定向或更新。

因为我们要处理的URL太多了，所以我们的开发人员Taylor Swyter创建了一个脚本，可以自动归档或重定向每个URL。他还创建了一个脚本，可以删除HubSpot内容到我们要删除的帖子的内部链接。我们最不想看到的就是博客上的断链接激增。

如果是手工操作，请记住更改任何指向要删除的页面的内部链接。

我还建议分阶段进行。存档一批帖子，等待一周并监控你的流量，存档下一批帖子，等待一周并监控你的流量，等等。同样的概念也适用于重定向:分批处理，而不是一次重定向大量的帖子。

要从Google中删除过时的内容，请转到URL删除页面，然后按照上面列出的步骤操作。

这个选项是暂时的,要永久删除旧内容，必须删除（404）或重定向（301）源页面。

此外，除非您是您提交的URL的站点的经过验证的属性所有者，否则这将无法工作。按照下列指示请求删除您不拥有的过期/归档页面。

我们的研究结果

我们删除了那3000篇博客后发生了什么?

首先，我们看到车辆向右行驶:

值得指出的是，内容删减绝对不是增长的唯一原因：这是我们做对的许多事情之一，比如发布新内容、优化现有内容、推动技术修复等。

我们的预算受到了重大影响——事实上，远远超出了维克托的预期。

以下是他对结果的简写:

“从两周前开始，我们可以提交内容，让它被索引，并在短短几分钟或一小时内开始从谷歌搜索驱动流量。对于一般网站来说，索引通常需要数小时甚至数天的时间。”

技术方面：

“我们看到爬行减少了20%，但爬行的uri数量减少了38%，这可以部分解释为由于修剪导致JS爬行(50%!)和CSS爬行(36%!)的巨大下降。当抓取的URI减少大于抓取的总数时，现有的URI及其对应的图像、JS和CSS文件在技术搜索引擎优化的抓取阶段被GoogleBot更好地‘理解’。”

此外，Irina使用修剪后的内容构建了数百个链接。

最后，我们的Ahrefs排名稳步上升——我们现在的排名是249，这意味着Ahrefs数据库中只有248个网站具有更强的反向链接配置文件。

归根结底，这不一定是一项容易的任务，但不可否认，你将获得的回报是值得的。通过清理你的网站，你可以提高你在高性能页面上的SEO排名，同时确保你的读者只找到你的网站最好的内容，而不是2014年的随机事件页面。赢,赢了。