1.创建XML网站地图。
请记住，我们过去的网站结构？这属于称为的东西XML网站地图这有助于搜索机器人理解并抓取您的网页。您可以将其视为您网站的地图。您将提交您的网站地图谷歌搜索控制台和Bing网站管理员工具一旦完成了。请记住，在添加和删除网页时，请更新到最新。
2.最大化您的爬网预算。
您的爬网预算是指的你网站上的页面和资源reybet雷竞技下载搜索机器人将爬行．
因为爬行预算不是无限的，所以要确保将最重要的页面按优先级排列。
这里有一些建议，确保你最大限度地提高你的爬行预算:
- 删除或通过Canonicalize重复页面。
- 修复或重定向任何坏的链接。
- 确保CSS和Javascript文件是可爬行的。
- 定期检查您的爬网统计，并观察突然倾斜或增加。
- 确保从爬行中禁止的任何机器人或页面都意味着被阻止。
- 让您的SiteMap更新并将其提交给相应的网站管理员工具。
- 修剪你的网站不必要或过时的内容。
- 注意动态生成的URL，它可以在您的网站上的页面数量飙升。
3.优化您的网站架构。
你的网站有多个页面。这些页面需要以一种便于搜索引擎查找和抓取的方式组织起来。这就是网站结构——通常被称为网站的信息结构——发挥作用的地方。
以同样的方式建筑物基于建筑设计，您的网站架构就是你如何组织网站上的页面。
相关页面被分组在一起;例如，您的博客主页链接到各个博客文章，每个文章链接到各自的作者页面。这种结构有助于搜索机器人理解页面之间的关系。
您的网站架构还应塑造，并且是单个页面的重要性。仔细阅读a是您的主页，页a的链接越多，链接越野那些页面的数量越多，搜索引擎就会更加重视页面A。
例如，主页到页面a的链接比博客文章的链接更有意义。到页面A的链接越多，该页面对搜索引擎的“重要性”就越大。
概念上，网站架构可以看出这样的东西，在那里关于，产品，新闻，raybetapp等等，页面被放置在页面重要性层次结构的顶部。
确保对你的业务最重要的页面在层次结构的顶部，并且拥有最多数量的内部链接(相关的!)
4.设置URL结构。
URL结构指你如何构建URL，哪些可能由您的网站架构决定。我会在一瞬间解释联系。首先，让我们澄清网址可以有子目录，如www.emcdepot.com.和/或子文件夹，如hubspot.com/blog.，表示URL指向的位置。
作为一个例子，博客帖子标题为如何梳理你的狗将属于博客子域或子目录。URL可能是www.bestdogcare.com/blog/how-to-groom-your-dog.．而同一网站上的产品页面是www.bestdogcare.com/products/grooming-brush．
无论您是URL中使用子域或子目录还是子目录或“产品”与“商店”完全取决于您。创建自己的网站的美丽是您可以创建规则。重要的是，这些规则遵循统一结构，这意味着您不应该在不同页面上切换博客.YourWebsite.com和yourwebsite.com/blogs。创建路线图，将其应用于您的URL命名结构，并坚持下去。
以下是一些关于如何编写url的技巧:
- 使用小写字母。
- 使用短划线分隔单词。
- 让他们简短和描述。
- 避免使用不必要的字符或单词（包括介词）。
- 包括您的目标关键字。
扣除URL结构后，您将提交重要页面的URL列表，以以一种搜索引擎XML网站地图．这样做是给出了关于您网站的其他上下文的搜索机器人，所以它们不必在爬网时弄清楚。
5.使用robots . txt。
当Web机器人爬网时，它将首先检查/robot.txt，否则称为机器人排除协议。此协议可以允许或禁止特定的Web机器人爬网网站，包括特定部分甚至网站的页面。如果您想防止BOTS索引您的网站，您将使用NoIndex机器人元标记。让我们讨论这两种情况。
您可能希望阻止某些机器人完全爬行您的网站。不幸的是，有一些机器人与恶意意图 - 机器人将刮掉您的内容或垃圾邮件您的社区论坛。如果您注意到这种不良行为，您将使用robot.txt来防止它们进入您的网站。在这种情况下，您可以将Robot.txt视为从互联网上的坏机器人的力字段。
关于索引，搜索机器人抓取你的网站，收集线索，找到关键字，这样他们可以匹配你的网页与相关的搜索查询。但是，正如我们稍后将讨论的那样，您不希望将预算花费在不必要的数据上。所以，你可能想要排除那些不能帮助搜索机器人理解你的网站内容的页面，例如，a谢谢页面来自要约或登录页面。
无论如何，你的robot.txt协议将是唯一的这取决于你想要完成什么。
6.添加导航菜单。
记住这个古老的寓言汉塞尔和格莱特两个孩子在地上滴下面包屑，找到回家的路？好吧，他们待了一些东西。
面包屑就像他们听起来的那样——一条引导用户回到他们的网站旅程起点的路径。它是一个页面菜单，告诉用户他们的当前页面与网站其他部分的关系。
他们不仅仅适用于网站访客;搜索机器人也使用它们。
面包屑应该是两件事：1）用户可见，以便在不使用的情况下轻松导航您的网页后退按钮，2)有结构化的标记语言，以提供准确的上下文搜索机器人正在爬行你的网站。
不知道如何将结构化数据添加到面包屑中?使用本指南面包屑．
7.使用分页。
请记住，当教师要求您在研究文件上编号页面时？这被称为分页。在技术SEO的世界中，Pagination的作用略有不同，但您仍然可以将其视为一种组织形式。
分页使用代码告诉搜索引擎具有不同url的页面是相互关联的。例如，你可能有一个内容系列，你可以分成章节或多个网页。如果你想让搜索机器人更容易地发现和抓取这些页面，那么你可以使用分页。
它的工作方式非常简单。你会去页面之一和使用
rel =“next”告诉搜索机器人第二步爬哪一页。然后，在第二页，你要用rel = "上一页"表示现有页面和rel =“next”指示后续页面等。
它看起来像这样......
在第一页：
<链接rel =“next”href =“https://www.website.com/page-two”/>
第二页：
<链接rel =“prev”href =“https://www.website.com/page-one”/>
请注意,分页是有用的爬行发现，但谷歌不再支持批处理索引页。
8.检查您的SEO日志文件。
您可以考虑日志文件，如日记帐分录。Web服务器（创新）记录和存储日志文件中的每个操作的日志数据，他们在日志文件（日记帐）中所带到的站点上。记录的数据包括请求的时间和日期，所请求的内容以及请求的IP地址。您还可以识别用户代理，该用户代理是一个唯一可识别的软件（例如搜索机器人），其符合用户请求。雷竞技苹果下载官方版
但这与SEO有什么关系？
好吧，搜索机器人在爬网网站时以日志文件的形式留下一条路径。您可以通过检查日志文件和过滤时，确定是否何时爬出用户代理和搜索引擎．
这些信息对您很有用，因为您可以确定您的爬行预算是如何使用的，以及索引或访问机器人遇到了哪些障碍。要访问日志文件，您可以询问开发人员或使用日志文件分析器，例如尖叫青蛙．
仅仅因为搜索机器人可以抓取您的网站并不一定意味着它可以索引所有页面。让我们来看看下一层技术SEO审计 -可责任性．
最初发表于2019年11月11日12:45:00 PM，Updated 3月26日2020年3月26日
主题:
技术SEO相关文章
