建站教程：为什么网站内容无法被搜索引擎抓取？

2020-03-18 19:55:59

字体：大中小

来源：转载

供稿：网友

如何确保让搜索引擎轻松抓取您的网站？

如果您的网站无法被搜索引擎抓取，那么可能是以下原因造成的：

1、HTTPS安全实施

如果你最近跳转到HTTPS时，可能没有机会审核或以其他方式出现了识别安全证书的安装问题，进行表面审核时可以帮助你确定是什么在影响HTTPS的转换。

如果你最初购买SSL证书的时候没有考虑到网站稍后用于什么，那么可能会出现分歧。需要记住的一件事是，你在购买证书时必须非常谨慎，确保它涵盖了你想要的所有子域。

如果不这样做，可能会导致一些问题，比如无法重定向URL。

如果你没有获得完整的通配符证书，并且在子域上有URL参数（使用绝对URL），你的证书也没有覆盖这些URL，那么你无法将这些URL重定向到https://。

这就是为什么在购买SSL证书时要注意你的选项的原因，因为它可能会对你的站点产生负面影响。

2、错误的重定向或过多的重定向会导致网站性能下降

如果不密切关注正在创建的重定向，也很容易创建冲突的重定向。

此外，还很容易让重定向失去控制，导致每个网站URL有数十个或更多重定向，进而导致网站性能下降。

解决此问题的简单方法是：确保你的重定向都是以1:1的比例创建的。

3、HTTPS和 HTTP URLs上的内容不应该同时加载

正确的做法是：其中一个重定向到另一个，而不是两者都重定向。如果同时加载两个，那么站点的版本安全就会出现问题。如果你在浏览器中输入网站的URL，请分别测试https://和http://。

如果两个URL都加载，则会显示两个版本的内容，重复的URL可能导致重复的内容。

为了确保不会再次遇到此问题，你需要执行以下操作之一，具体取决于站点的平台：

在HTACCESS中创建完整的重定向模式（在Apache/CPanel服务器上）；

使用WordPress中的重定向插件强制从 http://重定向。

4、如何在Apache/Cpanel服务器的htaccess中创建重定向

你可以在Apache/CPanel服务器的.htaccess中执行服务器级别的全局重定向。Inmotionhosting有一个很好的教程，教你如何在自己的web主机上强制重定向。

如果强制所有web流量使用HTTPS，你需要用到以下代码。

确保将此代码添加到具有类似前缀的代码之上（RewriteEngine On、RewriteCond等）。

RewriteEngine On

RewriteCond %{HTTPS} !on

RewriteCond %{REQUEST_URI} !^/[0-9]+\..+\.cpaneldcv$

RewriteCond %{REQUEST_URI} !^/\.well-known/pki-validation/[A-F0-9]{32}\.txt(?:\ Comodo\ DCV)?$

RewriteRule (.*) https://%{HTTP_HOST}%{REQUEST_URI} [L,R=301]

如果你只想重定向一个指定的域，你需要在你的htaccess文件中使用以下代码行：

RewriteCond %{REQUEST_URI} !^/[0-9]+\..+\.cpaneldcv$

RewriteCond %{REQUEST_URI} !^/\.well-known/pki-validation/[A-F0-9]{32}\.txt(?:\ Comodo\ DCV)?$

RewriteEngine On

RewriteCond %{HTTP_HOST} ^example\.com [NC]

RewriteCond %{SERVER_PORT} 80

RewriteRule ^(.*)$ https://www.example.com/$1 [R=301,L]

注意事项：如果你对自己在服务器进行正确更改没有信心，请确保你的服务器公司或IT人员来执行这些修复。

5、如果你正在运行WordPress网站，请使用插件

修复这些重定向问题简单的方法就是使用插件，尤其是在运行WordPress网站时。

许多插件可以强制 http://到 https://重定向，但这里有一些插件可以使这个过程尽可能轻松：CM HTTPS Pro、WP Force SSL、Easy HTTPS Redirection。

关于插件的注意事项：如果你已经使用了太多的插件，请不要再添加。

你可能需要调查你的服务器是否可以使用上述类似的重定向规则（例如，如果你使用的是基于NGINX的服务器）。

这里需要声明：插件的权重会对网站速度产生负面影响，所以不要总是认为新的插件会对你有所帮助。

6、所有的网站链接都应该从HTTP://改为HTTPS://

即使执行上述重定向，也应该执行此步骤。

如果你使用绝对URL而不是相对URL，更应该这么做。因为前者始终显示你正在使用的超文本传输协议，如果你使用的是后者，那你就不需要多加注意这一点了。

当你使用绝对URL时，为什么需要更改现场链接？因为谷歌将抓取所有这些链接，这可能会导致出现重复的内容。

这似乎是在浪费时间，但事实并非如此。你要确保最终谷歌能够准确地抓取到你的网站。

7、确保从HTTP://到HTTPS://的转换，不会出现404页面

404页面的突然增加可能使你的网站不能运行，尤其是在http://和https://页面之间存在链接时。

此外，由于显示的404页面太多，谷歌没有找到应该抓取的页面会导致抓取预算的浪费。

谷歌的相关负责人John Mueller指出，抓取预算并不重要，除非是针对大型网站而言。

John Mueller在推特上表示，他认为抓取预算优化被高估了。对大多数网站来说，没有什么作用，它只能帮助大规模的网站。

“IMO抓取预算被高估了。其实大多数网站都不需要为此担心。如果你正在抓取网页或运行一个数十亿URL 的网站，这是很重要的，但对于普通的网站来说这不是很重要。”

SEO PowerSuite 相关负责人Yauhen Khutarniuk的一篇文章也阐述了这一点：

“从逻辑上讲，你应该关注抓取预算，因为你想让谷歌尽可能多地发现你网站的重要网页。你还希望它能快速地在你的网站上找到新内容，你的抓取预算越大（管理越智能），这种情况就会发生得越快。”

优化抓取预算非常重要，因为快速查找网站上的新内容是重要的任务，同时需要尽可能多地发现网站的优先网页。

8、如何修复可能有的404页面

首先，将404从旧URL重定向到新的现有URL。

有一个比较简单的方法是，如果你有一个WordPress网站，用Screaming Frog抓取网站，并使用重定向WordPress插件执行301重定向规则批量上传。

9、URL结构不应该过于复杂

在为技术SEO做准备时，URL的结构是一个重要的考虑因素。

你同时须注意这些事情，比如随机生成被索引的动态参数、不容易理解的URL，以及其他可能导致技术SEO实现出现问题的因素。

这些都是重要的因素，因为它们可能会导致索引问题，从而损害网站的性能。

10、更人性化的URL

创建URL时，你可能会考虑相关内容，然后自动创建URL。但是，这可能并不合理。

原因是因为自动生成的URL可以遵循几种不同的格式，这些格式都不是非常人性化。

“
例如：

（1）/内容/日期/时间/关键字

（2）/内容/日期/时间/数字字符串

（3）/内容/分类/日期/时间/

（4）/内容/分类/日期/时间/参数/

正确地传达URL背后的内容才是重点。由于可访问性的原因，它在今天变得更加重要。

URL可读性越强，效果就越好：如果有人在搜索结果中看到你的URL，他们可能更愿意点击它，因为他们会确切地看到该URL与他们搜索的内容的相关性。简而言之，URL需匹配用户的搜索意图。

许多现有网站使用过时或混乱的URL结构，导致用户参与度低。如果有更人性化的URL，你的网站可能会有更高的用户参与度。

11、重复的URL

在构建任何链接之前需要考虑的一个SEO技术问题是：内容重复。

在涉及内容重复时，以下是主要原因：

（1）在网站的各个部分显著重复的内容。

（2）从其他网站抓取内容。

（3）重复的URL，其中只存在一个内容。

因为当多个URL代表一个内容时，它确实会混淆搜索引擎。搜索引擎很少会同时显示相同的内容，并且重复的URL会削弱他们搜索的能力。

12、避免使用动态参数

虽然动态参数本身并不是SEO方面的问题，但如果你无法管理其创建，并且在使用中保持一致，那么以后可能会成为一个潜在威胁。

Jes Scholz在搜索引擎杂志上发表了一篇文章，内容涉及动态参数和URL处理的基础知识以及它如何影响SEO。

Scholz解释说，参数用于以下目的：跟踪、重新排序、过滤、识别、分页、搜索、翻译。

当你发现是URL的动态参数导致的问题时，通常将其归结为URL的基本管理不善。

在跟踪的情况下，在创建搜索引擎抓取的链接时可以使用不同的动态参数。在重新排序的情况下，使用这些不同的动态参数对列表和项组进行重新排序，然后创建可索引的重复页面，搜索引擎再对其进行抓取。

如果不将动态参数保持在可管理的水平，可能会无意中引发过多的重复内容。

如果不仔细管理一部分内容的创建，这些动态URL的创建实际上会随着时间的推移而累积，然后会稀释内容的质量，进而削弱搜索引擎的执行能力。

它还会导致关键词“自相残杀”、互为影响，并且在足够大的范围内会严重影响你的竞争能力。

13、较短的 URL 优于较长的 URL

长期以来的SEO实践结果是：较短的URL优于较长的URL。

谷歌的 John Mueller对此表示：“当我们有两个相同内容的URL时，我们需要选择其中一个在搜索结果中显示时，我们会选择短的，这就是规范化。当然长短并不是主要影响因素，但如果我们有两个URL，一个非常简洁明了，另一个有很长的附加参数，而且他们显示相同的内容时，我们更倾向于选择短的。还有很多例子，比如不同的因素发挥作用，但在其他条件相同的情况下——你有一个较短的和较长的，我们也会选择较短的。”
另有证据表明，谷歌对短的URL进行了具体的排序，而不是更长的URL。

如果你的网站包含超长URL，你可以将它们优化为更短、更简洁的URL，以更好地反映文章的主题和用户意图。

上一篇：建站要分几个步骤？网站用什么系统？站长经验分享

下一篇：做一个网站要花多少钱？我们一起来算算