谷歌搜刮引擎优化 (SEO)robots.txt文件简介与用处
robots.txt 简介
robots.txt 文件端方了搜刮引擎抓取对象可以访谒您网站上的谷歌哪些网址。 此文件次要用于阻拦您的搜刮网站收到过量请求；它真实不是一种阻拦 Google 抓取某个网页的机制。若想阻拦 Google 访谒某个网页 ，引擎优化用处请独霸 noindex 阻拦将其编进索引 ，文件或独霸暗码呵护该网页 。简介
robots.txt 文件有何用处 ？谷歌
robots.txt 文件次要用于治理流向您网站的抓取对象流量，但凡用于阻拦 Google 访谒某个文件（具体取决于文件圭表类型） ：
| robots.txt 对不合文件圭表类型的搜刮影响 | |
| 网页 | 对网页（包含 Html、PDF ，引擎优化用处或其他 Google 可以读取的文件非媒体格式） ，您可在以下气候下独霸 robots.txt 文件治理抓取流量：您认为来自 Google 抓取对象的简介请求会招致您的处事器超负荷；或 ，您不想让 Google 抓取您网站上的谷歌不次要网页或近似网页 。 劝诫 ：假定您不想让本身的搜刮网页表示在 Google 搜刮下场中 ，请不要将 robots.txt 文件用作湮没网页的引擎优化用处编制。 假定其他网页经由过程独霸声明性文字指向您的文件网页 ，Google 在不访谒您网页的简介气候下仍能将其网址编进索引 。假定您想从搜刮下场中樊篱本身的网页 ，请改用其他编制，比如独霸暗码呵护或 noindex 。 假定您独霸 robots.txt 文件阻拦 Google 抓取您的网页 ，则其网址仍大年夜大年夜约会表示在搜刮下场中 ，但搜刮下场不会包含对该网页的声明 。 并且，图片文件、视频文件 、PDF 文件和其他非 HTML 文件都邑被消弭在外 。假定您看到了多么一条与您网页对应的搜刮下场并想改削它 ，请移除樊篱该网页的 robots.txt 条目 。假定您想从 Google 搜刮下场中无缺湮没该网页，请改用其他编制 。 |
| 媒体文件 | 您可独霸 robots.txt 文件治理抓取流量并阻拦图片 、视频和音频文件涌如今 Google 搜刮下场中 。这不会阻拦其他网页或用户链接到您的图片/视频/音频文件 。 ● 具体体味若何阻拦图片表示在 Google 中 。 ● 具体体味若何从 Google 中移除您的视频文件或限制您的视频文件表示在 Google 上 。 |
| 成本文件 | 假定您认为在加载网页时跳过诸如不次要的图片、脚本或格式文件之类的成本不会对网页构成太除夜影响 ，您可独霸 robots.txt 文件樊篱此类成本 。不过 ，假定贫窭此类成本会招致 Google 抓取对象更难解读网页，请勿樊篱此类成本 ，不然 Google 将没法有效分化有赖于此类成本的网页。 |
体味 robots.txt 文件的限制
在成立或改削 robots.txt 文件之前 ，您应体味这类网址樊篱编制的限制。屈就您的方针和具展气候，您大年夜大年夜约需求思虑采取其他机制来确保搜刮引擎没法在群集上找到您的网址 。
● 并不是全数搜刮引擎都支撑 robots.txt 指令。
robots.txt 文件中的呼唤真实不克不及强逼圭表类型抓取对象对网站采取的行动；可否屈就这些呼唤由抓取对象自行决意 。Googlebot 和其他正轨的网页抓取对象都邑屈就 robots.txt 文件中的呼唤 ，但其他抓取对象未必如斯 。是以，假定您想确保特定信息不会被网页抓取对象抓取，我们建议您采取其他樊篱编制 ，比如用暗码呵护处事器上的隐私文件 。
● 不合的抓取对象会以不合的编制分析语法 。
当然正轨的网页抓取对象会屈就 robots.txt 文件中的指令，但每种抓取对象大年夜大年夜约会以不合的编制分析这些指令 。您需求好好体味一下合用于不合网页抓取对象的切确语法 ，因为有些抓取对象大年夜大年夜约会没法邃晓某些呼唤。
● 假定其他网站上有链接指向被 robots.txt 文件樊篱的网页 ，则此网页仍大年夜大年夜约会被编进索引
当然 Google 不会抓取被 robots.txt 文件樊篱的内容或将其编进索引 ，但假定群集上的其他职位有链接指向被阻拦访谒的网址 ，我们仍大年夜大年夜约会找到该网址并将其编进索引 。是以，相干网址和其他悍然展示的信息（如相干页面链接中的定位文字）仍大年夜大年夜约会涌如今 Google 搜刮下场中。若要切确阻拦您的网址涌如今 Google 搜刮下场中 ，您应为处事器上的文件设置暗码呵护 、独霸 noindex 元标识表记标帜或照顾标头 ，或无缺移除网页 。
寄看 ：连络独霸多种抓取和索引编制指令大年夜大年夜约会招致某些指令与其他指令冲突 。体味若何回并独霸抓取指令与索引编制及内容展示指令 。
成立 robots.txt 文件
假定您断定需求一个 robots.txt 文件 ，请体味若何成立 robots.txt 文件 。
robots.txt 简介
robots.txt 文件端方了搜刮引擎抓取对象可以访谒您网站上的谷歌哪些网址。 此文件次要用于阻拦您的搜刮网站收到过量请求；它真实不是一种阻拦 Google 抓取某个网页的机制。若想阻拦 Google 访谒某个网页 ，引擎优化用处请独霸 noindex 阻拦将其编进索引 ，文件或独霸暗码呵护该网页 。简介
robots.txt 文件有何用处 ？谷歌
robots.txt 文件次要用于治理流向您网站的抓取对象流量，但凡用于阻拦 Google 访谒某个文件（具体取决于文件圭表类型） ：
| robots.txt 对不合文件圭表类型的搜刮影响 | |
| 网页 | 对网页（包含 Html、PDF ，引擎优化用处或其他 Google 可以读取的文件非媒体格式） ，您可在以下气候下独霸 robots.txt 文件治理抓取流量：您认为来自 Google 抓取对象的简介请求会招致您的处事器超负荷；或 ，您不想让 Google 抓取您网站上的谷歌不次要网页或近似网页 。 劝诫 ：假定您不想让本身的搜刮网页表示在 Google 搜刮下场中 ，请不要将 robots.txt 文件用作湮没网页的引擎优化用处编制。 假定其他网页经由过程独霸声明性文字指向您的文件网页 ，Google 在不访谒您网页的简介气候下仍能将其网址编进索引 。假定您想从搜刮下场中樊篱本身的网页 ，请改用其他编制，比如独霸暗码呵护或 noindex 。 假定您独霸 robots.txt 文件阻拦 Google 抓取您的网页 ，则其网址仍大年夜大年夜约会表示在搜刮下场中 ，但搜刮下场不会包含对该网页的声明 。 并且，图片文件、视频文件 、PDF 文件和其他非 HTML 文件都邑被消弭在外 。假定您看到了多么一条与您网页对应的搜刮下场并想改削它 ，请移除樊篱该网页的 robots.txt 条目 。假定您想从 Google 搜刮下场中无缺湮没该网页，请改用其他编制 。 |
| 媒体文件 | 您可独霸 robots.txt 文件治理抓取流量并阻拦图片 、视频和音频文件涌如今 Google 搜刮下场中 。这不会阻拦其他网页或用户链接到您的图片/视频/音频文件 。 ● 具体体味若何阻拦图片表示在 Google 中 。 ● 具体体味若何从 Google 中移除您的视频文件或限制您的视频文件表示在 Google 上 。 |
| 成本文件 | 假定您认为在加载网页时跳过诸如不次要的图片、脚本或格式文件之类的成本不会对网页构成太除夜影响 ，您可独霸 robots.txt 文件樊篱此类成本 。不过 ，假定贫窭此类成本会招致 Google 抓取对象更难解读网页，请勿樊篱此类成本 ，不然 Google 将没法有效分化有赖于此类成本的网页。 |
体味 robots.txt 文件的限制
在成立或改削 robots.txt 文件之前 ，您应体味这类网址樊篱编制的限制。屈就您的方针和具展气候，您大年夜大年夜约需求思虑采取其他机制来确保搜刮引擎没法在群集上找到您的网址 。
● 并不是全数搜刮引擎都支撑 robots.txt 指令。
robots.txt 文件中的呼唤真实不克不及强逼圭表类型抓取对象对网站采取的行动；可否屈就这些呼唤由抓取对象自行决意 。Googlebot 和其他正轨的网页抓取对象都邑屈就 robots.txt 文件中的呼唤 ，但其他抓取对象未必如斯 。是以，假定您想确保特定信息不会被网页抓取对象抓取，我们建议您采取其他樊篱编制 ，比如用暗码呵护处事器上的隐私文件 。
● 不合的抓取对象会以不合的编制分析语法 。
当然正轨的网页抓取对象会屈就 robots.txt 文件中的指令，但每种抓取对象大年夜大年夜约会以不合的编制分析这些指令 。您需求好好体味一下合用于不合网页抓取对象的切确语法 ，因为有些抓取对象大年夜大年夜约会没法邃晓某些呼唤。
● 假定其他网站上有链接指向被 robots.txt 文件樊篱的网页 ，则此网页仍大年夜大年夜约会被编进索引
当然 Google 不会抓取被 robots.txt 文件樊篱的内容或将其编进索引 ，但假定群集上的其他职位有链接指向被阻拦访谒的网址 ，我们仍大年夜大年夜约会找到该网址并将其编进索引 。是以，相干网址和其他悍然展示的信息（如相干页面链接中的定位文字）仍大年夜大年夜约会涌如今 Google 搜刮下场中。若要切确阻拦您的网址涌如今 Google 搜刮下场中 ，您应为处事器上的文件设置暗码呵护 、独霸 noindex 元标识表记标帜或照顾标头 ，或无缺移除网页 。
寄看 ：连络独霸多种抓取和索引编制指令大年夜大年夜约会招致某些指令与其他指令冲突 。体味若何回并独霸抓取指令与索引编制及内容展示指令 。
成立 robots.txt 文件
假定您断定需求一个 robots.txt 文件 ，请体味若何成立 robots.txt 文件 。
