主机测评网 – VPS测评_独立服务器_云主机推荐与优惠
建站教程 2026-10-19 17:13

robots.txt与sitemap配置入门

作者:cloud 分类:建站教程

robots.txt 告诉搜索引擎哪些页面能爬,sitemap 告诉搜索引擎你的页面都有哪些。这两个文件是 SEO 的基础,配好了收录才顺。

robots.txt 是什么

放在网站根目录,比如 www.你的域名.com/robots.txt。里面写规则:哪些目录不让搜索引擎爬,哪些允许。一般写 User-agent: * 表示对所有搜索引擎生效,Disallow: /admin/ 表示不让爬后台目录。

它的作用是把不需要索引的页面屏蔽掉,比如后台、测试页、搜索结果页。这些页面让搜索引擎爬了,反而分散权重。

sitemap 是什么

sitemap 是一个 XML 文件,列出你网站所有页面的地址、更新时间。把它提交给搜索引擎,它就知道你的站有哪些页面,收录更快。

WordPress 用 SEO 插件自动生成 sitemap。自己写的静态站,手动列一个 XML,或者用工具生成。

怎么配置

robots.txt 手动写,放网站根目录。sitemap 生成后,在 robots.txt 里加一行 Sitemap: https://你的域名/sitemap.xml,告诉搜索引擎 sitemap 在哪。

然后去百度站长平台和 Google Search Console,把 sitemap 地址提交上去。搜索引擎会定期来爬,收录你的页面。

总结

robots.txt 屏蔽不需要的页面,sitemap 列出所有页面。两个文件配好,再提交给搜索引擎,收录就顺了。这是 SEO 的基本功。

另外 robots.txt 别写错了,把 Disallow 写成 Allow,那就是反效果。改之前先看清楚,必要时备份原文件。

sitemap 更新了之后,去搜索引擎后台重新提交一次,让它赶紧来爬新页面。

这两个文件是 SEO 的基础,配好了搜索引擎才知道你有哪些页面。别忽略了,收录慢往往就是这俩没配好。

这俩配好,收录才快。

SEO 基本功,别忽略。

收录快不快,先看这俩。

这俩配好,收录才快。

SEO 基本功,别忽略。

这俩配好,收录才快。

« »
广告