# 告诉所有的搜索引擎爬虫 (Google, 百度, 必应等)
User-agent: *

# 禁止抓取 Django 自带的后台管理路径（保护后台隐私，强烈建议）
Disallow: /admin/

# 禁止抓取用户的私密操作路径（根据你自己的路由修改，如果没有可不写）
Disallow: /login/
Disallow: /register/
Disallow: /user/

# 允许抓取其他所有页面
Allow: /

# 告诉爬虫你的网站地图在哪里 (非常有利于 SEO！)
Sitemap: https://www.tuguoba.com/sitemap.xml