# ==========================================
# SEO 工具爬虫放行
# 删除了 Crawl-delay，因为它是非标准指令，会导致语法错误
# ==========================================
User-agent: SemrushBot
Allow: /

User-agent: SemrushBot-SA
Allow: /

User-agent: AhrefsBot
Allow: /

# ==========================================
# 明确阻止的爬虫（MJ12bot）
# ==========================================
User-agent: MJ12bot
Disallow: /

# ==========================================
# Google 广告与图片爬虫支持
# ==========================================
User-agent: Mediapartners-Google
Allow: /

User-agent: Googlebot-Image
Allow: /

# ==========================================
# AI 搜索与大模型爬虫
# ==========================================
User-agent: GPTBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: Claude-Web
Allow: /

User-agent: Anthropic-AI
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: Amazonbot
Allow: /

User-agent: GoogleOther
Allow: /

User-agent: Google-Extended
Allow: /

User-agent: Bytespider
Allow: /

User-agent: Applebot
Allow: /

User-agent: DuckAssistBot
Allow: /

User-agent: deepseekbot
Allow: /

# ==========================================
# WordPress 标准路径保护 & 默认规则
# ==========================================
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /search
Disallow: /comments/feed/
Allow: /feed/
Disallow: /wp-content/plugins/wpdiscuz/   # 这是刚才解决软404加的
Disallow: /*?redirect_to=                 # 这是解决本次404加的
Disallow: /denglu/                        # 屏蔽登录页
Disallow: /dengluye/                        # 屏蔽登录页
Disallow: /sitemap                          # 屏蔽 HTML sitemap 页面

# ==========================================
# Sitemap 声明（已使用正确的 URL sitemaps.xml）
# ==========================================
Sitemap: https://eyouagro.com/sitemaps.xml