# 传统搜索引擎 — 允许全部
User-agent: Googlebot
Allow: /

User-agent: bingbot
Allow: /

# AI代理浏览 — 允许（这些代理会推荐你的商品）
User-agent: ChatGPT-User
Allow: /

User-agent: Claude-Web
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Applebot-Extended
Allow: /

# AI训练爬虫 — 根据你的偏好决定
# 如果你希望被AI模型学习到（推荐）：
User-agent: GPTBot
Allow: /

User-agent: Google-Extended
Allow: /

# 如果你不希望内容被用于训练：
# User-agent: GPTBot
# Disallow: /

# 所有爬虫的通用规则
User-agent: *
Disallow: /admin/
Disallow: /checkout/
Disallow: /cart/
Disallow: /account/
Disallow: /api/

# Sitemap位置
Sitemap: https://你的域名/sitemap.xml