# robots.txt for https://www.imagefixer.top # 作用:控制搜索引擎抓取行为,保护敏感目录,并指向站点地图 # 对所有搜索引擎生效 User-agent: * # 禁止抓取后台、管理、登录注册、私密目录 Disallow: /admin/ Disallow: /login/ Disallow: /register/ Disallow: /private/ Disallow: /dashboard/ Disallow: /api/ Disallow: /tmp/ Disallow: /backup/ # 如果有特定参数页不想抓取,可以加 # Disallow: /*?utm_source= # Disallow: /*?ref= # 允许抓取网站其他页面 Allow: / # Sitemap 位置 Sitemap: https://www.imagefixer.top/sitemap.xml # 可选:抓取延迟,避免服务器压力(单位秒,非必须) # Crawl-delay: 10