# 3rabica.org robots.txt
# MediaWiki optimized crawler policy

#################################################
# Major search engines
#################################################

User-agent: Googlebot
Allow: /

User-agent: Bingbot
Allow: /

User-agent: YandexBot
Allow: /

User-agent: DuckDuckBot
Allow: /


#################################################
# AI search and assistant crawlers
#################################################

User-agent: GPTBot
Allow: /
Disallow: /خاص:
Disallow: /index.php?title=خاص:
Disallow: /*?action=
Disallow: /*&action=
Disallow: /*oldid=
Disallow: /Special:
Disallow: /Special%3A
Disallow: /خاص:
Disallow: /خاص%3A
Disallow: /%D8%AE%D8%A7%D8%B5:
Disallow: /%D8%AE%D8%A7%D8%B5%3A
Crawl-delay: 10

User-agent: ChatGPT-User
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Google-Extended
Allow: /


#################################################
# AI crawlers you do not want
#################################################

User-agent: Amazonbot
Disallow: /

User-agent: Applebot-Extended
Disallow: /

User-agent: Bytespider
Disallow: /

User-agent: CCBot
Disallow: /


#################################################
# SEO crawlers
#################################################

User-agent: SemrushBot
Crawl-delay: 5

User-agent: AhrefsBot
Crawl-delay: 5

User-agent: MJ12bot
Crawl-delay: 10

User-agent: DotBot
Crawl-delay: 10


#################################################
# MediaWiki common rules
#################################################

User-agent: *

# Allow useful MediaWiki resources
Allow: /w/load.php?
Allow: /w/api.php?action=mobileview&
Allow: /api/rest_v1/?doc
Allow: /w/rest.php/site/v1/sitemap

# Block backend/system areas
Disallow: /w/
Disallow: /api/
Disallow: /trap/
Disallow: /skins/

# Block Special pages
Disallow: /Special:
Disallow: /Special%3A
Disallow: /خاص:
Disallow: /خاص%3A
Disallow: /%D8%AE%D8%A7%D8%B5:
Disallow: /%D8%AE%D8%A7%D8%B5%3A
Disallow: /خاص:QrCode
Disallow: /index.php?title=خاص:QrCode

# Block edit/history/action URLs
Disallow: /*?action=
Disallow: /*&action=
Disallow: /*?veaction=
Disallow: /*&veaction=
Disallow: /*?diff=
Disallow: /*&diff=
Disallow: /*?oldid=
Disallow: /*&oldid=
Disallow: /*?returnto=
Disallow: /*&returnto=
Disallow: /*returntoquery=

# Block index.php dynamic special pages
Disallow: /index.php?title=Special:
Disallow: /index.php?title=خاص:
Disallow: /index.php?title=%D8%AE%D8%A7%D8%B5:

# Block help/system namespaces
Disallow: /index.php?title=Help:
Disallow: /index.php?title=مساعدة:
Disallow: /index.php?title=MediaWiki:
Disallow: /index.php?title=ميدياويكي:


#################################################
# Category pagination restrictions
#################################################

Disallow: /تصنيف:*?from=
Disallow: /%D8%AA%D8%B5%D9%86%D9%8A%D9%81:*?from=


#################################################
# Sitemap
#################################################

Sitemap: https://3rabica.org/sitemap.xml