Robots.txt Analizi ve Test

Kuralları okur, bir URL'nin taranıp taranamayacağını test eder