# Derzeit wird immer zuerst das Menü gecrawlt, das für den Crawler unwichtige Links enthält: - Kontakt, Datenschutz, AGB, Warenkorb - durch robots.txt ausklammern #In der Syntax sind beim Disallow keine Wildchars wie ? oder * erlaubt. User-agent: * Disallow: fliesen/fliesenshop.php?act=kontakt Disallow: fliesen/Templates/VersandkostenPopup.htm Disallow: fliesen/fliesenshop.php?act=warenkorb Disallow: fliesen/Warenkorb.htm Disallow: fliesen/Templates/Agb.php Disallow: fliesen/fliesenshop.php?act=agb Disallow: fliesen/Templates/Agb-Email.htm Disallow: fliesen/Templates/Kontakt.htm Disallow: fliesen/fliesenshop.php?act=kontakt Disallow: fliesen/faq.php Disallow: fliesen/faq2.php Disallow: fliesen/faq.php.keine-kategorien Disallow: fliesen/fliesenshop.php?act=faq Disallow: fliesen/impressum.php Disallow: fliesen/fliesenshop.php?act=impressum Disallow: fliesen/Templates/about.php Disallow: flisen.fliesenshop.php?act=about Allow: / Sitemap: http://www.fliesen24.de/sitemap.xml.gz