User-agent: Scrapy
Allow: /

User-agent: * 
Disallow: /wp-admin/ #geen toegang tot admin sectie.
Disallow: /wp-login.php#geen toegang tot admin sectie.
Disallow: /search/ #geen toegang tot interne zoekresutlaat pagina's. 
Disallow: *?s=*#geen toegang tot interne zoekresutlaat pagina's. 
Disallow: *?p=* #geen toegang tot pagina's als permalinks niet werken. 
Disallow: *&p=*#geen toegang tot pagina's als permalinks niet werken. 
Disallow: *&preview=* #geen toegang tot preview pagina's. 
Disallow: /tag/ #geen toegang tot tag archief pagina's 
Disallow: /author/ #geen toegang tot author archief pagina's. 
Disallow: /404-error/ #geen toegang tot de 404 pagina.
Sitemap:https://marasol.nl/sitemap_index.xml