# Bloqueamos primero lo global
# Fecha: 18-10-2017

#######################
# Los robots tienen acceso limitado a todo el sitio mediante el parámetro Disallow,
# excepto para las secciones, rutas o archivos especificados con el parámetro Allow

User-agent: *
Disallow: /logboxcorporativo
Disallow: /assets/*
Disallow: /files/*
Disallow: /comunidad/*
Disallow: /actualizarmicv/
Disallow: /searchresponsive
Disallow: /premium-user
Disallow: /profile/
Disallow: /pages/responsivo/enviarEmailCV.php*
Disallow: /pages/responsivo/show_cv_v2.3.php*
Disallow: /update-cv
Disallow: /pages/responsivo/set-privacy.php*
Disallow: /sendjob2?
Disallow: /*.php
Disallow: /*.json
Disallow: /*.pdf
Disallow: /*.doc
Disallow: /sitemap.xml


User-agent: Googlebot
Disallow: /files/*
Disallow: /assets/*
Disallow: /premium-user
Disallow: /profile
Disallow: /pages/responsivo/enviarEmailCV.php*
Disallow: /pages/responsivo/show_cv_v2.3.php*
Disallow: /update-cv
Disallow: /pages/responsivo/set-privacy.php*

#######################

#
# Bloqueamos los motores que pueden realizar una indexacion inadecuada
# Podemos agregar otros que se conozca a nivel de servidor
#

User-agent: MSIECrawler
Disallow: /

User-agent: WebCopier
Disallow: /

User-agent: HTTrack
Disallow: /

User-agent: Microsoft.URL.Control
Disallow: /

User-agent: libwww
Disallow: /

User-agent: Mediapartners-Google
Disallow: /