www.aleph1.co.uk Git - yaffs-website/blob - web/robots.txt

   1 #
   2 # robots.txt
   3 #
   4 # This file is to prevent the crawling and indexing of certain parts
   5 # of your site by web crawlers and spiders run by sites like Yahoo!
   6 # and Google. By telling these "robots" where not to go on your site,
   7 # you save bandwidth and server resources.
   8 #
   9 # This file will be ignored unless it is at the root of your host:
  10 # Used:    http://example.com/robots.txt
  11 # Ignored: http://example.com/site/robots.txt
  12 #
  13 # For more information about the robots.txt standard, see:
  14 # http://www.robotstxt.org/robotstxt.html
  15
  16 User-agent: *
  17 # CSS, JS, Images
  18 Allow: /core/*.css$
  19 Allow: /core/*.css?
  20 Allow: /core/*.js$
  21 Allow: /core/*.js?
  22 Allow: /core/*.gif
  23 Allow: /core/*.jpg
  24 Allow: /core/*.jpeg
  25 Allow: /core/*.png
  26 Allow: /core/*.svg
  27 Allow: /profiles/*.css$
  28 Allow: /profiles/*.css?
  29 Allow: /profiles/*.js$
  30 Allow: /profiles/*.js?
  31 Allow: /profiles/*.gif
  32 Allow: /profiles/*.jpg
  33 Allow: /profiles/*.jpeg
  34 Allow: /profiles/*.png
  35 Allow: /profiles/*.svg
  36 # Directories
  37 Disallow: /core/
  38 Disallow: /profiles/
  39 # Files
  40 Disallow: /README.txt
  41 Disallow: /web.config
  42 # Paths (clean URLs)
  43 Disallow: /admin/
  44 Disallow: /comment/reply/
  45 Disallow: /filter/tips/
  46 Disallow: /node/add/
  47 Disallow: /search/
  48 Disallow: /user/register/
  49 Disallow: /user/password/
  50 Disallow: /user/login/
  51 Disallow: /user/logout/
  52 # Paths (no clean URLs)
  53 Disallow: /index.php/admin/
  54 Disallow: /index.php/comment/reply/
  55 Disallow: /index.php/filter/tips/
  56 Disallow: /index.php/node/add/
  57 Disallow: /index.php/search/
  58 Disallow: /index.php/user/password/
  59 Disallow: /index.php/user/register/
  60 Disallow: /index.php/user/login/
  61 Disallow: /index.php/user/logout/