#!/usr/bin/perl ############################################################################## # The following allows us to "attempt" to stop ALL Search engine robots # accessing parts of our site which we do not want indexed ############################################################################## User-agent: * Disallow: /_cgi/ # The entire CGI bin Disallow: /html/top_bar.html # The top frame bar Disallow: /html/left_nav.html # The left frame bar Disallow: /html/*_default.* # Any old default files Disallow: /html/*.old # Any files renamed .old