# This file is to prevent the crawl

# This file is to prevent the crawling and indexing of certain parts
# of your site by web crawlers and spiders run by sites like Yahoo!
# and Google. By telling these "robots" where not to go on your site,
# you save bandwidth and server resources.
#
# This file will be ignored unless it is at the root of your host:
# Used: http://example.com/robots.txt
# Ignored: http://example.com/site/robots.txt
#
# For more information about the robots.txt standard, see:
# http://www.robotstxt.org/wc/robots.html
#
# For syntax checking, see:
# http://www.sxw.org.uk/computing/robots/check.html

結果 (日本語) 1:

# このファイルはクロールと一部のインデックス作成を防ぐために、します。# web クローラー、スパイダーがあなたのサイトの yahoo のようなサイトで実行# と Google。どこであなたのサイトに行かないことにこれらの「ロボット」を伝えることで# リソースをサーバーと帯域幅を保存します。## このファイルはあなたのホストのルートになっていない限り、無視されます。# 使用する: http://example.com/robots.txt# 無視されます: http://example.com/site/robots.txt## の robots.txt の標準の詳細についてを参照してください。# http://www.robotstxt.org/wc/robots.html## 構文のチェックのために参照してください。# http://www.sxw.org.uk/computing/robots/check.html

結果 (日本語) 2:

＃このファイルには、特定の部分のクロールおよび索引付けないようにするためである
ヤフーのようなサイトが運営するウェブクローラやスパイダーによってサイトの＃を
＃とGoogle。あなたのサイトに行くしないように、これらの「ロボット」を伝えることで、
＃あなたは、帯域幅とサーバーのリソースを節約。
＃
それはあなたのホストのルートにある場合を除き＃このファイルは無視されます：
＃中古：http://example.com/ robots.txtの
無視された＃：http://example.com/site/robots.txt
＃
＃のrobots.txt標準の詳細については、以下を参照してください。
＃http://www.robotstxt.org/wc/robots.html
＃
構文チェックでは＃は、以下を参照してください
＃http://www.sxw.org.uk/computing/robots/check.html

結果 (日本語) 3:

このファイルは、#のウェブクローラとクモによって、あなたのサイトのようなサイトによって実行の特定のパーツ#這うこととインデクシングを防止します！回#とグーグル。で話しているこれらの「ロボット」がないためにあなたのサイトに行って、あなたの帯域幅とサーバ資源の節約に#。##回このファイルは、それがあなたの宿主の根でない限り無視されるでしょ#使用：http :// example . com /ロボット. txtを無視です#http例。comサイトロボット. txt##1回の詳細についてはrobots標準参照：http：#robotstxt . org / wcロボット. html##1回の構文チェックを見てください：http://www.sxw.org.uk/computing/robots/check.html#