ノーコードサイトのrobots.txtとは？役割・書き方・Studioでの扱い——検索結果から隠す目的には使えない

「robots.txt」という名前を、SEOの解説やサイトの設定画面で見かけた方は多いと思います。名前は聞いたことがあっても、何をするものか、触ってよいものかが、分かりにくいファイルです。

robots.txtは、検索エンジンのクローラー（サイトを見て回るプログラム）に対して、「この場所は見に来てよい」「ここは来ないでほしい」と伝える案内板のようなファイルです。この記事では、役割と書き方、Studioでの扱いを整理します。

robots.txtで、できること・できないこと

Googleの公式ドキュメントでは、robots.txtの主な目的は、サイトへのアクセスが集中して、負荷がかかりすぎるのを避けることだと説明されています。

基本の書き方

robots.txtは、1つ以上の「グループ」で構成されます。Googleの公式ドキュメントで説明されている主な行は、次の4つです。

User-agent: *
Allow: /

Sitemap: https://example.com/sitemap.xml

Studioでのrobots.txt

Studioの公式ヘルプによると、サイトを公開すると、無料プランを含むすべてのサイトで、robots.txtが自動で作られます。実際に、公開しているサイトで確かめると、次のような内容でした。

• 自動で作られたrobots.txtは、中身を編集したり、削除したりはできません。ファイルを「置き換える」ことは、できます
• サイトを非公開にすると、自動で作られたrobots.txtは削除されます
• 多くのサイトでは、自動で作られたもので足ります。書き換える必要が出たときだけ、アップロードで置き換えます

User-agent: Googlebot
User-agent: *
Allow: /

Sitemap: https://サイトのアドレス/sitemap.xml

robots.txtを置き換える手順（Studio）

自分で書いたrobots.txtを使いたいときは、パソコンでテキストファイルを作り、アップロードします。公式ヘルプで案内されている流れは次のとおりです。

1. メモ帳などのテキストエディタで、「robots.txt」という名前のファイルを作る（文字コードはUTF-8）
2. Studioのダッシュボードで、対象のプロジェクトの「設定」→「一般」を開く
3. 下へスクロールし、「txtファイル」の「追加」を押す
4. 作ったファイルを選んでアップロードする（同じ名前のファイルがあると、置き換えるかどうかの確認が出る）
5. 公開しているサイトの「/robots.txt」を開いて、内容が変わったことを確かめる

書き換える前に、確かめること

• 目的は何か。「検索結果に出したくない」ことが目的なら、robots.txtではなく、noindexかパスワード保護。Studioでの扱いはStudioで公開したサイトがGoogle検索に出てこないときに確認することにまとめています
• サイトマップの行は、残しておく。サイトマップの場所を、検索エンジンに伝える役割がある。送信の手順はノーコードサイトをGoogle Search Consoleに登録する手順へ
• 「Disallow: /」は、サイト全体のクロールを禁止する書き方。誤って入れると、検索に出なくなるおそれがある。書き換えたあとは、必ず確かめる

確認のしかた

1. シークレットウィンドウで、「https://自分のサイト/robots.txt」を開く
2. 書いた内容が、そのまま表示されるかを確かめる
3. Search Consoleの「robots.txtレポート」で、エラーが出ていないかを確かめる（公開済みのファイルが対象）

よくある質問

まとめ

robots.txtは、検索エンジンのクローラーへの案内板です。ただし、検索結果からページを隠す機能ではありません。Studioでは、公開時に自動で作られるので、多くの場合、触る必要はありません。書き換えたいときは、パソコンで作ったファイルを、「設定」→「一般」→「txtファイル」からアップロードして置き換えます。

検索まわりの設定の優先順位はノーコードで作ったサイトのSEO、最初にやること・後回しでいいことにまとめています。