スポンサーサイト

上記の広告は1ヶ月以上更新のないブログに表示されています。
新しい記事を書く事で広告が消せます。

FC2ブログ謎のrobots.txt制限現象

robots.txt制限現象


Googleウェブマスターツールで診断項目を見てみると、MKG(FC2ブログ)の/?all(/archives.html)が制限されていました。FC2ブログ上でこのURLは全てのタイトルへのリンクを表示する特別なものです。


------------
Google ウェブマスター ツール
診断 - クロール エラー - ウェブ
URL を表示: robots.txt によりアクセスが制限されています
http://groupware.blog85.fc2.com/?all
------------


尚、チェック時期によっては、
http://groupware.blog85.fc2.com/archives.html
が制限されていますと表示されていました。


この制限表示は以前からある不思議な現象だったですが、4/27のページランクマイナー更新で急にPageRank3から無になってしまいました。


このまま放置しておくと、構成する各ページへのクロールとリンクジュース配分に不都合が生じる可能性が高いので対処することにしました。


対策は以前から存在する
http://groupware.blog85.fc2.com/blog-entry-12.html
ページに全てのタイトルへのリンクを表示させることです。そしてサイトトップのみならず全てのページから、このページにリンクしました。



制限の原因


ところで「robots.txt」による制限の原因は不明です。FC2ブログではユーザーがrobots.txtを設定するオプションはありません。


また、FC2ユーザーサポートにおいては下記のような回答でした。


------------
お問い合わせ頂きました件ですが
弊社では、お客様のブログの「robots.txt」に
一切の設定を行っておりません。


つきまして、Google様が「robots.txt」にて
制限されていると判断されている理由について
お分かり致しかねます。


恐れ入りますがGoogle様へお問い合わせ頂きます様
宜しくお願い致します。
------------


確かにgroupware.blog85.fc2.comでは制限していないかもしれませんが、もっと上流のblog85.fc2.comやfc2.comなどで、制限しているのではないでしょうか。その理由は、各種ロボットのアクセスはサーバに多大な負荷を与えています。そのためユーザーサイトの全ページリンクを示すURLへのアクセスは回避させたいからです。


それとも本当にGoogleが特定URLをrobot.txtに記述しているように、制限しているのでしょうか?謎です。


コメント

非公開

プロフィール

MSTN

セールスディレクターの視点から関心事を探求するブログ
mstn0128@gmail.com

上記広告は1ヶ月以上更新のないブログに表示されています。新しい記事を書くことで広告を消せます。