|
検索 ヘルプ
livedoor ヘルプ
お問い合わせ
ヘルプを読んでも疑問が解決しない方はこちらをお読みください。
ご意見・ご要望
コンテンツやサービスにご意見・ご要望がございましたらこちらからどうぞ
|
| Q. |
モバイルサイト検索用のクローラーについて |
| A. |
モバイルサイト検索では、携帯サイトのウェブページ(以後、ページ)収集のためにサイト巡回ロボット（以後、クローラー）を運用・管理しています。
以下に記した情報を元にアクセス制限の調整をしていただくことで、現在運営されているサイトがモバイルサイト検索の結果に適切に表示される可能性が高まります。
- ユーザーエージェント(User-Agent)
クローラーのユーザーエージェントは携帯キャリアを模倣した形で、数種類存在します。
今後の運用に伴い変更される可能性がありますが、変更された場合には随時こちらのページでお知らせいたします。
DoCoMo/1.0/N505i/c20/TB/W20H10 (compatible; LD_mobile_bot; +http://helpguide.livedoor.com/help/search/qa/grp627)
KDDI-HI31 UP.Browser/6.2.0.5 (GUI) MMP/2.0 (compatible; LD_mobile_bot; +http://helpguide.livedoor.com/help/search/qa/grp627)
J-PHONE/3.0/J-SH10 (compatible; LD_mobile_bot; +http://helpguide.livedoor.com/help/search/qa/grp627)
- 携帯サイト判定ロジック
独自のアルゴリズムにより携帯用のサイトかPC用のサイトかをHTMLの内容から判定しています。
クローラーからのアクセス時に携帯用のページを返すようにしていただくことで、モバイルサイト検索の対象ページと認識されるようになります。
- アクセス制限
一般に公開しているサイトでも、検索結果からは閲覧を制限したいという場合には、次の方法でクローラーの動作を制限することができます。
- robots.txtによる方法
サイト単位でクローラーのアクセスを制限する方法です。
- サイトのアドレスの一番上の階層にrobots.txtを作成します。
例）http://example.com/robots.txt
- robots.txtを編集します
下記の例では、/secret/以下のクローラーのアクセスを拒否するように指定しています。
User-agent: LD_mobile_bot
Disallow: /secret/
サイトの全てのページへのアクセスを拒否する場合は、Disallowで「/」を指定します。
User-agent: LD_mobile_bot
Disallow: /
- METAタグによる方法
ページ単位でクローラーの動作を制御する方法です。
公開中のページ内に以下のMETAタグを記述することで、クローラーによるページの収集と、クローラーがページ内のリンクをたどらないように設定することができます。
<META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW">
上記の設定を行った後でも、インデックス更新の更新期間などにより検索結果に表示される場合がありますが、ご了承下さい。
- クローラーのIP
現在、クローラーは「203.104.254.0/24」のIPの範囲で動作し、データの収集を行っています。
携帯向けサイトの場合、各携帯キャリアのIPアドレスでアクセスを制限している場合があるかと思いますが、上記の範囲からのアクセスも許可していただくことで、クローラーがサイトのページを収集できるようになります。
その他、なにかご不明な点がございましたら、こちらよりお問い合わせください。
|
| このページの上へ▲ |
|
