メインコンテンツへ移動
ナレッジ連携
読了目安 6分

URLクローリングAI検索の使い方

公開WebページをNicoのナレッジとして連携するときの、URL登録、クロール深度、追加のコンテキスト、検索設定の考え方を解説します。

公開

更新

Nicoは、公開Webページを収集し、回答に必要な情報をAI検索で探せるようにします。このガイドでは、初期設定で迷いやすいクロール範囲と検索条件の考え方をまとめます。

URLを登録してから回答に使われるまで

URLクローリングによるナレッジ連携は、次の3ステップで進みます。

  1. STEP 1

    URLを登録

    起点となるWebページのURLと、収集範囲を登録します。
  2. STEP 2

    ページを収集

    設定した深度と条件に沿って、公開ページを収集します。
  3. STEP 3

    AI検索に利用

    収集済みの情報から、質問に関連する内容を検索して回答に使います。

クロールできるページ・できないページ

クロールできるかどうかは、ページの公開性、規約・法令、技術条件の3点で判断します。基本の対象は、本文や見出しが静的なHTMLとして含まれている公開ページです。ブラウザーで表示できても、JavaScriptの実行後に本文を読み込む場合や、ログインやアクセス制限がある場合は取得できないことがあります。

確認対象

対象Webページ/データ

  1. 01

    公開性

    ログインせずに閲覧できるか
  2. 02

    規約・法令

    取得と利用が許可されているか
  3. 03

    技術条件

    安定してアクセスできるか
  1. 公開・利用可能

    取得可能

    公開 × 許可 × 取得可能
    • ログイン不要の公開ページ
    • 本文と見出しが静的HTMLに含まれる
    • 適切な頻度でアクセスできる

    例:会社・サービス紹介、FAQ、公開ドキュメント

  2. 追加確認が必要

    条件付きで可能

    追加確認または対応が必要
    • JavaScript実行後に本文を表示
    • iframeや無限スクロールを使用
    • アクセス頻度や経路に制限がある

    例:SPA、無限スクロール、動的な商品一覧

  3. 制限・禁止

    取得不可/実施不可

    アクセス制限または実施不可
    • ログインや社内ネットワークが必要
    • CAPTCHA・WAF・IP制限がある
    • 規約上の禁止や機微情報を含む

    例:会員ページ、社内システム、個人アカウント

「技術的に取得できる」ことと「利用してよい」ことは別です
利用規約、robots.txt、著作権、個人情報保護、アクセス頻度を確認してください。Nicoの回答に使えるのは、収集が完了した情報だけです。

収集後は、用意したテスト質問で必要な情報が回答に使われるか確認してください。回答に含まれない情報がある場合は、まず対象ページが収集済みかを確認します。

クロール深度とURL範囲

クロール深度は、起点URLからどこまでページをたどるかを決める設定です。最大深度は3で、深度が上がるほど詳細ページまで対象を広げられます。

深度が上がるほど、起点URL配下の詳細ページまでたどります

起点URL
example.com/docs/
URL階層に沿って、深度ごとの収集範囲を表しています。
  1. 深度1
    同じドメイン内
    • example.com/docs/start/収集候補
    • example.com/company/収集候補
    • example.com/news/収集候補
  2. 深度2
    起点URL配下
    • …/docs/start/install/収集候補
    • …/docs/start/setting/収集候補
    • …/docs/start/faq/収集候補
    • …/about-us/起点配下ではないため対象外
  3. 深度3
    起点URL配下の詳細
    • …/install/windows/収集候補
    • …/install/mac/収集候補
  1. 深度1
    起点URLと同じドメイン内を対象にする、広めの収集範囲。

    向いている用途:サイト全体から候補を探したいとき

  2. 深度2
    起点URL配下を中心に、カテゴリやセクション単位で収集。

    向いている用途:サービスカテゴリ単位でまとめたいとき

  3. 深度3
    起点URL配下をさらにたどり、詳細ページまで収集。

    向いている用途:マニュアルやヘルプ配下をまとめたいとき

深度によってURL範囲の考え方が異なります
深度1は同一ドメイン内、深度2・3は起点URL配下が基本です。必要な情報が置かれているURLを起点に選んでください。

高い深度でも必要なページを収集できないとき

深度だけを上げ続けず、取得条件を確認してからページ単位の収集へ切り替えます。
  1. 確認 1

    収集結果を確認

    深度2・3にしても、必要なページが収集結果に含まれない。

  2. 確認 2

    取得条件を確認

    静的HTML、起点URL配下、ログイン制限、追加条件を確認する。

  3. 確認 3

    ページ単位に分割

    条件に合わない場合は、必要なページのURLを個別に登録して収集する。

深度を上げる前に、起点URLを必要な情報に近い階層へ変更できないかも検討してください。対象範囲が明確になり、不要なページの収集を減らしやすくなります。深度2・3でも必要なページが収集されず、静的HTMLやURL階層などの条件を満たせない場合は、必要なページのURLを個別に登録してページ単位に分けて収集します。

「追加のコンテキスト」の目的と書き方

追加のコンテキストは、収集したい情報のテーマやページの条件を伝えるために使います。質問時の検索キーワードではありません。

追加のコンテキストは、集めるページの条件を伝える欄です

収集候補

  • ニュース
  • 採用情報
  • FAQ
  • 製品情報
  • イベント案内
目的を文章で伝える

条件を加えた収集結果

「製品の機能と利用方法に関するページ」など、目的に近い情報へ絞り込み

  • 製品情報
  • 利用方法
  • 関連FAQ
検索キーワードの羅列ではありません
条件を細かくしすぎると、必要なページまで対象外になることがあります。まずは短く広めに設定し、結果を見ながら調整してください。

入力例:

  • 製品の機能と利用方法に関するページ
  • 施設の営業時間、アクセス、利用案内に関するページ
  • 顧客向けのFAQとトラブル対応に関するページ

条件を絞りすぎると、関連する言い換えや補足ページまで対象外になることがあります。最初は広めの条件で結果を確認し、不要な情報が多い場合だけ段階的に絞ります。

検索速度・情報の関連性・検索コストのバランス

検索対象を広げるほど関連情報を拾いやすくなる一方、検索時間や処理量が増える傾向があります。用途に応じて、速度、関連性、検索コストのバランスを選びます。

検索設定の一般的な傾向

3つの観点から優先順位を決める

検索設定で調整する、検索速度・情報の関連性・検索コストを整理しています。
  • 検索速度

    回答までの待ち時間

  • 情報の関連性

    必要な情報の拾いやすさ

  • 検索コスト

    検索範囲に応じた処理量

すべてを同時に最大化するのではなく、用途に合うバランスを選びます。

速度重視

候補を狭くして、検索量を抑えやすい設定。

向いている用途:小規模な情報や、即時性を優先する用途

最初の選択におすすめ

バランス

速度・情報の関連性・検索コストのバランスを取りやすい設定。

向いている用途:用途が固まっていない初期設定

関連性重視

より多くの候補を確認し、関連情報を拾いやすくする設定。

向いている用途:詳細な調査や、情報の取りこぼしを減らしたい用途

※上記は一般的な傾向です。ページ構成、収集量、質問内容によって結果は変わり、速度やコストを保証するものではありません。

利用目的に合わせたおすすめ設定

深度は大きいほどよいわけではありません。情報が置かれている範囲に合わせて、必要十分な深度を選びます。

深度1

ページ領域を広く確認

サイト全体から、関連するページの候補を広く探す。

例:会社サイト、サービスサイト

深度2
標準

カテゴリ単位で収集

起点URL配下のカテゴリを、扱いやすい範囲で収集する。

例:サービスカテゴリ、FAQカテゴリ

深度3

ドキュメント一式を収集

起点URL配下の詳細ページまでたどって収集する。

例:ヘルプセンター、公開マニュアル

初回は深度2と「バランス」を起点にすると、範囲と検索設定を調整しやすくなります。会社サイト全体から探したい場合は深度1、公開マニュアル配下をまとめたい場合は深度3を検討してください。

開始前に確認すること

設定前に、対象ページと確認方法をそろえておくと、クロール後の調整を短くできます。

開始前チェックリスト

  • 必要な情報が、ログイン不要の公開ページに掲載されている
  • 起点URLと、集めたいページのURL階層が合っている
  • 追加のコンテキストを、短く広めの条件から始めている
  • テスト質問を用意し、必要な情報が回答に使われるか確認できる

設定後は、実際の利用者が尋ねる質問を複数試し、回答に必要なページが参照されるかを確認します。結果に応じて、起点URL、深度、追加のコンテキスト、検索設定の順に見直してください。

FAQ

よくある質問

画面上では読めるのに、取得できないページがあるのはなぜですか?

本文がJavaScriptの実行後に表示される動的ページや、ログインを必要とするページは、クロール時に内容を取得できない場合があります。まず静的HTMLに本文が含まれているかを確認してください。

クロールされなかったページの情報を回答に使えますか?

いいえ。AI検索の参照対象になるのは、クロールによって収集が完了した情報です。必要なページが収集されていない場合は、起点URL、深度、追加のコンテキストを見直してください。

深度1と深度2・3は何が違いますか?

深度1は起点URLと同じドメイン内を広く対象にします。深度2・3は起点URL配下を基本として、より深い階層までたどります。必要な情報があるURL階層に合わせて起点URLを選ぶことが重要です。

深度を上げても必要なページを収集できない場合はどうしますか?

まず、対象ページが静的HTMLで公開されているか、起点URL配下にあるか、ログインやアクセス制限がないか、追加のコンテキストで除外されていないかを確認してください。条件を満たせない場合は、必要なページのURLを個別に登録し、ページ単位に分けて収集する方法をおすすめします。

追加のコンテキストには何を書けばよいですか?

集めたい情報のテーマやページの条件を、短い文章で記載します。たとえば「製品の機能と利用方法に関するページ」のように書きます。検索キーワードを並べる欄ではありません。

条件を狭めすぎて必要なページが収集されない場合はどうしますか?

追加のコンテキストを短くして対象を広げるか、一度条件を外して収集結果を確認してください。その後、不要な情報だけを除く方向で段階的に調整します。

最初はどの設定を選ぶのがおすすめですか?

一般的には、検索設定は「バランス」、クロール深度はカテゴリ単位で扱いやすい深度2から確認する方法が適しています。ただし、サイト構造や利用目的に応じて深度1または3へ調整してください。

Next

自社のページ構成で相談したい方へ

ナレッジ設計、デモ、PoCの進め方をDuoTechがご案内します。

導入を相談する

お問い合わせ

当社やサービス、採用に興味を持っていただいた方は、お気軽にお問い合わせください。