wiseflow/core/scrapers/README_jp.md

このフォルダには特定のソースに対応したクローラーを配置できます。ここでのクローラーはソースの記事リストURLを解析し、記事の詳細情報を辞書形式で返す必要があります。

カスタムクローラーの設定

クローラーを作成した後、そのプログラムをこのフォルダに配置し、__init__.py の scraper_map に次のように登録します：

{'www.securityaffairs.com': securityaffairs_scraper}

ここで、キーはソースのURLで、値は関数名です。

クローラーは関数形式で記述し、以下の入力および出力仕様を満たす必要があります：

入力：

• expiration： datetime.date オブジェクト、クローラーはこの日付以降（この日を含む）の記事のみを取得する必要があります。
• existings：[str]、データベースに既存する記事のURLリスト、クローラーはこのリスト内のURLを無視する必要があります。

出力：

• [dict]、結果の辞書リスト、各辞書は以下の形式で1つの記事を表します： [{'url': str, 'title': str, 'author': str, 'publish_time': str, 'content': str, 'abstract': str, 'images': [Path]}, {...}, ...]

注意：publish_timeの形式は"%Y%m%d"である必要があります。クローラーで取得できない場合は、当日の日付を使用できます。

さらに、titleとcontentは必須フィールドです。

一般ページパーサー

ここでは一般的なページパーサーを提供しており、ソースから記事リストをインテリジェントに取得できます。各記事URLに対して、最初に gne を使用して解析を試みます。失敗した場合は、llm を使用して解析を試みます。

このソリューションにより、ほとんどの一般的なニュースおよびポータルソースのスキャンと情報抽出が可能になります。

しかし、より理想的かつ効率的なスキャンを実現するために、ユーザー自身でカスタムクローラーを作成するか、直接弊社のデータサービスを購読することを強くお勧めします。