diff --git a/README.md b/README.md index e670eff..e225fbd 100644 --- a/README.md +++ b/README.md @@ -9,7 +9,8 @@ 🌱看看首席情报官是如何帮您节省时间，过滤无关信息，并整理关注要点的吧！🌱 - ✅ 通用网页内容解析器，综合使用统计学习（依赖开源项目GNE）和LLM，适配90%以上的新闻页面； -（**WiseFlow尤其擅长从微信公众号文章中提取信息**，为此我们配置了mp article专属解析器！） + + WiseFlow内置微信公号文章专属解析器，但实时获取公众号文章推送需要搭配wxbot，详见示例 [awada](https://github.com/TeamWiseFlow/awada)） - ✅ 异步任务架构； - ✅ 使用LLM进行信息提取和标签分类（最低只需使用9B大小的LLM就可完美执行任务）！ @@ -33,17 +34,6 @@ prompt（也就决定了info的输出语言），这进一步简化了wiseflow 🌹 感谢大家的贡献！ -## 🌟 如何在您的应用中整合wiseflow - -wiseflow 是一个原生的LLM应用，仅需7B~9B大小LLM就可以很好的执行信息挖掘、过滤与分类任务，且无需向量模型，系统开销很小，适合各种硬件环境下的本地化以及私有化部署。 - -wiseflow 将挖掘出的信息存储于自带的Pocketbase数据库中，这意味着整合无需深入了解wiseflow的代码，只需要对数据库进行读取操作即可！ - -PocketBase作为流行的轻量级数据库，目前已有 Go/Javascript/Python 等语言的SDK。 - - Go : https://pocketbase.io/docs/go-overview/ - - Javascript : https://pocketbase.io/docs/js-overview/ - - python : https://github.com/vaphes/pocketbase - ## 🔄 wiseflow 与常见的爬虫工具、LLM-Agent类项目有何不同与关联？ | 特点 | 首席情报官（Wiseflow） | Crawler / Scraper | LLM-Agent | @@ -51,6 +41,23 @@ PocketBase作为流行的轻量级数据库，目前已有 Go/Javascript/Python | **主要解决的问题** | 数据处理（筛选、提炼、贴标签） | 原始数据获取 | 下游应用 | | **关联** | | 可以集成至WiseFlow，使wiseflow具有更强大的原始数据获取能力 | 可以集成WiseFlow，作为动态知识库 | +## 🌟 如何在您的应用中整合wiseflow + +wiseflow是一个原生的LLM应用，仅需7B~9B大小LLM就可以很好的执行信息挖掘、过滤与分类任务，且无需向量模型，系统开销很小，适合各种硬件环境下的本地化以及私有化部署。 + +### ✋如果您的应用只需要使用wiseflow挖掘出的数据，即您的应用作为wiseflow的下游任务 + +wiseflow将挖掘出的信息存储于自带的Pocketbase数据库中，这意味着这种情况下您无需了解wiseflow的代码，只需要对数据库进行读取操作即可！ + +PocketBase作为流行的轻量级数据库，目前已有 Go/Javascript/Python 等语言的SDK。 + - Go : https://pocketbase.io/docs/go-overview/ + - Javascript : https://pocketbase.io/docs/js-overview/ + - python : https://github.com/vaphes/pocketbase + +### ✋如果您想将wiseflow作为实时的信息处理工具，即wiseflow作为您应用的下游任务 + +可以参考我们的一个示例项目 —— 基于微信的可在线自主学习的个人AI助理（也可能是行业专家）[awada](https://github.com/TeamWiseFlow/awada) + ## 📥 安装与使用 ### 1. 克隆代码仓库 diff --git a/README_EN.md b/README_EN.md index 97b1e8d..aeddbe5 100644 --- a/README_EN.md +++ b/README_EN.md @@ -9,7 +9,8 @@ 🌱 See how Chief Intelligence Officer helps you save time, filter out irrelevant information, and organize key points of interest! 🌱 - ✅ Universal web content parser, comprehensively using statistical learning (dependent on the open-source project GNE) and LLM, suitable for over 90% of news pages; - (**Wiseflow excels in extracting information from WeChat official account articles**, for which we have configured a dedicated mp article parser!) + + WiseFlow has a built-in WeChat official account article exclusive parser, but real-time access to official account article push needs to be matched with wxbot, see the example for details [awada](https://github.com/TeamWiseFlow/awada) - ✅ Asynchronous task architecture; - ✅ Information extraction and label classification using LLM (only requires an LLM of 9B size to perfectly execute tasks)! @@ -32,17 +33,6 @@ the current prompts cannot perform accurate extraction. Therefore, in this versi 🌹 Thank you all for your contributions! -## 🌟 How to Integrate wiseflow into Your Application - -wiseflow is a native LLM application, requiring only a 7B~9B size LLM to perform information mining, filtering, and classification tasks well, and does not require a vector model, making it suitable for various hardware environments for local and private deployment. - -wiseflow stores the mined information in its built-in Pocketbase database, meaning integration does not require in-depth understanding of wiseflow's code, just read operations on the database! - -PocketBase, as a popular lightweight database, currently has SDKs for Go/Javascript/Python languages. - - Go : https://pocketbase.io/docs/go-overview/ - - Javascript : https://pocketbase.io/docs/js-overview/ - - python : https://github.com/vaphes/pocketbase - ## 🔄 How is wiseflow Different and Related to Common Crawler Tools and LLM-Agent Projects? | Characteristic | Chief Intelligence Officer (Wiseflow) | Crawler / Scraper | LLM-Agent | @@ -50,6 +40,23 @@ PocketBase, as a popular lightweight database, currently has SDKs for Go/Javascr | **Main Problem Solved** | Data Processing (Filtering, Refining, Tagging) | Raw Data Acquisition | Downstream Applications | | **Relation** | | Can be integrated into WiseFlow, giving wiseflow stronger raw data acquisition capabilities | Can integrate WiseFlow as a dynamic knowledge base | +## How to Integrate wiseflow into Your Application + +wiseflow is a native LLM application that can effectively perform information mining, filtering, and classification tasks with only a 7B-9B LLM. It does not require vector models and has a very small system overhead, making it suitable for localization and private deployment in various hardware environments. + +### ✋ If Your Application Only Needs to Use the Data Mined by wiseflow (i.e., Your Application as a Downstream Task of wiseflow) +wiseflow stores the mined information in its built-in Pocketbase database. This means that in this case, you do not need to understand the wiseflow code, and you only need to perform read operations on the database! + +PocketBase, as a popular lightweight database, currently has SDKs for Go/Javascript/Python languages. + - Go : https://pocketbase.io/docs/go-overview/ + - Javascript : https://pocketbase.io/docs/js-overview/ + - python : https://github.com/vaphes/pocketbase + +### ✋If you want to use wiseflow as a real-time information processing tool, i.e., wiseflow as the downstream task of your application + +You can refer to one of our example projects — a WeChat-based personal AI assistant (or possibly an industry expert) for online autonomous learning [awada](https://github.com/TeamWiseFlow/awada) + + ## 📥 Installation and Usage ### 1. Clone the Repository diff --git a/README_JP.md b/README_JP.md index 4a1e50e..f3e3041 100644 --- a/README_JP.md +++ b/README_JP.md @@ -9,7 +9,8 @@ 🌱 最高情報責任者がどのようにあなたの時間を節約し、無関係な情報をフィルタリングし、注目すべきポイントを整理するかを見てみましょう！ 🌱 - ✅ 汎用ウェブコンテンツパーサー、統計学習（オープンソースプロジェクトGNEに依存）とLLMを包括的に使用し、90%以上のニュースページに適合; - （**WiseflowはWeChat公式アカウントの記事から情報を抽出することに特に優れており**、専用のmp記事パーサーを設定しています！） + + WiseFlowにはWeChat公式アカウント記事専用パーサーが組み込まれていますが、公式アカウント記事のプッシュをリアルタイムで取得するにはwxbotが必要です。詳しくは例を参照してください [awada](https://github.com/TeamWiseFlow/awada) - ✅ 非同期タスクアーキテクチャ; - ✅ LLMを使用した情報抽出とラベル分類（9BサイズのLLMで完璧にタスクを実行できます）！ @@ -32,17 +33,6 @@ https://github.com/TeamWiseFlow/wiseflow/assets/96130569/bd4b2091-c02d-4457-9ec6 🌹 皆さんの貢献に感謝します！ -## 🌟 アプリケーションにwiseflowを統合する方法 - -wiseflowはネイティブLLMアプリケーションで、7B〜9BサイズのLLMで情報マイニング、フィルタリング、分類タスクをうまく実行でき、ベクトルモデルを必要とせず、さまざまなハードウェア環境でのローカルおよびプライベート展開に適しています。 - -wiseflowはマイニングされた情報を組み込みのPocketbaseデータベースに保存します。つまり、wiseflowのコードを深く理解する必要はなく、データベースの読み取り操作だけで統合が可能です！ - -PocketBaseは人気のある軽量データベースで、現在Go/Javascript/Pythonなどの言語のSDKがあります。 - - Go : https://pocketbase.io/docs/go-overview/ - - Javascript : https://pocketbase.io/docs/js-overview/ - - python : https://github.com/vaphes/pocketbase - ## 🔄 wiseflowと一般的なクローラーツール、LLM-Agentプロジェクトの違いと関連性 | 特徴 | 最高情報責任者（Wiseflow） | クローラー / スクレイパー | LLM-Agent | @@ -50,6 +40,22 @@ PocketBaseは人気のある軽量データベースで、現在Go/Javascript/Py | **主な解決課題** | データ処理（フィルタリング、精製、ラベリング） | 生データ取得 | 下流アプリケーション | | **関連性** | | WiseFlowに統合可能、wiseflowにより強力な生データ取得能力を与える | WiseFlowを動的知識ベースとして統合可能 | +## 🌟 wiseflowをあなたのアプリケーションに統合する方法 + +wiseflowはネイティブのLLMアプリケーションで、7B〜9BサイズのLLMだけで情報のマイニング、フィルタリング、分類を効果的に行うことができ、ベクトルモデルは不要です。システムオーバーヘッドが非常に小さいため、さまざまなハードウェア環境でのローカルおよびプライベート展開に適しています。 + +### ✋ あなたのアプリケーションがwiseflowがマイニングしたデータのみを使用する場合、つまりあなたのアプリケーションがwiseflowのダウンストリームタスクである場合 + +wiseflowはマイニングされた情報を内蔵のPocketbaseデータベースに保存します。つまり、このシナリオではwiseflowのコードを理解する必要はなく、データベースに対して読み取り操作を行うだけです！ + +PocketBaseは人気のある軽量データベースで、現在Go/Javascript/Pythonなどの言語のSDKがあります。 + - Go : https://pocketbase.io/docs/go-overview/ + - Javascript : https://pocketbase.io/docs/js-overview/ + - python : https://github.com/vaphes/pocketbase + +### ✋ wiseflowをリアルタイムの情報処理ツールとして使用したい場合、つまりwiseflowをあなたのアプリケーションのダウンストリームタスクとして使用したい場合 +私たちのサンプルプロジェクトを参照してください — オンラインで自主学習可能なWeChatベースの個人AIアシスタント（または業界の専門家）[awada](https://github.com/TeamWiseFlow/awada) + ## 📥 インストールと使用方法 ### 1. リポジトリのクローン diff --git a/README_KR.md b/README_KR.md index 46a8219..befe488 100644 --- a/README_KR.md +++ b/README_KR.md @@ -9,7 +9,8 @@ 🌱 수석 정보 책임자가 어떻게 당신의 시간을 절약하고, 관련 없는 정보를 필터링하며, 주목할 만한 요점을 정리하는지 살펴보세요! 🌱 - ✅ 범용 웹 콘텐츠 파서, 통계 학습(오픈 소스 프로젝트 GNE에 의존)과 LLM을 포괄적으로 사용하여 90% 이상의 뉴스 페이지에 적합; - (**Wiseflow는 위챗 공식 계정 기사에서 정보를 추출하는 데 특히 뛰어나며**, 이를 위해 전용 mp 기사 파서를 구성했습니다!) + + WiseFlow에는 WeChat 공식 계정 기사 전용 파서가 내장되어 있지만 공식 계정 기사 푸시에 대한 실시간 액세스는 wxbot과 일치해야 합니다. 자세한 내용은 예를 참조하십시오 [awada](https://github.com/TeamWiseFlow/awada) - ✅ 비동기 작업 아키텍처; - ✅ LLM을 사용한 정보 추출 및 라벨 분류 (9B 크기의 LLM으로 작업을 완벽하게 수행할 수 있습니다)! @@ -32,17 +33,6 @@ https://github.com/TeamWiseFlow/wiseflow/assets/96130569/bd4b2091-c02d-4457-9ec6 🌹 여러분의 기여에 감사드립니다! -## 🌟 애플리케이션에 wiseflow를 통합하는 방법 - -wiseflow는 네이티브 LLM 애플리케이션으로, 7B~9B 크기의 LLM만으로 정보 마이닝, 필터링 및 분류 작업을 잘 수행할 수 있으며, 벡터 모델이 필요하지 않아 다양한 하드웨어 환경에서의 로컬 및 프라이빗 배포에 적합합니다. - -wiseflow는 마이닝된 정보를 내장된 Pocketbase 데이터베이스에 저장하므로, wiseflow의 코드를 깊이 이해할 필요 없이 데이터베이스 읽기 작업만으로 통합이 가능합니다! - -PocketBase는 인기 있는 경량 데이터베이스로, 현재 Go/Javascript/Python 등의 언어 SDK가 있습니다. - - Go : https://pocketbase.io/docs/go-overview/ - - Javascript : https://pocketbase.io/docs/js-overview/ - - python : https://github.com/vaphes/pocketbase - ## 🔄 wiseflow와 일반적인 크롤러 도구, LLM-Agent 프로젝트의 차이점과 연관성 | 특징 | 수석 정보 책임자 (Wiseflow) | 크롤러 / 스크래퍼 | LLM-Agent | @@ -50,6 +40,23 @@ PocketBase는 인기 있는 경량 데이터베이스로, 현재 Go/Javascript/P | **주요 해결 문제** | 데이터 처리 (필터링, 정제, 라벨링) | 원시 데이터 획득 | 하류 애플리케이션 | | **연관성** | | WiseFlow에 통합 가능, wiseflow에 더 강력한 원시 데이터 획득 능력을 부여 | WiseFlow를 동적 지식 기반으로 통합 가능 | +## 🌟 애플리케이션에 wiseflow를 통합하는 방법 + +wiseflow는 네이티브 LLM 애플리케이션으로, 7B~9B 크기의 LLM만으로도 정보 마이닝, 필터링, 분류 작업을 효과적으로 수행할 수 있으며, 벡터 모델이 필요하지 않습니다. 시스템 오버헤드가 매우 작기 때문에 다양한 하드웨어 환경에서의 로컬 및 프라이빗 배포에 적합합니다. + +### ✋ 당신의 애플리케이션이 wiseflow가 마이닝한 데이터만 사용하는 경우, 즉 당신의 애플리케이션이 wiseflow의 다운스트림 작업인 경우 + +wiseflow는 마이닝된 정보를 내장된 Pocketbase 데이터베이스에 저장하므로, 이 시나리오에서는 wiseflow 코드를 이해할 필요가 없으며, 데이터베이스에 대해 읽기 작업만 수행하면 됩니다! + +PocketBase는 인기 있는 경량 데이터베이스로, 현재 Go/Javascript/Python 등의 언어 SDK가 있습니다. + - Go : https://pocketbase.io/docs/go-overview/ + - Javascript : https://pocketbase.io/docs/js-overview/ + - python : https://github.com/vaphes/pocketbase + +### ✋ wiseflow를 실시간 정보 처리 도구로 사용하려는 경우, 즉 wiseflow를 당신의 애플리케이션의 다운스트림 작업으로 사용하려는 경우 + +우리의 예제 프로젝트를 참조하세요 — 온라인에서 자율 학습이 가능한 WeChat 기반 개인 AI 어시스턴트 (또는 업계 전문가) [awada](https://github.com/TeamWiseFlow/awada) + ## 📥 설치 및 사용 방법 ### 1. 저장소 복제