mirror of
https://github.com/TeamWiseFlow/wiseflow.git
synced 2025-01-23 02:20:20 +08:00
refer to awada
This commit is contained in:
bigbrother666
parent
f87b68e6b1
commit
60df751129
31
README.md
31
README.md
@ -9,7 +9,8 @@
|
||||
🌱看看首席情报官是如何帮您节省时间，过滤无关信息，并整理关注要点的吧！🌱
|
||||
|
||||
- ✅ 通用网页内容解析器，综合使用统计学习（依赖开源项目GNE）和LLM，适配90%以上的新闻页面；
|
||||
（**WiseFlow尤其擅长从微信公众号文章中提取信息**，为此我们配置了mp article专属解析器！）
|
||||
|
||||
WiseFlow内置微信公号文章专属解析器，但实时获取公众号文章推送需要搭配wxbot，详见示例 [awada](https://github.com/TeamWiseFlow/awada)）
|
||||
- ✅ 异步任务架构；
|
||||
- ✅ 使用LLM进行信息提取和标签分类（最低只需使用9B大小的LLM就可完美执行任务）！
|
||||
|
||||
@ -33,17 +34,6 @@ prompt（也就决定了info的输出语言），这进一步简化了wiseflow
|
||||
|
||||
🌹 感谢大家的贡献！
|
||||
|
||||
## 🌟 如何在您的应用中整合wiseflow
|
||||
|
||||
wiseflow 是一个原生的LLM应用，仅需7B~9B大小LLM就可以很好的执行信息挖掘、过滤与分类任务，且无需向量模型，系统开销很小，适合各种硬件环境下的本地化以及私有化部署。
|
||||
|
||||
wiseflow 将挖掘出的信息存储于自带的Pocketbase数据库中，这意味着整合无需深入了解wiseflow的代码，只需要对数据库进行读取操作即可！
|
||||
|
||||
PocketBase作为流行的轻量级数据库，目前已有 Go/Javascript/Python 等语言的SDK。
|
||||
- Go : https://pocketbase.io/docs/go-overview/
|
||||
- Javascript : https://pocketbase.io/docs/js-overview/
|
||||
- python : https://github.com/vaphes/pocketbase
|
||||
|
||||
## 🔄 wiseflow 与常见的爬虫工具、LLM-Agent类项目有何不同与关联？
|
||||
|
||||
| 特点 | 首席情报官（Wiseflow） | Crawler / Scraper | LLM-Agent |
|
||||
@ -51,6 +41,23 @@ PocketBase作为流行的轻量级数据库，目前已有 Go/Javascript/Python
|
||||
| **主要解决的问题** | 数据处理（筛选、提炼、贴标签） | 原始数据获取 | 下游应用 |
|
||||
| **关联** | | 可以集成至WiseFlow，使wiseflow具有更强大的原始数据获取能力 | 可以集成WiseFlow，作为动态知识库 |
|
||||
|
||||
## 🌟 如何在您的应用中整合wiseflow
|
||||
|
||||
wiseflow是一个原生的LLM应用，仅需7B~9B大小LLM就可以很好的执行信息挖掘、过滤与分类任务，且无需向量模型，系统开销很小，适合各种硬件环境下的本地化以及私有化部署。
|
||||
|
||||
### ✋如果您的应用只需要使用wiseflow挖掘出的数据，即您的应用作为wiseflow的下游任务
|
||||
|
||||
wiseflow将挖掘出的信息存储于自带的Pocketbase数据库中，这意味着这种情况下您无需了解wiseflow的代码，只需要对数据库进行读取操作即可！
|
||||
|
||||
PocketBase作为流行的轻量级数据库，目前已有 Go/Javascript/Python 等语言的SDK。
|
||||
- Go : https://pocketbase.io/docs/go-overview/
|
||||
- Javascript : https://pocketbase.io/docs/js-overview/
|
||||
- python : https://github.com/vaphes/pocketbase
|
||||
|
||||
### ✋如果您想将wiseflow作为实时的信息处理工具，即wiseflow作为您应用的下游任务
|
||||
|
||||
可以参考我们的一个示例项目 —— 基于微信的可在线自主学习的个人AI助理（也可能是行业专家）[awada](https://github.com/TeamWiseFlow/awada)
|
||||
|
||||
## 📥 安装与使用
|
||||
|
||||
### 1. 克隆代码仓库
|
||||
|
||||
31
README_EN.md
31
README_EN.md
@ -9,7 +9,8 @@
|
||||
🌱 See how Chief Intelligence Officer helps you save time, filter out irrelevant information, and organize key points of interest! 🌱
|
||||
|
||||
- ✅ Universal web content parser, comprehensively using statistical learning (dependent on the open-source project GNE) and LLM, suitable for over 90% of news pages;
|
||||
(**Wiseflow excels in extracting information from WeChat official account articles**, for which we have configured a dedicated mp article parser!)
|
||||
|
||||
WiseFlow has a built-in WeChat official account article exclusive parser, but real-time access to official account article push needs to be matched with wxbot, see the example for details [awada](https://github.com/TeamWiseFlow/awada)
|
||||
- ✅ Asynchronous task architecture;
|
||||
- ✅ Information extraction and label classification using LLM (only requires an LLM of 9B size to perfectly execute tasks)!
|
||||
|
||||
@ -32,17 +33,6 @@ the current prompts cannot perform accurate extraction. Therefore, in this versi
|
||||
|
||||
🌹 Thank you all for your contributions!
|
||||
|
||||
## 🌟 How to Integrate wiseflow into Your Application
|
||||
|
||||
wiseflow is a native LLM application, requiring only a 7B~9B size LLM to perform information mining, filtering, and classification tasks well, and does not require a vector model, making it suitable for various hardware environments for local and private deployment.
|
||||
|
||||
wiseflow stores the mined information in its built-in Pocketbase database, meaning integration does not require in-depth understanding of wiseflow's code, just read operations on the database!
|
||||
|
||||
PocketBase, as a popular lightweight database, currently has SDKs for Go/Javascript/Python languages.
|
||||
- Go : https://pocketbase.io/docs/go-overview/
|
||||
- Javascript : https://pocketbase.io/docs/js-overview/
|
||||
- python : https://github.com/vaphes/pocketbase
|
||||
|
||||
## 🔄 How is wiseflow Different and Related to Common Crawler Tools and LLM-Agent Projects?
|
||||
|
||||
| Characteristic | Chief Intelligence Officer (Wiseflow) | Crawler / Scraper | LLM-Agent |
|
||||
@ -50,6 +40,23 @@ PocketBase, as a popular lightweight database, currently has SDKs for Go/Javascr
|
||||
| **Main Problem Solved** | Data Processing (Filtering, Refining, Tagging) | Raw Data Acquisition | Downstream Applications |
|
||||
| **Relation** | | Can be integrated into WiseFlow, giving wiseflow stronger raw data acquisition capabilities | Can integrate WiseFlow as a dynamic knowledge base |
|
||||
|
||||
## How to Integrate wiseflow into Your Application
|
||||
|
||||
wiseflow is a native LLM application that can effectively perform information mining, filtering, and classification tasks with only a 7B-9B LLM. It does not require vector models and has a very small system overhead, making it suitable for localization and private deployment in various hardware environments.
|
||||
|
||||
### ✋ If Your Application Only Needs to Use the Data Mined by wiseflow (i.e., Your Application as a Downstream Task of wiseflow)
|
||||
wiseflow stores the mined information in its built-in Pocketbase database. This means that in this case, you do not need to understand the wiseflow code, and you only need to perform read operations on the database!
|
||||
|
||||
PocketBase, as a popular lightweight database, currently has SDKs for Go/Javascript/Python languages.
|
||||
- Go : https://pocketbase.io/docs/go-overview/
|
||||
- Javascript : https://pocketbase.io/docs/js-overview/
|
||||
- python : https://github.com/vaphes/pocketbase
|
||||
|
||||
### ✋If you want to use wiseflow as a real-time information processing tool, i.e., wiseflow as the downstream task of your application
|
||||
|
||||
You can refer to one of our example projects — a WeChat-based personal AI assistant (or possibly an industry expert) for online autonomous learning [awada](https://github.com/TeamWiseFlow/awada)
|
||||
|
||||
|
||||
## 📥 Installation and Usage
|
||||
|
||||
### 1. Clone the Repository
|
||||
|
||||
30
README_JP.md
30
README_JP.md
@ -9,7 +9,8 @@
|
||||
🌱 最高情報責任者がどのようにあなたの時間を節約し、無関係な情報をフィルタリングし、注目すべきポイントを整理するかを見てみましょう！ 🌱
|
||||
|
||||
- ✅ 汎用ウェブコンテンツパーサー、統計学習（オープンソースプロジェクトGNEに依存）とLLMを包括的に使用し、90%以上のニュースページに適合;
|
||||
（**WiseflowはWeChat公式アカウントの記事から情報を抽出することに特に優れており**、専用のmp記事パーサーを設定しています！）
|
||||
|
||||
WiseFlowにはWeChat公式アカウント記事専用パーサーが組み込まれていますが、公式アカウント記事のプッシュをリアルタイムで取得するにはwxbotが必要です。詳しくは例を参照してください [awada](https://github.com/TeamWiseFlow/awada)
|
||||
- ✅ 非同期タスクアーキテクチャ;
|
||||
- ✅ LLMを使用した情報抽出とラベル分類（9BサイズのLLMで完璧にタスクを実行できます）！
|
||||
|
||||
@ -32,17 +33,6 @@ https://github.com/TeamWiseFlow/wiseflow/assets/96130569/bd4b2091-c02d-4457-9ec6
|
||||
|
||||
🌹 皆さんの貢献に感謝します！
|
||||
|
||||
## 🌟 アプリケーションにwiseflowを統合する方法
|
||||
|
||||
wiseflowはネイティブLLMアプリケーションで、7B〜9BサイズのLLMで情報マイニング、フィルタリング、分類タスクをうまく実行でき、ベクトルモデルを必要とせず、さまざまなハードウェア環境でのローカルおよびプライベート展開に適しています。
|
||||
|
||||
wiseflowはマイニングされた情報を組み込みのPocketbaseデータベースに保存します。つまり、wiseflowのコードを深く理解する必要はなく、データベースの読み取り操作だけで統合が可能です！
|
||||
|
||||
PocketBaseは人気のある軽量データベースで、現在Go/Javascript/Pythonなどの言語のSDKがあります。
|
||||
- Go : https://pocketbase.io/docs/go-overview/
|
||||
- Javascript : https://pocketbase.io/docs/js-overview/
|
||||
- python : https://github.com/vaphes/pocketbase
|
||||
|
||||
## 🔄 wiseflowと一般的なクローラーツール、LLM-Agentプロジェクトの違いと関連性
|
||||
|
||||
| 特徴 | 最高情報責任者（Wiseflow） | クローラー / スクレイパー | LLM-Agent |
|
||||
@ -50,6 +40,22 @@ PocketBaseは人気のある軽量データベースで、現在Go/Javascript/Py
|
||||
| **主な解決課題** | データ処理（フィルタリング、精製、ラベリング） | 生データ取得 | 下流アプリケーション |
|
||||
| **関連性** | | WiseFlowに統合可能、wiseflowにより強力な生データ取得能力を与える | WiseFlowを動的知識ベースとして統合可能 |
|
||||
|
||||
## 🌟 wiseflowをあなたのアプリケーションに統合する方法
|
||||
|
||||
wiseflowはネイティブのLLMアプリケーションで、7B〜9BサイズのLLMだけで情報のマイニング、フィルタリング、分類を効果的に行うことができ、ベクトルモデルは不要です。システムオーバーヘッドが非常に小さいため、さまざまなハードウェア環境でのローカルおよびプライベート展開に適しています。
|
||||
|
||||
### ✋ あなたのアプリケーションがwiseflowがマイニングしたデータのみを使用する場合、つまりあなたのアプリケーションがwiseflowのダウンストリームタスクである場合
|
||||
|
||||
wiseflowはマイニングされた情報を内蔵のPocketbaseデータベースに保存します。つまり、このシナリオではwiseflowのコードを理解する必要はなく、データベースに対して読み取り操作を行うだけです！
|
||||
|
||||
PocketBaseは人気のある軽量データベースで、現在Go/Javascript/Pythonなどの言語のSDKがあります。
|
||||
- Go : https://pocketbase.io/docs/go-overview/
|
||||
- Javascript : https://pocketbase.io/docs/js-overview/
|
||||
- python : https://github.com/vaphes/pocketbase
|
||||
|
||||
### ✋ wiseflowをリアルタイムの情報処理ツールとして使用したい場合、つまりwiseflowをあなたのアプリケーションのダウンストリームタスクとして使用したい場合
|
||||
私たちのサンプルプロジェクトを参照してください — オンラインで自主学習可能なWeChatベースの個人AIアシスタント（または業界の専門家）[awada](https://github.com/TeamWiseFlow/awada)
|
||||
|
||||
## 📥 インストールと使用方法
|
||||
|
||||
### 1. リポジトリのクローン
|
||||
|
||||
31
README_KR.md
31
README_KR.md
@ -9,7 +9,8 @@
|
||||
🌱 수석 정보 책임자가 어떻게 당신의 시간을 절약하고, 관련 없는 정보를 필터링하며, 주목할 만한 요점을 정리하는지 살펴보세요! 🌱
|
||||
|
||||
- ✅ 범용 웹 콘텐츠 파서, 통계 학습(오픈 소스 프로젝트 GNE에 의존)과 LLM을 포괄적으로 사용하여 90% 이상의 뉴스 페이지에 적합;
|
||||
(**Wiseflow는 위챗 공식 계정 기사에서 정보를 추출하는 데 특히 뛰어나며**, 이를 위해 전용 mp 기사 파서를 구성했습니다!)
|
||||
|
||||
WiseFlow에는 WeChat 공식 계정 기사 전용 파서가 내장되어 있지만 공식 계정 기사 푸시에 대한 실시간 액세스는 wxbot과 일치해야 합니다. 자세한 내용은 예를 참조하십시오 [awada](https://github.com/TeamWiseFlow/awada)
|
||||
- ✅ 비동기 작업 아키텍처;
|
||||
- ✅ LLM을 사용한 정보 추출 및 라벨 분류 (9B 크기의 LLM으로 작업을 완벽하게 수행할 수 있습니다)!
|
||||
|
||||
@ -32,17 +33,6 @@ https://github.com/TeamWiseFlow/wiseflow/assets/96130569/bd4b2091-c02d-4457-9ec6
|
||||
|
||||
🌹 여러분의 기여에 감사드립니다!
|
||||
|
||||
## 🌟 애플리케이션에 wiseflow를 통합하는 방법
|
||||
|
||||
wiseflow는 네이티브 LLM 애플리케이션으로, 7B~9B 크기의 LLM만으로 정보 마이닝, 필터링 및 분류 작업을 잘 수행할 수 있으며, 벡터 모델이 필요하지 않아 다양한 하드웨어 환경에서의 로컬 및 프라이빗 배포에 적합합니다.
|
||||
|
||||
wiseflow는 마이닝된 정보를 내장된 Pocketbase 데이터베이스에 저장하므로, wiseflow의 코드를 깊이 이해할 필요 없이 데이터베이스 읽기 작업만으로 통합이 가능합니다!
|
||||
|
||||
PocketBase는 인기 있는 경량 데이터베이스로, 현재 Go/Javascript/Python 등의 언어 SDK가 있습니다.
|
||||
- Go : https://pocketbase.io/docs/go-overview/
|
||||
- Javascript : https://pocketbase.io/docs/js-overview/
|
||||
- python : https://github.com/vaphes/pocketbase
|
||||
|
||||
## 🔄 wiseflow와 일반적인 크롤러 도구, LLM-Agent 프로젝트의 차이점과 연관성
|
||||
|
||||
| 특징 | 수석 정보 책임자 (Wiseflow) | 크롤러 / 스크래퍼 | LLM-Agent |
|
||||
@ -50,6 +40,23 @@ PocketBase는 인기 있는 경량 데이터베이스로, 현재 Go/Javascript/P
|
||||
| **주요 해결 문제** | 데이터 처리 (필터링, 정제, 라벨링) | 원시 데이터 획득 | 하류 애플리케이션 |
|
||||
| **연관성** | | WiseFlow에 통합 가능, wiseflow에 더 강력한 원시 데이터 획득 능력을 부여 | WiseFlow를 동적 지식 기반으로 통합 가능 |
|
||||
|
||||
## 🌟 애플리케이션에 wiseflow를 통합하는 방법
|
||||
|
||||
wiseflow는 네이티브 LLM 애플리케이션으로, 7B~9B 크기의 LLM만으로도 정보 마이닝, 필터링, 분류 작업을 효과적으로 수행할 수 있으며, 벡터 모델이 필요하지 않습니다. 시스템 오버헤드가 매우 작기 때문에 다양한 하드웨어 환경에서의 로컬 및 프라이빗 배포에 적합합니다.
|
||||
|
||||
### ✋ 당신의 애플리케이션이 wiseflow가 마이닝한 데이터만 사용하는 경우, 즉 당신의 애플리케이션이 wiseflow의 다운스트림 작업인 경우
|
||||
|
||||
wiseflow는 마이닝된 정보를 내장된 Pocketbase 데이터베이스에 저장하므로, 이 시나리오에서는 wiseflow 코드를 이해할 필요가 없으며, 데이터베이스에 대해 읽기 작업만 수행하면 됩니다!
|
||||
|
||||
PocketBase는 인기 있는 경량 데이터베이스로, 현재 Go/Javascript/Python 등의 언어 SDK가 있습니다.
|
||||
- Go : https://pocketbase.io/docs/go-overview/
|
||||
- Javascript : https://pocketbase.io/docs/js-overview/
|
||||
- python : https://github.com/vaphes/pocketbase
|
||||
|
||||
### ✋ wiseflow를 실시간 정보 처리 도구로 사용하려는 경우, 즉 wiseflow를 당신의 애플리케이션의 다운스트림 작업으로 사용하려는 경우
|
||||
|
||||
우리의 예제 프로젝트를 참조하세요 — 온라인에서 자율 학습이 가능한 WeChat 기반 개인 AI 어시스턴트 (또는 업계 전문가) [awada](https://github.com/TeamWiseFlow/awada)
|
||||
|
||||
## 📥 설치 및 사용 방법
|
||||
|
||||
### 1. 저장소 복제
|
||||
|
||||
Loading…
Reference in New Issue
Block a user