diff --git a/README.md b/README.md index e7af87f..25ad443 100644 --- a/README.md +++ b/README.md @@ -29,6 +29,7 @@ V0.3.6 是 V0.3.5的效果改进版本,针对诸多社区反馈进行了改进 - pb info 表单的结构做了小调整,增加了 web_title 和 reference 两项。 - @ourines 贡献了 install_pocketbase.sh 脚本 (docker运行方案被暂时移除了,感觉大家用起来也不是很方便……) - @ibaoger 贡献了 windows 下的pocketbase 安装脚本 + - @tusik 贡献了异步 llm wrapper **升级V0.3.6 版本依然需要重构 pocketbase 数据库,请删除pb/pb_data 文件夹后重新执行** @@ -167,6 +168,12 @@ export PB_API_AUTH="test@example.com|1234567890" 只有当你的 pocketbase 不运行在默认ip 或端口下才需要配置,默认情况下忽略就行。 +- #LLM_CONCURRENT_NUMBER=8 + + 用于控制 llm 的并发请求数量,不设定默认是1(开启前请确保 llm provider 支持设定的并发,本地大模型慎用,除非你对自己的硬件基础有信心) + + 感谢 @tusik 贡献的异步 llm wrapper + ### 4. 运行程序 ✋ V0.3.5版本架构和依赖与之前版本有较大不同,请务必重新拉取代码,删除(或重建)pb_data diff --git a/README_EN.md b/README_EN.md index 0f23972..7195e92 100644 --- a/README_EN.md +++ b/README_EN.md @@ -29,6 +29,8 @@ V0.3.6 is an enhanced version of V0.3.5, incorporating numerous improvements bas - Made minor adjustments to the pb info form structure, adding web_title and reference fields. - @ourines contributed the install_pocketbase.sh script (the Docker running solution has been temporarily removed as it wasn't very convenient for users...) - @ibaoger contributed the install_pocketbase.ps1 script for windows users +- @tusik contributed the asynchronous llm wrapper + **Upgrading to V0.3.6 requires restructuring the PocketBase database. Please delete the pb/pb_data folder and re-run the setup** **In V0.3.6, replace SECONDARY_MODEL with VL_MODEL in the .env file. Refer to the latest [env_sample](./env_sample)** @@ -166,6 +168,12 @@ The following are all optional configurations: Only needs to be configured if your pocketbase is not running on the default IP or port. Under default circumstances, you can ignore this. +- #LLM_CONCURRENT_NUMBER=8 + + Used to control the number of concurrent LLM requests. Default is 1 if not set (before enabling, please ensure your LLM provider supports the configured concurrency. Use local large models with caution unless you are confident in your hardware capabilities) + + Thanks to @tusik for contributing the asynchronous LLM wrapper + ### 4. Running the Program ✋ The V0.3.5 version architecture and dependencies are significantly different from previous versions. Please make sure to re-pull the code, delete (or rebuild) pb_data diff --git a/README_JP.md b/README_JP.md index ff8e9a5..7f932ea 100644 --- a/README_JP.md +++ b/README_JP.md @@ -29,7 +29,7 @@ V0.3.6はV0.3.5の効果改善版で、多くのコミュニティからのフ - pb infoフォームの構造を微調整し、web_titleとreferenceの2項目を追加しました。 - @ourines がinstall_pocketbase.shスクリプトを貢献しました (Docker実行方案は一時的に削除されました、使い勝手が良くなかったため……) - @ibaoger がinstall_pocketbase.ps1スクリプトを貢献しました(WindowsユーザーのためのDocker実行方案は一時的に削除されました、使い勝手が良くなかったため……) - + - @tusik が非同期 llm wrapper を貢献しました **V0.3.6バージョンへのアップグレードにはpocketbaseデータベースの再構築が必要です。pb/pb_dataフォルダを削除した後、再度実行してください** **V0.3.6バージョンでは.envファイルのSECONDARY_MODELをVL_MODELに置き換えてください。最新の[env_sample](./env_sample)を参照してください** @@ -167,6 +167,12 @@ export PB_API_AUTH="test@example.com|1234567890" pocketbaseがデフォルトのIPまたはポートで実行されていない場合にのみ設定が必要です。デフォルトの状況では、これを無視できます。 +- #LLM_CONCURRENT_NUMBER=8 + + llm の同時リクエスト数を制御するために使用されます。デフォルトは1です(llm provider が設定された同時性をサポートしていることを確認してください。ローカル大規模モデルはハードウェアベースに自分がない限り慎重に使用してください) + + @tusik に感謝します + ### 4. プログラムの実行 ✋ V0.3.5バージョンのアーキテクチャと依存関係は以前のバージョンと大きく異なります。必ずコードを再取得し、pb_dataを削除(または再構築)してください。 diff --git a/README_KR.md b/README_KR.md index 0fc9feb..61f056e 100644 --- a/README_KR.md +++ b/README_KR.md @@ -29,7 +29,7 @@ V0.3.6은 V0.3.5의 개선 버전으로, 많은 커뮤니티 피드백을 반영 - pb info 양식 구조를 약간 조정하여 web_title과 reference 항목을 추가했습니다. - @ourines 님이 install_pocketbase.sh 스크립트를 기여하셨습니다. (Docker 실행 방안은 일시적으로 제거되었으며 사용이 편리하지 않아서……) - @ibaoger 님이 install_pocketbase.ps1 스크립트를 기여하셨습니다. - + - @tusik 님이 비동기 llm wrapper를 기여하셨습니다. **V0.3.6 버전으로 업그레이드하려면 pocketbase 데이터베이스를 다시 구성해야 합니다. pb/pb_data 폴더를 삭제한 후 다시 실행해 주세요.** **V0.3.6 버전에서는 .env에서 SECONDARY_MODEL을 VL_MODEL로 변경해야 합니다. 최신 [env_sample](./env_sample)을 참고해 주세요.** @@ -167,6 +167,12 @@ export PB_API_AUTH="test@example.com|1234567890" - #PB_API_BASE="" pocketbase가 기본 IP 또는 포트에서 실행되지 않는 경우에만 구성이 필요합니다. 기본 상황에서는 이를 무시할 수 있습니다. + +- #LLM_CONCURRENT_NUMBER=8 + + llm 동시 요청 수를 제어하는 데 사용됩니다. 설정하지 않으면 기본값은 1입니다(활성화하기 전에 llm 제공자가 설정된 동시성을 지원하는지 확인하세요. 로컬 대규모 모델은 하드웨어 기반에 자신이 있지 않는 한 신중하게 사용하세요) + + @tusik이 기여한 비동기 llm wrapper에 감사드립니다 ### 4. 프로그램 실행 diff --git a/env_sample b/env_sample index 031de98..b5a9e84 100755 --- a/env_sample +++ b/env_sample @@ -9,4 +9,5 @@ export PB_API_AUTH="test@example.com|1234567890" ##your pb superuser account and ##belowing is optional, go as you need #export VERBOSE="true" ##for detail log info. If not need, remove this item. export PROJECT_DIR="work_dir" -#export PB_API_BASE="" ##only use if your pb not run on 127.0.0.1:8090 \ No newline at end of file +#export PB_API_BASE="" ##only use if your pb not run on 127.0.0.1:8090 +#export LLM_CONCURRENT_NUMBER=8 ##for concurrent llm requests, make sure your llm provider supports it(leave default is 1) \ No newline at end of file