seperate site setting

client/.dockerignore

@@ -11,4 +11,4 @@ docker-compose.yaml
 Dockerfile
 README.md
 backend/__pycache__
-backend/AWtest
+backend/WStest

client/.gitignore

@@ -1,4 +1,4 @@
 .env
 .venv/
 pb/pb_data/
-backend/AWtest/
+backend/WStest/

client/README.md

@@ -18,7 +18,8 @@
 - character 以什么身份挖掘线索（这决定了llm的关注点和立场）
 - focus 关注什么方面的线索
 - focus_type 线索类型
-- good_samples 你希望llm给出的线索描述模式（给两个sample）
+- good_samples1 你希望llm给出的线索描述模式（给两个sample）
+- good_samples2 你希望llm给出的线索描述模式（给两个sample）
 - bad_samples 规避的线索描述模式
 - report_type 报告类型
 

client/backend/background_task.py

@@ -4,21 +4,13 @@
 import schedule
 import time
 from work_process import ServiceProcesser
-import configparser
-
-config = configparser.ConfigParser()
-config.read('../config.ini')
-
-if config.has_section('sites'):
-    web_pages = config['sites']
-    urls = [value for key, value in web_pages.items()]
-else:
-    urls = []
 
 sp = ServiceProcesser()
 
 
 def task():
+    with open('../sites.txt', 'r', encoding='utf-8') as f:
+        urls = [line.strip() for line in f.readlines() if line.strip()]
     sp(sites=urls)
 
 

client/config.ini

@@ -7,10 +7,3 @@ good_sample1 = 黑客组织Rhysida声称已入侵中国国有能源公司
 good_sample2 = 差不多一百万份包含未成年人数据（包括家庭地址和照片）的文件对互联网上的任何人都开放，对孩子构成威胁
 bad_sample = 黑客组织活动最近频发
 report_type = 网络安全情报
-
-[sites]
-site3 = https://www.hackread.com/
-site2 = http://sh.people.com.cn/
-site1 = https://www.xuexi.cn/
-site4 = https://www.defensenews.com/
-site5 = https://www.meritalk.com

client/sites.txt

@@ -0,0 +1,5 @@
+https://www.hackread.com/
+http://sh.people.com.cn/
+https://www.xuexi.cn/
+https://www.defensenews.com/
+https://www.meritalk.com

client/version

@@ -1 +1 @@
-v0.2.0
+v0.2.1