算法平台
该平台集成了每人经反复验证过的、有效的、通用的数据处理组件与算法组件,提升了组件的可读性、复用性、扩展性与可维护性。
1.代码目录结构
按照组件功能划分目录结构
数据处理 data_processing
- [异常处理] abnormal_processing
- [限电处理] processing_limit_power
- ·agc-avc清洗 ·样板机法清洗 ·限电记录清洗 ·统计法清洗-光 ·统计法清洗-风
特征工程 feature_processing
- [归一化] feature_normalizer
- ·Min-Max归一化 ·Z-Score归一化
- [PCA降维] feature_pca
- [特征选择] feature_select
- [特征变换] feature_transform
模型 model_processing
- [模型训练] model_train
- ·LSTM ·CNN ·DNN ·Lightgbm ·Xgboost ·RandomForest
- [模型预测] model_predict
模型后处理 post_processing
评估 evaluation_processing
2.代码测试
1.Docker镜像为python3.7,开发完后,需要做单元测试,requirements.txt加入所需要的包,run_all.py中services中加入启动程序的路径和端口。
2.启动run_all,可采用postman或代码等其他形式进行接口调用测试。测试通过方可提交。