Commit 067aca97 authored by smetaj's avatar smetaj
Browse files

Added cache_locally and analysis to the ci tests

parent b344ec7c
---
history_steps: 48
slide_steps: 48
algo_and_params:
IForest_CI_TEST:
import_path: pyod.models.iforest.IForest
family: Traditional
train_on_test: False
subsample_for_train: 1000
parameters:
n_estimators: 100
max_samples_for_train: 1000
max_samples_for_train_deep: 10000
random_seed: 42
folder_training_time: "/eos/project/i/it-cloud-data-analytics/CI_TESTS/time/"
local_scores_folder: "/eos/project/i/it-cloud-data-analytics/CI_TESTS/scores/"
publish_per_windows: 4
hostgroup_abs_path: "cloud_compute/level2/batch/gva_project_013"
start_benchmark: "2021-01-01_16:00:00"
end_benchmark: ""2021-02-01"_00:00:00"
evaluation_artifact_path: "/eos/project/i/it-cloud-data-analytics/CI_TESTS/results/"
...
\ No newline at end of file
......@@ -56,26 +56,44 @@ else
fi
echo -e "\n@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@"
echo -e "\ntest data_mining normalizationpresence train\n"
echo -e "\ntest data_mining normalization_presence train\n"
echo -e "@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@\n"
data_mining normalization_presence --resource_file /work/tests/adcern/integration/adcern_cfg_train.json || echo 'Normalization is not present'
#fail 'test data_mining normalizationpresence'
#fail 'test data_mining normalization_presence'
echo -e "\n@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@"
echo -e "\ntest data_mining computenormalization train\n"
echo -e "\ntest data_mining compute_normalization train\n"
echo -e "@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@\n"
data_mining compute_normalization --resource_file /work/tests/adcern/integration/adcern_cfg_train.json || fail 'test data_mining computenormalization'
data_mining compute_normalization --resource_file /work/tests/adcern/integration/adcern_cfg_train.json || fail 'test data_mining compute_normalization'
echo -e "\n@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@"
echo -e "\ntest data_mining downloaddata train\n"
echo -e "\ntest data_mining download_data train\n"
echo -e "@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@\n"
data_mining download_data --resource_file /work/tests/adcern/integration/adcern_cfg_train.json || fail 'test data_mining downloaddata'
data_mining download_data --resource_file /work/tests/adcern/integration/adcern_cfg_train.json || fail 'test data_mining download_data'
echo -e "\n@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@"
echo -e "\ntest data_mining downloaddata test\n"
echo -e "\ntest data_mining download_data test\n"
echo -e "@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@\n"
data_mining download_data --resource_file /work/tests/adcern/integration/adcern_cfg_test.json || fail 'test data_mining downloaddata'
data_mining download_data --resource_file /work/tests/adcern/integration/adcern_cfg_test.json || fail 'test data_mining download_data'
echo -e "\n@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@"
echo -e "\ntest data_mining cache_locally train\n"
echo -e "@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@\n"
data_mining cache_locally --resource_file /work/tests/adcern/integration/adcern_cfg_train.json || fail 'test data_mining cache_locally'
echo -e "\n@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@"
echo -e "\ntest data_mining cache_locally test\n"
echo -e "@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@\n"
data_mining cache_locally --resource_file /work/tests/adcern/integration/adcern_cfg_test.json || fail 'test data_mining cache_locally'
echo -e "\n@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@"
echo -e "\ntest data_mining analysis\n"
echo -e "@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@\n"
data_mining analysis --alias_name IForest_CI_TEST --class_name IForest --module_name pyod.models.iforest --analysis_path /work/tests/adcern/integration/adcern_cfg_experiment.yaml --train_path /work/tests/adcern/integration/adcern_cfg_train.json --test_path /work/tests/adcern/integration/adcern_cfg_test.json --subsample_for_train 1000 --train_on_test False --hyperparameters \"{"n_estimators": 100}\" || fail 'test data_mining analysis'
\ No newline at end of file
Supports Markdown
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment