DROID / IHCC-cohorts-data-harmonization / cgarcia5-SMC
No remote found
Workflow
The following workflow defines all tasks necessary to upload, preprocess, share, and map a new data dictionary.
- Upload cohort data
- Open Google Sheet
- Run automated mapping for new data dictionary
- Share Google Sheet with submitter
- Prepare data dictionary for build
- Run automated validation
- Build data dictionary
- View results
- Add data dictionary to Version Control
- Prepare git commit (click on Commit in Version menu)
- Push changes to GitHub (click on Push in Version menu), and make pull request.
- Delete Google sheet (Caution, cannot be undone)
IHCC Data Admin Tasks
Console
Action automated_mapping started at 2023-11-14T10:45:24.938Z (2023-11-14T10:45:24.938Z)
ERROR: Exit code 2
$ make -f Makefile automated_mapping
make cogs_pull
make[1]: Entering directory '/workspace'
cogs fetch
cogs pull
make[1]: Leaving directory '/workspace'
cp build/terminology.tsv templates/cogs.tsv
make build/suggestions_cogs.tsv
make[1]: Entering directory '/workspace'
python3 src/mapping-suggest/id-generator-templates.py -t templates/cogs.tsv -m build/metadata.tsv
Generating IDs for data dictionary: SMC
mkdir -p build/intermediate
python3 src/mapping-suggest/mapping-suggest-zooma.py -c src/mapping-suggest/mapping-suggest-config.yml -t templates/cogs.tsv -o build/intermediate/cogs_mapping_suggestions_zooma.tsv
Zooma config: {'zooma_annotate': 'http://192.168.0.199:8009/zooma/v2/api/services/annotate?propertyValue=', 'oxo_mapping': 'https://mapping.ihccglobal.app/api/mappings?fromId=', 'ols_term': 'https://registry.ihccglobal.app/api/terms?iri=', 'ols_oboid': 'https://registry.ihccglobal.app/api/terms?obo_id=', 'min_match_probability': 0.1, 'rescale_nlp_matches': {'low': 0, 'high': 0.9}, 'zooma_confidence_mappings': {'LOW': 0.51, 'MEDIUM': 0.76, 'GOOD': 0.98, 'HIGH': 1}}
Zooma matching successful. First twenty results:
term match confidence
0 Date of birth PATO:0000011 1.00
1 Date of death STATO:0000093 1.00
2 Marital status PATO:0001995 0.98
3 Marital status EUPATH:0000374 0.98
4 Number of siblings GECKO:0000066 0.76
5 Number of siblings GECKO:0000132 0.76
6 Employment PATO:0001995 0.98
7 Education GECKO:0000065 1.00
8 Height (cm) CMO:0000106 1.00
9 Height at age 20 CMO:0000106 0.98
10 Weight (kg) CMO:0000012 1.00
11 Waist (cm) CMO:0000021 0.98
12 Hip (cm) CMO:0000021 0.98
13 Blood pressure CMO:0000003 1.00
14 Birthweight GECKO:0000114 0.98
15 Excluding from diet GECKO:0000072 0.98
16 Smoking GECKO:0000068 1.00
17 Multivitamins GECKO:0000072 0.98
18 Vitamin C GECKO:0000072 0.98
19 Vitamin C UBERON:0001088 0.98
curl -L -o build/gecko.owl http://purl.obolibrary.org/obo/gecko/views/ihcc-gecko.owl
% Total % Received % Xferd Average Speed Time Time Time Current
Dload Upload Total Spent Left Speed
0 0 0 0 0 0 0 0 --:--:-- --:--:-- --:--:-- 0
0 0 0 0 0 0 0 0 --:--:-- --:--:-- --:--:-- 0
100 349 0 349 0 0 1524 0 --:--:-- --:--:-- --:--:-- 1524
100 105k 100 105k 0 0 224k 0 --:--:-- --:--:-- --:--:-- 224k
curl -Lk -o build/robot.jar https://build.obolibrary.io/job/ontodev/job/robot/job/master/lastSuccessfulBuild/artifact/bin/robot.jar
% Total % Received % Xferd Average Speed Time Time Time Current
Dload Upload Total Spent Left Speed
0 0 0 0 0 0 0 0 --:--:-- --:--:-- --:--:-- 0
0 0 0 0 0 0 0 0 --:--:-- 0:00:01 --:--:-- 0
0 0 0 0 0 0 0 0 --:--:-- 0:00:02 --:--:-- 0
0 0 0 0 0 0 0 0 --:--:-- 0:00:03 --:--:-- 0
0 0 0 0 0 0 0 0 --:--:-- 0:00:04 --:--:-- 0
0 0 0 0 0 0 0 0 --:--:-- 0:00:05 --:--:-- 0
0 0 0 0 0 0 0 0 --:--:-- 0:00:06 --:--:-- 0
0 0 0 0 0 0 0 0 --:--:-- 0:00:07 --:--:-- 0
0 0 0 0 0 0 0 0 --:--:-- 0:00:08 --:--:-- 0
0 0 0 0 0 0 0 0 --:--:-- 0:00:09 --:--:-- 0
0 0 0 0 0 0 0 0 --:--:-- 0:00:10 --:--:-- 0
0 0 0 0 0 0 0 0 --:--:-- 0:00:11 --:--:-- 0
0 0 0 0 0 0 0 0 --:--:-- 0:00:12 --:--:-- 0
0 0 0 0 0 0 0 0 --:--:-- 0:00:13 --:--:-- 0
0 0 0 0 0 0 0 0 --:--:-- 0:00:14 --:--:-- 0
0 0 0 0 0 0 0 0 --:--:-- 0:00:15 --:--:-- 0
0 0 0 0 0 0 0 0 --:--:-- 0:00:16 --:--:-- 0
0 0 0 0 0 0 0 0 --:--:-- 0:00:17 --:--:-- 0
0 0 0 0 0 0 0 0 --:--:-- 0:00:18 --:--:-- 0
0 0 0 0 0 0 0 0 --:--:-- 0:00:19 --:--:-- 0
0 0 0 0 0 0 0 0 --:--:-- 0:00:20 --:--:-- 0
0 0 0 0 0 0 0 0 --:--:-- 0:00:21 --:--:-- 0
0 0 0 0 0 0 0 0 --:--:-- 0:00:22 --:--:-- 0
0 0 0 0 0 0 0 0 --:--:-- 0:00:23 --:--:-- 0
0 0 0 0 0 0 0 0 --:--:-- 0:00:24 --:--:-- 0
0 0 0 0 0 0 0 0 --:--:-- 0:00:25 --:--:-- 0
0 0 0 0 0 0 0 0 --:--:-- 0:00:26 --:--:-- 0
0 0 0 0 0 0 0 0 --:--:-- 0:00:27 --:--:-- 0
0 0 0 0 0 0 0 0 --:--:-- 0:00:28 --:--:-- 0
0 0 0 0 0 0 0 0 --:--:-- 0:00:29 --:--:-- 0
0 0 0 0 0 0 0 0 --:--:-- 0:00:30 --:--:-- 0
0 0 0 0 0 0 0 0 --:--:-- 0:00:31 --:--:-- 0
0 0 0 0 0 0 0 0 --:--:-- 0:00:32 --:--:-- 0
0 0 0 0 0 0 0 0 --:--:-- 0:00:33 --:--:-- 0
0 0 0 0 0 0 0 0 --:--:-- 0:00:34 --:--:-- 0
0 0 0 0 0 0 0 0 --:--:-- 0:00:35 --:--:-- 0
0 0 0 0 0 0 0 0 --:--:-- 0:00:36 --:--:-- 0
0 0 0 0 0 0 0 0 --:--:-- 0:00:37 --:--:-- 0
0 0 0 0 0 0 0 0 --:--:-- 0:00:38 --:--:-- 0
0 0 0 0 0 0 0 0 --:--:-- 0:00:39 --:--:-- 0
0 0 0 0 0 0 0 0 --:--:-- 0:00:40 --:--:-- 0
0 0 0 0 0 0 0 0 --:--:-- 0:00:41 --:--:-- 0
0 0 0 0 0 0 0 0 --:--:-- 0:00:42 --:--:-- 0
0 0 0 0 0 0 0 0 --:--:-- 0:00:43 --:--:-- 0
0 0 0 0 0 0 0 0 --:--:-- 0:00:44 --:--:-- 0
0 0 0 0 0 0 0 0 --:--:-- 0:00:45 --:--:-- 0
0 0 0 0 0 0 0 0 --:--:-- 0:00:46 --:--:-- 0
0 0 0 0 0 0 0 0 --:--:-- 0:00:47 --:--:-- 0
0 0 0 0 0 0 0 0 --:--:-- 0:00:48 --:--:-- 0
0 0 0 0 0 0 0 0 --:--:-- 0:00:49 --:--:-- 0
0 0 0 0 0 0 0 0 --:--:-- 0:00:50 --:--:-- 0
0 0 0 0 0 0 0 0 --:--:-- 0:00:51 --:--:-- 0
0 0 0 0 0 0 0 0 --:--:-- 0:00:52 --:--:-- 0
0 0 0 0 0 0 0 0 --:--:-- 0:00:53 --:--:-- 0
0 0 0 0 0 0 0 0 --:--:-- 0:00:54 --:--:-- 0
0 0 0 0 0 0 0 0 --:--:-- 0:00:55 --:--:-- 0
0 0 0 0 0 0 0 0 --:--:-- 0:00:56 --:--:-- 0
0 0 0 0 0 0 0 0 --:--:-- 0:00:57 --:--:-- 0
0 0 0 0 0 0 0 0 --:--:-- 0:00:58 --:--:-- 0
0 0 0 0 0 0 0 0 --:--:-- 0:00:59 --:--:-- 0
0 0 0 0 0 0 0 0 --:--:-- 0:01:00 --:--:-- 0
0 0 0 0 0 0 0 0 --:--:-- 0:01:01 --:--:-- 0
0 0 0 0 0 0 0 0 --:--:-- 0:01:02 --:--:-- 0
0 0 0 0 0 0 0 0 --:--:-- 0:01:03 --:--:-- 0
0 0 0 0 0 0 0 0 --:--:-- 0:01:04 --:--:-- 0
0 0 0 0 0 0 0 0 --:--:-- 0:01:05 --:--:-- 0
0 0 0 0 0 0 0 0 --:--:-- 0:01:06 --:--:-- 0
0 0 0 0 0 0 0 0 --:--:-- 0:01:07 --:--:-- 0
0 0 0 0 0 0 0 0 --:--:-- 0:01:08 --:--:-- 0
0 0 0 0 0 0 0 0 --:--:-- 0:01:09 --:--:-- 0
0 0 0 0 0 0 0 0 --:--:-- 0:01:10 --:--:-- 0
0 0 0 0 0 0 0 0 --:--:-- 0:01:11 --:--:-- 0
0 0 0 0 0 0 0 0 --:--:-- 0:01:12 --:--:-- 0
0 0 0 0 0 0 0 0 --:--:-- 0:01:13 --:--:-- 0
0 0 0 0 0 0 0 0 --:--:-- 0:01:14 --:--:-- 0
0 0 0 0 0 0 0 0 --:--:-- 0:01:15 --:--:-- 0
0 0 0 0 0 0 0 0 --:--:-- 0:01:16 --:--:-- 0
0 0 0 0 0 0 0 0 --:--:-- 0:01:17 --:--:-- 0
0 0 0 0 0 0 0 0 --:--:-- 0:01:18 --:--:-- 0
0 0 0 0 0 0 0 0 --:--:-- 0:01:19 --:--:-- 0
0 0 0 0 0 0 0 0 --:--:-- 0:01:20 --:--:-- 0
0 0 0 0 0 0 0 0 --:--:-- 0:01:21 --:--:-- 0
0 0 0 0 0 0 0 0 --:--:-- 0:01:22 --:--:-- 0
0 0 0 0 0 0 0 0 --:--:-- 0:01:23 --:--:-- 0
0 0 0 0 0 0 0 0 --:--:-- 0:01:24 --:--:-- 0
0 0 0 0 0 0 0 0 --:--:-- 0:01:25 --:--:-- 0
0 0 0 0 0 0 0 0 --:--:-- 0:01:26 --:--:-- 0
0 0 0 0 0 0 0 0 --:--:-- 0:01:27 --:--:-- 0
0 0 0 0 0 0 0 0 --:--:-- 0:01:28 --:--:-- 0
0 0 0 0 0 0 0 0 --:--:-- 0:01:29 --:--:-- 0
0 0 0 0 0 0 0 0 --:--:-- 0:01:30 --:--:-- 0
0 0 0 0 0 0 0 0 --:--:-- 0:01:31 --:--:-- 0
0 0 0 0 0 0 0 0 --:--:-- 0:01:32 --:--:-- 0
0 0 0 0 0 0 0 0 --:--:-- 0:01:33 --:--:-- 0
0 0 0 0 0 0 0 0 --:--:-- 0:01:34 --:--:-- 0
0 0 0 0 0 0 0 0 --:--:-- 0:01:35 --:--:-- 0
0 0 0 0 0 0 0 0 --:--:-- 0:01:36 --:--:-- 0
0 0 0 0 0 0 0 0 --:--:-- 0:01:37 --:--:-- 0
0 0 0 0 0 0 0 0 --:--:-- 0:01:38 --:--:-- 0
0 0 0 0 0 0 0 0 --:--:-- 0:01:39 --:--:-- 0
0 0 0 0 0 0 0 0 --:--:-- 0:01:40 --:--:-- 0
0 0 0 0 0 0 0 0 --:--:-- 0:01:41 --:--:-- 0
0 0 0 0 0 0 0 0 --:--:-- 0:01:42 --:--:-- 0
0 0 0 0 0 0 0 0 --:--:-- 0:01:43 --:--:-- 0
0 0 0 0 0 0 0 0 --:--:-- 0:01:44 --:--:-- 0
0 0 0 0 0 0 0 0 --:--:-- 0:01:45 --:--:-- 0
0 0 0 0 0 0 0 0 --:--:-- 0:01:46 --:--:-- 0
0 0 0 0 0 0 0 0 --:--:-- 0:01:47 --:--:-- 0
0 0 0 0 0 0 0 0 --:--:-- 0:01:48 --:--:-- 0
0 0 0 0 0 0 0 0 --:--:-- 0:01:49 --:--:-- 0
0 0 0 0 0 0 0 0 --:--:-- 0:01:50 --:--:-- 0
0 0 0 0 0 0 0 0 --:--:-- 0:01:51 --:--:-- 0
0 0 0 0 0 0 0 0 --:--:-- 0:01:52 --:--:-- 0
0 0 0 0 0 0 0 0 --:--:-- 0:01:53 --:--:-- 0
0 0 0 0 0 0 0 0 --:--:-- 0:01:54 --:--:-- 0
0 0 0 0 0 0 0 0 --:--:-- 0:01:55 --:--:-- 0
0 0 0 0 0 0 0 0 --:--:-- 0:01:56 --:--:-- 0
0 0 0 0 0 0 0 0 --:--:-- 0:01:57 --:--:-- 0
0 0 0 0 0 0 0 0 --:--:-- 0:01:58 --:--:-- 0
0 0 0 0 0 0 0 0 --:--:-- 0:01:59 --:--:-- 0
0 0 0 0 0 0 0 0 --:--:-- 0:02:00 --:--:-- 0
0 0 0 0 0 0 0 0 --:--:-- 0:02:01 --:--:-- 0
0 0 0 0 0 0 0 0 --:--:-- 0:02:02 --:--:-- 0
0 0 0 0 0 0 0 0 --:--:-- 0:02:03 --:--:-- 0
0 0 0 0 0 0 0 0 --:--:-- 0:02:04 --:--:-- 0
0 0 0 0 0 0 0 0 --:--:-- 0:02:05 --:--:-- 0
0 0 0 0 0 0 0 0 --:--:-- 0:02:06 --:--:-- 0
0 0 0 0 0 0 0 0 --:--:-- 0:02:07 --:--:-- 0
curl: (28) Failed to connect to build.obolibrary.io port 443: Connection timed out
make[1]: *** [Makefile:252: build/robot.jar] Error 28
make[1]: Leaving directory '/workspace'
make: *** [Makefile:423: automated_mapping] Error 2
ERROR: Exit code 2