2019 XCSP3 competition: main track (CSP and COP, sequential and parallel solvers): results by benchmark

Results by benchmark for category optimization problem (COP)

This page displays the results of the different solvers for each benchmark for category optimization problem (COP)

REMINDER

Keep in mind that the 'Best result' columns only provide the best result given by one of the solvers. This 'Best result' may be wrong in case of an UNSATISFIABLE or OPTIMUM FOUND answer (because there's no efficient way to check these answers).

Description of a cell contents:

Cell exampleMeaning
AnswerSolver result
f=...value of the objective function for the model reported by the solver
TT=...Total Time (TT): this is the CPU time (in seconds) used by the solver until termination. This time is only meaningful for complete solvers because incomplete solvers will always run until they time out
Remember that CPU time and wall clock time are two very different notions. The CPU time represents the time during which the instructions of the solver were executed by the processor. The wall clock time represents how much time ellapsed on the clock. For a same event, the CPU time may be either smaller or greater than the wall clock time depending on the number of threads of execution and the number of processors.

Meaning of some abbreviations:

AbbreviationMeaning
f=...Value of the objective function
TOTime Out
MOMem. Out (out of memory)

Meaning of the different colors:

ColorMeaning
textthe solver cannot handle this instance
textthe solver gave no answer
textthe solver could give an answer (SAT)
textthe solver gave a definitive answer (OPTIMUM FOUND or UNSAT)
textthe solver performed better than the other ones on that instance (complete solvers point of view)
textthe solver performed better than the other ones on that instance (incomplete solvers point of view)
textthe solver was ended by a signal or other problem
textthe solver gave an incomplete answer
textthe solver gave a wrong answer

For better readability, you may choose to hide some solvers:
AbsCon 2019-07-23 (complete)
choco-solver 2019-06-14 (complete)
choco-solver 2019-06-14 parallel (complete)
choco-solver 2019-09-16 (complete)
choco-solver 2019-09-16 parallel (complete)
choco-solver 2019-09-20 (complete)
choco-solver 2019-09-20 parallel (complete)
choco-solver 2019-09-24 (complete)
choco-solver 2019-09-24 parallel (complete)
Concrete 3.10 (complete)
Concrete 3.12.2 (complete)
Concrete 3.12.2 (complete)
Concrete 3.12.3 (complete)
cosoco 2 (complete)
cosoco 2.0 (complete)
cosoco 2.0 (complete)
cosoco 2.0 parallel (complete)
cosoco 2.O parallel (complete)
PicatSAT 2019-09-12 (complete)

Bench nameBest results
on this
instance		AbsCon
2019-07-23
(complete)		choco-solver
2019-06-14
(complete)		choco-solver
2019-06-14 parallel
(complete)		choco-solver
2019-09-16
(complete)		choco-solver
2019-09-16 parallel
(complete)		choco-solver
2019-09-20
(complete)		choco-solver
2019-09-20 parallel
(complete)		choco-solver
2019-09-24
(complete)		choco-solver
2019-09-24 parallel
(complete)		Concrete
3.10
(complete)		Concrete
3.12.2
(complete)		Concrete
3.12.2
(complete)		Concrete
3.12.3
(complete)		cosoco
2
(complete)		cosoco
2.0
(complete)		cosoco
2.0
(complete)		cosoco
2.0 parallel
(complete)		cosoco
2.O parallel
(complete)		PicatSAT
2019-09-12
(complete)
Auction/Auction-sum/
Auction-sum-decay300_c18.xml 		SAT TO
f=2106819
TT=2520.13
T1=2239.7
 SAT (TO)
f=996914
TT=2520.04
T1=1239.49
 SAT (TO)
f=1316362
TT=2520.14
T1=2493.79
 Wrong Opt.
f=1410475
TT=130.522
T1=130.24
 SAT (TO)
f=2048907
TT=2520.78
T1=2477.48
 SAT (TO)
f=2003378
TT=19266.5
T1=19028.2
 SAT (TO)
f=2054470
TT=2520.33
T1=2315.86
 SAT (TO)
f=2043084
TT=19835.8
T1=17636.7
 SAT (TO)
f=2106819
TT=2520.13
T1=2239.7
 SAT (TO)
f=2042294
TT=19196.2
T1=17796.9
 SAT (TO)
f=1470312
TT=2520.06
T1=369.14
 SAT (TO)
f=1428805
TT=2520.12
T1=2453.47
 SAT (TO)
f=1347428
TT=2520.13
T1=186.03
 SAT (TO)
f=1447732
TT=2520.11
T1=2428.7
 SAT (TO)
f=1695417
TT=2519.96
T1=145.79
 SAT (TO)
f=1695417
TT=2519.72
T1=145.98
 SAT (TO)
f=1695417
TT=2519.76
T1=143.57
 SAT (TO)
f=1870470
TT=20122.4
T1=13100
 SAT (TO)
f=1870470
TT=20121.3
T1=13174
 ? (TO)

TT=2519.87
Auction/Auction-sum/
Auction-sum-matching040_c18.xml 		SAT TO
f=12968875
TT=2520.12
T1=40.39
 SAT (TO)
f=8495504
TT=2520.11
T1=1984.16
 SAT (TO)
f=12968875
TT=2520.67
T1=197.62
 SAT (TO)
f=12965081
TT=17020
T1=16068.4
 SAT (TO)
f=12913358
TT=2520.47
T1=130.46
 SAT (TO)
f=12968875
TT=19928.9
T1=9147.35
 SAT (TO)
f=12968875
TT=2520.62
T1=457.2
 SAT (TO)
f=12968875
TT=19912
T1=671.6
 SAT (TO)
f=12968875
TT=2520.12
T1=40.39
 SAT (TO)
f=12968875
TT=19887.3
T1=16836.1
 SAT (TO)
f=11430624
TT=2520.06
T1=1734.7
 SAT (TO)
f=11624961
TT=2520.13
T1=449.68
 SAT (TO)
f=10708954
TT=2520.08
T1=240.75
 SAT (TO)
f=11364899
TT=2520.1
T1=1919.68
 SAT (TO)
f=11182902
TT=2519.83
T1=25.09
 SAT (TO)
f=11182902
TT=2520.02
T1=25
 SAT (TO)
f=11182902
TT=2519.47
T1=24.88
 SAT (TO)
f=11614409
TT=20122.7
T1=145.56
 SAT (TO)
f=10507282
TT=20124.2
T1=284.53
 ? (TO)

TT=2519.7
Bacp/Bacp-m2/
Bacp-m2-12b_c18.xml 		SAT TO
f=17
TT=2520.02
T1=0
 SAT (TO)
f=17
TT=2520.09
T1=5.12
 SAT (TO)
f=17
TT=2520.47
T1=4.19
 SAT (TO)
f=17
TT=17572.6
T1=7.24
 SAT (TO)
f=17
TT=2520.64
T1=3.89
 SAT (TO)
f=17
TT=20035.2
T1=6.48
 SAT (TO)
f=17
TT=2520.46
T1=4.54
 SAT (TO)
f=17
TT=20019
T1=6.62
 SAT (TO)
f=18
TT=2520.04
T1=1.99
 SAT (TO)
f=17
TT=20038.1
T1=6.64
 SAT (TO)
f=17
TT=2520.05
T1=12.83
 SAT (TO)
f=17
TT=2520.08
T1=11.54
 SAT (TO)
f=17
TT=2520.06
T1=14.04
 SAT (TO)
f=17
TT=2520.13
T1=11.9
 SAT (TO)
f=17
TT=2520.08
T1=0
 SAT (TO)
f=17
TT=2520.02
T1=0
 SAT (TO)
f=17
TT=2520.06
T1=0
 SAT (TO)
f=17
TT=20125.5
T1=0
 SAT (TO)
f=17
TT=20123.7
T1=0.32
 ? (TO)

TT=2519.94
BinPacking/BinPacking-mdd-fu/
BinPacking-mdd-fu0120-05.xml 		SAT TO
f=18
TT=2520.1
T1=133.61
 SAT (TO)
f=18
TT=2520.1
T1=133.61
 ? (TO)

TT=2520.53

 ? (TO)

TT=20042.4

 ? (TO)

TT=2520.65

 ? (TO)

TT=20039.8

 ? (TO)

TT=2520.43

 ? (TO)

TT=20015.8

 ? (TO)

TT=2520.05

 ? (TO)

TT=20026.8

 ? (TO)

TT=2520.06

 ? (TO)

TT=2520.08

 ? (TO)

TT=2520.08

 ? (TO)

TT=2520.14

 SAT (TO)
f=6
TT=2519.89
T1=380.77
 SAT (TO)
f=6
TT=2520.04
T1=381.52
 SAT (TO)
f=6
TT=2519.89
T1=378.17
 ? (TO)

TT=20120.4

 ? (TO)

TT=20118.2

 ? (TO)

TT=2519.99
BinPacking/BinPacking-mdd-fu/
BinPacking-mdd-fu1000-02.xml



? (TO)

TT=2520.06

 ? (TO)

TT=2521.23

 ? (TO)

TT=18661.2

 ? (TO)

TT=2521.09

 ? (TO)

TT=18865

 ? (TO)

TT=2520.84

 ? (TO)

TT=18795.9

 ? (TO)

TT=2520.06

 ? (TO)

TT=18880.5

 ? (TO)

TT=2520.27

 ? (TO)

TT=2520.16

 ? (TO)

TT=2520.26

 ? (TO)

TT=2520.17

 ? (TO)

TT=2519.76

 ? (TO)

TT=2520.04

 ? (TO)

TT=2519.77

 ? (TO)

TT=20109.8

 ? (TO)

TT=20109.3

 ? (TO)

TT=2519.71
BinPacking/
BinPacking-sum-s28/
BinPacking-sum-s28-195.xml



? (TO)

TT=2520.04

 ? (TO)

TT=2520.45

 ? (TO)

TT=19872.8

 ? (TO)

TT=2520.7

 ? (TO)

TT=19912.6

 ? (TO)

TT=2520.37

 ? (TO)

TT=20032.2

 ? (TO)

TT=2520.02

 ? (TO)

TT=19967.8

 ? (TO)

TT=2520.06

 ? (TO)

TT=2520.15

 ? (TO)

TT=2520.32

 ? (TO)

TT=2520.12

 ? (TO)

TT=2519.95

 ? (TO)

TT=2520.04

 ? (TO)

TT=2519.82

 ? (TO)

TT=20113.6

 ? (TO)

TT=20109.3

 ? (MO)

TT=65.498
BinPacking/
BinPacking-sum-skj1/
BinPacking-sum-n1c1w4k.xml 		OPT
f=3
TT=5.325
T1=5.15
 OPT
f=3
TT=5.325
T1=5.15
 OPT
f=3
TT=21.744
T1=7.97
 OPT
f=3
TT=24.021
T1=15.8
 OPT
f=3
TT=27.755
T1=5.49
 OPT
f=3
TT=39.183
T1=12.71
 OPT
f=3
TT=19.746
T1=5.56
 OPT
f=3
TT=27.334
T1=10.96
 OPT
f=3
TT=409.274
T1=274.51
 OPT
f=3
TT=48.075
T1=11.55
 OPT
f=3
TT=1734.04
T1=357.95
 SAT (TO)
f=3
TT=2520.07
T1=329.89
 SAT (TO)
f=3
TT=2520.06
T1=19.07
 OPT
f=3
TT=2306.09
T1=23.28
 ? (TO)

TT=2520.04

 ? (TO)

TT=2520.03

 ? (TO)

TT=2520.05

 OPT
f=3
TT=55.92
T1=55.8
 OPT
f=3
TT=37.88
T1=37.36
 OPT
f=3
TT=43.393
T1=43.29
BinPacking/
BinPacking-sum-skj1/
BinPacking-sum-n1c1w4m.xml 		OPT
f=2
TT=6.113
T1=4.75
 OPT
f=2
TT=6.113
T1=5.82
 OPT
f=2
TT=71.865
T1=4.75
 OPT
f=2
TT=150.894
T1=12.72
 OPT
f=2
TT=71.49
T1=10.4
 OPT
f=2
TT=167.722
T1=18.56
 OPT
f=2
TT=70.07
T1=4.68
 OPT
f=2
TT=146.07
T1=16.7
 SAT (TO)
f=2
TT=2520.13
T1=1091.39
 OPT
f=2
TT=133.058
T1=8.75
 SAT (TO)
f=2
TT=2520.09
T1=778.17
 ? (TO)

TT=2520.09

 ? (TO)

TT=2520.12

 SAT (TO)
f=2
TT=2520.15
T1=147.56
 ? (TO)

TT=2519.81

 ? (TO)

TT=2519.89

 ? (TO)

TT=2520.07

 OPT
f=2
TT=51.495
T1=50.13
 OPT
f=2
TT=162.721
T1=122.01
 OPT
f=2
TT=91.646
T1=91.57
BinPacking/
BinPacking-sum-skj1/
BinPacking-sum-n1c1w4n.xml 		OPT
f=3
TT=8.212
T1=8.13
 OPT
f=3
TT=8.212
T1=8.13
 OPT
f=3
TT=109.016
T1=25.81
 OPT
f=3
TT=174.684
T1=16.5
 OPT
f=3
TT=75.065
T1=12.75
 OPT
f=3
TT=179.468
T1=19.44
 OPT
f=3
TT=78.293
T1=34.09
 OPT
f=3
TT=182.968
T1=16.58
 SAT (TO)
f=3
TT=2520.05
T1=76.13
 OPT
f=3
TT=132.994
T1=15.81
 ? (TO)

TT=2520.14

 ? (TO)

TT=2520.09

 ? (TO)

TT=2520.33

 ? (TO)

TT=2520.06

 ? (TO)

TT=2520.06

 ? (TO)

TT=2519.96

 ? (TO)

TT=2520.07

 OPT
f=3
TT=1105.13
T1=533.34
 OPT
f=3
TT=1090.52
T1=1089.87
 OPT
f=3
TT=105.158
T1=105.09
BinPacking/
BinPacking-sum-skj1/
BinPacking-sum-n2c3w1r.xml 		SAT TO
f=9
TT=20074.5
T1=6150.98
 ? (TO)

TT=2520.07

 ? (TO)

TT=2520.41

 SAT (TO)
f=9
TT=20062.3
T1=5961.77
 ? (TO)

TT=2520.58

 SAT (TO)
f=9
TT=20074.5
T1=6150.98
 ? (TO)

TT=2520.4

 SAT (TO)
f=9
TT=20078
T1=6180.58
 ? (TO)

TT=2520.12

 ? (TO)

TT=20083.9

 ? (TO)

TT=2520.08

 ? (TO)

TT=2520.06

 ? (TO)

TT=2520.16

 ? (TO)

TT=2520.1

 ? (TO)

TT=2520.03

 ? (TO)

TT=2520.06

 ? (TO)

TT=2520.04

 ? (TO)

TT=20117.2

 ? (TO)

TT=20118.7

 ? (TO)

TT=2519.77
Bench nameBest resultsAbsCon
2019-07-23
(complete)		choco-solver
2019-06-14
(complete)		choco-solver
2019-06-14 parallel
(complete)		choco-solver
2019-09-16
(complete)		choco-solver
2019-09-16 parallel
(complete)		choco-solver
2019-09-20
(complete)		choco-solver
2019-09-20 parallel
(complete)		choco-solver
2019-09-24
(complete)		choco-solver
2019-09-24 parallel
(complete)		Concrete
3.10
(complete)		Concrete
3.12.2
(complete)		Concrete
3.12.2
(complete)		Concrete
3.12.3
(complete)		cosoco
2
(complete)		cosoco
2.0
(complete)		cosoco
2.0
(complete)		cosoco
2.0 parallel
(complete)		cosoco
2.O parallel
(complete)		PicatSAT
2019-09-12
(complete)
BinPacking/
BinPacking-sum-skj1/
BinPacking-sum-n3c3w2d.xml



? (TO)

TT=2520.07

 ? (TO)

TT=2520.3

 ? (TO)

TT=20073.7

 ? (TO)

TT=2520.56

 ? (TO)

TT=20084.9

 ? (TO)

TT=2520.38

 ? (TO)

TT=20084

 ? (TO)

TT=2520.06

 ? (TO)

TT=20084.4

 ? (TO)

TT=2520.06

 ? (TO)

TT=2520.11

 ? (TO)

TT=2520.16

 ? (TO)

TT=2520.14

 ? (TO)

TT=2519.97

 ? (TO)

TT=2520.08

 ? (TO)

TT=2520.01

 ? (TO)

TT=20119.1

 ? (TO)

TT=20121.6

 ? (TO)

TT=2519.93
BinPacking/
BinPacking-sum-skj1/
BinPacking-sum-n4c1w2b.xml



? (TO)

TT=2520.12

 ? (TO)

TT=2520.57

 ? (TO)

TT=19999.6

 ? (TO)

TT=2520.59

 ? (TO)

TT=20049.7

 ? (TO)

TT=2520.89

 ? (TO)

TT=20035.2

 ? (TO)

TT=2520.11

 ? (TO)

TT=20048.6

 ? (TO)

TT=2520.13

 ? (TO)

TT=2520.14

 ? (TO)

TT=2520.28

 ? (TO)

TT=2520.11

 ? (TO)

TT=2520.03

 ? (TO)

TT=2519.88

 ? (TO)

TT=2519.93

 ? (TO)

TT=20115.9

 ? (TO)

TT=20114.4

 ? (TO)

TT=2519.6
BinPacking/
BinPacking-sum-skj2/
BinPacking-sum-n1w1b1r5.xml 		OPT
f=3
TT=3.292
T1=2.39
 OPT
f=3
TT=21.056
T1=21.01
 OPT
f=3
TT=18.877
T1=18.72
 OPT
f=3
TT=34.247
T1=33.43
 OPT
f=3
TT=18.139
T1=17.97
 OPT
f=3
TT=21.123
T1=20.89
 OPT
f=3
TT=16.293
T1=16.25
 OPT
f=3
TT=29.858
T1=29.62
 ? (TO)

TT=2520.08

 OPT
f=3
TT=32.437
T1=31.91
 OPT
f=3
TT=1167.04
T1=1166.75
 OPT
f=3
TT=225.998
T1=225.69
 ? (TO)

TT=2520.08

 ? (TO)

TT=2520.07

 ? (TO)

TT=2519.8

 ? (TO)

TT=2519.94

 ? (TO)

TT=2520.08

 OPT
f=3
TT=3.292
T1=2.39
 OPT
f=3
TT=1.622
T1=0.74
 OPT
f=3
TT=83.178
T1=83.09
BinPacking/
BinPacking-sum-skj2/
BinPacking-sum-n1w4b1r5.xml 		UNSAT

TT=5.177

 UNSAT

TT=5.177

 UNSAT

TT=671.169

 UNSAT

TT=791.187

 UNSAT

TT=655.221

 UNSAT

TT=850.052

 UNSAT

TT=673.543

 UNSAT

TT=773.333

 ? (TO)

TT=2520.13

 UNSAT

TT=781.817

 ? (TO)

TT=2520.09

 ? (TO)

TT=2520.07

 ? (TO)

TT=2520.1

 ? (TO)

TT=2520.08

 ? (TO)

TT=2519.93

 ? (TO)

TT=2519.93

 ? (TO)

TT=2520.05

 UNSAT

TT=5784.63

 UNSAT

TT=4518.5

 UNSAT

TT=6.546
BinPacking/
BinPacking-sum-skj2/
BinPacking-sum-n2w4b2r1.xml 		SAT TO
f=0
TT=2520.44
T1=148.68
 ? (TO)

TT=2520.07

 ? (TO)

TT=2520.56

 SAT (TO)
f=0
TT=20036
T1=7362.54
 SAT (TO)
f=0
TT=2520.44
T1=148.68
 SAT (TO)
f=0
TT=20050.1
T1=299.11
 SAT (TO)
f=0
TT=2520.53
T1=142.28
 SAT (TO)
f=0
TT=20043
T1=294.81
 ? (TO)

TT=2520.04

 SAT (TO)
f=0
TT=20047.2
T1=1988.85
 ? (TO)

TT=2520.09

 ? (TO)

TT=2520.12

 ? (TO)

TT=2520.13

 ? (TO)

TT=2520.08

 ? (TO)

TT=2519.78

 ? (TO)

TT=2519.94

 ? (TO)

TT=2520.03

 SAT (TO)
f=0
TT=20126.3
T1=335.17
 ? (TO)

TT=20129

 ? (TO)

TT=2520.04
BinPacking/
BinPacking-sum-sw100/
BinPacking-sum-sw100-01.xml 		SAT TO
f=0
TT=20012.7
T1=1783.83
 ? (TO)

TT=2520.08

 ? (TO)

TT=2520.66

 SAT (TO)
f=0
TT=20007.6
T1=7615.12
 ? (TO)

TT=2520.55

 SAT (TO)
f=0
TT=20012.7
T1=13634.2
 ? (TO)

TT=2520.61

 SAT (TO)
f=0
TT=20011.2
T1=13688
 ? (TO)

TT=2520.05

 SAT (TO)
f=0
TT=20017.4
T1=1783.83
 ? (TO)

TT=2520.03

 ? (TO)

TT=2520.06

 ? (TO)

TT=2520.11

 ? (TO)

TT=2520.08

 ? (TO)

TT=2520.09

 ? (TO)

TT=2519.74

 ? (TO)

TT=2519.79

 ? (TO)

TT=20129.8

 SAT (TO)
f=0
TT=20124.5
T1=10675.4
 ? (TO)

TT=2519.77
BinPacking/BinPacking-tab-fu/
BinPacking-tab-fu0120-04.xml 		SAT TO
f=18
TT=2520.03
T1=330.69
 SAT (TO)
f=18
TT=2520.03
T1=330.69
 ? (TO)

TT=2520.73

 ? (TO)

TT=20040.9

 ? (TO)

TT=2520.55

 ? (TO)

TT=20067.2

 ? (TO)

TT=2520.66

 ? (TO)

TT=20066.8

 ? (TO)

TT=2520.1

 ? (TO)

TT=20066.6

 ? (TO)

TT=2520.14

 ? (TO)

TT=2520.12

 ? (TO)

TT=2520.13

 ? (TO)

TT=2520.05

 ? (TO)

TT=2519.96

 ? (TO)

TT=2519.62

 ? (TO)

TT=2520.02

 ? (TO)

TT=20116.9

 ? (TO)

TT=20118.9

 ? (TO)

TT=2520.06
BinPacking/
BinPacking-tab-sw120/
BinPacking-tab-sw120-75.xml 		SAT TO
f=0
TT=2520.02
T1=58.09
 SAT (TO)
f=0
TT=2520.04
T1=58.09
 ?

TT=136.874

 ?

TT=861.928

 ?

TT=114.826

 ?

TT=670.06

 ?

TT=156.311

 ?

TT=605.613

 ?

TT=128.11

 ?

TT=559.353

 ? (TO)

TT=2520.13

 ? (TO)

TT=2520.11

 ? (TO)

TT=2520.12

 ? (TO)

TT=2520.13

 SAT (TO)
f=0
TT=2520.05
T1=256.39
 SAT (TO)
f=0
TT=2520.04
T1=254.27
 SAT (TO)
f=0
TT=2520.02
T1=255.09
 SAT (TO)
f=0
TT=19828
T1=11503
 SAT (TO)
f=0
TT=19862.1
T1=9255.74
 ? (TO)

TT=2519.93
BusScheduling/
BusScheduling-cnt-s1/
BusScheduling-cnt-r2.xml 		SAT TO
f=14
TT=2520.05
T1=29.72
 SAT (TO)
f=14
TT=2520.05
T1=46.55
 SAT (TO)
f=14
TT=2520.36
T1=560.48
 SAT (TO)
f=14
TT=20061.3
T1=821.94
 SAT (TO)
f=15
TT=2520.66
T1=55.24
 SAT (TO)
f=14
TT=19841.4
T1=3369.73
 SAT (TO)
f=15
TT=2520.3
T1=56.43
 SAT (TO)
f=14
TT=19934
T1=18490.4
 SAT (TO)
f=16
TT=2520.1
T1=113.02
 SAT (TO)
f=14
TT=19870.8
T1=196.57
 SAT (TO)
f=14
TT=2520.07
T1=34.08
 SAT (TO)
f=14
TT=2520.13
T1=33.13
 SAT (TO)
f=14
TT=2520.11
T1=594.23
 SAT (TO)
f=14
TT=2520.06
T1=29.72
 SAT (TO)
f=17
TT=2520.05
T1=1.69
 SAT (TO)
f=17
TT=2519.94
T1=1.69
 SAT (TO)
f=17
TT=2520.01
T1=1.69
 SAT (TO)
f=14
TT=20119.3
T1=139.95
 SAT (TO)
f=14
TT=20121.5
T1=121.05
 ? (TO)

TT=2519.73
ChessboardColoration/
ChessboardColoration-int-s1/
ChessboardColoration-int-09-09.xml 		OPT
f=2
TT=9.613
T1=8.69
 OPT
f=2
TT=29.444
T1=28.32
 SAT (TO)
f=3
TT=2520.44
T1=310.82
 Wrong Opt.
f=3
TT=352.764
T1=352.42
 SAT (TO)
f=3
TT=2520.57
T1=261.83
 SAT (TO)
f=3
TT=20056.1
T1=330.16
 SAT (TO)
f=3
TT=2520.61
T1=259.52
 SAT (TO)
f=3
TT=19948.6
T1=364.54
 SAT (TO)
f=3
TT=2520.09
T1=454.36
 SAT (TO)
f=3
TT=19940.3
T1=365.12
 OPT
f=2
TT=108.703
T1=107.62
 OPT
f=2
TT=1703.62
T1=1699.87
 SAT (TO)
f=3
TT=2520.08
T1=149.61
 OPT
f=2
TT=394.182
T1=393.05
 OPT
f=2
TT=9.652
T1=8.69
 OPT
f=2
TT=9.613
T1=8.69
 OPT
f=2
TT=9.626
T1=8.69
 OPT
f=2
TT=92.633
T1=84.66
 OPT
f=2
TT=84.673
T1=76.61
 OPT
f=2
TT=15.843
T1=15.79
Bench nameBest resultsAbsCon
2019-07-23
(complete)		choco-solver
2019-06-14
(complete)		choco-solver
2019-06-14 parallel
(complete)		choco-solver
2019-09-16
(complete)		choco-solver
2019-09-16 parallel
(complete)		choco-solver
2019-09-20
(complete)		choco-solver
2019-09-20 parallel
(complete)		choco-solver
2019-09-24
(complete)		choco-solver
2019-09-24 parallel
(complete)		Concrete
3.10
(complete)		Concrete
3.12.2
(complete)		Concrete
3.12.2
(complete)		Concrete
3.12.3
(complete)		cosoco
2
(complete)		cosoco
2.0
(complete)		cosoco
2.0
(complete)		cosoco
2.0 parallel
(complete)		cosoco
2.O parallel
(complete)		PicatSAT
2019-09-12
(complete)
ChessboardColoration/
ChessboardColoration-int-s2/
ChessboardColoration-int-05-07.xml 		OPT
f=2
TT=0.311
T1=0.2
 OPT
f=2
TT=4.144
T1=3.81
 ?

TT=356.718

 ? (TO)

TT=18758.5

 ? (TO)

TT=2527.61

 ?

TT=16546.9

 ?

TT=374.69

 ?

TT=1169.43

 ? (TO)

TT=2528.43

 ?

TT=1303.42

 OPT
f=2
TT=10.275
T1=9.7
 OPT
f=2
TT=10.943
T1=10.51
 OPT
f=2
TT=17.448
T1=16.76
 OPT
f=2
TT=9.695
T1=9.22
 OPT
f=2
TT=0.311
T1=0.21
 OPT
f=2
TT=0.311
T1=0.21
 OPT
f=2
TT=0.312
T1=0.2
 OPT
f=2
TT=1.023
T1=0.41
 OPT
f=2
TT=0.93
T1=0.42
 OPT
f=2
TT=4.541
T1=4.49
ChessboardColoration/
ChessboardColoration-int-s2/
ChessboardColoration-int-08-10.xml 		OPT
f=2
TT=18.325
T1=17.75
 OPT
f=2
TT=18.325
T1=17.75
 SAT (TO)
f=3
TT=2520.72
T1=161.21
 OPT
f=2
TT=2031.62
T1=2030.36
 SAT (TO)
f=3
TT=2520.41
T1=162.28
 OPT
f=2
TT=9399.53
T1=9398.83
 SAT (TO)
f=3
TT=2520.35
T1=138.64
 SAT (TO)
f=3
TT=19969.7
T1=335.03
 SAT (TO)
f=3
TT=2520.07
T1=326.73
 SAT (TO)
f=3
TT=20013.7
T1=354.03
 OPT
f=2
TT=74.523
T1=70.73
 OPT
f=2
TT=543.003
T1=542.7
 SAT (TO)
f=3
TT=2520.1
T1=77.87
 OPT
f=2
TT=155.466
T1=154.99
 SAT (TO)
f=3
TT=2520.03
T1=2.1
 SAT (TO)
f=3
TT=2519.79
T1=2.1
 SAT (TO)
f=3
TT=2520.06
T1=2.1
 OPT
f=2
TT=196.942
T1=184.91
 OPT
f=2
TT=71.486
T1=59.43
 OPT
f=2
TT=19.622
T1=19.59
ChessboardColoration/
ChessboardColoration-int-s2/
ChessboardColoration-int-11-13.xml 		OPT
f=3
TT=84.616
T1=84.59
 SAT (TO)
f=3
TT=2520.1
T1=17.09
 SAT (TO)
f=6
TT=2520.46
T1=345.25
 SAT (TO)
f=3
TT=17397.5
T1=4546.53
 SAT (TO)
f=6
TT=2520.65
T1=169.91
 SAT (TO)
f=3
TT=16134.9
T1=8812.73
 SAT (TO)
f=6
TT=2520.68
T1=185.56
 SAT (TO)
f=3
TT=17341.6
T1=8439.05
 ? (TO)

TT=2520.13

 SAT (TO)
f=3
TT=16401.5
T1=9968.7
 SAT (TO)
f=3
TT=2520.09
T1=1492.73
 SAT (TO)
f=3
TT=2520.08
T1=101.14
 SAT (TO)
f=3
TT=2520.08
T1=645.24
 SAT (TO)
f=3
TT=2520.09
T1=80.79
 SAT (TO)
f=3
TT=2520.04
T1=16.69
 SAT (TO)
f=3
TT=2520.09
T1=16.2
 SAT (TO)
f=3
TT=2520.01
T1=16.48
 SAT (TO)
f=3
TT=20053.5
T1=71.15
 SAT (TO)
f=3
TT=20064.5
T1=134.47
 OPT
f=3
TT=84.616
T1=84.59
ChessboardColoration/
ChessboardColoration-m1-s1/
ChessboardColoration-09-09.xml 		OPT
f=2
TT=0.278
T1=0.1
 OPT
f=2
TT=4.785
T1=4.29
 OPT
f=2
TT=89.404
T1=76.54
 OPT
f=2
TT=22.63
T1=10.58
 OPT
f=2
TT=361.896
T1=356.9
 OPT
f=2
TT=75.527
T1=68.57
 OPT
f=2
TT=376.842
T1=371.52
 OPT
f=2
TT=410.953
T1=403.22
 SAT (TO)
f=3
TT=2520.11
T1=2.81
 OPT
f=2
TT=271.909
T1=261.96
 OPT
f=2
TT=166.901
T1=18.72
 OPT
f=2
TT=118.128
T1=24.7
 OPT
f=2
TT=587.38
T1=525.18
 OPT
f=2
TT=54.655
T1=18.79
 OPT
f=2
TT=0.278
T1=0.1
 OPT
f=2
TT=0.319
T1=0.11
 OPT
f=2
TT=0.283
T1=0.1
 OPT
f=2
TT=0.969
T1=0.1
 OPT
f=2
TT=1.046
T1=0.1
 OPT
f=2
TT=495.574
T1=495.48
ChessboardColoration/
ChessboardColoration-m1-s2/
ChessboardColoration-08-10.xml 		OPT
f=2
TT=0.254
T1=0.1
 OPT
f=2
TT=5.028
T1=4.64
 OPT
f=2
TT=53.195
T1=50.08
 OPT
f=2
TT=24.966
T1=17.31
 OPT
f=2
TT=585.989
T1=582.5
 OPT
f=2
TT=716.08
T1=709.97
 OPT
f=2
TT=92.89
T1=89.9
 OPT
f=2
TT=1041.02
T1=1029.98
 SAT (TO)
f=3
TT=2520.08
T1=2.64
 OPT
f=2
TT=401.451
T1=394.18
 OPT
f=2
TT=38.722
T1=31.77
 OPT
f=2
TT=45.138
T1=27.62
 OPT
f=2
TT=1434.68
T1=1382.32
 OPT
f=2
TT=36.191
T1=31.79
 OPT
f=2
TT=0.254
T1=0.1
 OPT
f=2
TT=0.286
T1=0.1
 OPT
f=2
TT=0.254
T1=0.1
 OPT
f=2
TT=0.875
T1=0.1
 OPT
f=2
TT=0.877
T1=0.1
 OPT
f=2
TT=452.8
T1=452.7
Cutstock/
Cutstock-zinc-s1/
Cutstock-t03-4.xml 		SAT TO
f=19
TT=2519.47
T1=0.88
 SAT (TO)
f=19
TT=2520.07
T1=8.12
 SAT (TO)
f=19
TT=2520.37
T1=21.22
 SAT (TO)
f=19
TT=20048.9
T1=35.42
 SAT (TO)
f=19
TT=2520.4
T1=12.66
 SAT (TO)
f=19
TT=20018.4
T1=19.44
 SAT (TO)
f=19
TT=2520.41
T1=11.16
 SAT (TO)
f=19
TT=19990.7
T1=22.52
 SAT (TO)
f=19
TT=2520.11
T1=5.05
 SAT (TO)
f=19
TT=20034.1
T1=20.34
 SAT (TO)
f=19
TT=2520.14
T1=9.48
 SAT (TO)
f=19
TT=2520.12
T1=10.13
 SAT (TO)
f=19
TT=2520.05
T1=18.21
 SAT (TO)
f=19
TT=2520.04
T1=10.02
 SAT (TO)
f=19
TT=2519.67
T1=0.88
 SAT (TO)
f=19
TT=2519.47
T1=0.89
 SAT (TO)
f=19
TT=2519.67
T1=0.89
 SAT (TO)
f=19
TT=20126.4
T1=1.4
 SAT (TO)
f=19
TT=20125.8
T1=0.67
 ? (TO)

TT=2519.69
Cutstock/
Cutstock-zinc-s1/
Cutstock-t08-0.xml 		OPT
f=579
TT=18.783
T1=18.4
 OPT
f=579
TT=18.783
T1=18.4
 OPT
f=579
TT=818.745
T1=818.26
 OPT
f=579
TT=1863.18
T1=1862.91
 OPT
f=579
TT=824.921
T1=824.76
 OPT
f=579
TT=2243.11
T1=2242.52
 OPT
f=579
TT=869.567
T1=869.4
 OPT
f=579
TT=1990.35
T1=1989.68
 OPT
f=579
TT=837.966
T1=538.46
 OPT
f=579
TT=1984.38
T1=1984.17
 OPT
f=579
TT=1228.96
T1=958.89
 OPT
f=579
TT=1297.37
T1=685.76
 SAT (TO)
f=579
TT=2520.12
T1=1018.04
 OPT
f=579
TT=352.418
T1=341.49
 ? (TO)

TT=2520.04

 ? (TO)

TT=2519.31

 ? (TO)

TT=2519.77

 OPT
f=579
TT=408.231
T1=407.35
 OPT
f=579
TT=409.246
T1=363.63
 OPT
f=579
TT=1337.45
T1=1230.2
Cutstock/
Cutstock-zinc-s1/
Cutstock-t08-9.xml 		OPT
f=476
TT=47.106
T1=46.83
 OPT
f=476
TT=47.106
T1=46.83
 OPT
f=476
TT=2019.56
T1=2017.67
 OPT
f=476
TT=4393.45
T1=4385.28
 OPT
f=476
TT=1872.88
T1=1870.35
 OPT
f=476
TT=5557.85
T1=5551.84
 OPT
f=476
TT=1896.76
T1=1894.02
 OPT
f=476
TT=4989.62
T1=4983.71
 OPT
f=476
TT=574.357
T1=567.52
 OPT
f=476
TT=5155.8
T1=5148.38
 SAT (TO)
f=476
TT=2520.09
T1=111.48
 SAT (TO)
f=477
TT=2520.06
T1=301.06
 SAT (TO)
f=477
TT=2520.07
T1=1304.29
 SAT (TO)
f=476
TT=2520.14
T1=102.89
 SAT (TO)
f=490
TT=2520.08
T1=2510.76
 SAT (TO)
f=508
TT=2519.5
T1=2514.18
 SAT (TO)
f=502
TT=2520.05
T1=2504.43
 OPT
f=476
TT=505.867
T1=504.53
 OPT
f=476
TT=384.291
T1=383.79
 OPT
f=476
TT=730.89
T1=730.86
Cutstock/
Cutstock-zinc-s1/
Cutstock-t09-2.xml 		OPT
f=102
TT=7.943
T1=7.65
 OPT
f=102
TT=7.943
T1=7.65
 OPT
f=102
TT=206.541
T1=199.56
 OPT
f=102
TT=416.533
T1=403.83
 OPT
f=102
TT=229.477
T1=216.77
 OPT
f=102
TT=402.314
T1=380.13
 OPT
f=102
TT=221.404
T1=209.3
 OPT
f=102
TT=400.836
T1=378.68
 OPT
f=102
TT=1588.57
T1=332.42
 OPT
f=102
TT=400.024
T1=377.81
 OPT
f=102
TT=44.485
T1=36.49
 OPT
f=102
TT=43.613
T1=27.27
 OPT
f=102
TT=455.201
T1=87.65
 OPT
f=102
TT=69.237
T1=39.11
 OPT
f=102
TT=2197.12
T1=153.2
 OPT
f=102
TT=1899.37
T1=131.18
 OPT
f=102
TT=1981.41
T1=136.89
 OPT
f=102
TT=112.719
T1=87.8
 OPT
f=102
TT=82.885
T1=53.91
 OPT
f=102
TT=569.006
T1=568.99
Cutstock/
Cutstock-zinc-s1/
Cutstock-t09-6.xml 		OPT
f=89
TT=7.392
T1=7.24
 OPT
f=89
TT=7.392
T1=7.24
 OPT
f=89
TT=282.452
T1=282.24
 OPT
f=89
TT=623.28
T1=623.12
 OPT
f=89
TT=258.585
T1=258.29
 OPT
f=89
TT=549.083
T1=548.29
 OPT
f=89
TT=314.937
T1=314.7
 OPT
f=89
TT=529.718
T1=529.28
 SAT (TO)
f=89
TT=2520.06
T1=715.28
 OPT
f=89
TT=581.599
T1=580.79
 OPT
f=89
TT=446.513
T1=28.97
 OPT
f=89
TT=50.139
T1=21.61
 OPT
f=89
TT=232.913
T1=170.28
 OPT
f=89
TT=63.155
T1=35.9
 OPT
f=89
TT=333.318
T1=123.99
 OPT
f=89
TT=319.68
T1=119.37
 OPT
f=89
TT=346.207
T1=126.7
 OPT
f=89
TT=98.546
T1=97.75
 OPT
f=89
TT=63.203
T1=61.86
 OPT
f=89
TT=519.005
T1=518.9
Bench nameBest resultsAbsCon
2019-07-23
(complete)		choco-solver
2019-06-14
(complete)		choco-solver
2019-06-14 parallel
(complete)		choco-solver
2019-09-16
(complete)		choco-solver
2019-09-16 parallel
(complete)		choco-solver
2019-09-20
(complete)		choco-solver
2019-09-20 parallel
(complete)		choco-solver
2019-09-24
(complete)		choco-solver
2019-09-24 parallel
(complete)		Concrete
3.10
(complete)		Concrete
3.12.2
(complete)		Concrete
3.12.2
(complete)		Concrete
3.12.3
(complete)		cosoco
2
(complete)		cosoco
2.0
(complete)		cosoco
2.0
(complete)		cosoco
2.0 parallel
(complete)		cosoco
2.O parallel
(complete)		PicatSAT
2019-09-12
(complete)
Cutstock/
Cutstock-zinc-s1/
Cutstock-t09-7.xml 		OPT
f=161
TT=9.754
T1=9.46
 OPT
f=161
TT=9.754
T1=9.46
 OPT
f=161
TT=59.069
T1=58
 OPT
f=161
TT=96.995
T1=96.58
 OPT
f=161
TT=51.549
T1=51.14
 OPT
f=161
TT=113.505
T1=112.81
 OPT
f=161
TT=58.465
T1=58.15
 OPT
f=161
TT=98.708
T1=98.49
 SAT (TO)
f=161
TT=2520.03
T1=1200
 OPT
f=161
TT=103.71
T1=102.35
 SAT (TO)
f=161
TT=2520.1
T1=64.39
 OPT
f=161
TT=348.028
T1=60.13
 SAT (TO)
f=161
TT=2520.1
T1=2346.73
 SAT (TO)
f=161
TT=2520.14
T1=32.46
 SAT (TO)
f=161
TT=2519.76
T1=112.77
 SAT (TO)
f=161
TT=2519.92
T1=100.88
 SAT (TO)
f=161
TT=2519.75
T1=94.07
 OPT
f=161
TT=2782.26
T1=1023.13
 OPT
f=161
TT=524.819
T1=151.98
 OPT
f=161
TT=533.677
T1=533.63
Cutstock/
Cutstock-zinc-s1/
Cutstock-t10-4.xml 		SAT TO
f=867
TT=2520.15
T1=1960.99
 ? (TO)

TT=2520.09

 ? (TO)

TT=2520.37

 ? (TO)

TT=20086.9

 ? (TO)

TT=2520.55

 ? (TO)

TT=20087

 ? (TO)

TT=2520.65

 ? (TO)

TT=20086.5

 ? (TO)

TT=2520.06

 ? (TO)

TT=20084.9

 ? (TO)

TT=2520.12

 SAT (TO)
f=867
TT=2520.15
T1=1960.99
 ? (TO)

TT=2520.22

 ? (TO)

TT=2520.38

 ? (TO)

TT=2519.94

 ? (TO)

TT=2520.02

 ? (TO)

TT=2520.08

 ? (TO)

TT=20102.3

 ? (TO)

TT=20102.9

 ? (TO)

TT=2519.82
Cutstock/
Cutstock-zinc-s1/
Cutstock-t13-0.xml 		OPT
f=65
TT=2.699
T1=0.69
 OPT
f=65
TT=5.206
T1=5.08
 OPT
f=65
TT=8.505
T1=8.36
 OPT
f=65
TT=18.306
T1=18.14
 OPT
f=65
TT=9.723
T1=9.54
 OPT
f=65
TT=14.209
T1=13.93
 OPT
f=65
TT=8.128
T1=7.91
 OPT
f=65
TT=6.483
T1=6.09
 OPT
f=65
TT=17.11
T1=8.51
 OPT
f=65
TT=7.692
T1=6.8
 OPT
f=65
TT=16.99
T1=15.54
 OPT
f=65
TT=14.513
T1=12.23
 OPT
f=65
TT=24.323
T1=15.27
 OPT
f=65
TT=16.491
T1=14.79
 OPT
f=65
TT=4.643
T1=0.69
 OPT
f=65
TT=5.305
T1=0.79
 OPT
f=65
TT=4.639
T1=0.69
 OPT
f=65
TT=2.699
T1=2.2
 OPT
f=65
TT=2.495
T1=2.18
 OPT
f=65
TT=113.677
T1=113.58
Cutstock/
Cutstock-zinc-s1/
Cutstock-t13-3.xml 		OPT
f=88
TT=3.4
T1=2.91
 OPT
f=88
TT=4.712
T1=4.47
 OPT
f=88
TT=3.4
T1=3.27
 OPT
f=88
TT=7.127
T1=6.16
 OPT
f=88
TT=3.732
T1=3.63
 OPT
f=88
TT=7.02
T1=5.86
 OPT
f=88
TT=3.732
T1=3.48
 OPT
f=88
TT=6.296
T1=5.58
 OPT
f=88
TT=7.487
T1=6.08
 OPT
f=88
TT=5.928
T1=5.35
 OPT
f=88
TT=54.39
T1=15.3
 OPT
f=88
TT=14.711
T1=11.65
 OPT
f=88
TT=47.077
T1=20.12
 OPT
f=88
TT=27.317
T1=8.99
 OPT
f=88
TT=19.879
T1=14.09
 OPT
f=88
TT=22.396
T1=15.89
 OPT
f=88
TT=19.855
T1=14.1
 OPT
f=88
TT=5.705
T1=2.91
 OPT
f=88
TT=7.298
T1=2.7
 OPT
f=88
TT=215.624
T1=215.58
Cutstock/
Cutstock-zinc-s1/
Cutstock-t13-4.xml 		OPT
f=48
TT=16.765
T1=1.79
 OPT
f=48
TT=16.765
T1=5.1
 OPT
f=48
TT=59.282
T1=16.05
 OPT
f=48
TT=88.302
T1=25.09
 OPT
f=48
TT=41.216
T1=11.02
 OPT
f=48
TT=86.596
T1=18.04
 OPT
f=48
TT=46.792
T1=10.74
 OPT
f=48
TT=97.57
T1=11.76
 OPT
f=48
TT=419.582
T1=10.18
 OPT
f=48
TT=76.538
T1=10.83
 OPT
f=48
TT=94.726
T1=9.73
 SAT (TO)
f=48
TT=2520.08
T1=11.63
 SAT (TO)
f=48
TT=2520.07
T1=19.61
 OPT
f=48
TT=1235.23
T1=14.21
 SAT (TO)
f=48
TT=2520.02
T1=21.99
 SAT (TO)
f=48
TT=2520.08
T1=21.49
 SAT (TO)
f=48
TT=2520.03
T1=22.99
 OPT
f=48
TT=453.964
T1=1.79
 OPT
f=48
TT=647.332
T1=0.63
 OPT
f=48
TT=70.247
T1=70.18
Cutstock/
Cutstock-zinc-s1/
Cutstock-t13-5.xml 		OPT
f=67
TT=3.079
T1=2.81
 OPT
f=67
TT=4.803
T1=4.75
 OPT
f=67
TT=3.079
T1=2.84
 OPT
f=67
TT=10.182
T1=9.67
 OPT
f=67
TT=3.203
T1=2.81
 OPT
f=67
TT=6.329
T1=6.02
 OPT
f=67
TT=3.614
T1=3.5
 OPT
f=67
TT=6.326
T1=5.44
 OPT
f=67
TT=32.064
T1=26.72
 OPT
f=67
TT=7.231
T1=6.99
 OPT
f=67
TT=17.524
T1=15.4
 OPT
f=67
TT=15.645
T1=11.18
 OPT
f=67
TT=50.411
T1=18.9
 OPT
f=67
TT=14.129
T1=12.84
 OPT
f=67
TT=10.906
T1=7.19
 OPT
f=67
TT=10.908
T1=3.09
 OPT
f=67
TT=11.058
T1=7.28
 OPT
f=67
TT=3.408
T1=2.97
 OPT
f=67
TT=2.157
T1=1.44
 OPT
f=67
TT=125.055
T1=124.99
Cutstock/
Cutstock-zinc-s1/
Cutstock-t13-8.xml 		OPT
f=60
TT=1.139
T1=0.51
 OPT
f=60
TT=5.18
T1=5.1
 OPT
f=60
TT=8.035
T1=7.6
 OPT
f=60
TT=14.113
T1=14
 OPT
f=60
TT=7.487
T1=7.19
 OPT
f=60
TT=14.09
T1=13.71
 OPT
f=60
TT=8.71
T1=8.23
 OPT
f=60
TT=11.61
T1=10.88
 OPT
f=60
TT=27.499
T1=10.1
 OPT
f=60
TT=13.218
T1=12.6
 OPT
f=60
TT=26.075
T1=22.58
 OPT
f=60
TT=16.24
T1=15.52
 OPT
f=60
TT=1165.7
T1=123.96
 OPT
f=60
TT=14.365
T1=13.34
 OPT
f=60
TT=1.147
T1=0.51
 OPT
f=60
TT=1.139
T1=0.51
 OPT
f=60
TT=1.194
T1=0.51
 OPT
f=60
TT=2.599
T1=2.25
 OPT
f=60
TT=3.619
T1=3
 OPT
f=60
TT=136.852
T1=136.79
Cutstock/
Cutstock-zinc-s1/
Cutstock-t14-9.xml 		OPT
f=669
TT=32.111
T1=31.63
 OPT
f=669
TT=32.111
T1=31.63
 OPT
f=669
TT=307.231
T1=306.94
 OPT
f=669
TT=739.396
T1=739.09
 OPT
f=669
TT=305.874
T1=305.72
 OPT
f=669
TT=812.599
T1=812.11
 OPT
f=669
TT=330.228
T1=330.11
 OPT
f=669
TT=818.483
T1=817.8
 SAT (TO)
f=787
TT=2520.08
T1=1439.69
 OPT
f=669
TT=836.385
T1=836.21
 OPT
f=669
TT=1653.49
T1=845.29
 OPT
f=669
TT=1719.02
T1=768.52
 SAT (TO)
f=742
TT=2520.12
T1=989.53
 SAT (TO)
f=669
TT=2520.09
T1=1664.56
 ? (TO)

TT=2519.92

 ? (TO)

TT=2519.94

 ? (TO)

TT=2520.04

 OPT
f=669
TT=1254.82
T1=1253.96
 OPT
f=669
TT=493.475
T1=416.83
 OPT
f=669
TT=1214.84
T1=1214.74
Cutstock/
Cutstock-zinc-s1/
Cutstock-t15-0.xml 		OPT
f=130
TT=9.169
T1=8.79
 OPT
f=130
TT=9.169
T1=8.79
 OPT
f=130
TT=157.731
T1=157.37
 OPT
f=130
TT=331.805
T1=330.66
 OPT
f=130
TT=274.059
T1=273.6
 OPT
f=130
TT=610.725
T1=610.56
 OPT
f=130
TT=266.954
T1=266.6
 OPT
f=130
TT=605.368
T1=604.87
 SAT (TO)
f=130
TT=2520.08
T1=455.51
 OPT
f=130
TT=647.402
T1=647.26
 OPT
f=130
TT=81.256
T1=63.23
 OPT
f=130
TT=288.945
T1=63.7
 SAT (TO)
f=130
TT=2520.16
T1=185.3
 OPT
f=130
TT=118.394
T1=110.68
 SAT (TO)
f=139
TT=2520.03
T1=185.13
 SAT (TO)
f=139
TT=2519.55
T1=180.25
 SAT (TO)
f=139
TT=2519.71
T1=186.46
 OPT
f=130
TT=470.852
T1=138.54
 OPT
f=130
TT=334.505
T1=148.88
 OPT
f=130
TT=657.175
T1=657.09
Cutstock/
Cutstock-zinc-s1/
Cutstock-t15-1.xml 		OPT
f=123
TT=11.585
T1=11.22
 OPT
f=123
TT=11.585
T1=11.22
 OPT
f=123
TT=206.935
T1=194.35
 OPT
f=123
TT=407.748
T1=385.38
 OPT
f=123
TT=195.78
T1=181.68
 OPT
f=123
TT=431.549
T1=405.08
 OPT
f=123
TT=200.842
T1=188.37
 OPT
f=123
TT=384.389
T1=357.63
 SAT (TO)
f=148
TT=2520.06
T1=2016.87
 OPT
f=123
TT=447.029
T1=418.17
 OPT
f=123
TT=73.377
T1=59.57
 OPT
f=123
TT=185.077
T1=113.73
 OPT
f=123
TT=2102.99
T1=671.43
 OPT
f=123
TT=150.916
T1=42.23
 SAT (TO)
f=125
TT=2520.02
T1=1567.38
 SAT (TO)
f=125
TT=2519.96
T1=1607.55
 SAT (TO)
f=125
TT=2520.12
T1=1652.87
 OPT
f=123
TT=323.32
T1=236.59
 OPT
f=123
TT=184.401
T1=156.21
 OPT
f=123
TT=515.964
T1=515.57
Bench nameBest resultsAbsCon
2019-07-23
(complete)		choco-solver
2019-06-14
(complete)		choco-solver
2019-06-14 parallel
(complete)		choco-solver
2019-09-16
(complete)		choco-solver
2019-09-16 parallel
(complete)		choco-solver
2019-09-20
(complete)		choco-solver
2019-09-20 parallel
(complete)		choco-solver
2019-09-24
(complete)		choco-solver
2019-09-24 parallel
(complete)		Concrete
3.10
(complete)		Concrete
3.12.2
(complete)		Concrete
3.12.2
(complete)		Concrete
3.12.3
(complete)		cosoco
2
(complete)		cosoco
2.0
(complete)		cosoco
2.0
(complete)		cosoco
2.0 parallel
(complete)		cosoco
2.O parallel
(complete)		PicatSAT
2019-09-12
(complete)
Fapp/Fapp-ext/
Fapp-ext-05-0350_c18.xml 		SAT TO
f=521763705
TT=2520.1
T1=2508.53
 ? (problem)

TT=532.356

 ?

TT=1841.18

 ?

TT=6479.24

 ?

TT=1676.7

 ?

TT=5967.11

 ?

TT=1686.35

 ?

TT=6220.7

 SAT (TO)
f=521763705
TT=2520.1
T1=2508.53
 ?

TT=6079.37

 SAT (TO)
f=528581723
TT=2520.31
T1=805.99
 SAT (TO)
f=527166403
TT=2520.25
T1=1003.48
 ? (TO)

TT=2520.35

 SAT (TO)
f=525554465
TT=2520.41
T1=886.28
 SAT (TO)
f=529692396
TT=2519.97
T1=1808.82
 SAT (TO)
f=529692396
TT=2519.72
T1=1733.18
 SAT (TO)
f=529692396
TT=2519.58
T1=1729.19
 SAT (TO)
f=529365630
TT=18235.9
T1=8938.48
 SAT (TO)
f=529365630
TT=18254
T1=9479.08
 ? (TO)

TT=2519.98
Fapp/Fapp-m2s/
Fapp-m2s-17-0300_c18.xml 		OPT
f=130971634
TT=90.559
T1=90.16
 ? (TO)

TT=2520.09

 SAT (TO)
f=380950884
TT=2520.14
T1=2509.72
 OPT
f=130971634
TT=2313.73
T1=2299.16
 SAT (TO)
f=380932794
TT=2520.13
T1=2489.68
 SAT (TO)
f=381023284
TT=2799.96
T1=2217.5
 SAT (TO)
f=381005184
TT=2520.06
T1=2501.02
 SAT (TO)
f=381095684
TT=2817.28
T1=2202.65
 SAT (TO)
f=360841782
TT=2520.12
T1=817.61
 SAT (TO)
f=381077591
TT=2824.1
T1=2399.29
 OPT
f=130971634
TT=99.334
T1=96.62
 OPT
f=130971634
TT=90.559
T1=90.16
 OPT
f=130971634
TT=124.133
T1=123.8
 OPT
f=130971634
TT=96.649
T1=96.4
 SAT (TO)
f=374253920
TT=2519.98
T1=306.07
 SAT (TO)
f=374253920
TT=2519.68
T1=289.67
 SAT (TO)
f=374253920
TT=2519.78
T1=298.27
 OPT
f=130971634
TT=5264.62
T1=5250.98
 OPT
f=130971634
TT=9704.92
T1=9694.61
 ? (TO)

TT=2520
Fapp/Fapp-m2s/
Fapp-m2s-18-0350_c18.xml 		OPT
f=162507055
TT=67.497
T1=67.16
 ? (TO)

TT=2520.09

 SAT (TO)
f=225550661
TT=2520.52
T1=2288.7
 OPT
f=162507055
TT=1939.36
T1=1934.33
 SAT (TO)
f=234063858
TT=2520.13
T1=2435.01
 OPT
f=162507055
TT=1266.25
T1=1264.16
 SAT (TO)
f=225807374
TT=2520.2
T1=2333.94
 OPT
f=162507055
TT=1457.1
T1=1454.91
 SAT (TO)
f=223939309
TT=2520.07
T1=1162.43
 OPT
f=162507055
TT=970.689
T1=968.56
 OPT
f=162507055
TT=82.855
T1=82.49
 OPT
f=162507055
TT=68.958
T1=68.67
 OPT
f=162507055
TT=98.453
T1=98.24
 OPT
f=162507055
TT=67.497
T1=67.16
 SAT (TO)
f=229229905
TT=2519.85
T1=457.11
 SAT (TO)
f=229229905
TT=2519.43
T1=477.87
 SAT (TO)
f=229229905
TT=2519.38
T1=482.42
 OPT
f=162507055
TT=4277.69
T1=4258.3
 SAT (TO)
f=228488315
TT=19712.7
T1=9542.26
 ? (TO)

TT=2519.88
Fapp/Fapp-m2s/
Fapp-m2s-20-0420_c18.xml 		OPT
f=506362597
TT=126.294
T1=125.71
 ? (TO)

TT=2520.11

 SAT (TO)
f=589041888
TT=2520.17
T1=1953.56
 SAT (TO)
f=588996896
TT=2950.96
T1=2245.97
 SAT (TO)
f=589019405
TT=2520.13
T1=1805.29
 SAT (TO)
f=589019388
TT=2937.87
T1=2204.01
 SAT (TO)
f=589199478
TT=2520.13
T1=1993.89
 SAT (TO)
f=589154455
TT=2860.23
T1=2096.23
 SAT (TO)
f=558946160
TT=2521.64
T1=1828.37
 SAT (TO)
f=589064416
TT=2935.15
T1=2216.71
 OPT
f=506362597
TT=132.797
T1=132.62
 OPT
f=506362597
TT=126.294
T1=125.71
 OPT
f=506362597
TT=243.523
T1=243.38
 OPT
f=506362597
TT=168.541
T1=168.04
 SAT (TO)
f=578394884
TT=2520.07
T1=1831.26
 SAT (TO)
f=578394884
TT=2520.07
T1=1801.48
 SAT (TO)
f=578394884
TT=2519.85
T1=1813.85
 OPT
f=506362597
TT=13331
T1=13311.9
 OPT
f=506362597
TT=9304.71
T1=9287
 ? (TO)

TT=2520.03
Fapp/Fapp-m2s/
Fapp-m2s-21-0500_c18.xml 		OPT
f=63832030
TT=59.687
T1=59.39
 ? (TO)

TT=2520.08

 SAT (TO)
f=188829162
TT=2520.05
T1=2197.2
 SAT (TO)
f=188740673
TT=2794.93
T1=2418.33
 SAT (TO)
f=188791243
TT=2520.07
T1=2188.96
 SAT (TO)
f=188803881
TT=2723.97
T1=2721.01
 SAT (TO)
f=188879719
TT=2520.12
T1=2397.69
 SAT (TO)
f=188829153
TT=2701.13
T1=2431.68
 SAT (TO)
f=176024801
TT=2520.1
T1=2261.18
 SAT (TO)
f=188753321
TT=2719.37
T1=2581.5
 SAT (TO)
f=177781852
TT=2520.1
T1=61.46
 OPT
f=63832030
TT=60.836
T1=60.61
 OPT
f=63832030
TT=141.977
T1=141.73
 OPT
f=63832030
TT=59.687
T1=59.39
 SAT (TO)
f=181624473
TT=2520.01
T1=1567.06
 SAT (TO)
f=181624473
TT=2519.88
T1=1545.89
 SAT (TO)
f=181624473
TT=2520.04
T1=1551.69
 SAT (TO)
f=181232554
TT=19848.7
T1=8703.15
 SAT (TO)
f=180878675
TT=19850.7
T1=17386.6
 ? (TO)

TT=2520.08
Fastfood/
Fastfood-m1-s1/
Fastfood-ff18.xml 		OPT
f=1143
TT=8.94
T1=8.61
 OPT
f=1143
TT=8.94
T1=8.61
 SAT (MO)
f=1364
TT=7.872
T1=7.27
 OPT
f=1143
TT=35.876
T1=31.68
 OPT
f=1143
TT=17.348
T1=15.3
 OPT
f=1143
TT=39.841
T1=36.27
 OPT
f=1143
TT=17.075
T1=15.29
 OPT
f=1143
TT=35.241
T1=31.35
 OPT
f=1143
TT=781.283
T1=10.92
 OPT
f=1143
TT=31.092
T1=27.9
 OPT
f=1143
TT=248.218
T1=31.26
 OPT
f=1143
TT=386.679
T1=27.36
 OPT
f=1143
TT=761.323
T1=17.01
 OPT
f=1143
TT=300.753
T1=15.53
 OPT
f=1143
TT=39.168
T1=21.69
 OPT
f=1143
TT=38.927
T1=21.49
 OPT
f=1143
TT=34.072
T1=15.79
 OPT
f=1143
TT=25.816
T1=23.69
 Wrong Opt.
f=1186
TT=10.233
T1=2.25
 OPT
f=1143
TT=576.339
T1=576.32
Fastfood/
Fastfood-m1-s1/
Fastfood-ff21.xml 		OPT
f=583
TT=12.531
T1=12.27
 OPT
f=583
TT=12.531
T1=12.27
 SAT (MO)
f=2284
TT=3.9
T1=3.84
 OPT
f=583
TT=59.08
T1=54.82
 OPT
f=583
TT=23.318
T1=20.84
 OPT
f=583
TT=45.203
T1=41.46
 OPT
f=583
TT=22.442
T1=20.31
 OPT
f=583
TT=44.551
T1=41.02
 OPT
f=583
TT=1007.78
T1=185.14
 OPT
f=583
TT=38.785
T1=35.6
 OPT
f=583
TT=345.054
T1=17.27
 OPT
f=583
TT=287.032
T1=16.49
 OPT
f=583
TT=949.804
T1=15.88
 OPT
f=583
TT=284.274
T1=13.14
 OPT
f=583
TT=69.008
T1=15.79
 OPT
f=583
TT=68.368
T1=15.69
 OPT
f=583
TT=32.362
T1=18.19
 OPT
f=583
TT=37.482
T1=31.65
 Wrong Opt.
f=616
TT=11.788
T1=5.25
 OPT
f=583
TT=449.628
T1=449.52
Fastfood/
Fastfood-m1-s1/
Fastfood-ff34.xml 		OPT
f=2
TT=0.059
T1=0
 OPT
f=2
TT=4.692
T1=4.39
 OPT
f=2
TT=6.468
T1=6.15
 OPT
f=2
TT=18.638
T1=17.46
 OPT
f=2
TT=6.449
T1=6.13
 OPT
f=2
TT=16.051
T1=15.39
 OPT
f=2
TT=6.755
T1=6.59
 OPT
f=2
TT=18.043
T1=16.37
 OPT
f=2
TT=2.243
T1=2
 OPT
f=2
TT=17.778
T1=16
 OPT
f=2
TT=10.668
T1=10.63
 OPT
f=2
TT=10.251
T1=10.08
 OPT
f=2
TT=11.248
T1=11.22
 OPT
f=2
TT=9.678
T1=9.26
 OPT
f=2
TT=0.06
T1=0
 OPT
f=2
TT=0.059
T1=0
 OPT
f=2
TT=0.06
T1=0
 OPT
f=2
TT=0.567
T1=0.35
 OPT
f=2
TT=0.471
T1=0.33
 OPT
f=2
TT=56.391
T1=56.28
Fastfood/
Fastfood-m1-s1/
Fastfood-ff50.xml 		OPT
f=624
TT=11.728
T1=1.49
 OPT
f=624
TT=11.728
T1=11.51
 OPT
f=624
TT=20.203
T1=18.36
 Wrong Opt.
f=802
TT=37.88
T1=37.04
 OPT
f=624
TT=21.767
T1=19.96
 OPT
f=624
TT=43.58
T1=40.45
 OPT
f=624
TT=19.282
T1=17.49
 OPT
f=624
TT=42.486
T1=38.47
 OPT
f=624
TT=324.327
T1=4.17
 OPT
f=624
TT=41.557
T1=37.13
 OPT
f=624
TT=322.106
T1=16.99
 OPT
f=624
TT=320.235
T1=14.3
 OPT
f=624
TT=410.592
T1=16.74
 OPT
f=624
TT=176.148
T1=13.12
 OPT
f=624
TT=29.616
T1=5.69
 OPT
f=624
TT=29.242
T1=5.59
 OPT
f=624
TT=30.874
T1=1.49
 OPT
f=624
TT=26.062
T1=17.21
 Wrong Opt.
f=638
TT=5.264
T1=0.56
 OPT
f=624
TT=338.352
T1=235.88
Fastfood/
Fastfood-m1-s1/
Fastfood-ff56.xml 		OPT
f=1664
TT=11.817
T1=11.38
 OPT
f=1664
TT=11.817
T1=11.38
 OPT
f=1664
TT=27.365
T1=24.8
 OPT
f=1664
TT=54.302
T1=49.02
 SAT (MO)
f=1845
TT=18.122
T1=17.88
 OPT
f=1664
TT=54.566
T1=48.97
 OPT
f=1664
TT=29.979
T1=26.96
 OPT
f=1664
TT=52.614
T1=46.51
 OPT
f=1664
TT=2154.83
T1=164.96
 OPT
f=1664
TT=42.878
T1=37.19
 OPT
f=1664
TT=312.625
T1=17.12
 OPT
f=1664
TT=379.622
T1=16.67
 OPT
f=1664
TT=1260.95
T1=23.31
 OPT
f=1664
TT=468.784
T1=15.89
 OPT
f=1664
TT=80.517
T1=41.19
 OPT
f=1664
TT=80.2
T1=41
 OPT
f=1664
TT=90.093
T1=29.29
 OPT
f=1664
TT=42.174
T1=21.21
 Wrong Opt.
f=1692
TT=15.257
T1=13.22
 OPT
f=1664
TT=832.113
T1=616.98
Bench nameBest resultsAbsCon
2019-07-23
(complete)		choco-solver
2019-06-14
(complete)		choco-solver
2019-06-14 parallel
(complete)		choco-solver
2019-09-16
(complete)		choco-solver
2019-09-16 parallel
(complete)		choco-solver
2019-09-20
(complete)		choco-solver
2019-09-20 parallel
(complete)		choco-solver
2019-09-24
(complete)		choco-solver
2019-09-24 parallel
(complete)		Concrete
3.10
(complete)		Concrete
3.12.2
(complete)		Concrete
3.12.2
(complete)		Concrete
3.12.3
(complete)		cosoco
2
(complete)		cosoco
2.0
(complete)		cosoco
2.0
(complete)		cosoco
2.0 parallel
(complete)		cosoco
2.O parallel
(complete)		PicatSAT
2019-09-12
(complete)
Fastfood/
Fastfood-m1-s1/
Fastfood-ff59.xml 		OPT
f=242
TT=15.312
T1=0.69
 OPT
f=242
TT=15.312
T1=14.69
 OPT
f=242
TT=76.293
T1=60.85
 Wrong Opt.
f=314
TT=45.745
T1=44.46
 OPT
f=242
TT=90.511
T1=73.28
 OPT
f=242
TT=125.208
T1=74.64
 OPT
f=242
TT=82.477
T1=66.36
 OPT
f=242
TT=125.706
T1=31.85
 OPT
f=242
TT=48.461
T1=4.09
 OPT
f=242
TT=65.484
T1=32.37
 OPT
f=242
TT=135.282
T1=14.24
 OPT
f=242
TT=101.258
T1=19.79
 OPT
f=242
TT=435.938
T1=31.44
 OPT
f=242
TT=100.145
T1=25.61
 OPT
f=242
TT=29.552
T1=0.69
 OPT
f=242
TT=29.197
T1=0.69
 OPT
f=242
TT=34.317
T1=8.79
 OPT
f=242
TT=53.853
T1=38.02
 Wrong Opt.
f=245
TT=51.649
T1=49.98
 OPT
f=242
TT=324.042
T1=134.89
Fastfood/
Fastfood-m1-s1/
Fastfood-ff60.xml 		OPT
f=192
TT=18.739
T1=3.94
 OPT
f=192
TT=18.739
T1=18.46
 OPT
f=192
TT=63.879
T1=45.27
 OPT
f=192
TT=55.689
T1=45.64
 OPT
f=192
TT=52.28
T1=15.28
 OPT
f=192
TT=64.511
T1=32.2
 OPT
f=192
TT=51.659
T1=14.9
 OPT
f=192
TT=113.95
T1=43.23
 OPT
f=192
TT=33.09
T1=3.94
 OPT
f=192
TT=88.125
T1=29.09
 OPT
f=192
TT=77.32
T1=12.55
 OPT
f=192
TT=154.486
T1=58.29
 OPT
f=192
TT=309.857
T1=25.08
 OPT
f=192
TT=81.489
T1=13.49
 OPT
f=192
TT=23.403
T1=5.99
 OPT
f=192
TT=23.249
T1=5.99
 OPT
f=192
TT=44.502
T1=19.49
 OPT
f=192
TT=49.282
T1=15.67
 OPT
f=192
TT=33.175
T1=15.68
 OPT
f=192
TT=301.194
T1=279.91
Fastfood/
Fastfood-m1-s1/
Fastfood-ff61.xml 		OPT
f=152
TT=16.556
T1=6.19
 OPT
f=152
TT=16.556
T1=16.4
 OPT
f=152
TT=99.843
T1=85.69
 Wrong Opt.
f=201
TT=28.219
T1=27.52
 OPT
f=152
TT=43.262
T1=26.55
 OPT
f=152
TT=59.54
T1=35.53
 OPT
f=152
TT=61.752
T1=12.55
 OPT
f=152
TT=59.764
T1=31.34
 OPT
f=152
TT=17.302
T1=10.29
 OPT
f=152
TT=67.101
T1=39.67
 OPT
f=152
TT=94.465
T1=16.91
 OPT
f=152
TT=59.609
T1=12.94
 OPT
f=152
TT=241.201
T1=43.17
 OPT
f=152
TT=93.005
T1=14.62
 OPT
f=152
TT=20.875
T1=8.29
 OPT
f=152
TT=20.89
T1=8.29
 OPT
f=152
TT=22.225
T1=6.19
 OPT
f=152
TT=53.398
T1=30.77
 Wrong Opt.
f=175
TT=22.651
T1=9.22
 OPT
f=152
TT=314.636
T1=99.87
Fastfood/
Fastfood-m1-s1/
Fastfood-ff62.xml 		OPT
f=125
TT=15.19
T1=1.1
 OPT
f=125
TT=17.959
T1=17.77
 OPT
f=125
TT=121.331
T1=113.01
 Wrong Opt.
f=171
TT=24.003
T1=22.44
 OPT
f=125
TT=59.591
T1=16.47
 OPT
f=125
TT=36.013
T1=26.28
 OPT
f=125
TT=51.994
T1=16.04
 OPT
f=125
TT=35.333
T1=23.6
 OPT
f=125
TT=21.953
T1=10.11
 OPT
f=125
TT=65.672
T1=34.05
 OPT
f=125
TT=87.108
T1=14.16
 OPT
f=125
TT=70.865
T1=16.03
 OPT
f=125
TT=270.995
T1=18.79
 OPT
f=125
TT=84.336
T1=12.51
 OPT
f=125
TT=15.236
T1=5.1
 OPT
f=125
TT=15.19
T1=5.1
 OPT
f=125
TT=26.705
T1=1.1
 OPT
f=125
TT=70.957
T1=40.41
 OPT
f=125
TT=18.904
T1=2.92
 OPT
f=125
TT=284.338
T1=199.9
Fastfood/
Fastfood-m1-s1/
Fastfood-ff65.xml 		OPT
f=63
TT=10.036
T1=2.19
 OPT
f=63
TT=11.089
T1=10.84
 OPT
f=63
TT=41.426
T1=39.04
 OPT
f=63
TT=36.956
T1=31.13
 OPT
f=63
TT=24.765
T1=11.97
 OPT
f=63
TT=30.726
T1=25.09
 OPT
f=63
TT=25.222
T1=11.66
 OPT
f=63
TT=31.333
T1=23.22
 OPT
f=63
TT=14.701
T1=6.32
 OPT
f=63
TT=29.692
T1=21.68
 OPT
f=63
TT=38.623
T1=14.23
 OPT
f=63
TT=37.703
T1=13.65
 OPT
f=63
TT=145.387
T1=20.17
 OPT
f=63
TT=66.371
T1=20.08
 OPT
f=63
TT=10.251
T1=2.19
 OPT
f=63
TT=10.266
T1=2.19
 OPT
f=63
TT=10.036
T1=4.19
 OPT
f=63
TT=46.185
T1=44.08
 OPT
f=63
TT=21.147
T1=6.74
 OPT
f=63
TT=137.423
T1=137.39
Fastfood/
Fastfood-m1-s1/
Fastfood-ff73.xml 		OPT
f=582
TT=7.914
T1=0.1
 OPT
f=582
TT=7.914
T1=7.76
 OPT
f=582
TT=15.461
T1=14.59
 Wrong Opt.
f=903
TT=13.051
T1=12.26
 OPT
f=582
TT=13.82
T1=12.97
 OPT
f=582
TT=28.839
T1=26.01
 OPT
f=582
TT=13.887
T1=12.95
 OPT
f=582
TT=30.25
T1=25.83
 OPT
f=582
TT=93.102
T1=76.98
 OPT
f=582
TT=29.07
T1=27.33
 OPT
f=582
TT=53.075
T1=14.75
 OPT
f=582
TT=84.67
T1=12.16
 OPT
f=582
TT=132.328
T1=63.92
 OPT
f=582
TT=80.676
T1=22.08
 OPT
f=582
TT=9.283
T1=0.1
 OPT
f=582
TT=9.235
T1=0.1
 OPT
f=582
TT=29.253
T1=1.19
 OPT
f=582
TT=19.772
T1=8.6
 Wrong Opt.
f=590
TT=9.341
T1=3.08
 OPT
f=582
TT=348.106
T1=282.08
Fastfood/
Fastfood-m1-s1/
Fastfood-ff76.xml 		OPT
f=310
TT=15.204
T1=6.19
 OPT
f=310
TT=15.204
T1=14.29
 OPT
f=310
TT=58.797
T1=44.34
 Wrong Opt.
f=405
TT=28.61
T1=21.77
 OPT
f=310
TT=72.627
T1=52.01
 OPT
f=310
TT=153.64
T1=107
 OPT
f=310
TT=68.512
T1=48.08
 OPT
f=310
TT=114.881
T1=66.43
 OPT
f=310
TT=73.358
T1=42.59
 OPT
f=310
TT=109.936
T1=72.58
 OPT
f=310
TT=207.318
T1=17.43
 OPT
f=310
TT=164.94
T1=13.61
 OPT
f=310
TT=428.732
T1=30.7
 OPT
f=310
TT=191.027
T1=18.8
 OPT
f=310
TT=40.769
T1=6.19
 OPT
f=310
TT=40.682
T1=6.19
 OPT
f=310
TT=47.273
T1=9.89
 OPT
f=310
TT=43.304
T1=25.25
 OPT
f=310
TT=39.429
T1=15.71
 OPT
f=310
TT=348.731
T1=322.55
Fastfood/
Fastfood-m1-s1/
Fastfood-ff82.xml 		OPT
f=7
TT=0.104
T1=0
 OPT
f=7
TT=4.678
T1=4.32
 OPT
f=7
TT=3.718
T1=3.49
 OPT
f=7
TT=10.806
T1=10.41
 OPT
f=7
TT=4.226
T1=3.85
 OPT
f=7
TT=10.472
T1=10.26
 OPT
f=7
TT=3.757
T1=3.57
 OPT
f=7
TT=10.671
T1=9.81
 OPT
f=7
TT=1.978
T1=1.63
 OPT
f=7
TT=9.55
T1=8.88
 OPT
f=7
TT=10.078
T1=9.5
 OPT
f=7
TT=11.122
T1=10.74
 OPT
f=7
TT=12.416
T1=12.13
 OPT
f=7
TT=10.364
T1=10
 OPT
f=7
TT=0.104
T1=0
 OPT
f=7
TT=0.104
T1=0
 OPT
f=7
TT=0.105
T1=0
 OPT
f=7
TT=0.509
T1=0
 OPT
f=7
TT=0.703
T1=0.58
 OPT
f=7
TT=22.326
T1=22.3
Fastfood/
Fastfood-m1-s1/
Fastfood-ff85.xml 		OPT
f=566
TT=1.345
T1=0
 OPT
f=566
TT=4.996
T1=4.82
 OPT
f=566
TT=4.165
T1=3.87
 OPT
f=566
TT=10.362
T1=9.17
 OPT
f=566
TT=4.041
T1=4.02
 OPT
f=566
TT=7.46
T1=7.09
 OPT
f=566
TT=4.058
T1=3.58
 OPT
f=566
TT=7.395
T1=6.12
 OPT
f=566
TT=23.225
T1=2.96
 OPT
f=566
TT=8.71
T1=7.41
 OPT
f=566
TT=36.023
T1=9.68
 OPT
f=566
TT=33.762
T1=11.44
 OPT
f=566
TT=62.423
T1=14.7
 OPT
f=566
TT=32.039
T1=10.11
 OPT
f=566
TT=1.408
T1=0
 OPT
f=566
TT=1.416
T1=0
 OPT
f=566
TT=1.424
T1=0
 OPT
f=566
TT=1.345
T1=0.7
 OPT
f=566
TT=1.304
T1=0.71
 OPT
f=566
TT=155.061
T1=117.18
Fastfood/
Fastfood-m1-s1/
Fastfood-ff87.xml 		OPT
f=307
TT=1.782
T1=0
 OPT
f=307
TT=6.002
T1=5.44
 OPT
f=307
TT=5.375
T1=4.67
 OPT
f=307
TT=16.282
T1=14.99
 OPT
f=307
TT=6.124
T1=5.5
 OPT
f=307
TT=12.596
T1=12.57
 OPT
f=307
TT=6.761
T1=5.89
 OPT
f=307
TT=13.366
T1=12.68
 OPT
f=307
TT=9.1
T1=3.49
 OPT
f=307
TT=12.429
T1=11.86
 OPT
f=307
TT=43.815
T1=16.25
 OPT
f=307
TT=46.419
T1=12.18
 OPT
f=307
TT=73.253
T1=15.2
 OPT
f=307
TT=38.021
T1=9.91
 OPT
f=307
TT=2.513
T1=0
 OPT
f=307
TT=2.524
T1=0
 OPT
f=307
TT=1.782
T1=1.29
 OPT
f=307
TT=6.055
T1=2.31
 Wrong Opt.
f=328
TT=0.78
T1=0.69
 OPT
f=307
TT=184.108
T1=87.06
Bench nameBest resultsAbsCon
2019-07-23
(complete)		choco-solver
2019-06-14
(complete)		choco-solver
2019-06-14 parallel
(complete)		choco-solver
2019-09-16
(complete)		choco-solver
2019-09-16 parallel
(complete)		choco-solver
2019-09-20
(complete)		choco-solver
2019-09-20 parallel
(complete)		choco-solver
2019-09-24
(complete)		choco-solver
2019-09-24 parallel
(complete)		Concrete
3.10
(complete)		Concrete
3.12.2
(complete)		Concrete
3.12.2
(complete)		Concrete
3.12.3
(complete)		cosoco
2
(complete)		cosoco
2.0
(complete)		cosoco
2.0
(complete)		cosoco
2.0 parallel
(complete)		cosoco
2.O parallel
(complete)		PicatSAT
2019-09-12
(complete)
GolombRuler/
GolombRuler-a3-s1/
GolombRuler-10-a3.xml 		OPT
f=55
TT=17.392
T1=6.72
 SAT (TO)
f=61
TT=2520.02
T1=512.15
 OPT
f=55
TT=17.392
T1=6.72
 OPT
f=55
TT=61.677
T1=38.08
 OPT
f=55
TT=18.152
T1=9.02
 OPT
f=55
TT=35.813
T1=17.38
 OPT
f=55
TT=19.044
T1=8.6
 OPT
f=55
TT=37.234
T1=16.3
 OPT
f=55
TT=390.519
T1=353.71
 OPT
f=55
TT=33.756
T1=16.96
 OPT
f=55
TT=59.826
T1=21.54
 OPT
f=55
TT=69.265
T1=27.85
 OPT
f=55
TT=109.635
T1=58.01
 OPT
f=55
TT=90.94
T1=61.59
 OPT
f=55
TT=74.544
T1=45.29
 OPT
f=55
TT=64.572
T1=39.28
 OPT
f=55
TT=64.11
T1=38.89
 OPT
f=55
TT=73.021
T1=52.54
 OPT
f=55
TT=91.069
T1=71.71
 OPT
f=55
TT=190.301
T1=179.58
GolombRuler/
GolombRuler-a3-s1/
GolombRuler-14-a3.xml 		SAT TO
f=133
TT=19981
T1=13177.5
 SAT (TO)
f=162
TT=2520.08
T1=1475.71
 SAT (TO)
f=134
TT=2520.61
T1=1230.94
 Wrong Opt.
f=135
TT=362.889
T1=362.12
 SAT (TO)
f=134
TT=2520.65
T1=1393.08
 SAT (TO)
f=133
TT=19981
T1=14045.8
 SAT (TO)
f=134
TT=2520.35
T1=1336.98
 SAT (TO)
f=133
TT=19945.1
T1=13521.1
 SAT (TO)
f=138
TT=2520.05
T1=724.38
 SAT (TO)
f=133
TT=19986
T1=13177.5
 SAT (TO)
f=137
TT=2520.06
T1=2272.65
 SAT (TO)
f=135
TT=2520.07
T1=2288.95
 SAT (TO)
f=140
TT=2520.13
T1=2105.78
 SAT (TO)
f=141
TT=2520.05
T1=1927.99
 SAT (TO)
f=137
TT=2519.51
T1=1066.93
 SAT (TO)
f=137
TT=2519.92
T1=1055.15
 SAT (TO)
f=137
TT=2519.24
T1=1055.68
 SAT (TO)
f=138
TT=20127
T1=11782.9
 SAT (TO)
f=137
TT=20124.2
T1=5483.48
 ? (TO)

TT=2519.86
GolombRuler/
GolombRuler-a3-s1/
GolombRuler-28-a3.xml 		SAT TO
f=914
TT=19852.1
T1=7100.78
 ? (TO)

TT=2520.1

 SAT (TO)
f=935
TT=2520.47
T1=2140.56
 SAT (TO)
f=927
TT=19913.2
T1=19596.8
 SAT (TO)
f=935
TT=2520.44
T1=2506.79
 SAT (TO)
f=914
TT=19852.1
T1=7100.78
 SAT (TO)
f=935
TT=2520.39
T1=2463.42
 SAT (TO)
f=946
TT=19945.6
T1=3681.01
 ? (TO)

TT=2520.11

 SAT (TO)
f=946
TT=19902
T1=3659.22
 SAT (TO)
f=963
TT=2520.14
T1=2333.39
 SAT (TO)
f=993
TT=2520.05
T1=2119.36
 ? (TO)

TT=2520.08

 SAT (TO)
f=952
TT=2520.1
T1=1237.77
 ? (TO)

TT=2520.03

 ? (TO)

TT=2519.92

 ? (TO)

TT=2520.08

 SAT (TO)
f=973
TT=20119
T1=18264.9
 SAT (TO)
f=992
TT=20120.7
T1=15369.5
 ? (TO)

TT=2519.71
GolombRuler/
GolombRuler-a3v18-09_c18.xml 		OPT
f=44
TT=5.283
T1=1.48
 OPT
f=44
TT=15.65
T1=10.49
 OPT
f=44
TT=8.893
T1=1.95
 OPT
f=44
TT=25.537
T1=6.72
 OPT
f=44
TT=10.146
T1=2.34
 OPT
f=44
TT=17.29
T1=6.16
 OPT
f=44
TT=9.825
T1=2.36
 OPT
f=44
TT=20.786
T1=3.67
 OPT
f=44
TT=67.186
T1=10.48
 OPT
f=44
TT=15.785
T1=3.74
 OPT
f=44
TT=18.136
T1=10.83
 OPT
f=44
TT=19.937
T1=11.28
 OPT
f=44
TT=18.517
T1=11.18
 OPT
f=44
TT=19.579
T1=11.92
 OPT
f=44
TT=5.468
T1=1.48
 OPT
f=44
TT=5.286
T1=1.79
 OPT
f=44
TT=5.289
T1=1.79
 OPT
f=44
TT=5.283
T1=1.6
 OPT
f=44
TT=3.598
T1=1.6
 OPT
f=44
TT=92.98
T1=92.87
GolombRuler/
GolombRuler-a3v18-10_c18.xml 		OPT
f=55
TT=29.8
T1=6.65
 OPT
f=55
TT=95.756
T1=65.25
 OPT
f=55
TT=29.8
T1=6.65
 OPT
f=55
TT=62.802
T1=16.82
 OPT
f=55
TT=32.616
T1=8.27
 OPT
f=55
TT=60.182
T1=12.51
 OPT
f=55
TT=35.696
T1=8.93
 OPT
f=55
TT=65.094
T1=15.16
 OPT
f=55
TT=2154.7
T1=1904.94
 OPT
f=55
TT=66.918
T1=16.32
 OPT
f=55
TT=51.952
T1=21.49
 OPT
f=55
TT=91.401
T1=75.72
 OPT
f=55
TT=183.681
T1=158.21
 OPT
f=55
TT=75.188
T1=49.85
 OPT
f=55
TT=63.636
T1=47.25
 OPT
f=55
TT=72.337
T1=53.79
 OPT
f=55
TT=62.787
T1=46.59
 OPT
f=55
TT=57.158
T1=39.82
 OPT
f=55
TT=87.826
T1=69.3
 OPT
f=55
TT=293.032
T1=292.96
GolombRuler/
GolombRuler-a3v18-11_c18.xml 		OPT
f=72
TT=885.287
T1=15.84
 SAT (TO)
f=76
TT=2520.09
T1=1448.02
 OPT
f=72
TT=885.287
T1=15.84
 OPT
f=72
TT=1838.63
T1=46.66
 OPT
f=72
TT=886.724
T1=17
 OPT
f=72
TT=1845.01
T1=34.87
 OPT
f=72
TT=926.68
T1=14.9
 OPT
f=72
TT=2102.11
T1=37.46
 SAT (TO)
f=74
TT=2520.08
T1=307.17
 OPT
f=72
TT=1831.42
T1=32.89
 OPT
f=72
TT=2025.3
T1=472.17
 SAT (TO)
f=72
TT=2520.1
T1=1225.36
 SAT (TO)
f=72
TT=2520.11
T1=893.65
 OPT
f=72
TT=2125.65
T1=103.1
 OPT
f=72
TT=1795.24
T1=91.99
 OPT
f=72
TT=1784.01
T1=91.39
 OPT
f=72
TT=1786.91
T1=92.28
 OPT
f=72
TT=2287.67
T1=468.27
 OPT
f=72
TT=2389.89
T1=612.81
 ? (TO)

TT=2519.65
GolombRuler/
GolombRuler-a3v18-13_c18.xml 		SAT TO
f=106
TT=20009.2
T1=19653.8
 SAT (TO)
f=130
TT=2520.06
T1=2075.71
 SAT (TO)
f=110
TT=2520.29
T1=459.57
 SAT (TO)
f=106
TT=20012.8
T1=17329.1
 SAT (TO)
f=110
TT=2520.57
T1=504.64
 SAT (TO)
f=106
TT=20009.2
T1=19653.8
 SAT (TO)
f=110
TT=2520.31
T1=509.98
 SAT (TO)
f=109
TT=20025.8
T1=11304.1
 SAT (TO)
f=115
TT=2520.09
T1=697.44
 SAT (TO)
f=109
TT=20025.3
T1=10927.1
 SAT (TO)
f=112
TT=2520.13
T1=541.88
 SAT (TO)
f=114
TT=2520.13
T1=509.6
 SAT (TO)
f=115
TT=2520.06
T1=2144.15
 SAT (TO)
f=112
TT=2520.05
T1=730.77
 SAT (TO)
f=113
TT=2520.08
T1=317.88
 SAT (TO)
f=113
TT=2519.91
T1=315.98
 SAT (TO)
f=113
TT=2519.86
T1=315.27
 SAT (TO)
f=112
TT=20125.8
T1=17551.5
 SAT (TO)
f=112
TT=20125.9
T1=5313.69
 ? (TO)

TT=2520.03
GolombRuler/
GolombRuler-a3v18-nodv-09_c18.xml 		OPT
f=44
TT=9.407
T1=1.54
 OPT
f=44
TT=15.817
T1=10.55
 OPT
f=44
TT=9.5
T1=1.54
 OPT
f=44
TT=13.304
T1=5.35
 OPT
f=44
TT=9.407
T1=2.08
 OPT
f=44
TT=17.916
T1=3.07
 OPT
f=44
TT=12.711
T1=1.5
 OPT
f=44
TT=24.055
T1=3.91
 OPT
f=44
TT=66.983
T1=10.05
 OPT
f=44
TT=18.61
T1=4.54
 OPT
f=44
TT=109.313
T1=47.46
 OPT
f=44
TT=154.539
T1=86.07
 OPT
f=44
TT=215.14
T1=74.69
 OPT
f=44
TT=123.59
T1=27.28
 OPT
f=44
TT=26.175
T1=11.26
 OPT
f=44
TT=29.789
T1=12.79
 OPT
f=44
TT=25.889
T1=11.1
 OPT
f=44
TT=13.506
T1=4.69
 OPT
f=44
TT=10.921
T1=3.16
 OPT
f=44
TT=92.841
T1=92.79
GolombRuler/
GolombRuler-a3v18-nodv-10_c18.xml 		OPT
f=55
TT=31
T1=7.89
 OPT
f=55
TT=97.484
T1=66.23
 OPT
f=55
TT=32.408
T1=7.89
 OPT
f=55
TT=63.94
T1=14.69
 OPT
f=55
TT=31
T1=8.64
 OPT
f=55
TT=65.249
T1=13.84
 OPT
f=55
TT=35.288
T1=8.98
 OPT
f=55
TT=64.135
T1=16.12
 OPT
f=55
TT=2124.21
T1=1878.16
 OPT
f=55
TT=61.489
T1=14.7
 OPT
f=55
TT=1179.94
T1=278.42
 OPT
f=55
TT=2415.36
T1=1237.94
 OPT
f=55
TT=2323.09
T1=255.98
 OPT
f=55
TT=1327.61
T1=186.48
 OPT
f=55
TT=872.077
T1=807.53
 OPT
f=55
TT=862.817
T1=799.13
 OPT
f=55
TT=861.564
T1=798.01
 OPT
f=55
TT=188.014
T1=124.97
 OPT
f=55
TT=102.828
T1=27.37
 OPT
f=55
TT=298.632
T1=298.6
GolombRuler/
GolombRuler-a4-s1/
GolombRuler-09-a4.xml 		OPT
f=44
TT=38.027
T1=18.56
 OPT
f=44
TT=38.027
T1=24.49
 OPT
f=44
TT=554.927
T1=55.64
 Wrong Opt.
f=50
TT=26.533
T1=25.61
 OPT
f=44
TT=448.098
T1=57.41
 OPT
f=44
TT=584.758
T1=129.3
 OPT
f=44
TT=524.546
T1=59.97
 OPT
f=44
TT=618.416
T1=133.68
 OPT
f=44
TT=391.07
T1=379.9
 OPT
f=44
TT=705.691
T1=121.32
 OPT
f=44
TT=60.274
T1=35.99
 OPT
f=44
TT=63.427
T1=19.07
 OPT
f=44
TT=125.752
T1=23.54
 OPT
f=44
TT=63.596
T1=18.56
 ? (MO)

TT=329.651

 ? (MO)

TT=286.935

 ? (MO)

TT=286.032

 ?

TT=629.171

 ?

TT=583.85

 OPT
f=44
TT=155.774
T1=155.69
Bench nameBest resultsAbsCon
2019-07-23
(complete)		choco-solver
2019-06-14
(complete)		choco-solver
2019-06-14 parallel
(complete)		choco-solver
2019-09-16
(complete)		choco-solver
2019-09-16 parallel
(complete)		choco-solver
2019-09-20
(complete)		choco-solver
2019-09-20 parallel
(complete)		choco-solver
2019-09-24
(complete)		choco-solver
2019-09-24 parallel
(complete)		Concrete
3.10
(complete)		Concrete
3.12.2
(complete)		Concrete
3.12.2
(complete)		Concrete
3.12.3
(complete)		cosoco
2
(complete)		cosoco
2.0
(complete)		cosoco
2.0
(complete)		cosoco
2.0 parallel
(complete)		cosoco
2.O parallel
(complete)		PicatSAT
2019-09-12
(complete)
GolombRuler/
GolombRuler-a4-s1/
GolombRuler-11-a4.xml 		SAT TO
f=72
TT=2520.03
T1=1447.08
 SAT (TO)
f=72
TT=2520.03
T1=2245.61
 SAT (TO)
f=77
TT=2520.5
T1=419.06
 Wrong Opt.
f=81
TT=377.463
T1=377.36
 SAT (TO)
f=74
TT=2520.29
T1=2205.92
 SAT (TO)
f=72
TT=19824.5
T1=17790.4
 SAT (TO)
f=77
TT=2520.71
T1=942.94
 SAT (TO)
f=72
TT=19767.1
T1=19411.7
 SAT (TO)
f=74
TT=2520.08
T1=1160.28
 SAT (TO)
f=74
TT=19755.7
T1=17035.4
 SAT (TO)
f=72
TT=2520.1
T1=287.85
 SAT (TO)
f=72
TT=2520.05
T1=1543.1
 SAT (TO)
f=72
TT=2520.13
T1=1447.08
 SAT (TO)
f=74
TT=2520.08
T1=132.39
 ? (MO)

TT=330.934

 ? (MO)

TT=291.075

 ? (MO)

TT=285.262

 ?

TT=581.936

 ?

TT=585.566

 ? (TO)

TT=2520.05
GraphColoring/GraphColoring-m1-fixed/
GraphColoring-qwhopt-o33-h381-bal-1.xml 		SAT TO
f=33
TT=2519.82
T1=3.09
 SAT (TO)
f=33
TT=2520.08
T1=12.98
 SAT (TO)
f=33
TT=2520.42
T1=36.71
 SAT (TO)
f=33
TT=20018.7
T1=55.86
 SAT (TO)
f=33
TT=2520.57
T1=27.18
 SAT (TO)
f=33
TT=20033.3
T1=90.57
 SAT (TO)
f=33
TT=2520.2
T1=60.3
 SAT (TO)
f=33
TT=20008.4
T1=112.29
 SAT (TO)
f=33
TT=2520.04
T1=13.68
 SAT (TO)
f=33
TT=20023.7
T1=96.58
 SAT (TO)
f=33
TT=2520.12
T1=100.01
 SAT (TO)
f=33
TT=2520.06
T1=88.27
 SAT (TO)
f=33
TT=2520.07
T1=296.64
 SAT (TO)
f=33
TT=2520.17
T1=81.21
 SAT (TO)
f=33
TT=2520.09
T1=7.08
 SAT (TO)
f=33
TT=2520.05
T1=3.09
 SAT (TO)
f=33
TT=2519.82
T1=6.58
 SAT (TO)
f=33
TT=20066.9
T1=78.13
 SAT (TO)
f=33
TT=20067.5
T1=80.75
 ? (TO)

TT=2519.98
GraphColoring/
GraphColoring-m1-mono/
GraphColoring-2-fullins-5.xml 		OPT
f=6
TT=58.278
T1=1.49
 OPT
f=6
TT=93.489
T1=9.2
 OPT
f=6
TT=189.662
T1=11.84
 OPT
f=6
TT=353.01
T1=19.97
 OPT
f=6
TT=193.17
T1=12.56
 OPT
f=6
TT=367.293
T1=19.54
 OPT
f=6
TT=172.721
T1=12.88
 OPT
f=6
TT=382.635
T1=19.68
 OPT
f=6
TT=507.923
T1=6.47
 OPT
f=6
TT=392.902
T1=21.31
 OPT
f=6
TT=2007.68
T1=49.51
 SAT (TO)
f=6
TT=2520.1
T1=63.17
 SAT (TO)
f=701
TT=2520.09
T1=2498.02
 OPT
f=6
TT=2382.72
T1=54.65
 OPT
f=6
TT=327.064
T1=1.89
 OPT
f=6
TT=308.565
T1=1.89
 OPT
f=6
TT=320.376
T1=1.89
 OPT
f=6
TT=4152.28
T1=1.49
 OPT
f=6
TT=4098.51
T1=10.76
 OPT
f=6
TT=58.278
T1=58.2
GraphColoring/
GraphColoring-m1-mono/
GraphColoring-4-insertions-3.xml 		OPT
f=3
TT=4.94
T1=1.29
 OPT
f=3
TT=487.723
T1=3.21
 OPT
f=3
TT=226.618
T1=1.53
 OPT
f=3
TT=484.944
T1=1.93
 OPT
f=3
TT=226.222
T1=1.33
 OPT
f=3
TT=640.84
T1=2.04
 OPT
f=3
TT=277.487
T1=1.58
 OPT
f=3
TT=511.257
T1=1.94
 OPT
f=3
TT=692.829
T1=1.29
 OPT
f=3
TT=641.703
T1=1.97
 OPT
f=3
TT=1316.13
T1=8.18
 OPT
f=3
TT=1437.01
T1=9.01
 SAT (TO)
f=3
TT=2520.08
T1=11.87
 OPT
f=3
TT=1919.81
T1=6.66
 SAT (TO)
f=3
TT=2520.02
T1=0
 SAT (TO)
f=3
TT=2519.36
T1=0
 SAT (TO)
f=3
TT=2520.11
T1=0
 SAT (TO)
f=3
TT=20127.1
T1=0
 SAT (TO)
f=3
TT=20125.6
T1=0
 OPT
f=3
TT=4.94
T1=4.89
GraphColoring/
GraphColoring-m1-mono/
GraphColoring-5-fullins-4.xml 		OPT
f=8
TT=75.437
T1=1.69
 OPT
f=8
TT=101.042
T1=9.01
 OPT
f=8
TT=258.606
T1=14.9
 OPT
f=8
TT=560.693
T1=33.14
 OPT
f=8
TT=276.667
T1=15.42
 OPT
f=8
TT=530.628
T1=18.35
 OPT
f=8
TT=438.589
T1=14.72
 OPT
f=8
TT=1135.61
T1=21.27
 OPT
f=8
TT=1848.68
T1=6.91
 OPT
f=8
TT=521.705
T1=21.19
 OPT
f=8
TT=2068.92
T1=71.95
 SAT (TO)
f=8
TT=2520.08
T1=84.96
 SAT (TO)
f=979
TT=2520.14
T1=2505.4
 SAT (TO)
f=8
TT=2520.16
T1=97.86
 OPT
f=8
TT=153.816
T1=1.69
 OPT
f=8
TT=126.821
T1=1.79
 OPT
f=8
TT=132.341
T1=1.79
 OPT
f=8
TT=3538.53
T1=20.1
 OPT
f=8
TT=3992.2
T1=20.78
 OPT
f=8
TT=75.437
T1=75.37
GraphColoring/
GraphColoring-m1-mono/
GraphColoring-ash608GPIA.xml 		OPT
f=3
TT=1.34
T1=1.28
 OPT
f=3
TT=8.034
T1=7.81
 OPT
f=3
TT=10.92
T1=10.58
 OPT
f=3
TT=22.522
T1=22.17
 OPT
f=3
TT=12.447
T1=12.17
 OPT
f=3
TT=17.55
T1=16.91
 OPT
f=3
TT=10.598
T1=10.05
 OPT
f=3
TT=14.398
T1=13.58
 OPT
f=3
TT=5.008
T1=4.72
 OPT
f=3
TT=14.691
T1=14.21
 OPT
f=3
TT=82.199
T1=81.95
 OPT
f=3
TT=123.618
T1=123.28
 SAT (TO)
f=1097
TT=2520.12
T1=2506.35
 OPT
f=3
TT=139.14
T1=138.75
 OPT
f=3
TT=1.34
T1=1.29
 OPT
f=3
TT=1.35
T1=1.28
 OPT
f=3
TT=1.351
T1=1.29
 OPT
f=3
TT=1177.66
T1=1177
 OPT
f=3
TT=34.363
T1=33.69
 OPT
f=3
TT=25.506
T1=25.49
GraphColoring/
GraphColoring-m1-mono/
GraphColoring-david.xml 		OPT
f=10
TT=8.864
T1=0
 OPT
f=10
TT=82.418
T1=3.62
 OPT
f=10
TT=530.859
T1=2.28
 OPT
f=10
TT=942.434
T1=2.72
 OPT
f=10
TT=482.211
T1=2.19
 OPT
f=10
TT=1163.98
T1=3.02
 OPT
f=10
TT=475.977
T1=1.88
 OPT
f=10
TT=978.27
T1=2.84
 OPT
f=10
TT=285.693
T1=1.47
 OPT
f=10
TT=1092.55
T1=2.72
 OPT
f=10
TT=10.961
T1=10.87
 OPT
f=10
TT=10.2
T1=10.05
 OPT
f=10
TT=17.173
T1=17.03
 OPT
f=10
TT=9.383
T1=9.09
 OPT
f=10
TT=84.181
T1=0
 OPT
f=10
TT=83.412
T1=0
 OPT
f=10
TT=84.155
T1=0
 OPT
f=10
TT=846.606
T1=0
 OPT
f=10
TT=814.041
T1=0
 OPT
f=10
TT=8.864
T1=8.79
GraphColoring/
GraphColoring-m1-mono/
GraphColoring-homer.xml 		OPT
f=12
TT=28.077
T1=27.57
 SAT (TO)
f=12
TT=2520.1
T1=5.21
 SAT (TO)
f=12
TT=2520.57
T1=4.46
 SAT (TO)
f=12
TT=20037.8
T1=8.46
 SAT (TO)
f=12
TT=2520.46
T1=4.82
 SAT (TO)
f=12
TT=20021
T1=9.25
 SAT (TO)
f=12
TT=2520.32
T1=5.18
 SAT (TO)
f=12
TT=20023.8
T1=9.97
 SAT (TO)
f=12
TT=2520.07
T1=2.37
 SAT (TO)
f=12
TT=20044
T1=10.33
 OPT
f=12
TT=25.25
T1=24.85
 OPT
f=12
TT=28.077
T1=27.57
 OPT
f=12
TT=247.669
T1=246.84
 OPT
f=12
TT=30.922
T1=30.39
 SAT (TO)
f=12
TT=2520.02
T1=0.21
 SAT (TO)
f=12
TT=2519.93
T1=0.2
 SAT (TO)
f=12
TT=2519.81
T1=0.21
 SAT (TO)
f=12
TT=20124.2
T1=1.99
 SAT (TO)
f=12
TT=20123.2
T1=1.92
 OPT
f=12
TT=33.138
T1=33.09
GraphColoring/
GraphColoring-m1-mono/
GraphColoring-lei450-05b.xml 		OPT
f=4
TT=238.735
T1=238.69
 ? (exit code)

TT=-1

 OPT
f=4
TT=2299.63
T1=2292.49
 OPT
f=4
TT=2035.36
T1=2035.09
 SAT (TO)
f=7
TT=2520.59
T1=40.85
 OPT
f=4
TT=5971.39
T1=5971.19
 OPT
f=4
TT=1699.36
T1=1699.12
 OPT
f=4
TT=1872
T1=1871.86
 SAT (TO)
f=7
TT=2520.03
T1=25.31
 OPT
f=4
TT=1736.19
T1=1735.92
 SAT (TO)
f=7
TT=2520.07
T1=69.46
 SAT (TO)
f=8
TT=2520.05
T1=26.24
 SAT (TO)
f=8
TT=2520.1
T1=653.6
 SAT (TO)
f=7
TT=2520.09
T1=1770.4
 OPT
f=4
TT=238.735
T1=238.69
 OPT
f=4
TT=240.443
T1=240.35
 OPT
f=4
TT=246.902
T1=246.79
 OPT
f=4
TT=2370.61
T1=2369.85
 OPT
f=4
TT=4829.17
T1=4828.7
 OPT
f=4
TT=736.776
T1=736.68
GraphColoring/
GraphColoring-m1-mono/
GraphColoring-lei450-05c.xml 		OPT
f=4
TT=1.94
T1=1.89
 OPT
f=4
TT=9.851
T1=9.79
 OPT
f=4
TT=15.152
T1=15.11
 OPT
f=4
TT=25.171
T1=24.45
 OPT
f=4
TT=12.949
T1=12.63
 OPT
f=4
TT=20.167
T1=19.95
 OPT
f=4
TT=13.283
T1=12.94
 OPT
f=4
TT=19.088
T1=18.3
 OPT
f=4
TT=7.798
T1=7.71
 OPT
f=4
TT=14.394
T1=13.69
 OPT
f=4
TT=39.828
T1=39.78
 OPT
f=4
TT=92.206
T1=92.07
 OPT
f=4
TT=1925.57
T1=1925.48
 OPT
f=4
TT=35.215
T1=35.07
 OPT
f=4
TT=2.236
T1=2.19
 OPT
f=4
TT=2.048
T1=1.99
 OPT
f=4
TT=1.94
T1=1.89
 OPT
f=4
TT=7.5
T1=7.06
 OPT
f=4
TT=15.051
T1=14.3
 OPT
f=4
TT=24.037
T1=23.98
Bench nameBest resultsAbsCon
2019-07-23
(complete)		choco-solver
2019-06-14
(complete)		choco-solver
2019-06-14 parallel
(complete)		choco-solver
2019-09-16
(complete)		choco-solver
2019-09-16 parallel
(complete)		choco-solver
2019-09-20
(complete)		choco-solver
2019-09-20 parallel
(complete)		choco-solver
2019-09-24
(complete)		choco-solver
2019-09-24 parallel
(complete)		Concrete
3.10
(complete)		Concrete
3.12.2
(complete)		Concrete
3.12.2
(complete)		Concrete
3.12.3
(complete)		cosoco
2
(complete)		cosoco
2.0
(complete)		cosoco
2.0
(complete)		cosoco
2.0 parallel
(complete)		cosoco
2.O parallel
(complete)		PicatSAT
2019-09-12
(complete)
GraphColoring/
GraphColoring-m1-mono/
GraphColoring-lei450-05d.xml 		OPT
f=4
TT=2.212
T1=0.69
 OPT
f=4
TT=9.953
T1=9.85
 OPT
f=4
TT=11.936
T1=7.89
 OPT
f=4
TT=11.867
T1=10.9
 OPT
f=4
TT=8.607
T1=8.07
 OPT
f=4
TT=11.194
T1=9.92
 OPT
f=4
TT=8.283
T1=7.81
 OPT
f=4
TT=11.516
T1=10.65
 OPT
f=4
TT=8.956
T1=8.89
 OPT
f=4
TT=11.261
T1=10.29
 OPT
f=4
TT=137.395
T1=137.26
 OPT
f=4
TT=84.07
T1=83.95
 OPT
f=4
TT=2090.88
T1=2090.82
 OPT
f=4
TT=46.767
T1=46.65
 OPT
f=4
TT=2.271
T1=0.69
 OPT
f=4
TT=2.212
T1=2.19
 OPT
f=4
TT=2.224
T1=2.22
 OPT
f=4
TT=11.566
T1=11.13
 OPT
f=4
TT=4.5
T1=4.09
 OPT
f=4
TT=23.18
T1=23.1
GraphColoring/
GraphColoring-m1-mono/
GraphColoring-lei450-25a.xml 		OPT
f=24
TT=29.679
T1=28.83
 SAT (TO)
f=24
TT=2520.05
T1=7.02
 SAT (TO)
f=24
TT=2520.7
T1=8.36
 SAT (TO)
f=24
TT=20034.1
T1=14.01
 SAT (TO)
f=24
TT=2520.62
T1=8.05
 SAT (TO)
f=24
TT=20042.2
T1=10.85
 SAT (TO)
f=24
TT=2520.65
T1=9.34
 SAT (TO)
f=24
TT=20032.5
T1=12.26
 SAT (TO)
f=24
TT=2520.09
T1=3.98
 SAT (TO)
f=24
TT=20057.7
T1=12.5
 OPT
f=24
TT=28.403
T1=28.09
 OPT
f=24
TT=29.679
T1=28.83
 OPT
f=24
TT=343.39
T1=342.75
 OPT
f=24
TT=31.456
T1=30.58
 SAT (TO)
f=24
TT=2520.01
T1=1.29
 SAT (TO)
f=24
TT=2520.02
T1=1.29
 SAT (TO)
f=24
TT=2519.9
T1=1.29
 SAT (TO)
f=24
TT=20109.6
T1=2.74
 SAT (TO)
f=24
TT=20110.4
T1=2.13
 ? (TO)

TT=2519.87
GraphColoring/
GraphColoring-m1-mono/
GraphColoring-myciel5.xml 		OPT
f=5
TT=19.538
T1=0
 OPT
f=5
TT=29.424
T1=3.34
 OPT
f=5
TT=42.276
T1=1.56
 OPT
f=5
TT=96.539
T1=2
 OPT
f=5
TT=53.593
T1=1.61
 OPT
f=5
TT=105.159
T1=1.93
 OPT
f=5
TT=44.986
T1=1.59
 OPT
f=5
TT=106.608
T1=2.01
 OPT
f=5
TT=82.891
T1=1.32
 OPT
f=5
TT=86.197
T1=1.97
 OPT
f=5
TT=340.013
T1=7.2
 OPT
f=5
TT=301.061
T1=7.13
 OPT
f=5
TT=1257.94
T1=9.81
 OPT
f=5
TT=302.947
T1=6.43
 OPT
f=5
TT=728.663
T1=0
 OPT
f=5
TT=634.914
T1=0
 OPT
f=5
TT=638.305
T1=0
 OPT
f=5
TT=4115.96
T1=0
 OPT
f=5
TT=3323.72
T1=0
 OPT
f=5
TT=19.538
T1=19.49
GraphColoring/
GraphColoring-m1-mono/
GraphColoring-school1.xml 		OPT
f=13
TT=68.329
T1=68.09
 SAT (TO)
f=13
TT=2520.11
T1=20.37
 SAT (TO)
f=13
TT=2520.58
T1=12.15
 SAT (TO)
f=13
TT=17603.6
T1=14.81
 SAT (TO)
f=13
TT=2520.34
T1=9.97
 SAT (TO)
f=13
TT=20067.2
T1=14.76
 SAT (TO)
f=13
TT=2520.54
T1=11.73
 SAT (TO)
f=13
TT=20069
T1=15.34
 SAT (TO)
f=13
TT=2520.1
T1=6.25
 SAT (TO)
f=13
TT=20046.2
T1=19.07
 OPT
f=13
TT=75.166
T1=74.99
 OPT
f=13
TT=92.75
T1=92.51
 OPT
f=13
TT=2043.14
T1=2042.94
 OPT
f=13
TT=68.329
T1=68.09
 SAT (TO)
f=13
TT=2520
T1=3.19
 SAT (TO)
f=13
TT=2519.55
T1=3.29
 SAT (TO)
f=13
TT=2520.05
T1=3.28
 SAT (TO)
f=13
TT=20093.7
T1=4.26
 SAT (TO)
f=13
TT=20093.6
T1=5.69
 OPT
f=13
TT=488.222
T1=488.14
GraphColoring/
GraphColoring-m1-mono/
GraphColoring-will199GPIA.xml 		OPT
f=6
TT=1.182
T1=1
 OPT
f=6
TT=7.406
T1=7.13
 OPT
f=6
TT=15.399
T1=9.88
 OPT
f=6
TT=27.399
T1=16.66
 OPT
f=6
TT=17.382
T1=10.81
 OPT
f=6
TT=25.574
T1=15.61
 OPT
f=6
TT=14.742
T1=9.85
 OPT
f=6
TT=33.85
T1=13.01
 OPT
f=6
TT=6.613
T1=3.74
 OPT
f=6
TT=34.397
T1=17.19
 OPT
f=6
TT=43.452
T1=39.41
 OPT
f=6
TT=46.132
T1=40.81
 OPT
f=6
TT=1587.56
T1=1561.54
 OPT
f=6
TT=53.325
T1=49.02
 OPT
f=6
TT=1.367
T1=1.19
 OPT
f=6
TT=1.208
T1=1
 OPT
f=6
TT=1.182
T1=1
 OPT
f=6
TT=11.739
T1=6
 OPT
f=6
TT=20.689
T1=15.61
 OPT
f=6
TT=29.336
T1=29.29
GraphColoring/
GraphColoring-m1-mono/
GraphColoring-zeroin-i-1.xml 		OPT
f=48
TT=28.401
T1=28.22
 SAT (TO)
f=48
TT=2520.04
T1=5.49
 SAT (TO)
f=48
TT=2520.47
T1=4.9
 SAT (TO)
f=48
TT=20029
T1=8.76
 SAT (TO)
f=48
TT=2520.33
T1=5.2
 SAT (TO)
f=48
TT=20025
T1=7.45
 SAT (TO)
f=48
TT=2520.74
T1=5.22
 SAT (TO)
f=48
TT=20031
T1=7.95
 SAT (TO)
f=48
TT=2520.11
T1=3.05
 SAT (TO)
f=48
TT=20019.5
T1=7.65
 OPT
f=48
TT=30.457
T1=30.33
 OPT
f=48
TT=28.401
T1=28.22
 OPT
f=48
TT=144.803
T1=144.46
 OPT
f=48
TT=32.569
T1=32.37
 SAT (TO)
f=48
TT=2520.03
T1=0.69
 SAT (TO)
f=48
TT=2519.79
T1=0.6
 SAT (TO)
f=48
TT=2520.1
T1=0.6
 SAT (TO)
f=48
TT=20118.2
T1=0.84
 SAT (TO)
f=48
TT=20118.3
T1=0.84
 ? (TO)

TT=2520.1
Knapsack/
Knapsack-m1-s40/
Knapsack-40-150-01.xml 		OPT
f=1128
TT=7.23
T1=1.6
 OPT
f=1128
TT=31.69
T1=31.59
 OPT
f=1128
TT=7.23
T1=2.85
 OPT
f=1128
TT=17.223
T1=4.37
 OPT
f=1128
TT=12.906
T1=3.11
 OPT
f=1128
TT=16.48
T1=2.29
 OPT
f=1128
TT=8.999
T1=2.47
 OPT
f=1128
TT=18.007
T1=3.03
 OPT
f=1128
TT=121.688
T1=1.6
 OPT
f=1128
TT=19.301
T1=2.94
 OPT
f=1128
TT=104.666
T1=6.62
 OPT
f=1128
TT=72.219
T1=7.24
 OPT
f=1128
TT=252.867
T1=9.48
 OPT
f=1128
TT=75.231
T1=9.43
 OPT
f=1128
TT=11.5
T1=2
 OPT
f=1128
TT=10.023
T1=1.69
 OPT
f=1128
TT=10.007
T1=1.69
 OPT
f=1128
TT=68.849
T1=10.33
 OPT
f=1128
TT=41.318
T1=6.29
 OPT
f=1128
TT=83.99
T1=83.87
Knapsack/
Knapsack-m1-s40/
Knapsack-40-150-08.xml 		OPT
f=887
TT=6.931
T1=0.3
 OPT
f=887
TT=43.44
T1=42.99
 OPT
f=887
TT=7.702
T1=3.15
 OPT
f=887
TT=17.769
T1=2.85
 OPT
f=887
TT=9.255
T1=3.8
 OPT
f=887
TT=16.586
T1=3.04
 OPT
f=887
TT=8.663
T1=2.74
 OPT
f=887
TT=14.903
T1=3.77
 OPT
f=887
TT=190.039
T1=1.32
 OPT
f=887
TT=17.856
T1=6.87
 OPT
f=887
TT=120.399
T1=10.02
 OPT
f=887
TT=123.982
T1=8.49
 OPT
f=887
TT=426.208
T1=12.47
 OPT
f=887
TT=142.403
T1=9.17
 OPT
f=887
TT=7.911
T1=0.41
 OPT
f=887
TT=6.931
T1=0.3
 OPT
f=887
TT=6.934
T1=0.31
 OPT
f=887
TT=26.91
T1=2.45
 OPT
f=887
TT=33.781
T1=0
 OPT
f=887
TT=122.118
T1=122.07
Knapsack/
Knapsack-m1-s50/
Knapsack-50-200-00.xml 		OPT
f=960
TT=22.401
T1=1.34
 OPT
f=960
TT=222.655
T1=222.6
 OPT
f=960
TT=22.401
T1=4.63
 OPT
f=960
TT=55.366
T1=4.46
 OPT
f=960
TT=26.099
T1=7.11
 OPT
f=960
TT=55.861
T1=3.59
 OPT
f=960
TT=27.174
T1=4.03
 OPT
f=960
TT=57.623
T1=4.19
 OPT
f=960
TT=951.997
T1=1.34
 OPT
f=960
TT=60.708
T1=9.21
 OPT
f=960
TT=1265.17
T1=7.04
 OPT
f=960
TT=571.789
T1=14.33
 OPT
f=960
TT=2480.62
T1=8.9
 OPT
f=960
TT=680.926
T1=8.9
 OPT
f=960
TT=33.765
T1=7.29
 OPT
f=960
TT=29.36
T1=6.29
 OPT
f=960
TT=29.371
T1=6.29
 OPT
f=960
TT=175.768
T1=3.25
 OPT
f=960
TT=178.628
T1=43.84
 OPT
f=960
TT=213.037
T1=212.99
Knapsack/
Knapsack-m1-s50/
Knapsack-50-200-02.xml 		OPT
f=1003
TT=90.376
T1=1.35
 OPT
f=1003
TT=2095.79
T1=2073.93
 OPT
f=1003
TT=104.87
T1=3.56
 OPT
f=1003
TT=221.582
T1=12.08
 OPT
f=1003
TT=90.376
T1=3.54
 OPT
f=1003
TT=204.397
T1=10.06
 OPT
f=1003
TT=81.133
T1=5.15
 OPT
f=1003
TT=200.877
T1=5.23
 OPT
f=1003
TT=1730.99
T1=1.35
 OPT
f=1003
TT=201.269
T1=12.62
 SAT (TO)
f=1003
TT=2520.1
T1=70.01
 SAT (TO)
f=1003
TT=2520.09
T1=13.12
 SAT (TO)
f=1003
TT=2520.05
T1=10.23
 SAT (TO)
f=1003
TT=2520.12
T1=9.22
 OPT
f=1003
TT=244.192
T1=8.29
 OPT
f=1003
TT=245.418
T1=8.29
 OPT
f=1003
TT=243.476
T1=8.29
 OPT
f=1003
TT=921.539
T1=276.26
 OPT
f=1003
TT=887.281
T1=102.93
 OPT
f=1003
TT=625.852
T1=184.29
Bench nameBest resultsAbsCon
2019-07-23
(complete)		choco-solver
2019-06-14
(complete)		choco-solver
2019-06-14 parallel
(complete)		choco-solver
2019-09-16
(complete)		choco-solver
2019-09-16 parallel
(complete)		choco-solver
2019-09-20
(complete)		choco-solver
2019-09-20 parallel
(complete)		choco-solver
2019-09-24
(complete)		choco-solver
2019-09-24 parallel
(complete)		Concrete
3.10
(complete)		Concrete
3.12.2
(complete)		Concrete
3.12.2
(complete)		Concrete
3.12.3
(complete)		cosoco
2
(complete)		cosoco
2.0
(complete)		cosoco
2.0
(complete)		cosoco
2.0 parallel
(complete)		cosoco
2.O parallel
(complete)		PicatSAT
2019-09-12
(complete)
Knapsack/
Knapsack-m1-s50/
Knapsack-50-200-03.xml 		OPT
f=1109
TT=88.331
T1=1.35
 OPT
f=1109
TT=615.374
T1=615.19
 OPT
f=1109
TT=88.331
T1=3.96
 OPT
f=1109
TT=221.872
T1=6.26
 OPT
f=1109
TT=89.462
T1=5.46
 OPT
f=1109
TT=235.564
T1=3.51
 OPT
f=1109
TT=93.923
T1=5.9
 OPT
f=1109
TT=174.944
T1=5.98
 OPT
f=1109
TT=1125.3
T1=1.35
 OPT
f=1109
TT=213.999
T1=6.79
 OPT
f=1109
TT=1903.94
T1=20.78
 OPT
f=1109
TT=1772.52
T1=8.05
 SAT (TO)
f=1109
TT=2520.06
T1=7.32
 OPT
f=1109
TT=1574.15
T1=11.04
 OPT
f=1109
TT=142.028
T1=14.49
 OPT
f=1109
TT=123.318
T1=12.59
 OPT
f=1109
TT=123.317
T1=12.59
 OPT
f=1109
TT=650.171
T1=7.96
 OPT
f=1109
TT=712.063
T1=0.81
 OPT
f=1109
TT=431.237
T1=370.89
Knapsack/
Knapsack-m1-s50/
Knapsack-50-200-04.xml 		OPT
f=1289
TT=48.13
T1=1.6
 OPT
f=1289
TT=1948.86
T1=1948.11
 OPT
f=1289
TT=88.626
T1=86.91
 OPT
f=1289
TT=124.706
T1=4.9
 OPT
f=1289
TT=48.13
T1=5.85
 OPT
f=1289
TT=130.412
T1=5.62
 OPT
f=1289
TT=53.841
T1=5.59
 OPT
f=1289
TT=125.221
T1=4.37
 OPT
f=1289
TT=1516.51
T1=1.6
 OPT
f=1289
TT=142.402
T1=3.71
 SAT (TO)
f=1289
TT=2520.13
T1=6.45
 SAT (TO)
f=1289
TT=2520.07
T1=10.39
 SAT (TO)
f=1289
TT=2520.07
T1=12.2
 SAT (TO)
f=1289
TT=2520.14
T1=15.7
 OPT
f=1289
TT=124.644
T1=5.29
 OPT
f=1289
TT=108.69
T1=4.58
 OPT
f=1289
TT=108.187
T1=4.59
 OPT
f=1289
TT=528.084
T1=20.66
 OPT
f=1289
TT=447.942
T1=24.75
 OPT
f=1289
TT=491.669
T1=491.64
Knapsack/
Knapsack-m1-s50/
Knapsack-50-200-05.xml 		OPT
f=1105
TT=20.411
T1=1.29
 OPT
f=1105
TT=479.049
T1=477.5
 OPT
f=1105
TT=20.411
T1=3.18
 OPT
f=1105
TT=54.556
T1=3.27
 OPT
f=1105
TT=24.874
T1=4.25
 OPT
f=1105
TT=52.951
T1=3.49
 OPT
f=1105
TT=23.095
T1=6.76
 OPT
f=1105
TT=55.234
T1=4.13
 OPT
f=1105
TT=1438.35
T1=1.29
 OPT
f=1105
TT=50.506
T1=5.33
 SAT (TO)
f=1105
TT=2520.14
T1=18.45
 OPT
f=1105
TT=1636.63
T1=11.2
 SAT (TO)
f=1105
TT=2520.07
T1=47.05
 OPT
f=1105
TT=1219.17
T1=10.66
 OPT
f=1105
TT=37.702
T1=22.09
 OPT
f=1105
TT=37.468
T1=21.89
 OPT
f=1105
TT=38.015
T1=22.19
 OPT
f=1105
TT=243.452
T1=11.09
 OPT
f=1105
TT=199.395
T1=98.93
 OPT
f=1105
TT=200.76
T1=200.67
Knapsack/
Knapsack-m1-s50/
Knapsack-50-200-06.xml 		OPT
f=1079
TT=30.479
T1=0
 OPT
f=1079
TT=700.855
T1=700.26
 OPT
f=1079
TT=30.479
T1=3.57
 OPT
f=1079
TT=72.89
T1=4.64
 OPT
f=1079
TT=36.16
T1=5.48
 OPT
f=1079
TT=73.614
T1=2.79
 OPT
f=1079
TT=30.427
T1=3.97
 OPT
f=1079
TT=64.197
T1=3.66
 OPT
f=1079
TT=1230.51
T1=1.05
 OPT
f=1079
TT=82.394
T1=3.69
 OPT
f=1079
TT=1433.68
T1=8.93
 OPT
f=1079
TT=1111.69
T1=8.56
 SAT (TO)
f=1079
TT=2520.09
T1=15.25
 OPT
f=1079
TT=1862.66
T1=8.44
 OPT
f=1079
TT=85.874
T1=0
 OPT
f=1079
TT=74.62
T1=0
 OPT
f=1079
TT=74.381
T1=0
 OPT
f=1079
TT=264.903
T1=28.61
 OPT
f=1079
TT=367.355
T1=43.84
 OPT
f=1079
TT=426.179
T1=168.98
Knapsack/
Knapsack-m1-s50/
Knapsack-50-200-07.xml 		OPT
f=1070
TT=24.822
T1=1.31
 OPT
f=1070
TT=508.304
T1=453.19
 OPT
f=1070
TT=24.822
T1=4.74
 OPT
f=1070
TT=53.254
T1=7.31
 OPT
f=1070
TT=25.69
T1=5.15
 OPT
f=1070
TT=51.756
T1=3.52
 OPT
f=1070
TT=22.423
T1=3.61
 OPT
f=1070
TT=52.57
T1=5.98
 OPT
f=1070
TT=1315.02
T1=1.31
 OPT
f=1070
TT=51.4
T1=2.2
 OPT
f=1070
TT=1142.71
T1=6.8
 OPT
f=1070
TT=1668.83
T1=9.87
 SAT (TO)
f=1070
TT=2520.09
T1=13.47
 OPT
f=1070
TT=1721.48
T1=13.02
 OPT
f=1070
TT=55.042
T1=11.1
 OPT
f=1070
TT=47.749
T1=9.69
 OPT
f=1070
TT=48.012
T1=9.69
 OPT
f=1070
TT=250.161
T1=12.68
 OPT
f=1070
TT=258.212
T1=93.35
 OPT
f=1070
TT=143.244
T1=143.18
Knapsack/
Knapsack-m1-s50/
Knapsack-50-200-09.xml 		OPT
f=1241
TT=37.345
T1=1
 OPT
f=1241
TT=1049.67
T1=1049
 OPT
f=1241
TT=39.624
T1=4.72
 OPT
f=1241
TT=89.28
T1=8.32
 OPT
f=1241
TT=37.345
T1=3.58
 OPT
f=1241
TT=87.999
T1=8.87
 OPT
f=1241
TT=37.554
T1=2.82
 OPT
f=1241
TT=102.356
T1=4.15
 OPT
f=1241
TT=1196.75
T1=1
 OPT
f=1241
TT=92.331
T1=4.45
 OPT
f=1241
TT=1992.87
T1=9.92
 OPT
f=1241
TT=1449.85
T1=9.34
 SAT (TO)
f=1241
TT=2520.08
T1=27.34
 OPT
f=1241
TT=2131.41
T1=6.27
 OPT
f=1241
TT=87.01
T1=14.1
 OPT
f=1241
TT=86.194
T1=14
 OPT
f=1241
TT=86.894
T1=14.1
 OPT
f=1241
TT=491.636
T1=3.24
 OPT
f=1241
TT=434.11
T1=78.17
 OPT
f=1241
TT=204.925
T1=204.85
Knapsack/
Knapsack-m1-s50/
Knapsack-50-200-11.xml 		OPT
f=1049
TT=35.81
T1=1.6
 OPT
f=1049
TT=679.106
T1=679.02
 OPT
f=1049
TT=35.81
T1=3.61
 OPT
f=1049
TT=156.733
T1=6.15
 OPT
f=1049
TT=42.708
T1=3.56
 OPT
f=1049
TT=107.33
T1=7.46
 OPT
f=1049
TT=40.488
T1=3.54
 OPT
f=1049
TT=132.484
T1=11.97
 OPT
f=1049
TT=1239.19
T1=1.6
 OPT
f=1049
TT=118.723
T1=9.8
 SAT (TO)
f=1049
TT=2520.06
T1=9.77
 SAT (TO)
f=1049
TT=2520.1
T1=18.15
 SAT (TO)
f=1049
TT=2520.11
T1=17.02
 OPT
f=1049
TT=2402.57
T1=8.06
 OPT
f=1049
TT=100.55
T1=20.79
 OPT
f=1049
TT=88.195
T1=18.29
 OPT
f=1049
TT=87.264
T1=18.1
 OPT
f=1049
TT=413.535
T1=36.65
 OPT
f=1049
TT=471.734
T1=3.24
 OPT
f=1049
TT=272.666
T1=131.68
Knapsack/
Knapsack-m1-s50/
Knapsack-50-200-13.xml 		OPT
f=1427
TT=122.558
T1=5.81
 OPT
f=1427
TT=1618.21
T1=1618.15
 OPT
f=1427
TT=153.752
T1=146.73
 OPT
f=1427
TT=127.327
T1=98.16
 OPT
f=1427
TT=122.558
T1=5.81
 OPT
f=1427
TT=232.966
T1=5.82
 OPT
f=1427
TT=84.588
T1=4.63
 OPT
f=1427
TT=215.538
T1=7.9
 SAT (TO)
f=1427
TT=2520.03
T1=1.61
 OPT
f=1427
TT=182.874
T1=8.35
 SAT (TO)
f=1427
TT=2520.07
T1=8.78
 SAT (TO)
f=1427
TT=2520.13
T1=12.47
 SAT (TO)
f=1427
TT=2520.1
T1=26.89
 SAT (TO)
f=1427
TT=2520.09
T1=12.02
 OPT
f=1427
TT=318.294
T1=14.49
 OPT
f=1427
TT=318.678
T1=14.49
 OPT
f=1427
TT=317.923
T1=14.49
 OPT
f=1427
TT=1158.79
T1=43.84
 OPT
f=1427
TT=1197.97
T1=94.13
 OPT
f=1427
TT=310.595
T1=310.51
Knapsack/
Knapsack-m1-s50/
Knapsack-50-200-14.xml 		OPT
f=1121
TT=88.513
T1=1.36
 OPT
f=1121
TT=1560.71
T1=1560.64
 OPT
f=1121
TT=88.513
T1=3.96
 OPT
f=1121
TT=197.612
T1=3.34
 OPT
f=1121
TT=90.436
T1=5.15
 OPT
f=1121
TT=181.476
T1=4.15
 OPT
f=1121
TT=84.322
T1=5.92
 OPT
f=1121
TT=179.248
T1=4.42
 OPT
f=1121
TT=1651.62
T1=1.36
 OPT
f=1121
TT=192.082
T1=4.26
 SAT (TO)
f=1121
TT=2520.08
T1=13.21
 SAT (TO)
f=1121
TT=2520.09
T1=9.36
 SAT (TO)
f=1121
TT=2520.05
T1=14.25
 SAT (TO)
f=1121
TT=2520.12
T1=8.04
 OPT
f=1121
TT=206.783
T1=12
 OPT
f=1121
TT=179.468
T1=10.39
 OPT
f=1121
TT=179.932
T1=10.49
 OPT
f=1121
TT=984.595
T1=2.43
 OPT
f=1121
TT=970.998
T1=34.23
 OPT
f=1121
TT=845.76
T1=445.05
Knapsack/
Knapsack-m1-s50/
Knapsack-50-200-16.xml 		OPT
f=1429
TT=70.38
T1=1.6
 OPT
f=1429
TT=1626.66
T1=1626.08
 OPT
f=1429
TT=71.748
T1=5.15
 OPT
f=1429
TT=213.379
T1=4.86
 OPT
f=1429
TT=70.38
T1=3.55
 OPT
f=1429
TT=173.172
T1=5.87
 OPT
f=1429
TT=78.724
T1=3.91
 OPT
f=1429
TT=194.619
T1=4.36
 OPT
f=1429
TT=1461.64
T1=1.6
 OPT
f=1429
TT=157.208
T1=5.95
 OPT
f=1429
TT=2178.94
T1=6.76
 OPT
f=1429
TT=1815.38
T1=12.13
 SAT (TO)
f=1429
TT=2520.14
T1=23.8
 SAT (TO)
f=1429
TT=2520.09
T1=10.21
 OPT
f=1429
TT=356.73
T1=14.79
 OPT
f=1429
TT=309.034
T1=12.79
 OPT
f=1429
TT=310.713
T1=12.89
 OPT
f=1429
TT=1044.29
T1=11.09
 OPT
f=1429
TT=1007.9
T1=47.9
 OPT
f=1429
TT=698.587
T1=640.96
Bench nameBest resultsAbsCon
2019-07-23
(complete)		choco-solver
2019-06-14
(complete)		choco-solver
2019-06-14 parallel
(complete)		choco-solver
2019-09-16
(complete)		choco-solver
2019-09-16 parallel
(complete)		choco-solver
2019-09-20
(complete)		choco-solver
2019-09-20 parallel
(complete)		choco-solver
2019-09-24
(complete)		choco-solver
2019-09-24 parallel
(complete)		Concrete
3.10
(complete)		Concrete
3.12.2
(complete)		Concrete
3.12.2
(complete)		Concrete
3.12.3
(complete)		cosoco
2
(complete)		cosoco
2.0
(complete)		cosoco
2.0
(complete)		cosoco
2.0 parallel
(complete)		cosoco
2.O parallel
(complete)		PicatSAT
2019-09-12
(complete)
Knapsack/
Knapsack-m1-s50/
Knapsack-50-200-17.xml 		OPT
f=992
TT=115.926
T1=1.3
 OPT
f=992
TT=1114.44
T1=1112.37
 OPT
f=992
TT=115.926
T1=5.59
 OPT
f=992
TT=308.558
T1=7.34
 OPT
f=992
TT=122.87
T1=3.09
 OPT
f=992
TT=309.114
T1=3.52
 OPT
f=992
TT=114.281
T1=5.53
 OPT
f=992
TT=309.111
T1=4.85
 OPT
f=992
TT=1351.97
T1=1.3
 OPT
f=992
TT=295.525
T1=5.82
 SAT (TO)
f=992
TT=2520.13
T1=12.46
 SAT (TO)
f=992
TT=2520.13
T1=11.03
 SAT (TO)
f=992
TT=2520.05
T1=13.14
 OPT
f=992
TT=2435.73
T1=11.28
 OPT
f=992
TT=254.426
T1=1.59
 OPT
f=992
TT=221.664
T1=1.39
 OPT
f=992
TT=222.248
T1=1.39
 OPT
f=992
TT=899.206
T1=8.75
 OPT
f=992
TT=1249.46
T1=0.81
 OPT
f=992
TT=414.178
T1=414.15
LowAutocorrelation/
LowAutocorrelation-m1-s1/
LowAutocorrelation-018.xml 		OPT
f=25
TT=9.784
T1=0.89
 OPT
f=25
TT=18.279
T1=7.29
 OPT
f=25
TT=32.155
T1=5.13
 OPT
f=25
TT=60.132
T1=7.66
 OPT
f=25
TT=41.435
T1=5.55
 OPT
f=25
TT=67.808
T1=9.04
 OPT
f=25
TT=35.451
T1=5.72
 OPT
f=25
TT=67.044
T1=9.86
 OPT
f=25
TT=9.784
T1=2.88
 OPT
f=25
TT=68.19
T1=7.95
 OPT
f=25
TT=172.946
T1=16.1
 OPT
f=25
TT=206.535
T1=16.97
 OPT
f=25
TT=858.334
T1=69.77
 OPT
f=25
TT=184.388
T1=15.85
 OPT
f=25
TT=60.32
T1=1
 OPT
f=25
TT=60.021
T1=0.89
 OPT
f=25
TT=60.477
T1=1
 OPT
f=25
TT=129.802
T1=2
 OPT
f=25
TT=145.034
T1=1.2
 OPT
f=25
TT=17.826
T1=17.78
LowAutocorrelation/
LowAutocorrelation-m1-s1/
LowAutocorrelation-019.xml 		OPT
f=29
TT=18.937
T1=1.89
 OPT
f=29
TT=34.56
T1=10.58
 OPT
f=29
TT=58.246
T1=11.32
 OPT
f=29
TT=123.017
T1=18.94
 OPT
f=29
TT=79.69
T1=12.54
 OPT
f=29
TT=142.59
T1=20.5
 OPT
f=29
TT=72.936
T1=12.79
 OPT
f=29
TT=145.575
T1=16.61
 OPT
f=29
TT=18.937
T1=2.61
 OPT
f=29
TT=142.862
T1=15.8
 OPT
f=29
TT=620.964
T1=39
 OPT
f=29
TT=609.993
T1=71.45
 SAT (TO)
f=29
TT=2520.11
T1=146.29
 OPT
f=29
TT=668.406
T1=39.21
 OPT
f=29
TT=135.544
T1=1.99
 OPT
f=29
TT=133.681
T1=1.89
 OPT
f=29
TT=131.902
T1=1.89
 OPT
f=29
TT=376.712
T1=13.78
 OPT
f=29
TT=410.86
T1=3.41
 OPT
f=29
TT=32.485
T1=32.39
LowAutocorrelation/
LowAutocorrelation-m1-s1/
LowAutocorrelation-020.xml 		OPT
f=26
TT=23.245
T1=3.18
 OPT
f=26
TT=39.447
T1=16.2
 OPT
f=26
TT=85.658
T1=11.92
 OPT
f=26
TT=160.68
T1=14.24
 OPT
f=26
TT=95.534
T1=9.13
 OPT
f=26
TT=196.627
T1=21.27
 OPT
f=26
TT=83.332
T1=11.89
 OPT
f=26
TT=171.202
T1=14.09
 OPT
f=26
TT=23.245
T1=5.93
 OPT
f=26
TT=161.109
T1=14.97
 OPT
f=26
TT=559.343
T1=184.32
 OPT
f=26
TT=1376.94
T1=18.9
 SAT (TO)
f=26
TT=2520.09
T1=204.37
 OPT
f=26
TT=712.729
T1=68.27
 OPT
f=26
TT=328.954
T1=3.19
 OPT
f=26
TT=325.599
T1=3.18
 OPT
f=26
TT=337.688
T1=3.19
 OPT
f=26
TT=435.382
T1=6.5
 OPT
f=26
TT=544.501
T1=8.12
 OPT
f=26
TT=30.185
T1=30.1
LowAutocorrelation/
LowAutocorrelation-m1-s1/
LowAutocorrelation-021.xml 		OPT
f=26
TT=31.688
T1=8.08
 OPT
f=26
TT=71.597
T1=40.21
 SAT (MO)
f=798
TT=2.685
T1=2.63
 OPT
f=26
TT=212.717
T1=61.6
 OPT
f=26
TT=133.543
T1=22
 OPT
f=26
TT=258.219
T1=25.89
 OPT
f=26
TT=143.898
T1=56.91
 OPT
f=26
TT=266.571
T1=50.66
 OPT
f=26
TT=32.863
T1=8.08
 OPT
f=26
TT=293.305
T1=57.28
 OPT
f=26
TT=860.531
T1=472
 OPT
f=26
TT=2103.94
T1=27.94
 SAT (TO)
f=26
TT=2520.05
T1=537.23
 OPT
f=26
TT=2035.64
T1=334.25
 OPT
f=26
TT=383.949
T1=173.99
 OPT
f=26
TT=362.296
T1=165.76
 OPT
f=26
TT=359.744
T1=164.88
 OPT
f=26
TT=645.251
T1=93.47
 OPT
f=26
TT=1001.3
T1=7.25
 OPT
f=26
TT=31.688
T1=31.59
LowAutocorrelation/
LowAutocorrelation-m1-s1/
LowAutocorrelation-031.xml 		SAT TO
f=67
TT=2520.42
T1=2096.44
 SAT (TO)
f=87
TT=2520.06
T1=403.98
 SAT (TO)
f=67
TT=2520.45
T1=2096.44
 SAT (TO)
f=67
TT=12950.3
T1=2381.43
 SAT (TO)
f=67
TT=2520.42
T1=2419.88
 SAT (TO)
f=67
TT=20047.6
T1=4882.3
 SAT (MO)
f=2687
TT=4.464
T1=4.36
 SAT (TO)
f=67
TT=20045.4
T1=3178.94
 SAT (TO)
f=71
TT=2520.06
T1=2230.69
 SAT (TO)
f=67
TT=20052.7
T1=5000.11
 SAT (TO)
f=91
TT=2520.1
T1=699.72
 SAT (TO)
f=91
TT=2520.12
T1=1942.7
 SAT (TO)
f=87
TT=2520.06
T1=1194.62
 SAT (TO)
f=91
TT=2520.08
T1=1552.42
 SAT (TO)
f=75
TT=2520.03
T1=531.6
 SAT (TO)
f=75
TT=2519.58
T1=557.6
 SAT (TO)
f=75
TT=2519.24
T1=563.11
 SAT (TO)
f=71
TT=20120.9
T1=9589.09
 SAT (TO)
f=67
TT=20124.1
T1=9900.58
 ? (TO)

TT=2519.82
LowAutocorrelation/
LowAutocorrelation-m1-s1/
LowAutocorrelation-033.xml 		SAT TO
f=64
TT=20057.7
T1=18123.8
 SAT (TO)
f=88
TT=2520.06
T1=991.22
 SAT (TO)
f=84
TT=2520.53
T1=2312.6
 Wrong Opt.
f=184
TT=16.795
T1=15.9
 SAT (TO)
f=96
TT=2520.64
T1=833.85
 SAT (TO)
f=72
TT=20060.9
T1=10140.7
 SAT (TO)
f=96
TT=2520.58
T1=890.1
 SAT (TO)
f=64
TT=20051.3
T1=19743
 SAT (TO)
f=92
TT=2520.08
T1=1166.43
 SAT (TO)
f=64
TT=20057.7
T1=18123.8
 SAT (TO)
f=108
TT=2520.11
T1=1768.39
 SAT (TO)
f=100
TT=2520.05
T1=1000.95
 SAT (TO)
f=128
TT=2520.08
T1=128.04
 SAT (TO)
f=112
TT=2520.14
T1=1599.39
 SAT (TO)
f=96
TT=2520.03
T1=938.1
 SAT (TO)
f=96
TT=2519.93
T1=937.86
 SAT (TO)
f=96
TT=2520.1
T1=921.53
 SAT (TO)
f=84
TT=20123.8
T1=4619.57
 SAT (TO)
f=84
TT=20120.6
T1=9006.08
 ? (TO)

TT=2519.48
LowAutocorrelation/
LowAutocorrelation-m1-s1/
LowAutocorrelation-053.xml 		SAT TO
f=294
TT=2520.03
T1=2432.09
 SAT (TO)
f=634
TT=2520.06
T1=1924.15
 SAT (TO)
f=654
TT=2520.72
T1=233.85
 Wrong Opt.
f=582
TT=145.495
T1=144.85
 SAT (TO)
f=322
TT=2520.46
T1=769.55
 SAT (TO)
f=338
TT=20079.3
T1=3800.09
 SAT (TO)
f=354
TT=2520.59
T1=204.34
 SAT (TO)
f=322
TT=20075.1
T1=11805.5
 SAT (TO)
f=294
TT=2520.03
T1=2432.09
 SAT (TO)
f=346
TT=20081.5
T1=268.41
 SAT (TO)
f=394
TT=2520.13
T1=2241.1
 SAT (TO)
f=378
TT=2520.1
T1=1586.56
 SAT (TO)
f=494
TT=2520.07
T1=2253.81
 SAT (TO)
f=394
TT=2520.07
T1=16.85
 SAT (TO)
f=398
TT=2520.04
T1=1099.19
 SAT (TO)
f=398
TT=2520.01
T1=1095.98
 SAT (TO)
f=398
TT=2520.05
T1=1137.3
 SAT (TO)
f=414
TT=20114.1
T1=961.37
 SAT (TO)
f=378
TT=20112.2
T1=10705.8
 ? (TO)

TT=2519.83
LowAutocorrelation/
LowAutocorrelation-m1-s1/
LowAutocorrelation-072.xml 		SAT TO
f=584
TT=20057
T1=1470.93
 SAT (TO)
f=1428
TT=2520.02
T1=11.03
 SAT (TO)
f=1308
TT=2520.49
T1=451.6
 Wrong Opt.
f=1296
TT=166.94
T1=159.01
 SAT (MO)
f=68256
TT=13.756
T1=13.65
 SAT (TO)
f=616
TT=20051.6
T1=1673.14
 SAT (TO)
f=584
TT=2522.16
T1=1116.17
 SAT (TO)
f=512
TT=20072.3
T1=2126.3
 SAT (TO)
f=636
TT=2520.04
T1=2067.79
 SAT (TO)
f=584
TT=20057
T1=1470.93
 SAT (TO)
f=904
TT=2520.13
T1=155.07
 SAT (TO)
f=780
TT=2520.07
T1=1081.58
 SAT (TO)
f=1028
TT=2520.06
T1=2518.87
 SAT (TO)
f=880
TT=2520.12
T1=1674.55
 SAT (TO)
f=996
TT=2520.1
T1=2280.26
 SAT (TO)
f=996
TT=2520.03
T1=2245.91
 SAT (TO)
f=996
TT=2520.04
T1=2264.81
 SAT (TO)
f=860
TT=20104.8
T1=17310.8
 SAT (TO)
f=928
TT=20104.3
T1=17424.6
 ? (TO)

TT=2520.02
LowAutocorrelation/
LowAutocorrelation-m1-s1/
LowAutocorrelation-078.xml 		SAT TO
f=659
TT=2520.11
T1=1000.29
 SAT (TO)
f=2499
TT=2520.08
T1=11.16
 SAT (TO)
f=1627
TT=2520.59
T1=1275.12
 Wrong Opt.
f=851
TT=2888.76
T1=2887.78
 SAT (TO)
f=811
TT=2520.4
T1=1718.54
 SAT (TO)
f=699
TT=20084
T1=2006.6
 SAT (TO)
f=811
TT=2520.75
T1=1934.35
 SAT (TO)
f=723
TT=20054.8
T1=3414.94
 SAT (TO)
f=659
TT=2520.11
T1=1000.29
 SAT (TO)
f=739
TT=20088.4
T1=626.06
 SAT (TO)
f=1291
TT=2520.09
T1=998.84
 SAT (TO)
f=1051
TT=2520.09
T1=288.98
 SAT (TO)
f=1227
TT=2520.07
T1=30.33
 SAT (TO)
f=1195
TT=2520.07
T1=633.65
 SAT (TO)
f=1131
TT=2519.87
T1=496.31
 SAT (TO)
f=1131
TT=2520.07
T1=482.27
 SAT (TO)
f=1131
TT=2519.02
T1=455.86
 SAT (TO)
f=1147
TT=20103.1
T1=14438.8
 SAT (TO)
f=1171
TT=20104.2
T1=4262.89
 ? (TO)

TT=2520.12
Bench nameBest resultsAbsCon
2019-07-23
(complete)		choco-solver
2019-06-14
(complete)		choco-solver
2019-06-14 parallel
(complete)		choco-solver
2019-09-16
(complete)		choco-solver
2019-09-16 parallel
(complete)		choco-solver
2019-09-20
(complete)		choco-solver
2019-09-20 parallel
(complete)		choco-solver
2019-09-24
(complete)		choco-solver
2019-09-24 parallel
(complete)		Concrete
3.10
(complete)		Concrete
3.12.2
(complete)		Concrete
3.12.2
(complete)		Concrete
3.12.3
(complete)		cosoco
2
(complete)		cosoco
2.0
(complete)		cosoco
2.0
(complete)		cosoco
2.0 parallel
(complete)		cosoco
2.O parallel
(complete)		PicatSAT
2019-09-12
(complete)
LowAutocorrelation/
LowAutocorrelation-m1-s1/
LowAutocorrelation-086.xml 		SAT TO
f=887
TT=2520.69
T1=348.29
 SAT (TO)
f=2775
TT=2520.04
T1=43.93
 SAT (TO)
f=1871
TT=2520.64
T1=439.96
 SAT (TO)
f=1815
TT=13149.4
T1=3890.2
 SAT (TO)
f=887
TT=2520.69
T1=348.29
 SAT (TO)
f=927
TT=20077.5
T1=16151.2
 SAT (TO)
f=887
TT=2520.47
T1=401.41
 SAT (TO)
f=911
TT=20066
T1=11955.1
 SAT (TO)
f=999
TT=2520.08
T1=116.63
 SAT (TO)
f=887
TT=20051.9
T1=748.27
 SAT (TO)
f=1503
TT=2520.12
T1=1125.85
 SAT (TO)
f=1511
TT=2520.1
T1=2129.94
 SAT (TO)
f=1751
TT=2520.07
T1=2332.61
 SAT (TO)
f=1431
TT=2520.18
T1=616.92
 SAT (TO)
f=1495
TT=2461.91
T1=2394.5
 SAT (TO)
f=1495
TT=2519.77
T1=1873.5
 SAT (TO)
f=1495
TT=2478.49
T1=1897.08
 SAT (TO)
f=1279
TT=20095.8
T1=14636.2
 SAT (TO)
f=1415
TT=20096.3
T1=9769.29
 ? (TO)

TT=2519.9
LowAutocorrelation/
LowAutocorrelation-m1-s1/
LowAutocorrelation-088.xml 		SAT TO
f=812
TT=2520.07
T1=1814.25
 SAT (TO)
f=3472
TT=2520.03
T1=12.78
 SAT (TO)
f=2076
TT=2520.5
T1=2176.06
 SAT (TO)
f=1504
TT=15140.4
T1=132.87
 SAT (MO)
f=130468
TT=13.845
T1=13.63
 SAT (TO)
f=1684
TT=20024.2
T1=8057.05
 SAT (TO)
f=912
TT=2520.67
T1=883.79
 SAT (TO)
f=1828
TT=20038
T1=36.9
 SAT (TO)
f=812
TT=2520.07
T1=1814.25
 SAT (TO)
f=1828
TT=20045.6
T1=32.27
 SAT (TO)
f=1664
TT=2520.11
T1=190.13
 SAT (TO)
f=1552
TT=2520.14
T1=738.85
 SAT (TO)
f=1716
TT=2520.11
T1=442.99
 SAT (TO)
f=1584
TT=2520.06
T1=685.29
 SAT (TO)
f=1876
TT=2479.56
T1=741.41
 SAT (TO)
f=1876
TT=2472.6
T1=824.66
 SAT (TO)
f=1876
TT=2520.07
T1=773.04
 SAT (TO)
f=1688
TT=20095.5
T1=1662.73
 SAT (TO)
f=1624
TT=20094.3
T1=11408.4
 ? (TO)

TT=2519.94
LowAutocorrelation/
LowAutocorrelation-m1-s1/
LowAutocorrelation-090.xml 		SAT TO
f=941
TT=19937.9
T1=675.72
 SAT (TO)
f=3269
TT=2520.04
T1=11.88
 SAT (TO)
f=2165
TT=2520.46
T1=666.95
 Wrong Opt.
f=1133
TT=8869.54
T1=8869.03
 SAT (TO)
f=957
TT=2520.73
T1=744.67
 SAT (TO)
f=941
TT=19937.9
T1=7079.67
 SAT (TO)
f=957
TT=2520.55
T1=812.24
 SAT (TO)
f=941
TT=20042.5
T1=686.09
 SAT (TO)
f=989
TT=2520.07
T1=182.46
 SAT (TO)
f=941
TT=20047.3
T1=675.72
 SAT (TO)
f=1517
TT=2520.09
T1=1112.69
 SAT (TO)
f=1629
TT=2520.13
T1=1719.55
 SAT (TO)
f=1637
TT=2520.05
T1=600.71
 SAT (TO)
f=1701
TT=2520.16
T1=729.46
 SAT (TO)
f=1845
TT=2520.04
T1=1232.41
 SAT (TO)
f=1541
TT=2474.21
T1=2328.69
 SAT (TO)
f=1733
TT=2519.88
T1=2481.66
 SAT (TO)
f=1741
TT=20092.8
T1=8622.67
 SAT (TO)
f=1733
TT=20092.8
T1=14082.6
 ? (TO)

TT=2519.9
Mario/Mario-zinc-s1/
Mario-n-medium-2.xml 		OPT
f=1053
TT=218.444
T1=17.98
 OPT
f=1053
TT=451.399
T1=446.62
 OPT
f=1053
TT=218.444
T1=162.35
 OPT
f=1053
TT=386.653
T1=211.84
 OPT
f=1053
TT=272.508
T1=230.81
 OPT
f=1053
TT=433.287
T1=299.58
 Wrong UNSAT

TT=1.967

 Wrong UNSAT

TT=3.03

 OPT
f=1053
TT=238.721
T1=210.56
 OPT
f=1053
TT=408.487
T1=291.41
 OPT
f=1053
TT=1162.22
T1=1013.77
 OPT
f=1053
TT=1536.53
T1=1511.4
 SAT (TO)
f=990
TT=2520.11
T1=290.71
 OPT
f=1053
TT=777.265
T1=17.98
 OPT
f=1053
TT=560.596
T1=354.44
 OPT
f=1053
TT=553.468
T1=349.8
 OPT
f=1053
TT=555.872
T1=351.79
 OPT
f=1053
TT=2477.15
T1=1604.37
 OPT
f=1053
TT=1811.29
T1=275.3
 OPT
f=1053
TT=851.451
T1=417.27
Mario/Mario-zinc-s1/
Mario-n-medium-3.xml 		OPT
f=943
TT=57.23
T1=4.69
 OPT
f=943
TT=57.23
T1=47.38
 OPT
f=943
TT=105.584
T1=40.34
 OPT
f=943
TT=186.482
T1=89.4
 OPT
f=943
TT=108.846
T1=61.99
 OPT
f=943
TT=183.457
T1=46.53
 Wrong UNSAT

TT=1.995

 Wrong UNSAT

TT=2.943

 OPT
f=943
TT=89.354
T1=55
 OPT
f=943
TT=163.203
T1=12.56
 OPT
f=943
TT=315.37
T1=29.42
 OPT
f=943
TT=508.417
T1=46.77
 OPT
f=943
TT=846.745
T1=206.97
 OPT
f=943
TT=331.64
T1=13.14
 OPT
f=943
TT=280.9
T1=4.79
 OPT
f=943
TT=279.652
T1=4.79
 OPT
f=943
TT=278.395
T1=4.69
 OPT
f=943
TT=824.385
T1=32.57
 OPT
f=943
TT=786.303
T1=191.51
 OPT
f=943
TT=751.838
T1=197.98
Mario/Mario-zinc-s1/
Mario-n-medium-4.xml 		OPT
f=832
TT=98.461
T1=6.15
 OPT
f=832
TT=112.147
T1=49.52
 OPT
f=832
TT=100.389
T1=99.06
 OPT
f=832
TT=177.058
T1=98.28
 OPT
f=832
TT=98.461
T1=73.31
 OPT
f=832
TT=154.404
T1=36.42
 Wrong UNSAT

TT=2.048

 Wrong UNSAT

TT=3.036

 OPT
f=832
TT=118.841
T1=49.21
 OPT
f=832
TT=190.259
T1=184.76
 OPT
f=832
TT=351.693
T1=16.69
 OPT
f=832
TT=388.613
T1=57.32
 OPT
f=832
TT=733.223
T1=27.91
 OPT
f=832
TT=272.475
T1=14.89
 OPT
f=832
TT=232.939
T1=91.81
 OPT
f=832
TT=233.635
T1=91.98
 OPT
f=832
TT=231.169
T1=91.07
 OPT
f=832
TT=831.41
T1=6.15
 OPT
f=832
TT=853.004
T1=400.69
 OPT
f=832
TT=326.874
T1=167.99
Mario/Mario-zinc-s1/
Mario-n-medium-5.xml 		OPT
f=771
TT=74.658
T1=18.1
 OPT
f=771
TT=74.658
T1=20.89
 OPT
f=771
TT=108.798
T1=45.9
 OPT
f=771
TT=179.538
T1=110.54
 OPT
f=771
TT=97.601
T1=80.63
 OPT
f=771
TT=201.176
T1=83.29
 Wrong UNSAT

TT=2.116

 Wrong UNSAT

TT=2.939

 OPT
f=771
TT=115.71
T1=18.1
 OPT
f=771
TT=171.105
T1=110.57
 OPT
f=771
TT=389.279
T1=69.52
 OPT
f=771
TT=782.672
T1=288.44
 OPT
f=771
TT=1192.21
T1=308.41
 OPT
f=771
TT=549.723
T1=174.75
 OPT
f=771
TT=491.211
T1=356.65
 OPT
f=771
TT=423.256
T1=307.29
 OPT
f=771
TT=426.132
T1=309.67
 OPT
f=771
TT=1555.67
T1=409.45
 OPT
f=771
TT=1852.89
T1=1029.13
 OPT
f=771
TT=626.284
T1=177.7
Mario/Mario-zinc-s1/
Mario-t-hard-1.xml 		OPT
f=4783
TT=4.916
T1=4.89
 OPT
f=4783
TT=104.705
T1=104.68
 OPT
f=4783
TT=10.041
T1=9.95
 OPT
f=4783
TT=24.11
T1=24.06
 OPT
f=4783
TT=10.162
T1=10.06
 OPT
f=4783
TT=19.085
T1=18.86
 Wrong UNSAT

TT=3.811

 Wrong UNSAT

TT=6.325

 OPT
f=4783
TT=16.073
T1=16.01
 OPT
f=4783
TT=20.25
T1=20.01
 OPT
f=4783
TT=21.343
T1=21.24
 OPT
f=4783
TT=44.348
T1=44.07
 OPT
f=4783
TT=104.851
T1=104.73
 OPT
f=4783
TT=24.227
T1=24.16
 OPT
f=4783
TT=4.916
T1=4.89
 OPT
f=4783
TT=4.991
T1=4.89
 OPT
f=4783
TT=5.037
T1=5
 OPT
f=4783
TT=23.606
T1=23
 OPT
f=4783
TT=20.143
T1=19.76
 ? (TO)

TT=2519.8
Mario/Mario-zinc-s1/
Mario-t-hard-2.xml 		OPT
f=4850
TT=15.668
T1=15.57
 OPT
f=4850
TT=123.812
T1=123.75
 OPT
f=4850
TT=55.569
T1=55.47
 OPT
f=4850
TT=61.754
T1=61.69
 OPT
f=4850
TT=50.901
T1=50.79
 OPT
f=4850
TT=50.129
T1=50.08
 OPT
f=4850
TT=53.667
T1=53.33
 OPT
f=4850
TT=14.263
T1=14.13
 OPT
f=4850
TT=15.668
T1=15.57
 OPT
f=4850
TT=53.161
T1=52.89
 OPT
f=4850
TT=21.968
T1=21.92
 OPT
f=4850
TT=51.5
T1=51.39
 OPT
f=4850
TT=91.004
T1=90.94
 OPT
f=4850
TT=21.309
T1=21.13
 OPT
f=4850
TT=30.156
T1=30.1
 OPT
f=4850
TT=31.063
T1=31
 OPT
f=4850
TT=30.718
T1=30.69
 OPT
f=4850
TT=150.311
T1=149.89
 OPT
f=4850
TT=264.682
T1=264.11
 ? (TO)

TT=2519.96
Mario/Mario-zinc-s1/
Mario-t-hard-5.xml 		OPT
f=4482
TT=16.108
T1=15.95
 OPT
f=4482
TT=89.234
T1=89.2
 OPT
f=4482
TT=50.462
T1=50.26
 OPT
f=4482
TT=53.507
T1=53.32
 OPT
f=4482
TT=24.587
T1=24.54
 OPT
f=4482
TT=26.81
T1=26.71
 Wrong UNSAT

TT=3.702

 Wrong UNSAT

TT=6.685

 OPT
f=4482
TT=16.108
T1=15.95
 OPT
f=4482
TT=34.215
T1=34.14
 OPT
f=4482
TT=23.535
T1=23.47
 OPT
f=4482
TT=49.578
T1=49.52
 OPT
f=4482
TT=104.071
T1=103.93
 OPT
f=4482
TT=27.901
T1=27.81
 OPT
f=4482
TT=18.814
T1=18.79
 OPT
f=4482
TT=17.277
T1=17.18
 OPT
f=4482
TT=17.369
T1=17.29
 OPT
f=4482
TT=29.157
T1=28.52
 OPT
f=4482
TT=28.277
T1=27.73
 ? (TO)

TT=2519.88
Bench nameBest resultsAbsCon
2019-07-23
(complete)		choco-solver
2019-06-14
(complete)		choco-solver
2019-06-14 parallel
(complete)		choco-solver
2019-09-16
(complete)		choco-solver
2019-09-16 parallel
(complete)		choco-solver
2019-09-20
(complete)		choco-solver
2019-09-20 parallel
(complete)		choco-solver
2019-09-24
(complete)		choco-solver
2019-09-24 parallel
(complete)		Concrete
3.10
(complete)		Concrete
3.12.2
(complete)		Concrete
3.12.2
(complete)		Concrete
3.12.3
(complete)		cosoco
2
(complete)		cosoco
2.0
(complete)		cosoco
2.0
(complete)		cosoco
2.0 parallel
(complete)		cosoco
2.O parallel
(complete)		PicatSAT
2019-09-12
(complete)
NurseRostering/
NurseRostering-01_c18.xml 		OPT
f=607
TT=6.239
T1=1.79
 OPT
f=607
TT=9.369
T1=8.62
 OPT
f=607
TT=90.236
T1=55.25
 OPT
f=607
TT=161.818
T1=87.08
 OPT
f=607
TT=82.42
T1=6.64
 OPT
f=607
TT=191.851
T1=18.52
 OPT
f=607
TT=88.463
T1=13.75
 OPT
f=607
TT=179.227
T1=22.41
 OPT
f=607
TT=398.145
T1=3.26
 OPT
f=607
TT=169.912
T1=23.13
 OPT
f=607
TT=72.263
T1=16.48
 OPT
f=607
TT=65.239
T1=19.42
 OPT
f=607
TT=461.575
T1=26
 OPT
f=607
TT=114.754
T1=15.78
 OPT
f=607
TT=6.261
T1=1.79
 OPT
f=607
TT=6.239
T1=1.79
 OPT
f=607
TT=6.261
T1=1.79
 OPT
f=607
TT=23.31
T1=8.28
 OPT
f=607
TT=18.501
T1=1.98
 OPT
f=607
TT=49.577
T1=49.49
NurseRostering/
NurseRostering-18_c18.xml 		SAT TO
f=48151
TT=2520.05
T1=24.6
 SAT (TO)
f=48151
TT=2520.05
T1=24.6
 ? (TO)

TT=2520.68

 ? (TO)

TT=20072.6

 ? (TO)

TT=2520.58

 ? (TO)

TT=20061.8

 ? (TO)

TT=2520.34

 ? (TO)

TT=20056.2

 ? (TO)

TT=2520.1

 ? (TO)

TT=20059

 ? (TO)

TT=2520.06

 ? (TO)

TT=2520.06

 ? (TO)

TT=2520.17

 ? (TO)

TT=2520.08

 ? (TO)

TT=2519.97

 ? (TO)

TT=2519.71

 ? (TO)

TT=2520.11

 ? (TO)

TT=20104.8

 ? (TO)

TT=20103.1

 ? (TO)

TT=2520.06
Opd/Opd-sum-large/
Opd-03-350-100.xml 		OPT
f=0
TT=2.118
T1=2.04
 OPT
f=0
TT=4.107
T1=3.99
 OPT
f=0
TT=2.118
T1=2.04
 OPT
f=0
TT=4.967
T1=4.77
 OPT
f=0
TT=2.159
T1=2.08
 OPT
f=0
TT=3.767
T1=3.2
 OPT
f=0
TT=2.122
T1=2.02
 OPT
f=0
TT=3.701
T1=3.31
 OPT
f=0
TT=4.56
T1=4.32
 OPT
f=0
TT=4.917
T1=4.18
 OPT
f=0
TT=16.829
T1=16.69
 OPT
f=0
TT=30.493
T1=30.4
 OPT
f=0
TT=122.903
T1=122.8
 OPT
f=0
TT=19.968
T1=19.76
 ? (MO)

TT=2092.15

 ? (MO)

TT=2389.63

 ? (MO)

TT=2063.43

 ? (TO)

TT=2520.57

 ? (TO)

TT=2520.35

 OPT
f=0
TT=13.945
T1=13.89
Opd/Opd-sum-large/
Opd-04-350-100.xml 		OPT
f=9
TT=10.178
T1=10.12
 SAT (TO)
f=12
TT=2520.02
T1=12.54
 OPT
f=9
TT=38.76
T1=38.71
 OPT
f=9
TT=1207.65
T1=1207.52
 OPT
f=9
TT=21.912
T1=21.61
 OPT
f=9
TT=524.923
T1=524.4
 OPT
f=9
TT=21.877
T1=21.85
 OPT
f=9
TT=288.464
T1=288.28
 OPT
f=9
TT=10.178
T1=10.12
 OPT
f=9
TT=1975.93
T1=1975.22
 SAT (TO)
f=42
TT=2520.15
T1=616.96
 SAT (TO)
f=39
TT=2520.13
T1=25.07
 SAT (TO)
f=10
TT=2520.13
T1=77.94
 SAT (TO)
f=10
TT=2520.08
T1=272.48
 ? (MO)

TT=2365.76

 ? (MO)

TT=2098.3

 ? (MO)

TT=2072.75

 ? (TO)

TT=2520.57

 ? (TO)

TT=2520.9

 OPT
f=9
TT=55.008
T1=54.99
Opd/Opd-sum-large/
Opd-09-350-100.xml 		SAT TO
f=48
TT=2520.13
T1=484.18
 SAT (TO)
f=82
TT=2520.06
T1=915.03
 ? (TO)

TT=2520.58

 SAT (TO)
f=87
TT=20065.8
T1=17343.6
 ? (TO)

TT=2520.59

 SAT (TO)
f=218
TT=20043.3
T1=19316.9
 ? (TO)

TT=2520.68

 SAT (TO)
f=218
TT=20039.8
T1=18198.4
 ? (TO)

TT=2520.04

 SAT (TO)
f=218
TT=20034.5
T1=19367.2
 SAT (TO)
f=76
TT=2520.12
T1=931.46
 SAT (TO)
f=48
TT=2520.13
T1=484.18
 SAT (TO)
f=72
TT=2520.16
T1=2258.9
 SAT (TO)
f=68
TT=2520.17
T1=85.03
 ? (MO)

TT=2350.13

 ? (MO)

TT=2068.54

 ? (MO)

TT=2081.78

 ? (TO)

TT=2520.6

 ? (TO)

TT=2520.57

 ? (TO)

TT=2519.77
Opd/Opd-sum-large/
Opd-15-035-010.xml 		OPT
f=3
TT=6.186
T1=6.07
 OPT
f=3
TT=40.976
T1=40.93
 OPT
f=3
TT=14.37
T1=14.25
 OPT
f=3
TT=25.214
T1=24.51
 OPT
f=3
TT=11.982
T1=11.9
 OPT
f=3
TT=25.921
T1=25.52
 OPT
f=3
TT=11.579
T1=11.46
 OPT
f=3
TT=97.232
T1=97.03
 OPT
f=3
TT=6.186
T1=6.07
 OPT
f=3
TT=88.492
T1=88.12
 SAT (TO)
f=4
TT=2520.07
T1=20.79
 SAT (TO)
f=4
TT=2520.12
T1=20.15
 OPT
f=3
TT=111.721
T1=111.62
 OPT
f=3
TT=1061.45
T1=1061.36
 ? (MO)

TT=1521.29

 ? (MO)

TT=1528.03

 ? (MO)

TT=1532.06

 ? (TO)

TT=2520.8

 ? (TO)

TT=2521.15

 OPT
f=3
TT=51.772
T1=51.69
Opd/Opd-sum-large/
Opd-16-035-010.xml 		OPT
f=3
TT=3.727
T1=3.6
 OPT
f=3
TT=10.372
T1=10.23
 OPT
f=3
TT=53.093
T1=52.72
 OPT
f=3
TT=108.642
T1=108.14
 OPT
f=3
TT=14.574
T1=14.16
 OPT
f=3
TT=122.938
T1=122.36
 OPT
f=3
TT=15.183
T1=15.06
 OPT
f=3
TT=44.02
T1=43.46
 OPT
f=3
TT=3.727
T1=3.6
 OPT
f=3
TT=40.522
T1=40.47
 OPT
f=3
TT=116.959
T1=116.9
 SAT (TO)
f=4
TT=2520.11
T1=24.7
 OPT
f=3
TT=703.854
T1=703.77
 OPT
f=3
TT=92.093
T1=91.99
 ? (MO)

TT=1532.2

 ? (MO)

TT=1762.82

 ? (MO)

TT=1544.17

 ? (TO)

TT=2520.94

 ? (TO)

TT=2520.79

 OPT
f=3
TT=56.05
T1=56
Opd/Opd-sum-small/
Opd-09-024-008.xml 		OPT
f=2
TT=2.494
T1=2.12
 OPT
f=2
TT=5.298
T1=5.26
 OPT
f=2
TT=2.656
T1=2.46
 OPT
f=2
TT=5.033
T1=4.81
 OPT
f=2
TT=2.494
T1=2.12
 OPT
f=2
TT=5.181
T1=4.88
 OPT
f=2
TT=2.74
T1=1.66
 OPT
f=2
TT=5.385
T1=4.98
 OPT
f=2
TT=4.754
T1=4.63
 OPT
f=2
TT=5.196
T1=4.94
 OPT
f=2
TT=15.672
T1=15.45
 SAT (TO)
f=3
TT=2520.14
T1=11.49
 SAT (TO)
f=3
TT=2520.05
T1=15.23
 SAT (TO)
f=3
TT=2520.12
T1=13.87
 ? (MO)

TT=1601.71

 ? (MO)

TT=1375.43

 ? (MO)

TT=1395.34

 ? (TO)

TT=2521.04

 ? (TO)

TT=2520.71

 OPT
f=2
TT=12.592
T1=12.49
Opd/Opd-sum-small/
Opd-10-015-006.xml 		OPT
f=2
TT=3.09
T1=2.88
 OPT
f=2
TT=12.249
T1=12.14
 OPT
f=2
TT=3.09
T1=2.88
 OPT
f=2
TT=5.937
T1=5.36
 OPT
f=2
TT=3.997
T1=3.55
 OPT
f=2
TT=5.929
T1=5.85
 OPT
f=2
TT=3.642
T1=3.6
 OPT
f=2
TT=5.718
T1=5.19
 OPT
f=2
TT=6.213
T1=6.12
 OPT
f=2
TT=6.997
T1=6.76
 OPT
f=2
TT=46.665
T1=46.54
 SAT (TO)
f=3
TT=2520.1
T1=10.43
 OPT
f=2
TT=271.913
T1=271.79
 OPT
f=2
TT=109.797
T1=109.63
 ? (MO)

TT=1190.73

 ? (MO)

TT=1158.41

 ? (MO)

TT=1177.86

 ?

TT=2373.77

 ? (TO)

TT=2521.09

 OPT
f=2
TT=9.677
T1=9.59
Opd/Opd-sum-small/
Opd-10-030-009.xml 		OPT
f=2
TT=7.556
T1=7.17
 SAT (TO)
f=3
TT=2520.06
T1=5.57
 OPT
f=2
TT=8.159
T1=8
 OPT
f=2
TT=15.61
T1=15.51
 OPT
f=2
TT=7.556
T1=7.17
 OPT
f=2
TT=13.48
T1=13.25
 OPT
f=2
TT=7.364
T1=7.2
 OPT
f=2
TT=16.046
T1=15.52
 SAT (TO)
f=3
TT=2520.14
T1=1.67
 OPT
f=2
TT=15.328
T1=14.91
 SAT (TO)
f=3
TT=2520.14
T1=14.81
 SAT (TO)
f=3
TT=2520.05
T1=16.08
 SAT (TO)
f=3
TT=2520.06
T1=30.06
 SAT (TO)
f=3
TT=2520.11
T1=13.57
 ? (MO)

TT=1270.11

 ? (MO)

TT=1287.92

 ? (MO)

TT=1271.46

 ? (TO)

TT=2520.69

 ? (TO)

TT=2520.54

 OPT
f=2
TT=31.497
T1=31.39
Bench nameBest resultsAbsCon
2019-07-23
(complete)		choco-solver
2019-06-14
(complete)		choco-solver
2019-06-14 parallel
(complete)		choco-solver
2019-09-16
(complete)		choco-solver
2019-09-16 parallel
(complete)		choco-solver
2019-09-20
(complete)		choco-solver
2019-09-20 parallel
(complete)		choco-solver
2019-09-24
(complete)		choco-solver
2019-09-24 parallel
(complete)		Concrete
3.10
(complete)		Concrete
3.12.2
(complete)		Concrete
3.12.2
(complete)		Concrete
3.12.3
(complete)		cosoco
2
(complete)		cosoco
2.0
(complete)		cosoco
2.0
(complete)		cosoco
2.0 parallel
(complete)		cosoco
2.O parallel
(complete)		PicatSAT
2019-09-12
(complete)
Opd/Opd-sum-small/
Opd-10-031-009.xml 		OPT
f=2
TT=3.791
T1=3.68
 OPT
f=2
TT=21.824
T1=21.77
 OPT
f=2
TT=7.556
T1=7.36
 OPT
f=2
TT=14.129
T1=13.96
 OPT
f=2
TT=7.958
T1=7.86
 OPT
f=2
TT=12.653
T1=12.61
 OPT
f=2
TT=7.847
T1=7.56
 OPT
f=2
TT=13.076
T1=12.47
 OPT
f=2
TT=3.791
T1=3.68
 OPT
f=2
TT=13.3
T1=12.57
 OPT
f=2
TT=171.586
T1=171.44
 SAT (TO)
f=3
TT=2520.05
T1=14.64
 SAT (TO)
f=3
TT=2520.13
T1=22.45
 SAT (TO)
f=3
TT=2520.07
T1=13.16
 ? (MO)

TT=1305.05

 ? (MO)

TT=1322.61

 ? (MO)

TT=1306.69

 ? (TO)

TT=2521.01

 ? (TO)

TT=2521

 OPT
f=2
TT=32.576
T1=32.48
Opd/Opd-sum-small/
Opd-10-032-009.xml 		OPT
f=2
TT=6.545
T1=6.39
 OPT
f=2
TT=12.542
T1=12.5
 OPT
f=2
TT=6.545
T1=6.39
 OPT
f=2
TT=13.903
T1=13.74
 OPT
f=2
TT=7.492
T1=7.2
 OPT
f=2
TT=15.476
T1=14.99
 OPT
f=2
TT=8.252
T1=8.18
 OPT
f=2
TT=13.164
T1=12.5
 OPT
f=2
TT=21.719
T1=21.69
 OPT
f=2
TT=14.011
T1=13.93
 SAT (TO)
f=3
TT=2520.11
T1=14.23
 OPT
f=2
TT=17.701
T1=17.61
 OPT
f=2
TT=60.666
T1=60.5
 OPT
f=2
TT=130.735
T1=130.58
 ? (MO)

TT=1358.05

 ? (MO)

TT=1354.4

 ? (MO)

TT=1364.87

 ? (TO)

TT=2521.05

 ? (TO)

TT=2521.31

 OPT
f=2
TT=22.921
T1=22.89
Opd/Opd-sum-small/
Opd-10-037-014.xml 		OPT
f=5
TT=2.775
T1=2.68
 OPT
f=5
TT=110.221
T1=110.19
 OPT
f=5
TT=47.702
T1=47.31
 OPT
f=5
TT=39.75
T1=39.14
 OPT
f=5
TT=12.061
T1=11.91
 OPT
f=5
TT=14.093
T1=14.07
 OPT
f=5
TT=11.492
T1=11.2
 OPT
f=5
TT=12.653
T1=12.47
 OPT
f=5
TT=2.775
T1=2.68
 OPT
f=5
TT=99.862
T1=99.63
 SAT (TO)
f=6
TT=2520.1
T1=17.44
 SAT (TO)
f=6
TT=2520.09
T1=20.53
 SAT (TO)
f=6
TT=2520.12
T1=31.54
 OPT
f=5
TT=1413.95
T1=1413.88
 ? (MO)

TT=1643.76

 ? (MO)

TT=1660.91

 ? (MO)

TT=1682.35

 ? (TO)

TT=2520.84

 ? (TO)

TT=2520.91

 OPT
f=5
TT=48.689
T1=48.59
Opd/Opd-sum-small/
Opd-10-038-010.xml 		OPT
f=2
TT=4.38
T1=4.31
 OPT
f=2
TT=27.518
T1=27.36
 OPT
f=2
TT=11.124
T1=11.1
 OPT
f=2
TT=20.15
T1=19.37
 OPT
f=2
TT=10.033
T1=10
 OPT
f=2
TT=18.209
T1=17.93
 OPT
f=2
TT=9.942
T1=9.59
 OPT
f=2
TT=18.971
T1=18.76
 OPT
f=2
TT=4.38
T1=4.31
 OPT
f=2
TT=20.851
T1=20.38
 SAT (TO)
f=3
TT=2520.11
T1=15.1
 SAT (TO)
f=3
TT=2520.12
T1=18.73
 SAT (TO)
f=3
TT=2520.09
T1=36.11
 SAT (TO)
f=3
TT=2520.08
T1=31.86
 ? (MO)

TT=1674.31

 ? (MO)

TT=1710.36

 ? (MO)

TT=1708.7

 ? (TO)

TT=2520.5

 ? (TO)

TT=2520.75

 OPT
f=2
TT=30.445
T1=30.39
Opd/Opd-sum-small/
Opd-11-011-005.xml 		OPT
f=2
TT=1.282
T1=1.19
 OPT
f=2
TT=3.807
T1=3.77
 OPT
f=2
TT=1.814
T1=1.68
 OPT
f=2
TT=2.566
T1=2.39
 OPT
f=2
TT=1.781
T1=1.67
 OPT
f=2
TT=2.551
T1=2.4
 OPT
f=2
TT=1.883
T1=1.68
 OPT
f=2
TT=2.403
T1=1.76
 OPT
f=2
TT=3.747
T1=3.72
 OPT
f=2
TT=2.469
T1=1.77
 SAT (TO)
f=3
TT=2520.12
T1=9.8
 OPT
f=2
TT=245.616
T1=245.47
 SAT (TO)
f=3
TT=2520.06
T1=12.97
 OPT
f=2
TT=352.804
T1=352.69
 SAT (TO)
f=3
TT=2520.04
T1=9
 SAT (TO)
f=3
TT=2520.03
T1=7.79
 SAT (TO)
f=3
TT=2519.67
T1=7.89
 OPT
f=2
TT=14832.4
T1=14831.6
 OPT
f=2
TT=9039.58
T1=9038.72
 OPT
f=2
TT=1.282
T1=1.19
Opd/Opd-sum-small/
Opd-15-015-004.xml 		OPT
f=1
TT=2.25
T1=2.05
 OPT
f=1
TT=5.553
T1=5.52
 OPT
f=1
TT=2.25
T1=2.08
 OPT
f=1
TT=3.718
T1=2.88
 OPT
f=1
TT=2.352
T1=2.05
 OPT
f=1
TT=3.424
T1=2.88
 OPT
f=1
TT=2.248
T1=2.07
 OPT
f=1
TT=3.38
T1=2.92
 OPT
f=1
TT=18.636
T1=18.6
 OPT
f=1
TT=3.179
T1=2.95
 SAT (TO)
f=2
TT=2520.11
T1=14.13
 SAT (TO)
f=2
TT=2520.12
T1=14.14
 SAT (TO)
f=2
TT=2520.08
T1=19.12
 SAT (TO)
f=2
TT=2520.06
T1=12.18
 ? (MO)

TT=1325.38

 ? (MO)

TT=1169.45

 ? (MO)

TT=1165.62

 ? (MO)

TT=2421.12

 ? (MO)

TT=2441.02

 OPT
f=1
TT=24.17
T1=24.1
Opd/Opd-sum-small/
Opd-19-020-009.xml 		OPT
f=4
TT=1412.74
T1=1412.64
 SAT (TO)
f=5
TT=2520.09
T1=7.13
 SAT (TO)
f=5
TT=2520.65
T1=104.38
 SAT (TO)
f=5
TT=20075.7
T1=239.96
 SAT (TO)
f=5
TT=2520.41
T1=10.15
 SAT (TO)
f=5
TT=20076.6
T1=31.72
 SAT (TO)
f=5
TT=2520.37
T1=12.23
 SAT (TO)
f=5
TT=20072.5
T1=15.85
 SAT (TO)
f=5
TT=2520.07
T1=6.41
 SAT (TO)
f=5
TT=20074.4
T1=11.13
 SAT (TO)
f=5
TT=2520.07
T1=24.07
 SAT (TO)
f=5
TT=2520.06
T1=25.94
 SAT (TO)
f=5
TT=2520.15
T1=53.38
 SAT (TO)
f=5
TT=2520.1
T1=21.16
 ? (MO)

TT=1145.75

 ? (MO)

TT=1128.67

 ? (MO)

TT=1123.83

 ? (MO)

TT=2224.57

 ? (MO)

TT=2205.07

 OPT
f=4
TT=1412.74
T1=1412.64
OpenStacks/
OpenStacks-m1c-s1/
OpenStacks-m1c-gp-050-1.xml 		OPT
f=45
TT=70.262
T1=18.21
 OPT
f=45
TT=70.262
T1=38.64
 OPT
f=45
TT=107.83
T1=18.31
 OPT
f=45
TT=169.965
T1=38.01
 OPT
f=45
TT=235.182
T1=18.21
 OPT
f=45
TT=411.846
T1=32.71
 OPT
f=45
TT=265.934
T1=19.35
 OPT
f=45
TT=424.427
T1=33.45
 SAT (TO)
f=45
TT=2520.03
T1=340.51
 OPT
f=45
TT=453.047
T1=29.68
 OPT
f=45
TT=71.435
T1=45.39
 OPT
f=45
TT=95.954
T1=59.54
 OPT
f=45
TT=335.463
T1=108.71
 OPT
f=45
TT=190.202
T1=41.37
 SAT (TO)
f=47
TT=2519.89
T1=310.31
 SAT (TO)
f=47
TT=2520.08
T1=309.85
 SAT (TO)
f=47
TT=2519.9
T1=356.03
 SAT (TO)
f=47
TT=20101.1
T1=1235.23
 SAT (TO)
f=47
TT=20102.5
T1=95.31
 OPT
f=45
TT=625.238
T1=625.17
OpenStacks/OpenStacks-m1c-s1/
OpenStacks-m1c-pb-30-15-1.xml 		OPT
f=14
TT=66.689
T1=6.63
 OPT
f=14
TT=147.836
T1=18.26
 OPT
f=14
TT=133.338
T1=22.55
 OPT
f=14
TT=281.86
T1=21.11
 OPT
f=14
TT=122.237
T1=19.33
 OPT
f=14
TT=223.579
T1=18.24
 OPT
f=14
TT=151.123
T1=22
 OPT
f=14
TT=225.037
T1=15.66
 OPT
f=14
TT=178.767
T1=6.63
 OPT
f=14
TT=253.205
T1=40.26
 SAT (TO)
f=14
TT=2520.11
T1=27.88
 SAT (TO)
f=14
TT=2520.1
T1=211.74
 SAT (TO)
f=14
TT=2520.07
T1=336.23
 SAT (TO)
f=14
TT=2520.12
T1=27.31
 ? (TO)

TT=2519.93

 ? (TO)

TT=2519.94

 ? (TO)

TT=2520.04

 SAT (TO)
f=14
TT=20123.6
T1=16763.6
 SAT (TO)
f=14
TT=20120.4
T1=3532.24
 OPT
f=14
TT=66.689
T1=66.59
OpenStacks/OpenStacks-m1c-s1/
OpenStacks-m1c-wbo-30-15-1.xml 		OPT
f=7
TT=9.737
T1=5.81
 OPT
f=7
TT=11.618
T1=9.94
 OPT
f=7
TT=11.081
T1=5.87
 OPT
f=7
TT=19.35
T1=11.94
 OPT
f=7
TT=9.737
T1=5.81
 OPT
f=7
TT=18.796
T1=9.71
 OPT
f=7
TT=8.636
T1=5.42
 OPT
f=7
TT=17.582
T1=9.53
 OPT
f=7
TT=12.071
T1=8.86
 OPT
f=7
TT=19.129
T1=10.91
 OPT
f=7
TT=102.622
T1=25.38
 OPT
f=7
TT=799.123
T1=77.24
 OPT
f=7
TT=1725.1
T1=233.56
 OPT
f=7
TT=1484.24
T1=328.13
 SAT (TO)
f=8
TT=2520.07
T1=251.19
 SAT (TO)
f=8
TT=2520.08
T1=242.12
 SAT (TO)
f=8
TT=2520.08
T1=266.31
 SAT (TO)
f=8
TT=20120.1
T1=779.74
 SAT (TO)
f=8
TT=20120.5
T1=3626.81
 OPT
f=7
TT=42.27
T1=42.19
Bench nameBest resultsAbsCon
2019-07-23
(complete)		choco-solver
2019-06-14
(complete)		choco-solver
2019-06-14 parallel
(complete)		choco-solver
2019-09-16
(complete)		choco-solver
2019-09-16 parallel
(complete)		choco-solver
2019-09-20
(complete)		choco-solver
2019-09-20 parallel
(complete)		choco-solver
2019-09-24
(complete)		choco-solver
2019-09-24 parallel
(complete)		Concrete
3.10
(complete)		Concrete
3.12.2
(complete)		Concrete
3.12.2
(complete)		Concrete
3.12.3
(complete)		cosoco
2
(complete)		cosoco
2.0
(complete)		cosoco
2.0
(complete)		cosoco
2.0 parallel
(complete)		cosoco
2.O parallel
(complete)		PicatSAT
2019-09-12
(complete)
OpenStacks/OpenStacks-m1c-s1/
OpenStacks-m1c-wbop-10-20-1.xml 		OPT
f=5
TT=27.924
T1=8.09
 OPT
f=5
TT=186.083
T1=8.09
 OPT
f=5
TT=205.549
T1=10.14
 OPT
f=5
TT=461.889
T1=24.98
 OPT
f=5
TT=179.091
T1=8.52
 OPT
f=5
TT=392.599
T1=17.21
 OPT
f=5
TT=210.454
T1=9.98
 OPT
f=5
TT=398.39
T1=16.33
 OPT
f=5
TT=721.863
T1=8.1
 OPT
f=5
TT=390.808
T1=13.37
 OPT
f=5
TT=872.401
T1=27.22
 OPT
f=5
TT=1308.3
T1=40.68
 SAT (TO)
f=5
TT=2520.09
T1=19.01
 OPT
f=5
TT=1758.9
T1=33.23
 SAT (TO)
f=6
TT=2519.96
T1=26.69
 SAT (TO)
f=6
TT=2520.03
T1=25.89
 SAT (TO)
f=6
TT=2520.03
T1=26.69
 SAT (TO)
f=6
TT=20125
T1=8.44
 SAT (TO)
f=5
TT=20123.3
T1=6329.16
 OPT
f=5
TT=27.924
T1=27.89
OpenStacks/OpenStacks-m1c-s1/
OpenStacks-m1c-wbop-30-15-1.xml 		OPT
f=10
TT=23.577
T1=4.65
 OPT
f=10
TT=23.577
T1=9.08
 OPT
f=10
TT=28.003
T1=5.72
 OPT
f=10
TT=43.615
T1=10.54
 OPT
f=10
TT=26.686
T1=4.65
 OPT
f=10
TT=47.787
T1=10.08
 OPT
f=10
TT=24.92
T1=5.33
 OPT
f=10
TT=48.782
T1=12.86
 OPT
f=10
TT=33.758
T1=7.89
 OPT
f=10
TT=45.969
T1=10.62
 OPT
f=10
TT=379.965
T1=28.3
 OPT
f=10
TT=1016.07
T1=18.32
 SAT (TO)
f=10
TT=2520.13
T1=36.52
 OPT
f=10
TT=840.876
T1=64.94
 SAT (TO)
f=11
TT=2519.95
T1=9.18
 SAT (TO)
f=11
TT=2520.06
T1=9.09
 SAT (TO)
f=11
TT=2520.04
T1=9.19
 SAT (TO)
f=10
TT=20122
T1=1490.59
 SAT (TO)
f=10
TT=20121.5
T1=1932.22
 OPT
f=10
TT=49.361
T1=49.28
OpenStacks/OpenStacks-m1c-s1/
OpenStacks-m1c-wbop-30-30-1.xml 		OPT
f=3
TT=23.815
T1=23.04
 OPT
f=3
TT=27.781
T1=27.35
 OPT
f=3
TT=34.71
T1=34.07
 OPT
f=3
TT=54.692
T1=53.26
 OPT
f=3
TT=23.815
T1=23.04
 OPT
f=3
TT=34.364
T1=31.86
 OPT
f=3
TT=24.06
T1=23.3
 OPT
f=3
TT=34.429
T1=33.24
 OPT
f=3
TT=410.629
T1=280.54
 OPT
f=3
TT=33.603
T1=32.36
 OPT
f=3
TT=84.51
T1=81.63
 SAT (TO)
f=5
TT=2520.07
T1=145.03
 OPT
f=3
TT=1495.2
T1=1371.9
 OPT
f=3
TT=119.431
T1=118.71
 SAT (TO)
f=13
TT=2519.57
T1=6.18
 SAT (TO)
f=13
TT=2520.1
T1=6.29
 SAT (TO)
f=13
TT=2519.71
T1=0.68
 SAT (TO)
f=8
TT=20119.5
T1=1764.62
 SAT (TO)
f=9
TT=20118.6
T1=1424.95
 OPT
f=3
TT=44.281
T1=44.19
OpenStacks/OpenStacks-m1c-s1/
OpenStacks-m1c-wbp-15-15-1.xml 		OPT
f=4
TT=15.651
T1=1.87
 OPT
f=4
TT=41.928
T1=8.42
 OPT
f=4
TT=24.849
T1=3.62
 OPT
f=4
TT=33.246
T1=5.12
 OPT
f=4
TT=18.531
T1=3.28
 OPT
f=4
TT=27.217
T1=5.98
 OPT
f=4
TT=14.648
T1=3.3
 OPT
f=4
TT=28.915
T1=5.74
 OPT
f=4
TT=19.015
T1=1.87
 OPT
f=4
TT=35.252
T1=5.39
 OPT
f=4
TT=211.14
T1=15.21
 OPT
f=4
TT=551.099
T1=39.55
 OPT
f=4
TT=1364.57
T1=30.95
 OPT
f=4
TT=839.565
T1=30.07
 SAT (TO)
f=4
TT=2519.72
T1=556.22
 SAT (TO)
f=4
TT=2519.71
T1=639.01
 SAT (TO)
f=4
TT=2520.05
T1=557.04
 SAT (TO)
f=4
TT=20124.9
T1=64.58
 SAT (TO)
f=4
TT=20123.6
T1=184.39
 OPT
f=4
TT=15.651
T1=15.59
OpenStacks/
OpenStacks-m1-s1/
OpenStacks-m1-gp-050-1.xml 		OPT
f=45
TT=70.154
T1=17.38
 OPT
f=45
TT=70.154
T1=38.92
 OPT
f=45
TT=342.685
T1=18.46
 OPT
f=45
TT=95.787
T1=29.58
 OPT
f=45
TT=263.705
T1=17.38
 OPT
f=45
TT=338.981
T1=25.96
 OPT
f=45
TT=292.933
T1=18.79
 OPT
f=45
TT=522.817
T1=25.07
 SAT (TO)
f=45
TT=2520.06
T1=238.58
 OPT
f=45
TT=584.541
T1=30.14
 OPT
f=45
TT=142.905
T1=126.88
 OPT
f=45
TT=112.009
T1=92.51
 OPT
f=45
TT=337.57
T1=229.6
 OPT
f=45
TT=105.577
T1=86.59
 SAT (TO)
f=47
TT=2520.04
T1=338.15
 SAT (TO)
f=47
TT=2519.95
T1=300.61
 SAT (TO)
f=47
TT=2519.97
T1=370.32
 SAT (TO)
f=47
TT=20102.3
T1=966.69
 SAT (TO)
f=47
TT=20101.6
T1=96.88
 OPT
f=45
TT=618.932
T1=618.86
OpenStacks/
OpenStacks-m1-s1/
OpenStacks-m1-pb-30-15-1.xml 		OPT
f=14
TT=69.527
T1=6.07
 OPT
f=14
TT=148.641
T1=17.94
 OPT
f=14
TT=156.88
T1=23.02
 OPT
f=14
TT=241.586
T1=19.74
 OPT
f=14
TT=151.006
T1=20.85
 OPT
f=14
TT=223.48
T1=20.35
 OPT
f=14
TT=119.659
T1=21.28
 OPT
f=14
TT=230.502
T1=17.25
 OPT
f=14
TT=171.58
T1=6.07
 OPT
f=14
TT=265.407
T1=47.26
 OPT
f=14
TT=1876.06
T1=21.92
 SAT (TO)
f=14
TT=2520.07
T1=73.45
 SAT (TO)
f=14
TT=2520.12
T1=211.28
 SAT (TO)
f=14
TT=2520.13
T1=337.56
 ? (TO)

TT=2520.05

 ? (TO)

TT=2520.06

 ? (TO)

TT=2519.8

 SAT (TO)
f=14
TT=20120.8
T1=3633.25
 SAT (TO)
f=14
TT=20121.6
T1=1323.65
 OPT
f=14
TT=69.527
T1=69.48
OpenStacks/OpenStacks-m1-s1/
OpenStacks-m1-wbo-15-30-1.xml 		OPT
f=4
TT=69.754
T1=38.82
 OPT
f=4
TT=148.926
T1=106.38
 OPT
f=4
TT=289.451
T1=256.71
 OPT
f=4
TT=278.322
T1=199.98
 OPT
f=4
TT=69.754
T1=38.82
 OPT
f=4
TT=208.035
T1=151.3
 OPT
f=4
TT=68.966
T1=34.85
 OPT
f=4
TT=155.169
T1=101.39
 SAT (TO)
f=4
TT=2520.03
T1=899.85
 OPT
f=4
TT=162.763
T1=102.05
 OPT
f=4
TT=1137.26
T1=72.25
 OPT
f=4
TT=595.244
T1=213.07
 SAT (TO)
f=5
TT=2520.1
T1=1889.58
 SAT (TO)
f=5
TT=2520.14
T1=18.02
 SAT (TO)
f=9
TT=2519.68
T1=704.89
 SAT (TO)
f=9
TT=2520.1
T1=627.79
 SAT (TO)
f=9
TT=2520.07
T1=607.2
 SAT (TO)
f=7
TT=20120.7
T1=552.81
 SAT (TO)
f=8
TT=20120.6
T1=27.77
 OPT
f=4
TT=98.337
T1=98.28
OpenStacks/OpenStacks-m1-s1/
OpenStacks-m1-wbo-30-15-1.xml 		OPT
f=7
TT=8.396
T1=5.41
 OPT
f=7
TT=15.371
T1=12.1
 OPT
f=7
TT=8.396
T1=5.41
 OPT
f=7
TT=20.301
T1=11.52
 OPT
f=7
TT=10.703
T1=6.47
 OPT
f=7
TT=17.836
T1=11.73
 OPT
f=7
TT=10.289
T1=5.42
 OPT
f=7
TT=16.561
T1=10.84
 OPT
f=7
TT=11.775
T1=8.73
 OPT
f=7
TT=21.429
T1=13.43
 OPT
f=7
TT=279.631
T1=41.36
 OPT
f=7
TT=95.421
T1=28.8
 OPT
f=7
TT=724.911
T1=44.08
 OPT
f=7
TT=172.134
T1=24.68
 SAT (TO)
f=8
TT=2519.88
T1=269.34
 SAT (TO)
f=8
TT=2520.08
T1=235.89
 SAT (TO)
f=8
TT=2519.8
T1=350.66
 SAT (TO)
f=7
TT=20120.6
T1=13873
 SAT (TO)
f=8
TT=20119.4
T1=1322.63
 OPT
f=7
TT=42.89
T1=42.78
OpenStacks/OpenStacks-m1-s1/
OpenStacks-m1-wbop-10-20-1.xml 		OPT
f=5
TT=26.473
T1=7.32
 OPT
f=5
TT=187.762
T1=8.27
 OPT
f=5
TT=199.478
T1=9.63
 OPT
f=5
TT=431.628
T1=17.59
 OPT
f=5
TT=185.749
T1=8.89
 OPT
f=5
TT=405.017
T1=15.52
 OPT
f=5
TT=190.348
T1=10.04
 OPT
f=5
TT=401.169
T1=16.29
 OPT
f=5
TT=687.702
T1=7.32
 OPT
f=5
TT=407.476
T1=14.96
 OPT
f=5
TT=919.399
T1=11.96
 OPT
f=5
TT=1549.91
T1=15.18
 SAT (TO)
f=5
TT=2520.1
T1=40.96
 OPT
f=5
TT=2124.3
T1=10.39
 SAT (TO)
f=6
TT=2519.68
T1=26.29
 SAT (TO)
f=6
TT=2520.07
T1=26.69
 SAT (TO)
f=6
TT=2520.08
T1=25.1
 SAT (TO)
f=6
TT=20125.5
T1=0.14
 SAT (TO)
f=5
TT=20124.8
T1=6.12
 OPT
f=5
TT=26.473
T1=26.39
OpenStacks/OpenStacks-m1-s1/
OpenStacks-m1-wbop-30-15-1.xml 		OPT
f=10
TT=22.914
T1=5.45
 OPT
f=10
TT=22.914
T1=8.45
 OPT
f=10
TT=27.397
T1=5.73
 OPT
f=10
TT=54.431
T1=10.65
 OPT
f=10
TT=23.958
T1=5.45
 OPT
f=10
TT=49.816
T1=10.51
 OPT
f=10
TT=24.838
T1=5.44
 OPT
f=10
TT=48.078
T1=11.96
 OPT
f=10
TT=32.971
T1=7.46
 OPT
f=10
TT=51.443
T1=11.3
 SAT (TO)
f=10
TT=2520.12
T1=19.16
 SAT (TO)
f=10
TT=2520.06
T1=39.52
 SAT (TO)
f=10
TT=2520.1
T1=33.62
 SAT (TO)
f=10
TT=2520.08
T1=19.41
 SAT (TO)
f=11
TT=2520.09
T1=9.39
 SAT (TO)
f=11
TT=2520.04
T1=9.39
 SAT (TO)
f=11
TT=2519.78
T1=9.38
 SAT (TO)
f=10
TT=20120
T1=199.83
 SAT (TO)
f=10
TT=20120.2
T1=295.06
 OPT
f=10
TT=47.813
T1=47.78
Bench nameBest resultsAbsCon
2019-07-23
(complete)		choco-solver
2019-06-14
(complete)		choco-solver
2019-06-14 parallel
(complete)		choco-solver
2019-09-16
(complete)		choco-solver
2019-09-16 parallel
(complete)		choco-solver
2019-09-20
(complete)		choco-solver
2019-09-20 parallel
(complete)		choco-solver
2019-09-24
(complete)		choco-solver
2019-09-24 parallel
(complete)		Concrete
3.10
(complete)		Concrete
3.12.2
(complete)		Concrete
3.12.2
(complete)		Concrete
3.12.3
(complete)		cosoco
2
(complete)		cosoco
2.0
(complete)		cosoco
2.0
(complete)		cosoco
2.0 parallel
(complete)		cosoco
2.O parallel
(complete)		PicatSAT
2019-09-12
(complete)
OpenStacks/OpenStacks-m1-s1/
OpenStacks-m1-wbop-30-30-1.xml 		OPT
f=3
TT=24.693
T1=23.73
 OPT
f=3
TT=28.147
T1=27.49
 OPT
f=3
TT=31.18
T1=30.64
 OPT
f=3
TT=59.097
T1=57.86
 OPT
f=3
TT=24.693
T1=23.73
 OPT
f=3
TT=39.472
T1=38.06
 OPT
f=3
TT=24.417
T1=23.57
 OPT
f=3
TT=35.828
T1=34.71
 OPT
f=3
TT=540.143
T1=350.93
 OPT
f=3
TT=34.128
T1=32.72
 OPT
f=3
TT=118.493
T1=68.12
 OPT
f=3
TT=229.282
T1=174.08
 SAT (TO)
f=7
TT=2520.1
T1=607.07
 OPT
f=3
TT=634.034
T1=615.52
 SAT (TO)
f=13
TT=2519.87
T1=6.29
 SAT (TO)
f=13
TT=2519.52
T1=6.19
 SAT (TO)
f=13
TT=2520.1
T1=6.18
 SAT (TO)
f=8
TT=20115.6
T1=109.04
 SAT (TO)
f=8
TT=20118.8
T1=112.8
 OPT
f=3
TT=54.013
T1=54
OpenStacks/OpenStacks-m1-s1/
OpenStacks-m1-wbp-15-15-1.xml 		OPT
f=4
TT=13.898
T1=2.18
 OPT
f=4
TT=41.422
T1=8.42
 OPT
f=4
TT=22.413
T1=3.8
 OPT
f=4
TT=30.755
T1=5.84
 OPT
f=4
TT=13.898
T1=3.6
 OPT
f=4
TT=26.468
T1=5.81
 OPT
f=4
TT=21.06
T1=3.71
 OPT
f=4
TT=37.382
T1=5.88
 OPT
f=4
TT=18.964
T1=2.18
 OPT
f=4
TT=25.919
T1=5.38
 OPT
f=4
TT=551.805
T1=25.42
 OPT
f=4
TT=1786.24
T1=22.92
 OPT
f=4
TT=949.491
T1=18.18
 OPT
f=4
TT=408.932
T1=13.72
 SAT (TO)
f=4
TT=2519.58
T1=554.19
 SAT (TO)
f=4
TT=2519.79
T1=540.04
 SAT (TO)
f=4
TT=2520.06
T1=559.75
 SAT (TO)
f=4
TT=20124.9
T1=142.83
 SAT (TO)
f=4
TT=20127.6
T1=119.64
 OPT
f=4
TT=15.635
T1=15.59
PeacableArmies/
PeacableArmies-m1-07_c18.xml 		OPT
f=7
TT=22.589
T1=0.3
 OPT
f=7
TT=44.213
T1=7.92
 OPT
f=7
TT=44.209
T1=3.67
 OPT
f=7
TT=160.708
T1=6.09
 OPT
f=7
TT=43.918
T1=3.35
 OPT
f=7
TT=124.265
T1=6.08
 OPT
f=7
TT=43.494
T1=3.33
 OPT
f=7
TT=120.141
T1=5.36
 OPT
f=7
TT=45.875
T1=3.07
 OPT
f=7
TT=116.975
T1=5.24
 OPT
f=7
TT=187.922
T1=18.25
 OPT
f=7
TT=247.534
T1=17.15
 OPT
f=7
TT=2158.55
T1=18.44
 OPT
f=7
TT=288.207
T1=14.07
 OPT
f=7
TT=148.956
T1=0.31
 OPT
f=7
TT=143.848
T1=0.3
 OPT
f=7
TT=147.473
T1=0.3
 OPT
f=7
TT=560.068
T1=0.89
 OPT
f=7
TT=521.621
T1=0.31
 OPT
f=7
TT=22.589
T1=22.48
PeacableArmies/
PeacableArmies-m2-07_c18.xml 		OPT
f=7
TT=9.622
T1=0.1
 OPT
f=7
TT=16.944
T1=7.11
 OPT
f=7
TT=26.457
T1=3.84
 OPT
f=7
TT=57.327
T1=5.38
 OPT
f=7
TT=25.156
T1=2.66
 OPT
f=7
TT=54.94
T1=3.85
 OPT
f=7
TT=25.953
T1=3.14
 OPT
f=7
TT=49.794
T1=4.01
 OPT
f=7
TT=14.279
T1=1.98
 OPT
f=7
TT=60.023
T1=4.05
 ? (TO)

TT=2520.09

 ? (TO)

TT=2520.07

 ? (TO)

TT=2520.07

 ? (TO)

TT=2520.07

 OPT
f=7
TT=9.622
T1=0.1
 OPT
f=7
TT=9.701
T1=0.1
 OPT
f=7
TT=9.672
T1=0.1
 OPT
f=7
TT=36.745
T1=0.1
 OPT
f=7
TT=32.44
T1=0.1
 OPT
f=7
TT=23.122
T1=23.09
PizzaVoucher/
PizzaVoucher-12a_c18.xml 		OPT
f=40
TT=13.848
T1=5.16
 OPT
f=40
TT=15.093
T1=11.1
 OPT
f=40
TT=33.818
T1=28.96
 OPT
f=40
TT=27.231
T1=17.2
 OPT
f=40
TT=13.848
T1=10.67
 OPT
f=40
TT=24.466
T1=10.79
 OPT
f=40
TT=11.819
T1=7.4
 OPT
f=40
TT=25.814
T1=17.94
 OPT
f=40
TT=200.85
T1=199.32
 OPT
f=40
TT=18.758
T1=6.96
 OPT
f=40
TT=47.473
T1=33.52
 OPT
f=40
TT=137.904
T1=76.92
 OPT
f=40
TT=603.719
T1=540.88
 OPT
f=40
TT=80.414
T1=38.64
 SAT (TO)
f=40
TT=2520.09
T1=539.73
 SAT (TO)
f=40
TT=2519.57
T1=538.9
 SAT (TO)
f=40
TT=2519.69
T1=535.82
 OPT
f=40
TT=46.938
T1=5.16
 OPT
f=40
TT=59.867
T1=11.55
 OPT
f=40
TT=15.819
T1=15.78
PrizeCollecting/
PrizeCollecting-jok-s1/
PrizeCollecting-18-3-6-8.xml 		OPT
f=32
TT=1.374
T1=0.85
 OPT
f=32
TT=7.319
T1=7.18
 OPT
f=32
TT=9.685
T1=8.68
 OPT
f=32
TT=11.53
T1=9.44
 OPT
f=32
TT=12.344
T1=11.65
 OPT
f=32
TT=13.895
T1=11.68
 OPT
f=32
TT=10.158
T1=9.48
 OPT
f=32
TT=11.204
T1=10.48
 OPT
f=32
TT=7.034
T1=6.36
 OPT
f=32
TT=11.414
T1=10.5
 ? (TO)

TT=2520.07

 ? (TO)

TT=2520.06

 OPT
f=32
TT=445.144
T1=441.04
 OPT
f=32
TT=33.263
T1=28.45
 SAT (TO)
f=-6986
TT=2520.01
T1=960.56
 SAT (TO)
f=-6986
TT=2520.08
T1=984.91
 SAT (TO)
f=-6986
TT=2519.9
T1=987.45
 OPT
f=32
TT=1.374
T1=0.85
 OPT
f=32
TT=0.544
T1=0.1
 OPT
f=32
TT=52.935
T1=52.88
PrizeCollecting/
PrizeCollecting-jok-s1/
PrizeCollecting-20-4-5-0.xml 		OPT
f=54
TT=4.498
T1=1.41
 OPT
f=54
TT=11.511
T1=11.32
 OPT
f=54
TT=21.133
T1=12.38
 OPT
f=54
TT=21.575
T1=17.43
 OPT
f=54
TT=18.771
T1=14.06
 OPT
f=54
TT=18.395
T1=12.46
 OPT
f=54
TT=15.223
T1=8.51
 OPT
f=54
TT=20.158
T1=14.89
 OPT
f=54
TT=11.295
T1=8.32
 OPT
f=54
TT=24.376
T1=18
 OPT
f=54
TT=73.945
T1=53.85
 SAT (TO)
f=-7987
TT=2520.11
T1=2475.19
 OPT
f=54
TT=347.299
T1=321.17
 OPT
f=54
TT=88.299
T1=70.99
 SAT (TO)
f=-19000
TT=2520.06
T1=0.1
 SAT (TO)
f=-19000
TT=2520.03
T1=0.1
 SAT (TO)
f=-19000
TT=2519.94
T1=0.1
 OPT
f=54
TT=4.498
T1=1.41
 OPT
f=54
TT=4.938
T1=3.05
 OPT
f=54
TT=97.32
T1=97.28
PrizeCollecting/
PrizeCollecting-jok-s1/
PrizeCollecting-20-4-5-8.xml 		OPT
f=20
TT=13.743
T1=0.61
 OPT
f=20
TT=16.669
T1=10.72
 OPT
f=20
TT=37.419
T1=20.22
 OPT
f=20
TT=39.286
T1=17.01
 OPT
f=20
TT=73.426
T1=57.11
 OPT
f=20
TT=34.168
T1=16.5
 OPT
f=20
TT=32.396
T1=18.7
 OPT
f=20
TT=32.478
T1=15.57
 OPT
f=20
TT=13.743
T1=7.08
 OPT
f=20
TT=27.944
T1=13.24
 OPT
f=20
TT=255.914
T1=116.1
 OPT
f=20
TT=276.076
T1=157.64
 OPT
f=20
TT=493.406
T1=71.23
 ? (TO)

TT=2520.11

 SAT (TO)
f=-15984
TT=2519.83
T1=7.59
 SAT (TO)
f=-15984
TT=2519.96
T1=3.09
 SAT (TO)
f=-15984
TT=2520.05
T1=3.1
 OPT
f=20
TT=20.464
T1=0.61
 OPT
f=20
TT=17.711
T1=0.6
 OPT
f=20
TT=70.165
T1=70.07
PrizeCollecting/
PrizeCollecting-jok-s1/
PrizeCollecting-24-4-6-1.xml 		OPT
f=89
TT=50.138
T1=0.43
 OPT
f=89
TT=69.231
T1=29.01
 OPT
f=89
TT=201.271
T1=66.79
 Wrong Opt.
f=-955
TT=12.144
T1=12.12
 OPT
f=89
TT=165.548
T1=25.71
 OPT
f=89
TT=175.829
T1=59.77
 OPT
f=89
TT=161.896
T1=22.69
 OPT
f=89
TT=152.708
T1=49.99
 OPT
f=89
TT=50.138
T1=10.28
 OPT
f=89
TT=166.031
T1=33.67
 SAT (TO)
f=-903
TT=2520.06
T1=818.49
 OPT
f=89
TT=2036.44
T1=829.66
 SAT (TO)
f=-898
TT=2520.13
T1=2432.14
 OPT
f=89
TT=1768.6
T1=338.27
 SAT (TO)
f=-24000
TT=2520.03
T1=0.31
 SAT (TO)
f=-24000
TT=2520
T1=0.21
 SAT (TO)
f=-24000
TT=2520.08
T1=0.21
 OPT
f=89
TT=102.164
T1=0.43
 OPT
f=89
TT=111.925
T1=22.65
 OPT
f=89
TT=279.917
T1=279.84
PrizeCollecting/
PrizeCollecting-jok-s1/
PrizeCollecting-24-4-6-2.xml 		OPT
f=53
TT=33.63
T1=6.91
 OPT
f=53
TT=96.567
T1=90.56
 OPT
f=53
TT=213.158
T1=70.67
 Wrong Opt.
f=22
TT=21.007
T1=20.44
 OPT
f=53
TT=124.552
T1=36.93
 OPT
f=53
TT=154.509
T1=57.31
 OPT
f=53
TT=98.514
T1=30.94
 OPT
f=53
TT=146.006
T1=63.54
 OPT
f=53
TT=33.63
T1=6.91
 OPT
f=53
TT=240.699
T1=188.85
 SAT (TO)
f=-3941
TT=2520.13
T1=2158.58
 ? (TO)

TT=2520.09

 ? (TO)

TT=2520.1

 OPT
f=53
TT=1812.63
T1=186.61
 SAT (TO)
f=-24000
TT=2520.02
T1=0.21
 SAT (TO)
f=-24000
TT=2519.98
T1=0.21
 SAT (TO)
f=-24000
TT=2519.88
T1=0.21
 OPT
f=53
TT=78.489
T1=14.6
 OPT
f=53
TT=60.654
T1=23.38
 OPT
f=53
TT=189.98
T1=189.93
Bench nameBest resultsAbsCon
2019-07-23
(complete)		choco-solver
2019-06-14
(complete)		choco-solver
2019-06-14 parallel
(complete)		choco-solver
2019-09-16
(complete)		choco-solver
2019-09-16 parallel
(complete)		choco-solver
2019-09-20
(complete)		choco-solver
2019-09-20 parallel
(complete)		choco-solver
2019-09-24
(complete)		choco-solver
2019-09-24 parallel
(complete)		Concrete
3.10
(complete)		Concrete
3.12.2
(complete)		Concrete
3.12.2
(complete)		Concrete
3.12.3
(complete)		cosoco
2
(complete)		cosoco
2.0
(complete)		cosoco
2.0
(complete)		cosoco
2.0 parallel
(complete)		cosoco
2.O parallel
(complete)		PicatSAT
2019-09-12
(complete)
PrizeCollecting/
PrizeCollecting-jok-s1/
PrizeCollecting-24-4-6-3.xml 		OPT
f=80
TT=41.226
T1=4.24
 OPT
f=80
TT=93.349
T1=90.66
 OPT
f=80
TT=237.328
T1=83.01
 Wrong Opt.
f=77
TT=45.914
T1=45.64
 OPT
f=80
TT=114.484
T1=43.33
 OPT
f=80
TT=110.502
T1=36.73
 OPT
f=80
TT=119.817
T1=24.33
 OPT
f=80
TT=116.14
T1=42.89
 OPT
f=80
TT=41.226
T1=25.7
 OPT
f=80
TT=132.1
T1=60.41
 ? (TO)

TT=2520.13

 OPT
f=80
TT=1337.89
T1=779.14
 ? (TO)

TT=2520.09

 OPT
f=80
TT=2485.62
T1=1847.68
 SAT (TO)
f=-24000
TT=2519.68
T1=0.31
 SAT (TO)
f=-24000
TT=2519.85
T1=0.26
 SAT (TO)
f=-24000
TT=2520.06
T1=0.21
 OPT
f=80
TT=86.302
T1=4.24
 OPT
f=80
TT=113.781
T1=1.19
 OPT
f=80
TT=228.217
T1=228.19
PrizeCollecting/
PrizeCollecting-jok-s1/
PrizeCollecting-24-4-6-4.xml 		OPT
f=35
TT=37.85
T1=12.21
 OPT
f=35
TT=72.903
T1=57.27
 OPT
f=35
TT=171.195
T1=65.81
 OPT
f=35
TT=63.778
T1=19.8
 OPT
f=35
TT=92.027
T1=23.12
 OPT
f=35
TT=108.233
T1=17.24
 OPT
f=35
TT=104.775
T1=35.8
 OPT
f=35
TT=144.49
T1=57.24
 OPT
f=35
TT=37.85
T1=16.68
 OPT
f=35
TT=115.103
T1=43.43
 OPT
f=35
TT=1066.39
T1=386.47
 OPT
f=35
TT=1649.13
T1=350.29
 OPT
f=35
TT=1609.94
T1=374.94
 OPT
f=35
TT=829.283
T1=282.78
 SAT (TO)
f=-24000
TT=2519.69
T1=0.21
 SAT (TO)
f=-24000
TT=2519.79
T1=0.21
 SAT (TO)
f=-24000
TT=2519.93
T1=0.21
 OPT
f=35
TT=56.025
T1=12.21
 OPT
f=35
TT=38.887
T1=4.23
 OPT
f=35
TT=149.392
T1=149.36
PrizeCollecting/
PrizeCollecting-jok-s1/
PrizeCollecting-24-4-6-6.xml 		OPT
f=25
TT=77.348
T1=5.87
 OPT
f=25
TT=78.934
T1=52.64
 OPT
f=25
TT=320.85
T1=246.6
 Wrong Opt.
f=22
TT=54.805
T1=54.75
 OPT
f=25
TT=180.991
T1=119.57
 OPT
f=25
TT=245.573
T1=164.14
 OPT
f=25
TT=137.639
T1=54.52
 OPT
f=25
TT=129.125
T1=53.97
 OPT
f=25
TT=180.404
T1=156.26
 OPT
f=25
TT=159.855
T1=78.36
 OPT
f=25
TT=2005.4
T1=718.89
 ? (TO)

TT=2520.05

 OPT
f=25
TT=1648.06
T1=522.37
 OPT
f=25
TT=1134.11
T1=434.97
 SAT (TO)
f=-24000
TT=2520.05
T1=0.2
 SAT (TO)
f=-24000
TT=2519.74
T1=0.21
 SAT (TO)
f=-24000
TT=2519.82
T1=0.21
 OPT
f=25
TT=77.348
T1=5.87
 OPT
f=25
TT=95.806
T1=3.48
 OPT
f=25
TT=207.689
T1=207.59
PrizeCollecting/
PrizeCollecting-jok-s1/
PrizeCollecting-24-4-6-7.xml 		OPT
f=56
TT=22.621
T1=13.02
 OPT
f=56
TT=32.148
T1=28.14
 OPT
f=56
TT=88.551
T1=69.33
 Wrong Opt.
f=-971
TT=15.854
T1=15.39
 OPT
f=56
TT=42.97
T1=28.19
 OPT
f=56
TT=87.115
T1=58.64
 OPT
f=56
TT=62.975
T1=42.59
 OPT
f=56
TT=67.874
T1=32.03
 OPT
f=56
TT=25.729
T1=19.5
 OPT
f=56
TT=85.034
T1=47.66
 OPT
f=56
TT=1845.89
T1=1676.84
 ? (TO)

TT=2520.12

 ? (TO)

TT=2520.1

 OPT
f=56
TT=1097.69
T1=938.14
 SAT (TO)
f=-24000
TT=2519.92
T1=0.21
 SAT (TO)
f=-24000
TT=2519.94
T1=0.21
 SAT (TO)
f=-24000
TT=2520.04
T1=0.21
 OPT
f=56
TT=22.621
T1=13.02
 OPT
f=56
TT=24.291
T1=16.21
 OPT
f=56
TT=164.966
T1=164.93
PrizeCollecting/
PrizeCollecting-jok-s1/
PrizeCollecting-24-4-6-8.xml 		OPT
f=63
TT=34.631
T1=8.25
 OPT
f=63
TT=48.494
T1=36.7
 OPT
f=63
TT=200.762
T1=159.19
 OPT
f=63
TT=120.649
T1=65.91
 OPT
f=63
TT=122.772
T1=83.19
 OPT
f=63
TT=111.027
T1=33.37
 OPT
f=63
TT=84.07
T1=44.44
 OPT
f=63
TT=122.461
T1=55.76
 OPT
f=63
TT=34.631
T1=17.3
 OPT
f=63
TT=113.593
T1=33.69
 ? (TO)

TT=2520.07

 SAT (TO)
f=-926
TT=2520.12
T1=2428.33
 ? (TO)

TT=2520.11

 OPT
f=63
TT=974.735
T1=47.1
 SAT (TO)
f=-24000
TT=2520.03
T1=0.21
 SAT (TO)
f=-24000
TT=2520.07
T1=0.21
 SAT (TO)
f=-24000
TT=2520.08
T1=0.21
 OPT
f=63
TT=64.162
T1=8.25
 OPT
f=63
TT=51.561
T1=7.42
 OPT
f=63
TT=308.648
T1=308.6
PrizeCollecting/
PrizeCollecting-jok-s1/
PrizeCollecting-25-5-5-0.xml 		OPT
f=41
TT=34.501
T1=11.86
 OPT
f=41
TT=36.311
T1=33.95
 OPT
f=41
TT=151.992
T1=134.22
 Wrong Opt.
f=-8
TT=31.952
T1=31.44
 OPT
f=41
TT=42.65
T1=13.4
 OPT
f=41
TT=92.527
T1=43.32
 OPT
f=41
TT=36.898
T1=13.34
 OPT
f=41
TT=82.631
T1=26.02
 OPT
f=41
TT=34.501
T1=13.9
 OPT
f=41
TT=89.719
T1=27.21
 OPT
f=41
TT=674.097
T1=392.3
 ? (TO)

TT=2520.08

 ? (TO)

TT=2520.07

 SAT (TO)
f=-948
TT=2520.21
T1=1082.71
 SAT (TO)
f=-25000
TT=2520.06
T1=0.31
 SAT (TO)
f=-25000
TT=2519.93
T1=0.31
 SAT (TO)
f=-25000
TT=2519.77
T1=0.3
 OPT
f=41
TT=37.541
T1=11.86
 OPT
f=41
TT=49.745
T1=29.48
 OPT
f=41
TT=283.768
T1=283.67
PrizeCollecting/
PrizeCollecting-jok-s1/
PrizeCollecting-25-5-5-5.xml 		OPT
f=57
TT=61.962
T1=14.34
 OPT
f=57
TT=149.308
T1=147.92
 OPT
f=57
TT=253.582
T1=114.98
 OPT
f=57
TT=211.866
T1=79.62
 OPT
f=57
TT=129.249
T1=54.8
 OPT
f=57
TT=172.758
T1=59.09
 OPT
f=57
TT=196.976
T1=106.17
 OPT
f=57
TT=143.831
T1=34.42
 OPT
f=57
TT=61.962
T1=37.4
 OPT
f=57
TT=169.849
T1=29.63
 ? (TO)

TT=2520.07

 ? (TO)

TT=2520.12

 SAT (TO)
f=57
TT=2520.12
T1=2516.72
 ? (TO)

TT=2520.1

 SAT (TO)
f=-25000
TT=2520.02
T1=0.3
 SAT (TO)
f=-25000
TT=2520.06
T1=0.31
 SAT (TO)
f=-25000
TT=2520.07
T1=0.31
 OPT
f=57
TT=118.391
T1=14.34
 OPT
f=57
TT=94.656
T1=19.88
 OPT
f=57
TT=280.564
T1=280.48
PrizeCollecting/
PrizeCollecting-jok-s1/
PrizeCollecting-25-5-5-6.xml 		OPT
f=79
TT=47.661
T1=4.7
 OPT
f=79
TT=130.077
T1=111.94
 OPT
f=79
TT=273.363
T1=45.32
 OPT
f=79
TT=106.372
T1=56.38
 OPT
f=79
TT=148.427
T1=40.35
 OPT
f=79
TT=227.885
T1=52.49
 OPT
f=79
TT=187.179
T1=30.57
 OPT
f=79
TT=207.159
T1=69.35
 OPT
f=79
TT=47.661
T1=13.64
 OPT
f=79
TT=203.936
T1=54.89
 SAT (TO)
f=-1914
TT=2520.16
T1=1730.71
 ? (TO)

TT=2520.06

 OPT
f=79
TT=2343.51
T1=139.04
 OPT
f=79
TT=1907.25
T1=109.82
 SAT (TO)
f=-25000
TT=2519.92
T1=0.31
 SAT (TO)
f=-25000
TT=2519.94
T1=0.31
 SAT (TO)
f=-25000
TT=2520.06
T1=0.31
 OPT
f=79
TT=125.68
T1=4.7
 OPT
f=79
TT=100.441
T1=39.01
 OPT
f=79
TT=226.519
T1=226.45
PrizeCollecting/
PrizeCollecting-jok-s1/
PrizeCollecting-25-5-5-9.xml 		OPT
f=65
TT=82.239
T1=12.28
 OPT
f=65
TT=82.239
T1=54.41
 OPT
f=65
TT=292.424
T1=77.03
 Wrong Opt.
f=48
TT=37.97
T1=37.78
 OPT
f=65
TT=236.231
T1=102.46
 OPT
f=65
TT=326.716
T1=45.54
 OPT
f=65
TT=181.29
T1=66.87
 OPT
f=65
TT=298.31
T1=54.52
 OPT
f=65
TT=98.107
T1=21.75
 OPT
f=65
TT=304.6
T1=55.74
 SAT (TO)
f=-8975
TT=2520.11
T1=2103.81
 ? (TO)

TT=2520.08

 ? (TO)

TT=2520.1

 ? (TO)

TT=2520.12

 SAT (TO)
f=-25000
TT=2519.93
T1=0.31
 SAT (TO)
f=-25000
TT=2519.57
T1=0.31
 SAT (TO)
f=-25000
TT=2520.05
T1=0.31
 OPT
f=65
TT=184.428
T1=12.28
 OPT
f=65
TT=135.091
T1=6.35
 OPT
f=65
TT=276.584
T1=276.56
PrizeCollecting/
PrizeCollecting-jok-s1/
PrizeCollecting-28-4-7-3.xml 		OPT
f=77
TT=101.167
T1=18.19
 OPT
f=77
TT=806.613
T1=787.34
 OPT
f=77
TT=1147.63
T1=451.16
 Wrong Opt.
f=40
TT=58.313
T1=58.21
 OPT
f=77
TT=333.402
T1=80.12
 OPT
f=77
TT=664.25
T1=120.68
 OPT
f=77
TT=417.298
T1=126.98
 OPT
f=77
TT=688.21
T1=154.62
 OPT
f=77
TT=101.167
T1=18.19
 OPT
f=77
TT=632.246
T1=74.66
 SAT (TO)
f=-9938
TT=2520.13
T1=2001.69
 ? (TO)

TT=2520.08

 ? (TO)

TT=2520.1

 ? (TO)

TT=2520.13

 SAT (TO)
f=-28000
TT=2520.04
T1=0.4
 SAT (TO)
f=-28000
TT=2519.88
T1=0.41
 SAT (TO)
f=-28000
TT=2519.82
T1=0.41
 OPT
f=77
TT=379.936
T1=32.1
 OPT
f=77
TT=315.151
T1=44.97
 OPT
f=77
TT=338.213
T1=338.16
Bench nameBest resultsAbsCon
2019-07-23
(complete)		choco-solver
2019-06-14
(complete)		choco-solver
2019-06-14 parallel
(complete)		choco-solver
2019-09-16
(complete)		choco-solver
2019-09-16 parallel
(complete)		choco-solver
2019-09-20
(complete)		choco-solver
2019-09-20 parallel
(complete)		choco-solver
2019-09-24
(complete)		choco-solver
2019-09-24 parallel
(complete)		Concrete
3.10
(complete)		Concrete
3.12.2
(complete)		Concrete
3.12.2
(complete)		Concrete
3.12.3
(complete)		cosoco
2
(complete)		cosoco
2.0
(complete)		cosoco
2.0
(complete)		cosoco
2.0 parallel
(complete)		cosoco
2.O parallel
(complete)		PicatSAT
2019-09-12
(complete)
PseudoBoolean/
PseudoBoolean-opt-bgr/
Pb-bgr-04.xml 		OPT
f=6
TT=0.013
T1=0
 OPT
f=6
TT=3.243
T1=3.14
 OPT
f=6
TT=1.291
T1=1
 OPT
f=6
TT=1.687
T1=1.35
 OPT
f=6
TT=1.332
T1=0.33
 OPT
f=6
TT=1.646
T1=1.39
 OPT
f=6
TT=1.284
T1=1
 OPT
f=6
TT=1.649
T1=1.38
 OPT
f=6
TT=1.059
T1=1.01
 OPT
f=6
TT=1.63
T1=1.38
 OPT
f=6
TT=6.774
T1=6.44
 OPT
f=6
TT=6.901
T1=6.85
 OPT
f=6
TT=7.45
T1=7.11
 OPT
f=6
TT=5.9
T1=5.56
 OPT
f=6
TT=0.013
T1=0
 OPT
f=6
TT=0.014
T1=0
 OPT
f=6
TT=0.013
T1=0
 OPT
f=6
TT=0.031
T1=0
 OPT
f=6
TT=0.028
T1=0
 OPT
f=6
TT=0.408
T1=0.3
PseudoBoolean/
PseudoBoolean-opt-dimacs/
Pb-hanoi4.xml 		OPT
f=718
TT=108.063
T1=23.82
 SAT (TO)
f=718
TT=2520.01
T1=120.95
 OPT
f=718
TT=650.8
T1=23.82
 OPT
f=718
TT=1416.24
T1=52.63
 OPT
f=718
TT=663.964
T1=353.83
 OPT
f=718
TT=1367.9
T1=716.52
 OPT
f=718
TT=648.615
T1=349.19
 OPT
f=718
TT=1337.75
T1=703.59
 OPT
f=718
TT=740.937
T1=64.86
 OPT
f=718
TT=1554.02
T1=387.48
 SAT (TO)
f=718
TT=2520.07
T1=475.96
 ? (TO)

TT=2520.09

 SAT (TO)
f=718
TT=2520.04
T1=251.3
 SAT (TO)
f=718
TT=2520.11
T1=856.18
 ? (TO)

TT=2519.71

 ? (TO)

TT=2520.06

 ? (TO)

TT=2520.04

 SAT (TO)
f=718
TT=20118.9
T1=1945.28
 SAT (TO)
f=718
TT=20117
T1=2391.47
 OPT
f=718
TT=108.063
T1=108
PseudoBoolean/
PseudoBoolean-opt-dimacs/
Pb-ii32b3.xml 		OPT
f=331
TT=119.032
T1=11.74
 OPT
f=331
TT=621.735
T1=11.86
 OPT
f=331
TT=957.373
T1=21.93
 OPT
f=331
TT=1684.94
T1=28.13
 OPT
f=331
TT=2247.46
T1=23.38
 OPT
f=331
TT=812.929
T1=28.13
 OPT
f=331
TT=2207.94
T1=22.22
 OPT
f=331
TT=1597.76
T1=24.67
 OPT
f=331
TT=412.773
T1=11.74
 OPT
f=331
TT=1623.21
T1=24.68
 SAT (TO)
f=331
TT=2520.1
T1=36.7
 SAT (TO)
f=331
TT=2520.08
T1=38.24
 SAT (TO)
f=331
TT=2520.06
T1=289.14
 SAT (TO)
f=331
TT=2520.11
T1=182.64
 SAT (TO)
f=331
TT=2520.03
T1=19.78
 SAT (TO)
f=331
TT=2519.91
T1=19.68
 SAT (TO)
f=331
TT=2519.93
T1=19.58
 SAT (TO)
f=331
TT=20116.9
T1=163.66
 SAT (TO)
f=331
TT=20116.7
T1=166.95
 OPT
f=331
TT=119.032
T1=118.97
PseudoBoolean/
PseudoBoolean-opt-dimacs/
Pb-ii32e3.xml 		OPT
f=310
TT=91.994
T1=6.12
 OPT
f=310
TT=2384.43
T1=6.12
 SAT (TO)
f=310
TT=2520.49
T1=321.94
 OPT
f=310
TT=6066.08
T1=19
 SAT (TO)
f=310
TT=2520.55
T1=262.32
 OPT
f=310
TT=2036.39
T1=18.43
 SAT (TO)
f=310
TT=2520.36
T1=271.29
 OPT
f=310
TT=2013.98
T1=17.52
 OPT
f=310
TT=599.938
T1=215.72
 OPT
f=310
TT=1996.24
T1=17.1
 SAT (TO)
f=310
TT=2520.07
T1=31.18
 SAT (TO)
f=310
TT=2520.13
T1=36.54
 SAT (TO)
f=310
TT=2520.11
T1=696.24
 SAT (TO)
f=310
TT=2520.13
T1=32.1
 SAT (TO)
f=310
TT=2519.96
T1=25.99
 SAT (TO)
f=310
TT=2520.11
T1=25.99
 SAT (TO)
f=310
TT=2519.94
T1=26
 SAT (TO)
f=310
TT=20119.9
T1=47.1
 SAT (TO)
f=310
TT=20117.7
T1=47.05
 OPT
f=310
TT=91.994
T1=91.89
PseudoBoolean/
PseudoBoolean-opt-dimacs/
Pb-jnh210.xml 		OPT
f=88
TT=3.746
T1=0.23
 OPT
f=88
TT=5.852
T1=4.46
 OPT
f=88
TT=8.074
T1=4.14
 OPT
f=88
TT=11.62
T1=3.65
 OPT
f=88
TT=6.595
T1=2.65
 OPT
f=88
TT=10.895
T1=3.71
 OPT
f=88
TT=6.826
T1=2.69
 OPT
f=88
TT=10.074
T1=4.36
 OPT
f=88
TT=3.746
T1=1.99
 OPT
f=88
TT=10.955
T1=4.34
 OPT
f=88
TT=22.295
T1=17.21
 OPT
f=88
TT=24.342
T1=12.8
 OPT
f=88
TT=215.768
T1=22.76
 OPT
f=88
TT=24.58
T1=12.73
 OPT
f=88
TT=50.527
T1=0.89
 OPT
f=88
TT=51.845
T1=1
 OPT
f=88
TT=51.142
T1=0.89
 OPT
f=88
TT=32.741
T1=0.23
 OPT
f=88
TT=40.42
T1=0.24
 OPT
f=88
TT=27.286
T1=27.18
PseudoBoolean/
PseudoBoolean-opt-dimacs/
Pb-par16-3.xml 		OPT
f=1015
TT=54.049
T1=26.3
 OPT
f=1015
TT=466.445
T1=228.52
 OPT
f=1015
TT=63.732
T1=26.7
 OPT
f=1015
TT=131.666
T1=50.61
 OPT
f=1015
TT=67.662
T1=26.3
 OPT
f=1015
TT=133.504
T1=32.67
 OPT
f=1015
TT=62.299
T1=25.45
 OPT
f=1015
TT=128.186
T1=33.61
 OPT
f=1015
TT=59.504
T1=57.86
 OPT
f=1015
TT=128.51
T1=30.89
 OPT
f=1015
TT=549.01
T1=253.56
 OPT
f=1015
TT=848.348
T1=65.23
 SAT (TO)
f=1015
TT=2520.12
T1=771.13
 OPT
f=1015
TT=894.526
T1=48.04
 SAT (TO)
f=1015
TT=2520.01
T1=137.79
 SAT (TO)
f=1015
TT=2519.6
T1=125.07
 SAT (TO)
f=1015
TT=2520.05
T1=125
 SAT (TO)
f=1015
TT=20118.6
T1=1764.33
 SAT (TO)
f=1015
TT=20119.1
T1=1805.05
 OPT
f=1015
TT=54.049
T1=53.99
PseudoBoolean/
PseudoBoolean-opt-factor/
Pb-factor-S9-P211-Q347.xml 		OPT
f=211
TT=0.087
T1=0
 OPT
f=211
TT=3.753
T1=3.46
 OPT
f=211
TT=2.587
T1=2.4
 OPT
f=211
TT=3.985
T1=3.75
 OPT
f=211
TT=2.297
T1=1.96
 OPT
f=211
TT=3.635
T1=3.03
 OPT
f=211
TT=2.311
T1=2
 OPT
f=211
TT=3.82
T1=3.13
 OPT
f=211
TT=1.518
T1=1.27
 OPT
f=211
TT=3.685
T1=3.05
 OPT
f=211
TT=10.057
T1=9.15
 OPT
f=211
TT=8.87
T1=7.97
 OPT
f=211
TT=12.317
T1=11.64
 OPT
f=211
TT=8.774
T1=7.87
 OPT
f=211
TT=0.088
T1=0
 OPT
f=211
TT=0.087
T1=0
 OPT
f=211
TT=0.088
T1=0
 OPT
f=211
TT=0.279
T1=0
 OPT
f=211
TT=0.303
T1=0
 OPT
f=211
TT=0.155
T1=0.09
PseudoBoolean/
PseudoBoolean-opt-factor/
Pb-factor-S9-P347-Q487.xml 		OPT
f=347
TT=0.076
T1=0
 OPT
f=347
TT=3.736
T1=3.46
 OPT
f=347
TT=2.272
T1=1.95
 OPT
f=347
TT=3.78
T1=3.05
 OPT
f=347
TT=2.425
T1=2.07
 OPT
f=347
TT=3.291
T1=3.06
 OPT
f=347
TT=2.306
T1=2
 OPT
f=347
TT=3.239
T1=2.95
 OPT
f=347
TT=1.367
T1=1.29
 OPT
f=347
TT=3.115
T1=2.32
 OPT
f=347
TT=8.71
T1=8.38
 OPT
f=347
TT=9.803
T1=9.44
 OPT
f=347
TT=9.941
T1=9.38
 OPT
f=347
TT=9.073
T1=8.72
 OPT
f=347
TT=0.076
T1=0
 OPT
f=347
TT=0.076
T1=0
 OPT
f=347
TT=0.078
T1=0
 OPT
f=347
TT=0.174
T1=0
 OPT
f=347
TT=0.177
T1=0
 OPT
f=347
TT=0.171
T1=0.09
PseudoBoolean/
PseudoBoolean-opt-fx/
Pb-fx84.xml 		OPT
f=8
TT=19.854
T1=19.72
 OPT
f=8
TT=19.854
T1=19.72
 OPT
f=8
TT=98.912
T1=98.83
 OPT
f=8
TT=290.805
T1=290.52
 OPT
f=8
TT=74.736
T1=74.59
 OPT
f=8
TT=149.081
T1=148.91
 OPT
f=8
TT=77.842
T1=77.51
 OPT
f=8
TT=141.589
T1=141.1
 ? (TO)

TT=2520.05

 OPT
f=8
TT=145.341
T1=144.74
 OPT
f=8
TT=70.007
T1=69.42
 OPT
f=8
TT=384.43
T1=384.13
 OPT
f=8
TT=760.633
T1=760.31
 OPT
f=8
TT=46.62
T1=46.33
 OPT
f=8
TT=70.755
T1=70.69
 OPT
f=8
TT=64.962
T1=64.87
 OPT
f=8
TT=68.909
T1=68.8
 OPT
f=8
TT=173.249
T1=172.33
 OPT
f=8
TT=177.559
T1=176.75
 OPT
f=8
TT=137.732
T1=137.68
PseudoBoolean/
PseudoBoolean-opt-logicSynthesis/
Pb-logic-m100-100-30-30-r.xml 		OPT
f=5
TT=30.281
T1=30.09
 OPT
f=5
TT=342.861
T1=30.09
 OPT
f=5
TT=717.138
T1=644.01
 OPT
f=5
TT=1713.26
T1=1543.26
 OPT
f=5
TT=733.785
T1=658.12
 OPT
f=5
TT=530.164
T1=218.87
 OPT
f=5
TT=725.947
T1=651.29
 OPT
f=5
TT=679.046
T1=403.68
 OPT
f=5
TT=1020.19
T1=1019.33
 OPT
f=5
TT=1695.11
T1=1496.62
 SAT (TO)
f=6
TT=2520.13
T1=41.63
 SAT (TO)
f=5
TT=2520.15
T1=984.38
 SAT (TO)
f=6
TT=2520.14
T1=44.12
 SAT (TO)
f=6
TT=2520.13
T1=16.8
 OPT
f=5
TT=1332.87
T1=1197.21
 OPT
f=5
TT=1163.09
T1=1044.66
 OPT
f=5
TT=1164.87
T1=1046.35
 OPT
f=5
TT=2160.24
T1=899.99
 OPT
f=5
TT=5555.27
T1=4159.27
 OPT
f=5
TT=30.281
T1=30.18
Bench nameBest resultsAbsCon
2019-07-23
(complete)		choco-solver
2019-06-14
(complete)		choco-solver
2019-06-14 parallel
(complete)		choco-solver
2019-09-16
(complete)		choco-solver
2019-09-16 parallel
(complete)		choco-solver
2019-09-20
(complete)		choco-solver
2019-09-20 parallel
(complete)		choco-solver
2019-09-24
(complete)		choco-solver
2019-09-24 parallel
(complete)		Concrete
3.10
(complete)		Concrete
3.12.2
(complete)		Concrete
3.12.2
(complete)		Concrete
3.12.3
(complete)		cosoco
2
(complete)		cosoco
2.0
(complete)		cosoco
2.0
(complete)		cosoco
2.0 parallel
(complete)		cosoco
2.O parallel
(complete)		PicatSAT
2019-09-12
(complete)
PseudoBoolean/
PseudoBoolean-opt-marketSplit/
Pb-msplit-4-30-2.xml 		UNSAT

TT=27.765

 UNSAT

TT=29.826

 UNSAT

TT=27.765

 UNSAT

TT=75.864

 UNSAT

TT=27.846

 UNSAT

TT=72.286

 UNSAT

TT=28.439

 UNSAT

TT=69.034

 UNSAT

TT=92.794

 UNSAT

TT=64.996

 UNSAT

TT=230.242

 UNSAT

TT=149.608

 UNSAT

TT=800.314

 UNSAT

TT=172.116

 UNSAT

TT=421.16

 UNSAT

TT=422.106

 UNSAT

TT=421.47

 UNSAT

TT=1368.65

 UNSAT

TT=1438.42

 UNSAT

TT=459.517
PseudoBoolean/
PseudoBoolean-opt-marketSplit/
Pb-msplit-opt-4-30-1.xml 		OPT
f=2
TT=75.855
T1=5.17
 OPT
f=2
TT=91.627
T1=7.13
 OPT
f=2
TT=85.268
T1=5.17
 OPT
f=2
TT=1162.82
T1=21.39
 OPT
f=2
TT=75.855
T1=11.5
 OPT
f=2
TT=193.794
T1=8.14
 OPT
f=2
TT=93.287
T1=34.03
 OPT
f=2
TT=177.643
T1=12.9
 OPT
f=2
TT=163.45
T1=20.47
 OPT
f=2
TT=180.023
T1=11.35
 OPT
f=2
TT=293.836
T1=36.1
 OPT
f=2
TT=261.498
T1=21.83
 OPT
f=2
TT=1364.71
T1=40.2
 OPT
f=2
TT=303.93
T1=52.18
 OPT
f=2
TT=862.101
T1=35.49
 OPT
f=2
TT=860.285
T1=35.58
 OPT
f=2
TT=860.446
T1=35.59
 OPT
f=2
TT=2612.09
T1=87.79
 OPT
f=2
TT=2489.83
T1=41.41
 OPT
f=2
TT=1222.31
T1=1222.24
PseudoBoolean/
PseudoBoolean-opt-marketSplit/
Pb-msplit-opt-4-30-3.xml 		OPT
f=2
TT=141.678
T1=7.96
 OPT
f=2
TT=141.678
T1=58.67
 OPT
f=2
TT=172.089
T1=21.37
 OPT
f=2
TT=327.989
T1=17.66
 OPT
f=2
TT=181.049
T1=28.4
 OPT
f=2
TT=282.756
T1=7.96
 OPT
f=2
TT=158.527
T1=15
 OPT
f=2
TT=318.402
T1=20.79
 OPT
f=2
TT=392.194
T1=49.82
 OPT
f=2
TT=330.347
T1=30.68
 OPT
f=2
TT=626.758
T1=61.63
 OPT
f=2
TT=486.886
T1=84.35
 SAT (TO)
f=2
TT=2520.08
T1=117.78
 OPT
f=2
TT=466.152
T1=57.61
 OPT
f=2
TT=1188.78
T1=101.29
 OPT
f=2
TT=1185.66
T1=101.3
 OPT
f=2
TT=1193.45
T1=102.31
 OPT
f=2
TT=4496.91
T1=74.15
 OPT
f=2
TT=4167.02
T1=82.14
 OPT
f=2
TT=1369.52
T1=1369.5
PseudoBoolean/
PseudoBoolean-opt-mps/
Pb-mps-v2-20-10-lseu.xml 		OPT
f=1120
TT=113.579
T1=23.28
 OPT
f=1120
TT=160.029
T1=23.28
 OPT
f=1120
TT=145.85
T1=24.23
 OPT
f=1120
TT=464.533
T1=324.1
 OPT
f=1120
TT=113.579
T1=69.84
 OPT
f=1120
TT=229.691
T1=163.88
 OPT
f=1120
TT=108.129
T1=47.9
 OPT
f=1120
TT=266.982
T1=263.08
 OPT
f=1120
TT=158.693
T1=30.77
 OPT
f=1120
TT=230.545
T1=112.93
 SAT (TO)
f=1120
TT=2520.1
T1=980.29
 SAT (TO)
f=1120
TT=2520.09
T1=250.95
 SAT (TO)
f=1120
TT=2520.06
T1=45.05
 SAT (TO)
f=1120
TT=2520.08
T1=123.39
 SAT (TO)
f=1120
TT=2519.94
T1=654.08
 SAT (TO)
f=1120
TT=2519.94
T1=652.77
 SAT (TO)
f=1120
TT=2520.09
T1=653.71
 OPT
f=1120
TT=12905
T1=1449.33
 OPT
f=1120
TT=10469.7
T1=2332.89
 OPT
f=1120
TT=188.125
T1=116.88
PseudoBoolean/
PseudoBoolean-opt-routing/
Pb-routing-s3-3-3-5.xml 		OPT
f=34
TT=2.888
T1=0.6
 OPT
f=34
TT=5.177
T1=3.76
 OPT
f=34
TT=4.681
T1=1.93
 OPT
f=34
TT=9.161
T1=3.17
 OPT
f=34
TT=4.995
T1=1.94
 OPT
f=34
TT=8.037
T1=3.27
 OPT
f=34
TT=6.853
T1=2.3
 OPT
f=34
TT=8.289
T1=2.63
 OPT
f=34
TT=2.888
T1=1.29
 OPT
f=34
TT=7.905
T1=2.5
 OPT
f=34
TT=96.857
T1=25.3
 OPT
f=34
TT=26.684
T1=11.97
 OPT
f=34
TT=105.138
T1=18.81
 OPT
f=34
TT=30.855
T1=12.7
 OPT
f=34
TT=8.24
T1=0.6
 OPT
f=34
TT=8.426
T1=0.6
 OPT
f=34
TT=8.326
T1=0.6
 OPT
f=34
TT=11.638
T1=2
 OPT
f=34
TT=10.548
T1=1.25
 OPT
f=34
TT=4.172
T1=4.1
QuadraticAssignment/
QuadraticAssignment-m1-s1/
QuadraticAssignment-chr15a.xml 		OPT
f=4948
TT=6.432
T1=6.05
 OPT
f=4948
TT=6.432
T1=6.05
 OPT
f=4948
TT=22.736
T1=21.93
 Wrong Opt.
f=5526
TT=13.13
T1=12.96
 OPT
f=4948
TT=18.857
T1=18.19
 OPT
f=4948
TT=25.403
T1=20.42
 OPT
f=4948
TT=17.37
T1=16.55
 OPT
f=4948
TT=22.381
T1=13.99
 OPT
f=4948
TT=10.347
T1=8.06
 OPT
f=4948
TT=22.516
T1=15.41
 OPT
f=4948
TT=18.287
T1=17.07
 OPT
f=4948
TT=20.64
T1=14.76
 OPT
f=4948
TT=24.802
T1=22.75
 OPT
f=4948
TT=22.611
T1=11.54
 OPT
f=4948
TT=22.77
T1=13.99
 OPT
f=4948
TT=22.601
T1=13.9
 OPT
f=4948
TT=22.679
T1=14
 OPT
f=4948
TT=171.077
T1=42.11
 OPT
f=4948
TT=203.567
T1=90.04
 OPT
f=4948
TT=194.999
T1=194.98
QuadraticAssignment/
QuadraticAssignment-m1-s1/
QuadraticAssignment-chr15c.xml 		OPT
f=4752
TT=8
T1=6.08
 OPT
f=4752
TT=8
T1=6.08
 OPT
f=4752
TT=38.96
T1=27.91
 OPT
f=4752
TT=48.355
T1=14.05
 OPT
f=4752
TT=27.54
T1=19.97
 OPT
f=4752
TT=38.533
T1=10.98
 OPT
f=4752
TT=28.261
T1=22.52
 OPT
f=4752
TT=49.899
T1=31.79
 OPT
f=4752
TT=38.295
T1=31.34
 OPT
f=4752
TT=41.653
T1=16.14
 OPT
f=4752
TT=23.898
T1=11.54
 OPT
f=4752
TT=35.778
T1=24.34
 OPT
f=4752
TT=56.867
T1=26.95
 OPT
f=4752
TT=31.654
T1=11.49
 OPT
f=4752
TT=50.133
T1=23.29
 OPT
f=4752
TT=49.666
T1=22.89
 OPT
f=4752
TT=49.418
T1=22.79
 OPT
f=4752
TT=369.817
T1=202.68
 OPT
f=4752
TT=465.46
T1=288.91
 OPT
f=4752
TT=195.951
T1=195.88
QuadraticAssignment/
QuadraticAssignment-m1-s1/
QuadraticAssignment-chr18a.xml 		OPT
f=5549
TT=12.699
T1=4.85
 OPT
f=5549
TT=12.699
T1=10.69
 OPT
f=5549
TT=232.794
T1=187.95
 Wrong Opt.
f=6194
TT=26.375
T1=25.42
 OPT
f=5549
TT=58.391
T1=7.35
 OPT
f=5549
TT=125.251
T1=55.05
 SAT (MO)
f=19809
TT=2.064
T1=1.96
 OPT
f=5549
TT=123.369
T1=17.1
 OPT
f=5549
TT=82.18
T1=4.85
 OPT
f=5549
TT=103.234
T1=16.18
 OPT
f=5549
TT=100.454
T1=28.87
 OPT
f=5549
TT=132.736
T1=44.41
 OPT
f=5549
TT=200.995
T1=18.98
 OPT
f=5549
TT=110.956
T1=16.23
 OPT
f=5549
TT=66.249
T1=27.89
 OPT
f=5549
TT=65.281
T1=27.49
 OPT
f=5549
TT=66.181
T1=27.89
 OPT
f=5549
TT=401.989
T1=159.53
 OPT
f=5549
TT=354.47
T1=86.74
 OPT
f=5549
TT=413.59
T1=145.27
QuadraticAssignment/
QuadraticAssignment-m1-s1/
QuadraticAssignment-chr22a.xml 		OPT
f=3078
TT=10.4
T1=7.45
 OPT
f=3078
TT=10.4
T1=7.45
 OPT
f=3078
TT=654.889
T1=520.39
 OPT
f=3078
TT=507.644
T1=335.91
 OPT
f=3078
TT=229.176
T1=58.01
 OPT
f=3078
TT=441.443
T1=301.14
 SAT (MO)
f=5189
TT=1.694
T1=1.63
 OPT
f=3078
TT=393.884
T1=199.82
 OPT
f=3078
TT=209.507
T1=80.95
 OPT
f=3078
TT=494.438
T1=315.98
 OPT
f=3078
TT=192.382
T1=53.33
 OPT
f=3078
TT=527.721
T1=15.25
 OPT
f=3078
TT=684.851
T1=51.19
 OPT
f=3078
TT=294.689
T1=18.17
 SAT (TO)
f=3078
TT=2520.05
T1=1610.51
 OPT
f=3078
TT=2488.33
T1=1583.06
 OPT
f=3078
TT=2514.21
T1=1598.99
 OPT
f=3078
TT=5282.6
T1=3534.32
 OPT
f=3078
TT=4121.5
T1=1478.21
 OPT
f=3078
TT=176.842
T1=176.77
QuadraticAssignment/
QuadraticAssignment-m1-s1/
QuadraticAssignment-esc16e.xml 		OPT
f=14
TT=13.194
T1=0
 OPT
f=14
TT=13.194
T1=3.42
 OPT
f=14
TT=43.704
T1=7.66
 OPT
f=14
TT=83.811
T1=5.72
 OPT
f=14
TT=53.713
T1=4.45
 OPT
f=14
TT=105.703
T1=8.08
 OPT
f=14
TT=54.103
T1=4.32
 OPT
f=14
TT=108.688
T1=7.95
 OPT
f=14
TT=89.321
T1=3.14
 OPT
f=14
TT=133.031
T1=6.44
 OPT
f=14
TT=81.777
T1=8.73
 OPT
f=14
TT=87.569
T1=9.15
 OPT
f=14
TT=135.269
T1=11.07
 OPT
f=14
TT=77.162
T1=9.03
 OPT
f=14
TT=35.295
T1=0
 OPT
f=14
TT=30.629
T1=0
 OPT
f=14
TT=30.609
T1=0
 OPT
f=14
TT=114.795
T1=0
 OPT
f=14
TT=131.641
T1=0
 OPT
f=14
TT=40.76
T1=40.69
Bench nameBest resultsAbsCon
2019-07-23
(complete)		choco-solver
2019-06-14
(complete)		choco-solver
2019-06-14 parallel
(complete)		choco-solver
2019-09-16
(complete)		choco-solver
2019-09-16 parallel
(complete)		choco-solver
2019-09-20
(complete)		choco-solver
2019-09-20 parallel
(complete)		choco-solver
2019-09-24
(complete)		choco-solver
2019-09-24 parallel
(complete)		Concrete
3.10
(complete)		Concrete
3.12.2
(complete)		Concrete
3.12.2
(complete)		Concrete
3.12.3
(complete)		cosoco
2
(complete)		cosoco
2.0
(complete)		cosoco
2.0
(complete)		cosoco
2.0 parallel
(complete)		cosoco
2.O parallel
(complete)		PicatSAT
2019-09-12
(complete)
QuadraticAssignment/
QuadraticAssignment-m1-s1/
QuadraticAssignment-kra30b.xml 		SAT TO
f=47490
TT=2520.04
T1=1409.15
 SAT (TO)
f=56570
TT=2520.1
T1=1016.03
 SAT (TO)
f=53475
TT=2520.77
T1=2110.49
 Wrong Opt.
f=58660
TT=11555.3
T1=11521.9
 SAT (TO)
f=48440
TT=2520.57
T1=1877.35
 SAT (TO)
f=48095
TT=20068.3
T1=793.41
 SAT (TO)
f=46630
TT=2520.43
T1=1092.2
 SAT (TO)
f=45770
TT=20079.3
T1=12335.3
 SAT (TO)
f=47490
TT=2520.04
T1=1409.15
 SAT (TO)
f=48410
TT=20080.4
T1=3347.89
 SAT (TO)
f=55315
TT=2520.13
T1=252.88
 SAT (TO)
f=57920
TT=2520.04
T1=1212.13
 SAT (TO)
f=56935
TT=2520.11
T1=1826.93
 SAT (TO)
f=55995
TT=2520.08
T1=143.89
 SAT (TO)
f=59555
TT=2519.88
T1=55.7
 SAT (TO)
f=59555
TT=2520.08
T1=54.99
 SAT (TO)
f=59555
TT=2519.82
T1=54.88
 SAT (TO)
f=59460
TT=20119.8
T1=4878.63
 SAT (TO)
f=59810
TT=20120.1
T1=19190.5
 ? (TO)

TT=2520.01
QuadraticAssignment/
QuadraticAssignment-m1-s1/
QuadraticAssignment-lipa50a.xml 		SAT TO
f=31118
TT=2520.06
T1=1731.51
 SAT (TO)
f=31573
TT=2520.09
T1=123.48
 SAT (TO)
f=31658
TT=2520.62
T1=298.62
 SAT (TO)
f=31626
TT=7615.71
T1=5647.27
 SAT (TO)
f=31216
TT=2520.39
T1=1969.3
 SAT (TO)
f=31138
TT=19698.7
T1=10048.9
 SAT (TO)
f=31216
TT=2520.29
T1=2031.96
 SAT (TO)
f=31163
TT=19623.8
T1=10940.2
 SAT (TO)
f=31118
TT=2520.06
T1=1731.51
 SAT (TO)
f=31134
TT=19800.4
T1=16046.6
 SAT (TO)
f=31518
TT=2520.04
T1=569.95
 SAT (TO)
f=31443
TT=2520.12
T1=1138.09
 SAT (TO)
f=31584
TT=2520.12
T1=378.02
 SAT (TO)
f=31575
TT=2520.12
T1=1279.55
 SAT (TO)
f=31710
TT=2519.92
T1=1445.04
 SAT (TO)
f=31710
TT=2520.01
T1=1322.89
 SAT (TO)
f=31710
TT=2520.06
T1=1287.41
 SAT (TO)
f=31666
TT=20116
T1=4005.74
 SAT (TO)
f=31672
TT=20117.9
T1=4902.13
 ? (TO)

TT=2519.86
QuadraticAssignment/
QuadraticAssignment-m1-s1/
QuadraticAssignment-scr15.xml 		OPT
f=25570
TT=22.763
T1=6.17
 OPT
f=25570
TT=22.763
T1=6.17
 OPT
f=25570
TT=1510.37
T1=1418.28
 OPT
f=25570
TT=757.356
T1=578.36
 OPT
f=25570
TT=749.127
T1=30.16
 OPT
f=25570
TT=718.815
T1=532
 OPT
f=25570
TT=708.102
T1=30.2
 OPT
f=25570
TT=886.629
T1=703.57
 OPT
f=25570
TT=171.034
T1=11.28
 OPT
f=25570
TT=673.397
T1=490.67
 OPT
f=25570
TT=379.654
T1=49.64
 OPT
f=25570
TT=391.963
T1=31.97
 OPT
f=25570
TT=920.04
T1=30.67
 OPT
f=25570
TT=610.166
T1=42.97
 OPT
f=25570
TT=730.003
T1=504.67
 OPT
f=25570
TT=729.162
T1=504.11
 OPT
f=25570
TT=729.943
T1=504.39
 OPT
f=25570
TT=2671.72
T1=2308.95
 OPT
f=25570
TT=2675.21
T1=1952.6
 OPT
f=25570
TT=1438.4
T1=148.38
QuadraticAssignment/
QuadraticAssignment-m1-s1/
QuadraticAssignment-tai10a.xml 		OPT
f=67514
TT=30.07
T1=5.45
 OPT
f=67514
TT=30.07
T1=7.75
 OPT
f=67514
TT=222.108
T1=78.19
 OPT
f=67514
TT=39.816
T1=39.36
 OPT
f=67514
TT=254.622
T1=60.78
 OPT
f=67514
TT=373.394
T1=157.38
 OPT
f=67514
TT=253.612
T1=33.82
 OPT
f=67514
TT=359.132
T1=121.52
 OPT
f=67514
TT=148.588
T1=7.92
 OPT
f=67514
TT=360.635
T1=5.45
 OPT
f=67514
TT=320.032
T1=67.44
 OPT
f=67514
TT=434.98
T1=26.74
 OPT
f=67514
TT=972.291
T1=68.02
 OPT
f=67514
TT=511.518
T1=47.08
 OPT
f=67514
TT=314.32
T1=142.01
 OPT
f=67514
TT=366.009
T1=165.59
 OPT
f=67514
TT=306.413
T1=138.49
 OPT
f=67514
TT=2197.96
T1=95.78
 OPT
f=67514
TT=2422.05
T1=138.03
 ? (TO)

TT=2520.04
QueenAttacking/
QueenAttacking-m1-s1/
QueenAttacking-07.xml 		OPT
f=0
TT=45.79
T1=45.65
 OPT
f=0
TT=51.847
T1=51.78
 OPT
f=0
TT=115.453
T1=115.41
 OPT
f=0
TT=11.469
T1=11.37
 OPT
f=0
TT=86.297
T1=86.13
 OPT
f=0
TT=142.428
T1=142.35
 OPT
f=0
TT=82.782
T1=82.41
 OPT
f=0
TT=37.947
T1=37.22
 OPT
f=0
TT=55.86
T1=55.74
 OPT
f=0
TT=49.773
T1=49.49
 OPT
f=0
TT=118.791
T1=118.66
 SAT (TO)
f=1
TT=2520.05
T1=32.6
 SAT (TO)
f=1
TT=2520.06
T1=766.3
 OPT
f=0
TT=45.79
T1=45.65
 SAT (TO)
f=1
TT=2520.05
T1=1551.82
 SAT (TO)
f=1
TT=2520.06
T1=1547.03
 SAT (TO)
f=1
TT=2520.09
T1=1518.04
 SAT (TO)
f=2
TT=20124.6
T1=2193.51
 SAT (TO)
f=2
TT=20126.2
T1=3424.42
 OPT
f=0
TT=1424.58
T1=1424.48
Ramsey/
Ramsey-int-s1/
Ramsey-int-13.xml 		OPT
f=2
TT=0.315
T1=0.2
 OPT
f=2
TT=4.46
T1=4.41
 ?

TT=369.127

 ?

TT=1353.93

 ?

TT=330.691

 ?

TT=7179.46

 ?

TT=342.515

 ?

TT=12603.2

 OPT
f=2
TT=164.717
T1=161.73
 ?

TT=995.833

 OPT
f=2
TT=162.417
T1=137.15
 OPT
f=2
TT=164.609
T1=113.23
 OPT
f=2
TT=2416.61
T1=1157.11
 OPT
f=2
TT=187.668
T1=38.2
 OPT
f=2
TT=0.322
T1=0.2
 OPT
f=2
TT=0.315
T1=0.21
 OPT
f=2
TT=0.315
T1=0.21
 OPT
f=2
TT=21.372
T1=20.98
 OPT
f=2
TT=23.315
T1=23.04
 OPT
f=2
TT=4.409
T1=4.39
Ramsey/
Ramsey-m1-s1/
Ramsey-13.xml 		OPT
f=2
TT=0.027
T1=0
 OPT
f=2
TT=4.115
T1=3.91
 OPT
f=2
TT=15.766
T1=15.69
 OPT
f=2
TT=6.221
T1=5.75
 OPT
f=2
TT=27.17
T1=27
 OPT
f=2
TT=22.324
T1=21.63
 OPT
f=2
TT=10.447
T1=10.28
 OPT
f=2
TT=21.452
T1=21.34
 OPT
f=2
TT=1795.62
T1=1795.46
 OPT
f=2
TT=27.079
T1=26.17
 OPT
f=2
TT=11.249
T1=10.96
 OPT
f=2
TT=9.671
T1=9.3
 OPT
f=2
TT=55.156
T1=54.96
 OPT
f=2
TT=10.963
T1=10.75
 OPT
f=2
TT=0.027
T1=0
 OPT
f=2
TT=0.028
T1=0
 OPT
f=2
TT=0.027
T1=0
 OPT
f=2
TT=0.103
T1=0
 OPT
f=2
TT=0.104
T1=0
 OPT
f=2
TT=16.603
T1=16.49
Ramsey/
Ramsey-m1-s1/
Ramsey-14.xml 		OPT
f=2
TT=0.042
T1=0
 OPT
f=2
TT=4.282
T1=4.23
 OPT
f=2
TT=80.979
T1=80.66
 OPT
f=2
TT=38.84
T1=38.52
 OPT
f=2
TT=1287.2
T1=1286.5
 OPT
f=2
TT=329.315
T1=328.45
 OPT
f=2
TT=405.71
T1=405.24
 OPT
f=2
TT=5415.92
T1=5414.7
 SAT (TO)
f=3
TT=2520.1
T1=2.06
 OPT
f=2
TT=154.455
T1=154
 OPT
f=2
TT=12.117
T1=11.88
 OPT
f=2
TT=18.028
T1=17.88
 OPT
f=2
TT=69.967
T1=69.86
 OPT
f=2
TT=12.095
T1=12.02
 OPT
f=2
TT=0.042
T1=0
 OPT
f=2
TT=0.042
T1=0
 OPT
f=2
TT=0.042
T1=0
 OPT
f=2
TT=0.203
T1=0
 OPT
f=2
TT=0.133
T1=0
 OPT
f=2
TT=27.832
T1=27.79
Ramsey/
Ramsey-m1-s1/
Ramsey-45.xml 		SAT TO
f=4
TT=2520
T1=1.19
 SAT (TO)
f=4
TT=2520.1
T1=11.71
 SAT (TO)
f=5
TT=2520.37
T1=894.35
 SAT (TO)
f=4
TT=20010
T1=997.19
 SAT (TO)
f=5
TT=2520.52
T1=812.51
 SAT (TO)
f=5
TT=19880.3
T1=1317.37
 SAT (TO)
f=5
TT=2520.47
T1=877.06
 SAT (TO)
f=5
TT=19822.5
T1=2150.98
 SAT (TO)
f=5
TT=2520.14
T1=1753.78
 SAT (TO)
f=5
TT=19866.4
T1=1639.54
 SAT (TO)
f=4
TT=2520.07
T1=97.3
 SAT (TO)
f=4
TT=2520.12
T1=132.55
 SAT (TO)
f=963
TT=2520.17
T1=2450.67
 SAT (TO)
f=4
TT=2520.09
T1=139.65
 SAT (TO)
f=4
TT=2520.08
T1=1.19
 SAT (TO)
f=4
TT=2520
T1=1.19
 SAT (TO)
f=4
TT=2520.04
T1=1.19
 SAT (TO)
f=4
TT=20104.2
T1=37.82
 SAT (TO)
f=4
TT=20107
T1=21.81
 ? (TO)

TT=2520.11
Rcpsp/Rcpsp-m1-j120/
Rcpsp-j120-41-06.xml 		OPT
f=113
TT=45.019
T1=23.96
 ? (exit code)

TT=4.022

 OPT
f=113
TT=45.019
T1=23.96
 OPT
f=113
TT=124.214
T1=77.93
 OPT
f=113
TT=111.665
T1=66.82
 OPT
f=113
TT=123.396
T1=59.41
 OPT
f=113
TT=91.491
T1=62.05
 OPT
f=113
TT=160.163
T1=61.3
 SAT (TO)
f=114
TT=2520.09
T1=1011.99
 OPT
f=113
TT=144.312
T1=85.52
 OPT
f=113
TT=596.606
T1=424.41
 OPT
f=113
TT=898.879
T1=41.57
 OPT
f=113
TT=1308.72
T1=82.75
 OPT
f=113
TT=839.476
T1=35.51
 ? (NS)

TT=0.103

 ? (NS)

TT=0.11

 ? (NS)

TT=0.104

 ? (NS)

TT=0.11

 ? (NS)

TT=0.111

 OPT
f=113
TT=170.901
T1=170.89
Bench nameBest resultsAbsCon
2019-07-23
(complete)		choco-solver
2019-06-14
(complete)		choco-solver
2019-06-14 parallel
(complete)		choco-solver
2019-09-16
(complete)		choco-solver
2019-09-16 parallel
(complete)		choco-solver
2019-09-20
(complete)		choco-solver
2019-09-20 parallel
(complete)		choco-solver
2019-09-24
(complete)		choco-solver
2019-09-24 parallel
(complete)		Concrete
3.10
(complete)		Concrete
3.12.2
(complete)		Concrete
3.12.2
(complete)		Concrete
3.12.3
(complete)		cosoco
2
(complete)		cosoco
2.0
(complete)		cosoco
2.0
(complete)		cosoco
2.0 parallel
(complete)		cosoco
2.O parallel
(complete)		PicatSAT
2019-09-12
(complete)
Rcpsp/Rcpsp-m1-j120/
Rcpsp-j120-43-06.xml 		OPT
f=98
TT=33.555
T1=12.94
 ? (exit code)

TT=3.939

 OPT
f=98
TT=33.555
T1=12.94
 Wrong Opt.
f=106
TT=4.834
T1=4.29
 OPT
f=98
TT=35.612
T1=24.7
 OPT
f=98
TT=74.051
T1=46.98
 OPT
f=98
TT=33.525
T1=21.22
 OPT
f=98
TT=42.333
T1=21.33
 SAT (TO)
f=98
TT=2520.05
T1=9.43
 OPT
f=98
TT=62.874
T1=29.88
 SAT (TO)
f=98
TT=2520.11
T1=60.6
 SAT (TO)
f=98
TT=2520.13
T1=31.97
 SAT (TO)
f=98
TT=2520.13
T1=20.82
 SAT (TO)
f=98
TT=2520.06
T1=14.65
 ? (NS)

TT=0.102

 ? (NS)

TT=0.103

 ? (NS)

TT=0.104

 ? (NS)

TT=0.109

 ? (NS)

TT=0.11

 OPT
f=98
TT=294.088
T1=293.61
Rcpsp/Rcpsp-m1-j30/
Rcpsp-j30-29-02.xml 		OPT
f=90
TT=324.466
T1=48.39
 ? (exit code)

TT=3.264

 OPT
f=90
TT=340.776
T1=120.21
 Wrong Opt.
f=102
TT=10.566
T1=9.82
 OPT
f=90
TT=328.237
T1=48.39
 OPT
f=90
TT=504.022
T1=65.59
 OPT
f=90
TT=242.978
T1=60.69
 OPT
f=90
TT=424.396
T1=77.25
 SAT (TO)
f=90
TT=2520.03
T1=26.31
 OPT
f=90
TT=528.47
T1=107
 OPT
f=90
TT=1217.87
T1=41.91
 OPT
f=90
TT=1924.59
T1=183.04
 SAT (TO)
f=90
TT=2520.06
T1=160.8
 OPT
f=90
TT=1368.62
T1=104.23
 ? (NS)

TT=0.026

 ? (NS)

TT=0.027

 ? (NS)

TT=0.027

 ? (NS)

TT=0.027

 ? (NS)

TT=0.028

 OPT
f=90
TT=324.466
T1=263.68
Rcpsp/Rcpsp-m1-j30/
Rcpsp-j30-29-05.xml 		OPT
f=98
TT=169.35
T1=20.78
 ? (exit code)

TT=3.288

 OPT
f=98
TT=169.35
T1=86.6
 OPT
f=98
TT=476.532
T1=305.46
 OPT
f=98
TT=204.885
T1=157.48
 OPT
f=98
TT=285.084
T1=20.86
 OPT
f=98
TT=160.706
T1=48.58
 OPT
f=98
TT=337.592
T1=159.42
 OPT
f=98
TT=1295.07
T1=857.92
 OPT
f=98
TT=322.19
T1=209.22
 OPT
f=98
TT=327.996
T1=13.23
 OPT
f=98
TT=654.411
T1=20.78
 OPT
f=98
TT=860.74
T1=273.48
 OPT
f=98
TT=578.35
T1=268.43
 ? (NS)

TT=0.026

 ? (NS)

TT=0.027

 ? (NS)

TT=0.026

 ? (NS)

TT=0.028

 ? (NS)

TT=0.027

 OPT
f=98
TT=210.112
T1=210.08
Rcpsp/Rcpsp-m1-j30/
Rcpsp-j30-29-07.xml 		OPT
f=73
TT=192.289
T1=20.37
 ? (exit code)

TT=3.284

 OPT
f=73
TT=280.79
T1=239.92
 OPT
f=73
TT=393.665
T1=143.53
 OPT
f=73
TT=192.289
T1=90.05
 OPT
f=73
TT=359.488
T1=34.3
 OPT
f=73
TT=198.753
T1=72.69
 OPT
f=73
TT=324.011
T1=66.79
 SAT (TO)
f=76
TT=2520.06
T1=11.89
 OPT
f=73
TT=306.85
T1=26.83
 OPT
f=73
TT=738.142
T1=60.5
 OPT
f=73
TT=1156.36
T1=577.56
 SAT (TO)
f=73
TT=2520.13
T1=1904.76
 OPT
f=73
TT=774.911
T1=20.37
 ? (NS)

TT=0.026

 ? (NS)

TT=0.027

 ? (NS)

TT=0.026

 ? (NS)

TT=0.028

 ? (NS)

TT=0.027

 OPT
f=73
TT=309.485
T1=309.46
Rcpsp/Rcpsp-m1-j30/
Rcpsp-j30-41-06.xml 		OPT
f=103
TT=117.755
T1=20.56
 ? (exit code)

TT=3.651

 OPT
f=103
TT=670.777
T1=116.65
 OPT
f=103
TT=960.763
T1=112.13
 OPT
f=103
TT=397.236
T1=20.56
 OPT
f=103
TT=1255.31
T1=184.27
 OPT
f=103
TT=616.284
T1=58.32
 OPT
f=103
TT=1089.25
T1=215.73
 SAT (TO)
f=107
TT=2520.08
T1=1.88
 OPT
f=103
TT=1187.56
T1=110.01
 SAT (TO)
f=103
TT=2520.09
T1=37.47
 SAT (TO)
f=103
TT=2520.1
T1=27.55
 SAT (TO)
f=103
TT=2520.14
T1=115.8
 OPT
f=103
TT=1717.46
T1=27.47
 ? (NS)

TT=0.03

 ? (NS)

TT=0.031

 ? (NS)

TT=0.03

 ? (NS)

TT=0.031

 ? (NS)

TT=0.032

 OPT
f=103
TT=117.755
T1=117.66
Rcpsp/Rcpsp-m1-j30/
Rcpsp-j30-45-01.xml 		OPT
f=82
TT=273.014
T1=54.79
 ? (exit code)

TT=3.281

 OPT
f=82
TT=273.014
T1=71.84
 Wrong Opt.
f=87
TT=47.137
T1=45.61
 OPT
f=82
TT=308.634
T1=68.56
 OPT
f=82
TT=654.636
T1=54.79
 OPT
f=82
TT=269.806
T1=87.45
 OPT
f=82
TT=629.385
T1=119.4
 OPT
f=82
TT=2398.7
T1=489.18
 OPT
f=82
TT=437.49
T1=109.13
 OPT
f=82
TT=1489.87
T1=89.7
 SAT (TO)
f=82
TT=2520.05
T1=64.87
 SAT (TO)
f=84
TT=2520.05
T1=1710.14
 OPT
f=82
TT=2354.17
T1=558.77
 ? (NS)

TT=0.03

 ? (NS)

TT=0.031

 ? (NS)

TT=0.03

 ? (NS)

TT=0.031

 ? (NS)

TT=0.032

 OPT
f=82
TT=280.089
T1=269.37
Rcpsp/Rcpsp-m1-j60/
Rcpsp-j60-21-01.xml 		OPT
f=103
TT=99.291
T1=89.76
 ? (exit code)

TT=3.5

 OPT
f=103
TT=99.291
T1=89.76
 OPT
f=103
TT=153.255
T1=87.74
 OPT
f=103
TT=133.797
T1=120.13
 OPT
f=103
TT=184.188
T1=134.23
 OPT
f=103
TT=128.551
T1=78.97
 OPT
f=103
TT=213.082
T1=153.54
 OPT
f=103
TT=1635.84
T1=1265.09
 OPT
f=103
TT=256.336
T1=211.71
 OPT
f=103
TT=206.986
T1=19.21
 OPT
f=103
TT=298.903
T1=168.49
 OPT
f=103
TT=1623.24
T1=1180.31
 OPT
f=103
TT=1258.14
T1=1025.63
 ? (NS)

TT=0.048

 ? (NS)

TT=0.048

 ? (NS)

TT=0.047

 ? (NS)

TT=0.049

 ? (NS)

TT=0.051

 OPT
f=103
TT=347.662
T1=347.56
Rcpsp/Rcpsp-m1-j60/
Rcpsp-j60-21-05.xml 		OPT
f=89
TT=307.391
T1=120.82
 ? (exit code)

TT=3.487

 OPT
f=89
TT=444.343
T1=120.82
 OPT
f=89
TT=557.722
T1=118.99
 OPT
f=89
TT=537.814
T1=225.86
 OPT
f=89
TT=1427.92
T1=317.33
 OPT
f=89
TT=867.863
T1=478.32
 OPT
f=89
TT=1303.23
T1=336.17
 SAT (TO)
f=89
TT=2520.04
T1=415.93
 OPT
f=89
TT=1155.89
T1=259.22
 SAT (TO)
f=89
TT=2520.09
T1=528.14
 SAT (TO)
f=89
TT=2520.1
T1=72.27
 SAT (TO)
f=89
TT=2520.08
T1=1189.13
 SAT (TO)
f=89
TT=2520.12
T1=1337.87
 ? (NS)

TT=0.047

 ? (NS)

TT=0.048

 ? (NS)

TT=0.048

 ? (NS)

TT=0.05

 ? (NS)

TT=0.05

 OPT
f=89
TT=307.391
T1=166.16
Rcpsp/Rcpsp-m1-j60/
Rcpsp-j60-21-07.xml 		OPT
f=103
TT=97.22
T1=22.71
 ? (exit code)

TT=3.512

 OPT
f=103
TT=97.22
T1=41.29
 OPT
f=103
TT=184.947
T1=118.44
 OPT
f=103
TT=105.747
T1=22.71
 OPT
f=103
TT=243.917
T1=85.2
 OPT
f=103
TT=125.728
T1=27.71
 OPT
f=103
TT=216.035
T1=55.47
 SAT (TO)
f=104
TT=2520.12
T1=547.73
 OPT
f=103
TT=260.261
T1=66.7
 SAT (TO)
f=103
TT=2520.05
T1=1055.1
 OPT
f=103
TT=1573.13
T1=278.21
 SAT (TO)
f=103
TT=2520.15
T1=712.17
 OPT
f=103
TT=2234.13
T1=472.81
 ? (NS)

TT=0.047

 ? (NS)

TT=0.048

 ? (NS)

TT=0.047

 ? (NS)

TT=0.05

 ? (NS)

TT=0.05

 OPT
f=103
TT=300.727
T1=293.58
Rcpsp/Rcpsp-m1-j60/
Rcpsp-j60-26-09.xml 		OPT
f=65
TT=44.84
T1=15.78
 ? (exit code)

TT=3.503

 OPT
f=65
TT=44.84
T1=23.27
 Wrong Opt.
f=71
TT=6.184
T1=5.49
 OPT
f=65
TT=64.988
T1=27.76
 OPT
f=65
TT=131.371
T1=33.84
 OPT
f=65
TT=64.27
T1=19.36
 OPT
f=65
TT=141.413
T1=29.95
 SAT (TO)
f=66
TT=2520.08
T1=15.31
 OPT
f=65
TT=109.96
T1=15.78
 OPT
f=65
TT=1287.3
T1=106.17
 OPT
f=65
TT=1429.64
T1=23.34
 SAT (TO)
f=65
TT=2520.04
T1=20.99
 OPT
f=65
TT=1608.35
T1=1043.69
 ? (NS)

TT=0.047

 ? (NS)

TT=0.048

 ? (NS)

TT=0.047

 ? (NS)

TT=0.05

 ? (NS)

TT=0.05

 OPT
f=65
TT=362.936
T1=292.86
Bench nameBest resultsAbsCon
2019-07-23
(complete)		choco-solver
2019-06-14
(complete)		choco-solver
2019-06-14 parallel
(complete)		choco-solver
2019-09-16
(complete)		choco-solver
2019-09-16 parallel
(complete)		choco-solver
2019-09-20
(complete)		choco-solver
2019-09-20 parallel
(complete)		choco-solver
2019-09-24
(complete)		choco-solver
2019-09-24 parallel
(complete)		Concrete
3.10
(complete)		Concrete
3.12.2
(complete)		Concrete
3.12.2
(complete)		Concrete
3.12.3
(complete)		cosoco
2
(complete)		cosoco
2.0
(complete)		cosoco
2.0
(complete)		cosoco
2.0 parallel
(complete)		cosoco
2.O parallel
(complete)		PicatSAT
2019-09-12
(complete)
Rcpsp/Rcpsp-m1-j60/
Rcpsp-j60-37-01.xml 		OPT
f=97
TT=166.61
T1=41.82
 ? (exit code)

TT=3.538

 OPT
f=97
TT=166.61
T1=41.82
 OPT
f=97
TT=467.65
T1=211.65
 OPT
f=97
TT=286.069
T1=128.39
 OPT
f=97
TT=598.382
T1=293.25
 OPT
f=97
TT=367.269
T1=138.39
 OPT
f=97
TT=856.058
T1=142.07
 SAT (TO)
f=98
TT=2520.02
T1=1883.86
 OPT
f=97
TT=691.25
T1=166.95
 OPT
f=97
TT=1291.72
T1=593.83
 OPT
f=97
TT=1433.14
T1=75.8
 SAT (TO)
f=97
TT=2520.06
T1=143.92
 OPT
f=97
TT=1741.49
T1=154.74
 ? (NS)

TT=0.054

 ? (NS)

TT=0.056

 ? (NS)

TT=0.054

 ? (NS)

TT=0.057

 ? (NS)

TT=0.058

 OPT
f=97
TT=199.969
T1=189.98
Rcpsp/Rcpsp-m1-j60/
Rcpsp-j60-37-03.xml 		OPT
f=139
TT=188.238
T1=34.5
 ? (exit code)

TT=3.561

 OPT
f=139
TT=188.238
T1=34.5
 OPT
f=139
TT=765.68
T1=269.12
 OPT
f=139
TT=244
T1=56.73
 OPT
f=139
TT=379.584
T1=218.27
 OPT
f=139
TT=231.914
T1=107.64
 OPT
f=139
TT=535.937
T1=121.27
 SAT (TO)
f=148
TT=2520.05
T1=710.58
 OPT
f=139
TT=509.137
T1=112.44
 SAT (TO)
f=142
TT=2520.05
T1=100.09
 SAT (TO)
f=141
TT=2520.08
T1=1630.02
 SAT (TO)
f=142
TT=2520.12
T1=374.38
 SAT (TO)
f=139
TT=2520.11
T1=289.05
 ? (NS)

TT=0.055

 ? (NS)

TT=0.055

 ? (NS)

TT=0.055

 ? (NS)

TT=0.058

 ? (NS)

TT=0.058

 OPT
f=139
TT=250.971
T1=250.9
Rcpsp/Rcpsp-m1-j60/
Rcpsp-j60-46-08.xml 		OPT
f=75
TT=70.283
T1=20.74
 ? (exit code)

TT=3.493

 OPT
f=75
TT=210.914
T1=207.28
 OPT
f=75
TT=361.926
T1=347.41
 OPT
f=75
TT=176.326
T1=155.43
 OPT
f=75
TT=239.4
T1=204.47
 OPT
f=75
TT=189.759
T1=175.02
 OPT
f=75
TT=416.086
T1=398.89
 OPT
f=75
TT=148.589
T1=32.69
 OPT
f=75
TT=132.096
T1=95.01
 OPT
f=75
TT=63.861
T1=46.77
 OPT
f=75
TT=237.025
T1=209.26
 OPT
f=75
TT=70.283
T1=20.74
 OPT
f=75
TT=80.213
T1=53.88
 ? (NS)

TT=0.055

 ? (NS)

TT=0.055

 ? (NS)

TT=0.054

 ? (NS)

TT=0.057

 ? (NS)

TT=0.058

 OPT
f=75
TT=1394.76
T1=1394.66
Rcpsp/Rcpsp-m1-j90/
Rcpsp-j90-06-08.xml 		OPT
f=68
TT=50.71
T1=18.62
 ? (exit code)

TT=3.715

 OPT
f=68
TT=50.71
T1=36.52
 OPT
f=68
TT=70.388
T1=43.69
 OPT
f=68
TT=90.054
T1=50.84
 OPT
f=68
TT=138.02
T1=40.25
 OPT
f=68
TT=90.702
T1=49.21
 OPT
f=68
TT=122.384
T1=49.19
 OPT
f=68
TT=2393.26
T1=2238.7
 OPT
f=68
TT=183.285
T1=86.78
 OPT
f=68
TT=83.995
T1=31.7
 OPT
f=68
TT=183.319
T1=32.65
 OPT
f=68
TT=1418.62
T1=1298.03
 OPT
f=68
TT=84.663
T1=18.62
 ? (NS)

TT=0.057

 ? (NS)

TT=0.058

 ? (NS)

TT=0.058

 ? (NS)

TT=0.061

 ? (NS)

TT=0.062

 OPT
f=68
TT=394.57
T1=385.67
Rlfap/Rlfap-opt/
Rlfap-graph-05-opt_c18.xml 		OPT
f=221
TT=9.425
T1=8.03
 OPT
f=221
TT=9.425
T1=8.03
 SAT (TO)
f=40765
TT=2520.65
T1=112.7
 SAT (TO)
f=5642
TT=19724.7
T1=7617.17
 SAT (TO)
f=12293
TT=2520.71
T1=2309.55
 SAT (TO)
f=6817
TT=19609.6
T1=4861.35
 SAT (TO)
f=12293
TT=2520.41
T1=2228.68
 SAT (TO)
f=5831
TT=19286.4
T1=18616.5
 SAT (TO)
f=11031
TT=2520.04
T1=2290.7
 SAT (TO)
f=12346
TT=19595.8
T1=19222.7
 SAT (TO)
f=32999
TT=2520.08
T1=25.14
 SAT (TO)
f=32429
TT=2520.16
T1=22.62
 SAT (TO)
f=41032
TT=2520.16
T1=230.12
 SAT (TO)
f=20961
TT=2520.15
T1=22.68
 OPT
f=221
TT=10.765
T1=9.68
 OPT
f=221
TT=10.678
T1=9.59
 OPT
f=221
TT=10.622
T1=9.48
 OPT
f=221
TT=118.129
T1=107.87
 OPT
f=221
TT=166.303
T1=136.68
 OPT
f=221
TT=653.134
T1=653.07
Rlfap/Rlfap-opt/
Rlfap-graph-08-opt_c18.xml 		SAT TO
f=18
TT=2520.11
T1=19.76
 SAT (TO)
f=18
TT=2520.11
T1=19.76
 SAT (TO)
f=36
TT=2520.61
T1=2256.83
 SAT (TO)
f=22
TT=19944.5
T1=2109.64
 SAT (TO)
f=36
TT=2520.7
T1=2170.01
 SAT (TO)
f=18
TT=20041.1
T1=4504.84
 SAT (TO)
f=38
TT=2520.3
T1=1061.87
 SAT (TO)
f=18
TT=20022.9
T1=19307.5
 SAT (TO)
f=22
TT=2520.06
T1=212.38
 SAT (TO)
f=18
TT=20050
T1=3914.83
 SAT (TO)
f=20
TT=2520.1
T1=489.16
 ?

TT=19.622

 ?

TT=17.9

 ?

TT=19.275

 SAT (TO)
f=20
TT=2519.74
T1=5.49
 SAT (TO)
f=20
TT=2519.8
T1=5.48
 SAT (TO)
f=20
TT=2519.89
T1=5.59
 SAT (TO)
f=20
TT=20084.3
T1=26.88
 SAT (TO)
f=20
TT=20083.4
T1=24.92
 ? (TO)

TT=2519.63
Rlfap/Rlfap-opt/
Rlfap-graph-10-opt_c18.xml 		OPT
f=394
TT=5.681
T1=5.59
 OPT
f=394
TT=11.938
T1=11.88
 SAT (TO)
f=778
TT=2520.71
T1=20.29
 OPT
f=394
TT=35.656
T1=34.97
 OPT
f=394
TT=65.746
T1=65.58
 OPT
f=394
TT=30.063
T1=29.4
 OPT
f=394
TT=67.117
T1=67.03
 OPT
f=394
TT=26.883
T1=26.67
 OPT
f=394
TT=18.236
T1=18.07
 OPT
f=394
TT=28.309
T1=28.14
 OPT
f=394
TT=43.701
T1=43.56
 OPT
f=394
TT=43.718
T1=43.61
 OPT
f=394
TT=186.639
T1=186.55
 OPT
f=394
TT=40.19
T1=40.12
 OPT
f=394
TT=5.747
T1=5.69
 OPT
f=394
TT=5.681
T1=5.59
 OPT
f=394
TT=5.725
T1=5.69
 OPT
f=394
TT=13.502
T1=13.27
 OPT
f=394
TT=12.69
T1=12.22
 OPT
f=394
TT=477.569
T1=477.54
Rlfap/Rlfap-opt/
Rlfap-scen-09-opt_c18.xml 		SAT TO
f=17553
TT=19734.7
T1=16005.8
 SAT (TO)
f=35986
TT=2520.1
T1=259.09
 SAT (TO)
f=34602
TT=2520.76
T1=210.21
 SAT (TO)
f=34602
TT=15035.3
T1=446.42
 SAT (TO)
f=24644
TT=2520.37
T1=872.23
 SAT (TO)
f=18942
TT=19648.9
T1=15994.3
 SAT (TO)
f=24644
TT=2520.7
T1=879.84
 SAT (TO)
f=17716
TT=19755.3
T1=19088.5
 SAT (TO)
f=18420
TT=2520.11
T1=2453.93
 SAT (TO)
f=17553
TT=19734.7
T1=16005.8
 SAT (TO)
f=79691
TT=2520.14
T1=87.51
 SAT (TO)
f=124128
TT=2520.21
T1=84.42
 SAT (TO)
f=135726
TT=2520.18
T1=285.72
 SAT (TO)
f=80814
TT=2520.12
T1=87.41
 SAT (TO)
f=58361
TT=2519.83
T1=181.06
 SAT (TO)
f=58361
TT=2519.77
T1=183.96
 SAT (TO)
f=58361
TT=2519.77
T1=177.69
 SAT (TO)
f=44933
TT=19945.6
T1=8600.75
 SAT (TO)
f=39651
TT=19944.3
T1=14758.9
 ? (TO)

TT=2519.78
Scheduling/
Scheduling-fs-taillard/
Taillard-fs-200-10-1.xml



? (problem)

TT=50.107

 ? (TO)

TT=2520.3

 ? (TO)

TT=20059.5

 ? (TO)

TT=2520.52

 ? (TO)

TT=20043

 ? (TO)

TT=2520.79

 ? (TO)

TT=20025.6

 ? (TO)

TT=2520.07

 ? (TO)

TT=20020.8

 ? (TO)

TT=2522.17

 ? (TO)

TT=2522.1

 ? (TO)

TT=2522.1

 ? (TO)

TT=2527.7

 ? (TO)

TT=2520.09

 ? (TO)

TT=2519.96

 ? (TO)

TT=2519.89

 ? (TO)

TT=20052

 ? (TO)

TT=20045.1

 ? (TO)

TT=2519.69
Scheduling/
Scheduling-js-taillard/
Taillard-js-030-15-2.xml



? (TO)

TT=2520.04

 ? (TO)

TT=2520.39

 ? (TO)

TT=19875.3

 ? (TO)

TT=2520.33

 ? (TO)

TT=19993.2

 ? (TO)

TT=2520.63

 ? (TO)

TT=19978.1

 ? (TO)

TT=2520.09

 ? (TO)

TT=19949.9

 ? (TO)

TT=2520.13

 ? (TO)

TT=2520.16

 ? (TO)

TT=2520.16

 ? (TO)

TT=2520.11

 ? (TO)

TT=2519.87

 ? (TO)

TT=2519.81

 ? (TO)

TT=2519.92

 ? (TO)

TT=20118.3

 ? (TO)

TT=20118.6

 ? (TO)

TT=2519.44
Bench nameBest resultsAbsCon
2019-07-23
(complete)		choco-solver
2019-06-14
(complete)		choco-solver
2019-06-14 parallel
(complete)		choco-solver
2019-09-16
(complete)		choco-solver
2019-09-16 parallel
(complete)		choco-solver
2019-09-20
(complete)		choco-solver
2019-09-20 parallel
(complete)		choco-solver
2019-09-24
(complete)		choco-solver
2019-09-24 parallel
(complete)		Concrete
3.10
(complete)		Concrete
3.12.2
(complete)		Concrete
3.12.2
(complete)		Concrete
3.12.3
(complete)		cosoco
2
(complete)		cosoco
2.0
(complete)		cosoco
2.0
(complete)		cosoco
2.0 parallel
(complete)		cosoco
2.O parallel
(complete)		PicatSAT
2019-09-12
(complete)
Scheduling/
Scheduling-js-taillard/
Taillard-js-050-15-1.xml



? (TO)

TT=2520.04

 ? (TO)

TT=2520.48

 ? (TO)

TT=19968.1

 ? (TO)

TT=2520.62

 ? (TO)

TT=20050.3

 ? (TO)

TT=2520.7

 ? (TO)

TT=20054.5

 ? (TO)

TT=2520.09

 ? (TO)

TT=20043.8

 ? (TO)

TT=2520.12

 ? (TO)

TT=2520.27

 ? (TO)

TT=2520.14

 ? (TO)

TT=2520.38

 ? (TO)

TT=2520.02

 ? (TO)

TT=2519.83

 ? (TO)

TT=2519.79

 ? (TO)

TT=20114.4

 ? (TO)

TT=20113.7

 ? (TO)

TT=2519.82
Scheduling/
Scheduling-js-taillard/
Taillard-js-100-20-6.xml



? (problem)

TT=63.364

 ? (TO)

TT=2520.63

 ? (TO)

TT=20073.9

 ? (TO)

TT=2520.65

 ? (TO)

TT=20054.8

 ? (TO)

TT=2520.61

 ? (TO)

TT=20076

 ? (TO)

TT=2520.05

 ? (TO)

TT=20064.5

 ? (TO)

TT=2522.07

 ? (TO)

TT=2522.13

 ? (TO)

TT=2522.11

 ? (TO)

TT=2522.25

 ? (TO)

TT=2519.99

 ? (TO)

TT=2519.56

 ? (TO)

TT=2519.67

 ? (TO)

TT=20080.3

 ? (TO)

TT=20075.7

 ? (TO)

TT=2519.87
Scheduling/
Scheduling-os-taillard/
Taillard-os-05-05-0.xml 		OPT
f=300
TT=25.215
T1=25.19
 OPT
f=300
TT=1522.89
T1=458.04
 SAT (MO)
f=334
TT=18.36
T1=17.97
 Wrong Opt.
f=310
TT=22.842
T1=22.44
 OPT
f=300
TT=121.332
T1=55.65
 OPT
f=300
TT=308.017
T1=144.54
 OPT
f=300
TT=85.474
T1=22.37
 OPT
f=300
TT=272.29
T1=94.97
 OPT
f=300
TT=2367.1
T1=1066.52
 OPT
f=300
TT=222.846
T1=67.88
 SAT (TO)
f=300
TT=2520.12
T1=329.24
 SAT (TO)
f=301
TT=2520.07
T1=91.76
 SAT (TO)
f=300
TT=2520.09
T1=2293.78
 SAT (TO)
f=300
TT=2520.14
T1=167.92
 SAT (TO)
f=317
TT=2519.3
T1=332.2
 SAT (TO)
f=317
TT=2519.99
T1=288.94
 SAT (TO)
f=317
TT=2519.53
T1=287.94
 SAT (TO)
f=301
TT=20126.3
T1=3006.02
 SAT (TO)
f=301
TT=20129.6
T1=17854.5
 OPT
f=300
TT=25.215
T1=25.19
Scheduling/
Scheduling-os-taillard/
Taillard-os-05-05-1.xml 		OPT
f=262
TT=27.934
T1=27.88
 OPT
f=262
TT=517.227
T1=158.72
 OPT
f=262
TT=232.421
T1=144.51
 OPT
f=262
TT=209.259
T1=82.97
 OPT
f=262
TT=128.493
T1=53.58
 OPT
f=262
TT=220.046
T1=47.36
 OPT
f=262
TT=114.662
T1=53
 OPT
f=262
TT=124.02
T1=47.13
 OPT
f=262
TT=200.104
T1=50.4
 OPT
f=262
TT=226.132
T1=40.28
 OPT
f=262
TT=1059.16
T1=215.71
 OPT
f=262
TT=800.182
T1=204.79
 SAT (TO)
f=262
TT=2520.13
T1=895.99
 OPT
f=262
TT=1285.8
T1=167.14
 SAT (TO)
f=276
TT=2519.94
T1=1485.06
 SAT (TO)
f=276
TT=2520.06
T1=1481.45
 SAT (TO)
f=276
TT=2519.97
T1=1489.02
 SAT (TO)
f=262
TT=20126.7
T1=1710.6
 SAT (TO)
f=262
TT=20125.9
T1=396.77
 OPT
f=262
TT=27.934
T1=27.88
Scheduling/
Scheduling-os-taillard/
Taillard-os-05-05-3.xml 		OPT
f=310
TT=32.745
T1=32.68
 OPT
f=310
TT=877.12
T1=644.99
 OPT
f=310
TT=121.096
T1=96.19
 OPT
f=310
TT=148.221
T1=91.86
 OPT
f=310
TT=107.486
T1=81.19
 OPT
f=310
TT=156.509
T1=113.13
 OPT
f=310
TT=114.397
T1=70.2
 OPT
f=310
TT=181.115
T1=94.95
 OPT
f=310
TT=1811.36
T1=1021.02
 OPT
f=310
TT=174.523
T1=129.07
 SAT (TO)
f=311
TT=2520.12
T1=128.35
 SAT (TO)
f=310
TT=2520.1
T1=1736.19
 SAT (TO)
f=311
TT=2520.12
T1=187.77
 SAT (TO)
f=310
TT=2520.15
T1=147.39
 SAT (TO)
f=322
TT=2520.02
T1=978.28
 SAT (TO)
f=321
TT=2519.68
T1=2277.88
 SAT (TO)
f=321
TT=2519.52
T1=2278.69
 SAT (TO)
f=314
TT=20125.5
T1=5707.6
 SAT (TO)
f=311
TT=20127.9
T1=5899.58
 OPT
f=310
TT=32.745
T1=32.68
Scheduling/
Scheduling-os-taillard/
Taillard-os-05-05-4.xml 		OPT
f=326
TT=26.269
T1=26.19
 OPT
f=326
TT=504.297
T1=312.47
 OPT
f=326
TT=146.268
T1=126.7
 OPT
f=326
TT=129.412
T1=116.39
 OPT
f=326
TT=65.509
T1=56.94
 OPT
f=326
TT=113.224
T1=63.57
 OPT
f=326
TT=75.086
T1=53.67
 OPT
f=326
TT=148.621
T1=113.26
 OPT
f=326
TT=1449.34
T1=338.75
 OPT
f=326
TT=124.658
T1=96.51
 SAT (TO)
f=326
TT=2520.09
T1=1414.66
 SAT (TO)
f=326
TT=2520.09
T1=59.27
 SAT (TO)
f=326
TT=2520.14
T1=472.74
 SAT (TO)
f=326
TT=2520.19
T1=1018.84
 SAT (TO)
f=348
TT=2520.04
T1=1118.7
 SAT (TO)
f=348
TT=2519.99
T1=974.94
 SAT (TO)
f=348
TT=2519.57
T1=978.22
 SAT (TO)
f=329
TT=20125.4
T1=3182.35
 SAT (TO)
f=333
TT=20125.3
T1=7803.94
 OPT
f=326
TT=26.269
T1=26.19
Scheduling/
Scheduling-os-taillard/
Taillard-os-05-05-5.xml 		OPT
f=312
TT=30.092
T1=14.97
 OPT
f=312
TT=1078.43
T1=48.58
 OPT
f=312
TT=379.488
T1=297.95
 OPT
f=312
TT=317.85
T1=232.83
 OPT
f=312
TT=206.972
T1=81.44
 OPT
f=312
TT=315.18
T1=115.58
 OPT
f=312
TT=165.284
T1=137.98
 OPT
f=312
TT=317.03
T1=216.83
 OPT
f=312
TT=987.289
T1=14.97
 OPT
f=312
TT=348.533
T1=211.91
 SAT (TO)
f=312
TT=2520.07
T1=997.79
 SAT (TO)
f=312
TT=2520.05
T1=51.1
 SAT (TO)
f=312
TT=2520.07
T1=532.64
 SAT (TO)
f=312
TT=2520.1
T1=2112.26
 SAT (TO)
f=338
TT=2520.03
T1=1771.55
 SAT (TO)
f=338
TT=2520.03
T1=1776.28
 SAT (TO)
f=338
TT=2520
T1=1769.09
 SAT (TO)
f=317
TT=20125.3
T1=17553.7
 SAT (TO)
f=318
TT=20124.7
T1=5065.32
 OPT
f=312
TT=30.092
T1=29.99
Scheduling/
Scheduling-os-taillard/
Taillard-os-05-05-6.xml 		OPT
f=303
TT=29.405
T1=29.39
 SAT (TO)
f=303
TT=2520.1
T1=2391.55
 OPT
f=303
TT=486.44
T1=388.55
 OPT
f=303
TT=424.452
T1=337.2
 OPT
f=303
TT=235.804
T1=177.25
 OPT
f=303
TT=394.422
T1=228.58
 OPT
f=303
TT=186.758
T1=85.96
 OPT
f=303
TT=324.466
T1=123.77
 OPT
f=303
TT=1415.21
T1=304.74
 OPT
f=303
TT=382.077
T1=124.48
 SAT (TO)
f=303
TT=2520.11
T1=2348.6
 SAT (TO)
f=303
TT=2520.15
T1=609.89
 SAT (TO)
f=303
TT=2520.1
T1=308.25
 SAT (TO)
f=303
TT=2520.21
T1=352.4
 SAT (TO)
f=312
TT=2520.11
T1=1280.39
 SAT (TO)
f=312
TT=2519.99
T1=1277.83
 SAT (TO)
f=312
TT=2519.5
T1=1281.56
 SAT (TO)
f=309
TT=20126.9
T1=17395.3
 SAT (TO)
f=306
TT=20126.3
T1=1560.44
 OPT
f=303
TT=29.405
T1=29.39
Scheduling/
Scheduling-os-taillard/
Taillard-os-05-05-8.xml 		OPT
f=353
TT=28.187
T1=28.09
 OPT
f=353
TT=443.566
T1=249.64
 OPT
f=353
TT=182.066
T1=156.78
 OPT
f=353
TT=117.309
T1=69.01
 OPT
f=353
TT=84.584
T1=62.14
 OPT
f=353
TT=129.859
T1=57.24
 OPT
f=353
TT=68.968
T1=43.4
 OPT
f=353
TT=170.374
T1=106.64
 OPT
f=353
TT=368.309
T1=237.15
 OPT
f=353
TT=137.058
T1=74.95
 SAT (TO)
f=353
TT=2520.08
T1=173.5
 SAT (TO)
f=353
TT=2520.09
T1=94.99
 SAT (TO)
f=357
TT=2520.04
T1=114.39
 SAT (TO)
f=353
TT=2520.11
T1=63.7
 SAT (TO)
f=387
TT=2520.03
T1=1234.75
 SAT (TO)
f=387
TT=2519.85
T1=1242.57
 SAT (TO)
f=387
TT=2519.56
T1=1236.9
 SAT (TO)
f=359
TT=20129.4
T1=2981.7
 SAT (TO)
f=355
TT=20126.7
T1=1611.35
 OPT
f=353
TT=28.187
T1=28.09
Scheduling/
Scheduling-os-taillard/
Taillard-os-05-05-9.xml 		OPT
f=326
TT=36.284
T1=21.42
 OPT
f=326
TT=2458.31
T1=672.28
 OPT
f=326
TT=475.094
T1=152.74
 Wrong Opt.
f=383
TT=4.323
T1=3.8
 OPT
f=326
TT=250.375
T1=116.04
 OPT
f=326
TT=528.587
T1=151.51
 OPT
f=326
TT=220.563
T1=80.27
 OPT
f=326
TT=432.481
T1=54.17
 OPT
f=326
TT=1165.06
T1=50.51
 OPT
f=326
TT=639.452
T1=21.42
 SAT (TO)
f=326
TT=2520.09
T1=510
 SAT (TO)
f=326
TT=2520.09
T1=64.67
 SAT (TO)
f=326
TT=2520.11
T1=604.74
 SAT (TO)
f=326
TT=2520.06
T1=508.77
 SAT (TO)
f=349
TT=2520.02
T1=2302.1
 SAT (TO)
f=349
TT=2519.76
T1=2017.84
 SAT (TO)
f=349
TT=2519.69
T1=1998.62
 SAT (TO)
f=326
TT=20126
T1=12874.9
 SAT (TO)
f=326
TT=20125.6
T1=7104.55
 OPT
f=326
TT=36.284
T1=36.19
Bench nameBest resultsAbsCon
2019-07-23
(complete)		choco-solver
2019-06-14
(complete)		choco-solver
2019-06-14 parallel
(complete)		choco-solver
2019-09-16
(complete)		choco-solver
2019-09-16 parallel
(complete)		choco-solver
2019-09-20
(complete)		choco-solver
2019-09-20 parallel
(complete)		choco-solver
2019-09-24
(complete)		choco-solver
2019-09-24 parallel
(complete)		Concrete
3.10
(complete)		Concrete
3.12.2
(complete)		Concrete
3.12.2
(complete)		Concrete
3.12.3
(complete)		cosoco
2
(complete)		cosoco
2.0
(complete)		cosoco
2.0
(complete)		cosoco
2.0 parallel
(complete)		cosoco
2.O parallel
(complete)		PicatSAT
2019-09-12
(complete)
Scheduling/
Scheduling-os-taillard/
Taillard-os-07-07-8.xml 		OPT
f=458
TT=29.098
T1=28.99
 SAT (TO)
f=556
TT=2520.06
T1=1462.76
 SAT (TO)
f=460
TT=2520.52
T1=2452.09
 OPT
f=458
TT=5036.86
T1=5036.31
 OPT
f=458
TT=98.501
T1=98.37
 OPT
f=458
TT=183.967
T1=183.45
 OPT
f=458
TT=1710.4
T1=1709.86
 OPT
f=458
TT=687.309
T1=686.52
 SAT (TO)
f=464
TT=2520.1
T1=25.85
 OPT
f=458
TT=189.644
T1=189.54
 SAT (TO)
f=463
TT=2520.11
T1=137.06
 OPT
f=458
TT=1152.46
T1=1152.32
 SAT (TO)
f=470
TT=2520.06
T1=1511.08
 SAT (TO)
f=465
TT=2520.25
T1=329.79
 ? (TO)

TT=2519.94

 ? (TO)

TT=2519.41

 ? (TO)

TT=2519.52

 SAT (TO)
f=498
TT=20125.8
T1=8450.26
 SAT (TO)
f=511
TT=20124.2
T1=11376.2
 OPT
f=458
TT=29.098
T1=28.99
Scheduling/
Scheduling-os-taillard/
Taillard-os-10-10-6.xml 		OPT
f=616
TT=1735.1
T1=1735.05
 ? (TO)

TT=2520.05

 SAT (TO)
f=684
TT=2520.52
T1=2476.99
 Wrong Opt.
f=681
TT=4283.23
T1=4282.52
 SAT (TO)
f=668
TT=2520.45
T1=2319.94
 SAT (TO)
f=654
TT=19924.8
T1=18747.6
 SAT (TO)
f=668
TT=2520.38
T1=2363.96
 SAT (TO)
f=653
TT=19959
T1=18908.6
 SAT (TO)
f=638
TT=2520.09
T1=2455.59
 SAT (TO)
f=617
TT=19947
T1=6126.4
 SAT (TO)
f=689
TT=2520.06
T1=870.75
 SAT (TO)
f=680
TT=2520.14
T1=2389.82
 SAT (TO)
f=687
TT=2520.08
T1=2109.43
 SAT (TO)
f=665
TT=2520.13
T1=2465.46
 ? (TO)

TT=2520.03

 ? (TO)

TT=2519.79

 ? (TO)

TT=2519.66

 SAT (TO)
f=722
TT=20121.7
T1=18479
 SAT (TO)
f=721
TT=20126.4
T1=2436.87
 OPT
f=616
TT=1735.1
T1=1735.05
Scheduling/
Scheduling-os-taillard/
Taillard-os-15-15-5.xml



? (TO)

TT=2520.11

 ? (TO)

TT=2520.71

 ? (TO)

TT=20019.9

 ? (TO)

TT=2520.58

 ? (TO)

TT=19908.7

 ? (TO)

TT=2520.28

 ? (TO)

TT=19902.7

 ? (TO)

TT=2520.05

 ? (TO)

TT=19856.4

 SAT (TO)
f=1058
TT=2520.12
T1=1453.92
 ? (TO)

TT=2520.16

 ? (TO)

TT=2520.1

 ? (TO)

TT=2520.11

 ? (TO)

TT=2519.95

 ? (TO)

TT=2519.87

 ? (TO)

TT=2519.73

 ? (TO)

TT=20122.1

 ? (TO)

TT=20117.6

 ? (TO)

TT=2519.76
SteelMillSlab/
SteelMillSlab-bench_10_9.xml 		SAT TO
f=142
TT=2520.15
T1=2413.08
 ? (TO)

TT=2520.07

 SAT (TO)
f=305
TT=2521.13
T1=302.36
 SAT (TO)
f=266
TT=19571
T1=6918.04
 SAT (TO)
f=267
TT=2520.62
T1=2229.64
 SAT (TO)
f=189
TT=19665.6
T1=19224.6
 SAT (TO)
f=267
TT=2520.41
T1=2205.87
 SAT (TO)
f=179
TT=19806.1
T1=17348.7
 SAT (TO)
f=142
TT=2520.15
T1=2413.08
 SAT (TO)
f=166
TT=19408.4
T1=17087.5
 SAT (TO)
f=395
TT=2520.12
T1=1438.53
 SAT (TO)
f=365
TT=2520.09
T1=92.67
 SAT (TO)
f=401
TT=2520.1
T1=468.04
 SAT (TO)
f=378
TT=2520.15
T1=57.67
 ? (MO)

TT=1524.38

 ? (MO)

TT=1526.55

 ? (MO)

TT=1507

 ? (TO)

TT=2520.75

 ? (TO)

TT=2520.97

 ? (TO)

TT=2519.84
SteelMillSlab/
SteelMillSlab-bench_11_1.xml 		SAT TO
f=257
TT=2520.19
T1=2436.13
 ? (TO)

TT=2520.09

 SAT (TO)
f=414
TT=2520.89
T1=312.52
 SAT (TO)
f=414
TT=20065.1
T1=743.18
 SAT (TO)
f=409
TT=2520.53
T1=864.69
 SAT (TO)
f=365
TT=19712.3
T1=16591.4
 SAT (TO)
f=409
TT=2520.64
T1=836.35
 SAT (TO)
f=347
TT=19591.6
T1=17176.1
 SAT (TO)
f=257
TT=2520.19
T1=2436.13
 SAT (TO)
f=320
TT=19036.2
T1=18923.6
 SAT (TO)
f=499
TT=2520.16
T1=1733.97
 SAT (TO)
f=441
TT=2520.14
T1=50.85
 SAT (TO)
f=440
TT=2520.09
T1=218.05
 SAT (TO)
f=500
TT=2520.07
T1=52.76
 ? (MO)

TT=1533.44

 ? (MO)

TT=1507.4

 ? (MO)

TT=1512.81

 ? (TO)

TT=2520.62

 ? (TO)

TT=2520.87

 ? (TO)

TT=2519.71
SteelMillSlab/
SteelMillSlab-bench_12_14.xml 		SAT TO
f=228
TT=2520.17
T1=177.26
 ? (TO)

TT=2520.06

 SAT (TO)
f=293
TT=2520.52
T1=2285.26
 SAT (TO)
f=339
TT=20081.7
T1=742.86
 SAT (TO)
f=290
TT=2520.49
T1=583.83
 SAT (TO)
f=280
TT=20085.1
T1=19864.9
 SAT (TO)
f=290
TT=2520.53
T1=593.32
 SAT (TO)
f=337
TT=20087.6
T1=12865.2
 ? (TO)

TT=2520.06

 SAT (TO)
f=313
TT=20084.8
T1=2172.02
 SAT (TO)
f=408
TT=2520.12
T1=83.52
 SAT (TO)
f=368
TT=2520.16
T1=65.74
 SAT (TO)
f=228
TT=2520.17
T1=177.26
 SAT (TO)
f=345
TT=2520.09
T1=52.91
 ? (MO)

TT=1533.21

 ? (MO)

TT=1506.46

 ? (MO)

TT=1528.36

 ? (TO)

TT=2520.64

 ? (TO)

TT=2520.75

 ? (TO)

TT=2519.84
SteelMillSlab/
SteelMillSlab-bench_13_19.xml 		SAT TO
f=260
TT=19244.5
T1=19006.5
 ? (TO)

TT=2520.04

 SAT (TO)
f=351
TT=2520.52
T1=303.24
 SAT (TO)
f=351
TT=20082.2
T1=677.42
 SAT (TO)
f=324
TT=2520.43
T1=2446.6
 SAT (TO)
f=260
TT=19425.9
T1=19006.5
 SAT (TO)
f=328
TT=2520.73
T1=2240.83
 SAT (TO)
f=270
TT=19591.5
T1=19462.3
 SAT (TO)
f=359
TT=2520.1
T1=2514.23
 SAT (TO)
f=260
TT=19244.5
T1=19099.8
 SAT (TO)
f=444
TT=2520.1
T1=50.7
 ? (TO)

TT=2520.05

 SAT (TO)
f=380
TT=2520.14
T1=214.57
 SAT (TO)
f=429
TT=2520.06
T1=66.54
 ? (MO)

TT=1521.11

 ? (MO)

TT=1531.92

 ? (MO)

TT=1514.7

 ? (TO)

TT=2520.88

 ? (TO)

TT=2520.28

 ? (TO)

TT=2519.8
SteelMillSlab/
SteelMillSlab-bench_13_6.xml 		SAT TO
f=268
TT=20083.5
T1=7935.19
 ? (TO)

TT=2520.04

 SAT (TO)
f=380
TT=2520.8
T1=2100.34
 SAT (TO)
f=315
TT=20081.1
T1=1620.07
 SAT (TO)
f=330
TT=2520.42
T1=569.09
 SAT (TO)
f=282
TT=20083.5
T1=7807.83
 SAT (TO)
f=330
TT=2520.52
T1=601.34
 SAT (TO)
f=333
TT=20084
T1=13758.2
 ? (TO)

TT=2520.04

 SAT (TO)
f=268
TT=20083.5
T1=7935.19
 SAT (TO)
f=361
TT=2520.12
T1=74.08
 SAT (TO)
f=312
TT=2520.09
T1=55.04
 SAT (TO)
f=346
TT=2520.23
T1=409.84
 SAT (TO)
f=378
TT=2520.14
T1=72.63
 ? (MO)

TT=1522.93

 ? (MO)

TT=1519.69

 ? (MO)

TT=1557.38

 ? (TO)

TT=2520.64

 ? (TO)

TT=2520.71

 ? (TO)

TT=2519.62
SteelMillSlab/
SteelMillSlab-bench_14_1.xml 		SAT TO
f=218
TT=20087
T1=3300.49
 ? (TO)

TT=2520.07

 SAT (TO)
f=279
TT=2520.8
T1=1060.58
 SAT (TO)
f=242
TT=20042
T1=8199.31
 SAT (TO)
f=306
TT=2520.67
T1=1910.85
 SAT (TO)
f=254
TT=20074.1
T1=15900.1
 SAT (TO)
f=306
TT=2520.76
T1=1915.3
 SAT (TO)
f=263
TT=20085.4
T1=10805
 ? (TO)

TT=2520.05

 SAT (TO)
f=218
TT=20087
T1=3300.49
 SAT (TO)
f=270
TT=2520.08
T1=268.66
 SAT (TO)
f=293
TT=2520.15
T1=75.57
 SAT (TO)
f=282
TT=2520.13
T1=319.47
 SAT (TO)
f=305
TT=2520.07
T1=54.55
 ? (MO)

TT=1515.46

 ? (MO)

TT=1523.26

 ? (MO)

TT=1524.19

 ? (TO)

TT=2520.95

 ? (TO)

TT=2520.6

 ? (TO)

TT=2520.09
SteelMillSlab/
SteelMillSlab-bench_15_2.xml 		SAT TO
f=105
TT=2520.58
T1=427.32
 ? (TO)

TT=2520.08

 SAT (TO)
f=258
TT=2520.85
T1=1621.21
 SAT (TO)
f=175
TT=20079.4
T1=3142.18
 SAT (TO)
f=105
TT=2520.58
T1=427.32
 SAT (TO)
f=172
TT=20084.3
T1=4401.06
 SAT (TO)
f=105
TT=2520.43
T1=675.2
 SAT (TO)
f=188
TT=20084.8
T1=15052.6
 SAT (TO)
f=128
TT=2520.1
T1=2505.25
 SAT (TO)
f=157
TT=20082.3
T1=20019.1
 SAT (TO)
f=299
TT=2520.1
T1=62.19
 SAT (TO)
f=283
TT=2520.17
T1=55.22
 SAT (TO)
f=261
TT=2520.09
T1=187.35
 SAT (TO)
f=252
TT=2520.11
T1=56.88
 ? (MO)

TT=1508.55

 ? (MO)

TT=1522.68

 ? (MO)

TT=1511.25

 ? (TO)

TT=2521.03

 ? (TO)

TT=2520.68

 ? (TO)

TT=2519.48
Bench nameBest resultsAbsCon
2019-07-23
(complete)		choco-solver
2019-06-14
(complete)		choco-solver
2019-06-14 parallel
(complete)		choco-solver
2019-09-16
(complete)		choco-solver
2019-09-16 parallel
(complete)		choco-solver
2019-09-20
(complete)		choco-solver
2019-09-20 parallel
(complete)		choco-solver
2019-09-24
(complete)		choco-solver
2019-09-24 parallel
(complete)		Concrete
3.10
(complete)		Concrete
3.12.2
(complete)		Concrete
3.12.2
(complete)		Concrete
3.12.3
(complete)		cosoco
2
(complete)		cosoco
2.0
(complete)		cosoco
2.0
(complete)		cosoco
2.0 parallel
(complete)		cosoco
2.O parallel
(complete)		PicatSAT
2019-09-12
(complete)
SteelMillSlab/
SteelMillSlab-bench_16_2.xml 		SAT TO
f=69
TT=20045.8
T1=19157.1
 ? (TO)

TT=2520.02

 SAT (TO)
f=141
TT=2520.58
T1=305
 SAT (TO)
f=132
TT=19904.7
T1=9701.04
 SAT (TO)
f=122
TT=2520.75
T1=1235.48
 SAT (TO)
f=69
TT=20045.8
T1=19157.1
 SAT (TO)
f=122
TT=2520.63
T1=1266.87
 SAT (TO)
f=66
TT=19953.5
T1=18224.9
 ? (TO)

TT=2520.05

 SAT (TO)
f=70
TT=19961.5
T1=19886.1
 SAT (TO)
f=179
TT=2520.17
T1=59.11
 SAT (TO)
f=230
TT=2520.16
T1=70.47
 SAT (TO)
f=196
TT=2520.1
T1=300.93
 SAT (TO)
f=195
TT=2520.1
T1=101.25
 ? (MO)

TT=1560.84

 ? (MO)

TT=1562.07

 ? (MO)

TT=1533.82

 ? (TO)

TT=2520.21

 ? (TO)

TT=2520.77

 ? (TO)

TT=2519.73
SteelMillSlab/
SteelMillSlab-bench_17_11.xml 		SAT TO
f=25
TT=2520.09
T1=2083.45
 ? (TO)

TT=2520.11

 SAT (TO)
f=111
TT=2520.77
T1=2322.63
 SAT (TO)
f=101
TT=19760
T1=6174.65
 SAT (TO)
f=68
TT=2520.77
T1=2498.68
 SAT (TO)
f=29
TT=19871.6
T1=16024.5
 SAT (TO)
f=68
TT=2520.67
T1=2500.05
 SAT (TO)
f=28
TT=20026.5
T1=19597.2
 SAT (TO)
f=25
TT=2520.09
T1=2083.45
 SAT (TO)
f=34
TT=19763.1
T1=19235
 SAT (TO)
f=249
TT=2520.15
T1=71.94
 SAT (TO)
f=191
TT=2520.1
T1=79.05
 SAT (TO)
f=250
TT=2520.14
T1=207.47
 SAT (TO)
f=162
TT=2520.14
T1=106.08
 ? (MO)

TT=1525.11

 ? (MO)

TT=1548.47

 ? (MO)

TT=1521.57

 ? (TO)

TT=2520.72

 ? (TO)

TT=2520.66

 ? (TO)

TT=2519.91
SteelMillSlab/
SteelMillSlab-bench_19_19.xml 		OPT
f=0
TT=1317.97
T1=1317.87
 ? (TO)

TT=2520.05

 SAT (TO)
f=135
TT=2520.92
T1=319.97
 SAT (TO)
f=132
TT=19719.5
T1=4463.29
 SAT (TO)
f=100
TT=2520.66
T1=2046.89
 SAT (TO)
f=35
TT=20048
T1=16281.5
 SAT (TO)
f=91
TT=2520.46
T1=2273.25
 SAT (TO)
f=35
TT=20005.9
T1=16213.5
 SAT (TO)
f=25
TT=2520.2
T1=2409.59
 SAT (TO)
f=35
TT=20022.1
T1=17071.2
 SAT (TO)
f=197
TT=2520.06
T1=50.49
 SAT (TO)
f=232
TT=2520.13
T1=72.22
 SAT (TO)
f=199
TT=2520.08
T1=181.35
 SAT (TO)
f=210
TT=2520.14
T1=79.66
 ? (MO)

TT=1738.34

 ? (MO)

TT=1533.46

 ? (MO)

TT=1528.41

 ? (TO)

TT=2520.83

 ? (TO)

TT=2520.67

 OPT
f=0
TT=1317.97
T1=1317.87
SteelMillSlab/
SteelMillSlab-bench_20_8.xml 		SAT TO
f=202
TT=20086.7
T1=12469.2
 ? (TO)

TT=2520.03

 SAT (TO)
f=254
TT=2520.53
T1=1950.5
 SAT (TO)
f=217
TT=20074.4
T1=5002.07
 SAT (TO)
f=222
TT=2520.58
T1=586.04
 SAT (TO)
f=202
TT=20086.7
T1=12469.2
 SAT (TO)
f=222
TT=2520.69
T1=544.82
 SAT (TO)
f=205
TT=20087.8
T1=7212.65
 ? (TO)

TT=2520.1

 SAT (TO)
f=204
TT=20085.2
T1=14880.7
 SAT (TO)
f=237
TT=2520.13
T1=73.52
 SAT (TO)
f=256
TT=2520.15
T1=56.09
 SAT (TO)
f=255
TT=2520.15
T1=384.87
 SAT (TO)
f=243
TT=2520.1
T1=71.53
 ? (MO)

TT=1529.7

 ? (MO)

TT=1522.08

 ? (MO)

TT=1521.56

 ? (TO)

TT=2520.49

 ? (TO)

TT=2520.27

 ? (TO)

TT=2519.77
SteelMillSlab/
SteelMillSlab-bench_3_12.xml 		SAT TO
f=1336
TT=2520.4
T1=842.67
 ? (TO)

TT=2520.12

 SAT (TO)
f=1336
TT=2520.4
T1=2126.01
 SAT (TO)
f=1336
TT=20082.9
T1=731.82
 SAT (TO)
f=1344
TT=2520.52
T1=2470.05
 SAT (TO)
f=1336
TT=20076.8
T1=850.38
 SAT (TO)
f=1344
TT=2520.61
T1=2428.62
 SAT (TO)
f=1336
TT=20087.6
T1=840.5
 ? (TO)

TT=2520.1

 SAT (TO)
f=1336
TT=20087.2
T1=842.67
 SAT (TO)
f=1352
TT=2520.17
T1=62.89
 SAT (TO)
f=1340
TT=2520.11
T1=59.85
 SAT (TO)
f=1352
TT=2520.12
T1=226.8
 SAT (TO)
f=1348
TT=2520.12
T1=59.13
 ? (MO)

TT=1557.61

 ? (MO)

TT=1576.77

 ? (MO)

TT=1519.42

 ? (TO)

TT=2520.69

 ? (TO)

TT=2521.04

 ? (TO)

TT=2519.73
SteelMillSlab/
SteelMillSlab-bench_5_11.xml 		SAT TO
f=374
TT=19959.2
T1=16839.3
 ? (TO)

TT=2520.09

 SAT (TO)
f=471
TT=2520.81
T1=310.83
 SAT (TO)
f=446
TT=19727.3
T1=4820.52
 SAT (TO)
f=435
TT=2520.84
T1=1072.83
 SAT (TO)
f=374
TT=19959.2
T1=16839.3
 SAT (TO)
f=414
TT=2520.68
T1=339.64
 SAT (TO)
f=388
TT=19872.5
T1=18508.8
 SAT (TO)
f=432
TT=2520.09
T1=1913.9
 SAT (TO)
f=381
TT=19905.9
T1=19810.1
 SAT (TO)
f=640
TT=2520.11
T1=2136.52
 SAT (TO)
f=694
TT=2520.16
T1=57.8
 SAT (TO)
f=665
TT=2520.12
T1=419.64
 SAT (TO)
f=565
TT=2520.17
T1=66.94
 ? (MO)

TT=1546.59

 ? (MO)

TT=1518.1

 ? (MO)

TT=1559.3

 ? (TO)

TT=2520.94

 ? (TO)

TT=2520.6

 ? (TO)

TT=2519.91
SteelMillSlab/
SteelMillSlab-bench_9_11.xml 		SAT TO
f=361
TT=19756.9
T1=18337
 ? (TO)

TT=2520.06

 SAT (TO)
f=675
TT=2520.56
T1=1341.74
 SAT (TO)
f=413
TT=20068.5
T1=10517.7
 SAT (TO)
f=482
TT=2520.81
T1=508.61
 SAT (TO)
f=397
TT=19750.5
T1=19366.1
 SAT (TO)
f=482
TT=2520.61
T1=573.85
 SAT (TO)
f=446
TT=19765.2
T1=19042.5
 SAT (TO)
f=382
TT=2520.08
T1=1828
 SAT (TO)
f=361
TT=19756.9
T1=18337
 SAT (TO)
f=472
TT=2520.11
T1=47.31
 SAT (TO)
f=714
TT=2520.12
T1=87.23
 SAT (TO)
f=626
TT=2520.11
T1=231.59
 SAT (TO)
f=672
TT=2520.09
T1=53.92
 ? (MO)

TT=1512.77

 ? (MO)

TT=1517.1

 ? (MO)

TT=1520.82

 ? (TO)

TT=2520.7

 ? (TO)

TT=2520.59

 ? (TO)

TT=2519.77
SteelMillSlab/
SteelMillSlab-bench_9_13.xml 		SAT TO
f=244
TT=19937.7
T1=19732.7
 ? (TO)

TT=2520.11

 SAT (TO)
f=340
TT=2520.88
T1=303.24
 SAT (TO)
f=332
TT=18526.1
T1=17135.4
 SAT (TO)
f=291
TT=2520.59
T1=1645.45
 SAT (TO)
f=261
TT=20050.8
T1=16579.6
 SAT (TO)
f=291
TT=2520.42
T1=1727.41
 SAT (TO)
f=261
TT=20032.3
T1=16260.9
 ? (TO)

TT=2520.1

 SAT (TO)
f=244
TT=19937.7
T1=19732.7
 SAT (TO)
f=438
TT=2520.07
T1=50.97
 SAT (TO)
f=446
TT=2520.13
T1=58.81
 SAT (TO)
f=433
TT=2520.18
T1=222.31
 SAT (TO)
f=454
TT=2520.16
T1=61.44
 ? (MO)

TT=1523.21

 ? (MO)

TT=1512.84

 ? (MO)

TT=1523.9

 ? (TO)

TT=2520.84

 ? (TO)

TT=2520.75

 ? (TO)

TT=2519.79
StillLife/
StillLife-m1-s1/
StillLife-03-14.xml 		OPT
f=22
TT=4.705
T1=0
 OPT
f=22
TT=8.126
T1=7.37
 OPT
f=22
TT=9.045
T1=3.98
 OPT
f=22
TT=19.212
T1=6.92
 OPT
f=22
TT=9.131
T1=1.6
 OPT
f=22
TT=15.749
T1=5.36
 OPT
f=22
TT=8.416
T1=1.99
 OPT
f=22
TT=15.488
T1=4.74
 OPT
f=22
TT=4.705
T1=3.02
 OPT
f=22
TT=14.81
T1=3.13
 OPT
f=22
TT=53.126
T1=12.12
 OPT
f=22
TT=36.229
T1=10.5
 OPT
f=22
TT=70.928
T1=14.61
 OPT
f=22
TT=39.586
T1=8.53
 OPT
f=22
TT=7.797
T1=0
 OPT
f=22
TT=7.738
T1=0
 OPT
f=22
TT=7.768
T1=0
 OPT
f=22
TT=13.644
T1=0
 OPT
f=22
TT=12.552
T1=0.75
 OPT
f=22
TT=4.847
T1=4.79
StillLife/
StillLife-m1-s1/
StillLife-04-09.xml 		OPT
f=20
TT=1.829
T1=0
 OPT
f=20
TT=6.71
T1=6.59
 OPT
f=20
TT=3.999
T1=3.86
 OPT
f=20
TT=6.059
T1=4.58
 OPT
f=20
TT=3.53
T1=2.36
 OPT
f=20
TT=6.388
T1=4.68
 OPT
f=20
TT=3.975
T1=3.73
 OPT
f=20
TT=5.765
T1=3.11
 OPT
f=20
TT=2.753
T1=2.51
 OPT
f=20
TT=4.782
T1=3.86
 OPT
f=20
TT=22.941
T1=10.96
 OPT
f=20
TT=21.136
T1=8.71
 OPT
f=20
TT=20.466
T1=13.88
 OPT
f=20
TT=14.588
T1=9.13
 OPT
f=20
TT=2.112
T1=0.21
 OPT
f=20
TT=1.841
T1=0.21
 OPT
f=20
TT=1.829
T1=0.21
 OPT
f=20
TT=5.514
T1=0
 OPT
f=20
TT=6.037
T1=0
 OPT
f=20
TT=6.322
T1=6.29
Bench nameBest resultsAbsCon
2019-07-23
(complete)		choco-solver
2019-06-14
(complete)		choco-solver
2019-06-14 parallel
(complete)		choco-solver
2019-09-16
(complete)		choco-solver
2019-09-16 parallel
(complete)		choco-solver
2019-09-20
(complete)		choco-solver
2019-09-20 parallel
(complete)		choco-solver
2019-09-24
(complete)		choco-solver
2019-09-24 parallel
(complete)		Concrete
3.10
(complete)		Concrete
3.12.2
(complete)		Concrete
3.12.2
(complete)		Concrete
3.12.3
(complete)		cosoco
2
(complete)		cosoco
2.0
(complete)		cosoco
2.0
(complete)		cosoco
2.0 parallel
(complete)		cosoco
2.O parallel
(complete)		PicatSAT
2019-09-12
(complete)
StillLife/
StillLife-m1-s1/
StillLife-04-14.xml 		OPT
f=30
TT=16.905
T1=5.07
 OPT
f=30
TT=53.101
T1=49.61
 OPT
f=30
TT=62.776
T1=5.07
 OPT
f=30
TT=85.422
T1=18.51
 OPT
f=30
TT=64.269
T1=25.36
 OPT
f=30
TT=114.657
T1=15.47
 OPT
f=30
TT=61.944
T1=18.89
 OPT
f=30
TT=156.018
T1=22.52
 OPT
f=30
TT=18.122
T1=5.58
 OPT
f=30
TT=150.981
T1=21.05
 OPT
f=30
TT=622.653
T1=23.61
 OPT
f=30
TT=591.287
T1=203.19
 OPT
f=30
TT=679.984
T1=130.01
 OPT
f=30
TT=534.948
T1=170.24
 OPT
f=30
TT=343.015
T1=23.39
 OPT
f=30
TT=348.863
T1=23.8
 OPT
f=30
TT=343.311
T1=23.4
 OPT
f=30
TT=485.162
T1=15.01
 OPT
f=30
TT=1463.31
T1=42.16
 OPT
f=30
TT=16.905
T1=16.88
StillLife/
StillLife-m1-s1/
StillLife-04-15.xml 		OPT
f=32
TT=22.052
T1=1.86
 OPT
f=32
TT=99.432
T1=97.41
 OPT
f=32
TT=119.521
T1=18.99
 OPT
f=32
TT=318.549
T1=28.08
 OPT
f=32
TT=100.404
T1=9.8
 OPT
f=32
TT=199.203
T1=12.47
 OPT
f=32
TT=100.278
T1=13.44
 OPT
f=32
TT=228.085
T1=37.59
 OPT
f=32
TT=140.63
T1=1.86
 OPT
f=32
TT=261.698
T1=67.07
 OPT
f=32
TT=666.045
T1=112.08
 OPT
f=32
TT=1043.05
T1=57.27
 SAT (TO)
f=32
TT=2520.05
T1=30.76
 OPT
f=32
TT=644.178
T1=26.25
 OPT
f=32
TT=1503.08
T1=7.59
 OPT
f=32
TT=1510.85
T1=7.58
 OPT
f=32
TT=1499.23
T1=7.55
 OPT
f=32
TT=938.249
T1=50.94
 OPT
f=32
TT=626.517
T1=33.37
 OPT
f=32
TT=22.052
T1=22
StillLife/
StillLife-m1-s1/
StillLife-05-09.xml 		OPT
f=26
TT=3.599
T1=0.78
 OPT
f=26
TT=11.987
T1=10.86
 OPT
f=26
TT=5.921
T1=2.72
 OPT
f=26
TT=11.893
T1=9.85
 OPT
f=26
TT=6.986
T1=3.79
 OPT
f=26
TT=9.699
T1=4.56
 OPT
f=26
TT=7.653
T1=3.52
 OPT
f=26
TT=9.225
T1=4.53
 OPT
f=26
TT=3.599
T1=1.31
 OPT
f=26
TT=9.845
T1=6.83
 OPT
f=26
TT=32.704
T1=22.58
 OPT
f=26
TT=45.339
T1=30.11
 OPT
f=26
TT=174.08
T1=65.53
 OPT
f=26
TT=35.6
T1=12.32
 OPT
f=26
TT=9.721
T1=0.79
 OPT
f=26
TT=9.683
T1=0.78
 OPT
f=26
TT=9.681
T1=0.88
 OPT
f=26
TT=27.968
T1=1.58
 OPT
f=26
TT=35.741
T1=3.19
 OPT
f=26
TT=13.584
T1=13.49
StillLife/
StillLife-m1-s1/
StillLife-05-11.xml 		OPT
f=32
TT=15.286
T1=7.53
 OPT
f=32
TT=48.847
T1=46.77
 OPT
f=32
TT=36.425
T1=33.7
 OPT
f=32
TT=74.206
T1=63.77
 OPT
f=32
TT=22.992
T1=7.53
 OPT
f=32
TT=51.113
T1=10.81
 OPT
f=32
TT=26.242
T1=8.08
 OPT
f=32
TT=54.876
T1=19.17
 OPT
f=32
TT=15.286
T1=8.45
 OPT
f=32
TT=47.24
T1=9.54
 OPT
f=32
TT=185.201
T1=27.76
 OPT
f=32
TT=172.046
T1=146.23
 OPT
f=32
TT=422.198
T1=337.9
 OPT
f=32
TT=221.464
T1=211.79
 OPT
f=32
TT=144.465
T1=80.39
 OPT
f=32
TT=125.556
T1=69.87
 OPT
f=32
TT=125.643
T1=69.9
 OPT
f=32
TT=438.579
T1=162.8
 OPT
f=32
TT=444.307
T1=105.26
 OPT
f=32
TT=18.691
T1=18.59
StillLife/
StillLife-m1-s1/
StillLife-05-12.xml 		OPT
f=34
TT=14.885
T1=1.56
 OPT
f=34
TT=97.695
T1=80.16
 OPT
f=34
TT=95.729
T1=49.04
 OPT
f=34
TT=193.337
T1=22.95
 OPT
f=34
TT=76.461
T1=11.79
 OPT
f=34
TT=169.433
T1=8.36
 OPT
f=34
TT=89.768
T1=20.82
 OPT
f=34
TT=195.948
T1=58.52
 OPT
f=34
TT=79.102
T1=1.56
 OPT
f=34
TT=174.022
T1=11.39
 OPT
f=34
TT=511.275
T1=41.67
 OPT
f=34
TT=1586.65
T1=20.33
 SAT (TO)
f=34
TT=2520.11
T1=42.29
 OPT
f=34
TT=375.307
T1=18.98
 OPT
f=34
TT=654.947
T1=45.58
 OPT
f=34
TT=574.338
T1=39.88
 OPT
f=34
TT=575.602
T1=40.09
 OPT
f=34
TT=2114.03
T1=78.11
 OPT
f=34
TT=2254.6
T1=21.39
 OPT
f=34
TT=14.885
T1=14.79
StillLife/
StillLife-m1-s1/
StillLife-05-14.xml 		OPT
f=40
TT=28.788
T1=28.69
 OPT
f=40
TT=786.826
T1=778.39
 OPT
f=40
TT=734.083
T1=712.6
 OPT
f=40
TT=1395.05
T1=46.35
 OPT
f=40
TT=616.378
T1=256.94
 OPT
f=40
TT=1344.41
T1=63.04
 OPT
f=40
TT=779.103
T1=756.65
 OPT
f=40
TT=1377.95
T1=230.03
 OPT
f=40
TT=417.267
T1=223.17
 OPT
f=40
TT=1381.27
T1=308.9
 SAT (TO)
f=38
TT=2520.08
T1=45.88
 SAT (TO)
f=40
TT=2520.04
T1=1740.84
 SAT (TO)
f=37
TT=2520.04
T1=1079.72
 OPT
f=40
TT=2074.72
T1=66.23
 SAT (TO)
f=40
TT=2520.02
T1=48.4
 SAT (TO)
f=40
TT=2519.29
T1=55.57
 SAT (TO)
f=40
TT=2519.62
T1=48.66
 SAT (TO)
f=40
TT=20126.3
T1=12103.5
 SAT (TO)
f=40
TT=20125.2
T1=4408.27
 OPT
f=40
TT=28.788
T1=28.69
StillLife/
StillLife-m1-s1/
StillLife-05-15.xml 		OPT
f=43
TT=29.498
T1=29.48
 OPT
f=43
TT=1599.78
T1=1474.03
 OPT
f=43
TT=2038.02
T1=1600.69
 OPT
f=43
TT=3646.98
T1=355.54
 OPT
f=43
TT=2222.69
T1=1699.95
 OPT
f=43
TT=3936.56
T1=701.29
 OPT
f=43
TT=1771.76
T1=184.9
 OPT
f=43
TT=3650.5
T1=712.16
 OPT
f=43
TT=677.996
T1=57.63
 OPT
f=43
TT=4502.78
T1=2356.11
 SAT (TO)
f=43
TT=2520.05
T1=2299.81
 SAT (TO)
f=42
TT=2520.24
T1=350.95
 SAT (TO)
f=42
TT=2520.14
T1=50.36
 SAT (TO)
f=43
TT=2520.07
T1=234.11
 SAT (TO)
f=41
TT=2519.36
T1=82.67
 SAT (TO)
f=41
TT=2519.92
T1=72.29
 SAT (TO)
f=41
TT=2519.83
T1=71.73
 SAT (TO)
f=43
TT=20128
T1=13291.7
 SAT (TO)
f=43
TT=20126.8
T1=812.89
 OPT
f=43
TT=29.498
T1=29.48
StillLife/
StillLife-m1-s1/
StillLife-06-11.xml 		OPT
f=34
TT=38.015
T1=2.19
 OPT
f=34
TT=1218.21
T1=551.28
 OPT
f=34
TT=550.005
T1=3.12
 OPT
f=34
TT=1251.17
T1=7.51
 OPT
f=34
TT=570.129
T1=3.46
 OPT
f=34
TT=1252.57
T1=7.59
 OPT
f=34
TT=538.589
T1=3.09
 OPT
f=34
TT=1286.99
T1=4.31
 OPT
f=34
TT=583.255
T1=2.19
 OPT
f=34
TT=1224.13
T1=9.16
 SAT (TO)
f=34
TT=2520.09
T1=43.57
 SAT (TO)
f=34
TT=2520.14
T1=11.13
 SAT (TO)
f=34
TT=2520.12
T1=40.57
 SAT (TO)
f=34
TT=2520.14
T1=15.15
 SAT (TO)
f=34
TT=2519.93
T1=652.08
 SAT (TO)
f=34
TT=2520.05
T1=647.5
 SAT (TO)
f=34
TT=2519.48
T1=651.87
 OPT
f=34
TT=19671.1
T1=3.16
 OPT
f=34
TT=15057.5
T1=49.33
 OPT
f=34
TT=38.015
T1=37.99
StillLife/
StillLife-m1-s1/
StillLife-06-12.xml 		OPT
f=38
TT=41.767
T1=41.68
 OPT
f=38
TT=2421.18
T1=2112.64
 OPT
f=38
TT=2018.97
T1=517.64
 OPT
f=38
TT=4525.83
T1=989.13
 OPT
f=38
TT=2106.97
T1=1072.03
 OPT
f=38
TT=4582.26
T1=1066.39
 OPT
f=38
TT=1676.05
T1=51.44
 OPT
f=38
TT=4494.42
T1=1845.44
 OPT
f=38
TT=917.329
T1=297.42
 OPT
f=38
TT=4839.79
T1=922.59
 SAT (TO)
f=37
TT=2520.11
T1=32.62
 SAT (TO)
f=37
TT=2520.05
T1=15.49
 SAT (TO)
f=37
TT=2520.09
T1=335.73
 SAT (TO)
f=38
TT=2520.16
T1=426.52
 SAT (TO)
f=37
TT=2520.04
T1=1139.7
 SAT (TO)
f=37
TT=2519.94
T1=1143.06
 SAT (TO)
f=37
TT=2519.38
T1=1140.74
 SAT (TO)
f=38
TT=20126.6
T1=2231.34
 SAT (TO)
f=38
TT=20125.2
T1=537.32
 OPT
f=38
TT=41.767
T1=41.68
StillLife/
StillLife-m1-s1/
StillLife-07-10.xml 		OPT
f=39
TT=31.22
T1=7.18
 SAT (TO)
f=39
TT=2520.04
T1=2459.49
 OPT
f=39
TT=462.338
T1=122.82
 OPT
f=39
TT=1087.67
T1=525.74
 OPT
f=39
TT=438.932
T1=36.8
 OPT
f=39
TT=933.536
T1=27.26
 OPT
f=39
TT=448.453
T1=40.22
 OPT
f=39
TT=973.527
T1=35.7
 OPT
f=39
TT=417.208
T1=7.18
 OPT
f=39
TT=913.877
T1=17.77
 SAT (TO)
f=39
TT=2520.08
T1=79.42
 SAT (TO)
f=39
TT=2520.08
T1=850.11
 SAT (TO)
f=39
TT=2520.1
T1=297.41
 SAT (TO)
f=39
TT=2520.16
T1=45.69
 SAT (TO)
f=39
TT=2519.42
T1=128.56
 SAT (TO)
f=39
TT=2519.79
T1=128.68
 SAT (TO)
f=39
TT=2520.06
T1=128.49
 OPT
f=39
TT=9586.36
T1=37.36
 OPT
f=39
TT=12233.8
T1=83.7
 OPT
f=39
TT=31.22
T1=31.18
Bench nameBest resultsAbsCon
2019-07-23
(complete)		choco-solver
2019-06-14
(complete)		choco-solver
2019-06-14 parallel
(complete)		choco-solver
2019-09-16
(complete)		choco-solver
2019-09-16 parallel
(complete)		choco-solver
2019-09-20
(complete)		choco-solver
2019-09-20 parallel
(complete)		choco-solver
2019-09-24
(complete)		choco-solver
2019-09-24 parallel
(complete)		Concrete
3.10
(complete)		Concrete
3.12.2
(complete)		Concrete
3.12.2
(complete)		Concrete
3.12.3
(complete)		cosoco
2
(complete)		cosoco
2.0
(complete)		cosoco
2.0
(complete)		cosoco
2.0 parallel
(complete)		cosoco
2.O parallel
(complete)		PicatSAT
2019-09-12
(complete)
StillLife/
StillLife-m1-s1/
StillLife-08-09.xml 		OPT
f=40
TT=30.753
T1=30.68
 SAT (TO)
f=38
TT=2520.03
T1=2236.03
 OPT
f=40
TT=740.529
T1=733.51
 OPT
f=40
TT=1769.43
T1=1487.4
 OPT
f=40
TT=694.03
T1=686.86
 OPT
f=40
TT=1763.31
T1=1745.86
 OPT
f=40
TT=756.998
T1=749.5
 OPT
f=40
TT=1381.14
T1=1109.86
 OPT
f=40
TT=535.867
T1=114.27
 OPT
f=40
TT=1395.29
T1=1116.27
 SAT (TO)
f=40
TT=2520.12
T1=529.55
 SAT (TO)
f=39
TT=2520.06
T1=2311.99
 SAT (TO)
f=40
TT=2520.13
T1=2303.27
 SAT (TO)
f=39
TT=2520.12
T1=152.79
 SAT (TO)
f=40
TT=2519.71
T1=190.47
 SAT (TO)
f=40
TT=2519.8
T1=165.38
 SAT (TO)
f=40
TT=2519.87
T1=167.68
 OPT
f=40
TT=17074.8
T1=2628.22
 OPT
f=40
TT=13635.3
T1=1361.5
 OPT
f=40
TT=30.753
T1=30.68
StillLife/
StillLife-m1-s1/
StillLife-10-14.xml 		SAT TO
f=72
TT=2520.05
T1=1089.97
 SAT (TO)
f=43
TT=2520.08
T1=2462.04
 SAT (TO)
f=70
TT=2520.52
T1=266.78
 SAT (TO)
f=71
TT=20063.7
T1=252.87
 SAT (TO)
f=70
TT=2520.68
T1=6.24
 SAT (TO)
f=70
TT=20030.4
T1=9.37
 SAT (TO)
f=71
TT=2520.62
T1=331.2
 SAT (TO)
f=71
TT=20043.9
T1=2515.18
 SAT (TO)
f=72
TT=2520.08
T1=1830.19
 SAT (TO)
f=72
TT=20032.7
T1=1089.97
 SAT (TO)
f=70
TT=2520.04
T1=827.6
 SAT (TO)
f=70
TT=2520.1
T1=1907.39
 SAT (TO)
f=69
TT=2520.13
T1=1686.27
 SAT (TO)
f=72
TT=2520.05
T1=1876.45
 SAT (TO)
f=66
TT=2520.03
T1=1478.63
 SAT (TO)
f=66
TT=2520.03
T1=1698.9
 SAT (TO)
f=66
TT=2519.81
T1=1478.33
 SAT (TO)
f=71
TT=20126
T1=17568.4
 SAT (TO)
f=71
TT=20122.9
T1=1267.84
 ? (TO)

TT=2519.94
StillLife/
StillLife-wst-s1/
StillLife-wastage-10.xml 		OPT
f=54
TT=18.48
T1=18.39
 OPT
f=54
TT=226.683
T1=195.19
 OPT
f=54
TT=130.729
T1=97.96
 OPT
f=54
TT=455.22
T1=454.91
 OPT
f=54
TT=124.107
T1=90.86
 OPT
f=54
TT=98.509
T1=28.03
 OPT
f=54
TT=117.368
T1=85.26
 OPT
f=54
TT=190.323
T1=118.05
 OPT
f=54
TT=414.256
T1=161.52
 OPT
f=54
TT=448.738
T1=381.38
 OPT
f=54
TT=844.529
T1=754.08
 SAT (TO)
f=54
TT=2520.09
T1=93.93
 SAT (TO)
f=53
TT=2520.14
T1=636.24
 OPT
f=54
TT=641.15
T1=512.71
 OPT
f=54
TT=415.341
T1=39.49
 OPT
f=54
TT=414.744
T1=39.31
 OPT
f=54
TT=417.965
T1=39.7
 OPT
f=54
TT=1820.87
T1=65.08
 OPT
f=54
TT=1454.64
T1=114.6
 OPT
f=54
TT=18.48
T1=18.39
Tal/
Tal-03_c18.xml 		OPT
f=96
TT=33.226
T1=8.95
 OPT
f=96
TT=33.226
T1=27.49
 OPT
f=96
TT=76.689
T1=66.69
 OPT
f=96
TT=149.077
T1=93.23
 OPT
f=96
TT=247.294
T1=66.12
 OPT
f=96
TT=368.233
T1=67.98
 OPT
f=96
TT=148.782
T1=50.01
 OPT
f=96
TT=469.634
T1=100.2
 OPT
f=96
TT=72.904
T1=8.95
 OPT
f=96
TT=464.878
T1=69.96
 SAT (TO)
f=96
TT=2520.06
T1=22.16
 OPT
f=96
TT=1103.73
T1=20.61
 SAT (TO)
f=96
TT=2520.13
T1=257.88
 OPT
f=96
TT=1876.4
T1=29.65
 OPT
f=96
TT=1420.78
T1=136.58
 OPT
f=96
TT=1314.66
T1=125.77
 OPT
f=96
TT=1320.79
T1=126.69
 OPT
f=96
TT=1175.57
T1=186.14
 OPT
f=96
TT=1496.66
T1=47.96
 OPT
f=96
TT=503.273
T1=503.17
Tal/
Tal-05_c18.xml 		OPT
f=16
TT=25.434
T1=5.76
 OPT
f=16
TT=25.434
T1=9.43
 OPT
f=16
TT=2314.94
T1=103.49
 OPT
f=16
TT=1132.52
T1=63.66
 OPT
f=16
TT=213.595
T1=14.9
 OPT
f=16
TT=367.208
T1=33.17
 OPT
f=16
TT=229.674
T1=18.11
 OPT
f=16
TT=144.85
T1=33.45
 OPT
f=16
TT=80.843
T1=5.76
 OPT
f=16
TT=82.367
T1=34.25
 OPT
f=16
TT=471.598
T1=31.05
 OPT
f=16
TT=346.198
T1=27.02
 OPT
f=16
TT=1255.47
T1=417.47
 OPT
f=16
TT=301.602
T1=25.15
 ? (MO)

TT=539.766

 ? (MO)

TT=537.623

 ? (MO)

TT=536.343

 ? (MO)

TT=1038.16

 ? (MO)

TT=1025.92

 OPT
f=16
TT=619.661
T1=619.54
TemplateDesign/
TemplateDesign-m2-herbs_c18.xml 		OPT
f=2
TT=405.318
T1=405.23
 ? (exit code)

TT=3.522

 OPT
f=2
TT=2206.92
T1=2206.71
 OPT
f=2
TT=159.159
T1=158.95
 SAT (TO)
f=11
TT=2520.61
T1=2337.91
 OPT
f=2
TT=2384.16
T1=2382.31
 SAT (TO)
f=11
TT=2520.38
T1=2326.98
 OPT
f=2
TT=10387.9
T1=10387.3
 ? (TO)

TT=2520.11

 OPT
f=2
TT=874.133
T1=873.1
 ? (TO)

TT=2520.1

 ? (TO)

TT=2520.13

 ? (TO)

TT=2520.05

 ? (TO)

TT=2520.12

 ? (MO)

TT=1280.28

 ? (MO)

TT=1254.9

 ? (MO)

TT=1273.56

 ? (MO)

TT=2513.65

 ? (MO)

TT=2518.61

 OPT
f=2
TT=405.318
T1=405.23
Tpp/Tpp-zinc-s1/
Tpp-3-5-30-1.xml 		OPT
f=171
TT=0.216
T1=0.1
 OPT
f=171
TT=5.753
T1=5.44
 OPT
f=171
TT=5.954
T1=5.29
 OPT
f=171
TT=8.776
T1=7.43
 OPT
f=171
TT=6.106
T1=5.59
 OPT
f=171
TT=8.338
T1=7.68
 Wrong UNSAT

TT=3.837

 Wrong UNSAT

TT=6.04

 OPT
f=171
TT=2.71
T1=2.29
 OPT
f=171
TT=9.53
T1=8.51
 Wrong Opt.
f=176
TT=9.074
T1=8.53
 OPT
f=171
TT=10.636
T1=10.61
 OPT
f=171
TT=13.188
T1=11.45
 OPT
f=171
TT=9.972
T1=8.98
 OPT
f=171
TT=0.266
T1=0.21
 OPT
f=171
TT=0.216
T1=0.1
 OPT
f=171
TT=0.218
T1=0.1
 OPT
f=171
TT=0.338
T1=0.1
 OPT
f=171
TT=0.348
T1=0.1
 OPT
f=171
TT=19.526
T1=19.49
Tpp/Tpp-zinc-s1/
Tpp-4-3-20-1.xml 		OPT
f=126
TT=0.113
T1=0.1
 OPT
f=126
TT=4.871
T1=4.74
 OPT
f=126
TT=4.102
T1=3.71
 OPT
f=126
TT=6.936
T1=6.76
 OPT
f=126
TT=4.028
T1=3.74
 OPT
f=126
TT=6.291
T1=6.04
 Wrong Opt.
f=175
TT=3.379
T1=3.11
 Wrong Opt.
f=175
TT=5.697
T1=5.59
 OPT
f=126
TT=2.045
T1=1.69
 OPT
f=126
TT=6.215
T1=5.96
 Wrong Opt.
f=152
TT=7.819
T1=7.18
 OPT
f=126
TT=9.387
T1=8.82
 OPT
f=126
TT=11.633
T1=10.88
 OPT
f=126
TT=8.139
T1=7.37
 OPT
f=126
TT=0.129
T1=0.1
 OPT
f=126
TT=0.116
T1=0.1
 OPT
f=126
TT=0.113
T1=0.1
 OPT
f=126
TT=0.202
T1=0.11
 OPT
f=126
TT=0.178
T1=0.11
 OPT
f=126
TT=12.589
T1=12.48
Tpp/Tpp-zinc-s1/
Tpp-4-5-20-1.xml 		OPT
f=115
TT=0.249
T1=0.21
 OPT
f=115
TT=5.95
T1=5.83
 OPT
f=115
TT=6.527
T1=5.69
 OPT
f=115
TT=10.279
T1=9.93
 OPT
f=115
TT=7.201
T1=6.33
 OPT
f=115
TT=9.292
T1=8.72
 Wrong Opt.
f=235
TT=6.266
T1=6.17
 Wrong Opt.
f=235
TT=8.59
T1=8.28
 OPT
f=115
TT=3.147
T1=2.75
 OPT
f=115
TT=11.335
T1=10.14
 Wrong Opt.
f=159
TT=11.791
T1=10.58
 OPT
f=115
TT=11.222
T1=9.94
 OPT
f=115
TT=13.941
T1=12.26
 OPT
f=115
TT=9.693
T1=8.22
 OPT
f=115
TT=0.307
T1=0.21
 OPT
f=115
TT=0.255
T1=0.21
 OPT
f=115
TT=0.249
T1=0.21
 OPT
f=115
TT=0.615
T1=0.46
 OPT
f=115
TT=0.63
T1=0.45
 OPT
f=115
TT=26.866
T1=26.79
Tpp/Tpp-zinc-s1/
Tpp-4-5-30-1.xml 		OPT
f=140
TT=0.318
T1=0.21
 OPT
f=140
TT=7.121
T1=6.87
 OPT
f=140
TT=9.35
T1=8.07
 OPT
f=140
TT=12.917
T1=10.93
 OPT
f=140
TT=8.614
T1=7.23
 OPT
f=140
TT=12.945
T1=11.3
 Wrong Opt.
f=256
TT=7.287
T1=7.1
 Wrong Opt.
f=256
TT=10.137
T1=9.8
 OPT
f=140
TT=3.826
T1=3.63
 OPT
f=140
TT=14.002
T1=12.41
 Wrong Opt.
f=180
TT=11.998
T1=11.98
 OPT
f=140
TT=13.025
T1=11.88
 OPT
f=140
TT=15.503
T1=13.96
 OPT
f=140
TT=11.534
T1=10.45
 OPT
f=140
TT=0.359
T1=0.31
 OPT
f=140
TT=0.318
T1=0.21
 OPT
f=140
TT=0.318
T1=0.21
 OPT
f=140
TT=1.057
T1=0.57
 OPT
f=140
TT=1.255
T1=0.58
 OPT
f=140
TT=24.229
T1=24.18
Bench nameBest resultsAbsCon
2019-07-23
(complete)		choco-solver
2019-06-14
(complete)		choco-solver
2019-06-14 parallel
(complete)		choco-solver
2019-09-16
(complete)		choco-solver
2019-09-16 parallel
(complete)		choco-solver
2019-09-20
(complete)		choco-solver
2019-09-20 parallel
(complete)		choco-solver
2019-09-24
(complete)		choco-solver
2019-09-24 parallel
(complete)		Concrete
3.10
(complete)		Concrete
3.12.2
(complete)		Concrete
3.12.2
(complete)		Concrete
3.12.3
(complete)		cosoco
2
(complete)		cosoco
2.0
(complete)		cosoco
2.0
(complete)		cosoco
2.0 parallel
(complete)		cosoco
2.O parallel
(complete)		PicatSAT
2019-09-12
(complete)
Tpp/Tpp-zinc-s1/
Tpp-5-3-20-1.xml 		OPT
f=141
TT=0.149
T1=0.1
 OPT
f=141
TT=4.848
T1=4.72
 OPT
f=141
TT=4.636
T1=4.06
 OPT
f=141
TT=7.104
T1=6.68
 OPT
f=141
TT=5.09
T1=4.65
 OPT
f=141
TT=6.917
T1=6.16
 Wrong UNSAT

TT=3.37

 Wrong UNSAT

TT=5.489

 OPT
f=141
TT=2.536
T1=2.33
 OPT
f=141
TT=7.97
T1=7.02
 Wrong Opt.
f=150
TT=8.023
T1=7.51
 OPT
f=141
TT=9.814
T1=9.79
 OPT
f=141
TT=11.469
T1=10.48
 OPT
f=141
TT=9.185
T1=8.53
 OPT
f=141
TT=0.173
T1=0.1
 OPT
f=141
TT=0.149
T1=0.1
 OPT
f=141
TT=0.151
T1=0.1
 OPT
f=141
TT=0.325
T1=0.1
 OPT
f=141
TT=0.351
T1=0.1
 OPT
f=141
TT=26.842
T1=26.79
Tpp/Tpp-zinc-s1/
Tpp-5-5-30-1.xml 		OPT
f=165
TT=0.696
T1=0.6
 OPT
f=165
TT=9.467
T1=9.37
 OPT
f=165
TT=14.86
T1=8.07
 OPT
f=165
TT=19.134
T1=11.91
 OPT
f=165
TT=13.322
T1=8.26
 OPT
f=165
TT=21.415
T1=14.01
 Wrong UNSAT

TT=5.238

 Wrong UNSAT

TT=8.863

 OPT
f=165
TT=4.841
T1=4.34
 OPT
f=165
TT=22.342
T1=13.23
 Wrong Opt.
f=189
TT=18.169
T1=8.64
 OPT
f=165
TT=14.908
T1=14.38
 OPT
f=165
TT=25.121
T1=18.76
 OPT
f=165
TT=16.523
T1=14.58
 OPT
f=165
TT=0.79
T1=0.69
 OPT
f=165
TT=0.696
T1=0.6
 OPT
f=165
TT=0.699
T1=0.6
 OPT
f=165
TT=4.264
T1=2.37
 OPT
f=165
TT=4.982
T1=2.38
 OPT
f=165
TT=29.718
T1=29.68
Tpp/Tpp-zinc-s1/
Tpp-6-3-20-1.xml 		OPT
f=131
TT=0.192
T1=0.1
 OPT
f=131
TT=5.16
T1=5.09
 OPT
f=131
TT=5.847
T1=4.71
 OPT
f=131
TT=9.462
T1=7.85
 OPT
f=131
TT=5.818
T1=4.72
 OPT
f=131
TT=8.06
T1=7.09
 Wrong Opt.
f=223
TT=4.495
T1=4.4
 Wrong Opt.
f=223
TT=6.74
T1=6.37
 OPT
f=131
TT=2.713
T1=2.61
 OPT
f=131
TT=9.028
T1=7.96
 Wrong Opt.
f=180
TT=10.181
T1=8.78
 OPT
f=131
TT=10.687
T1=10.55
 OPT
f=131
TT=11.97
T1=9.89
 OPT
f=131
TT=9.718
T1=8.72
 OPT
f=131
TT=0.219
T1=0.1
 OPT
f=131
TT=0.192
T1=0.1
 OPT
f=131
TT=0.193
T1=0.1
 OPT
f=131
TT=0.547
T1=0.1
 OPT
f=131
TT=0.581
T1=0.1
 OPT
f=131
TT=22.932
T1=22.88
Tpp/Tpp-zinc-s1/
Tpp-6-3-30-1.xml 		OPT
f=164
TT=0.326
T1=0.2
 OPT
f=164
TT=6.874
T1=6.73
 OPT
f=164
TT=8.813
T1=7.4
 OPT
f=164
TT=10.921
T1=9.53
 OPT
f=164
TT=10.209
T1=8.32
 OPT
f=164
TT=10.565
T1=9.34
 Wrong Opt.
f=240
TT=5.26
T1=5.1
 Wrong Opt.
f=240
TT=7.881
T1=7.88
 OPT
f=164
TT=3.449
T1=3.02
 OPT
f=164
TT=10.577
T1=9.13
 Wrong Opt.
f=204
TT=10.148
T1=8.55
 OPT
f=164
TT=11.911
T1=9.8
 OPT
f=164
TT=15.071
T1=12.93
 OPT
f=164
TT=10.595
T1=10.56
 OPT
f=164
TT=0.373
T1=0.31
 OPT
f=164
TT=0.326
T1=0.21
 OPT
f=164
TT=0.328
T1=0.3
 OPT
f=164
TT=0.911
T1=0.2
 OPT
f=164
TT=1.003
T1=0.81
 OPT
f=164
TT=15.301
T1=15.29
Tpp/Tpp-zinc-s1/
Tpp-6-5-20-1.xml 		OPT
f=102
TT=0.553
T1=0.4
 OPT
f=102
TT=9.115
T1=8.91
 OPT
f=102
TT=9.111
T1=7.43
 Wrong Opt.
f=133
TT=11.949
T1=11.57
 OPT
f=102
TT=9.188
T1=7.21
 OPT
f=102
TT=14.242
T1=11.05
 Wrong Opt.
f=293
TT=8.105
T1=7.34
 Wrong Opt.
f=293
TT=11.859
T1=10.71
 OPT
f=102
TT=3.64
T1=2.92
 OPT
f=102
TT=15.942
T1=13.29
 Wrong Opt.
f=175
TT=28.106
T1=16.4
 OPT
f=102
TT=13.544
T1=12.09
 OPT
f=102
TT=21.057
T1=17.82
 OPT
f=102
TT=12.958
T1=12.22
 OPT
f=102
TT=0.636
T1=0.5
 OPT
f=102
TT=0.553
T1=0.41
 OPT
f=102
TT=0.56
T1=0.4
 OPT
f=102
TT=4.545
T1=3.59
 OPT
f=102
TT=4.5
T1=3.6
 OPT
f=102
TT=46.209
T1=46.18
Tpp/Tpp-zinc-s1/
Tpp-6-5-30-1.xml 		OPT
f=132
TT=1.773
T1=1.58
 OPT
f=132
TT=9.58
T1=9.52
 OPT
f=132
TT=20.621
T1=13.88
 OPT
f=132
TT=33.266
T1=21.98
 OPT
f=132
TT=15.738
T1=11.75
 OPT
f=132
TT=24.363
T1=16.14
 Wrong Opt.
f=308
TT=10.421
T1=9.8
 Wrong Opt.
f=308
TT=17.222
T1=15.84
 OPT
f=132
TT=5.264
T1=3.97
 OPT
f=132
TT=24.124
T1=18.52
 Wrong Opt.
f=190
TT=27.677
T1=24.05
 OPT
f=132
TT=20.247
T1=17.31
 OPT
f=132
TT=30.848
T1=20.02
 OPT
f=132
TT=16.521
T1=10.37
 OPT
f=132
TT=2.024
T1=1.79
 OPT
f=132
TT=1.773
T1=1.59
 OPT
f=132
TT=1.774
T1=1.58
 OPT
f=132
TT=12.871
T1=10.61
 OPT
f=132
TT=13.436
T1=11.38
 OPT
f=132
TT=38.577
T1=38.49
Tpp/Tpp-zinc-s1/
Tpp-7-3-20-1.xml 		OPT
f=125
TT=0.25
T1=0.21
 OPT
f=125
TT=4.966
T1=4.71
 OPT
f=125
TT=8.444
T1=6.25
 OPT
f=125
TT=11.539
T1=9.15
 OPT
f=125
TT=8.765
T1=6.35
 OPT
f=125
TT=9.914
T1=9.05
 Wrong UNSAT

TT=4.286

 Wrong UNSAT

TT=6.864

 OPT
f=125
TT=3.352
T1=2.62
 OPT
f=125
TT=11.395
T1=9.13
 Wrong Opt.
f=175
TT=11.239
T1=9.15
 OPT
f=125
TT=11.83
T1=9.94
 OPT
f=125
TT=13.942
T1=11.55
 OPT
f=125
TT=9.533
T1=8.42
 OPT
f=125
TT=0.288
T1=0.21
 OPT
f=125
TT=0.25
T1=0.21
 OPT
f=125
TT=0.253
T1=0.21
 OPT
f=125
TT=0.742
T1=0.38
 OPT
f=125
TT=0.665
T1=0.37
 OPT
f=125
TT=23.469
T1=23.39
Tpp/Tpp-zinc-s1/
Tpp-7-3-30-1.xml 		OPT
f=147
TT=0.36
T1=0.3
 OPT
f=147
TT=6.689
T1=6.56
 OPT
f=147
TT=10.734
T1=8.09
 Wrong Opt.
f=162
TT=10.808
T1=10.69
 OPT
f=147
TT=10.778
T1=8.62
 OPT
f=147
TT=13.742
T1=11.47
 Wrong UNSAT

TT=5.123

 Wrong UNSAT

TT=8.602

 OPT
f=147
TT=3.775
T1=3.23
 OPT
f=147
TT=14.439
T1=12.31
 Wrong Opt.
f=199
TT=11.463
T1=8.69
 OPT
f=147
TT=12.976
T1=11.55
 OPT
f=147
TT=18.714
T1=17.08
 OPT
f=147
TT=11.19
T1=10.92
 OPT
f=147
TT=0.412
T1=0.31
 OPT
f=147
TT=0.36
T1=0.31
 OPT
f=147
TT=0.36
T1=0.3
 OPT
f=147
TT=1.261
T1=0.47
 OPT
f=147
TT=1.224
T1=1.07
 OPT
f=147
TT=27.053
T1=27
Tpp/Tpp-zinc-s1/
Tpp-7-5-20-1.xml 		OPT
f=105
TT=1.037
T1=0.89
 OPT
f=105
TT=8.564
T1=8.44
 SAT (MO)
f=180
TT=6.638
T1=6.59
 Wrong Opt.
f=114
TT=20.296
T1=19.66
 OPT
f=105
TT=13.169
T1=9.68
 OPT
f=105
TT=23.187
T1=18.78
 Wrong UNSAT

TT=5.355

 Wrong UNSAT

TT=12.163

 OPT
f=105
TT=4.052
T1=3.38
 OPT
f=105
TT=23.152
T1=18.44
 Wrong Opt.
f=190
TT=71.491
T1=31.66
 OPT
f=105
TT=19.159
T1=16.84
 OPT
f=105
TT=19.993
T1=16.61
 OPT
f=105
TT=14.228
T1=12.33
 OPT
f=105
TT=1.189
T1=1
 OPT
f=105
TT=1.037
T1=0.89
 OPT
f=105
TT=1.049
T1=0.89
 OPT
f=105
TT=10.211
T1=7.98
 OPT
f=105
TT=6.971
T1=6.47
 OPT
f=105
TT=53.9
T1=53.79
Tpp/Tpp-zinc-s1/
Tpp-7-5-30-1.xml 		OPT
f=124
TT=2.068
T1=1.78
 OPT
f=124
TT=9.751
T1=9.5
 OPT
f=124
TT=23.496
T1=13.63
 Wrong Opt.
f=247
TT=22.31
T1=22.16
 SAT (MO)
f=256
TT=8.478
T1=8.41
 OPT
f=124
TT=28.816
T1=24.44
 Wrong UNSAT

TT=6.908

 Wrong UNSAT

TT=13.679

 OPT
f=124
TT=5.729
T1=3.97
 OPT
f=124
TT=31.471
T1=26.93
 Wrong Opt.
f=205
TT=65.64
T1=31.58
 OPT
f=124
TT=19.758
T1=15.93
 OPT
f=124
TT=46.222
T1=34.3
 OPT
f=124
TT=18.348
T1=16.88
 OPT
f=124
TT=2.349
T1=2.11
 OPT
f=124
TT=2.068
T1=1.78
 OPT
f=124
TT=2.068
T1=1.79
 OPT
f=124
TT=15.415
T1=13.28
 OPT
f=124
TT=11.244
T1=9.97
 OPT
f=124
TT=48
T1=47.89
Bench nameBest resultsAbsCon
2019-07-23
(complete)		choco-solver
2019-06-14
(complete)		choco-solver
2019-06-14 parallel
(complete)		choco-solver
2019-09-16
(complete)		choco-solver
2019-09-16 parallel
(complete)		choco-solver
2019-09-20
(complete)		choco-solver
2019-09-20 parallel
(complete)		choco-solver
2019-09-24
(complete)		choco-solver
2019-09-24 parallel
(complete)		Concrete
3.10
(complete)		Concrete
3.12.2
(complete)		Concrete
3.12.2
(complete)		Concrete
3.12.3
(complete)		cosoco
2
(complete)		cosoco
2.0
(complete)		cosoco
2.0
(complete)		cosoco
2.0 parallel
(complete)		cosoco
2.O parallel
(complete)		PicatSAT
2019-09-12
(complete)
TravellingSalesman/
TravellingSalesman-m1-n100/
TravellingSalesman-100-50-02.xml 		SAT TO
f=421
TT=20120.6
T1=376.03
 SAT (TO)
f=533
TT=2520.02
T1=5.28
 SAT (TO)
f=556
TT=2520.35
T1=2177.17
 SAT (TO)
f=416
TT=20075.8
T1=13440.5
 SAT (TO)
f=476
TT=2520.61
T1=2047.41
 SAT (TO)
f=467
TT=20062.7
T1=18.13
 SAT (TO)
f=476
TT=2520.54
T1=2140.91
 SAT (TO)
f=467
TT=20064.6
T1=17.42
 SAT (TO)
f=467
TT=2520.11
T1=2455.35
 SAT (TO)
f=459
TT=20062.8
T1=17.68
 SAT (TO)
f=739
TT=2520.12
T1=1437.9
 SAT (TO)
f=788
TT=2520.09
T1=46.87
 SAT (TO)
f=734
TT=2520.08
T1=141.7
 SAT (TO)
f=758
TT=2520.12
T1=1292.4
 SAT (TO)
f=967
TT=2520.08
T1=1466.53
 SAT (TO)
f=967
TT=2519.94
T1=1460.64
 SAT (TO)
f=967
TT=2520.09
T1=1463.63
 SAT (TO)
f=421
TT=20120.6
T1=376.03
 SAT (TO)
f=421
TT=20120
T1=378.4
 ? (TO)

TT=2519.65
TravellingSalesman/
TravellingSalesman-m1-n100/
TravellingSalesman-100-50-08.xml 		SAT TO
f=443
TT=20119.8
T1=35.91
 SAT (TO)
f=494
TT=2520.03
T1=5
 SAT (MO)
f=1565
TT=13.535
T1=12.86
 SAT (TO)
f=483
TT=20077.1
T1=75.24
 SAT (MO)
f=664
TT=13.692
T1=13.31
 SAT (TO)
f=500
TT=20066.3
T1=21.83
 SAT (TO)
f=554
TT=2520.74
T1=1752.55
 SAT (TO)
f=500
TT=20065.6
T1=19.66
 SAT (TO)
f=505
TT=2520.05
T1=1628.87
 SAT (TO)
f=500
TT=20056.4
T1=20.93
 SAT (TO)
f=826
TT=2520.12
T1=290.24
 SAT (TO)
f=794
TT=2520.12
T1=632.25
 SAT (TO)
f=799
TT=2520.05
T1=1682.81
 SAT (TO)
f=822
TT=2520.04
T1=655.39
 SAT (TO)
f=816
TT=2519.82
T1=1894.35
 SAT (TO)
f=816
TT=2520.05
T1=1875.91
 SAT (TO)
f=816
TT=2520.06
T1=1898.68
 SAT (TO)
f=443
TT=20119.8
T1=35.91
 SAT (TO)
f=443
TT=20120.1
T1=35.9
 ? (TO)

TT=2519.8
TravellingSalesman/
TravellingSalesman-m1-n150/
TravellingSalesman-150-50-13.xml 		SAT TO
f=549
TT=20119.1
T1=278.27
 SAT (TO)
f=821
TT=2520.07
T1=55.28
 SAT (TO)
f=1672
TT=2520.19
T1=2297.94
 SAT (TO)
f=564
TT=20019.2
T1=144.89
 SAT (TO)
f=1240
TT=2520.58
T1=2499.17
 SAT (TO)
f=1095
TT=19955
T1=18218
 SAT (TO)
f=1242
TT=2520.58
T1=2515.72
 SAT (TO)
f=1047
TT=19747.6
T1=19521.3
 SAT (TO)
f=992
TT=2520.06
T1=2506.72
 SAT (TO)
f=1020
TT=19774.5
T1=19352.2
 SAT (TO)
f=1270
TT=2520.09
T1=752.72
 SAT (TO)
f=1186
TT=2520.07
T1=723.33
 SAT (TO)
f=1177
TT=2520.15
T1=347.89
 SAT (TO)
f=1148
TT=2520.15
T1=331.62
 SAT (TO)
f=1300
TT=2520.01
T1=2382.58
 SAT (TO)
f=1300
TT=2519.63
T1=2398.32
 SAT (TO)
f=1300
TT=2520.03
T1=2381.4
 SAT (TO)
f=549
TT=20119.1
T1=278.27
 SAT (TO)
f=549
TT=20119
T1=269.32
 ? (TO)

TT=2519.63
TravellingSalesman/
TravellingSalesman-m1-n15/
TravellingSalesman-15-30-00.xml 		OPT
f=93
TT=106.813
T1=8.69
 OPT
f=93
TT=165.196
T1=9.92
 OPT
f=93
TT=1700.03
T1=25.07
 OPT
f=93
TT=3359.43
T1=33.47
 OPT
f=93
TT=1221.39
T1=19.44
 OPT
f=93
TT=2616.72
T1=8.69
 OPT
f=93
TT=1272.69
T1=6.87
 OPT
f=93
TT=2626.76
T1=58.64
 SAT (TO)
f=93
TT=2520.03
T1=1.03
 OPT
f=93
TT=2566.13
T1=51.63
 OPT
f=93
TT=1264.84
T1=10.12
 OPT
f=93
TT=2027.96
T1=9.43
 SAT (TO)
f=93
TT=2520.13
T1=16.26
 SAT (TO)
f=93
TT=2520.12
T1=11.43
 SAT (TO)
f=93
TT=2519.94
T1=91.49
 SAT (TO)
f=93
TT=2519.71
T1=90.98
 SAT (TO)
f=93
TT=2520.07
T1=91.39
 OPT
f=93
TT=3982.73
T1=56.65
 OPT
f=93
TT=3746.81
T1=55.84
 OPT
f=93
TT=106.813
T1=106.78
TravellingSalesman/
TravellingSalesman-m1-n15/
TravellingSalesman-15-30-04.xml 		OPT
f=116
TT=83.998
T1=2.65
 OPT
f=116
TT=136.078
T1=19.54
 OPT
f=116
TT=1584.6
T1=19.97
 OPT
f=116
TT=3413.59
T1=3.06
 OPT
f=116
TT=1309.5
T1=6.7
 OPT
f=116
TT=2596
T1=2.65
 OPT
f=116
TT=1254.67
T1=6.41
 OPT
f=116
TT=2526.89
T1=2.69
 SAT (TO)
f=116
TT=2520.06
T1=2.92
 OPT
f=116
TT=2679.33
T1=29.39
 OPT
f=116
TT=2029.02
T1=15.35
 OPT
f=116
TT=2117.98
T1=9.75
 SAT (TO)
f=116
TT=2520.15
T1=18.04
 OPT
f=116
TT=2090.65
T1=12.63
 SAT (TO)
f=116
TT=2519.71
T1=56.99
 SAT (TO)
f=116
TT=2519.88
T1=56.28
 SAT (TO)
f=116
TT=2519.84
T1=56.98
 OPT
f=116
TT=5796.27
T1=32.7
 OPT
f=116
TT=5582.6
T1=102.12
 OPT
f=116
TT=83.998
T1=83.88
TravellingSalesman/
TravellingSalesman-m1-n15/
TravellingSalesman-15-30-10.xml 		OPT
f=104
TT=39.333
T1=4.38
 OPT
f=104
TT=39.333
T1=8.43
 OPT
f=104
TT=926.571
T1=11.04
 OPT
f=104
TT=1684.06
T1=7.23
 OPT
f=104
TT=618.251
T1=4.38
 OPT
f=104
TT=1318.9
T1=7.89
 OPT
f=104
TT=676.131
T1=4.32
 OPT
f=104
TT=1303.02
T1=12.08
 SAT (TO)
f=104
TT=2520.06
T1=1.84
 OPT
f=104
TT=1248.39
T1=10.57
 OPT
f=104
TT=1244.98
T1=9.94
 OPT
f=104
TT=1396.53
T1=9.15
 SAT (TO)
f=104
TT=2520.09
T1=12.84
 OPT
f=104
TT=1560.77
T1=9.06
 SAT (TO)
f=104
TT=2520.03
T1=14.49
 SAT (TO)
f=104
TT=2520.07
T1=12.49
 SAT (TO)
f=104
TT=2519.88
T1=12.49
 OPT
f=104
TT=10677.2
T1=107.7
 OPT
f=104
TT=9918.5
T1=87.8
 OPT
f=104
TT=105.744
T1=105.69
TravellingSalesman/
TravellingSalesman-m1-n15/
TravellingSalesman-15-30-11.xml 		OPT
f=76
TT=48.864
T1=2.44
 OPT
f=76
TT=48.864
T1=9.82
 OPT
f=76
TT=712.722
T1=3.3
 OPT
f=76
TT=1310.57
T1=1.99
 SAT (MO)
f=93
TT=1.837
T1=1.3
 OPT
f=76
TT=1209.44
T1=3.46
 OPT
f=76
TT=567.477
T1=3.62
 OPT
f=76
TT=1181.88
T1=2.73
 OPT
f=76
TT=1726.78
T1=4.56
 OPT
f=76
TT=1269.39
T1=3.24
 OPT
f=76
TT=763.099
T1=9.9
 OPT
f=76
TT=960.178
T1=12.49
 OPT
f=76
TT=1532.65
T1=12.9
 OPT
f=76
TT=932.646
T1=11.34
 OPT
f=76
TT=1281.6
T1=26.09
 OPT
f=76
TT=1275.45
T1=26
 OPT
f=76
TT=1275.55
T1=26
 OPT
f=76
TT=3788.7
T1=2.44
 OPT
f=76
TT=4068.56
T1=2.45
 OPT
f=76
TT=96.383
T1=96.28
TravellingSalesman/
TravellingSalesman-m1-n15/
TravellingSalesman-15-30-12.xml 		OPT
f=105
TT=43.491
T1=1.63
 OPT
f=105
TT=153.718
T1=5.38
 OPT
f=105
TT=1784.44
T1=6.21
 OPT
f=105
TT=3122.02
T1=2.74
 OPT
f=105
TT=1361
T1=7.2
 OPT
f=105
TT=2756.69
T1=2.71
 OPT
f=105
TT=1319.94
T1=6.72
 OPT
f=105
TT=2769.23
T1=3.37
 SAT (TO)
f=105
TT=2520.08
T1=1.66
 OPT
f=105
TT=2781.16
T1=2.72
 OPT
f=105
TT=2052.93
T1=9.19
 OPT
f=105
TT=1997.01
T1=10.93
 SAT (TO)
f=105
TT=2520.05
T1=13.34
 OPT
f=105
TT=2250.73
T1=9.84
 SAT (TO)
f=105
TT=2520.07
T1=35.19
 SAT (TO)
f=105
TT=2519.92
T1=34.89
 SAT (TO)
f=105
TT=2519.97
T1=35
 OPT
f=105
TT=7379.4
T1=1.63
 OPT
f=105
TT=6422.02
T1=2.44
 OPT
f=105
TT=43.491
T1=43.38
TravellingSalesman/
TravellingSalesman-m1-n15/
TravellingSalesman-15-30-14.xml 		OPT
f=91
TT=53.91
T1=0
 OPT
f=91
TT=58.973
T1=5.1
 SAT (TO)
f=91
TT=2520.36
T1=36.44
 OPT
f=91
TT=5071.2
T1=10.14
 OPT
f=91
TT=1944.35
T1=5.16
 OPT
f=91
TT=3676.98
T1=9.7
 OPT
f=91
TT=2016.32
T1=7.39
 OPT
f=91
TT=4208.7
T1=35.18
 SAT (TO)
f=91
TT=2520.07
T1=1.01
 OPT
f=91
TT=3705.19
T1=13.01
 OPT
f=91
TT=2025.85
T1=13.27
 SAT (TO)
f=91
TT=2520.15
T1=11.61
 SAT (TO)
f=91
TT=2520.06
T1=14.24
 SAT (TO)
f=91
TT=2520.11
T1=11.2
 SAT (TO)
f=91
TT=2520.07
T1=19.5
 SAT (TO)
f=91
TT=2519.96
T1=19.38
 SAT (TO)
f=91
TT=2519.86
T1=19.39
 OPT
f=91
TT=2362.73
T1=0
 OPT
f=91
TT=2116.2
T1=0
 OPT
f=91
TT=53.91
T1=53.88
TravellingSalesman/
TravellingSalesman-m1-n15/
TravellingSalesman-15-30-17.xml 		OPT
f=85
TT=115.403
T1=1.53
 OPT
f=85
TT=124.17
T1=16.05
 OPT
f=85
TT=1016.2
T1=57.37
 OPT
f=85
TT=1925.21
T1=1.93
 OPT
f=85
TT=686.868
T1=4.09
 OPT
f=85
TT=1517.64
T1=1.53
 OPT
f=85
TT=737.79
T1=4.77
 OPT
f=85
TT=1456.49
T1=2.03
 OPT
f=85
TT=2165.38
T1=2.18
 OPT
f=85
TT=1518.5
T1=2.06
 OPT
f=85
TT=955.264
T1=9.76
 OPT
f=85
TT=1051.5
T1=11.78
 OPT
f=85
TT=2182.4
T1=11.23
 OPT
f=85
TT=1152.26
T1=13.12
 OPT
f=85
TT=1954.53
T1=66.6
 OPT
f=85
TT=1941.43
T1=66.01
 OPT
f=85
TT=1946.76
T1=66.28
 OPT
f=85
TT=3284.1
T1=3.24
 OPT
f=85
TT=3367.34
T1=3.23
 OPT
f=85
TT=115.403
T1=115.36
Bench nameBest resultsAbsCon
2019-07-23
(complete)		choco-solver
2019-06-14
(complete)		choco-solver
2019-06-14 parallel
(complete)		choco-solver
2019-09-16
(complete)		choco-solver
2019-09-16 parallel
(complete)		choco-solver
2019-09-20
(complete)		choco-solver
2019-09-20 parallel
(complete)		choco-solver
2019-09-24
(complete)		choco-solver
2019-09-24 parallel
(complete)		Concrete
3.10
(complete)		Concrete
3.12.2
(complete)		Concrete
3.12.2
(complete)		Concrete
3.12.3
(complete)		cosoco
2
(complete)		cosoco
2.0
(complete)		cosoco
2.0
(complete)		cosoco
2.0 parallel
(complete)		cosoco
2.O parallel
(complete)		PicatSAT
2019-09-12
(complete)
TravellingSalesman/
TravellingSalesman-m1-n25/
TravellingSalesman-25-30-03.xml 		OPT
f=130
TT=1885.32
T1=581.17
 SAT (TO)
f=134
TT=2520.06
T1=218.28
 SAT (TO)
f=130
TT=2520.66
T1=2041.29
 SAT (TO)
f=131
TT=19561.3
T1=13336
 SAT (TO)
f=130
TT=2520.71
T1=12.27
 SAT (TO)
f=140
TT=20042
T1=1.99
 SAT (TO)
f=130
TT=2520.72
T1=13.43
 SAT (TO)
f=140
TT=20058.5
T1=2.6
 SAT (TO)
f=130
TT=2520.08
T1=14.62
 SAT (TO)
f=140
TT=20048.4
T1=2.03
 SAT (TO)
f=130
TT=2520.12
T1=599.22
 SAT (TO)
f=130
TT=2520.06
T1=152.34
 SAT (TO)
f=130
TT=2520.06
T1=857.3
 SAT (TO)
f=130
TT=2520.11
T1=515.79
 SAT (TO)
f=206
TT=2520.07
T1=2003.04
 SAT (TO)
f=206
TT=2519.91
T1=1974.41
 SAT (TO)
f=206
TT=2519.76
T1=1985.78
 SAT (TO)
f=130
TT=20125.8
T1=2386.3
 SAT (TO)
f=131
TT=20126.1
T1=7.92
 OPT
f=130
TT=1885.32
T1=581.17
TravellingSalesman/
TravellingSalesman-m1-n30/
TravellingSalesman-30-30-00.xml 		SAT TO
f=126
TT=2520.09
T1=35.62
 SAT (TO)
f=140
TT=2520.08
T1=809.42
 SAT (TO)
f=131
TT=2520.13
T1=2308.23
 SAT (TO)
f=127
TT=20055.6
T1=15484.3
 SAT (TO)
f=126
TT=2520.71
T1=35.62
 SAT (TO)
f=132
TT=20041.2
T1=2.63
 SAT (TO)
f=126
TT=2520.67
T1=36.16
 SAT (TO)
f=132
TT=20040.6
T1=2.66
 SAT (TO)
f=126
TT=2520.09
T1=706.25
 SAT (TO)
f=132
TT=20032.9
T1=2.04
 SAT (TO)
f=137
TT=2520.11
T1=2512.36
 SAT (TO)
f=141
TT=2520.06
T1=143.65
 SAT (TO)
f=126
TT=2520.13
T1=121.24
 SAT (TO)
f=146
TT=2520.09
T1=2169.58
 SAT (TO)
f=202
TT=2519.92
T1=2274.81
 SAT (TO)
f=202
TT=2519.82
T1=2243.32
 SAT (TO)
f=202
TT=2519.82
T1=2271.21
 SAT (TO)
f=129
TT=20127
T1=42.18
 SAT (TO)
f=129
TT=20126.8
T1=41.38
 ? (TO)

TT=2520.01
TravellingSalesman/
TravellingSalesman-m1-n30/
TravellingSalesman-30-30-11.xml 		SAT TO
f=119
TT=2520.07
T1=75.13
 SAT (TO)
f=157
TT=2520.01
T1=1960.4
 SAT (TO)
f=120
TT=2520.42
T1=1629.77
 SAT (TO)
f=120
TT=19801.3
T1=318.65
 SAT (TO)
f=119
TT=2520.4
T1=92.98
 SAT (TO)
f=142
TT=20039.8
T1=2.64
 SAT (TO)
f=119
TT=2520.57
T1=91.72
 SAT (TO)
f=142
TT=20033.7
T1=2.61
 SAT (TO)
f=119
TT=2520.1
T1=75.13
 SAT (TO)
f=142
TT=20035.4
T1=2.61
 SAT (TO)
f=119
TT=2520.12
T1=1576.45
 SAT (TO)
f=119
TT=2520.07
T1=1002.28
 SAT (TO)
f=121
TT=2520.04
T1=172.26
 SAT (TO)
f=124
TT=2520.14
T1=2420.12
 SAT (TO)
f=221
TT=2520.1
T1=782.94
 SAT (TO)
f=221
TT=2519.98
T1=680.28
 SAT (TO)
f=221
TT=2519.93
T1=679.57
 SAT (TO)
f=121
TT=20126.9
T1=94.9
 SAT (TO)
f=121
TT=20129.7
T1=94.11
 ? (TO)

TT=2519.95
TravellingSalesman/
TravellingSalesman-m1-n30/
TravellingSalesman-30-30-19.xml 		SAT TO
f=126
TT=2520.08
T1=2325.55
 SAT (TO)
f=142
TT=2520.07
T1=1257.63
 SAT (TO)
f=148
TT=2520.35
T1=317.47
 SAT (TO)
f=146
TT=20047.1
T1=23.83
 SAT (TO)
f=143
TT=2520.41
T1=18.68
 SAT (TO)
f=144
TT=20039.5
T1=588.9
 SAT (TO)
f=143
TT=2520.63
T1=16.56
 SAT (TO)
f=127
TT=20043.9
T1=10556.5
 SAT (TO)
f=139
TT=2520.04
T1=2440.26
 SAT (TO)
f=142
TT=20037.1
T1=19730.7
 SAT (TO)
f=135
TT=2520.05
T1=900.33
 SAT (TO)
f=126
TT=2520.08
T1=2325.55
 SAT (TO)
f=133
TT=2520.09
T1=1395.56
 SAT (TO)
f=140
TT=2520.11
T1=1143
 SAT (TO)
f=228
TT=2520.03
T1=2494.82
 SAT (TO)
f=224
TT=2520.02
T1=2515.31
 SAT (TO)
f=224
TT=2519.7
T1=2516.08
 SAT (TO)
f=143
TT=20125.8
T1=5201.34
 SAT (TO)
f=143
TT=20126.1
T1=5199.15
 ? (TO)

TT=2520.03
TravellingSalesman/
TravellingSalesman-m1-n35/
TravellingSalesman-35-30-07.xml 		SAT TO
f=143
TT=2520.38
T1=1674.5
 SAT (TO)
f=167
TT=2520.08
T1=2363.67
 SAT (TO)
f=182
TT=2520.58
T1=196.25
 SAT (TO)
f=149
TT=20056.4
T1=9.88
 SAT (TO)
f=143
TT=2520.38
T1=1674.5
 SAT (TO)
f=184
TT=20032.7
T1=4.75
 SAT (TO)
f=143
TT=2520.47
T1=1628.25
 SAT (TO)
f=156
TT=20035.7
T1=1851.32
 SAT (TO)
f=168
TT=2520.02
T1=223.29
 SAT (TO)
f=158
TT=20037.4
T1=6.84
 SAT (TO)
f=156
TT=2520.1
T1=2501.78
 SAT (TO)
f=162
TT=2520.06
T1=1707.55
 SAT (TO)
f=197
TT=2520.09
T1=1398.17
 SAT (TO)
f=183
TT=2520.11
T1=586.38
 SAT (TO)
f=276
TT=2520.06
T1=0
 SAT (TO)
f=276
TT=2520.05
T1=0
 SAT (TO)
f=276
TT=2520.03
T1=0
 SAT (TO)
f=155
TT=20126
T1=1829.61
 SAT (TO)
f=155
TT=20124.7
T1=1969.15
 ? (TO)

TT=2520.08
Vrp/Vrp-zinc-s1/
Vrp-A-n38-k5.xml 		SAT TO
f=770
TT=2520.09
T1=1993.98
 SAT (TO)
f=1548
TT=2520.09
T1=853.52
 SAT (TO)
f=1817
TT=2520.62
T1=625.67
 SAT (TO)
f=1697
TT=18463.2
T1=5622.04
 SAT (TO)
f=845
TT=2520.61
T1=1471.68
 SAT (TO)
f=854
TT=19520
T1=19407.4
 SAT (TO)
f=845
TT=2520.5
T1=1403.68
 SAT (TO)
f=840
TT=19755.6
T1=19195.5
 SAT (TO)
f=770
TT=2520.09
T1=1993.98
 SAT (TO)
f=859
TT=19769.6
T1=15805.6
 SAT (TO)
f=1516
TT=2520.11
T1=1231.98
 SAT (TO)
f=1503
TT=2520.14
T1=76.66
 SAT (TO)
f=1585
TT=2520.06
T1=1088.3
 SAT (TO)
f=1519
TT=2520.13
T1=495.18
 SAT (TO)
f=1967
TT=2519.94
T1=7.18
 SAT (TO)
f=1967
TT=2519.99
T1=7.19
 SAT (TO)
f=1967
TT=2520.04
T1=7.19
 SAT (TO)
f=1394
TT=20122.2
T1=5114.41
 SAT (TO)
f=1514
TT=20122.9
T1=7559.91
 ? (TO)

TT=2519.98
Vrp/Vrp-zinc-s1/
Vrp-P-n16-k8.xml 		OPT
f=450
TT=140.336
T1=3.25
 OPT
f=450
TT=303.456
T1=14.55
 OPT
f=450
TT=480.557
T1=230.79
 OPT
f=450
TT=985.653
T1=250.58
 OPT
f=450
TT=422.668
T1=5.08
 OPT
f=450
TT=982.561
T1=6.8
 OPT
f=450
TT=426.95
T1=5.08
 OPT
f=450
TT=827.362
T1=5.71
 OPT
f=450
TT=140.336
T1=3.25
 OPT
f=450
TT=852.047
T1=5.58
 OPT
f=450
TT=2158.49
T1=10.73
 OPT
f=450
TT=2099.64
T1=18.95
 SAT (TO)
f=450
TT=2520.1
T1=19.71
 OPT
f=450
TT=2427.93
T1=23.88
 SAT (TO)
f=450
TT=2519.88
T1=147.57
 SAT (TO)
f=450
TT=2519.91
T1=153.14
 SAT (TO)
f=450
TT=2520.01
T1=128.88
 OPT
f=450
TT=11141.1
T1=465.93
 OPT
f=450
TT=9393.58
T1=346.77
 OPT
f=450
TT=201.631
T1=159.88
Vrp/Vrp-zinc-s1/
Vrp-P-n40-k5.xml 		SAT TO
f=508
TT=19845.3
T1=11796.9
 SAT (TO)
f=1013
TT=2520.11
T1=617.79
 SAT (TO)
f=1054
TT=2520.61
T1=102.99
 SAT (TO)
f=994
TT=19253.1
T1=289.25
 SAT (TO)
f=519
TT=2520.5
T1=2023.99
 SAT (TO)
f=519
TT=19936.1
T1=2987.17
 SAT (TO)
f=550
TT=2520.65
T1=970.22
 SAT (TO)
f=531
TT=19782.4
T1=5038.42
 SAT (TO)
f=514
TT=2520.02
T1=735.51
 SAT (TO)
f=508
TT=19845.3
T1=11796.9
 SAT (TO)
f=943
TT=2520.08
T1=1576.26
 SAT (TO)
f=1044
TT=2520.06
T1=551.6
 SAT (TO)
f=1057
TT=2520.13
T1=475.73
 SAT (TO)
f=954
TT=2520.11
T1=175.78
 SAT (TO)
f=1209
TT=2519.99
T1=12.33
 SAT (TO)
f=1209
TT=2520.03
T1=12.39
 SAT (TO)
f=1209
TT=2520.01
T1=12.49
 SAT (TO)
f=940
TT=20124.7
T1=9809.45
 SAT (TO)
f=914
TT=20121.8
T1=1622.19
 ? (TO)

TT=2519.88
Warehouse/
Warehouse-m1-s1/
Warehouse-cap081.xml 		OPT
f=804126
TT=98.589
T1=5.21
 SAT (TO)
f=818782
TT=2520.1
T1=2418.88
 SAT (TO)
f=806580
TT=2520.68
T1=2516.03
 OPT
f=804126
TT=793.383
T1=781.27
 OPT
f=804126
TT=432.018
T1=8.89
 OPT
f=804126
TT=749.055
T1=11.87
 OPT
f=804126
TT=410.466
T1=9.92
 OPT
f=804126
TT=777.336
T1=32.56
 OPT
f=804126
TT=98.589
T1=5.21
 OPT
f=804126
TT=682.672
T1=25.29
 OPT
f=804126
TT=438.951
T1=23.55
 OPT
f=804126
TT=542.217
T1=15.46
 OPT
f=804126
TT=1656.26
T1=79.34
 OPT
f=804126
TT=612.804
T1=16.84
 OPT
f=804126
TT=343.782
T1=21.59
 OPT
f=804126
TT=300.631
T1=18.79
 OPT
f=804126
TT=303.789
T1=19
 OPT
f=804126
TT=814.541
T1=26.94
 OPT
f=804126
TT=1211.6
T1=8.64
 ? (TO)

TT=2519.96
Warehouse/
Warehouse-m1-s1/
Warehouse-cap101.xml 		OPT
f=804126
TT=94.41
T1=4.44
 SAT (TO)
f=818782
TT=2520.11
T1=2509.18
 OPT
f=804126
TT=2281.35
T1=1794.72
 Wrong Cert.

TT=1005.42

 OPT
f=804126
TT=397.471
T1=7.45
 OPT
f=804126
TT=767.913
T1=50.35
 OPT
f=804126
TT=428.65
T1=10.64
 OPT
f=804126
TT=751.585
T1=12.33
 OPT
f=804126
TT=94.41
T1=4.44
 OPT
f=804126
TT=714.525
T1=20.06
 OPT
f=804126
TT=448.119
T1=22.91
 OPT
f=804126
TT=465.709
T1=16.26
 OPT
f=804126
TT=1402.45
T1=55.45
 OPT
f=804126
TT=611.846
T1=14.03
 OPT
f=804126
TT=304.781
T1=19.1
 OPT
f=804126
TT=300.414
T1=18.79
 OPT
f=804126
TT=303.279
T1=19
 OPT
f=804126
TT=948.034
T1=34.93
 OPT
f=804126
TT=879.577
T1=4.67
 ? (TO)

TT=2519.8



StatisticsAbsCon
2019-07-23
(complete)		choco-solver
2019-06-14
(complete)		choco-solver
2019-06-14 parallel
(complete)		choco-solver
2019-09-16
(complete)		choco-solver
2019-09-16 parallel
(complete)		choco-solver
2019-09-20
(complete)		choco-solver
2019-09-20 parallel
(complete)		choco-solver
2019-09-24
(complete)		choco-solver
2019-09-24 parallel
(complete)		Concrete
3.10
(complete)		Concrete
3.12.2
(complete)		Concrete
3.12.2
(complete)		Concrete
3.12.3
(complete)		cosoco
2
(complete)		cosoco
2.0
(complete)		cosoco
2.0
(complete)		cosoco
2.0 parallel
(complete)		cosoco
2.O parallel
(complete)		PicatSAT
2019-09-12
(complete)
Number of times the solver is able to give the best known answer20421302202380019724001691301801221231231710221
Number of times the solver is the best solver from a complete solver point of view
(i.e. best known answer and best TT time)		54360279004490136812241611051