2017 XCSP3 competition: main track (CSP and COP, sequential and parallel solvers): results by benchmark

Results by benchmark for category optimization problem (COP)

This page displays the results of the different solvers for each benchmark for category optimization problem (COP)

REMINDER

Keep in mind that the 'Best result' columns only provide the best result given by one of the solvers. This 'Best result' may be wrong in case of an UNSATISFIABLE or OPTIMUM FOUND answer (because there's no efficient way to check these answers).

Description of a cell contents:

Cell example	Meaning
Answer	Solver result
f=...	value of the objective function for the model reported by the solver
TT=...	Total Time (TT): this is the CPU time (in seconds) used by the solver until termination. This time is only meaningful for complete solvers because incomplete solvers will always run until they time out

Remember that CPU time and wall clock time are two very different notions. The CPU time represents the time during which the instructions of the solver were executed by the processor. The wall clock time represents how much time ellapsed on the clock. For a same event, the CPU time may be either smaller or greater than the wall clock time depending on the number of threads of execution and the number of processors.

Meaning of some abbreviations:

Abbreviation	Meaning
f=...	Value of the objective function
TO	Time Out
MO	Mem. Out (out of memory)

Meaning of the different colors:

Color	Meaning
text	the solver cannot handle this instance
text	the solver gave no answer
text	the solver could give an answer (SAT)
text	the solver gave a definitive answer (OPTIMUM FOUND or UNSAT)
text	the solver performed better than the other ones on that instance (complete solvers point of view)
text	the solver performed better than the other ones on that instance (incomplete solvers point of view)
text	the solver was ended by a signal or other problem
text	the solver gave an incomplete answer
text	the solver gave a wrong answer

For better readability, you may choose to hide some solvers:
AbsCon-basic 2017-06-11 (complete)
choco-solver 4.0.5 par (2017-08-09) (complete)
choco-solver 4.0.5 par (2017-08-18) (complete)
choco-solver 4.0.5 seq (2017-08-09) (complete)
choco-solver 4.0.5 seq (2017-08-18) (complete)
choco-solver 5a (2017-07-26) (complete)
choco-solver 5a (2017-08-18) (complete)
Concrete 3.4 (complete)
cosoco 1.12 (complete)
cosoco-sat 1.12 (complete)
Mistral-2.0 2017-07-28 (complete)
OscaR - ALNS 2017-07-26 (complete)
OscaR - Conflict Ordering 2017-07-26 (complete)
OscaR - Hybrid 2017-07-26 (complete)
OscaR - Parallel with EPS 2017-07-26 (complete)
OscaR - Parallel with EPS 2017-08-22 (complete)
R1: AbsCon-basic 2017-06-11 (complete)
R1: choco-solver 4.0.5 (2017-07-05) (complete)
R1: choco-solver 5a (2017-07-05) (complete)
R1: Concrete 3.4 (complete)
R1: cosoco 1.1 (complete)
R1: cosoco-sat 1.1 (complete)
R1: Mistral-2.0 2017-06-28 (complete)
R1: OscaR - ALNS 2017-06-30 (complete)
R1: OscaR - Conflict Ordering 2017-06-30 (complete)
R1: OscaR - Hybrid 2017-06-30 (complete)
R1: sat4j-CSP 2017-07-05 (complete)
sat4j-CSP 2017-07-05 (complete)

Bench name	Best results on this instance	AbsCon-basic 2017-06-11 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
BinPacking/ BinPacking-mdd-ft/ BinPacking-mdd-ft120-11.xml	SAT TO f=7 TT=2400.03 T1=35.2	SAT (TO) f=7 TT=2520.02 T1=294.26	SAT (TO) f=7 TT=20033.1 T1=1275.46	SAT (TO) f=7 TT=20031.5 T1=427.19	SAT (TO) f=0 TT=2520.1 T1=1435.09	SAT (TO) f=0 TT=2520.04 T1=1462.58	SAT (TO) f=0 TT=2520.06 T1=2086.6	SAT (TO) f=0 TT=2520.09 T1=2109.11	? (TO) TT=2521.31	? (TO) TT=2520.03	? (TO) TT=2520	SAT (TO) f=7 TT=2519.79 T1=580.43	SAT (TO) f=7 TT=2520.14 T1=258.63	SAT (TO) f=6 TT=2520.11 T1=12.89	SAT (TO) f=7 TT=2520.08 T1=1788.58	SAT (TO) f=7 TT=19960.4 T1=35.2	SAT (TO) f=7 TT=19962.1 T1=90.87	SAT (TO) f=7 TT=2400.03 T1=263.18	SAT (TO) f=4 TT=2400.67 T1=210.73	SAT (TO) f=6 TT=2400.57 T1=194.59	? (TO) TT=2403.19	? (TO) TT=2400.09	? (TO) TT=2400.05	SAT (TO) f=7 TT=2400.06 T1=551.88	SAT (TO) f=7 TT=2400.13 T1=153.39	SAT (TO) f=6 TT=2400.12 T1=13.87	SAT (TO) f=7 TT=2400.04 T1=44.27	? (TO) TT=2400.22	? (TO) TT=2520.34
BinPacking/ BinPacking-mdd-ft/ BinPacking-mdd-ft120-13.xml	SAT TO f=7 TT=2400.03 T1=31.25	SAT (TO) f=7 TT=2520.03 T1=216.12	SAT (TO) f=7 TT=20054.801 T1=39.55	SAT (TO) f=7 TT=20040.6 T1=41.3	SAT (TO) f=2 TT=2520.11 T1=1418.66	SAT (TO) f=2 TT=2520.09 T1=1423.89	SAT (TO) f=2 TT=2520.04 T1=2351.75	SAT (TO) f=2 TT=2520.03 T1=2375.52	? (TO) TT=2521.3	? (TO) TT=2519.87	SAT (TO) f=0 TT=2520.07 T1=750.13	SAT (TO) f=7 TT=2519.66 T1=612.92	SAT (TO) f=7 TT=2520.12 T1=516.72	SAT (TO) f=5 TT=2520.06 T1=1078.06	SAT (TO) f=7 TT=2520.07 T1=1060.53	SAT (TO) f=7 TT=19947.699 T1=31.25	SAT (TO) f=7 TT=19958.9 T1=97.41	SAT (TO) f=7 TT=2400.03 T1=215.65	SAT (TO) f=7 TT=2400.41 T1=167.25	SAT (TO) f=7 TT=2400.07 T1=163.82	? (TO) TT=2402.67	? (TO) TT=2400.06	? (TO) TT=2400.1	SAT (TO) f=7 TT=2400.07 T1=653.38	SAT (TO) f=7 TT=2400.09 T1=149.18	SAT (TO) f=5 TT=2400.06 T1=1106.4	SAT (TO) f=7 TT=2400.1 T1=628.98	? (TO) TT=2400.15	? (TO) TT=2520.25
BinPacking/ BinPacking-mdd-ft/ BinPacking-mdd-ft120-15.xml	SAT TO f=6 TT=2400.08 T1=24.02	SAT (TO) f=6 TT=2520.02 T1=2175.27	SAT (TO) f=3 TT=20024.199 T1=86.57	SAT (TO) f=6 TT=20024.301 T1=800.36	SAT (TO) f=1 TT=2520.12 T1=864.06	SAT (TO) f=1 TT=2520.06 T1=771.78	SAT (TO) f=0 TT=2520.06 T1=156.5	SAT (TO) f=0 TT=2520.06 T1=144.72	? (TO) TT=2521.37	? (TO) TT=2519.84	? (TO) TT=2519.91	SAT (TO) f=6 TT=2519.78 T1=35.3	SAT (TO) f=6 TT=2520.08 T1=1082.73	SAT (TO) f=4 TT=2520.07 T1=13	SAT (TO) f=6 TT=2520.03 T1=220.61	SAT (TO) f=6 TT=19996.5 T1=24.02	SAT (TO) f=6 TT=19984 T1=90.02	SAT (TO) f=6 TT=2400.12 T1=2186.6	SAT (TO) f=4 TT=2400.54 T1=229.01	SAT (TO) f=4 TT=2400.34 T1=235.94	? (TO) TT=2402.47	? (TO) TT=2400.08	? (TO) TT=2400.09	SAT (TO) f=6 TT=2400.08 T1=35.48	SAT (TO) f=6 TT=2400.09 T1=350.91	SAT (TO) f=4 TT=2400.12 T1=13.04	SAT (TO) f=6 TT=2400.14 T1=954.62	? (TO) TT=2400.17	? (TO) TT=2520.26
BinPacking/ BinPacking-mdd-ft/ BinPacking-mdd-ft249-19.xml	SAT TO f=13 TT=2400.06 T1=1791.24	SAT (TO) f=3 TT=2520.04 T1=1356.07	? (TO) TT=20026	? (TO) TT=20031.1	? (TO) TT=2520.08	? (TO) TT=2520.03	? (TO) TT=2520.11	? (TO) TT=2520.05	? (TO) TT=2524.21	? (TO) TT=2519.84	? (TO) TT=2520.01	? (TO) TT=2520.03	SAT (TO) f=13 TT=2520.12 T1=2255.51	SAT (TO) f=3 TT=2520.06 T1=1772.67	SAT (TO) f=12 TT=2520.1 T1=2338.48	? (TO) TT=10182.9	SAT (TO) f=13 TT=11302.6 T1=2973	SAT (TO) f=3 TT=2400.12 T1=1298.57	? (TO) TT=2400.35	? (TO) TT=2400.54	? (TO) TT=2407.02	? (TO) TT=2400.07	? (TO) TT=2400.05	? (TO) TT=2400.11	SAT (TO) f=12 TT=2400.15 T1=1212.37	SAT (TO) f=3 TT=2400.13 T1=1785.88	SAT (TO) f=13 TT=2400.06 T1=1791.24	? (TO) TT=2415.9	? TT=1695.85
BinPacking/ BinPacking-mdd-ft/ BinPacking-mdd-ft501-07.xml		? (TO) TT=2520.08	? (TO) TT=19785.699	? (TO) TT=19801.199	? (TO) TT=2520.07	? (TO) TT=2520.08	? (TO) TT=2520.09	? (TO) TT=2520.03	? (TO) TT=2525.88	? (TO) TT=2519.94	? (TO) TT=2520.03	? (TO) TT=2520.06	? (TO) TT=2520.07	? (TO) TT=2520.04	? (TO) TT=2520.05	? (TO) TT=2531.97	? (TO) TT=2538.9	? (TO) TT=2400.1	? (TO) TT=2400.66	? (TO) TT=2400.44	? (TO) TT=2410.36	? (TO) TT=2400.02	? (TO) TT=2400.09	? (TO) TT=2400.08	? (TO) TT=2400.05	? (TO) TT=2400.1	? (TO) TT=2400.03	? (TO) TT=2416.08	? TT=1684.21
BinPacking/ BinPacking-mdd-sw100/ BinPacking-mdd-sw100-03.xml	SAT TO f=0 TT=2400.03 T1=0.39	SAT (TO) f=0 TT=2520.07 T1=5.59	SAT (TO) f=0 TT=20008.801 T1=1091.72	? (TO) TT=20018.199	? (TO) TT=2520.08	? (TO) TT=2520.04	? (TO) TT=2514.51	? (TO) TT=2520.07	SAT (TO) f=0 TT=2520.09 T1=26.23	SAT (TO) f=0 TT=2520.01 T1=0.39	? (TO) TT=2520.11	SAT (TO) f=0 TT=2519.77 T1=1352.7	? (TO) TT=2520.06	? (TO) TT=2526.4	? (TO) TT=2520.1	? (TO) TT=2579.96	? (TO) TT=2577.72	SAT (TO) f=0 TT=2400.03 T1=5.54	? (TO) TT=2400.59	? (TO) TT=2400.69	SAT (TO) f=0 TT=2400.14 T1=30.71	? (TO) TT=2400.02	? (TO) TT=2400.07	SAT (TO) f=0 TT=2400.03 T1=1399.42	? (TO) TT=2400.04	? (TO) TT=2400.1	? (TO) TT=2400.08	? (TO) TT=2416.33	? TT=1672.34
BinPacking/ BinPacking-mdd-sw100/ BinPacking-mdd-sw100-43.xml	SAT TO f=0 TT=2400.08 T1=0.4	SAT (TO) f=0 TT=2520.02 T1=1945.41	? (TO) TT=20023	? (TO) TT=20022.9	? (TO) TT=2518.35	? (TO) TT=2520.1	? (TO) TT=2520.08	? (TO) TT=2520.11	? (TO) TT=2522.15	SAT (TO) f=0 TT=2519.91 T1=0.4	? (TO) TT=2519.83	? (TO) TT=2519.81	? (TO) TT=2526.72	? (TO) TT=2520.1	? (TO) TT=2520.06	? (TO) TT=2564.22	? (TO) TT=2555.6	SAT (TO) f=0 TT=2400.08 T1=1974.24	? (TO) TT=2400.74	? (TO) TT=2400.06	? (TO) TT=2404.83	? (TO) TT=2400.03	? (TO) TT=2400.04	? (TO) TT=2400.06	? (TO) TT=2401.86	? (TO) TT=2400.07	? (TO) TT=2400.06	? (TO) TT=2415.8	? TT=1673.19
BinPacking/ BinPacking-mdd-sw100/ BinPacking-mdd-sw100-63.xml	SAT TO f=0 TT=2400.03 T1=4.87	SAT (TO) f=0 TT=2520.03 T1=5.06	? (TO) TT=20016.6	? (TO) TT=20016.199	? (TO) TT=2520.1	? (TO) TT=2520.04	? (TO) TT=2520.11	? (TO) TT=2520.03	? (TO) TT=2522.07	? (TO) TT=2519.79	? (TO) TT=2519.8	? (TO) TT=2520.02	? (TO) TT=2520.09	? (TO) TT=2520.11	? (TO) TT=2520.06	? (TO) TT=2556.84	? (TO) TT=2563.18	SAT (TO) f=0 TT=2400.03 T1=4.87	? (TO) TT=2400.29	? (TO) TT=2400.37	? (TO) TT=2404.12	? (TO) TT=2400.06	? (TO) TT=2400.11	? (TO) TT=2400.05	? (TO) TT=2400.05	? (TO) TT=2400.05	? (TO) TT=2400.11	? (TO) TT=2416.29	? TT=1678.15
BinPacking/ BinPacking-mdd-sw100/ BinPacking-mdd-sw100-70.xml	SAT TO f=0 TT=2400.02 T1=5.24	SAT (TO) f=0 TT=2520.02 T1=5.25	? (TO) TT=20010.6	? (TO) TT=20011.4	? (TO) TT=2520.03	? (TO) TT=2520.08	? (TO) TT=2520.11	? (TO) TT=2520.08	? (TO) TT=2522.81	? (TO) TT=2519.93	? (TO) TT=2519.99	? (TO) TT=2519.66	? (TO) TT=2520.09	? (TO) TT=2520.12	? (TO) TT=2520.12	? (TO) TT=2567.93	? (TO) TT=2558.92	SAT (TO) f=0 TT=2400.02 T1=5.24	? (TO) TT=2400.69	? (TO) TT=2400.39	? (TO) TT=2404.91	? (TO) TT=2400.08	? (TO) TT=2400.04	? (TO) TT=2400.07	? (TO) TT=2400.08	? (TO) TT=2400.07	? (TO) TT=2400.08	? (TO) TT=2416.52	? TT=1688.52
BinPacking/ BinPacking-mdd-sw100/ BinPacking-mdd-sw100-75.xml	SAT TO f=0 TT=2400.08 T1=4.94	SAT (TO) f=0 TT=2520.06 T1=5.25	? (TO) TT=20012.199	? (TO) TT=20017.699	? (TO) TT=2520.05	? (TO) TT=2520.05	? (TO) TT=2520.09	? (TO) TT=2520.05	? (TO) TT=2522.63	? (TO) TT=2519.78	? (TO) TT=2520.04	? (TO) TT=2519.82	? (TO) TT=2520.06	? (TO) TT=2520.08	? (TO) TT=2520.02	? (TO) TT=2559.98	? (TO) TT=2568.34	SAT (TO) f=0 TT=2400.08 T1=4.94	? (TO) TT=2400.48	? (TO) TT=2400.66	? (TO) TT=2404.6	? (TO) TT=2400.01	? (TO) TT=2400.09	? (TO) TT=2400.02	? (TO) TT=2400.05	? (TO) TT=2400.03	? (TO) TT=2400.08	? (TO) TT=2416.23	? TT=1696.58
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
BinPacking/ BinPacking-mdd-sw100/ BinPacking-mdd-sw100-92.xml	SAT TO f=0 TT=2400.05 T1=0.41	SAT (TO) f=0 TT=2520.06 T1=5.53	SAT (TO) f=0 TT=20029.199 T1=792.8	SAT (TO) f=0 TT=20026.1 T1=77.47	? (TO) TT=2520.05	? (TO) TT=2520.05	? (TO) TT=2520.09	? (TO) TT=2520.09	? (TO) TT=2522.59	SAT (TO) f=0 TT=2519.87 T1=0.41	? (TO) TT=2520.05	SAT (TO) f=0 TT=2520.03 T1=694.41	? (TO) TT=2520.07	? (TO) TT=2520.04	? (TO) TT=2520.07	? (TO) TT=2577.83	? (TO) TT=2569.45	SAT (TO) f=0 TT=2400.08 T1=5.25	SAT (TO) f=0 TT=2400.04 T1=125.49	SAT (TO) f=0 TT=2400.04 T1=134.82	? (TO) TT=2406.03	? (TO) TT=2400.06	? (TO) TT=2400.07	SAT (TO) f=0 TT=2400.05 T1=701.43	? (TO) TT=2400.07	? (TO) TT=2400.05	? (TO) TT=2400.05	? (TO) TT=2415.83	? TT=1639.62
BinPacking/ BinPacking-mdd-sw120/ BinPacking-mdd-sw120-20.xml	SAT TO f=0 TT=2400.1 T1=196.97	SAT (TO) f=0 TT=2520.06 T1=198.47	? (TO) TT=20002.301	? (TO) TT=20011.301	? (TO) TT=2520.06	? (TO) TT=2520.07	? (TO) TT=2520.06	? (TO) TT=2520.04	? (TO) TT=2522.73	? (TO) TT=2519.61	? (TO) TT=2520.02	? (TO) TT=2519.65	? (TO) TT=2520.12	? (TO) TT=2520.1	? (TO) TT=2520.93	? (TO) TT=2552.97	? (TO) TT=2602.55	SAT (TO) f=0 TT=2400.1 T1=196.97	? (TO) TT=2400.05	? (TO) TT=2400.28	? (TO) TT=2405.86	? (TO) TT=2400.05	? (TO) TT=2400.08	? (TO) TT=2400.09	? (TO) TT=2400.09	? (TO) TT=2400.05	? (TO) TT=2400.11	? (TO) TT=2415.95	? TT=1685.64
BinPacking/ BinPacking-mdd-sw120/ BinPacking-mdd-sw120-30.xml	SAT TO f=0 TT=2400.08 T1=0.9	SAT (TO) f=0 TT=2520.04 T1=12.18	SAT (TO) f=0 TT=20012.1 T1=247.76	SAT (TO) f=0 TT=20043.5 T1=247.89	SAT (TO) f=0 TT=2520.02 T1=105.63	SAT (TO) f=0 TT=2520.07 T1=109.94	SAT (TO) f=0 TT=2520.02 T1=112.86	SAT (TO) f=0 TT=2520.05 T1=117.32	? (TO) TT=2523.02	SAT (TO) f=0 TT=2519.86 T1=0.9	SAT (TO) f=0 TT=2519.87 T1=1.66	SAT (TO) f=0 TT=2519.81 T1=1735.82	? (TO) TT=2520.1	? (TO) TT=2520.09	? (TO) TT=2520.04	? (TO) TT=2580.1	? (TO) TT=2576.02	SAT (TO) f=0 TT=2400.08 T1=12.11	SAT (TO) f=0 TT=2400.57 T1=192.8	SAT (TO) f=0 TT=2400.32 T1=192.92	? (TO) TT=2405.78	? (TO) TT=2400.04	? (TO) TT=2400.04	SAT (TO) f=0 TT=2400.1 T1=1842.55	? (TO) TT=2400.07	? (TO) TT=2400.06	? (TO) TT=2400.1	? (TO) TT=2415.85	? TT=1673.27
BinPacking/ BinPacking-mdd-sw120/ BinPacking-mdd-sw120-63.xml	SAT TO f=0 TT=2400.06 T1=0.57	SAT (TO) f=0 TT=2520.09 T1=9.87	SAT (TO) f=0 TT=20020.199 T1=689.51	SAT (TO) f=0 TT=20026 T1=1899.61	? (TO) TT=2520.1	? (TO) TT=2520.07	? (TO) TT=2520.09	? (TO) TT=2520.02	SAT (TO) f=0 TT=2520.08 T1=2450.4	SAT (TO) f=0 TT=2520.08 T1=0.57	? (TO) TT=2519.65	SAT (TO) f=0 TT=2520.01 T1=652.23	? (TO) TT=2520.12	? (TO) TT=2520.12	? (TO) TT=2520.08	? (TO) TT=2580.43	? (TO) TT=2568.1	SAT (TO) f=0 TT=2400.08 T1=9.81	? (TO) TT=2400.07	? (TO) TT=2400.02	? (TO) TT=2405.78	? (TO) TT=2400.05	? (TO) TT=2400.06	SAT (TO) f=0 TT=2400.06 T1=676.07	? (TO) TT=2400.07	? (TO) TT=2400.09	? (TO) TT=2400.08	? (TO) TT=2415.8	? TT=1760.7
BinPacking/ BinPacking-mdd-sw120/ BinPacking-mdd-sw120-83.xml	SAT TO f=0 TT=2400.07 T1=3.64	SAT (TO) f=0 TT=2520.02 T1=29.78	SAT (TO) f=0 TT=20001.5 T1=13.89	SAT (TO) f=0 TT=20010.4 T1=13.4	? (TO) TT=2520.07	? (TO) TT=2520.09	? (TO) TT=2520.12	? (TO) TT=2520.03	? (TO) TT=2522.7	SAT (TO) f=0 TT=2519.86 T1=3.64	? (TO) TT=2519.84	SAT (TO) f=0 TT=2519.79 T1=75.75	? (TO) TT=2520.09	? (TO) TT=2520.07	? (TO) TT=2520.09	? (TO) TT=2589.08	? (TO) TT=2583.64	SAT (TO) f=0 TT=2400.1 T1=29.68	SAT (TO) f=0 TT=2400.23 T1=15.21	SAT (TO) f=0 TT=2400.57 T1=15.48	? (TO) TT=2406.06	? (TO) TT=2400.05	? (TO) TT=2400.06	SAT (TO) f=0 TT=2400.07 T1=77.08	? (TO) TT=2400.06	? (TO) TT=2400.1	? (TO) TT=2400.11	? (TO) TT=2416.14	? TT=1736.59
BinPacking/ BinPacking-mdd-sw120/ BinPacking-mdd-sw120-91.xml	SAT TO f=0 TT=2400.08 T1=2.15	SAT (TO) f=0 TT=2520.03 T1=9.78	SAT (TO) f=0 TT=20002.9 T1=11.81	SAT (TO) f=0 TT=20023.801 T1=12.33	SAT (TO) f=0 TT=2520.1 T1=39.39	SAT (TO) f=0 TT=2520.06 T1=38.96	SAT (TO) f=0 TT=2520.11 T1=38.87	SAT (TO) f=0 TT=2520.03 T1=40.37	SAT (TO) f=0 TT=2520.07 T1=729.87	SAT (TO) f=0 TT=2520.02 T1=7.19	SAT (TO) f=0 TT=2519.91 T1=12.29	SAT (TO) f=0 TT=2519.74 T1=2.16	? (TO) TT=2520.05	? (TO) TT=2520.12	? (TO) TT=2520.07	? (TO) TT=2574.1	? (TO) TT=2570.96	SAT (TO) f=0 TT=2400.1 T1=9.38	SAT (TO) f=0 TT=2400.46 T1=12.87	SAT (TO) f=0 TT=2400.3 T1=14.3	SAT (TO) f=0 TT=2400.12 T1=773.96	? (TO) TT=2400.03	? (TO) TT=2400.03	SAT (TO) f=0 TT=2400.08 T1=2.15	? (TO) TT=2400.07	? (TO) TT=2400.1	? (TO) TT=2400.04	? (TO) TT=2416.38	? TT=1697.84
BinPacking/ BinPacking-mdd-sw120/ BinPacking-mdd-sw120-99.xml	SAT TO f=0 TT=2400.11 T1=188.58	SAT (TO) f=0 TT=2520.1 T1=198.48	SAT (TO) f=0 TT=20008.4 T1=1407.81	SAT (TO) f=0 TT=20008.801 T1=1039.39	? (TO) TT=2520.05	? (TO) TT=2520.12	? (TO) TT=2520.08	? (TO) TT=2520.04	SAT (TO) f=0 TT=2520.14 T1=1971.68	? (TO) TT=2519.78	? (TO) TT=2519.77	? (TO) TT=2520.02	? (TO) TT=2520.11	? (TO) TT=2520.04	? (TO) TT=2520.07	? (TO) TT=2564.41	? (TO) TT=2557.06	SAT (TO) f=0 TT=2400.11 T1=188.58	? (TO) TT=2400.15	? (TO) TT=2400.44	SAT (TO) f=0 TT=2400.11 T1=1983.2	? (TO) TT=2400.08	? (TO) TT=2400.06	? (TO) TT=2400.06	? (TO) TT=2400.09	? (TO) TT=2400.12	? (TO) TT=2400.11	? (TO) TT=2416.34	? TT=1658.71
BinPacking/ BinPacking-sum-ft/ BinPacking-sum-ft060-11.xml	SAT TO f=2 TT=2400.03 T1=1.61	SAT (TO) f=2 TT=2520.08 T1=47.9	SAT (TO) f=2 TT=20078.5 T1=3.55	SAT (TO) f=2 TT=20068.1 T1=4.52	? (TO) TT=2520.09	? (TO) TT=2520.08	? (TO) TT=2520.16	? (TO) TT=2520.11	SAT (TO) f=2 TT=2520.1 T1=14.69	? (TO) TT=2520.08	? (TO) TT=2519.92	SAT (TO) f=2 TT=2520.09 T1=1.63	? (TO) TT=2520.06	? (TO) TT=2520.11	? (TO) TT=2520.05	? (TO) TT=19880.4	? (TO) TT=19894	SAT (TO) f=2 TT=2400.03 T1=47.88	SAT (TO) f=2 TT=2400.57 T1=6.6	SAT (TO) f=2 TT=2400.34 T1=6.84	SAT (TO) f=2 TT=2400.11 T1=15.38	? (TO) TT=2400.04	? (TO) TT=2400.04	SAT (TO) f=2 TT=2400.06 T1=1.61	? (TO) TT=2400.06	? (TO) TT=2400.02	? (TO) TT=2400.06	SAT (TO) f=0 TT=2400.23 T1=1946.51	SAT (TO) f=0 TT=2520.27 T1=1887.51
BinPacking/ BinPacking-sum-s28/ BinPacking-sum-s28-561.xml		? (TO) TT=2520.06	? (TO) TT=20055.301	? (TO) TT=20053.1	? (TO) TT=2520.12	? (TO) TT=2520.07	? (TO) TT=2520.56	? (TO) TT=2520.11	? (TO) TT=2523.62	? (TO) TT=2520.04	? (TO) TT=2520.01	? (TO) TT=2519.99	? (TO) TT=2520.09	? (TO) TT=2520.08	? (TO) TT=2520.1	? (TO) TT=19788.699	? (TO) TT=19821.4	? (TO) TT=2400.12	? (TO) TT=2400.7	? (TO) TT=2400.24	? (TO) TT=2406.43	? (TO) TT=2400.09	? (TO) TT=2400.04	? (TO) TT=2400.01	? (TO) TT=2400.11	? (TO) TT=2400.08	? (TO) TT=2400.09	? (TO) TT=2416.07	? (problem) TT=1423.87
BinPacking/ BinPacking-sum-skj1/ BinPacking-sum-n1c3w4d.xml	OPT f=8 TT=75.977 T1=34.04	SAT (TO) f=6 TT=2520.1 T1=805.05	SAT (TO) f=8 TT=20070.4 T1=430.84	SAT (TO) f=8 TT=20065.4 T1=441.84	? (TO) TT=2520.07	? (TO) TT=2520.06	? (TO) TT=2520.09	? (TO) TT=2520.04	? (TO) TT=2520.64	? (TO) TT=2520.01	? (TO) TT=2519.76	OPT f=8 TT=75.977 T1=34.04	? (TO) TT=2520.06	? (TO) TT=2520.1	? (TO) TT=2520.04	SAT (TO) f=5 TT=14647.5 T1=816.53	SAT (TO) f=5 TT=14920.1 T1=352.76	SAT (TO) f=6 TT=2400.07 T1=818.06	SAT (TO) f=7 TT=2400.71 T1=45.43	SAT (TO) f=7 TT=2400.1 T1=44.68	? (TO) TT=2401.27	? (TO) TT=2400.09	? (TO) TT=2400.03	OPT f=8 TT=77.025 T1=34.69	? (TO) TT=2400.11	? (TO) TT=2400.04	? (TO) TT=2400.1	SAT (TO) f=1 TT=2403.18 T1=2283.06	? (TO) TT=2520.16
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
BinPacking/ BinPacking-sum-skj1/ BinPacking-sum-n1c3w4r.xml	OPT f=7 TT=1984.32 T1=1411.43	SAT (TO) f=4 TT=2520.11 T1=98.71	SAT (TO) f=7 TT=20091.6 T1=52.6	SAT (TO) f=7 TT=20077.699 T1=53.08	? (TO) TT=2520.05	? (TO) TT=2520.05	? (TO) TT=2520.09	? (TO) TT=2520.11	? (TO) TT=2520.59	? (TO) TT=2519.77	? (TO) TT=2520.06	SAT (TO) f=7 TT=2519.85 T1=3.83	SAT (TO) f=7 TT=2520.03 T1=44.05	SAT (TO) f=7 TT=2520.08 T1=45.14	SAT (TO) f=7 TT=2520.06 T1=46.94	SAT (TO) f=6 TT=11590.9 T1=60.53	SAT (TO) f=6 TT=18681 T1=9926.04	SAT (TO) f=4 TT=2400.04 T1=99.03	SAT (TO) f=6 TT=2400.73 T1=183.79	SAT (TO) f=6 TT=2400.59 T1=250.3	? (TO) TT=2401.21	? (TO) TT=2400.06	? (TO) TT=2400.06	SAT (TO) f=7 TT=2400.05 T1=3.87	SAT (TO) f=7 TT=2400.09 T1=86.11	SAT (TO) f=7 TT=2400.13 T1=46.24	SAT (TO) f=7 TT=2400.07 T1=47.74	OPT f=7 TT=1984.32 T1=1411.43	OPT f=7 TT=2177.37 T1=1554.78
BinPacking/ BinPacking-sum-skj1/ BinPacking-sum-n3c3w4h.xml	SAT TO f=33 TT=20094.801 T1=5.57	? (TO) TT=2520.05	SAT (TO) f=33 TT=20102.199 T1=4.82	SAT (TO) f=33 TT=20094.801 T1=5.57	? (TO) TT=2520.03	? (TO) TT=2520.07	? (TO) TT=2520.11	? (TO) TT=2520.05	? (TO) TT=2521.1	? (TO) TT=2520.02	? (TO) TT=2519.87	? (TO) TT=2520.1	? (TO) TT=2520.06	? (TO) TT=2520.09	? (TO) TT=2520.11	? (TO) TT=19923.699	? (TO) TT=19940.1	? (TO) TT=2400.06	SAT (TO) f=32 TT=2400.18 T1=1.74	SAT (TO) f=32 TT=2400.58 T1=2.02	? (TO) TT=2402.49	? (TO) TT=2400.07	? (TO) TT=2400.08	? (TO) TT=2400.03	? (TO) TT=2400.07	? (TO) TT=2400.08	? (TO) TT=2400.11	? (TO) TT=2400.19	? (TO) TT=2520.2
BinPacking/ BinPacking-sum-skj1/ BinPacking-sum-n4c2w2n.xml	SAT TO f=87 TT=20045.199 T1=6.95	? (TO) TT=2520.03	SAT (TO) f=87 TT=20029.199 T1=9.33	SAT (TO) f=87 TT=20045.199 T1=6.95	? (TO) TT=2520.05	? (TO) TT=2520.14	? (TO) TT=2520.02	? (TO) TT=2520.04	? (TO) TT=2522.02	? (TO) TT=2520.06	? (TO) TT=2519.83	? (TO) TT=2519.78	? (TO) TT=2520.07	? (TO) TT=2520.08	? (TO) TT=2520.08	? (TO) TT=19645.1	? (TO) TT=19647.801	? (TO) TT=2400.06	SAT (TO) f=87 TT=2400.1 T1=11.52	SAT (TO) f=87 TT=2400.57 T1=13.38	? (TO) TT=2407.25	? (TO) TT=2400.08	? (TO) TT=2400.06	? (TO) TT=2400.11	? (TO) TT=2400.12	? (TO) TT=2400.05	? (TO) TT=2400.13	? (TO) TT=2415.89	? TT=1429.88
BinPacking/ BinPacking-sum-skj1/ BinPacking-sum-n4c3w4o.xml	SAT TO f=93 TT=20067.6 T1=5.41	? (TO) TT=2520.09	SAT (TO) f=93 TT=20062.6 T1=5.06	SAT (TO) f=93 TT=20067.6 T1=5.41	? (TO) TT=2520.02	? (TO) TT=2520.09	? (TO) TT=2520.06	? (TO) TT=2520.05	? (TO) TT=2521.97	? (TO) TT=2520.02	? (TO) TT=2519.89	? (TO) TT=2520.08	? (TO) TT=2520.07	? (TO) TT=2520.04	? (TO) TT=2520.08	? (TO) TT=19928.1	? (TO) TT=19910.801	? (TO) TT=2400.03	SAT (TO) f=94 TT=2400.36 T1=68.68	SAT (TO) f=94 TT=2400.01 T1=67.53	? (TO) TT=2404.76	? (TO) TT=2400.08	? (TO) TT=2400.01	? (TO) TT=2400.07	? (TO) TT=2400.08	? (TO) TT=2400.1	? (TO) TT=2400.1	? (TO) TT=2416.38	? TT=1749.71
BinPacking/ BinPacking-sum-skj2/ BinPacking-sum-n1w4b2r0.xml		? (TO) TT=2520.07	? (TO) TT=20081.4	? (TO) TT=20064	? (TO) TT=2520.04	? (TO) TT=2520.12	? (TO) TT=2520.07	? (TO) TT=2520.06	? (TO) TT=2520.6	? (TO) TT=2519.75	? (TO) TT=2519.7	? (TO) TT=2520.02	? (TO) TT=2520.02	? (TO) TT=2520.08	? (TO) TT=2520.05	? (TO) TT=19876.699	? (TO) TT=19881.4	? (TO) TT=2400.06	? (TO) TT=2400.04	? (TO) TT=2400.62	? (TO) TT=2401.11	? (TO) TT=2400.08	? (TO) TT=2400.07	? (TO) TT=2400.03	? (TO) TT=2400.1	? (TO) TT=2400.03	? (TO) TT=2400.09	? (TO) TT=2400.21	? (TO) TT=2520.15
BinPacking/ BinPacking-sum-skj2/ BinPacking-sum-n1w4b3r4.xml		? (TO) TT=2520.03	? (TO) TT=20075.9	? (TO) TT=20060.699	? (TO) TT=2520.08	? (TO) TT=2520.07	? (TO) TT=2520.13	? (TO) TT=2520.03	? (TO) TT=2520.7	? (TO) TT=2519.73	? (TO) TT=2520.04	? (TO) TT=2519.64	? (TO) TT=2520.07	? (TO) TT=2520.05	? (TO) TT=2520.09	? (TO) TT=19855.801	? (TO) TT=19882.5	? (TO) TT=2400.08	? (TO) TT=2400.5	? (TO) TT=2400.45	? (TO) TT=2401.41	? (TO) TT=2400.04	? (TO) TT=2400.07	? (TO) TT=2400.05	? (TO) TT=2400.07	? (TO) TT=2400.1	? (TO) TT=2400.04	? (TO) TT=2400.18	? (TO) TT=2520.15
BinPacking/ BinPacking-sum-skj2/ BinPacking-sum-n2w3b3r1.xml	SAT TO f=0 TT=20085.1 T1=579.21	? (TO) TT=2520.04	? (TO) TT=20107.4	SAT (TO) f=0 TT=20085.1 T1=579.21	? (TO) TT=2520.12	? (TO) TT=2520.11	? (TO) TT=2520.02	? (TO) TT=2520.06	? (TO) TT=2520.98	? (TO) TT=2520.11	? (TO) TT=2519.78	? (TO) TT=2519.73	? (TO) TT=2520.11	? (TO) TT=2520.05	? (TO) TT=2520.1	? (TO) TT=19918	? (TO) TT=19899.4	? (TO) TT=2400.04	? (TO) TT=2400.68	? (TO) TT=2400.43	? (TO) TT=2402.27	? (TO) TT=2400.07	? (TO) TT=2400.05	? (TO) TT=2400.06	? (TO) TT=2400.08	? (TO) TT=2400.09	? (TO) TT=2400.06	? (TO) TT=2416.16	? TT=1622.15
BinPacking/ BinPacking-sum-skj2/ BinPacking-sum-n2w4b2r4.xml	SAT TO f=0 TT=20086.801 T1=87.49	? (TO) TT=2520.08	SAT (TO) f=0 TT=20101.6 T1=6.44	SAT (TO) f=0 TT=20086.801 T1=87.49	? (TO) TT=2520.05	? (TO) TT=2520.1	? (TO) TT=2520.03	? (TO) TT=2520.09	? (TO) TT=2520.73	? (TO) TT=2520.04	? (TO) TT=2520.07	? (TO) TT=2519.79	? (TO) TT=2520.11	? (TO) TT=2520.07	? (TO) TT=2520.05	? (TO) TT=19880.6	? (TO) TT=19888.9	? (TO) TT=2400.05	SAT (TO) f=0 TT=2400.3 T1=189.24	SAT (TO) f=0 TT=2400.35 T1=181.2	? (TO) TT=2401.51	? (TO) TT=2400.04	? (TO) TT=2400.09	? (TO) TT=2400.08	? (TO) TT=2400.11	? (TO) TT=2400.07	? (TO) TT=2400.04	? (TO) TT=2400.14	? (TO) TT=2520.19
BinPacking/ BinPacking-sum-skj2/ BinPacking-sum-n3w3b3r7.xml		? (TO) TT=2520.11	? (TO) TT=20075.1	? (TO) TT=20064.5	? (TO) TT=2520.04	? (TO) TT=2520.11	? (TO) TT=2520.08	? (TO) TT=2520.03	? (TO) TT=2521.82	? (TO) TT=2519.98	? (TO) TT=2519.88	? (TO) TT=2519.93	? (TO) TT=2520.05	? (TO) TT=2520.12	? (TO) TT=2520.09	? (TO) TT=19934	? (TO) TT=19958.199	? (TO) TT=2400.11	? (TO) TT=2400.55	? (TO) TT=2400.38	? (TO) TT=2405.6	? (TO) TT=2400.04	? (TO) TT=2400.12	? (TO) TT=2400.01	? (TO) TT=2400.04	? (TO) TT=2400.02	? (TO) TT=2400.09	? (TO) TT=2416.33	? TT=1451.42
BinPacking/ BinPacking-sum-skj2/ BinPacking-sum-n3w4b3r3.xml		? (TO) TT=2520.07	? (TO) TT=20093.301	? (TO) TT=20094.9	? (TO) TT=2520.02	? (TO) TT=2520.08	? (TO) TT=2520.09	? (TO) TT=2520.04	? (TO) TT=2522.01	? (TO) TT=2520.05	? (TO) TT=2519.86	? (TO) TT=2520.03	? (TO) TT=2520.08	? (TO) TT=2520.11	? (TO) TT=2520.1	? (TO) TT=19935	? (TO) TT=19943.199	? (TO) TT=2400.1	? (TO) TT=2400.75	? (TO) TT=2400.77	? (TO) TT=2405.31	? (TO) TT=2400.04	? (TO) TT=2400.03	? (TO) TT=2400.02	? (TO) TT=2400.11	? (TO) TT=2400.1	? (TO) TT=2400.02	? (TO) TT=2416.35	? (problem) TT=1482.34
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
BinPacking/ BinPacking-sum-skj2/ BinPacking-sum-n4w2b3r4.xml		? (TO) TT=2520.07	? (TO) TT=20028.801	? (TO) TT=20026.801	? (TO) TT=2520.05	? (TO) TT=2520.11	? (TO) TT=2520.12	? (TO) TT=2520.1	? (TO) TT=2525.9	? (TO) TT=2520.05	? (TO) TT=2519.8	? (TO) TT=2519.93	? (TO) TT=2520.11	? (TO) TT=2520.11	? (TO) TT=2520.09	? (TO) TT=19886.801	? (TO) TT=19896	? (TO) TT=2400.05	? (TO) TT=2400.23	? (TO) TT=2400.34	? (TO) TT=2415.52	? (TO) TT=2400.04	? (TO) TT=2400.09	? (TO) TT=2400.1	? (TO) TT=2400.05	? (TO) TT=2400.06	? (TO) TT=2400.1	? (TO) TT=2416.11	? (problem) TT=1407.86
BinPacking/ BinPacking-sum-skj2/ BinPacking-sum-n4w3b2r8.xml		? (TO) TT=2520.06	? (TO) TT=20074.199	? (TO) TT=20054.199	? (TO) TT=2520.09	? (TO) TT=2520.04	? (TO) TT=2520.11	? (TO) TT=2520.04	? (TO) TT=2522.68	? (TO) TT=2520.04	? (TO) TT=2519.98	? (TO) TT=2519.93	? (TO) TT=2520.06	? (TO) TT=2520.05	? (TO) TT=2520.11	? (TO) TT=19925.301	? (TO) TT=19955.1	? (TO) TT=2400.04	? (TO) TT=2400.37	? (TO) TT=2400.2	? (TO) TT=2406.06	? (TO) TT=2400.05	? (TO) TT=2400.01	? (TO) TT=2400.08	? (TO) TT=2400.12	? (TO) TT=2400.11	? (TO) TT=2400.08	? (TO) TT=2416.24	? TT=1464.75
BinPacking/ BinPacking-sum-skj2/ BinPacking-sum-n4w4b3r4.xml		? (TO) TT=2520.12	? (TO) TT=19986.1	? (TO) TT=19970	? (TO) TT=2520.13	? (TO) TT=2520.07	? (TO) TT=2520.06	? (TO) TT=2520.03	? (TO) TT=2524.37	? (TO) TT=2519.61	? (TO) TT=2519.87	? (TO) TT=2519.65	? (TO) TT=2520.03	? (TO) TT=2520.03	? (TO) TT=2520.06	? (TO) TT=19852.5	? (TO) TT=19844.301	? (TO) TT=2400.1	? (TO) TT=2400.43	? (TO) TT=2400.77	? (TO) TT=2408.35	? (TO) TT=2400.01	? (TO) TT=2400.02	? (TO) TT=2400.1	? (TO) TT=2400.03	? (TO) TT=2400.02	? (TO) TT=2400.07	? (TO) TT=2416.15	? (problem) TT=1442.48
BinPacking/ BinPacking-sum-sw100/ BinPacking-sum-sw100-11.xml		? (TO) TT=2520.04	? (TO) TT=20104.4	? (TO) TT=20072.5	? (TO) TT=2520.06	? (TO) TT=2520.09	? (TO) TT=2520.07	? (TO) TT=2520.06	? (TO) TT=2520.65	? (TO) TT=2520.02	? (TO) TT=2519.69	? (TO) TT=2519.99	? (TO) TT=2520.12	? (TO) TT=2520.05	? (TO) TT=2520.02	? (TO) TT=19876.6	? (TO) TT=19869.9	? (TO) TT=2400.04	? (TO) TT=2400.79	? (TO) TT=2400.33	? (TO) TT=2401.15	? (TO) TT=2400.02	? (TO) TT=2400.04	? (TO) TT=2400.06	? (TO) TT=2400.1	? (TO) TT=2400.07	? (TO) TT=2400.16	? (TO) TT=2400.13	? (TO) TT=2522.37
BinPacking/ BinPacking-tab-ft/ BinPacking-tab-ft060-06.xml	SAT TO f=3 TT=2400.01 T1=2.3	SAT (TO) f=3 TT=2520.11 T1=6.85	SAT (TO) f=3 TT=20097.699 T1=16.83	SAT (TO) f=3 TT=20080.9 T1=18.73	SAT (TO) f=3 TT=2520.1 T1=1718.91	SAT (TO) f=3 TT=2520.04 T1=1738.46	SAT (TO) f=3 TT=2520.05 T1=531.27	SAT (TO) f=3 TT=2520.11 T1=515.87	? (TO) TT=2520.63	SAT (TO) f=0 TT=2519.9 T1=0.27	SAT (TO) f=1 TT=2520.02 T1=624.93	SAT (TO) f=3 TT=2519.86 T1=2.3	SAT (TO) f=3 TT=2520.05 T1=7.94	SAT (TO) f=3 TT=2520.07 T1=960.94	SAT (TO) f=3 TT=2520.12 T1=9.76	SAT (TO) f=3 TT=19883.699 T1=3.37	SAT (TO) f=3 TT=19923.801 T1=12.9	SAT (TO) f=3 TT=2400.05 T1=6.86	SAT (TO) f=3 TT=2400.03 T1=15.06	SAT (TO) f=3 TT=2400.24 T1=11.17	? (TO) TT=2401.14	? (TO) TT=2400.07	? (TO) TT=2400.04	SAT (TO) f=3 TT=2400.01 T1=2.3	SAT (TO) f=3 TT=2400.1 T1=26.96	SAT (TO) f=3 TT=2400.03 T1=1005.61	SAT (TO) f=3 TT=2400.04 T1=9.01	? (TO) TT=2400.17	? (TO) TT=2520.09
BinPacking/ BinPacking-tab-ft/ BinPacking-tab-ft120-10.xml	SAT TO f=7 TT=2400.06 T1=13.18	SAT (TO) f=7 TT=2520.07 T1=162.86	SAT (TO) f=5 TT=19951.301 T1=168.42	SAT (TO) f=7 TT=19983.4 T1=760.34	? (TO) TT=2520.05	? (TO) TT=2520.07	SAT (TO) f=0 TT=2520.12 T1=816.08	SAT (TO) f=0 TT=2520.12 T1=836.46	? (TO) TT=2521.16	? (TO) TT=2519.72	? (TO) TT=2519.8	SAT (TO) f=7 TT=2520.03 T1=434.99	SAT (TO) f=7 TT=2520.13 T1=696.62	SAT (TO) f=6 TT=2520.12 T1=17.85	SAT (TO) f=7 TT=2520.04 T1=454.26	SAT (TO) f=7 TT=20040.9 T1=13.18	SAT (TO) f=7 TT=20037.6 T1=128.59	SAT (TO) f=7 TT=2400.06 T1=161.71	SAT (TO) f=7 TT=2400.74 T1=281.73	SAT (TO) f=7 TT=2400.57 T1=311.51	? (TO) TT=2402.8	? (TO) TT=2400.07	? (TO) TT=2400.07	SAT (TO) f=7 TT=2400.1 T1=408.99	SAT (TO) f=7 TT=2400.12 T1=1587.04	SAT (TO) f=6 TT=2400.03 T1=18.24	SAT (TO) f=7 TT=2400.09 T1=343.63	? TT=1125.02	? TT=493.992
BinPacking/ BinPacking-tab-ft/ BinPacking-tab-ft120-15.xml	SAT TO f=6 TT=2400.05 T1=11.02	SAT (TO) f=6 TT=2520.11 T1=277.3	SAT (TO) f=4 TT=19984.199 T1=489.28	SAT (TO) f=6 TT=19972.801 T1=1700.41	SAT (TO) f=0 TT=2520.02 T1=284.4	SAT (TO) f=0 TT=2520.09 T1=285.07	SAT (TO) f=0 TT=2520.07 T1=294.32	SAT (TO) f=0 TT=2520.08 T1=297.53	? (TO) TT=2521.3	? (TO) TT=2520.04	? (TO) TT=2520.1	SAT (TO) f=6 TT=2519.94 T1=664.59	SAT (TO) f=6 TT=2520.09 T1=355.67	SAT (TO) f=4 TT=2520.1 T1=2.99	SAT (TO) f=6 TT=2520.07 T1=164.82	SAT (TO) f=6 TT=20049.5 T1=11.02	SAT (TO) f=6 TT=20044.4 T1=69.87	SAT (TO) f=6 TT=2400.05 T1=280.98	SAT (TO) f=6 TT=2400.06 T1=100.3	SAT (TO) f=6 TT=2400.3 T1=106.47	? (TO) TT=2402.82	? (TO) TT=2400.07	? (TO) TT=2400.1	SAT (TO) f=6 TT=2400.1 T1=709.56	SAT (TO) f=6 TT=2400.05 T1=774.5	SAT (TO) f=4 TT=2400.11 T1=2.81	SAT (TO) f=6 TT=2400.05 T1=306.28	? TT=1028.01	? TT=487.734
BinPacking/ BinPacking-tab-ft/ BinPacking-tab-ft120-19.xml	SAT TO f=6 TT=2400.07 T1=12.35	SAT (TO) f=6 TT=2520.06 T1=70.73	SAT (TO) f=5 TT=19997.699 T1=1438.54	SAT (TO) f=5 TT=19981.199 T1=742.1	SAT (TO) f=0 TT=2520.11 T1=412.64	SAT (TO) f=0 TT=2520.1 T1=413.63	SAT (TO) f=1 TT=2520.1 T1=1128.8	SAT (TO) f=1 TT=2520.07 T1=1145.49	? (TO) TT=2521.52	? (TO) TT=2520.03	? (TO) TT=2520.04	SAT (TO) f=6 TT=2519.68 T1=1396.71	SAT (TO) f=6 TT=2520.04 T1=695.1	SAT (TO) f=3 TT=2520.11 T1=3.57	SAT (TO) f=6 TT=2520.09 T1=309.64	SAT (TO) f=6 TT=20032.301 T1=12.35	SAT (TO) f=6 TT=20030 T1=55.61	SAT (TO) f=6 TT=2400.07 T1=70.54	SAT (TO) f=6 TT=2400.25 T1=49.52	SAT (TO) f=6 TT=2400.61 T1=49.3	? (TO) TT=2402.98	? (TO) TT=2400.03	? (TO) TT=2400.03	SAT (TO) f=6 TT=2400.1 T1=1476.86	SAT (TO) f=6 TT=2400.12 T1=1206.06	SAT (TO) f=3 TT=2400.08 T1=3.54	SAT (TO) f=6 TT=2400.11 T1=301.37	? TT=874.731	? TT=354.819
BinPacking/ BinPacking-tab-ft/ BinPacking-tab-ft249-06.xml	SAT TO f=15 TT=2400.08 T1=354.02	SAT (TO) f=5 TT=2520.09 T1=2219.95	? (TO) TT=19847.5	? (TO) TT=19808.801	? (TO) TT=2520.04	? (TO) TT=2520.08	? (TO) TT=2520.09	? (TO) TT=2520.02	? (TO) TT=2523.31	? (TO) TT=2519.36	? (TO) TT=2520	? (TO) TT=2519.94	SAT (TO) f=15 TT=2520.06 T1=926.64	SAT (TO) f=13 TT=2520.1 T1=340.65	SAT (TO) f=15 TT=2520.08 T1=354.02	? (TO) TT=2934.58	SAT (TO) f=9 TT=19628 T1=2989.39	SAT (TO) f=5 TT=2400.09 T1=2234.85	? TT=225.279	? TT=233.895	? (TO) TT=2408.99	? (TO) TT=2400.04	? (TO) TT=2400.06	? (TO) TT=2400.09	SAT (TO) f=15 TT=2400.08 T1=725.95	SAT (TO) f=13 TT=2400.06 T1=336.31	SAT (TO) f=14 TT=2400.12 T1=2300.63	? TT=970.002	? TT=444.478
BinPacking/ BinPacking-tab-ft/ BinPacking-tab-ft249-09.xml	SAT TO f=15 TT=2400.08 T1=312.32	SAT (TO) f=4 TT=2520.09 T1=1528.4	? (TO) TT=19803.199	? (TO) TT=19770.801	? (TO) TT=2520.07	? (TO) TT=2520.05	? (TO) TT=2520.11	? (TO) TT=2520.03	? (TO) TT=2527.76	? (TO) TT=2520.07	? (TO) TT=2520.05	? (TO) TT=2519.99	SAT (TO) f=15 TT=2520.11 T1=947.34	SAT (TO) f=11 TT=2520.11 T1=31.16	SAT (TO) f=15 TT=2520.05 T1=1576.38	? TT=865.23	SAT (TO) f=14 TT=19613.5 T1=4926.38	SAT (TO) f=4 TT=2400.07 T1=1531.78	? TT=248.595	? TT=246.657	? (TO) TT=2414.42	? (TO) TT=2400.1	? (TO) TT=2400.02	? (TO) TT=2400.09	SAT (TO) f=15 TT=2400.1 T1=312.32	SAT (TO) f=11 TT=2400.07 T1=29.13	SAT (TO) f=15 TT=2400.08 T1=450.77	? TT=965.147	? TT=552.334
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
BinPacking/BinPacking-tab-fu/ BinPacking-tab-fu0120-17.xml	SAT TO f=22 TT=2400.06 T1=37.39	SAT (TO) f=21 TT=2520.12 T1=79.71	? (TO) TT=20005.9	? (TO) TT=20002.4	? (TO) TT=2520.11	? (TO) TT=2520.05	? (TO) TT=2520.07	? (TO) TT=2520.07	? (TO) TT=2521.7	? (TO) TT=2519.77	? (TO) TT=2520.03	SAT (TO) f=22 TT=2519.94 T1=164.99	SAT (TO) f=22 TT=2520.07 T1=480.07	SAT (TO) f=21 TT=2520.11 T1=4.38	SAT (TO) f=22 TT=2520.08 T1=127.57	SAT (TO) f=21 TT=15035.2 T1=31.58	SAT (TO) f=22 TT=15028.7 T1=2087.86	SAT (TO) f=21 TT=2400.11 T1=76.4	? (TO) TT=2400.26	? (TO) TT=2400.12	? (TO) TT=2404.04	? (TO) TT=2400.08	? (TO) TT=2400.07	SAT (TO) f=22 TT=2400.07 T1=177.5	SAT (TO) f=22 TT=2400.06 T1=208.84	SAT (TO) f=21 TT=2400.06 T1=4.33	SAT (TO) f=22 TT=2400.09 T1=37.39	? (TO) TT=2415.76	? TT=2021.21
BinPacking/BinPacking-tab-fu/ BinPacking-tab-fu0250-08.xml	SAT TO f=41 TT=2400.07 T1=498.51	SAT (TO) f=41 TT=2520.06 T1=996.85	? (TO) TT=18866.801	? (TO) TT=18956.801	? (TO) TT=2520.09	? (TO) TT=2520.12	? (TO) TT=2520.04	? (TO) TT=2520.11	? (TO) TT=2524.41	? (TO) TT=2520.08	? (TO) TT=2520.08	? (TO) TT=2519.94	SAT (TO) f=41 TT=2520.14 T1=1657.69	SAT (TO) f=37 TT=2520.06 T1=44.88	SAT (TO) f=41 TT=2520.14 T1=498.51	SAT (TO) f=39 TT=17944 T1=832.87	SAT (TO) f=35 TT=17948.4 T1=17890.15	SAT (TO) f=41 TT=2400.11 T1=1011.17	? (TO) TT=2400.42	? (TO) TT=2400.76	? (TO) TT=2408.97	? (TO) TT=2400.06	? (TO) TT=2400.06	? (TO) TT=2400.1	SAT (TO) f=41 TT=2400.2 T1=1051.17	SAT (TO) f=37 TT=2400.13 T1=45.44	SAT (TO) f=41 TT=2400.07 T1=647.49	? (TO) TT=2416.53	? TT=2087.12
BinPacking/BinPacking-tab-fu/ BinPacking-tab-fu0250-15.xml	SAT TO f=37 TT=2400.1 T1=1408.03	SAT (TO) f=37 TT=2520.05 T1=1416.99	? (TO) TT=18735.801	? (TO) TT=18797.6	? (TO) TT=2520.09	? (TO) TT=2520.1	? (TO) TT=2520.08	? (TO) TT=2520.09	? (TO) TT=2525.45	? (TO) TT=2519.76	? (TO) TT=2520.08	? (TO) TT=2519.67	? (TO) TT=2520.11	? (TO) TT=2520.06	? (TO) TT=2520.1	SAT (TO) f=36 TT=3898.33 T1=404.25	SAT (TO) f=36 TT=2944.32 T1=811.88	SAT (TO) f=37 TT=2400.1 T1=1408.03	? TT=461.844	? TT=538.065	? (TO) TT=2412.34	? (TO) TT=2400.07	? (TO) TT=2400.06	? (TO) TT=2400.05	? (TO) TT=2400.08	? (TO) TT=2400.08	? (TO) TT=2400.1	? TT=2363.03	? TT=1198.71
BinPacking/BinPacking-tab-fu/ BinPacking-tab-fu0500-09.xml	SAT TO f=75 TT=2400.11 T1=1143.2	SAT (TO) f=56 TT=2520.07 T1=1809.93	? TT=820.424	? TT=750.465	? (TO) TT=2520.09	? (TO) TT=2520.27	? (TO) TT=2520.05	? (TO) TT=2520.13	? (TO) TT=2527.82	? (TO) TT=2519.84	? (TO) TT=2519.92	? (TO) TT=2520.19	SAT (TO) f=75 TT=2520.07 T1=1143.2	SAT (TO) f=69 TT=2520.12 T1=856.89	SAT (TO) f=75 TT=2520.12 T1=1572.69	? TT=2729.19	? TT=3444.42	SAT (TO) f=56 TT=2400.05 T1=1826.48	? TT=435.212	? TT=423.516	? (TO) TT=2415.38	? (TO) TT=2400.05	? (TO) TT=2400.02	? (TO) TT=2400.18	SAT (TO) f=74 TT=2400.53 T1=1376.74	SAT (TO) f=69 TT=2400.11 T1=858.12	SAT (TO) f=75 TT=2400.11 T1=1364.08	? (TO) TT=2415.24	? TT=2322.61
BinPacking/BinPacking-tab-fu/ BinPacking-tab-fu0500-12.xml	SAT TO f=73 TT=2520.08 T1=2119.45	SAT (TO) f=71 TT=2520.09 T1=2181.37	? TT=706.875	? (TO) TT=11315.4	? (TO) TT=2520.05	? (TO) TT=2520.08	? (TO) TT=2520.06	? (TO) TT=2520.1	? (TO) TT=2527.92	? (TO) TT=2519.97	? (TO) TT=2520	? (TO) TT=2520.16	SAT (TO) f=73 TT=2520.08 T1=2119.45	SAT (TO) f=55 TT=2520.08 T1=175	SAT (TO) f=72 TT=2520.32 T1=1120.19	? TT=1736.15	? TT=2473.28	SAT (TO) f=71 TT=2400.08 T1=2258.66	? TT=441.368	? TT=390.719	? (TO) TT=2415.51	? (TO) TT=2400.01	? (TO) TT=2400.06	? (TO) TT=2400.19	SAT (TO) f=72 TT=2400.07 T1=675.55	SAT (TO) f=55 TT=2400.13 T1=177.24	SAT (TO) f=72 TT=2400.14 T1=1176.25	? (TO) TT=2414.77	? TT=1727.8
BinPacking/ BinPacking-tab-sw100/ BinPacking-tab-sw100-15.xml	SAT TO f=0 TT=2400.09 T1=30.77	SAT (TO) f=0 TT=2520.05 T1=30.77	? (TO) TT=15932.3	? TT=559.353	? TT=146.398	SAT (TO) f=0 TT=2520.12 T1=175.38	SAT (TO) f=0 TT=2521.94 T1=187.98	? TT=142.932	? (TO) TT=2521.99	SAT (TO) f=0 TT=2520.09 T1=35.08	? (TO) TT=2520.03	SAT (TO) f=0 TT=2519.95 T1=34.85	SAT (TO) f=0 TT=2520.15 T1=65.99	SAT (TO) f=0 TT=2520.1 T1=64.98	SAT (TO) f=0 TT=2520.09 T1=60.39	? TT=1189.53	? TT=2200.96	SAT (TO) f=0 TT=2400.13 T1=32.46	? TT=233.425	? TT=214.394	? (TO) TT=2406.46	? (TO) TT=2400.01	? (TO) TT=2400.08	SAT (TO) f=0 TT=2400.13 T1=34.96	SAT (TO) f=0 TT=2400.09 T1=67.95	SAT (TO) f=0 TT=2400.09 T1=75.84	SAT (TO) f=0 TT=2400.12 T1=63.88	? (TO) TT=2416.11	? TT=1688.13
BinPacking/ BinPacking-tab-sw100/ BinPacking-tab-sw100-74.xml	SAT TO f=1 TT=2400.06 T1=96.09	SAT (TO) f=1 TT=2520.04 T1=875.04	? TT=484.257	? TT=492.621	SAT (TO) f=0 TT=2520.12 T1=159.09	SAT (TO) f=0 TT=2520.09 T1=158.66	SAT (TO) f=0 TT=2520.14 T1=171.85	SAT (TO) f=0 TT=2520.08 T1=173.38	SAT (TO) f=1 TT=2520.06 T1=493.57	SAT (TO) f=0 TT=2520.08 T1=155.56	SAT (TO) f=0 TT=2520.04 T1=612.12	SAT (TO) f=0 TT=2520 T1=258.59	SAT (TO) f=1 TT=2520.07 T1=149.07	SAT (TO) f=0 TT=2520.09 T1=37.33	SAT (TO) f=1 TT=2520.04 T1=169.79	? TT=1172.01	? (TO) TT=16464.301	SAT (TO) f=1 TT=2400.12 T1=891.76	? TT=219.443	? TT=225.216	SAT (TO) f=1 TT=2400.09 T1=491.1	? (TO) TT=2400.08	? (TO) TT=2400.01	SAT (TO) f=0 TT=2400.09 T1=262.84	SAT (TO) f=1 TT=2400.06 T1=102.24	SAT (TO) f=0 TT=2400.16 T1=35.32	SAT (TO) f=1 TT=2400.1 T1=96.09	? (TO) TT=2415.7	? TT=2081.48
BinPacking/ BinPacking-tab-sw120/ BinPacking-tab-sw120-10.xml	OPT f=1 TT=679.957 T1=85.19	OPT f=1 TT=679.957 T1=85.19	? TT=493.844	? TT=516.101	? TT=163.708	? TT=164.959	? TT=174.503	? TT=139.487	SAT (TO) f=0 TT=2520.09 T1=266.15	SAT (TO) f=0 TT=2520.09 T1=749.46	? (TO) TT=2520.01	SAT (TO) f=0 TT=2520.02 T1=2244.94	SAT (TO) f=0 TT=2523.74 T1=96.62	SAT (TO) f=1 TT=2520.11 T1=280.94	SAT (TO) f=0 TT=2520.14 T1=89.18	? TT=1525.24	? TT=3343.74	OPT f=1 TT=713.808 T1=88.23	? TT=264.223	? TT=258.441	SAT (TO) f=0 TT=2400.09 T1=275.96	? (TO) TT=2400.07	? (TO) TT=2400.12	SAT (TO) f=0 TT=2400.33 T1=2284.31	SAT (TO) f=0 TT=2403.62 T1=102.14	SAT (TO) f=1 TT=2400.09 T1=303.71	SAT (TO) f=0 TT=2400.15 T1=117.46	? (TO) TT=2416.15	? (TO) TT=2527.99
BinPacking/ BinPacking-tab-sw120/ BinPacking-tab-sw120-31.xml	SAT TO f=0 TT=2400.04 T1=45.29	SAT (TO) f=0 TT=2520.09 T1=45.29	? TT=496.891	? TT=487.467	? TT=147.268	? TT=164.799	? TT=144.811	? TT=150.738	SAT (TO) f=0 TT=2520.09 T1=515.25	? (TO) TT=2520.09	? (TO) TT=2519.64	? (TO) TT=2520.14	SAT (TO) f=0 TT=2520.12 T1=82.67	SAT (TO) f=0 TT=2520.16 T1=78.31	SAT (TO) f=0 TT=2520.07 T1=87.99	? TT=1473.98	? TT=2131.79	SAT (TO) f=0 TT=2400.04 T1=48.74	? TT=215.772	? TT=212.066	SAT (TO) f=0 TT=2400.08 T1=622.26	? (TO) TT=2400.06	? (TO) TT=2400.1	? (TO) TT=2400.47	SAT (TO) f=0 TT=2400.09 T1=80.7	SAT (TO) f=0 TT=2400.12 T1=82.79	SAT (TO) f=0 TT=2400.15 T1=79.64	? (TO) TT=2416.29	? TT=1519.73
BinPacking/ BinPacking-tab-sw120/ BinPacking-tab-sw120-41.xml	SAT TO f=0 TT=2400.14 T1=47.6	SAT (TO) f=0 TT=2520.05 T1=47.6	? TT=483.238	? TT=446.89	? TT=159.307	? TT=149.041	? TT=167.691	? TT=159.293	? (TO) TT=2522.36	? (TO) TT=2520.09	? (TO) TT=2519.88	? (TO) TT=2520.22	SAT (TO) f=0 TT=2520.1 T1=85.74	SAT (TO) f=0 TT=2520.09 T1=90.01	SAT (TO) f=0 TT=2520.13 T1=88.16	? TT=1118.87	? TT=2513.38	SAT (TO) f=0 TT=2400.17 T1=50.93	? TT=241.483	? TT=240.988	? (TO) TT=2405.32	? (TO) TT=2400.09	? (TO) TT=2400.06	? (TO) TT=2400.37	SAT (TO) f=0 TT=2406.17 T1=92.48	SAT (TO) f=0 TT=2400.14 T1=87.08	SAT (TO) f=0 TT=2403.61 T1=88.75	? (TO) TT=2416.24	? TT=1176.04
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
BinPacking/ BinPacking-tab-sw120/ BinPacking-tab-sw120-50.xml	SAT TO f=0 TT=2400.08 T1=51.49	SAT (TO) f=0 TT=2520.06 T1=62.79	? TT=507.982	? TT=509.645	? TT=155.335	? TT=156.367	? TT=157.693	? TT=166.441	SAT (TO) f=0 TT=2520.15 T1=2391.59	SAT (TO) f=0 TT=2520.07 T1=51.49	? (TO) TT=2520.03	? (TO) TT=2520.12	SAT (TO) f=0 TT=2520.14 T1=83.79	SAT (TO) f=0 TT=2520.33 T1=87.66	SAT (TO) f=0 TT=2520.1 T1=89.87	? TT=1011.76	? TT=2547.81	SAT (TO) f=0 TT=2414.83 T1=66.31	? TT=229.384	? TT=221.764	? (TO) TT=2406.68	? (TO) TT=2400.09	? (TO) TT=2400.04	? (TO) TT=2400.49	SAT (TO) f=0 TT=2408.39 T1=90.98	SAT (TO) f=0 TT=2400.08 T1=102.74	SAT (TO) f=0 TT=2400.13 T1=89.85	? (TO) TT=2415.66	? (TO) TT=2527.92
BusScheduling/ BusScheduling-cnt-s1/ BusScheduling-cnt-c1a.xml	SAT TO f=29 TT=2400.1 T1=67.42	SAT (TO) f=30 TT=2520.1 T1=663.15	SAT (TO) f=36 TT=20100.199 T1=2.54	SAT (TO) f=36 TT=20095.5 T1=2.51	? (TO) TT=2520.03	? (TO) TT=2520.07	? (TO) TT=2520.1	? (TO) TT=2520.06	SAT (TO) f=29 TT=2520.08 T1=69.25	? (TO) TT=2520.09	? (TO) TT=2520.03	SAT (TO) f=29 TT=2520.07 T1=182.11	? (TO) TT=2520.08	? TT=2519.53	? (TO) TT=2520.2	SAT (TO) f=31 TT=19921.5 T1=249.13	SAT (TO) f=31 TT=19914.9 T1=2007.88	SAT (TO) f=30 TT=2400.03 T1=675.77	SAT (TO) f=35 TT=2400.46 T1=142.09	SAT (TO) f=35 TT=2400.51 T1=139.08	SAT (TO) f=29 TT=2400.14 T1=67.42	? (TO) TT=2400.09	? (TO) TT=2400.08	SAT (TO) f=29 TT=2400.1 T1=176.2	? (TO) TT=2400.1	? (TO) TT=2400.1	? (TO) TT=2400.12	? (TO) TT=2400.19	? (TO) TT=2520.25
BusScheduling/ BusScheduling-cnt-s1/ BusScheduling-cnt-c1.xml	SAT TO f=28 TT=2400.07 T1=35.09	SAT (TO) f=29 TT=2520.11 T1=2462.69	SAT (TO) f=27 TT=20104.1 T1=1285.24	SAT (TO) f=28 TT=20099.6 T1=705.8	? (TO) TT=2520.12	? (TO) TT=2520.02	? (TO) TT=2520.12	? (TO) TT=2520.12	SAT (TO) f=29 TT=2520.05 T1=195.58	? (TO) TT=2519.7	? (TO) TT=2519.94	SAT (TO) f=28 TT=2519.7 T1=36.2	SAT (TO) f=33 TT=2520.05 T1=456.58	SAT f=30 TT=2519.08 T1=1649.65	SAT (TO) f=31 TT=2520.07 T1=30.8	SAT (TO) f=30 TT=19989.6 T1=1338.56	SAT (TO) f=30 TT=19982.1 T1=10461.61	SAT (TO) f=30 TT=2400.03 T1=458.13	SAT (TO) f=31 TT=2400.02 T1=42.38	SAT (TO) f=31 TT=2400.13 T1=45.23	SAT (TO) f=29 TT=2400.13 T1=201.48	? (TO) TT=2400.07	? (TO) TT=2400.08	SAT (TO) f=28 TT=2400.07 T1=35.09	SAT (TO) f=28 TT=2400.1 T1=2232.44	SAT (TO) f=30 TT=2400.04 T1=1644.15	SAT (TO) f=31 TT=2400.1 T1=30.18	? (TO) TT=2400.19	? (TO) TT=2520.78
BusScheduling/ BusScheduling-cnt-s1/ BusScheduling-cnt-r1a.xml	SAT TO f=11 TT=20073.4 T1=27.01	SAT (TO) f=12 TT=2520.08 T1=1073.16	SAT (TO) f=11 TT=20075 T1=26.71	SAT (TO) f=11 TT=20073.4 T1=27.01	SAT (TO) f=15 TT=2520.07 T1=1263.42	SAT (TO) f=15 TT=2520.08 T1=1169.99	SAT (TO) f=16 TT=2520.07 T1=847.12	SAT (TO) f=16 TT=2520.07 T1=860.66	SAT (TO) f=13 TT=2520.14 T1=21.88	SAT (TO) f=15 TT=2520.01 T1=2519.9	SAT (TO) f=15 TT=2519.77 T1=2520	SAT (TO) f=12 TT=2519.98 T1=356.93	SAT (TO) f=12 TT=2520.1 T1=78.03	SAT f=14 TT=2519.27 T1=42.34	SAT (TO) f=12 TT=2520.08 T1=42.46	SAT (TO) f=13 TT=19881.801 T1=17.57	SAT (TO) f=13 TT=19886.199 T1=23.46	SAT (TO) f=12 TT=2400.07 T1=1111.99	SAT (TO) f=11 TT=2400.71 T1=48.94	SAT (TO) f=11 TT=2400.55 T1=50.4	SAT (TO) f=13 TT=2400.1 T1=22.14	No Cert. TT=2400.1	No Cert. TT=2400.04	SAT (TO) f=12 TT=2400.1 T1=368.27	SAT (TO) f=12 TT=2400.16 T1=29.73	SAT (TO) f=14 TT=2400.1 T1=42.16	SAT (TO) f=12 TT=2400.15 T1=15.91	? (TO) TT=2400.12	? (TO) TT=2520.11
BusScheduling/ BusScheduling-cnt-s1/ BusScheduling-cnt-r1.xml	SAT TO f=11 TT=20062.9 T1=219.47	SAT (TO) f=12 TT=2520.02 T1=570	SAT (TO) f=11 TT=20071.801 T1=197.41	SAT (TO) f=11 TT=20062.9 T1=219.47	SAT (TO) f=14 TT=2520.12 T1=169.43	SAT (TO) f=14 TT=2520.1 T1=172.41	SAT (TO) f=16 TT=2520.05 T1=15.71	SAT (TO) f=15 TT=2520.09 T1=2466.69	SAT (TO) f=13 TT=2520.12 T1=36.16	SAT (TO) f=14 TT=2519.23 T1=2520	SAT (TO) f=14 TT=2519.94 T1=2520	SAT (TO) f=12 TT=2519.78 T1=54.67	SAT (TO) f=12 TT=2520.09 T1=1031.38	SAT f=14 TT=2519.16 T1=15.57	SAT (TO) f=12 TT=2520.13 T1=355.34	SAT (TO) f=13 TT=19871.1 T1=9.34	SAT (TO) f=13 TT=19890 T1=13.01	SAT (TO) f=12 TT=2400.04 T1=594	SAT (TO) f=12 TT=2400.05 T1=3.54	SAT (TO) f=12 TT=2400.37 T1=3.55	SAT (TO) f=13 TT=2400.16 T1=36.4	No Cert. TT=2400.11	SAT (TO) f=14 TT=2400.06 T1=416.72	SAT (TO) f=12 TT=2400.07 T1=51.86	SAT (TO) f=12 TT=2400.15 T1=1195.48	SAT (TO) f=14 TT=2400.14 T1=16.31	SAT (TO) f=12 TT=2400.06 T1=614.69	? (TO) TT=2400.22	? (TO) TT=2520.13
BusScheduling/ BusScheduling-cnt-s1/ BusScheduling-cnt-r2.xml	SAT TO f=14 TT=2400.04 T1=12.96	SAT (TO) f=14 TT=2520.1 T1=179.68	SAT (TO) f=14 TT=20065.9 T1=30.01	SAT (TO) f=14 TT=20071.5 T1=43.86	SAT (TO) f=17 TT=2520.04 T1=48.81	SAT (TO) f=17 TT=2520.09 T1=45.15	SAT (TO) f=18 TT=2520.11 T1=66.1	SAT (TO) f=18 TT=2520.1 T1=66.03	SAT (TO) f=14 TT=2520.13 T1=17.81	SAT (TO) f=16 TT=2519.37 T1=2520	SAT (TO) f=17 TT=2520.07 T1=2520	SAT (TO) f=14 TT=2519.79 T1=13	SAT (TO) f=15 TT=2520.1 T1=18.74	SAT f=17 TT=2518.7 T1=1.16	SAT (TO) f=14 TT=2520.11 T1=828.87	SAT (TO) f=15 TT=19855.699 T1=12.26	SAT (TO) f=15 TT=19869.1 T1=25.48	SAT (TO) f=14 TT=2400.09 T1=177.51	SAT (TO) f=14 TT=2400.32 T1=35.9	SAT (TO) f=14 TT=2400.38 T1=17.38	SAT (TO) f=14 TT=2400.1 T1=18.43	No Cert. TT=2400.07	No Cert. TT=2400.11	SAT (TO) f=14 TT=2400.04 T1=12.96	SAT (TO) f=14 TT=2400.14 T1=777.84	SAT (TO) f=17 TT=2400.14 T1=1.29	SAT (TO) f=14 TT=2400.11 T1=2037.74	? (TO) TT=2400.2	? (TO) TT=2524.4
BusScheduling/ BusScheduling-cnt-s1/ BusScheduling-cnt-r3.xml	SAT TO f=17 TT=2400.14 T1=450.72	? (TO) TT=2520.1	? (TO) TT=20052.5	? (TO) TT=20004	? (TO) TT=2520.08	? (TO) TT=2520.08	? (TO) TT=2520.06	? (TO) TT=2520.12	? (TO) TT=2523.87	? (TO) TT=2519.74	? (TO) TT=2520.04	? (TO) TT=2519.79	SAT (TO) f=17 TT=2520.17 T1=450.72	? (TO) TT=2520.07	? (TO) TT=2520.07	SAT (TO) f=17 TT=17199.1 T1=1414.49	SAT (TO) f=17 TT=17204 T1=9596.79	? (TO) TT=2400.09	? (TO) TT=2400.17	? (TO) TT=2400.32	? (TO) TT=2409.06	? (TO) TT=2400.08	? (TO) TT=2400.08	? (TO) TT=2400.07	SAT (TO) f=17 TT=2400.14 T1=452.93	? (TO) TT=2400.03	? (TO) TT=2400.07	? (TO) TT=2416.18	? TT=1702.18
BusScheduling/ BusScheduling-cnt-s1/ BusScheduling-cnt-r4.xml	SAT TO f=26 TT=20038.4 T1=466.18	SAT (TO) f=28 TT=2520.06 T1=2336.87	SAT (TO) f=26 TT=20072.9 T1=476.42	SAT (TO) f=26 TT=20038.4 T1=466.18	? (TO) TT=2520.04	? (TO) TT=2520.11	SAT (TO) f=31 TT=2520.11 T1=432.19	SAT (TO) f=31 TT=2520.06 T1=425.24	SAT (TO) f=28 TT=2520.1 T1=5.26	? (TO) TT=2520.02	SAT (TO) f=30 TT=2520.02 T1=2519.9	SAT (TO) f=27 TT=2519.94 T1=389.93	SAT (TO) f=27 TT=2520.15 T1=2394.16	SAT f=29 TT=2519.21 T1=26.51	SAT (TO) f=29 TT=2520.12 T1=2445.86	SAT (TO) f=28 TT=19936.699 T1=138.94	SAT (TO) f=28 TT=19945.4 T1=1076.54	SAT (TO) f=28 TT=2400.05 T1=2395.67	SAT (TO) f=28 TT=2400.57 T1=93.19	SAT (TO) f=28 TT=2400.33 T1=32.19	SAT (TO) f=28 TT=2400.15 T1=5.39	? (TO) TT=2400.08	No Cert. TT=2400.05	SAT (TO) f=27 TT=2400.02 T1=390.31	SAT (TO) f=30 TT=2400.08 T1=1.72	SAT (TO) f=29 TT=2400.06 T1=25.19	SAT (TO) f=28 TT=2400.09 T1=592.64	SAT (TO) f=28 TT=2402.51 T1=2202.75	SAT (TO) f=28 TT=2522.09 T1=2244.49
BusScheduling/ BusScheduling-cnt-s1/ BusScheduling-cnt-r5.xml		? (TO) TT=2520.11	? (TO) TT=20068.301	? (TO) TT=20060.199	? (TO) TT=2520.07	? (TO) TT=2520.05	? (TO) TT=2520.05	? (TO) TT=2520.09	? (TO) TT=2520.96	? (TO) TT=2519.98	? (TO) TT=2519.8	? (TO) TT=2519.66	? TT=2519.2	? TT=2519.03	? (TO) TT=2520.08	? (TO) TT=20031.199	? (TO) TT=20035.9	? (TO) TT=2400.05	? (TO) TT=2400.16	? (TO) TT=2400.21	? (TO) TT=2402.12	? (TO) TT=2400.01	? (TO) TT=2400.1	? (TO) TT=2400.07	? (TO) TT=2400.11	? (TO) TT=2400.07	? (TO) TT=2400.04	? (TO) TT=2400.26	? (TO) TT=2520.12
BusScheduling/ BusScheduling-cnt-s1/ BusScheduling-cnt-t1.xml	OPT f=7 TT=0.018 T1=0.01	OPT f=7 TT=1.216 T1=0.69	OPT f=7 TT=1.524 T1=0.55	OPT f=7 TT=1.532 T1=0.55	OPT f=7 TT=1.054 T1=0.62	OPT f=7 TT=1.048 T1=0.62	OPT f=7 TT=1.811 T1=0.63	OPT f=7 TT=1.878 T1=0.63	OPT f=7 TT=7.591 T1=3.56	OPT f=7 TT=0.018 T1=0.12	OPT f=7 TT=0.02 T1=0.08	OPT f=7 TT=0.021 T1=0.1	SAT (TO) f=7 TT=2520.11 T1=0.97	OPT f=7 TT=1.315 T1=1.14	OPT f=7 TT=1.315 T1=0.7	OPT f=7 TT=3.276 T1=1.27	OPT f=7 TT=3.141 T1=2.77	OPT f=7 TT=1.494 T1=0.71	OPT f=7 TT=1.813 T1=0.61	OPT f=7 TT=1.979 T1=0.69	OPT f=7 TT=8.922 T1=3.5	OPT f=7 TT=0.027 T1=0.01	OPT f=7 TT=0.035 T1=0.01	OPT f=7 TT=0.029 T1=0.01	SAT (TO) f=7 TT=2400.07 T1=1.02	OPT f=7 TT=1.43 T1=0.75	OPT f=7 TT=1.436 T1=0.76	OPT f=7 TT=1.755 T1=0.59	OPT f=7 TT=1.619 T1=0.68
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
BusScheduling/ BusScheduling-cnt-s1/ BusScheduling-cnt-t2.xml	SAT TO f=20 TT=2400.03 T1=204.63	SAT (TO) f=21 TT=2520.03 T1=92.55	SAT (TO) f=21 TT=20079.9 T1=12.56	SAT (TO) f=21 TT=20083.6 T1=26.49	SAT (TO) f=22 TT=2520.07 T1=924.4	SAT (TO) f=22 TT=2520.09 T1=978.12	? (TO) TT=2522.33	? (TO) TT=2520.17	SAT (TO) f=21 TT=2520.07 T1=7.12	? (TO) TT=2519.89	? (TO) TT=2519.9	SAT (TO) f=20 TT=2520.08 T1=1161.62	SAT (TO) f=22 TT=2520.09 T1=1.49	SAT f=21 TT=2519.16 T1=39.86	SAT (TO) f=21 TT=2520.11 T1=1939.68	SAT (TO) f=20 TT=19973.699 T1=204.63	SAT (TO) f=20 TT=19977.5 T1=1639.66	SAT (TO) f=21 TT=2400.1 T1=94.39	SAT (TO) f=21 TT=2400.18 T1=160.28	SAT (TO) f=21 TT=2400.49 T1=161.7	SAT (TO) f=21 TT=2400.1 T1=7.61	? (TO) TT=2400.09	? (TO) TT=2400.08	SAT (TO) f=20 TT=2400.03 T1=1149.46	SAT (TO) f=22 TT=2400.14 T1=1.41	SAT (TO) f=21 TT=2400.15 T1=38.4	SAT (TO) f=21 TT=2400.11 T1=1855.95	? (TO) TT=2400.24	? (TO) TT=2520.17
ChessboardColoration/ ChessboardColoration-int-s1/ ChessboardColoration-int-05-05.xml	OPT f=2 TT=0.121 T1=0.18	OPT f=2 TT=1.572 T1=0.8	? TT=1789.62	? TT=9700.89	OPT f=2 TT=40.999 T1=28.32	OPT f=2 TT=41.261 T1=28.53	OPT f=2 TT=40.602 T1=28.38	OPT f=2 TT=39.483 T1=27.95	OPT f=2 TT=11.256 T1=4.87	OPT f=2 TT=0.121 T1=0.18	OPT f=2 TT=0.124 T1=0.18	OPT f=2 TT=0.262 T1=0.32	SAT (TO) f=2 TT=2520.08 T1=50.88	OPT f=2 TT=82.924 T1=46.72	OPT f=2 TT=90.862 T1=49.07	? TT=2316.07	? TT=1513.27	OPT f=2 TT=1.587 T1=0.8	? TT=288.209	? TT=1632.64	OPT f=2 TT=11.83 T1=4.93	OPT f=2 TT=0.122 T1=0.22	OPT f=2 TT=0.122 T1=0.18	OPT f=2 TT=0.254 T1=0.33	SAT (TO) f=2 TT=2400.1 T1=49.71	OPT f=2 TT=84.041 T1=47.21	OPT f=2 TT=87.267 T1=47.83	OPT f=2 TT=4.478 T1=2.29	OPT f=2 TT=4.577 T1=2.32
ChessboardColoration/ ChessboardColoration-int-s1/ ChessboardColoration-int-11-11.xml	SAT TO f=3 TT=2400.01 T1=3.61	SAT (TO) f=3 TT=2520.05 T1=3.61	SAT (TO) f=3 TT=19657.699 T1=200.44	SAT (TO) f=3 TT=19704 T1=185.38	SAT (TO) f=3 TT=2520.04 T1=1304.14	SAT (TO) f=3 TT=2520.08 T1=1394.48	SAT (TO) f=3 TT=2520.08 T1=168.35	SAT (TO) f=3 TT=2520.05 T1=171.36	SAT (TO) f=4 TT=2520.06 T1=403.58	SAT (TO) f=3 TT=2520.02 T1=4.98	SAT (TO) f=3 TT=2519.84 T1=3.98	SAT (TO) f=3 TT=2519.84 T1=84.98	SAT (TO) f=3 TT=2520.09 T1=534.68	SAT (TO) f=3 TT=2520.09 T1=7.09	SAT (TO) f=3 TT=2520.1 T1=7	SAT (TO) f=3 TT=5224.35 T1=12.07	SAT (TO) f=3 TT=5244.84 T1=149.05	SAT (TO) f=3 TT=2400.05 T1=3.62	SAT (TO) f=3 TT=2400.06 T1=521.08	SAT (TO) f=3 TT=2400.03 T1=487.98	SAT (TO) f=4 TT=2400.11 T1=396.16	? (TO) TT=2400.1	? (TO) TT=2400.1	SAT (TO) f=3 TT=2400.01 T1=87.48	SAT (TO) f=3 TT=2400.06 T1=349.93	SAT (TO) f=3 TT=2400.06 T1=6.86	SAT (TO) f=3 TT=2400.04 T1=6.99	? TT=1217.87	? TT=698.265
ChessboardColoration/ ChessboardColoration-int-s1/ ChessboardColoration-int-12-12.xml	SAT TO f=3 TT=2400.09 T1=9.6	SAT (TO) f=3 TT=2520.08 T1=9.6	SAT (TO) f=3 TT=19381.801 T1=587.17	SAT (TO) f=3 TT=19460.1 T1=1066.83	SAT (TO) f=4 TT=2520.13 T1=466.94	SAT (TO) f=4 TT=2520.12 T1=464.78	SAT (TO) f=3 TT=2520.05 T1=198.69	SAT (TO) f=3 TT=2520.12 T1=198.84	SAT (TO) f=4 TT=2520.14 T1=1048.06	SAT (TO) f=3 TT=2520.09 T1=10.2	SAT (TO) f=3 TT=2519.92 T1=10.57	SAT (TO) f=3 TT=2519.78 T1=105.91	SAT (TO) f=3 TT=2520.11 T1=662.63	SAT (TO) f=4 TT=2520.1 T1=12	SAT (TO) f=4 TT=2520.08 T1=12.05	SAT (TO) f=3 TT=5301.2 T1=53.45	SAT (TO) f=4 TT=7741.95 T1=126.95	SAT (TO) f=3 TT=2400.09 T1=9.63	SAT (TO) f=4 TT=2400.13 T1=302.13	SAT (TO) f=4 TT=2400.37 T1=314.25	SAT (TO) f=4 TT=2400.13 T1=1030.22	? (TO) TT=2400.07	? (TO) TT=2400.04	SAT (TO) f=3 TT=2400.09 T1=108.05	SAT (TO) f=3 TT=2400.12 T1=282.97	SAT (TO) f=4 TT=2400.06 T1=12.3	SAT (TO) f=4 TT=2400.1 T1=12.22	? (problem) TT=1432.23	? (problem) TT=1432.16
ChessboardColoration/ ChessboardColoration-int-s1/ ChessboardColoration-int-13-13.xml	SAT TO f=3 TT=2400.12 T1=15.86	SAT (TO) f=3 TT=2520.03 T1=15.86	SAT (TO) f=4 TT=17622.301 T1=624.42	SAT (TO) f=4 TT=19010.699 T1=410.23	SAT (TO) f=168 TT=2520.13 T1=1374.57	SAT (TO) f=168 TT=2520.11 T1=1378.73	SAT (TO) f=4 TT=2520.05 T1=2127.59	SAT (TO) f=4 TT=2520.13 T1=2095.8	SAT (TO) f=160 TT=2520.08 T1=896.76	SAT (TO) f=4 TT=2520.1 T1=9.03	SAT (TO) f=4 TT=2520.03 T1=9.28	SAT (TO) f=4 TT=2519.65 T1=109.22	SAT (TO) f=4 TT=2520.15 T1=253.65	SAT (TO) f=4 TT=2520.08 T1=22.53	SAT (TO) f=4 TT=2520.09 T1=22.94	SAT (TO) f=4 TT=7845.82 T1=32.04	SAT (TO) f=4 TT=7751.32 T1=224.9	SAT (TO) f=3 TT=2400.12 T1=15.96	Wrong Opt. f=5 TT=1745.01 T1=611.23	SAT (TO) f=5 TT=2400.3 T1=668.82	SAT (TO) f=160 TT=2400.11 T1=878.65	? (TO) TT=2400.04	? (TO) TT=2400.09	SAT (TO) f=4 TT=2400.08 T1=104.27	SAT (TO) f=4 TT=2400.06 T1=725.92	SAT (TO) f=4 TT=2400.08 T1=22.52	SAT (TO) f=4 TT=2400.04 T1=22.7	? (problem) TT=1350.56	? (problem) TT=1380.07
ChessboardColoration/ ChessboardColoration-int-s1/ ChessboardColoration-int-15-15.xml	SAT TO f=4 TT=2400.05 T1=15.43	SAT (TO) f=4 TT=2520.07 T1=34.35	SAT (TO) f=6 TT=8960.1 T1=2087.26	SAT (TO) f=6 TT=9318.15 T1=2117.89	SAT (TO) f=205 TT=2520.11 T1=2508.91	SAT (TO) f=203 TT=2520.04 T1=2476.02	SAT (TO) f=219 TT=2520.08 T1=1969.24	SAT (TO) f=219 TT=2520.11 T1=1984.01	SAT (TO) f=219 TT=2520.15 T1=2151.38	SAT (TO) f=4 TT=2520.04 T1=15.43	SAT (TO) f=4 TT=2519.48 T1=24.06	SAT (TO) f=4 TT=2519.77 T1=1436.32	SAT (TO) f=4 TT=2520.15 T1=1501.04	SAT (TO) f=4 TT=2520.12 T1=66.53	SAT (TO) f=4 TT=2520.13 T1=66.24	SAT (TO) f=4 TT=9466.9 T1=804.14	SAT (TO) f=4 TT=8248.47 T1=743.84	SAT (TO) f=4 TT=2400.09 T1=33.56	SAT (TO) f=9 TT=2400.1 T1=838.95	SAT (TO) f=9 TT=2400.17 T1=821.57	SAT (TO) f=219 TT=2400.12 T1=2012.29	? (TO) TT=2400.09	? (TO) TT=2400.07	SAT (TO) f=4 TT=2400.08 T1=1426.25	SAT (TO) f=4 TT=2400.08 T1=472.52	SAT (TO) f=4 TT=2400.08 T1=65.8	SAT (TO) f=4 TT=2400.05 T1=65.51	? (problem) TT=1397.95	? TT=1485.36
ChessboardColoration/ ChessboardColoration-int-s1/ ChessboardColoration-int-20-20.xml	SAT TO f=5 TT=2400.12 T1=99.94	SAT (TO) f=5 TT=2520.09 T1=387.28	SAT (TO) f=17 TT=2580.27 T1=27.81	SAT (TO) f=17 TT=2584.62 T1=28.93	? (TO) TT=2520.1	? (TO) TT=2520.12	? (TO) TT=2520.12	? (TO) TT=2520.09	SAT (TO) f=399 TT=2520.09 T1=372.9	SAT (TO) f=5 TT=2520.1 T1=540.22	SAT (TO) f=5 TT=2519.65 T1=99.94	SAT (TO) f=8 TT=2520.07 T1=1904.07	SAT (TO) f=5 TT=2520.11 T1=1492.45	SAT (TO) f=6 TT=2520.08 T1=767.78	SAT (TO) f=6 TT=2520.09 T1=1055	SAT (TO) f=6 TT=19602.1 T1=2401.63	SAT (TO) f=6 TT=17204.1 T1=11663.98	SAT (TO) f=5 TT=2400.12 T1=388.87	SAT (TO) f=17 TT=2400.04 T1=19.73	SAT (TO) f=17 TT=2400.05 T1=19.43	SAT (TO) f=399 TT=2400.06 T1=366.01	No Cert. TT=2400.18	No Cert. TT=2400.19	SAT (TO) f=8 TT=2400.04 T1=1899.04	SAT (TO) f=7 TT=2400.08 T1=1009.89	SAT (TO) f=6 TT=2400.13 T1=762.6	SAT (TO) f=5 TT=2402.08 T1=1520.62	? TT=1340.15	? TT=1345.07
ChessboardColoration/ ChessboardColoration-int-s1/ ChessboardColoration-int-25-25.xml	SAT TO f=6 TT=2520.25 T1=1722.17	? (problem) TT=782.459	SAT (TO) f=22 TT=2659.91 T1=78.49	SAT (TO) f=22 TT=2665.99 T1=80.11	? (TO) TT=2520.08	? (TO) TT=2520.06	? (TO) TT=2520.13	? (TO) TT=2520.08	? (TO) TT=2528	SAT (TO) f=6 TT=2520.25 T1=1722.17	SAT (TO) f=7 TT=2520.37 T1=278.44	? (TO) TT=2519.91	SAT (TO) f=624 TT=2520.15 T1=31.27	SAT (TO) f=500 TT=2520.14 T1=1899.92	? (TO) TT=2528.25	SAT (TO) f=608 TT=19616.5 T1=2468.13	SAT (TO) f=600 TT=19674.4 T1=19509.711	? (problem) TT=766.163	SAT (TO) f=22 TT=2400 T1=61.31	SAT (TO) f=22 TT=2400 T1=59.56	? (TO) TT=2407.97	No Cert. TT=2400.16	No Cert. TT=2400.43	? (TO) TT=2400.07	SAT (TO) f=624 TT=2401.06 T1=31.12	SAT (TO) f=515 TT=2400.88 T1=1698.64	SAT (TO) f=9 TT=2400.07 T1=841.73	? TT=1368.72	? TT=1284.48
ChessboardColoration/ ChessboardColoration-int-s1/ ChessboardColoration-int-35-35.xml	SAT TO f=33 TT=3312.91 T1=485.02	? (problem) TT=715.411	SAT (TO) f=32 TT=3233.97 T1=460.14	SAT (TO) f=33 TT=3312.91 T1=485.02	? (TO) TT=2520.03	? (TO) TT=2520.12	? (TO) TT=2520.12	? (TO) TT=2520.09	? (TO) TT=2522.28	? (MO) TT=210.92	? (MO) TT=224.316	? (TO) TT=2520.05	SAT (TO) f=1224 TT=2520.86 T1=379.55	SAT (TO) f=1219 TT=2521.82 T1=1080.59	SAT (TO) f=1224 TT=2522.24 T1=314.83	? (exit code) TT=8132.94	? (TO) TT=18728.699	? (problem) TT=897.42	SAT (TO) f=32 TT=2400.02 T1=427.21	SAT (TO) f=32 TT=2400.08 T1=439.67	? (TO) TT=2402.36	? (MO) TT=213.129	? (MO) TT=240.957	? (TO) TT=2400.11	SAT (TO) f=1224 TT=2400.14 T1=417.5	SAT (TO) f=1220 TT=2400.13 T1=938.67	SAT (TO) f=1224 TT=2404.23 T1=326.98	? TT=1350.85	? TT=1374.69
ChessboardColoration/ ChessboardColoration-int-s1/ ChessboardColoration-int-40-40.xml		? (problem) TT=713.955	? TT=5619.21	? TT=5611.49	? (TO) TT=2520.05	? (TO) TT=2520.12	? (TO) TT=2520.15	? (TO) TT=2520.14	? (TO) TT=2528.22	? (MO) TT=174.339	? (MO) TT=173.915	? (TO) TT=2519.99	? (TO) TT=2520.13	? (TO) TT=2520.11	? (TO) TT=2522.28	? (TO) TT=18328.5	? (TO) TT=17193.6	? (problem) TT=744.125	? TT=1831.39	? TT=1644.21	? (TO) TT=2408.1	? (MO) TT=176.403	? (MO) TT=177.6	? (TO) TT=2400.11	? (TO) TT=2408.42	? (TO) TT=2401.8	? (TO) TT=2400.11	? TT=1494.98	? TT=1370.19
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
ChessboardColoration/ ChessboardColoration-int-s2/ ChessboardColoration-int-04-06.xml	OPT f=1 TT=0.11 T1=0.11	OPT f=1 TT=1.501 T1=0.81	OPT f=1 TT=805.306 T1=233.75	OPT f=1 TT=720.571 T1=226.12	OPT f=1 TT=25.783 T1=19.62	OPT f=1 TT=26.562 T1=19.89	OPT f=1 TT=26.612 T1=19.99	OPT f=1 TT=25.867 T1=19.63	OPT f=1 TT=11.606 T1=5	OPT f=1 TT=0.11 T1=0.18	OPT f=1 TT=0.112 T1=0.11	OPT f=1 TT=0.221 T1=0.3	SAT (TO) f=1 TT=2520.07 T1=41.08	OPT f=1 TT=63.134 T1=35.47	OPT f=1 TT=59.219 T1=34.03	? TT=1581.96	OPT f=1 TT=744.634 T1=743.77	OPT f=1 TT=1.495 T1=0.78	OPT f=1 TT=145.451 T1=88.58	OPT f=1 TT=138.494 T1=86.2	OPT f=1 TT=11.287 T1=4.98	OPT f=1 TT=0.108 T1=0.17	OPT f=1 TT=0.11 T1=0.17	OPT f=1 TT=0.205 T1=0.27	SAT (TO) f=1 TT=2400.1 T1=41.84	OPT f=1 TT=60.715 T1=34.35	OPT f=1 TT=73.141 T1=40.3	OPT f=1 TT=4.176 T1=2.05	OPT f=1 TT=3.751 T1=1.81
ChessboardColoration/ ChessboardColoration-int-s2/ ChessboardColoration-int-07-09.xml	OPT f=2 TT=0.922 T1=0.98	OPT f=2 TT=3.25 T1=1.81	OPT f=2 TT=24.082 T1=4.92	OPT f=2 TT=25.407 T1=6.46	OPT f=2 TT=22.509 T1=15.71	OPT f=2 TT=20.764 T1=15.24	OPT f=2 TT=24.587 T1=14.83	OPT f=2 TT=24.983 T1=14.26	OPT f=2 TT=40.669 T1=25.05	OPT f=2 TT=0.922 T1=0.99	OPT f=2 TT=0.994 T1=0.98	OPT f=2 TT=4.095 T1=4.08	SAT (TO) f=2 TT=2520.1 T1=39.72	OPT f=2 TT=5.873 T1=2.06	OPT f=2 TT=5.539 T1=1.99	OPT f=2 TT=19.389 T1=3.86	OPT f=2 TT=21.433 T1=20.61	OPT f=2 TT=3.232 T1=1.31	OPT f=2 TT=60.501 T1=17.38	OPT f=2 TT=58.037 T1=16.34	OPT f=2 TT=40.205 T1=25.63	OPT f=2 TT=0.939 T1=1.01	OPT f=2 TT=0.969 T1=1.03	OPT f=2 TT=3.879 T1=3.87	SAT (TO) f=2 TT=2400.1 T1=57.61	OPT f=2 TT=5.577 T1=2.57	OPT f=2 TT=5.43 T1=2.01	OPT f=2 TT=204.928 T1=176.93	OPT f=2 TT=204.857 T1=177.69
ChessboardColoration/ ChessboardColoration-int-s2/ ChessboardColoration-int-09-11.xml	SAT TO f=3 TT=2400.03 T1=2.08	SAT (TO) f=3 TT=2520.02 T1=2.09	SAT (TO) f=3 TT=19966.199 T1=42.09	SAT (TO) f=3 TT=20078.301 T1=20.79	SAT (TO) f=3 TT=2520.09 T1=91.1	SAT (TO) f=3 TT=2520.05 T1=87.55	SAT (TO) f=3 TT=2520.1 T1=108.83	SAT (TO) f=3 TT=2520.03 T1=107.12	SAT (TO) f=3 TT=2520.05 T1=332.87	SAT (TO) f=3 TT=2520.01 T1=2.61	SAT (TO) f=3 TT=2520.02 T1=2.73	SAT (TO) f=3 TT=2520.03 T1=8.44	SAT (TO) f=3 TT=2520.05 T1=75.83	SAT (TO) f=3 TT=2520.04 T1=4.18	SAT (TO) f=3 TT=2520.05 T1=4.16	SAT (TO) f=3 TT=5582.77 T1=7.37	SAT (TO) f=3 TT=5636.1 T1=40.5	SAT (TO) f=3 TT=2400.09 T1=2.08	SAT (TO) f=3 TT=2400.15 T1=87.45	SAT (TO) f=3 TT=2400.28 T1=90.47	SAT (TO) f=3 TT=2400.14 T1=324.13	? (TO) TT=2400.1	? (TO) TT=2400.11	SAT (TO) f=3 TT=2400.08 T1=8.14	SAT (TO) f=3 TT=2400.03 T1=67.1	SAT (TO) f=3 TT=2400.07 T1=4.15	SAT (TO) f=3 TT=2400.09 T1=4.36	? (problem) TT=1403.15	? (problem) TT=1453.7
ChessboardColoration/ ChessboardColoration-int-s2/ ChessboardColoration-int-15-17.xml	SAT TO f=4 TT=2400.1 T1=23.56	SAT (TO) f=4 TT=2520.03 T1=90.36	SAT (TO) f=8 TT=4980.59 T1=2231.23	SAT (TO) f=8 TT=10125.7 T1=1490.83	? (TO) TT=2520.1	? (TO) TT=2520.12	? (TO) TT=2520.07	? (TO) TT=2520.05	SAT (TO) f=252 TT=2520.15 T1=2234.59	SAT (TO) f=4 TT=2520.06 T1=23.56	SAT (TO) f=4 TT=2519.88 T1=78.34	SAT (TO) f=5 TT=2519.78 T1=323.88	SAT (TO) f=5 TT=2520.13 T1=813.15	SAT (TO) f=5 TT=2520.05 T1=109.49	SAT (TO) f=4 TT=2520.1 T1=254.73	SAT (TO) f=5 TT=11183.8 T1=199.03	SAT (TO) f=5 TT=11402.4 T1=1525.58	SAT (TO) f=4 TT=2400.1 T1=88.02	SAT (TO) f=11 TT=2400.39 T1=54.04	SAT (TO) f=11 TT=2400.1 T1=1484.51	SAT (TO) f=253 TT=2400.21 T1=2316.19	? (TO) TT=2400.11	? (TO) TT=2400.05	SAT (TO) f=5 TT=2400.09 T1=324.1	SAT (TO) f=4 TT=2400.14 T1=1372.02	SAT (TO) f=5 TT=2400.06 T1=108.36	SAT (TO) f=4 TT=2400.12 T1=328.14	? TT=1295.59	? TT=1305.72
ChessboardColoration/ ChessboardColoration-int-s2/ ChessboardColoration-int-16-18.xml	SAT TO f=4 TT=2400.06 T1=154.09	SAT (TO) f=4 TT=2520.05 T1=154.09	SAT (TO) f=10 TT=2926.81 T1=2480.64	SAT (TO) f=11 TT=2671.43 T1=1319.71	? (TO) TT=2520.06	? (TO) TT=2520.06	? (TO) TT=2520.04	? (TO) TT=2520.12	SAT (TO) f=283 TT=2520.08 T1=1722.78	SAT (TO) f=5 TT=2520.08 T1=28.93	SAT (TO) f=5 TT=2520.08 T1=31.05	SAT (TO) f=5 TT=2519.7 T1=1995.09	SAT (TO) f=5 TT=2520.11 T1=642.23	SAT (TO) f=5 TT=2520.13 T1=185.52	SAT (TO) f=5 TT=2520.07 T1=185.72	SAT (TO) f=5 TT=12569.7 T1=388.7	SAT (TO) f=5 TT=11348.5 T1=2265.62	SAT (TO) f=4 TT=2400.06 T1=155.19	SAT (TO) f=13 TT=2400.01 T1=1265.39	SAT (TO) f=13 TT=2400.06 T1=1212	SAT (TO) f=283 TT=2400.13 T1=1803.35	? (TO) TT=2400.05	? (TO) TT=2400.04	SAT (TO) f=5 TT=2400.02 T1=1992.31	SAT (TO) f=5 TT=2400.11 T1=638.64	SAT (TO) f=5 TT=2400.08 T1=183.2	SAT (TO) f=5 TT=2400.07 T1=182.76	? TT=1375.92	? TT=1313.57
ChessboardColoration/ ChessboardColoration-int-s2/ ChessboardColoration-int-17-19.xml	SAT TO f=4 TT=2400.06 T1=538.57	SAT (TO) f=4 TT=2520.05 T1=539.01	SAT (TO) f=12 TT=2711.06 T1=1982.45	SAT (TO) f=12 TT=2688.76 T1=2057.02	? (TO) TT=2520.12	? (TO) TT=2520.07	? (TO) TT=2520.1	? (TO) TT=2520.1	SAT (TO) f=322 TT=2520.09 T1=180.83	SAT (TO) f=5 TT=2520.1 T1=46.68	SAT (TO) f=5 TT=2519.95 T1=36.77	SAT (TO) f=5 TT=2520.03 T1=1947.46	SAT (TO) f=5 TT=2520.11 T1=760.27	SAT (TO) f=5 TT=2520.12 T1=524.55	SAT (TO) f=5 TT=2520.13 T1=1187.57	SAT (TO) f=5 TT=12722.3 T1=620.05	SAT (TO) f=5 TT=12513.7 T1=4158.64	SAT (TO) f=4 TT=2400.06 T1=538.57	SAT (TO) f=13 TT=2400.18 T1=2012.35	SAT (TO) f=14 TT=2400.05 T1=1970.13	SAT (TO) f=322 TT=2400.07 T1=180.44	SAT (TO) f=5 TT=2400.05 T1=46.46	SAT (TO) f=5 TT=2400.07 T1=36.92	SAT (TO) f=5 TT=2400.02 T1=1937.77	SAT (TO) f=5 TT=2400.06 T1=1694.69	SAT (TO) f=5 TT=2400.09 T1=519.42	SAT (TO) f=6 TT=2400.06 T1=577.01	? TT=1299.17	? TT=1255.1
ChessboardColoration/ ChessboardColoration-int-s2/ ChessboardColoration-int-23-25.xml	SAT TO f=6 TT=2519.94 T1=136.98	? (problem) TT=803.052	SAT (TO) f=20 TT=2657.58 T1=64.35	SAT (TO) f=21 TT=2654.94 T1=70.1	? (TO) TT=2520.09	? (TO) TT=2520.07	? (TO) TT=2520.1	? (TO) TT=2520.12	? (TO) TT=2527.86	SAT (TO) f=6 TT=2519.94 T1=136.98	SAT (TO) f=6 TT=2520.17 T1=907.56	? (TO) TT=2519.95	SAT (TO) f=574 TT=2520.12 T1=28.93	SAT (TO) f=347 TT=2520.09 T1=2154.93	SAT (TO) f=553 TT=2520.14 T1=253.99	SAT (TO) f=531 TT=19730.4 T1=2503.43	SAT (TO) f=514 TT=19725.5 T1=19420.68	? (problem) TT=714.533	SAT (TO) f=21 TT=2400.03 T1=45.11	SAT (TO) f=21 TT=2400.07 T1=47.44	? (TO) TT=2407.87	No Cert. TT=2400.1	No Cert. TT=2400.27	? (TO) TT=2400.06	SAT (TO) f=574 TT=2400.09 T1=29.56	SAT (TO) f=366 TT=2400.21 T1=2018.06	SAT (TO) f=554 TT=2400.79 T1=239.23	? TT=1348.72	? TT=1334.77
ChessboardColoration/ ChessboardColoration-int-s2/ ChessboardColoration-int-28-30.xml	SAT TO f=8 TT=2520.9 T1=321.65	? (problem) TT=768.753	SAT (TO) f=26 TT=2804.4 T1=165.84	SAT (TO) f=26 TT=2795.61 T1=172.9	? (TO) TT=2520.11	? (TO) TT=2520.12	? (TO) TT=2520.08	? (TO) TT=2520.05	? (TO) TT=2522.16	SAT (TO) f=8 TT=2520.9 T1=321.65	? (MO) TT=203.754	? (TO) TT=2519.92	SAT (TO) f=839 TT=2520.17 T1=89.84	SAT (TO) f=797 TT=2520.14 T1=1808.52	SAT (TO) f=833 TT=2520.1 T1=845.69	? (TO) TT=19419.1	? (TO) TT=19482	? (problem) TT=774.199	SAT (TO) f=26 TT=2400.07 T1=134.55	SAT (TO) f=26 TT=2400.04 T1=134.67	? (TO) TT=2402.11	No Cert. TT=2400.87	? (MO) TT=206.167	? (TO) TT=2400.06	SAT (TO) f=839 TT=2405.42 T1=88.01	SAT (TO) f=799 TT=2400.09 T1=1707.25	SAT (TO) f=835 TT=2401.61 T1=200.91	? TT=1305.32	? TT=1404.07
Cutstock/ Cutstock-zinc-s1/ Cutstock-t02-3.xml	SAT TO f=158 TT=2400.04 T1=3.88	? (TO) TT=2520.09	SAT (TO) f=158 TT=20110 T1=3.52	SAT (TO) f=158 TT=20103.5 T1=3.88	SAT (TO) f=173 TT=2520.02 T1=2218.69	SAT (TO) f=173 TT=2520.03 T1=2217.15	? (TO) TT=2520.11	? (TO) TT=2520.08	SAT (TO) f=161 TT=2520.09 T1=10.76	? (TO) TT=2519.97	? (TO) TT=2520.1	SAT (TO) f=159 TT=2519.98 T1=45.81	SAT (TO) f=158 TT=2520.04 T1=570.88	SAT (TO) f=167 TT=2520.05 T1=31	SAT (TO) f=158 TT=2520.12 T1=623.34	SAT (TO) f=160 TT=19863.1 T1=6.84	SAT (TO) f=162 TT=19865.6 T1=22.84	? (TO) TT=2400.1	SAT (TO) f=158 TT=2400.38 T1=6.71	SAT (TO) f=158 TT=2400.11 T1=5.65	SAT (TO) f=161 TT=2400.09 T1=11.34	? (TO) TT=2400.03	? (TO) TT=2400.05	SAT (TO) f=159 TT=2400.1 T1=45.3	SAT (TO) f=158 TT=2400.18 T1=613.31	SAT (TO) f=167 TT=2400.07 T1=30.35	SAT (TO) f=158 TT=2400.04 T1=685.81	? (TO) TT=2416.21	? (problem) TT=1664.78
Cutstock/ Cutstock-zinc-s1/ Cutstock-t02-6.xml	SAT TO f=118 TT=2400.05 T1=1150.55	? (TO) TT=2520.12	SAT (TO) f=119 TT=20107.4 T1=1.93	SAT (TO) f=119 TT=20100.301 T1=2.09	SAT (TO) f=124 TT=2520.1 T1=1455.99	SAT (TO) f=124 TT=2520.1 T1=1455.36	SAT (TO) f=126 TT=2520.06 T1=1049.92	SAT (TO) f=126 TT=2520.12 T1=1041.52	SAT (TO) f=121 TT=2520.05 T1=674.77	? (TO) TT=2519.68	? (TO) TT=2519.92	SAT (TO) f=119 TT=2519.77 T1=6.93	SAT (TO) f=118 TT=2520.12 T1=1150.55	SAT (TO) f=126 TT=2520.1 T1=1.34	SAT (TO) f=119 TT=2520.09 T1=458.57	SAT (TO) f=119 TT=19854.801 T1=5.56	SAT (TO) f=120 TT=19849.4 T1=100.2	? (TO) TT=2400.04	SAT (TO) f=119 TT=2400.1 T1=8.1	SAT (TO) f=119 TT=2400.38 T1=8.75	SAT (TO) f=121 TT=2400.09 T1=679.5	? (TO) TT=2400.02	? (TO) TT=2400.03	SAT (TO) f=119 TT=2400.02 T1=6.93	SAT (TO) f=118 TT=2400.05 T1=1839.14	SAT (TO) f=126 TT=2400.13 T1=1.3	SAT (TO) f=119 TT=2400.18 T1=415.33	? (TO) TT=2416.38	? TT=1629.42
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
Cutstock/ Cutstock-zinc-s1/ Cutstock-t04-1.xml	SAT TO f=217 TT=20087.1 T1=25.34	? (TO) TT=2520.09	SAT (TO) f=217 TT=20085.301 T1=25.82	SAT (TO) f=217 TT=20087.1 T1=25.34	? (TO) TT=2520.09	? (TO) TT=2520.05	? (TO) TT=2520.09	? (TO) TT=2520.08	? (TO) TT=2521.3	? (TO) TT=2519.73	? (TO) TT=2519.89	? (TO) TT=2519.8	SAT (TO) f=240 TT=2520.1 T1=3.68	SAT (TO) f=226 TT=2520.09 T1=132.86	SAT (TO) f=227 TT=2520.13 T1=15.17	SAT (TO) f=218 TT=19860.699 T1=10	SAT (TO) f=218 TT=19858.1 T1=32.54	? (TO) TT=2400.1	SAT (TO) f=217 TT=2400.13 T1=207.7	SAT (TO) f=217 TT=2400.52 T1=191.59	? (TO) TT=2403.06	? (TO) TT=2400.02	? (TO) TT=2400.05	? (TO) TT=2400.1	SAT (TO) f=240 TT=2400.24 T1=3.32	SAT (TO) f=226 TT=2400.07 T1=131.25	SAT (TO) f=227 TT=2400.12 T1=14.23	? (TO) TT=2415.82	? (TO) TT=2528.05
Cutstock/ Cutstock-zinc-s1/ Cutstock-t04-6.xml	SAT TO f=199 TT=2400.06 T1=18.49	SAT (TO) f=224 TT=2520.11 T1=701.21	SAT (TO) f=199 TT=20090 T1=18.57	SAT (TO) f=199 TT=20090.199 T1=18.49	? (TO) TT=2520.08	? (TO) TT=2520.05	? (TO) TT=2520.08	? (TO) TT=2520.04	? (TO) TT=2521.15	? (TO) TT=2519.8	? (TO) TT=2519.72	SAT (TO) f=199 TT=2519.82 T1=213.96	SAT (TO) f=222 TT=2520.11 T1=638.29	SAT (TO) f=200 TT=2520.13 T1=6.11	SAT (TO) f=200 TT=2520.15 T1=6.2	SAT (TO) f=199 TT=19847.301 T1=21.78	SAT (TO) f=200 TT=19840.1 T1=99.68	SAT (TO) f=224 TT=2400.03 T1=705.12	SAT (TO) f=199 TT=2400.43 T1=191.77	SAT (TO) f=199 TT=2400.05 T1=193.6	? (TO) TT=2402.54	? (TO) TT=2400.06	? (TO) TT=2400.02	SAT (TO) f=199 TT=2400.06 T1=193.76	SAT (TO) f=213 TT=2400.16 T1=2239.12	SAT (TO) f=200 TT=2400.16 T1=5.82	SAT (TO) f=200 TT=2400.24 T1=6.08	? (TO) TT=2415.74	? TT=1686.3
Cutstock/ Cutstock-zinc-s1/ Cutstock-t07-8.xml	OPT f=43 TT=0.29 T1=0.33	OPT f=43 TT=3.103 T1=1.39	OPT f=43 TT=5.742 T1=1.13	OPT f=43 TT=5.443 T1=1.12	OPT f=43 TT=64.588 T1=57.2	OPT f=43 TT=64.613 T1=57.91	OPT f=43 TT=682.632 T1=641.66	OPT f=43 TT=685.493 T1=644.66	OPT f=43 TT=67.26 T1=12.36	OPT f=43 TT=318.327 T1=318.41	OPT f=43 TT=1.283 T1=1.28	OPT f=43 TT=0.29 T1=0.38	SAT (TO) f=43 TT=2520.09 T1=187.75	OPT f=43 TT=2.308 T1=1.19	OPT f=43 TT=2.272 T1=1.19	OPT f=43 TT=13.11 T1=4.23	OPT f=43 TT=13.578 T1=13.11	OPT f=43 TT=3.091 T1=1.12	OPT f=43 TT=7.347 T1=1.31	OPT f=43 TT=7.686 T1=1.29	OPT f=43 TT=74.624 T1=12.41	OPT f=43 TT=309.995 T1=307.89	OPT f=43 TT=1.315 T1=1.08	OPT f=43 TT=0.344 T1=0.33	SAT (TO) f=43 TT=2400.14 T1=216.85	OPT f=43 TT=2.71 T1=1.12	OPT f=43 TT=2.622 T1=1.07	? (TO) TT=2415.31	? (TO) TT=2528.26
Cutstock/ Cutstock-zinc-s1/ Cutstock-t08-5.xml	SAT TO f=533 TT=2400.02 T1=232.37	? (TO) TT=2520.07	SAT (TO) f=531 TT=20037.5 T1=959.73	SAT (TO) f=533 TT=20050.801 T1=232.37	SAT (TO) f=561 TT=2520.07 T1=2242.53	SAT (TO) f=561 TT=2520.06 T1=2268.27	? (TO) TT=2520.02	? (TO) TT=2520.06	? (TO) TT=2521.34	? (TO) TT=2520.09	? (TO) TT=2519.99	SAT (TO) f=533 TT=2519.96 T1=808.62	SAT (TO) f=639 TT=2520.1 T1=2266.49	SAT (TO) f=550 TT=2520.06 T1=8.7	SAT (TO) f=550 TT=2520.25 T1=8.61	SAT (TO) f=544 TT=7625.73 T1=24.16	SAT (TO) f=536 TT=2651.54 T1=80.51	? (TO) TT=2400.11	SAT (TO) f=604 TT=2400.2 T1=265.57	SAT (TO) f=604 TT=2400.38 T1=264.38	? (TO) TT=2403.96	? (TO) TT=2400.06	? (TO) TT=2400.18	SAT (TO) f=533 TT=2400.02 T1=766.16	SAT (TO) f=613 TT=2400.1 T1=2159.37	SAT (TO) f=550 TT=2400.11 T1=8.18	SAT (TO) f=550 TT=2400.16 T1=8.41	? (TO) TT=2416.22	? (TO) TT=2528.1
Cutstock/ Cutstock-zinc-s1/ Cutstock-t08-9.xml	OPT f=476 TT=13.114 T1=7	SAT (TO) f=637 TT=2520.03 T1=5.2	OPT f=476 TT=2491.96 T1=313.33	OPT f=476 TT=1942.65 T1=240.78	OPT f=476 TT=439.241 T1=364.85	OPT f=476 TT=434.086 T1=359.33	SAT (TO) f=597 TT=2520.06 T1=499.18	SAT (TO) f=597 TT=2520.14 T1=511.43	SAT (TO) f=511 TT=2520.13 T1=2418.31	? (TO) TT=2520.03	? (TO) TT=2519.99	OPT f=476 TT=339.348 T1=332.12	SAT (TO) f=526 TT=2520.11 T1=1098.3	OPT f=476 TT=13.846 T1=7.23	OPT f=476 TT=13.114 T1=7	OPT f=476 TT=49.83 T1=17.82	OPT f=476 TT=51.839 T1=51.04	SAT (TO) f=637 TT=2400.05 T1=4.82	SAT (TO) f=527 TT=2400.19 T1=299.91	SAT (TO) f=489 TT=2400.49 T1=305	SAT (TO) f=513 TT=2400.2 T1=2134.5	? (TO) TT=2400.03	? (TO) TT=2400.11	OPT f=476 TT=313.831 T1=306.57	SAT (TO) f=553 TT=2400.22 T1=1445.41	OPT f=476 TT=16.06 T1=7.05	OPT f=476 TT=15.263 T1=7.07	? (TO) TT=2416.02	? (TO) TT=2528.13
Cutstock/ Cutstock-zinc-s1/ Cutstock-t13-1.xml	OPT f=63 TT=0.608 T1=0.56	OPT f=63 TT=3.077 T1=1.29	OPT f=63 TT=11.237 T1=1.41	OPT f=63 TT=8.721 T1=1.23	OPT f=63 TT=16.939 T1=9.45	OPT f=63 TT=16.998 T1=9.42	OPT f=63 TT=546.591 T1=398.88	OPT f=63 TT=548.587 T1=400.42	OPT f=63 TT=234.579 T1=5.3	OPT f=63 TT=2.767 T1=2.88	OPT f=63 TT=4.016 T1=4.01	OPT f=63 TT=0.608 T1=0.62	SAT (TO) f=63 TT=2520.07 T1=318.93	OPT f=63 TT=2.628 T1=1.36	OPT f=63 TT=2.518 T1=1.24	OPT f=63 TT=17.982 T1=6.72	OPT f=63 TT=17.438 T1=17.22	OPT f=63 TT=3.57 T1=1.21	OPT f=63 TT=15.073 T1=1.25	OPT f=63 TT=12.239 T1=1.32	OPT f=63 TT=233.066 T1=5.99	OPT f=63 TT=2.82 T1=2.82	OPT f=63 TT=4.066 T1=3.04	OPT f=63 TT=0.654 T1=0.56	SAT (TO) f=63 TT=2400.12 T1=253.34	OPT f=63 TT=3.356 T1=1.23	OPT f=63 TT=3.354 T1=1.56	? (TO) TT=2416.46	? TT=1598.96
Cutstock/ Cutstock-zinc-s1/ Cutstock-t15-1.xml	OPT f=123 TT=7.496 T1=2.78	OPT f=123 TT=23.046 T1=17.93	OPT f=123 TT=71.193 T1=5.61	OPT f=123 TT=63.651 T1=5.67	SAT (TO) f=142 TT=2520.04 T1=780.72	SAT (TO) f=142 TT=2520.11 T1=793.34	SAT (TO) f=152 TT=2520.1 T1=348.45	SAT (TO) f=152 TT=2520.04 T1=353.59	? (TO) TT=2521.17	SAT (TO) f=167 TT=2520.1 T1=2520	SAT (TO) f=132 TT=2520.04 T1=2519.9	OPT f=123 TT=40.107 T1=37.64	SAT (TO) f=123 TT=2520.06 T1=1402.63	OPT f=123 TT=7.496 T1=2.78	OPT f=123 TT=7.833 T1=2.83	OPT f=123 TT=39.445 T1=10.88	OPT f=123 TT=38.072 T1=37.81	OPT f=123 TT=24.34 T1=18.21	OPT f=123 TT=259.365 T1=15.43	OPT f=123 TT=204.359 T1=12.72	? (TO) TT=2402.5	No Cert. TT=2400.04	No Cert. TT=2400.06	OPT f=123 TT=39.637 T1=37.14	SAT (TO) f=123 TT=2400.14 T1=869.83	OPT f=123 TT=9.3 T1=2.97	OPT f=123 TT=9.492 T1=2.94	? (TO) TT=2416.2	? (problem) TT=1520.04
Cutstock/ Cutstock-zinc-s1/ Cutstock-t15-2.xml	OPT f=122 TT=340.917 T1=5.26	OPT f=122 TT=340.917 T1=5.31	OPT f=122 TT=16185.5 T1=6.87	OPT f=122 TT=4053.07 T1=6.52	SAT (TO) f=147 TT=2520.08 T1=99.58	SAT (TO) f=147 TT=2520.05 T1=100.52	SAT (TO) f=145 TT=2520.06 T1=596.07	SAT (TO) f=145 TT=2520.08 T1=584.68	SAT (TO) f=122 TT=2520.09 T1=1328.08	? (TO) TT=2519.85	? (TO) TT=2519.95	OPT f=122 TT=875.38 T1=12.77	SAT (TO) f=122 TT=2520.09 T1=1173.51	SAT (TO) f=122 TT=2520.13 T1=2267.67	SAT (TO) f=122 TT=2520.07 T1=825.62	SAT (TO) f=126 TT=2600.13 T1=12.33	SAT (TO) f=130 TT=2602.5 T1=2527.99	OPT f=122 TT=344.973 T1=5.26	SAT (TO) f=122 TT=2400.38 T1=26.93	SAT (TO) f=122 TT=2400.38 T1=30.19	SAT (TO) f=122 TT=2400.13 T1=1319.75	? (TO) TT=2400.01	? (TO) TT=2400.04	OPT f=122 TT=844.437 T1=12.29	SAT (TO) f=122 TT=2400.06 T1=983.37	SAT (TO) f=122 TT=2400.07 T1=2311.79	SAT (TO) f=122 TT=2400.16 T1=721.06	? (TO) TT=2416.45	? TT=1421.23
Cutstock/ Cutstock-zinc-s1/ Cutstock-t15-3.xml	SAT TO f=102 TT=2400.12 T1=5.8	SAT (TO) f=103 TT=2520.03 T1=253.28	SAT (TO) f=102 TT=20106.301 T1=5.06	SAT (TO) f=102 TT=20106.1 T1=5.8	SAT (TO) f=126 TT=2520.04 T1=532.36	SAT (TO) f=126 TT=2520.04 T1=521.13	? (TO) TT=2520.04	? (TO) TT=2520.07	SAT (TO) f=106 TT=2520.05 T1=76	? (TO) TT=2519.7	? (TO) TT=2520.01	SAT (TO) f=104 TT=2520.01 T1=2386.02	SAT (TO) f=102 TT=2520.13 T1=1505.54	SAT (TO) f=112 TT=2520.11 T1=5.36	SAT (TO) f=102 TT=2520.11 T1=592.65	SAT (TO) f=112 TT=19853.6 T1=10.28	SAT (TO) f=108 TT=17611.5 T1=46.34	SAT (TO) f=103 TT=2400.08 T1=256.67	SAT (TO) f=102 TT=2400.6 T1=14.01	SAT (TO) f=102 TT=2400.56 T1=13.85	SAT (TO) f=106 TT=2400.09 T1=76.43	? (TO) TT=2400.04	? (TO) TT=2400	SAT (TO) f=104 TT=2400.06 T1=2342.29	SAT (TO) f=102 TT=2400.12 T1=1268.69	SAT (TO) f=112 TT=2400.11 T1=5.2	SAT (TO) f=102 TT=2400.13 T1=766.12	? (TO) TT=2416.44	? (TO) TT=2528.04
Cutstock/ Cutstock-zinc-s1/ Cutstock-t15-7.xml	OPT f=171 TT=8.361 T1=2.78	OPT f=171 TT=8.361 T1=2.83	OPT f=171 TT=47.238 T1=4.15	OPT f=171 TT=43.695 T1=3.9	OPT f=171 TT=29.874 T1=25.64	OPT f=171 TT=28.993 T1=25.01	? (TO) TT=2520.09	? (TO) TT=2520.03	SAT (TO) f=171 TT=2520.09 T1=34.9	OPT f=171 TT=833.852 T1=833.87	OPT f=171 TT=193.594 T1=193.7	OPT f=171 TT=19.664 T1=18.2	SAT (TO) f=171 TT=2520.11 T1=1056.32	OPT f=171 TT=9.792 T1=4.56	OPT f=171 TT=9.578 T1=4.32	OPT f=171 TT=57.425 T1=11.31	OPT f=171 TT=56.247 T1=55.95	OPT f=171 TT=9.286 T1=2.78	OPT f=171 TT=119.87 T1=8.89	OPT f=171 TT=106.18 T1=7.78	SAT (TO) f=171 TT=2400.15 T1=33.93	OPT f=171 TT=855.075 T1=817.75	OPT f=171 TT=188.907 T1=160.4	OPT f=171 TT=18.193 T1=16.77	SAT (TO) f=171 TT=2400.16 T1=921.88	OPT f=171 TT=10.174 T1=4.25	OPT f=171 TT=9.563 T1=4.16	? (TO) TT=2416.27	? TT=1292.99
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
Cutstock/ Cutstock-zinc-s1/ Cutstock-t16-0.xml	OPT f=1305 TT=569.11 T1=529	? (TO) TT=2520.04	SAT (TO) f=1568 TT=19789.6 T1=2497.16	SAT (TO) f=1569 TT=19808.5 T1=2478.21	? (TO) TT=2520.11	? (TO) TT=2520.04	? (TO) TT=2520.09	? (TO) TT=2520.07	? (TO) TT=2522.93	? (TO) TT=2520.11	? (TO) TT=2520.1	? (TO) TT=2519.62	SAT (TO) f=1614 TT=2520.36 T1=283.77	OPT f=1305 TT=591.573 T1=554.24	SAT (TO) f=1345 TT=2520.2 T1=545.75	SAT (TO) f=1568 TT=5290.69 T1=461	OPT f=1305 TT=3454.99 T1=3451.14	? (TO) TT=2400.05	SAT (TO) f=1613 TT=2400.46 T1=287.05	SAT (TO) f=1614 TT=2400.32 T1=112.17	? (TO) TT=2406.02	? (TO) TT=2400.05	? (TO) TT=2400.41	? (TO) TT=2400.09	SAT (TO) f=1614 TT=2400.19 T1=289.61	OPT f=1305 TT=569.11 T1=529	SAT (TO) f=1345 TT=2400.14 T1=528.8	? TT=254.284	? TT=194.855
Cutstock/ Cutstock-zinc-s1/ Cutstock-t16-1.xml	OPT f=1216 TT=3375.2 T1=538.04	? (TO) TT=2520.06	SAT (TO) f=1472 TT=19753.9 T1=2471.7	SAT (TO) f=1470 TT=19749.801 T1=2499.65	? (TO) TT=2520.11	? (TO) TT=2520.06	? (TO) TT=2520.1	? (TO) TT=2520.1	? (TO) TT=2522.53	? (TO) TT=2519.94	? (TO) TT=2520.21	? (TO) TT=2520.09	SAT (TO) f=1513 TT=2520.16 T1=279.3	? (TO) TT=2520.13	? (TO) TT=2520.06	OPT f=1216 TT=3375.2 T1=538.04	? (TO) TT=8633.46	? (TO) TT=2400.06	SAT (TO) f=1512 TT=2400.68 T1=304.84	SAT (TO) f=1513 TT=2400.12 T1=103.96	? (TO) TT=2404.99	? (TO) TT=2400.06	? (TO) TT=2400.29	? (TO) TT=2400.06	SAT (TO) f=1513 TT=2400.14 T1=293.71	? (TO) TT=2400.12	? (TO) TT=2400.07	? TT=232.664	? TT=174.201
Cutstock/ Cutstock-zinc-s1/ Cutstock-t16-5.xml	SAT TO f=983 TT=19781.199 T1=885.19	? (TO) TT=2520.05	SAT (TO) f=1193 TT=19131.199 T1=2519.91	SAT (TO) f=1187 TT=19006.301 T1=2487.97	? (TO) TT=2520.03	? (TO) TT=2520.06	? (TO) TT=2520.11	? (TO) TT=2520.1	? (TO) TT=2522.48	? (TO) TT=2519.8	? (TO) TT=2520.29	? (TO) TT=2519.95	? (TO) TT=2520.12	? (TO) TT=2520.11	? (TO) TT=2520.04	SAT (TO) f=983 TT=19781.199 T1=885.19	SAT (TO) f=1231 TT=19787.4 T1=1209.95	? (TO) TT=2400.09	SAT (TO) f=1243 TT=2400.07 T1=145.43	SAT (TO) f=1243 TT=2400.45 T1=148	? (TO) TT=2405.73	? (TO) TT=2400.11	? (TO) TT=2400.22	? (TO) TT=2400.11	? (TO) TT=2400.04	? (TO) TT=2400.08	? (TO) TT=2400.07	? TT=171.151	? TT=126.246
Cutstock/ Cutstock-zinc-s1/ Cutstock-t16-6.xml	SAT TO f=1094 TT=3537.1 T1=1523.37	? (TO) TT=2520.11	SAT (TO) f=1328 TT=19773.6 T1=2486.21	SAT (TO) f=1328 TT=19778.199 T1=2505.54	? (TO) TT=2520.08	? (TO) TT=2520.12	? (TO) TT=2520.06	? (TO) TT=2520.04	? (TO) TT=2522.35	? (TO) TT=2520.08	? (TO) TT=2520.29	? (TO) TT=2520.07	? (TO) TT=2520.13	SAT (TO) f=1164 TT=2520.2 T1=432.68	SAT (TO) f=1369 TT=2520.14 T1=319.79	SAT (TO) f=1113 TT=3373.82 T1=194.33	SAT (TO) f=1094 TT=3537.1 T1=1523.37	? (TO) TT=2400.1	SAT (TO) f=1369 TT=2400.26 T1=220.98	SAT (TO) f=1369 TT=2400.29 T1=256.49	? (TO) TT=2407.36	? (TO) TT=2400.06	? (TO) TT=2400.5	? (TO) TT=2400.05	? (TO) TT=2400.04	SAT (TO) f=1164 TT=2400.12 T1=400.35	SAT (TO) f=1369 TT=2400.2 T1=330.07	? TT=199.621	? TT=150.606
Cutstock/ Cutstock-zinc-s1/ Cutstock-t16-7.xml	OPT f=1705 TT=392.939 T1=378.99	? (TO) TT=2520.1	SAT (TO) f=1781 TT=19750.6 T1=2455.4	SAT (TO) f=1774 TT=19686.4 T1=2472.01	? (TO) TT=2520.03	? (TO) TT=2520.08	? (TO) TT=2520.1	? (TO) TT=2520.1	? (TO) TT=2523.1	? (TO) TT=2519.84	? (MO) TT=337.139	? (TO) TT=2519.91	SAT (TO) f=1810 TT=2520.54 T1=102.36	OPT f=1705 TT=392.939 T1=378.99	SAT (TO) f=1806 TT=2520.22 T1=373.75	OPT f=1705 TT=4504.82 T1=829.77	OPT f=1705 TT=5251.06 T1=5246.38	? (TO) TT=2400.03	SAT (TO) f=1810 TT=2400.49 T1=138.2	SAT (TO) f=1810 TT=2400.52 T1=133.56	? (TO) TT=2409.12	? (TO) TT=2400.05	? (MO) TT=351.781	? (TO) TT=2400.08	SAT (TO) f=1810 TT=2400.24 T1=102.14	OPT f=1705 TT=397.798 T1=381.01	SAT (TO) f=1806 TT=2401.51 T1=371.87	? TT=247.802	? TT=209.084
Fastfood/ Fastfood-m1-s1/ Fastfood-ff06.xml	OPT f=2 TT=0.191 T1=0.2	OPT f=2 TT=3.442 T1=1.34	OPT f=2 TT=19.107 T1=3.33	OPT f=2 TT=19.235 T1=3.26	OPT f=2 TT=2.509 T1=0.9	OPT f=2 TT=2.556 T1=1.06	OPT f=2 TT=4.133 T1=1.29	OPT f=2 TT=4.176 T1=1.28	OPT f=2 TT=15.939 T1=6.24	OPT f=2 TT=0.231 T1=0.28	OPT f=2 TT=0.289 T1=0.33	OPT f=2 TT=0.191 T1=0.24	SAT (TO) f=2 TT=2520.11 T1=22.65	OPT f=2 TT=3.599 T1=1.53	OPT f=2 TT=3.598 T1=2.06	OPT f=2 TT=13.293 T1=3.39	OPT f=2 TT=13.88 T1=11.3	OPT f=2 TT=3.881 T1=1.2	OPT f=2 TT=24.831 T1=3.96	OPT f=2 TT=26.287 T1=4.16	OPT f=2 TT=22.832 T1=6.65	OPT f=2 TT=0.269 T1=0.25	OPT f=2 TT=0.313 T1=0.29	OPT f=2 TT=0.239 T1=0.2	SAT (TO) f=2 TT=2400.12 T1=20.94	OPT f=2 TT=4.358 T1=1.45	OPT f=2 TT=4.309 T1=1.42	OPT f=2 TT=472.512 T1=391.12	OPT f=2 TT=466.794 T1=388.39
Fastfood/ Fastfood-m1-s1/ Fastfood-ff15.xml	OPT f=1 TT=0.224 T1=0.22	OPT f=1 TT=3.19 T1=1.23	OPT f=1 TT=28.482 T1=4.53	OPT f=1 TT=30.6 T1=4.6	OPT f=1 TT=3.106 T1=1.22	OPT f=1 TT=3.135 T1=1.29	OPT f=1 TT=4.036 T1=1.29	OPT f=1 TT=3.983 T1=1.27	OPT f=1 TT=16.819 T1=6.57	OPT f=1 TT=0.224 T1=0.3	OPT f=1 TT=0.311 T1=0.36	OPT f=1 TT=0.234 T1=0.25	SAT (TO) f=1 TT=2520.09 T1=2.8	OPT f=1 TT=3.515 T1=1.51	OPT f=1 TT=3.414 T1=2.14	OPT f=1 TT=10.483 T1=2.39	OPT f=1 TT=10.473 T1=9.47	OPT f=1 TT=3.964 T1=1.18	OPT f=1 TT=37.049 T1=5.65	OPT f=1 TT=40.827 T1=6.31	OPT f=1 TT=22.939 T1=6.78	OPT f=1 TT=0.275 T1=0.26	OPT f=1 TT=0.358 T1=0.34	OPT f=1 TT=0.269 T1=0.22	SAT (TO) f=1 TT=2400.12 T1=2.37	OPT f=1 TT=4.057 T1=1.39	OPT f=1 TT=4.259 T1=1.44	OPT f=1 TT=527.246 T1=351.01	OPT f=1 TT=533.889 T1=361.17
Fastfood/ Fastfood-m1-s1/ Fastfood-ff16.xml	OPT f=1916 TT=0.319 T1=0.21	OPT f=1916 TT=4.087 T1=1.55	OPT f=1916 TT=10.763 T1=1.85	OPT f=1916 TT=10.995 T1=1.94	OPT f=1916 TT=34.496 T1=6.6	OPT f=1916 TT=33.705 T1=6.6	OPT f=1916 TT=61.245 T1=49.42	OPT f=1916 TT=60.208 T1=48.3	OPT f=1916 TT=18.977 T1=6.04	OPT f=1916 TT=1.552 T1=1.6	OPT f=1916 TT=1.029 T1=1.09	OPT f=1916 TT=0.319 T1=0.28	SAT (TO) f=1916 TT=2520.08 T1=38.95	OPT f=1916 TT=3.35 T1=1.41	OPT f=1916 TT=3.235 T1=1.37	OPT f=1916 TT=22.98 T1=9.66	OPT f=1916 TT=22.906 T1=22.01	OPT f=1916 TT=4.28 T1=1.49	OPT f=1916 TT=12.755 T1=2.18	OPT f=1916 TT=12.724 T1=2.28	OPT f=1916 TT=21.845 T1=6.15	OPT f=1916 TT=1.588 T1=1.56	OPT f=1916 TT=1.039 T1=0.88	OPT f=1916 TT=0.351 T1=0.21	SAT (TO) f=1916 TT=2400.08 T1=34.18	OPT f=1916 TT=4.288 T1=1.43	OPT f=1916 TT=4.006 T1=1.37	OPT f=1916 TT=230.082 T1=184.12	OPT f=1916 TT=272.484 T1=222.02
Fastfood/ Fastfood-m1-s1/ Fastfood-ff18.xml	OPT f=1143 TT=6.268 T1=0.61	OPT f=1143 TT=30.045 T1=8.86	OPT f=1143 TT=31.295 T1=4.91	OPT f=1143 TT=28.675 T1=4.27	OPT f=1143 TT=875.858 T1=506.05	OPT f=1143 TT=862.271 T1=497.27	OPT f=1143 TT=1915.55 T1=239.57	OPT f=1143 TT=1908.61 T1=237.99	OPT f=1143 TT=125.389 T1=6.49	OPT f=1143 TT=36.33 T1=36.34	OPT f=1143 TT=18.043 T1=18.11	OPT f=1143 TT=6.418 T1=0.68	SAT (TO) f=1143 TT=2520.1 T1=170.47	OPT f=1143 TT=7.219 T1=2.92	OPT f=1143 TT=6.954 T1=2.84	OPT f=1143 TT=66.511 T1=23.21	OPT f=1143 TT=67.586 T1=63.92	OPT f=1143 TT=28.424 T1=8.48	OPT f=1143 TT=47.525 T1=6.18	OPT f=1143 TT=49.549 T1=6.32	OPT f=1143 TT=129.089 T1=7.4	OPT f=1143 TT=36.618 T1=35.34	OPT f=1143 TT=18.218 T1=11.51	OPT f=1143 TT=6.268 T1=0.61	SAT (TO) f=1143 TT=2400.05 T1=115.6	OPT f=1143 TT=8.528 T1=2.81	OPT f=1143 TT=7.927 T1=2.78	SAT (TO) f=1143 TT=2400.19 T1=1730.98	SAT (TO) f=1143 TT=2520.24 T1=1933.13
Fastfood/ Fastfood-m1-s1/ Fastfood-ff32.xml	OPT f=5708 TT=0.039 T1=0.05	OPT f=5708 TT=1.421 T1=0.74	OPT f=5708 TT=2.819 T1=0.82	OPT f=5708 TT=2.942 T1=0.84	OPT f=5708 TT=1.408 T1=0.66	OPT f=5708 TT=1.424 T1=0.69	OPT f=5708 TT=1.742 T1=0.78	OPT f=5708 TT=1.8 T1=0.72	? TT=6.233	OPT f=5708 TT=0.043 T1=0.12	OPT f=5708 TT=0.047 T1=0.14	OPT f=5708 TT=0.039 T1=0.13	SAT (TO) f=5708 TT=2520.05 T1=1.29	OPT f=5708 TT=1.646 T1=0.93	OPT f=5708 TT=1.621 T1=0.98	OPT f=5708 TT=3.441 T1=1.32	OPT f=5708 TT=3.553 T1=3.02	OPT f=5708 TT=1.646 T1=0.72	OPT f=5708 TT=3.327 T1=0.93	OPT f=5708 TT=3.391 T1=0.95	? TT=6.685	OPT f=5708 TT=0.073 T1=0.07	OPT f=5708 TT=0.066 T1=0.06	OPT f=5708 TT=0.059 T1=0.05	SAT (TO) f=5708 TT=2400.04 T1=1.34	OPT f=5708 TT=2.081 T1=1.04	OPT f=5708 TT=1.828 T1=0.89	OPT f=5708 TT=5.084 T1=1.92	OPT f=5708 TT=4.838 T1=2.04
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
Fastfood/ Fastfood-m1-s1/ Fastfood-ff37.xml	OPT f=644 TT=1.335 T1=1.16	OPT f=644 TT=9.379 T1=3.17	OPT f=644 TT=17.014 T1=2.65	OPT f=644 TT=16.324 T1=2.55	OPT f=644 TT=51.631 T1=40.78	OPT f=644 TT=51.384 T1=40.18	OPT f=644 TT=158.442 T1=84.16	OPT f=644 TT=162.013 T1=85.98	OPT f=644 TT=25.907 T1=4.98	OPT f=644 TT=6.049 T1=6.14	OPT f=644 TT=4.105 T1=4.15	OPT f=644 TT=1.335 T1=1.26	SAT (TO) f=644 TT=2520.09 T1=71.16	OPT f=644 TT=5.612 T1=2.15	OPT f=644 TT=4.826 T1=1.95	OPT f=644 TT=14.745 T1=4.8	OPT f=644 TT=14.818 T1=12.49	OPT f=644 TT=10.193 T1=3.2	OPT f=644 TT=22.796 T1=3.24	OPT f=644 TT=22.623 T1=3.18	OPT f=644 TT=28.017 T1=5.16	OPT f=644 TT=6.003 T1=3.83	OPT f=644 TT=4.137 T1=3.76	OPT f=644 TT=1.338 T1=1.16	SAT (TO) f=644 TT=2400.05 T1=88.04	OPT f=644 TT=5.475 T1=1.91	OPT f=644 TT=5.077 T1=1.89	OPT f=644 TT=494.485 T1=256.21	OPT f=644 TT=504.145 T1=264.98
Fastfood/ Fastfood-m1-s1/ Fastfood-ff41.xml	OPT f=14 TT=0.39 T1=0.18	OPT f=14 TT=3.961 T1=1.72	OPT f=14 TT=32.451 T1=4.51	OPT f=14 TT=28.978 T1=4.26	OPT f=14 TT=3.613 T1=1.13	OPT f=14 TT=3.923 T1=1.28	OPT f=14 TT=9.071 T1=2.51	OPT f=14 TT=8.502 T1=2.3	OPT f=14 TT=20.679 T1=6.23	OPT f=14 TT=1.795 T1=1.85	OPT f=14 TT=1.665 T1=1.73	OPT f=14 TT=0.39 T1=0.25	SAT (TO) f=14 TT=2520.12 T1=99.32	OPT f=14 TT=5.689 T1=2.34	OPT f=14 TT=6.117 T1=2.42	OPT f=14 TT=23.524 T1=6.89	OPT f=14 TT=24.48 T1=20.31	OPT f=14 TT=5.684 T1=1.84	OPT f=14 TT=39.416 T1=5.66	OPT f=14 TT=38.334 T1=5.48	OPT f=14 TT=25.009 T1=6.42	OPT f=14 TT=1.814 T1=1.12	OPT f=14 TT=1.683 T1=1	OPT f=14 TT=0.404 T1=0.18	SAT (TO) f=14 TT=2400.11 T1=96.06	OPT f=14 TT=7.381 T1=2.3	OPT f=14 TT=6.477 T1=2.53	OPT f=14 TT=850.329 T1=784.7	OPT f=14 TT=851.595 T1=787.37
Fastfood/ Fastfood-m1-s1/ Fastfood-ff44.xml	OPT f=3 TT=0.135 T1=0.17	OPT f=3 TT=2.951 T1=1.19	OPT f=3 TT=27.678 T1=4.4	OPT f=3 TT=24.944 T1=4	OPT f=3 TT=3.005 T1=1.18	OPT f=3 TT=2.877 T1=1.14	OPT f=3 TT=5.218 T1=1.64	OPT f=3 TT=4.998 T1=1.73	OPT f=3 TT=15.241 T1=5.97	OPT f=3 TT=0.135 T1=0.2	OPT f=3 TT=0.174 T1=0.23	OPT f=3 TT=0.198 T1=0.24	SAT (TO) f=3 TT=2520.12 T1=32.93	OPT f=3 TT=3.806 T1=1.45	OPT f=3 TT=3.872 T1=1.34	OPT f=3 TT=20.469 T1=6.31	OPT f=3 TT=21.145 T1=19.08	OPT f=3 TT=3.978 T1=1.31	OPT f=3 TT=35.643 T1=5.45	OPT f=3 TT=37.091 T1=5.64	OPT f=3 TT=21.431 T1=6.3	OPT f=3 TT=0.146 T1=0.12	OPT f=3 TT=0.21 T1=0.18	OPT f=3 TT=0.205 T1=0.17	SAT (TO) f=3 TT=2400.08 T1=37.61	OPT f=3 TT=4.599 T1=1.38	OPT f=3 TT=5.077 T1=1.52	OPT f=3 TT=405.001 T1=395.7	OPT f=3 TT=398.26 T1=390.41
Fastfood/ Fastfood-m1-s1/ Fastfood-ff46.xml	OPT f=1 TT=0.087 T1=0.15	OPT f=1 TT=2.451 T1=1.06	OPT f=1 TT=26.711 T1=4.29	OPT f=1 TT=26.694 T1=4.29	OPT f=1 TT=2.388 T1=0.88	OPT f=1 TT=2.408 T1=1.05	OPT f=1 TT=3.206 T1=1.04	OPT f=1 TT=3.22 T1=0.92	OPT f=1 TT=14.829 T1=5.87	OPT f=1 TT=0.087 T1=0.15	OPT f=1 TT=0.128 T1=0.19	OPT f=1 TT=0.166 T1=0.22	SAT (TO) f=1 TT=2520.05 T1=1.66	OPT f=1 TT=3.271 T1=1.42	OPT f=1 TT=3.197 T1=1.4	OPT f=1 TT=8.793 T1=2.09	OPT f=1 TT=9.014 T1=7.66	OPT f=1 TT=2.945 T1=1.05	OPT f=1 TT=37.13 T1=5.7	OPT f=1 TT=36.864 T1=5.61	OPT f=1 TT=20.719 T1=6.2	OPT f=1 TT=0.13 T1=0.12	OPT f=1 TT=0.183 T1=0.17	OPT f=1 TT=0.214 T1=0.18	SAT (TO) f=1 TT=2400.05 T1=1.41	OPT f=1 TT=3.594 T1=1.31	OPT f=1 TT=3.681 T1=1.32	OPT f=1 TT=148.137 T1=116.3	OPT f=1 TT=146.693 T1=115.9
Fastfood/ Fastfood-m1-s1/ Fastfood-ff54.xml	OPT f=3420 TT=0.416 T1=0.26	OPT f=3420 TT=5.312 T1=2.44	OPT f=3420 TT=15.053 T1=2.52	OPT f=3420 TT=16.823 T1=2.37	OPT f=3420 TT=62.376 T1=48.95	OPT f=3420 TT=63.522 T1=49.65	OPT f=3420 TT=79.578 T1=50.73	OPT f=3420 TT=80.315 T1=51.26	OPT f=3420 TT=27.667 T1=7.94	OPT f=3420 TT=2.601 T1=2.7	OPT f=3420 TT=1.888 T1=1.98	OPT f=3420 TT=0.416 T1=0.33	SAT (TO) f=3420 TT=2520.09 T1=34.53	OPT f=3420 TT=4.09 T1=1.64	OPT f=3420 TT=3.701 T1=1.4	OPT f=3420 TT=30.563 T1=13.99	OPT f=3420 TT=29.014 T1=27.92	OPT f=3420 TT=6.365 T1=2.45	Wrong Opt. f=3914 TT=8.273 T1=1.7	Wrong Opt. f=3732 TT=9.339 T1=1.84	OPT f=3420 TT=30.976 T1=7.57	OPT f=3420 TT=2.64 T1=2.58	OPT f=3420 TT=1.935 T1=1.47	OPT f=3420 TT=0.448 T1=0.26	SAT (TO) f=3420 TT=2400.08 T1=22.83	OPT f=3420 TT=4.694 T1=1.56	OPT f=3420 TT=4.794 T1=1.55	OPT f=3420 TT=539.634 T1=475.84	OPT f=3420 TT=535.597 T1=473.58
Fastfood/ Fastfood-m1-s1/ Fastfood-ff57.xml	OPT f=1334 TT=19.431 T1=7.18	OPT f=1334 TT=822.013 T1=422.21	OPT f=1334 TT=84.298 T1=10.72	OPT f=1334 TT=93.539 T1=10.64	SAT (TO) f=1486 TT=2520.05 T1=1397.81	SAT (TO) f=1486 TT=2520.06 T1=1397.8	SAT (TO) f=1474 TT=2520.1 T1=1458.62	SAT (TO) f=1474 TT=2520.04 T1=1467.44	OPT f=1334 TT=980.827 T1=7.89	OPT f=1334 TT=250.278 T1=250.29	OPT f=1334 TT=130.922 T1=130.98	OPT f=1334 TT=42.373 T1=20.52	SAT (TO) f=1334 TT=2520.03 T1=204.49	OPT f=1334 TT=19.431 T1=7.5	SAT (TO) f=1334 TT=2520.07 T1=15.16	OPT f=1334 TT=156.159 T1=31.59	OPT f=1334 TT=146.909 T1=142.49	OPT f=1334 TT=839.955 T1=430.68	OPT f=1334 TT=154.424 T1=19.02	OPT f=1334 TT=164.71 T1=19.41	OPT f=1334 TT=938.084 T1=7.88	OPT f=1334 TT=254.27 T1=249.34	OPT f=1334 TT=130.42 T1=95.36	OPT f=1334 TT=42.233 T1=20.37	SAT (TO) f=1334 TT=2400.08 T1=207.08	OPT f=1334 TT=21.202 T1=7.18	OPT f=1334 TT=1976.55 T1=9.94	SAT (TO) f=1378 TT=2400.31 T1=2106.88	SAT (TO) f=1378 TT=2520.19 T1=2266.67
Fastfood/ Fastfood-m1-s1/ Fastfood-ff65.xml	OPT f=63 TT=6.278 T1=1.43	OPT f=63 TT=6.707 T1=2.19	OPT f=63 TT=42.992 T1=5.19	OPT f=63 TT=38.753 T1=4.41	OPT f=63 TT=11.312 T1=4.07	OPT f=63 TT=10.658 T1=4.04	OPT f=63 TT=35.764 T1=18.1	OPT f=63 TT=36.217 T1=18.35	OPT f=63 TT=36.029 T1=6.44	OPT f=63 TT=8.992 T1=9.05	OPT f=63 TT=6.278 T1=6.33	OPT f=63 TT=7.181 T1=1.59	SAT (TO) f=63 TT=2520.04 T1=227.8	OPT f=63 TT=6.974 T1=2.99	OPT f=63 TT=6.547 T1=2.83	OPT f=63 TT=36.121 T1=8.35	OPT f=63 TT=34.033 T1=33.54	OPT f=63 TT=7.459 T1=2.17	OPT f=63 TT=60.115 T1=6.88	OPT f=63 TT=64.753 T1=6.46	OPT f=63 TT=40.76 T1=6.62	OPT f=63 TT=9.093 T1=4.17	OPT f=63 TT=6.297 T1=4.4	OPT f=63 TT=7.109 T1=1.43	SAT (TO) f=63 TT=2400.04 T1=162.78	OPT f=63 TT=7.765 T1=3.07	OPT f=63 TT=9.16 T1=3.21	SAT (TO) f=63 TT=2400.18 T1=1805.31	SAT (TO) f=63 TT=2520.15 T1=1823.74
Fastfood/ Fastfood-m1-s1/ Fastfood-ff69.xml	OPT f=6119 TT=0.041 T1=0.05	OPT f=6119 TT=1.476 T1=0.8	OPT f=6119 TT=3.309 T1=0.82	OPT f=6119 TT=3.183 T1=0.81	OPT f=6119 TT=1.482 T1=0.66	OPT f=6119 TT=1.455 T1=0.73	OPT f=6119 TT=1.976 T1=0.71	OPT f=6119 TT=2.002 T1=0.74	? TT=6.302	OPT f=6119 TT=0.047 T1=0.12	OPT f=6119 TT=0.052 T1=0.09	OPT f=6119 TT=0.041 T1=0.12	SAT (TO) f=6119 TT=2520.05 T1=1.32	OPT f=6119 TT=1.733 T1=0.98	OPT f=6119 TT=1.706 T1=0.97	OPT f=6119 TT=3.778 T1=1.32	OPT f=6119 TT=3.685 T1=2.95	OPT f=6119 TT=1.927 T1=0.81	OPT f=6119 TT=3.843 T1=0.99	OPT f=6119 TT=3.464 T1=0.95	? TT=7.302	OPT f=6119 TT=0.08 T1=0.07	OPT f=6119 TT=0.074 T1=0.07	OPT f=6119 TT=0.057 T1=0.05	SAT (TO) f=6119 TT=2400.05 T1=1.28	OPT f=6119 TT=1.926 T1=0.87	OPT f=6119 TT=2.257 T1=1.05	OPT f=6119 TT=7.959 T1=1.71	OPT f=6119 TT=7.126 T1=1.74
Fastfood/ Fastfood-m1-s1/ Fastfood-ff71.xml	OPT f=16 TT=0.35 T1=0.19	OPT f=16 TT=3.519 T1=1.35	OPT f=16 TT=20.66 T1=3.22	OPT f=16 TT=23.794 T1=3.46	OPT f=16 TT=3.39 T1=1.14	OPT f=16 TT=3.262 T1=1.23	OPT f=16 TT=8.172 T1=2.45	OPT f=16 TT=8.199 T1=2.32	OPT f=16 TT=18.048 T1=6.24	OPT f=16 TT=0.873 T1=0.94	OPT f=16 TT=0.794 T1=0.83	OPT f=16 TT=0.35 T1=0.27	SAT (TO) f=16 TT=2520.12 T1=98.93	OPT f=16 TT=4.3 T1=1.68	OPT f=16 TT=4.147 T1=1.69	OPT f=16 TT=19.399 T1=5.7	OPT f=16 TT=19.691 T1=18.69	OPT f=16 TT=4.628 T1=1.38	OPT f=16 TT=29.213 T1=4.29	OPT f=16 TT=28.044 T1=4.16	OPT f=16 TT=22.417 T1=6.18	OPT f=16 TT=0.924 T1=0.55	OPT f=16 TT=0.783 T1=0.62	OPT f=16 TT=0.377 T1=0.19	SAT (TO) f=16 TT=2400.07 T1=83.11	OPT f=16 TT=5.414 T1=1.63	OPT f=16 TT=5.361 T1=1.66	OPT f=16 TT=511.418 T1=487.76	OPT f=16 TT=518.931 T1=496.73
Fastfood/ Fastfood-m1-s1/ Fastfood-ff76.xml	OPT f=310 TT=9.224 T1=1.15	OPT f=310 TT=22.934 T1=16	OPT f=310 TT=98.544 T1=9.65	OPT f=310 TT=70.655 T1=5.9	OPT f=310 TT=119.835 T1=109.47	OPT f=310 TT=119.725 T1=109.25	OPT f=310 TT=326.695 T1=260.75	OPT f=310 TT=324.986 T1=259.4	OPT f=310 TT=95.546 T1=9.08	OPT f=310 TT=21.458 T1=21.46	OPT f=310 TT=27.768 T1=27.83	OPT f=310 TT=28.929 T1=1.22	SAT (TO) f=310 TT=2520.13 T1=249.79	OPT f=310 TT=9.925 T1=5.62	OPT f=310 TT=9.224 T1=5.65	OPT f=310 TT=53.973 T1=11.55	OPT f=310 TT=54.274 T1=42.8	OPT f=310 TT=23.236 T1=15.8	OPT f=310 TT=108.599 T1=8.83	OPT f=310 TT=109.737 T1=7.65	OPT f=310 TT=100.279 T1=8.73	OPT f=310 TT=21.553 T1=18.83	OPT f=310 TT=27.735 T1=27.13	OPT f=310 TT=29.69 T1=1.15	SAT (TO) f=310 TT=2400.08 T1=141.77	OPT f=310 TT=10.358 T1=5.36	OPT f=310 TT=10.234 T1=5.36	SAT (TO) f=310 TT=2400.22 T1=2278.3	SAT (TO) f=313 TT=2520.13 T1=1472.72
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
Fastfood/ Fastfood-m1-s1/ Fastfood-ff77.xml	OPT f=125 TT=1.302 T1=0.92	OPT f=125 TT=4.801 T1=2.21	OPT f=125 TT=17.172 T1=2.78	OPT f=125 TT=15.381 T1=2.72	OPT f=125 TT=8.504 T1=3.53	OPT f=125 TT=8.817 T1=3.7	OPT f=125 TT=17.98 T1=6.56	OPT f=125 TT=19.018 T1=6.68	OPT f=125 TT=16.589 T1=5.19	OPT f=125 TT=2.41 T1=2.44	OPT f=125 TT=2.099 T1=2.14	OPT f=125 TT=1.302 T1=0.92	SAT (TO) f=125 TT=2520.1 T1=35.14	OPT f=125 TT=4.884 T1=1.94	OPT f=125 TT=4.549 T1=1.89	OPT f=125 TT=16.674 T1=5.28	OPT f=125 TT=15.222 T1=14.35	OPT f=125 TT=6.202 T1=2.09	OPT f=125 TT=18.02 T1=2.95	OPT f=125 TT=19.918 T1=2.7	OPT f=125 TT=21.5 T1=5.88	OPT f=125 TT=2.472 T1=2.44	OPT f=125 TT=2.148 T1=1.65	OPT f=125 TT=1.349 T1=0.92	SAT (TO) f=125 TT=2400.09 T1=37.07	OPT f=125 TT=5.806 T1=1.89	OPT f=125 TT=5.531 T1=1.85	OPT f=125 TT=215.233 T1=199.65	OPT f=125 TT=216.931 T1=202.47
Fastfood/ Fastfood-m1-s1/ Fastfood-ff84.xml	OPT f=770 TT=0.129 T1=0.07	OPT f=770 TT=2.732 T1=1.13	OPT f=770 TT=5.98 T1=1.11	OPT f=770 TT=6.146 T1=1.23	OPT f=770 TT=9.297 T1=3.3	OPT f=770 TT=9.263 T1=3.45	OPT f=770 TT=23.596 T1=9.58	OPT f=770 TT=23.588 T1=9.58	OPT f=770 TT=13.251 T1=5.18	OPT f=770 TT=0.585 T1=0.65	OPT f=770 TT=0.324 T1=0.36	OPT f=770 TT=0.129 T1=0.15	SAT (TO) f=770 TT=2520.53 T1=20.7	OPT f=770 TT=2.894 T1=1.19	OPT f=770 TT=2.861 T1=1.17	OPT f=770 TT=14.872 T1=6.29	OPT f=770 TT=14.295 T1=12.74	OPT f=770 TT=3.296 T1=1.07	Wrong Opt. f=776 TT=4.97 T1=1.18	Wrong Opt. f=808 TT=4.615 T1=1.13	OPT f=770 TT=15.725 T1=5.05	OPT f=770 TT=0.643 T1=0.62	OPT f=770 TT=0.329 T1=0.27	OPT f=770 TT=0.171 T1=0.07	SAT (TO) f=770 TT=2400.06 T1=27.09	OPT f=770 TT=3.649 T1=1.19	OPT f=770 TT=3.112 T1=1.05	OPT f=770 TT=35.125 T1=24.76	OPT f=770 TT=40.907 T1=29.99
GolombRuler/ GolombRuler-a3-s1/ GolombRuler-05-a3.xml	OPT f=11 TT=0.024 T1=0.03	OPT f=11 TT=3.096 T1=1.17	OPT f=11 TT=1.43 T1=0.57	OPT f=11 TT=1.362 T1=0.67	OPT f=11 TT=1.473 T1=0.77	OPT f=11 TT=1.467 T1=0.8	OPT f=11 TT=2.071 T1=0.94	OPT f=11 TT=2.063 T1=1.03	OPT f=11 TT=8.82 T1=4.13	OPT f=11 TT=0.035 T1=0.14	OPT f=11 TT=0.296 T1=0.28	OPT f=11 TT=0.024 T1=0.09	SAT (TO) f=11 TT=2520.04 T1=1.1	OPT f=11 TT=1.803 T1=1.03	OPT f=11 TT=1.829 T1=1.01	OPT f=11 TT=10.803 T1=3.19	OPT f=11 TT=9.646 T1=8.55	OPT f=11 TT=3.446 T1=1.08	OPT f=11 TT=1.532 T1=0.62	OPT f=11 TT=1.515 T1=0.62	OPT f=11 TT=10.576 T1=4.18	OPT f=11 TT=0.05 T1=0.05	OPT f=11 TT=0.352 T1=6.17	OPT f=11 TT=0.039 T1=0.03	SAT (TO) f=11 TT=2400.07 T1=1	OPT f=11 TT=2.012 T1=0.92	OPT f=11 TT=2.049 T1=0.94	OPT f=11 TT=31.95 T1=7.22	OPT f=11 TT=16.039 T1=6.24
GolombRuler/ GolombRuler-a3-s1/ GolombRuler-06-a3.xml	OPT f=17 TT=0.038 T1=0.06	OPT f=17 TT=9.165 T1=2.17	OPT f=17 TT=1.53 T1=0.6	OPT f=17 TT=1.808 T1=0.64	OPT f=17 TT=1.111 T1=0.63	OPT f=17 TT=1.126 T1=0.65	OPT f=17 TT=1.558 T1=0.75	OPT f=17 TT=1.569 T1=0.78	OPT f=17 TT=9.329 T1=4.75	OPT f=17 TT=0.306 T1=0.29	OPT f=17 TT=0.594 T1=0.53	OPT f=17 TT=0.038 T1=0.13	SAT (TO) f=17 TT=2520.06 T1=1.22	OPT f=17 TT=2.033 T1=1.07	OPT f=17 TT=2.101 T1=1.12	OPT f=17 TT=10.537 T1=4.01	OPT f=17 TT=10.964 T1=10.14	OPT f=17 TT=9.514 T1=2.18	OPT f=17 TT=1.985 T1=0.7	OPT f=17 TT=1.838 T1=0.66	OPT f=17 TT=11.403 T1=4.37	OPT f=17 TT=0.363 T1=0.24	OPT f=17 TT=0.643 T1=6.35	OPT f=17 TT=0.061 T1=0.06	SAT (TO) f=17 TT=2400.07 T1=1.29	OPT f=17 TT=2.435 T1=0.98	OPT f=17 TT=2.634 T1=1.03	OPT f=17 TT=43.98 T1=11.24	OPT f=17 TT=24.409 T1=10.38
GolombRuler/ GolombRuler-a3-s1/ GolombRuler-07-a3.xml	OPT f=25 TT=0.089 T1=0.12	OPT f=25 TT=127.095 T1=4.51	OPT f=25 TT=2.955 T1=0.7	OPT f=25 TT=3.163 T1=0.69	OPT f=25 TT=2.223 T1=0.81	OPT f=25 TT=2.209 T1=0.82	OPT f=25 TT=5.893 T1=1.35	OPT f=25 TT=5.824 T1=1.34	OPT f=25 TT=10.32 T1=4.52	OPT f=25 TT=2.205 T1=1.23	OPT f=25 TT=2.104 T1=0.85	OPT f=25 TT=0.089 T1=0.12	SAT (TO) f=25 TT=2520.06 T1=1.6	OPT f=25 TT=2.163 T1=1.09	OPT f=25 TT=2.206 T1=0.97	OPT f=25 TT=11.663 T1=3.71	OPT f=25 TT=14.616 T1=13.01	OPT f=25 TT=126.859 T1=4.42	OPT f=25 TT=2.822 T1=0.71	OPT f=25 TT=2.98 T1=0.9	OPT f=25 TT=11.734 T1=4.38	OPT f=25 TT=2.252 T1=1.17	OPT f=25 TT=2.18 T1=0.84	OPT f=25 TT=0.136 T1=0.12	SAT (TO) f=25 TT=2400.1 T1=1.18	OPT f=25 TT=2.62 T1=0.97	OPT f=25 TT=2.727 T1=1.02	OPT f=25 TT=97.983 T1=35.08	OPT f=25 TT=59.639 T1=33.53
GolombRuler/ GolombRuler-a3-s1/ GolombRuler-08-a3.xml	OPT f=34 TT=0.338 T1=0.11	OPT f=34 TT=1566.53 T1=44.96	OPT f=34 TT=9.474 T1=0.8	OPT f=34 TT=5.887 T1=0.82	OPT f=34 TT=6.702 T1=2.98	OPT f=34 TT=6.559 T1=2.92	OPT f=34 TT=38.618 T1=24.82	OPT f=34 TT=38.264 T1=24.58	OPT f=34 TT=11.676 T1=5.07	OPT f=34 TT=23.02 T1=8.27	OPT f=34 TT=18.738 T1=16.4	OPT f=34 TT=0.338 T1=0.18	SAT (TO) f=34 TT=2520.08 T1=11.3	OPT f=34 TT=2.948 T1=1.21	OPT f=34 TT=2.926 T1=1.2	OPT f=34 TT=16.097 T1=4.65	OPT f=34 TT=17.715 T1=17.48	OPT f=34 TT=1565.43 T1=44.77	OPT f=34 TT=6.963 T1=0.83	OPT f=34 TT=6.305 T1=0.85	OPT f=34 TT=12.948 T1=4.87	OPT f=34 TT=22.847 T1=8.15	OPT f=34 TT=18.792 T1=16.47	OPT f=34 TT=0.378 T1=0.11	SAT (TO) f=34 TT=2400.07 T1=13.28	OPT f=34 TT=3.252 T1=1.12	OPT f=34 TT=3.419 T1=1.08	OPT f=34 TT=235.599 T1=96.21	OPT f=34 TT=200.712 T1=97.92
GolombRuler/ GolombRuler-a3-s1/ GolombRuler-09-a3.xml	OPT f=44 TT=4.947 T1=1.07	SAT (TO) f=47 TT=2520.06 T1=579.93	OPT f=44 TT=11.41 T1=1.33	OPT f=44 TT=14.825 T1=1.39	OPT f=44 TT=65.066 T1=46.32	OPT f=44 TT=64.492 T1=46.22	OPT f=44 TT=382.219 T1=62.45	OPT f=44 TT=386.096 T1=62.7	OPT f=44 TT=15.503 T1=7.06	OPT f=44 TT=256.513 T1=166.41	OPT f=44 TT=110.372 T1=82.86	OPT f=44 TT=4.947 T1=1.08	SAT (TO) f=44 TT=2520.1 T1=27.49	OPT f=44 TT=5.16 T1=2.78	OPT f=44 TT=5.621 T1=2.87	OPT f=44 TT=47.715 T1=9.26	OPT f=44 TT=43.769 T1=43.13	SAT (TO) f=47 TT=2400.03 T1=624.23	OPT f=44 TT=15.326 T1=1.26	OPT f=44 TT=16.689 T1=1.34	OPT f=44 TT=16.94 T1=6.61	OPT f=44 TT=256.32 T1=166.12	OPT f=44 TT=111.426 T1=83.73	OPT f=44 TT=5.004 T1=1.07	SAT (TO) f=44 TT=2400.08 T1=37.44	OPT f=44 TT=5.615 T1=2.78	OPT f=44 TT=5.873 T1=2.82	OPT f=44 TT=1497.85 T1=397.06	OPT f=44 TT=1449.91 T1=407.29
GolombRuler/ GolombRuler-a3-s1/ GolombRuler-10-a3.xml	OPT f=55 TT=11.943 T1=2.12	SAT (TO) f=61 TT=2520.08 T1=638.18	OPT f=55 TT=33.688 T1=2.6	OPT f=55 TT=28.783 T1=2.12	OPT f=55 TT=853.977 T1=529.04	OPT f=55 TT=848.922 T1=525.04	SAT (TO) f=60 TT=2520.11 T1=10.55	SAT (TO) f=60 TT=2520.03 T1=10.95	OPT f=55 TT=37.968 T1=20.59	OPT f=55 TT=1476.3 T1=1107.84	OPT f=55 TT=961.062 T1=928.37	OPT f=55 TT=26.805 T1=4.79	SAT (TO) f=55 TT=2520.07 T1=93.25	OPT f=55 TT=11.943 T1=6.94	OPT f=55 TT=12.219 T1=7.07	OPT f=55 TT=739.964 T1=95.93	OPT f=55 TT=767.921 T1=756.46	SAT (TO) f=61 TT=2400.09 T1=636.87	OPT f=55 TT=50.856 T1=3.24	OPT f=55 TT=49.888 T1=2.66	OPT f=55 TT=40.57 T1=20.67	OPT f=55 TT=1473.47 T1=1107.38	OPT f=55 TT=967.773 T1=935.05	OPT f=55 TT=27.214 T1=4.84	SAT (TO) f=55 TT=2400.07 T1=47.72	OPT f=55 TT=12.376 T1=6.95	OPT f=55 TT=12.452 T1=6.89	SAT (TO) f=55 TT=2400.31 T1=699.49	SAT (TO) f=55 TT=2520.3 T1=712.38
GolombRuler/ GolombRuler-a3-s1/ GolombRuler-12-a3.xml	OPT f=85 TT=1775.33 T1=211.03	SAT (TO) f=103 TT=2520.03 T1=1246.58	OPT f=85 TT=4076.36 T1=254.54	OPT f=85 TT=3789.25 T1=211.03	SAT (TO) f=92 TT=2520.04 T1=449	SAT (TO) f=92 TT=2520.1 T1=457.54	SAT (TO) f=91 TT=2520.05 T1=1700.76	SAT (TO) f=91 TT=2520.02 T1=1738.41	SAT (TO) f=90 TT=2520.1 T1=1214.07	SAT (TO) f=107 TT=2519.98 T1=1757.66	SAT (TO) f=103 TT=2520 T1=2137.86	SAT (TO) f=91 TT=2520.05 T1=260.52	SAT (TO) f=94 TT=2520.04 T1=983.26	OPT f=85 TT=1775.33 T1=1416.72	SAT (TO) f=93 TT=2520.05 T1=325.74	SAT (TO) f=396 TT=19831.9 T1=2493.55	SAT (TO) f=428 TT=19854.6 T1=19218.311	SAT (TO) f=103 TT=2400.09 T1=1254.98	SAT (TO) f=91 TT=2400.54 T1=7.71	SAT (TO) f=91 TT=2400.14 T1=68	SAT (TO) f=90 TT=2400.11 T1=1253.31	? (TO) TT=2400.07	? (TO) TT=2400.1	SAT (TO) f=91 TT=2400.09 T1=260.33	SAT (TO) f=91 TT=2400.09 T1=1515.94	OPT f=85 TT=1884.09 T1=1493.62	SAT (TO) f=93 TT=2400.03 T1=27.34	SAT (TO) f=102 TT=2400.31 T1=1615.03	SAT (TO) f=99 TT=2520.34 T1=2258.09
GolombRuler/ GolombRuler-a3-s1/ GolombRuler-14-a3.xml	SAT TO f=129 TT=20028.4 T1=2155.69	SAT (TO) f=160 TT=2520.09 T1=2104.88	SAT (TO) f=129 TT=20068.1 T1=2227.93	SAT (TO) f=129 TT=20028.4 T1=2155.69	SAT (TO) f=151 TT=2520.11 T1=1430.52	SAT (TO) f=151 TT=2520.05 T1=1404.6	SAT (TO) f=155 TT=2520.08 T1=2328.26	SAT (TO) f=155 TT=2520.08 T1=2347.41	SAT (TO) f=135 TT=2520.08 T1=1006.48	SAT (TO) f=165 TT=2520.08 T1=1723.14	SAT (TO) f=170 TT=2519.99 T1=892.46	SAT (TO) f=140 TT=2520.08 T1=1013.41	? (TO) TT=2520.03	SAT (TO) f=136 TT=2520.05 T1=654.33	SAT (TO) f=140 TT=2520.04 T1=1931.97	? (TO) TT=19836.1	? (TO) TT=19816.4	SAT (TO) f=160 TT=2400.03 T1=1918.23	SAT (TO) f=136 TT=2400.43 T1=202.06	SAT (TO) f=135 TT=2400.35 T1=247.54	SAT (TO) f=135 TT=2400.16 T1=1030.57	? (TO) TT=2400.04	? (TO) TT=2400.09	SAT (TO) f=140 TT=2400.06 T1=996.97	? (TO) TT=2400.1	SAT (TO) f=136 TT=2400.1 T1=659.09	SAT (TO) f=135 TT=2400.08 T1=2315.94	SAT (TO) f=192 TT=2400.26 T1=1179.01	SAT (TO) f=174 TT=2520.31 T1=1914.01
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
GolombRuler/ GolombRuler-a3-s1/ GolombRuler-15-a3.xml	SAT TO f=161 TT=20019.5 T1=370.89	SAT (TO) f=195 TT=2520.1 T1=1375.59	SAT (TO) f=161 TT=20070 T1=382.74	SAT (TO) f=161 TT=20019.5 T1=370.89	SAT (TO) f=180 TT=2520.04 T1=440.25	SAT (TO) f=180 TT=2520.07 T1=434.39	SAT (TO) f=185 TT=2520.11 T1=1741.31	SAT (TO) f=185 TT=2520.08 T1=1767.91	? (TO) TT=2520.46	SAT (TO) f=200 TT=2520.09 T1=1840.27	SAT (TO) f=206 TT=2519.88 T1=1179.29	SAT (TO) f=164 TT=2519.9 T1=1059.48	? (TO) TT=2520.05	? (TO) TT=2520.02	? (TO) TT=2520.04	? (TO) TT=19825.5	? (TO) TT=19815.1	SAT (TO) f=195 TT=2400.07 T1=1364.33	SAT (TO) f=166 TT=2400.57 T1=196.1	SAT (TO) f=166 TT=2400.42 T1=200.56	? (TO) TT=2401	? (TO) TT=2400.03	? (TO) TT=2400.16	SAT (TO) f=164 TT=2400.03 T1=1036.41	? (TO) TT=2400.07	? (TO) TT=2400.05	? (TO) TT=2400.09	? (TO) TT=2416.38	? TT=1440.12
GolombRuler/ GolombRuler-a3-s1/ GolombRuler-16-a3.xml	SAT TO f=190 TT=20036 T1=1689.45	SAT (TO) f=237 TT=2520.03 T1=1963.4	SAT (TO) f=190 TT=20068.5 T1=1684.8	SAT (TO) f=190 TT=20036 T1=1689.45	SAT (TO) f=225 TT=2520.06 T1=2381.73	SAT (TO) f=225 TT=2520.02 T1=2184.96	SAT (TO) f=221 TT=2520.14 T1=2109.12	SAT (TO) f=221 TT=2520.02 T1=2123.24	? (TO) TT=2520.54	SAT (TO) f=232 TT=2520.03 T1=2084.14	SAT (TO) f=235 TT=2520.09 T1=2176.59	SAT (TO) f=202 TT=2520.02 T1=1000.41	? (TO) TT=2520.07	? (TO) TT=2520.03	? (TO) TT=2520.11	? (TO) TT=19800.1	? (TO) TT=19836.4	SAT (TO) f=237 TT=2400.09 T1=1965.81	SAT (TO) f=200 TT=2400.38 T1=279.69	SAT (TO) f=200 TT=2400.3 T1=272.22	? (TO) TT=2401.07	? (TO) TT=2400.03	? (TO) TT=2400.06	SAT (TO) f=202 TT=2400.06 T1=1006.8	? (TO) TT=2400.05	? (TO) TT=2400.11	? (TO) TT=2400.13	? (TO) TT=2416.26	? TT=1711.41
GolombRuler/ GolombRuler-a3-s1/ GolombRuler-17-a3.xml	SAT TO f=223 TT=20031.1 T1=1700.96	SAT (TO) f=276 TT=2520.11 T1=1079.09	SAT (TO) f=223 TT=20052.301 T1=1762.6	SAT (TO) f=223 TT=20031.1 T1=1700.96	SAT (TO) f=257 TT=2520.04 T1=1695.1	SAT (TO) f=257 TT=2520.07 T1=1706.91	SAT (TO) f=284 TT=2520.11 T1=1369.82	SAT (TO) f=283 TT=2520.04 T1=2467.16	? (TO) TT=2520.57	SAT (TO) f=278 TT=2519.68 T1=894.38	SAT (TO) f=279 TT=2519.82 T1=2066.06	SAT (TO) f=236 TT=2519.79 T1=173.37	? (TO) TT=2520.07	? (TO) TT=2520.12	? (TO) TT=2520.12	? (TO) TT=19805.699	? (TO) TT=19803.6	SAT (TO) f=276 TT=2400.04 T1=1103.41	SAT (TO) f=239 TT=2400.21 T1=158.15	SAT (TO) f=239 TT=2400.07 T1=158.04	? (TO) TT=2401.04	? (TO) TT=2400.03	SAT (TO) f=279 TT=2400.08 T1=2058.88	SAT (TO) f=236 TT=2400.1 T1=174.45	? (TO) TT=2400.08	? (TO) TT=2400.09	? (TO) TT=2400.04	? (TO) TT=2416.01	? TT=1686.79
GolombRuler/ GolombRuler-a3-s1/ GolombRuler-19-a3.xml	SAT TO f=298 TT=20014.301 T1=1052.97	SAT (TO) f=381 TT=2520.07 T1=2143.43	SAT (TO) f=298 TT=20071.1 T1=1046.57	SAT (TO) f=298 TT=20014.301 T1=1052.97	SAT (TO) f=414 TT=2520.03 T1=2084.18	SAT (TO) f=414 TT=2520.06 T1=2097.09	SAT (TO) f=381 TT=2520.12 T1=2267.15	SAT (TO) f=381 TT=2520.03 T1=2250.19	? (TO) TT=2520.54	? (TO) TT=2520	? (TO) TT=2520	SAT (TO) f=335 TT=2519.82 T1=1849.66	? (TO) TT=2520.05	? (TO) TT=2520.09	? (TO) TT=2520.1	? (TO) TT=19773.699	? (TO) TT=19782.4	SAT (TO) f=381 TT=2400.03 T1=2154.6	SAT (TO) f=322 TT=2400.54 T1=237.42	SAT (TO) f=322 TT=2400.61 T1=230.54	? (TO) TT=2401.13	? (TO) TT=2400.06	? (TO) TT=2400.1	SAT (TO) f=335 TT=2400.08 T1=1875.85	? (TO) TT=2400.1	? (TO) TT=2400.08	? (TO) TT=2400.06	? (TO) TT=2416.04	? (exit code) TT=1560.71
GolombRuler/ GolombRuler-a3-s1/ GolombRuler-21-a3.xml	SAT TO f=409 TT=20039.199 T1=507.13	SAT (TO) f=553 TT=2520.04 T1=1150.17	SAT (TO) f=406 TT=20069.1 T1=1918.28	SAT (TO) f=409 TT=20039.199 T1=507.13	? (TO) TT=2520.08	? (TO) TT=2520.04	? (TO) TT=2520.02	? (TO) TT=2520.03	? (TO) TT=2520.54	? (TO) TT=2519.75	? (TO) TT=2520.2	SAT (TO) f=422 TT=2520.02 T1=1641.02	? (TO) TT=2520.04	? (TO) TT=2520.05	? (TO) TT=2520.07	? (TO) TT=19683.199	? (TO) TT=19647.1	SAT (TO) f=553 TT=2400.11 T1=1159.16	SAT (TO) f=416 TT=2400.27 T1=231.72	SAT (TO) f=416 TT=2400.05 T1=233.58	? (TO) TT=2401.17	? (TO) TT=2400.08	? (TO) TT=2400.32	SAT (TO) f=422 TT=2400.07 T1=1615.37	? (TO) TT=2400.1	? (TO) TT=2400.06	? (TO) TT=2400.09	? (TO) TT=2416.28	? (problem) TT=1489.74
GolombRuler/ GolombRuler-a3-s1/ GolombRuler-25-a3.xml	SAT TO f=643 TT=19979.6 T1=868.69	SAT (TO) f=821 TT=2520.05 T1=2365.15	SAT (TO) f=643 TT=20081.5 T1=856.85	SAT (TO) f=643 TT=19979.6 T1=868.69	? (TO) TT=2520.1	? (TO) TT=2520.12	? (TO) TT=2520.11	? (TO) TT=2520.04	? (TO) TT=2520.58	? (TO) TT=2520.01	? (TO) TT=2520.34	SAT (TO) f=692 TT=2519.93 T1=1678.6	? (TO) TT=2520.12	? (TO) TT=2520.05	? (TO) TT=2520.06	? (TO) TT=19531.301	? (TO) TT=19534.301	SAT (TO) f=821 TT=2400.07 T1=1987.71	SAT (TO) f=672 TT=2400.43 T1=241.02	SAT (TO) f=672 TT=2400.8 T1=244.49	? (TO) TT=2401.17	? (TO) TT=2400.03	? (TO) TT=2400.59	SAT (TO) f=692 TT=2400.01 T1=1656.16	? (TO) TT=2400.05	? (TO) TT=2400.02	? (TO) TT=2400.04	? (TO) TT=2416.64	? TT=1553.97
GolombRuler/ GolombRuler-a3-s1/ GolombRuler-26-a3.xml	SAT TO f=719 TT=19901.699 T1=848.21	? (TO) TT=2520.08	SAT (TO) f=719 TT=20066.6 T1=827.37	SAT (TO) f=719 TT=19901.699 T1=848.21	? (TO) TT=2520.04	? (TO) TT=2520.05	? (TO) TT=2520.15	? (TO) TT=2520.12	? (TO) TT=2520.55	? (TO) TT=2519.96	? (MO) TT=27.895	SAT (TO) f=766 TT=2519.96 T1=1051.24	? (TO) TT=2520.11	? (TO) TT=2520.07	? (TO) TT=2520.05	? (TO) TT=19463.199	? (TO) TT=19516.801	? (TO) TT=2400.06	SAT (TO) f=730 TT=2400.05 T1=98.45	SAT (TO) f=730 TT=2400.68 T1=92.78	? (TO) TT=2401.21	? (TO) TT=2400.09	? (MO) TT=27.683	SAT (TO) f=766 TT=2400.09 T1=1007.76	? (TO) TT=2400.09	? (TO) TT=2400.04	? (TO) TT=2400.1	? (TO) TT=2415.75	? TT=1509.91
GolombRuler/ GolombRuler-a3-s1/ GolombRuler-27-a3.xml	SAT TO f=788 TT=19974.699 T1=1718.92	? (TO) TT=2520.05	SAT (TO) f=788 TT=20059.5 T1=1687.06	SAT (TO) f=788 TT=19974.699 T1=1718.92	? (TO) TT=2520.04	? (TO) TT=2520.03	? (TO) TT=2520.09	? (TO) TT=2520.1	? (TO) TT=2520.55	? (TO) TT=2519.68	? (MO) TT=27.706	SAT (TO) f=862 TT=2519.71 T1=1593.89	? (TO) TT=2520.05	? (TO) TT=2520.07	? (TO) TT=2520.09	? (TO) TT=19445.5	? (TO) TT=19439.5	? (TO) TT=2400.03	SAT (TO) f=817 TT=2400.21 T1=135.95	SAT (TO) f=817 TT=2400.33 T1=132.13	? (TO) TT=2401.14	? (TO) TT=2400.07	? (MO) TT=28.065	SAT (TO) f=862 TT=2400.1 T1=1553.4	? (TO) TT=2400.03	? (TO) TT=2400.04	? (TO) TT=2400.03	? (TO) TT=2416.22	? (problem) TT=1373.22
GolombRuler/ GolombRuler-a3-s1/ GolombRuler-28-a3.xml	SAT TO f=866 TT=20000.6 T1=279.54	? (TO) TT=2520.05	SAT (TO) f=866 TT=20072.699 T1=285.7	SAT (TO) f=866 TT=20000.6 T1=279.54	? (TO) TT=2520.11	? (TO) TT=2520.09	? (TO) TT=2520.07	? (TO) TT=2520.08	? (TO) TT=2520.53	? (TO) TT=2519.98	? (MO) TT=27.594	SAT (TO) f=925 TT=2519.96 T1=131.5	? (TO) TT=2520.08	? (TO) TT=2520.02	? (TO) TT=2520.09	? (TO) TT=19400.6	? (TO) TT=19388.801	? (TO) TT=2400.03	SAT (TO) f=894 TT=2400.26 T1=194.76	SAT (TO) f=894 TT=2400.71 T1=188.33	? (TO) TT=2401.25	? (TO) TT=2400.01	? (MO) TT=27.985	SAT (TO) f=925 TT=2400.02 T1=128.95	? (TO) TT=2400.02	? (TO) TT=2400.03	? (TO) TT=2400.09	? (TO) TT=2416.05	? TT=1330.28
GolombRuler/ GolombRuler-a4-s1/ GolombRuler-05-a4.xml	OPT f=11 TT=0.069 T1=0.11	OPT f=11 TT=1.283 T1=0.75	OPT f=11 TT=2.791 T1=0.73	OPT f=11 TT=2.858 T1=0.7	OPT f=11 TT=1.16 T1=0.69	OPT f=11 TT=1.162 T1=0.66	OPT f=11 TT=1.422 T1=0.72	OPT f=11 TT=1.488 T1=0.75	OPT f=11 TT=10.132 T1=4.48	OPT f=11 TT=0.069 T1=0.14	OPT f=11 TT=0.117 T1=0.16	OPT f=11 TT=0.076 T1=0.18	SAT (TO) f=11 TT=2520.07 T1=0.95	OPT f=11 TT=1.772 T1=0.96	OPT f=11 TT=1.76 T1=0.83	OPT f=11 TT=7.349 T1=2.38	OPT f=11 TT=7.819 T1=7.15	OPT f=11 TT=1.571 T1=0.73	OPT f=11 TT=2.439 T1=0.79	OPT f=11 TT=2.307 T1=0.74	OPT f=11 TT=12.413 T1=4.63	OPT f=11 TT=0.117 T1=0.11	OPT f=11 TT=0.167 T1=0.16	OPT f=11 TT=0.114 T1=0.11	SAT (TO) f=11 TT=2400.02 T1=0.88	OPT f=11 TT=2.058 T1=0.86	OPT f=11 TT=2.169 T1=0.89	OPT f=11 TT=78.644 T1=16.85	OPT f=11 TT=71.192 T1=25.78
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
GolombRuler/ GolombRuler-a4-s1/ GolombRuler-06-a4.xml	OPT f=17 TT=0.214 T1=0.24	OPT f=17 TT=1.619 T1=0.91	OPT f=17 TT=9.367 T1=1.02	OPT f=17 TT=11.772 T1=0.99	OPT f=17 TT=2.059 T1=0.74	OPT f=17 TT=2.053 T1=0.75	OPT f=17 TT=5.725 T1=1.8	OPT f=17 TT=5.219 T1=1.63	OPT f=17 TT=12.499 T1=5.14	OPT f=17 TT=0.294 T1=0.32	OPT f=17 TT=0.287 T1=0.31	OPT f=17 TT=0.214 T1=0.25	SAT (TO) f=17 TT=2520.08 T1=1.12	OPT f=17 TT=2.007 T1=1.06	OPT f=17 TT=1.979 T1=0.9	OPT f=17 TT=8.069 T1=2.21	OPT f=17 TT=6.97 T1=6.66	OPT f=17 TT=1.882 T1=0.85	OPT f=17 TT=6.494 T1=0.99	OPT f=17 TT=5.88 T1=1.05	OPT f=17 TT=15.72 T1=5.18	OPT f=17 TT=0.345 T1=0.29	OPT f=17 TT=0.346 T1=0.33	OPT f=17 TT=0.264 T1=0.24	SAT (TO) f=17 TT=2400.03 T1=1.14	OPT f=17 TT=2.362 T1=0.96	OPT f=17 TT=2.333 T1=0.95	OPT f=17 TT=383.952 T1=71.85	OPT f=17 TT=225.057 T1=57.91
GolombRuler/ GolombRuler-a4-s1/ GolombRuler-09-a4.xml	OPT f=44 TT=6.618 T1=2.42	OPT f=44 TT=33.776 T1=20.47	OPT f=44 TT=1473.12 T1=15.47	OPT f=44 TT=1120.74 T1=17.64	OPT f=44 TT=333.571 T1=114.3	OPT f=44 TT=361.175 T1=111.04	OPT f=44 TT=863.197 T1=246.42	OPT f=44 TT=537.052 T1=199.27	OPT f=44 TT=48.649 T1=20.6	OPT f=44 TT=61.863 T1=33.1	OPT f=44 TT=46.901 T1=45.48	OPT f=44 TT=1222.22 T1=649.71	SAT (TO) f=44 TT=2520.1 T1=11.28	OPT f=44 TT=6.618 T1=5.22	OPT f=44 TT=6.66 T1=2.52	OPT f=44 TT=16.202 T1=4.3	OPT f=44 TT=16.45 T1=13.14	OPT f=44 TT=34.197 T1=20.51	Wrong Opt. f=46 TT=138.622 T1=18.18	Wrong Opt. f=48 TT=45.857 T1=6.2	OPT f=44 TT=53.64 T1=20.91	OPT f=44 TT=65.921 T1=34.69	OPT f=44 TT=45.456 T1=44.1	OPT f=44 TT=1256.46 T1=667.07	SAT (TO) f=44 TT=2400.12 T1=20.08	OPT f=44 TT=7.553 T1=2.47	OPT f=44 TT=7.337 T1=2.42	? (TO) TT=2416.36	? (exit code) TT=1917.29
GolombRuler/ GolombRuler-a4-s1/ GolombRuler-10-a4.xml	OPT f=55 TT=36.934 T1=9.98	OPT f=55 TT=316.524 T1=202.25	OPT f=55 TT=19809.699 T1=257.35	OPT f=55 TT=13365.2 T1=288.62	SAT (TO) f=60 TT=2520.11 T1=800.98	SAT (TO) f=60 TT=2520.06 T1=800.96	SAT (TO) f=60 TT=2520.09 T1=1600.36	SAT (TO) f=55 TT=2520.16 T1=1692.32	OPT f=55 TT=189.539 T1=43.64	OPT f=55 TT=714.897 T1=379.89	OPT f=55 TT=330.63 T1=171.88	SAT (TO) f=60 TT=2520.07 T1=1492.42	SAT (TO) f=55 TT=2520.11 T1=29.11	OPT f=55 TT=36.934 T1=16.87	OPT f=55 TT=1878.94 T1=9.98	OPT f=55 TT=54.104 T1=19.49	OPT f=55 TT=54.341 T1=30.96	OPT f=55 TT=308.557 T1=196.92	Wrong Opt. f=62 TT=458.604 T1=18.79	Wrong Opt. f=61 TT=600.424 T1=41.7	OPT f=55 TT=197.163 T1=43.97	OPT f=55 TT=630.35 T1=337.29	OPT f=55 TT=329.112 T1=170.88	SAT (TO) f=60 TT=2400.01 T1=1516.28	SAT (TO) f=55 TT=2400.11 T1=40.13	OPT f=55 TT=38.328 T1=16.79	OPT f=55 TT=1788.31 T1=10.84	? (TO) TT=2416.25	? (problem) TT=1348.08
GolombRuler/ GolombRuler-a4-s1/ GolombRuler-12-a4.xml	SAT TO f=90 TT=2400.12 T1=739.85	SAT (TO) f=94 TT=2520.09 T1=1925.88	SAT (TO) f=93 TT=19580.199 T1=2329.78	SAT (TO) f=94 TT=19463.4 T1=1030.03	SAT (TO) f=105 TT=2520.1 T1=235.47	SAT (TO) f=104 TT=2520.06 T1=1239.75	SAT (TO) f=108 TT=2520.04 T1=216.2	SAT (TO) f=107 TT=2520.05 T1=602.95	SAT (TO) f=91 TT=2520.11 T1=2404.82	SAT (TO) f=95 TT=2519.83 T1=164.47	SAT (TO) f=95 TT=2519.74 T1=49.62	SAT (TO) f=98 TT=2519.7 T1=2114.11	SAT (TO) f=92 TT=2520.05 T1=1407.25	SAT (TO) f=90 TT=2520.05 T1=739.85	SAT (TO) f=91 TT=2520.11 T1=1334.19	SAT (TO) f=91 TT=2559.28 T1=304.17	SAT (TO) f=90 TT=2568.45 T1=2558.38	SAT (TO) f=94 TT=2400.04 T1=1940.26	Wrong Opt. f=104 TT=944.581 T1=151.33	Wrong Opt. f=115 TT=130.736 T1=32.08	SAT (TO) f=92 TT=2400.09 T1=1641.11	? (TO) TT=2400.09	? (TO) TT=2400.1	SAT (TO) f=98 TT=2400.07 T1=2172.56	SAT (TO) f=93 TT=2400.09 T1=387.57	SAT (TO) f=90 TT=2400.12 T1=765.25	SAT (TO) f=91 TT=2400.12 T1=1757.32	? (TO) TT=2416.05	? TT=1383.96
GolombRuler/ GolombRuler-a4-s1/ GolombRuler-13-a4.xml	SAT TO f=109 TT=2520.07 T1=1028.24	SAT (TO) f=123 TT=2520.09 T1=2408.42	SAT (TO) f=121 TT=20048.699 T1=1755.15	SAT (TO) f=119 TT=20066.9 T1=2061.5	SAT (TO) f=123 TT=2520.03 T1=1503.74	SAT (TO) f=123 TT=2520.05 T1=1492.87	SAT (TO) f=124 TT=2520.11 T1=399.55	SAT (TO) f=133 TT=2520.08 T1=244.56	SAT (TO) f=114 TT=2520.06 T1=245.65	SAT (TO) f=129 TT=2519.97 T1=586.98	SAT (TO) f=130 TT=2519.8 T1=1320.22	SAT (TO) f=122 TT=2519.96 T1=1359.92	SAT (TO) f=114 TT=2520.07 T1=575.81	SAT (TO) f=115 TT=2520.11 T1=2376.49	SAT (TO) f=109 TT=2520.07 T1=1028.24	SAT (TO) f=110 TT=2582.6 T1=1541.51	SAT (TO) f=111 TT=2567.01 T1=2298.15	SAT (TO) f=124 TT=2400.08 T1=2008.48	SAT (TO) f=128 TT=2400.36 T1=295.61	SAT (TO) f=129 TT=2400.59 T1=303.77	SAT (TO) f=114 TT=2400.09 T1=241.53	? (TO) TT=2400.07	? (TO) TT=2400.05	SAT (TO) f=122 TT=2400.04 T1=1405.88	SAT (TO) f=114 TT=2400.08 T1=802.73	SAT (TO) f=117 TT=2400.05 T1=1899.69	SAT (TO) f=111 TT=2400.03 T1=1986.41	? (TO) TT=2416.11	? TT=1487.15
GolombRuler/ GolombRuler-a4-s1/ GolombRuler-14-a4.xml	SAT TO f=136 TT=2400.1 T1=935.99	SAT (TO) f=152 TT=2520.05 T1=2281.74	SAT (TO) f=146 TT=15751.6 T1=2286.12	SAT (TO) f=144 TT=15534.9 T1=2325.89	SAT (TO) f=156 TT=2520.04 T1=1369.74	SAT (TO) f=151 TT=2520.05 T1=1202.37	SAT (TO) f=155 TT=2520.07 T1=2430.33	SAT (TO) f=157 TT=2520.32 T1=803.4	SAT (TO) f=141 TT=2520.13 T1=1704.1	SAT (TO) f=155 TT=2519.77 T1=997.27	SAT (TO) f=161 TT=2519.79 T1=326.76	SAT (TO) f=156 TT=2519.77 T1=1900.68	SAT (TO) f=140 TT=2520.12 T1=1286.51	SAT (TO) f=158 TT=2520.06 T1=1828.34	SAT (TO) f=137 TT=2520.06 T1=959.17	SAT (TO) f=141 TT=2582.48 T1=1363.7	SAT (TO) f=141 TT=2604.53 T1=1855.03	SAT (TO) f=152 TT=2400.09 T1=2296.32	SAT (TO) f=148 TT=2400.56 T1=737.78	SAT (TO) f=148 TT=2400.62 T1=212.76	SAT (TO) f=141 TT=2400.07 T1=1857.95	? (TO) TT=2400.09	? (TO) TT=2400.04	SAT (TO) f=156 TT=2400.01 T1=2054.53	SAT (TO) f=139 TT=2400.08 T1=2232	SAT (TO) f=158 TT=2400.02 T1=1929	SAT (TO) f=136 TT=2400.1 T1=935.99	? (TO) TT=2414.55	? TT=1311.85
GolombRuler/ GolombRuler-a4-s1/ GolombRuler-15-a4.xml	SAT TO f=163 TT=2400.05 T1=1298.89	SAT (TO) f=188 TT=2520.04 T1=1129.12	SAT (TO) f=175 TT=14605.8 T1=2194.7	SAT (TO) f=175 TT=18155.199 T1=1696.42	SAT (TO) f=183 TT=2520.13 T1=2139.44	SAT (TO) f=183 TT=2520.04 T1=2200.15	SAT (TO) f=191 TT=2520.11 T1=1270.41	SAT (TO) f=185 TT=2520.03 T1=2344.1	SAT (TO) f=170 TT=2520.11 T1=2453.41	SAT (TO) f=195 TT=2519.93 T1=313.62	SAT (TO) f=197 TT=2519.85 T1=703.52	SAT (TO) f=191 TT=2519.88 T1=1424.58	SAT (TO) f=169 TT=2520.12 T1=1825.29	SAT (TO) f=200 TT=2520.09 T1=1687.62	SAT (TO) f=164 TT=2520.12 T1=1369.83	SAT (TO) f=176 TT=2600.3 T1=1838.82	SAT (TO) f=190 TT=2560.86 T1=2240.6	SAT (TO) f=188 TT=2400.02 T1=1161.4	SAT (TO) f=190 TT=2400 T1=490.8	SAT (TO) f=190 TT=2400.07 T1=162.21	SAT (TO) f=171 TT=2400.13 T1=2287.09	? (TO) TT=2400.01	? (TO) TT=2400.1	SAT (TO) f=191 TT=2400.03 T1=1331.98	SAT (TO) f=166 TT=2400.09 T1=2282.39	SAT (TO) f=200 TT=2400.1 T1=1671.77	SAT (TO) f=163 TT=2400.05 T1=1298.89	? TT=2267.33	? TT=840.776
GolombRuler/ GolombRuler-a4-s1/ GolombRuler-17-a4.xml	SAT TO f=230 TT=2400.04 T1=1741.95	SAT (TO) f=272 TT=2520.04 T1=1447.67	? (TO) TT=19933.699	SAT (TO) f=255 TT=19960.5 T1=440.05	SAT (TO) f=263 TT=2520.06 T1=1278.88	SAT (TO) f=263 TT=2520.1 T1=1274.24	SAT (TO) f=274 TT=2520.09 T1=2416.59	SAT (TO) f=264 TT=2520.07 T1=1085.17	SAT (TO) f=247 TT=2520.15 T1=1884.04	SAT (TO) f=262 TT=2520.07 T1=2043.54	SAT (TO) f=265 TT=2520.1 T1=1164.36	SAT (TO) f=267 TT=2519.86 T1=993.72	SAT (TO) f=240 TT=2520.04 T1=2159.76	SAT (TO) f=491 TT=2520.02 T1=877.91	SAT (TO) f=230 TT=2520.12 T1=1741.95	SAT (TO) f=259 TT=2594.59 T1=458.64	SAT (TO) f=267 TT=2573.68 T1=2572.69	SAT (TO) f=272 TT=2400.09 T1=1447.88	SAT (TO) f=276 TT=2400.52 T1=26.84	SAT (TO) f=276 TT=2400.6 T1=24.09	SAT (TO) f=247 TT=2400.16 T1=1900.41	? (TO) TT=2400.03	? (TO) TT=2400.1	SAT (TO) f=267 TT=2400.01 T1=1037.37	SAT (TO) f=230 TT=2400.04 T1=2260.59	SAT (TO) f=491 TT=2400.09 T1=862	SAT (TO) f=231 TT=2400.1 T1=1588.55	? (TO) TT=2416.08	? TT=1229.55
GolombRuler/ GolombRuler-a4-s1/ GolombRuler-18-a4.xml	SAT TO f=271 TT=2520.08 T1=1550.36	SAT (TO) f=312 TT=2520.08 T1=2378.58	SAT (TO) f=301 TT=19884 T1=1780	SAT (TO) f=309 TT=7445.34 T1=2236.75	SAT (TO) f=311 TT=2520.13 T1=1640.34	SAT (TO) f=311 TT=2520.03 T1=131.33	SAT (TO) f=325 TT=2520.09 T1=2170.54	SAT (TO) f=327 TT=2521.35 T1=2293.17	SAT (TO) f=289 TT=2520.09 T1=1924.46	SAT (TO) f=313 TT=2519.84 T1=2499.81	SAT (TO) f=314 TT=2519.91 T1=2426.97	SAT (TO) f=311 TT=2519.99 T1=2037.26	SAT (TO) f=282 TT=2520.11 T1=1348.84	SAT (TO) f=489 TT=2520.09 T1=244.41	SAT (TO) f=271 TT=2520.08 T1=1550.36	SAT (TO) f=288 TT=2596.3 T1=2480.8	SAT (TO) f=316 TT=2606.39 T1=73.76	SAT (TO) f=315 TT=2400.13 T1=1948.54	SAT (TO) f=308 TT=2400.51 T1=296.25	SAT (TO) f=308 TT=2400.47 T1=286.46	SAT (TO) f=289 TT=2400.09 T1=1960.5	? (TO) TT=2400.01	? (TO) TT=2400.02	SAT (TO) f=311 TT=2400.05 T1=1929.28	SAT (TO) f=279 TT=2400.07 T1=2150.11	SAT (TO) f=489 TT=2400.05 T1=238.44	SAT (TO) f=279 TT=2400.03 T1=1415.51	? (TO) TT=2416.15	? (problem) TT=1302.31
GolombRuler/ GolombRuler-a4-s1/ GolombRuler-19-a4.xml	SAT TO f=313 TT=2400.11 T1=809.47	SAT (TO) f=351 TT=2520.05 T1=2318.88	SAT (TO) f=349 TT=11233.5 T1=2010.32	SAT (TO) f=349 TT=11197.3 T1=2118.52	SAT (TO) f=351 TT=2520.02 T1=1618.64	SAT (TO) f=351 TT=2520.06 T1=1619.62	SAT (TO) f=351 TT=2520.04 T1=2253.69	SAT (TO) f=364 TT=2520.04 T1=1373.52	SAT (TO) f=335 TT=2520.1 T1=1815.1	SAT (TO) f=367 TT=2520.01 T1=966.48	SAT (TO) f=359 TT=2519.9 T1=503.7	SAT (TO) f=351 TT=2519.69 T1=128.29	SAT (TO) f=318 TT=2520.04 T1=2327.93	SAT (TO) f=491 TT=2520.1 T1=1023.41	SAT (TO) f=317 TT=2520.04 T1=848.54	SAT (TO) f=329 TT=19886.1 T1=2422.75	SAT (TO) f=332 TT=19982.9 T1=12765.71	SAT (TO) f=369 TT=2400.07 T1=1608.14	SAT (TO) f=350 TT=2400.55 T1=1764.39	SAT (TO) f=350 TT=2400.02 T1=138.1	SAT (TO) f=335 TT=2400.1 T1=1865.36	? (TO) TT=2400.06	? (TO) TT=2400.07	SAT (TO) f=351 TT=2400.04 T1=131.22	SAT (TO) f=319 TT=2400.04 T1=2111.82	SAT (TO) f=491 TT=2400.07 T1=1057.21	SAT (TO) f=313 TT=2400.11 T1=809.47	? (TO) TT=2416.22	? TT=1295.29
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
GolombRuler/ GolombRuler-a4-s1/ GolombRuler-21-a4.xml	SAT TO f=416 TT=2520.03 T1=2170.61	? (TO) TT=2520.09	SAT (TO) f=552 TT=2761.66 T1=149.12	SAT (TO) f=552 TT=2768.79 T1=158.93	SAT (TO) f=492 TT=2520.05 T1=599.18	SAT (TO) f=492 TT=2520.1 T1=592.64	SAT (TO) f=492 TT=2520.08 T1=992.12	SAT (TO) f=491 TT=2520.15 T1=1007.04	SAT (TO) f=455 TT=2520.08 T1=2025.7	SAT (TO) f=460 TT=2520.14 T1=900.06	SAT (TO) f=478 TT=2520.09 T1=816.22	SAT (TO) f=465 TT=2519.96 T1=234.52	SAT (TO) f=416 TT=2520.03 T1=2170.61	SAT (TO) f=991 TT=2520.07 T1=1127.98	SAT (TO) f=430 TT=2520.11 T1=1103.41	SAT (TO) f=463 TT=2596.03 T1=1308.87	SAT (TO) f=441 TT=2595.97 T1=1442.94	? (TO) TT=2415.83	SAT (TO) f=465 TT=2400 T1=271.98	SAT (TO) f=552 TT=2400.01 T1=100.41	SAT (TO) f=455 TT=2400.14 T1=2047.52	? (TO) TT=2400.11	? (TO) TT=2400.08	SAT (TO) f=465 TT=2400.09 T1=233.14	SAT (TO) f=429 TT=2400.08 T1=2259.16	SAT (TO) f=991 TT=2400.06 T1=1088.68	SAT (TO) f=433 TT=2400.12 T1=1610.8	? (TO) TT=2415.98	? TT=1383.32
GolombRuler/ GolombRuler-a4-s1/ GolombRuler-23-a4.xml	SAT TO f=532 TT=2520.12 T1=1735.49	? (TO) TT=2520.11	SAT (TO) f=568 TT=6477.68 T1=464.48	SAT (TO) f=656 TT=3096.92 T1=370.67	SAT (TO) f=614 TT=2520.06 T1=1777.46	SAT (TO) f=614 TT=2520.11 T1=1771.73	SAT (TO) f=615 TT=2520.06 T1=2020.75	SAT (TO) f=615 TT=2520.08 T1=2062.85	SAT (TO) f=585 TT=2520.07 T1=2462.64	SAT (TO) f=614 TT=2519.85 T1=2220.05	SAT (TO) f=584 TT=2520.13 T1=1723.81	SAT (TO) f=628 TT=2519.58 T1=689.07	SAT (TO) f=544 TT=2520.05 T1=2352.61	SAT (TO) f=1000 TT=2520.05 T1=3.35	SAT (TO) f=532 TT=2520.12 T1=1735.49	SAT (TO) f=576 TT=2587.53 T1=269.86	SAT (TO) f=569 TT=2595.06 T1=442.19	? (TO) TT=2400.12	SAT (TO) f=656 TT=2400.05 T1=215.76	SAT (TO) f=656 TT=2400.06 T1=214.83	SAT (TO) f=588 TT=2400.06 T1=2313.92	? (TO) TT=2400.12	? (TO) TT=2400.15	SAT (TO) f=628 TT=2400.06 T1=696.62	SAT (TO) f=554 TT=2400.12 T1=2304.31	SAT (TO) f=1000 TT=2400.07 T1=2.45	SAT (TO) f=559 TT=2400.11 T1=1467.13	? (TO) TT=2416.32	? TT=1218.67
GolombRuler/ GolombRuler-a4-s1/ GolombRuler-24-a4.xml	SAT TO f=599 TT=2520.11 T1=1741.88	? (TO) TT=2520.11	SAT (TO) f=715 TT=3237.63 T1=95.7	SAT (TO) f=652 TT=19906.1 T1=1453.12	SAT (TO) f=691 TT=2520.06 T1=873.88	SAT (TO) f=674 TT=2520.04 T1=844.41	? (TO) TT=2527.93	? (TO) TT=2528.12	SAT (TO) f=662 TT=2520.07 T1=2455.81	SAT (TO) f=737 TT=2519.63 T1=2383.79	SAT (TO) f=697 TT=2519.64 T1=2110.68	SAT (TO) f=715 TT=2519.93 T1=177.54	SAT (TO) f=611 TT=2520.04 T1=2184.04	SAT (TO) f=1000 TT=2520.06 T1=2.68	SAT (TO) f=599 TT=2520.11 T1=1741.88	SAT (TO) f=626 TT=2656.95 T1=2245.55	SAT (TO) f=626 TT=2621.35 T1=2464.35	? (TO) TT=2400.07	SAT (TO) f=734 TT=2400.05 T1=273.76	SAT (TO) f=734 TT=2400 T1=274.41	SAT (TO) f=667 TT=2400.13 T1=2285.06	? (TO) TT=2400.18	? (TO) TT=2400.27	SAT (TO) f=715 TT=2400.04 T1=186.44	SAT (TO) f=628 TT=2400.09 T1=2029.29	SAT (TO) f=1000 TT=2400.05 T1=2.67	SAT (TO) f=601 TT=2400.09 T1=1217.62	? (TO) TT=2416.21	? TT=1295.03
GolombRuler/ GolombRuler-a4-s1/ GolombRuler-25-a4.xml	SAT TO f=661 TT=2400.06 T1=1644.9	? (TO) TT=2520.09	SAT (TO) f=742 TT=7952.87 T1=1188.71	SAT (TO) f=779 TT=3498.88 T1=654.61	SAT (TO) f=729 TT=2520.08 T1=2301.53	SAT (TO) f=729 TT=2520.1 T1=1685.52	? (TO) TT=2528	? (TO) TT=2527.91	SAT (TO) f=741 TT=2520.11 T1=2467.15	? (TO) TT=2519.86	? (TO) TT=2519.77	SAT (TO) f=799 TT=2519.95 T1=511.43	SAT (TO) f=665 TT=2520.09 T1=2441.28	SAT (TO) f=1000 TT=2520.06 T1=7.52	SAT (TO) f=702 TT=2520.09 T1=1227.07	SAT (TO) f=718 TT=3196.59 T1=206.38	SAT (TO) f=705 TT=3325.85 T1=3309.7	? (TO) TT=2400.15	SAT (TO) f=819 TT=2400.03 T1=341.69	SAT (TO) f=819 TT=2400.08 T1=340.71	SAT (TO) f=741 TT=2400.13 T1=2078.24	? (TO) TT=2400.28	? (TO) TT=2400.44	SAT (TO) f=799 TT=2400.04 T1=518	SAT (TO) f=661 TT=2400.06 T1=1644.9	SAT (TO) f=1000 TT=2400.05 T1=2.89	SAT (TO) f=686 TT=2400.11 T1=1657.03	? (TO) TT=2416.46	? TT=1296.64
GolombRuler/ GolombRuler-a4-s1/ GolombRuler-27-a4.xml	SAT TO f=818 TT=2520.12 T1=1761.69	? (problem) TT=715.8	SAT (TO) f=937 TT=3660.35 T1=804.62	SAT (TO) f=937 TT=3702.02 T1=795.64	SAT (TO) f=967 TT=2520.08 T1=2050.03	? (TO) TT=2526.42	SAT f=968 TT=2085.28 T1=1623.75	SAT f=968 TT=1977.03 T1=1550.8	SAT (TO) f=916 TT=2520.14 T1=2392.86	? (TO) TT=2519.93	? (TO) TT=2520.05	SAT (TO) f=969 TT=2519.69 T1=825.03	SAT (TO) f=840 TT=2520.07 T1=2265.3	SAT (TO) f=1000 TT=2520.12 T1=3.42	SAT (TO) f=818 TT=2520.12 T1=1761.69	SAT (TO) f=846 TT=20002.5 T1=744.32	SAT (TO) f=847 TT=20007.4 T1=10964.75	? (problem) TT=1335.06	SAT (TO) f=937 TT=2400.07 T1=386.09	SAT (TO) f=969 TT=2400.09 T1=335.34	SAT (TO) f=928 TT=2400.11 T1=2241.25	? (TO) TT=2400.37	? (TO) TT=2400.37	SAT (TO) f=969 TT=2400.11 T1=826.13	SAT (TO) f=826 TT=2400.1 T1=2222.19	SAT (TO) f=1000 TT=2400.04 T1=3.24	SAT (TO) f=844 TT=2400.05 T1=1435.21	? (TO) TT=2416.26	? TT=1349.16
GolombRuler/ GolombRuler-a4-s1/ GolombRuler-28-a4.xml	SAT TO f=920 TT=2520.1 T1=1723.08	? (problem) TT=705.725	SAT (TO) f=946 TT=19841.301 T1=1773.55	SAT (TO) f=946 TT=19715.4 T1=1896.11	? (TO) TT=2520.09	SAT (TO) f=993 TT=2520.08 T1=1295.59	? (TO) TT=2527.94	? (TO) TT=2527.85	SAT (TO) f=989 TT=2520.11 T1=1966.22	? (TO) TT=2519.58	? (TO) TT=2519.56	? (TO) TT=2519.63	SAT (TO) f=927 TT=2520.06 T1=2033.76	SAT (TO) f=1000 TT=2520.05 T1=58.32	SAT (TO) f=920 TT=2520.1 T1=1723.08	SAT (TO) f=950 TT=19988.801 T1=1441.02	SAT (TO) f=941 TT=20003.9 T1=16959.301	? (problem) TT=1322.16	? (TO) TT=2400.12	? (TO) TT=2400.02	SAT (TO) f=989 TT=2400.13 T1=1964.63	? (TO) TT=2400.39	? (TO) TT=2400.51	? (TO) TT=2400.08	SAT (TO) f=934 TT=2400.1 T1=2103.77	SAT (TO) f=1000 TT=2400.08 T1=57.92	SAT (TO) f=929 TT=2400.12 T1=1624.22	? (TO) TT=2416.18	? TT=1199.47
GraphColoring/GraphColoring-m1-fixed/ GraphColoring-qwhdec-o50-h825-bal-1.xml		? (TO) TT=2520.05	? (TO) TT=20033.6	? (TO) TT=20030	? (TO) TT=2520.08	? (TO) TT=2520.12	? (TO) TT=2520.07	? (TO) TT=2520.05	? (TO) TT=2520.72	? (TO) TT=2519.5	? (MO) TT=137.722	? (TO) TT=2519.95	? (TO) TT=2520.07	? (TO) TT=2520.07	? (TO) TT=2520.09	? (TO) TT=20035.801	? (TO) TT=20035.6	? (TO) TT=2400.02	? (TO) TT=2400.3	? (TO) TT=2400.07	? (TO) TT=2401.47	? (TO) TT=2400.08	? (MO) TT=137.916	? (TO) TT=2400.05	? (TO) TT=2400.07	? (TO) TT=2400.07	? (TO) TT=2400.11	? (TO) TT=2412.95	? (TO) TT=2528.14
GraphColoring/ GraphColoring-m1-fixed/ GraphColoring-qwhopt-o5-h10-1.xml	OPT f=4 TT=0.074 T1=0.09	OPT f=4 TT=1.13 T1=0.67	OPT f=4 TT=1.458 T1=0.64	OPT f=4 TT=1.472 T1=0.64	OPT f=4 TT=0.957 T1=0.59	OPT f=4 TT=0.963 T1=0.71	OPT f=4 TT=1.033 T1=0.63	OPT f=4 TT=1.012 T1=0.63	OPT f=4 TT=7.323 T1=3.76	OPT f=4 TT=0.093 T1=0.18	OPT f=4 TT=0.095 T1=0.1	OPT f=4 TT=0.074 T1=0.16	SAT (TO) f=4 TT=2520.03 T1=1.14	OPT f=4 TT=1.289 T1=0.91	OPT f=4 TT=1.298 T1=0.89	OPT f=4 TT=5.957 T1=1.77	OPT f=4 TT=6.144 T1=5.49	OPT f=4 TT=1.269 T1=0.61	OPT f=4 TT=1.643 T1=0.73	OPT f=4 TT=1.742 T1=0.77	OPT f=4 TT=8.647 T1=3.7	OPT f=4 TT=0.142 T1=0.14	OPT f=4 TT=0.14 T1=0.14	OPT f=4 TT=0.099 T1=0.09	SAT (TO) f=4 TT=2400.06 T1=1.18	OPT f=4 TT=1.309 T1=0.78	OPT f=4 TT=1.357 T1=0.78	OPT f=4 TT=1.797 T1=0.57	OPT f=4 TT=1.439 T1=0.68
GraphColoring/ GraphColoring-m1-mono/ GraphColoring-2-fullins-3.xml	OPT f=4 TT=0.149 T1=0.18	OPT f=4 TT=1.166 T1=0.75	OPT f=4 TT=2.288 T1=0.71	OPT f=4 TT=2.352 T1=0.75	OPT f=4 TT=1.225 T1=0.69	OPT f=4 TT=1.242 T1=0.69	OPT f=4 TT=1.673 T1=0.72	OPT f=4 TT=1.655 T1=0.71	OPT f=4 TT=9.038 T1=4.42	OPT f=4 TT=0.183 T1=0.26	OPT f=4 TT=0.188 T1=0.18	OPT f=4 TT=0.149 T1=0.23	SAT (TO) f=4 TT=2520.08 T1=1.01	OPT f=4 TT=1.663 T1=1	OPT f=4 TT=1.636 T1=0.98	OPT f=4 TT=9.974 T1=2.15	OPT f=4 TT=9.641 T1=8.72	OPT f=4 TT=1.423 T1=0.7	OPT f=4 TT=2.667 T1=0.82	OPT f=4 TT=2.838 T1=0.86	OPT f=4 TT=11.32 T1=4.37	OPT f=4 TT=0.237 T1=0.23	OPT f=4 TT=0.239 T1=0.23	OPT f=4 TT=0.198 T1=0.19	SAT (TO) f=4 TT=2400.12 T1=1.13	OPT f=4 TT=1.78 T1=0.88	OPT f=4 TT=1.859 T1=1.12	OPT f=4 TT=8.531 T1=4.41	OPT f=4 TT=7.093 T1=4.08
GraphColoring/ GraphColoring-m1-mono/ GraphColoring-3-fullins-3.xml	OPT f=5 TT=0.253 T1=0.27	OPT f=5 TT=1.389 T1=0.76	OPT f=5 TT=3.175 T1=0.89	OPT f=5 TT=3.975 T1=0.88	OPT f=5 TT=1.651 T1=0.8	OPT f=5 TT=1.642 T1=0.81	OPT f=5 TT=3.065 T1=0.81	OPT f=5 TT=2.959 T1=0.83	OPT f=5 TT=11.71 T1=5	OPT f=5 TT=0.318 T1=0.4	OPT f=5 TT=0.338 T1=0.33	OPT f=5 TT=0.253 T1=0.33	SAT (TO) f=5 TT=2520.06 T1=1.06	OPT f=5 TT=3.1 T1=1.18	OPT f=5 TT=3.044 T1=1.16	OPT f=5 TT=11.512 T1=2.44	OPT f=5 TT=10.101 T1=8.18	OPT f=5 TT=1.669 T1=0.72	OPT f=5 TT=4.311 T1=0.94	OPT f=5 TT=3.722 T1=0.97	OPT f=5 TT=13.959 T1=4.91	OPT f=5 TT=0.369 T1=0.36	OPT f=5 TT=0.395 T1=0.39	OPT f=5 TT=0.281 T1=0.27	SAT (TO) f=5 TT=2400.03 T1=1	OPT f=5 TT=3.315 T1=1.05	OPT f=5 TT=3.469 T1=1.07	OPT f=5 TT=36.76 T1=26.87	OPT f=5 TT=32.993 T1=26.75
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
GraphColoring/ GraphColoring-m1-mono/ GraphColoring-3-fullins-5.xml	OPT f=7 TT=1504.59 T1=2.61	OPT f=7 TT=1538.13 T1=2.8	OPT f=7 TT=9412.5 T1=9.43	OPT f=7 TT=7861.36 T1=5.89	SAT (TO) f=7 TT=2520.11 T1=2.92	SAT (TO) f=7 TT=2520.06 T1=3.21	SAT (TO) f=7 TT=2520.04 T1=3.01	SAT (TO) f=7 TT=2520.1 T1=3.1	SAT (TO) f=7 TT=2520.12 T1=1739.62	SAT (TO) f=7 TT=2519.91 T1=30.93	Signal TT=73.234	SAT (TO) f=7 TT=2519.91 T1=24.99	? (exit code) TT=-1	SAT (TO) f=7 TT=2520.13 T1=728.47	SAT (TO) f=7 TT=2520.1 T1=497.09	? (TO) TT=15941.6	SAT (TO) f=1989 TT=19304.199 T1=19179	OPT f=7 TT=1504.59 T1=2.61	SAT (TO) f=7 TT=2400.04 T1=11.12	SAT (TO) f=7 TT=2400.69 T1=8.26	SAT (TO) f=7 TT=2400.13 T1=1825.58	No Cert. TT=2400.05	Signal TT=78.748	SAT (TO) f=7 TT=2400.05 T1=23.85	SAT (TO) f=7 TT=2400.13 T1=235.03	SAT (TO) f=7 TT=2400.1 T1=777.82	SAT (TO) f=7 TT=2400.08 T1=476.29	? (TO) TT=2415.78	? TT=1550.87
GraphColoring/ GraphColoring-m1-mono/ GraphColoring-4-insertions-3.xml	OPT f=3 TT=34.03 T1=0.63	OPT f=3 TT=499.07 T1=0.69	OPT f=3 TT=368.322 T1=0.7	OPT f=3 TT=416.733 T1=0.71	SAT (TO) f=3 TT=2520.04 T1=0.72	SAT (TO) f=3 TT=2520.07 T1=0.72	OPT f=3 TT=1719.73 T1=0.73	OPT f=3 TT=1720.43 T1=0.74	SAT (TO) f=3 TT=2520.05 T1=4.52	SAT (TO) f=3 TT=2520.07 T1=0.2	SAT (TO) f=3 TT=2520.02 T1=0.23	SAT (TO) f=3 TT=2519.72 T1=0.2	SAT (TO) f=3 TT=2520.11 T1=1.07	OPT f=3 TT=34.03 T1=1.03	SAT (TO) f=3 TT=2520.02 T1=1.05	OPT f=3 TT=76.215 T1=2.63	OPT f=3 TT=92.785 T1=10.68	OPT f=3 TT=493.148 T1=0.63	OPT f=3 TT=1108.67 T1=0.78	OPT f=3 TT=700.231 T1=0.77	SAT (TO) f=3 TT=2400.08 T1=4.34	? (TO) TT=2400.11	? (TO) TT=2400.09	SAT (TO) f=3 TT=2400.03 T1=0.13	SAT (TO) f=3 TT=2400.12 T1=0.95	OPT f=3 TT=35.059 T1=0.94	SAT (TO) f=3 TT=2400.12 T1=0.92	OPT f=3 TT=59.696 T1=22.33	OPT f=3 TT=56.908 T1=22.06
GraphColoring/ GraphColoring-m1-mono/ GraphColoring-ash331GPIA.xml	OPT f=3 TT=3 T1=1.24	OPT f=3 TT=3.725 T1=1.4	OPT f=3 TT=8.517 T1=1.99	OPT f=3 TT=9.343 T1=1.97	OPT f=3 TT=3.149 T1=1.24	OPT f=3 TT=3.215 T1=1.24	OPT f=3 TT=6.03 T1=1.33	OPT f=3 TT=6.079 T1=1.37	OPT f=3 TT=72.313 T1=56.4	OPT f=3 TT=3.825 T1=3.89	OPT f=3 TT=14.943 T1=14.62	OPT f=3 TT=3 T1=3.07	SAT (TO) f=3 TT=2520.13 T1=48.92	OPT f=3 TT=23.45 T1=18.18	OPT f=3 TT=23.466 T1=17.91	OPT f=3 TT=2744.59 T1=355.49	OPT f=3 TT=2681.34 T1=2680.51	OPT f=3 TT=4.561 T1=1.35	OPT f=3 TT=8.832 T1=1.95	OPT f=3 TT=8.778 T1=1.94	OPT f=3 TT=77.078 T1=57.51	OPT f=3 TT=3.897 T1=3.89	OPT f=3 TT=14.865 T1=14.55	OPT f=3 TT=3.15 T1=3.14	SAT (TO) f=3 TT=2400.17 T1=48.18	OPT f=3 TT=26.683 T1=18.31	OPT f=3 TT=27.772 T1=18.87	? (TO) TT=2416.09	? TT=1375.04
GraphColoring/ GraphColoring-m1-mono/ GraphColoring-dsjc-250-1.xml	SAT TO f=8 TT=2400.05 T1=1.14	SAT (TO) f=8 TT=2520.1 T1=1.21	SAT (TO) f=8 TT=20084.301 T1=1.69	SAT (TO) f=8 TT=20042.9 T1=2.37	SAT (TO) f=8 TT=2520.07 T1=1.09	SAT (TO) f=8 TT=2520.1 T1=1.14	SAT (TO) f=8 TT=2520.03 T1=1.71	SAT (TO) f=8 TT=2520.05 T1=1.62	SAT (TO) f=8 TT=2520.16 T1=13.33	SAT (TO) f=8 TT=2520 T1=3.01	SAT (TO) f=8 TT=2519.61 T1=3.58	SAT (TO) f=8 TT=2519.75 T1=2.51	SAT (TO) f=8 TT=2520.12 T1=272.89	SAT (TO) f=8 TT=2520.05 T1=11.9	SAT (TO) f=8 TT=2520.03 T1=17.24	SAT (TO) f=8 TT=19998.801 T1=890.83	SAT (TO) f=8 TT=19940 T1=4066.98	SAT (TO) f=8 TT=2400.05 T1=1.22	SAT (TO) f=8 TT=2400.71 T1=2.74	SAT (TO) f=8 TT=2400 T1=2.03	SAT (TO) f=8 TT=2400.12 T1=13.62	? (TO) TT=2400.06	? (TO) TT=2400.05	SAT (TO) f=8 TT=2400.05 T1=2.24	SAT (TO) f=8 TT=2400.05 T1=76.1	SAT (TO) f=8 TT=2400.06 T1=12	SAT (TO) f=8 TT=2400.12 T1=42.8	? (TO) TT=2415.64	? TT=1223.97
GraphColoring/ GraphColoring-m1-mono/ GraphColoring-dsjc-250-9.xml	SAT TO f=78 TT=2400.1 T1=22.27	SAT (TO) f=85 TT=2520.09 T1=3.02	SAT (TO) f=85 TT=19987.1 T1=63	SAT (TO) f=85 TT=19989.9 T1=449.5	SAT (TO) f=84 TT=2520.07 T1=1691.98	SAT (TO) f=84 TT=2520.12 T1=1725.22	SAT (TO) f=84 TT=2520.1 T1=221.06	SAT (TO) f=84 TT=2520.04 T1=222.32	SAT (TO) f=80 TT=2520.05 T1=104.24	SAT (TO) f=87 TT=2519.84 T1=26.41	SAT (TO) f=86 TT=2520.01 T1=47.68	SAT (TO) f=78 TT=2519.98 T1=22.27	SAT (TO) f=84 TT=2520.14 T1=1363	SAT (TO) f=86 TT=2520.08 T1=82.6	SAT (TO) f=86 TT=2520.1 T1=88.32	SAT (TO) f=89 TT=20001.1 T1=204.31	SAT (TO) f=88 TT=19993.699 T1=1170.57	SAT (TO) f=85 TT=2400.09 T1=2.99	SAT (TO) f=84 TT=2400.2 T1=20.56	SAT (TO) f=84 TT=2400.31 T1=9.85	SAT (TO) f=80 TT=2400.1 T1=110.97	? (TO) TT=2400.09	? (TO) TT=2400.03	SAT (TO) f=78 TT=2400.1 T1=23.16	SAT (TO) f=82 TT=2400.11 T1=2100.1	SAT (TO) f=86 TT=2400.08 T1=80.96	SAT (TO) f=84 TT=2400.1 T1=1131.24	? (TO) TT=2416.66	? TT=1336.21
GraphColoring/ GraphColoring-m1-mono/ GraphColoring-dsjc-500-5.xml	SAT TO f=57 TT=2400.05 T1=1876.9	SAT (TO) f=62 TT=2520.08 T1=6.18	SAT (TO) f=61 TT=20044.6 T1=1392.12	SAT (TO) f=62 TT=20027.199 T1=399.6	SAT (TO) f=62 TT=2520.13 T1=753.96	SAT (TO) f=62 TT=2520.12 T1=756.07	SAT (TO) f=62 TT=2520.14 T1=4.07	SAT (TO) f=62 TT=2520.08 T1=3.98	SAT (TO) f=59 TT=2520.12 T1=788.75	SAT (TO) f=63 TT=2519.82 T1=140.45	SAT (TO) f=62 TT=2520.08 T1=120.31	SAT (TO) f=57 TT=2520.09 T1=1877.38	SAT (TO) f=65 TT=2520.12 T1=492.51	SAT (TO) f=66 TT=2520.07 T1=206.63	SAT (TO) f=65 TT=2520.06 T1=407.82	SAT (TO) f=65 TT=19850.199 T1=854.71	SAT (TO) f=64 TT=19844.801 T1=15446.61	SAT (TO) f=62 TT=2400.12 T1=5.86	SAT (TO) f=61 TT=2400.76 T1=89.53	SAT (TO) f=62 TT=2400.11 T1=31.81	SAT (TO) f=59 TT=2400.12 T1=747.38	No Cert. TT=2400.11	No Cert. TT=2400.07	SAT (TO) f=57 TT=2400.05 T1=1876.9	SAT (TO) f=65 TT=2400.06 T1=1996.18	SAT (TO) f=66 TT=2400.14 T1=211.23	SAT (TO) f=64 TT=2400.14 T1=1033.01	? (TO) TT=2416.4	? TT=1295.26
GraphColoring/ GraphColoring-m1-mono/ GraphColoring-games120.xml	OPT f=8 TT=0.905 T1=0.49	OPT f=8 TT=2.609 T1=0.82	OPT f=8 TT=21.441 T1=0.92	OPT f=8 TT=14.559 T1=0.96	OPT f=8 TT=6.766 T1=0.81	OPT f=8 TT=4.967 T1=0.78	OPT f=8 TT=18.684 T1=0.74	OPT f=8 TT=18.471 T1=0.78	OPT f=8 TT=13.187 T1=5.58	OPT f=8 TT=0.962 T1=0.68	OPT f=8 TT=0.905 T1=0.69	OPT f=8 TT=1.471 T1=0.53	SAT (TO) f=8 TT=2520.08 T1=1.69	OPT f=8 TT=8.905 T1=1.59	OPT f=8 TT=2360.52 T1=1.42	OPT f=8 TT=72.923 T1=3.03	OPT f=8 TT=53.842 T1=14.45	OPT f=8 TT=2.929 T1=0.78	OPT f=8 TT=19.225 T1=0.99	OPT f=8 TT=18.771 T1=1.05	OPT f=8 TT=17.204 T1=6.17	OPT f=8 TT=1.025 T1=0.65	OPT f=8 TT=0.958 T1=0.69	OPT f=8 TT=1.55 T1=0.49	SAT (TO) f=8 TT=2400.09 T1=1.47	OPT f=8 TT=9.073 T1=1.44	OPT f=8 TT=2313.23 T1=1.45	OPT f=8 TT=282.321 T1=229.95	OPT f=8 TT=255.524 T1=223.06
GraphColoring/ GraphColoring-m1-mono/ GraphColoring-lei450-25d.xml	SAT TO f=25 TT=2400.04 T1=1130.33	SAT (TO) f=25 TT=2520.09 T1=1576.14	SAT (TO) f=26 TT=20041 T1=4.32	SAT (TO) f=26 TT=20026 T1=5.75	SAT (TO) f=26 TT=2520.1 T1=5.86	SAT (TO) f=26 TT=2520.06 T1=5.92	SAT (TO) f=25 TT=2520.05 T1=1137.45	SAT (TO) f=25 TT=2520.07 T1=1130.33	SAT (TO) f=26 TT=2520.13 T1=52.1	SAT (TO) f=26 TT=2520.02 T1=17.02	SAT (TO) f=26 TT=2520.14 T1=19.56	SAT (TO) f=26 TT=2520.02 T1=13.48	SAT (TO) f=27 TT=2520.04 T1=334.44	SAT (TO) f=26 TT=2520.05 T1=321.13	SAT (TO) f=28 TT=2520.07 T1=38.75	SAT (TO) f=30 TT=19995.4 T1=176.99	SAT (TO) f=29 TT=19997.6 T1=765.8	SAT (TO) f=25 TT=2400.04 T1=1581.2	SAT (TO) f=26 TT=2400.42 T1=5.56	SAT (TO) f=26 TT=2400.22 T1=4.03	SAT (TO) f=26 TT=2400.14 T1=49.23	No Cert. TT=2400.06	No Cert. TT=2400.03	SAT (TO) f=26 TT=2400.09 T1=12.26	SAT (TO) f=26 TT=2400.08 T1=906.87	SAT (TO) f=26 TT=2400.07 T1=321.78	SAT (TO) f=27 TT=2400.08 T1=97.4	? (TO) TT=2416.39	? TT=1410.68
GraphColoring/ GraphColoring-m1-mono/ GraphColoring-mug100-25.xml	OPT f=3 TT=6.599 T1=0.75	SAT (TO) f=3 TT=2520.07 T1=0.85	OPT f=3 TT=4580.19 T1=0.72	OPT f=3 TT=4201.87 T1=0.75	SAT (TO) f=3 TT=2520.02 T1=0.79	SAT (TO) f=3 TT=2520.08 T1=0.79	OPT f=3 TT=7.757 T1=0.86	OPT f=3 TT=6.599 T1=0.78	SAT (TO) f=3 TT=2520.15 T1=4.75	SAT (TO) f=3 TT=2519.94 T1=0.25	SAT (TO) f=3 TT=2520.01 T1=0.25	SAT (TO) f=3 TT=2520.08 T1=0.22	SAT (TO) f=3 TT=2520.03 T1=0.96	SAT (TO) f=3 TT=2520.05 T1=1.07	SAT (TO) f=3 TT=2520.1 T1=1.11	SAT (TO) f=3 TT=5495.68 T1=2.49	SAT (TO) f=3 TT=5013.24 T1=10.76	SAT (TO) f=3 TT=2400.04 T1=0.69	SAT (TO) f=3 TT=2400.08 T1=0.8	SAT (TO) f=3 TT=2400.22 T1=0.86	SAT (TO) f=3 TT=2400.07 T1=4.72	? (TO) TT=2400.09	? (TO) TT=2400.08	SAT (TO) f=3 TT=2400.08 T1=0.14	SAT (TO) f=3 TT=2400.05 T1=0.93	SAT (TO) f=3 TT=2400.08 T1=1.01	SAT (TO) f=3 TT=2400.09 T1=1.02	OPT f=3 TT=63.85 T1=51.72	OPT f=3 TT=58.884 T1=51.58
GraphColoring/ GraphColoring-m1-mono/ GraphColoring-queen8-8.xml	SAT TO f=8 TT=2400.03 T1=0.81	SAT (TO) f=8 TT=2520.06 T1=1.94	SAT (TO) f=8 TT=20053.801 T1=1.61	SAT (TO) f=8 TT=20069.699 T1=1.78	SAT (TO) f=8 TT=2520.13 T1=5.64	SAT (TO) f=8 TT=2520.09 T1=5.85	SAT (TO) f=8 TT=2520.05 T1=10.11	SAT (TO) f=8 TT=2520.03 T1=10.16	SAT (TO) f=8 TT=2520.11 T1=11.38	SAT (TO) f=8 TT=2520.04 T1=3.6	SAT (TO) f=8 TT=2519.99 T1=0.81	SAT (TO) f=8 TT=2520 T1=1	SAT (TO) f=8 TT=2520.13 T1=37.93	SAT (TO) f=8 TT=2520.1 T1=30.64	SAT (TO) f=8 TT=2520.09 T1=13.5	SAT (TO) f=8 TT=19883.5 T1=106.36	SAT (TO) f=8 TT=19850.9 T1=279.51	SAT (TO) f=8 TT=2400.1 T1=0.91	SAT (TO) f=8 TT=2400.18 T1=1.63	SAT (TO) f=8 TT=2400.04 T1=1.67	SAT (TO) f=8 TT=2400.12 T1=11.37	? (TO) TT=2400.09	? (TO) TT=2400.08	SAT (TO) f=8 TT=2400.09 T1=0.93	SAT (TO) f=8 TT=2400.03 T1=261.23	SAT (TO) f=8 TT=2400.08 T1=30.61	SAT (TO) f=8 TT=2400.07 T1=7.12	? (TO) TT=2400.42	SAT (TO) f=8 TT=2520.34 T1=86.28
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
GraphColoring/ GraphColoring-m1-mono/ GraphColoring-wap01a.xml	SAT TO f=41 TT=2401.06 T1=594.2	SAT (TO) f=41 TT=2520.12 T1=594.2	SAT (TO) f=41 TT=19979.801 T1=1861.21	SAT (TO) f=41 TT=19990 T1=1651.65	SAT (TO) f=41 TT=2520.08 T1=2227.59	SAT (TO) f=41 TT=2520.11 T1=2190.28	SAT (TO) f=41 TT=2520.13 T1=905.55	SAT (TO) f=41 TT=2520.09 T1=907.92	SAT (TO) f=288 TT=2520.14 T1=2457.56	SAT (TO) f=42 TT=2519.47 T1=162.28	? (MO) TT=129.622	SAT (TO) f=42 TT=2520.03 T1=261.1	SAT (TO) f=50 TT=2520.12 T1=393.24	SAT (TO) f=1158 TT=2520.15 T1=2412.28	SAT (TO) f=51 TT=2520.11 T1=620.65	? (TO) TT=16236.5	? TT=2036.59	SAT (TO) f=41 TT=2401.06 T1=606.69	SAT (TO) f=44 TT=2400.21 T1=280.01	SAT (TO) f=44 TT=2400.71 T1=237.33	SAT (TO) f=513 TT=2400.43 T1=2277.57	SAT (TO) f=42 TT=2400.09 T1=159.03	? (MO) TT=129.953	SAT (TO) f=42 TT=2400.02 T1=245.29	SAT (TO) f=52 TT=2400.09 T1=854.91	SAT (TO) f=1327 TT=2400.15 T1=2073.1	SAT (TO) f=50 TT=2400.66 T1=699	? (TO) TT=2416.21	? TT=1498.05
GraphColoring/ GraphColoring-m1-mono/ GraphColoring-wap06a.xml	SAT TO f=40 TT=2400.07 T1=38.29	SAT (TO) f=40 TT=2520.08 T1=227.31	SAT (TO) f=40 TT=20062.5 T1=639.75	SAT (TO) f=40 TT=20050.801 T1=120.73	SAT (TO) f=40 TT=2520.1 T1=136.28	SAT (TO) f=40 TT=2520.1 T1=137.56	SAT (TO) f=40 TT=2520.05 T1=76.35	SAT (TO) f=40 TT=2520.11 T1=76.27	SAT (TO) f=42 TT=2520.13 T1=193.01	SAT (TO) f=40 TT=2519.89 T1=84.67	? (MO) TT=64.528	SAT (TO) f=40 TT=2519.98 T1=40.15	SAT (TO) f=46 TT=2520.14 T1=323.02	SAT (TO) f=43 TT=2520.13 T1=1068.89	SAT (TO) f=45 TT=2520.07 T1=2148.19	SAT (TO) f=430 TT=19758 T1=2519.48	SAT (TO) f=349 TT=19819.4 T1=19810.52	SAT (TO) f=40 TT=2400.07 T1=226.3	SAT (TO) f=41 TT=2400.1 T1=96.14	SAT (TO) f=41 TT=2400.22 T1=97.87	SAT (TO) f=42 TT=2400.07 T1=193.16	No Cert. TT=2400.04	? (MO) TT=65.093	SAT (TO) f=40 TT=2400.08 T1=38.29	SAT (TO) f=45 TT=2400.12 T1=655.85	SAT (TO) f=43 TT=2400.09 T1=1072.03	SAT (TO) f=45 TT=2400.08 T1=2051.93	? (TO) TT=2416.24	? TT=1314.43
GraphColoring/ GraphColoring-m1-mono/ GraphColoring-zeroin-i-3.xml	OPT f=29 TT=24.402 T1=11.42	SAT (TO) f=29 TT=2520.1 T1=1.18	SAT (TO) f=29 TT=20082.801 T1=1.49	SAT (TO) f=29 TT=20023.801 T1=1.55	SAT (TO) f=29 TT=2520.06 T1=1.06	SAT (TO) f=29 TT=2520.12 T1=1.01	SAT (TO) f=29 TT=2520.18 T1=1.06	SAT (TO) f=29 TT=2520.08 T1=1.07	OPT f=29 TT=24.402 T1=11.43	SAT (TO) f=29 TT=2520.01 T1=3.23	SAT (TO) f=29 TT=2519.88 T1=3.53	SAT (TO) f=29 TT=2520 T1=2.61	SAT (TO) f=29 TT=2520.14 T1=2.58	SAT (TO) f=30 TT=2520.06 T1=4.14	SAT (TO) f=29 TT=2520.06 T1=7.95	SAT (TO) f=29 TT=19998.5 T1=12.06	SAT (TO) f=29 TT=20022.199 T1=82.8	SAT (TO) f=29 TT=2400.04 T1=1.07	SAT (TO) f=29 TT=2400.63 T1=1.61	SAT (TO) f=29 TT=2400.34 T1=1.64	OPT f=29 TT=29.027 T1=11.42	? (TO) TT=2400.06	? (TO) TT=2400.09	SAT (TO) f=29 TT=2400.06 T1=2.47	SAT (TO) f=29 TT=2400.06 T1=1.67	SAT (TO) f=30 TT=2400.06 T1=4.03	SAT (TO) f=29 TT=2400.14 T1=8.36	? (TO) TT=2415.35	? TT=1226.04
Knapsack/ Knapsack-m1-s30/ Knapsack-30-100-04.xml	OPT f=1129 TT=0.248 T1=0.01	OPT f=1129 TT=2.834 T1=1.53	OPT f=1129 TT=7.17 T1=1.01	OPT f=1129 TT=6.649 T1=1.11	OPT f=1129 TT=4.661 T1=1.6	OPT f=1129 TT=4.72 T1=1.71	OPT f=1129 TT=27.475 T1=13.15	OPT f=1129 TT=26.475 T1=12.52	OPT f=1129 TT=15.24 T1=3.6	OPT f=1129 TT=1.2 T1=0.88	OPT f=1129 TT=1.033 T1=0.99	OPT f=1129 TT=0.248 T1=0.1	SAT (TO) f=1129 TT=2520.04 T1=4.68	OPT f=1129 TT=1.703 T1=0.86	OPT f=1129 TT=1.734 T1=0.85	OPT f=1129 TT=5.629 T1=1.58	OPT f=1129 TT=6.46 T1=6.17	OPT f=1129 TT=3.155 T1=1.47	OPT f=1129 TT=7.382 T1=1.33	OPT f=1129 TT=7.289 T1=1.12	OPT f=1129 TT=16.983 T1=3.52	OPT f=1129 TT=1.265 T1=0.86	OPT f=1129 TT=1.097 T1=1.05	OPT f=1129 TT=0.304 T1=0.01	SAT (TO) f=1129 TT=2400.14 T1=1.88	OPT f=1129 TT=2.091 T1=1.02	OPT f=1129 TT=1.907 T1=0.89	OPT f=1129 TT=127.535 T1=22.4	OPT f=1129 TT=122.598 T1=21.57
Knapsack/ Knapsack-m1-s30/ Knapsack-30-100-06.xml	OPT f=1188 TT=0.336 T1=0.01	OPT f=1188 TT=3.849 T1=2.69	OPT f=1188 TT=5.262 T1=0.8	OPT f=1188 TT=5.991 T1=0.72	OPT f=1188 TT=4.617 T1=1.53	OPT f=1188 TT=4.818 T1=1.68	OPT f=1188 TT=22.781 T1=6.97	OPT f=1188 TT=21.634 T1=6.79	OPT f=1188 TT=12.307 T1=3.7	OPT f=1188 TT=0.967 T1=1.04	OPT f=1188 TT=1.205 T1=1.03	OPT f=1188 TT=0.336 T1=0.1	SAT (TO) f=1188 TT=2520.03 T1=2.54	OPT f=1188 TT=1.799 T1=0.89	OPT f=1188 TT=1.838 T1=0.89	OPT f=1188 TT=5.724 T1=1.61	OPT f=1188 TT=5.778 T1=5.22	OPT f=1188 TT=4.208 T1=2.64	OPT f=1188 TT=5.823 T1=0.86	OPT f=1188 TT=5.975 T1=0.93	OPT f=1188 TT=14.518 T1=3.77	OPT f=1188 TT=1.039 T1=1.01	OPT f=1188 TT=1.274 T1=1.09	OPT f=1188 TT=0.402 T1=0.01	SAT (TO) f=1188 TT=2400.1 T1=2.14	OPT f=1188 TT=2.023 T1=0.93	OPT f=1188 TT=1.997 T1=0.93	OPT f=1188 TT=59.723 T1=19.68	OPT f=1188 TT=55.04 T1=18.11
Knapsack/ Knapsack-m1-s30/ Knapsack-30-100-16.xml	OPT f=885 TT=0.281 T1=0.01	OPT f=885 TT=6.454 T1=5.11	OPT f=885 TT=7.656 T1=0.78	OPT f=885 TT=6.94 T1=1.24	OPT f=885 TT=6.921 T1=2.61	OPT f=885 TT=6.289 T1=2.59	OPT f=885 TT=29.747 T1=14.67	OPT f=885 TT=31.823 T1=14.93	OPT f=885 TT=23.308 T1=3.56	OPT f=885 TT=2.095 T1=2.07	OPT f=885 TT=2.305 T1=2.11	OPT f=885 TT=0.281 T1=0.1	SAT (TO) f=885 TT=2520.08 T1=6.56	OPT f=885 TT=1.968 T1=0.88	OPT f=885 TT=1.955 T1=0.86	OPT f=885 TT=6.32 T1=1.6	OPT f=885 TT=7.264 T1=5.85	OPT f=885 TT=7.163 T1=5.33	OPT f=885 TT=8.075 T1=1.27	OPT f=885 TT=8.929 T1=1.53	OPT f=885 TT=25.213 T1=3.49	OPT f=885 TT=2.176 T1=2.03	OPT f=885 TT=2.375 T1=2.17	OPT f=885 TT=0.318 T1=0.01	SAT (TO) f=885 TT=2400.09 T1=7.85	OPT f=885 TT=2.172 T1=0.98	OPT f=885 TT=2.003 T1=0.87	OPT f=885 TT=130.034 T1=62.79	OPT f=885 TT=135.122 T1=65.73
Knapsack/ Knapsack-m1-s40/ Knapsack-40-150-00.xml	OPT f=932 TT=5.827 T1=0.02	OPT f=932 TT=191.106 T1=163.86	OPT f=932 TT=115.97 T1=3.82	OPT f=932 TT=26.332 T1=2.12	OPT f=932 TT=97.703 T1=10.75	OPT f=932 TT=100.401 T1=11.51	OPT f=932 TT=1626.65 T1=551.9	OPT f=932 TT=1618.35 T1=561.41	OPT f=932 TT=283.3 T1=3.72	OPT f=932 TT=26.056 T1=19.89	OPT f=932 TT=29.08 T1=19.03	OPT f=932 TT=15.349 T1=0.24	SAT (TO) f=932 TT=2520.08 T1=15.25	OPT f=932 TT=5.827 T1=3.71	OPT f=932 TT=5.99 T1=3.92	OPT f=932 TT=18.004 T1=3.04	OPT f=932 TT=18.759 T1=17.06	OPT f=932 TT=188.111 T1=160.53	OPT f=932 TT=52.643 T1=3.98	OPT f=932 TT=50.493 T1=4.65	OPT f=932 TT=303.817 T1=3.7	OPT f=932 TT=26.433 T1=20.15	OPT f=932 TT=29.626 T1=19.32	OPT f=932 TT=15.699 T1=0.02	SAT (TO) f=932 TT=2400.08 T1=17.3	OPT f=932 TT=6.181 T1=3.62	OPT f=932 TT=6.083 T1=3.66	SAT (TO) f=923 TT=2400.4 T1=1140.39	SAT (TO) f=923 TT=2520.33 T1=1365.92
Knapsack/ Knapsack-m1-s40/ Knapsack-40-150-07.xml	OPT f=1021 TT=6.441 T1=0.01	OPT f=1021 TT=193.561 T1=184.48	OPT f=1021 TT=129.788 T1=19.11	OPT f=1021 TT=36.651 T1=3.7	OPT f=1021 TT=202.48 T1=30.14	OPT f=1021 TT=190.042 T1=27.91	SAT (TO) f=1021 TT=2520.04 T1=2421.33	SAT (TO) f=1021 TT=2520.05 T1=2402.36	OPT f=1021 TT=527.22 T1=3.75	OPT f=1021 TT=38.488 T1=20.48	OPT f=1021 TT=20.722 T1=19.17	OPT f=1021 TT=15.446 T1=0.11	SAT (TO) f=1021 TT=2520.08 T1=6.73	OPT f=1021 TT=6.441 T1=3.78	OPT f=1021 TT=6.486 T1=3.32	OPT f=1021 TT=13.579 T1=2.47	OPT f=1021 TT=13.887 T1=10.46	OPT f=1021 TT=196.9 T1=187.14	OPT f=1021 TT=58.082 T1=2.54	OPT f=1021 TT=47.292 T1=2.52	OPT f=1021 TT=496.374 T1=3.63	OPT f=1021 TT=39.057 T1=20.77	OPT f=1021 TT=20.959 T1=19.32	OPT f=1021 TT=15.565 T1=0.01	SAT (TO) f=1021 TT=2400.12 T1=9.13	OPT f=1021 TT=6.534 T1=3.32	OPT f=1021 TT=6.507 T1=3.34	SAT (TO) f=1021 TT=2400.37 T1=813.15	SAT (TO) f=1021 TT=2520.37 T1=968.6
Knapsack/ Knapsack-m1-s40/ Knapsack-40-150-08.xml	OPT f=887 TT=3.76 T1=0.03	OPT f=887 TT=138.816 T1=116.34	OPT f=887 TT=44.944 T1=2	OPT f=887 TT=18.875 T1=1.71	OPT f=887 TT=50.804 T1=16.82	OPT f=887 TT=52.591 T1=17.92	OPT f=887 TT=1092.13 T1=708.29	OPT f=887 TT=1113.61 T1=722.37	OPT f=887 TT=343.985 T1=3.76	OPT f=887 TT=14.797 T1=12.86	OPT f=887 TT=13.244 T1=12.08	OPT f=887 TT=6.648 T1=0.13	SAT (TO) f=887 TT=2520.03 T1=3.22	OPT f=887 TT=3.76 T1=2.66	OPT f=887 TT=3.765 T1=2.56	OPT f=887 TT=12.865 T1=2.46	OPT f=887 TT=12.882 T1=11.55	OPT f=887 TT=149.592 T1=125.59	OPT f=887 TT=36.481 T1=3.77	OPT f=887 TT=26.695 T1=2.01	OPT f=887 TT=385.469 T1=4.03	OPT f=887 TT=15.129 T1=13.09	OPT f=887 TT=13.361 T1=12.08	OPT f=887 TT=6.876 T1=0.03	SAT (TO) f=887 TT=2400.05 T1=4.16	OPT f=887 TT=3.815 T1=2.54	OPT f=887 TT=3.914 T1=2.59	SAT (TO) f=887 TT=2400.33 T1=547.27	SAT (TO) f=887 TT=2520.31 T1=532.62
Knapsack/ Knapsack-m1-s40/ Knapsack-40-150-12.xml	OPT f=954 TT=6.331 T1=0.04	OPT f=954 TT=152.833 T1=144.88	OPT f=954 TT=110.035 T1=0.97	OPT f=954 TT=53.52 T1=1.12	OPT f=954 TT=68.073 T1=5.09	OPT f=954 TT=69.197 T1=5.42	OPT f=954 TT=1166.77 T1=848.14	OPT f=954 TT=1121.52 T1=810.09	OPT f=954 TT=302.858 T1=3.71	OPT f=954 TT=45.891 T1=44.77	OPT f=954 TT=26.974 T1=20.39	OPT f=954 TT=14.971 T1=0.08	SAT (TO) f=954 TT=2520.1 T1=5.44	OPT f=954 TT=6.331 T1=4.93	OPT f=954 TT=6.424 T1=4.83	OPT f=954 TT=11.913 T1=2.42	OPT f=954 TT=12.524 T1=11.84	OPT f=954 TT=157.592 T1=149.11	OPT f=954 TT=77.473 T1=2.17	OPT f=954 TT=67.194 T1=1.54	OPT f=954 TT=305.957 T1=3.94	OPT f=954 TT=46.542 T1=45.32	OPT f=954 TT=27.317 T1=20.6	OPT f=954 TT=15.433 T1=0.04	SAT (TO) f=954 TT=2400.11 T1=4.85	OPT f=954 TT=6.535 T1=4.86	OPT f=954 TT=6.529 T1=5.11	SAT (TO) f=954 TT=2400.34 T1=1583.7	SAT (TO) f=954 TT=2520.25 T1=1568.66
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
Knapsack/ Knapsack-m1-s40/ Knapsack-40-150-16.xml	OPT f=886 TT=7.437 T1=0.01	OPT f=886 TT=133.131 T1=119.34	OPT f=886 TT=127.374 T1=2.27	OPT f=886 TT=50.144 T1=1.55	OPT f=886 TT=62.162 T1=18.57	OPT f=886 TT=62.483 T1=18.65	OPT f=886 TT=1211.67 T1=239.57	OPT f=886 TT=1145.08 T1=228.96	OPT f=886 TT=188.931 T1=4.37	OPT f=886 TT=79.216 T1=75.04	OPT f=886 TT=47.839 T1=41.35	OPT f=886 TT=17.771 T1=0.09	SAT (TO) f=886 TT=2520.09 T1=10.2	OPT f=886 TT=7.51 T1=5.58	OPT f=886 TT=7.437 T1=5.82	OPT f=886 TT=23.488 T1=3.57	OPT f=886 TT=21.547 T1=17.64	OPT f=886 TT=126.56 T1=113.18	OPT f=886 TT=104.773 T1=11.91	OPT f=886 TT=72.409 T1=2.13	OPT f=886 TT=202.938 T1=4.69	OPT f=886 TT=80.227 T1=75.96	OPT f=886 TT=48.5 T1=41.94	OPT f=886 TT=18.171 T1=0.01	SAT (TO) f=886 TT=2400.08 T1=6.51	OPT f=886 TT=7.704 T1=5.45	OPT f=886 TT=7.548 T1=5.47	SAT (TO) f=886 TT=2400.32 T1=251.97	SAT (TO) f=886 TT=2520.29 T1=318.79
Knapsack/ Knapsack-m1-s50/ Knapsack-50-200-16.xml	OPT f=1429 TT=59.541 T1=0.01	SAT (TO) f=1370 TT=2520.11 T1=1780.34	OPT f=1429 TT=190.247 T1=2.82	OPT f=1429 TT=261.332 T1=28.74	OPT f=1429 TT=691.073 T1=543.32	OPT f=1429 TT=686.706 T1=539.34	SAT (TO) f=1389 TT=2520.12 T1=2051.05	SAT (TO) f=1389 TT=2520.08 T1=1961.86	SAT (TO) f=1429 TT=2520.14 T1=4.5	OPT f=1429 TT=1084.81 T1=1060.32	OPT f=1429 TT=672.371 T1=630.74	OPT f=1429 TT=182.65 T1=0.08	SAT (TO) f=1429 TT=2520.09 T1=26.2	OPT f=1429 TT=59.831 T1=52.91	OPT f=1429 TT=59.541 T1=52.74	OPT f=1429 TT=95.713 T1=13.56	OPT f=1429 TT=87.794 T1=87.41	SAT (TO) f=1370 TT=2400.06 T1=1820.31	OPT f=1429 TT=442.983 T1=56.46	OPT f=1429 TT=325.452 T1=6.4	SAT (TO) f=1429 TT=2400.12 T1=4.14	OPT f=1429 TT=1097.9 T1=1073.08	OPT f=1429 TT=675.224 T1=633.75	OPT f=1429 TT=186.388 T1=0.01	SAT (TO) f=1429 TT=2400.12 T1=83.51	OPT f=1429 TT=60.226 T1=53	OPT f=1429 TT=60.865 T1=53.63	SAT (TO) f=1368 TT=2400.16 T1=2103.81	SAT (TO) f=1361 TT=2520.13 T1=2445.83
Knapsack/ Knapsack-m1-s50/ Knapsack-50-200-17.xml	OPT f=992 TT=44.661 T1=0.02	SAT (TO) f=982 TT=2520.03 T1=2476.63	OPT f=992 TT=676.011 T1=83.91	OPT f=992 TT=294.165 T1=1.75	OPT f=992 TT=746.259 T1=358.53	OPT f=992 TT=726.091 T1=347.46	SAT (TO) f=976 TT=2520.05 T1=531.54	SAT (TO) f=976 TT=2520.11 T1=503.76	SAT (TO) f=992 TT=2520.12 T1=3.98	OPT f=992 TT=557.327 T1=529.11	OPT f=992 TT=412.345 T1=382.17	OPT f=992 TT=383.094 T1=0.11	SAT (TO) f=992 TT=2520.1 T1=47.34	OPT f=992 TT=44.661 T1=20.84	SAT (TO) f=992 TT=2520.04 T1=203.83	OPT f=992 TT=51.196 T1=6.12	OPT f=992 TT=59.871 T1=43.17	SAT (TO) f=969 TT=2400.09 T1=2173.94	OPT f=992 TT=731.981 T1=65.34	OPT f=992 TT=765.796 T1=96.79	SAT (TO) f=992 TT=2400.14 T1=4.64	OPT f=992 TT=565.31 T1=536.79	OPT f=992 TT=414.247 T1=383.94	OPT f=992 TT=392.957 T1=0.02	SAT (TO) f=992 TT=2400.04 T1=77.93	OPT f=992 TT=45.493 T1=21.01	SAT (TO) f=992 TT=2400.07 T1=188.31	SAT (TO) f=982 TT=2400.12 T1=1149.67	SAT (TO) f=982 TT=2520.1 T1=1499.2
Knapsack/ Knapsack-m1-s50/ Knapsack-50-200-18.xml	OPT f=937 TT=13.006 T1=0.02	OPT f=937 TT=759.784 T1=741.76	OPT f=937 TT=126.215 T1=2.09	OPT f=937 TT=76.424 T1=1.91	OPT f=937 TT=379.529 T1=249.56	OPT f=937 TT=397.988 T1=263.56	SAT (TO) f=920 TT=2520.09 T1=612.71	SAT (TO) f=920 TT=2520.07 T1=622.2	OPT f=937 TT=1221.26 T1=3.83	OPT f=937 TT=122.959 T1=80.14	OPT f=937 TT=102.086 T1=97.1	OPT f=937 TT=48.613 T1=0.09	SAT (TO) f=937 TT=2520.03 T1=12.36	OPT f=937 TT=13.006 T1=10.48	SAT (TO) f=937 TT=2520.05 T1=245.02	OPT f=937 TT=27.815 T1=4.33	OPT f=937 TT=28.612 T1=26.6	OPT f=937 TT=742.709 T1=724.11	OPT f=937 TT=139.699 T1=15.09	OPT f=937 TT=132.57 T1=4.52	OPT f=937 TT=1161.76 T1=4.04	OPT f=937 TT=125.506 T1=81.83	OPT f=937 TT=102.041 T1=96.99	OPT f=937 TT=49.395 T1=0.02	SAT (TO) f=937 TT=2400.1 T1=14.14	OPT f=937 TT=13.121 T1=10.43	SAT (TO) f=937 TT=2400.07 T1=252.32	? (TO) TT=2400.14	? (TO) TT=2520.05
Knapsack/ Knapsack-m1-s60/ Knapsack-60-250-03.xml	OPT f=1358 TT=148.35 T1=0.02	SAT (TO) f=1205 TT=2520.04 T1=2044.06	OPT f=1358 TT=407.396 T1=1.33	OPT f=1358 TT=711.945 T1=2.16	SAT (TO) f=1358 TT=2520.08 T1=1860.57	SAT (TO) f=1358 TT=2520.09 T1=1884.86	SAT (TO) f=1313 TT=2520.06 T1=1222.79	SAT (TO) f=1313 TT=2520.11 T1=1219.54	SAT (TO) f=1358 TT=2520.14 T1=3.99	SAT (TO) f=1273 TT=2519.84 T1=2434.4	SAT (TO) f=1343 TT=2519.85 T1=2137.44	OPT f=1358 TT=891.46 T1=0.09	SAT (TO) f=1358 TT=2520.03 T1=455.47	OPT f=1358 TT=148.35 T1=125.26	SAT (TO) f=1358 TT=2520.07 T1=243.1	OPT f=1358 TT=222.919 T1=26.59	OPT f=1358 TT=217.926 T1=200.3	SAT (TO) f=1205 TT=2400.04 T1=2325.78	OPT f=1358 TT=1648.07 T1=4.4	OPT f=1358 TT=1691.75 T1=4.44	SAT (TO) f=1358 TT=2400.05 T1=3.94	? (TO) TT=2400.04	? (TO) TT=2400.02	OPT f=1358 TT=908.31 T1=0.02	SAT (TO) f=1358 TT=2400.07 T1=19.17	OPT f=1358 TT=148.914 T1=125.39	SAT (TO) f=1358 TT=2400.12 T1=212.59	SAT (TO) f=1274 TT=2400.11 T1=1261.17	SAT (TO) f=1274 TT=2520.08 T1=1592.54
Knapsack/ Knapsack-m1-s60/ Knapsack-60-250-05.xml	OPT f=1333 TT=95.4 T1=0.02	SAT (TO) f=1218 TT=2520.05 T1=2055.26	OPT f=1333 TT=223.662 T1=1.85	OPT f=1333 TT=427.071 T1=2.31	SAT (TO) f=1333 TT=2520.06 T1=1198.32	SAT (TO) f=1333 TT=2520.13 T1=1202.37	SAT (TO) f=1239 TT=2520.02 T1=117.44	SAT (TO) f=1239 TT=2520.05 T1=117.07	SAT (TO) f=1333 TT=2520.08 T1=3.74	OPT f=1333 TT=1011.12 T1=988.81	OPT f=1333 TT=1056.83 T1=953.25	OPT f=1333 TT=446.922 T1=0.12	SAT (TO) f=1333 TT=2520.1 T1=242.8	OPT f=1333 TT=95.4 T1=29.24	SAT (TO) f=1333 TT=2520.02 T1=29.99	OPT f=1333 TT=114.73 T1=8.43	OPT f=1333 TT=123.59 T1=61.05	SAT (TO) f=1218 TT=2400.12 T1=2098.48	OPT f=1333 TT=838.026 T1=3.06	OPT f=1333 TT=795.877 T1=2.27	SAT (TO) f=1333 TT=2400.05 T1=3.92	OPT f=1333 TT=1022.98 T1=1000.56	OPT f=1333 TT=1064.27 T1=960.05	OPT f=1333 TT=455.707 T1=0.02	SAT (TO) f=1333 TT=2400.07 T1=17.95	OPT f=1333 TT=96.548 T1=29.63	SAT (TO) f=1333 TT=2400.09 T1=29.78	? (TO) TT=2400.09	? (TO) TT=2520.1
Knapsack/ Knapsack-m1-s60/ Knapsack-60-250-06.xml	OPT f=1134 TT=151.156 T1=0.02	SAT (TO) f=1047 TT=2520.06 T1=2240.8	OPT f=1134 TT=302.345 T1=1.59	OPT f=1134 TT=470.997 T1=5.52	SAT (TO) f=1132 TT=2520.06 T1=572.42	SAT (TO) f=1132 TT=2520.1 T1=620.22	SAT (TO) f=1080 TT=2520.06 T1=1488.73	SAT (TO) f=1080 TT=2520.1 T1=1479.84	SAT (TO) f=1134 TT=2520.11 T1=4	OPT f=1134 TT=1041.95 T1=961.66	OPT f=1134 TT=1225.46 T1=1136.6	OPT f=1134 TT=439.318 T1=0.08	SAT (TO) f=1134 TT=2520.07 T1=913.78	OPT f=1134 TT=153.419 T1=67.73	SAT (TO) f=1134 TT=2520.04 T1=434.78	OPT f=1134 TT=200.106 T1=15.69	OPT f=1134 TT=215.853 T1=121.99	SAT (TO) f=1047 TT=2400.07 T1=2222.93	OPT f=1134 TT=871.098 T1=2.69	OPT f=1134 TT=988.774 T1=6.92	SAT (TO) f=1134 TT=2400.06 T1=4.23	OPT f=1134 TT=1059.67 T1=978.11	OPT f=1134 TT=1238.51 T1=1148.74	OPT f=1134 TT=451.975 T1=0.02	SAT (TO) f=1134 TT=2400.05 T1=446.05	OPT f=1134 TT=151.156 T1=66.12	SAT (TO) f=1134 TT=2400.07 T1=1117.21	? (TO) TT=2400.48	? (TO) TT=2520.28
Knapsack/ Knapsack-m1-s60/ Knapsack-60-250-07.xml	OPT f=1058 TT=171.065 T1=0.01	SAT (TO) f=974 TT=2520.09 T1=2429.15	OPT f=1058 TT=286.037 T1=3.14	OPT f=1058 TT=511.643 T1=2.85	SAT (TO) f=1058 TT=2520.09 T1=1276.06	SAT (TO) f=1058 TT=2520.11 T1=1235.04	SAT (TO) f=1027 TT=2520.06 T1=1867.84	SAT (TO) f=1027 TT=2520.08 T1=1973.36	SAT (TO) f=1058 TT=2520.05 T1=4.39	OPT f=1058 TT=1530.07 T1=1329.28	OPT f=1058 TT=730.717 T1=585.39	OPT f=1058 TT=434.711 T1=0.1	SAT (TO) f=1058 TT=2520.12 T1=98.17	OPT f=1058 TT=171.254 T1=76.54	SAT (TO) f=1058 TT=2520.11 T1=319.92	OPT f=1058 TT=368.172 T1=14.08	OPT f=1058 TT=357.684 T1=98.33	SAT (TO) f=974 TT=2400.04 T1=2334.81	OPT f=1058 TT=934.713 T1=3.57	OPT f=1058 TT=1173.38 T1=51.62	SAT (TO) f=1058 TT=2400.13 T1=4.41	OPT f=1058 TT=1553.58 T1=1350.03	OPT f=1058 TT=744.189 T1=596.39	OPT f=1058 TT=445.488 T1=0.01	SAT (TO) f=1058 TT=2400.11 T1=296.07	OPT f=1058 TT=171.065 T1=75.7	SAT (TO) f=1058 TT=2400.06 T1=876	? (TO) TT=2400.1	? (TO) TT=2520.09
Knapsack/ Knapsack-m1-s60/ Knapsack-60-250-13.xml	OPT f=1477 TT=86.187 T1=0.04	SAT (TO) f=1326 TT=2520.07 T1=2351.78	OPT f=1477 TT=289.519 T1=9.32	OPT f=1477 TT=374.267 T1=14.56	SAT (TO) f=1477 TT=2520.08 T1=926.43	SAT (TO) f=1477 TT=2520.07 T1=948.99	SAT (TO) f=1325 TT=2520.05 T1=530.84	SAT (TO) f=1325 TT=2520.09 T1=557.84	SAT (TO) f=1477 TT=2520.14 T1=5.22	SAT (TO) f=1467 TT=2519.99 T1=2318.31	OPT f=1477 TT=1682.34 T1=1220.36	OPT f=1477 TT=428.576 T1=0.11	SAT (TO) f=1477 TT=2520.06 T1=12.25	OPT f=1477 TT=86.187 T1=49.11	SAT (TO) f=1477 TT=2520.08 T1=102.36	OPT f=1477 TT=95.072 T1=9.05	OPT f=1477 TT=93.93 T1=64.87	SAT (TO) f=1326 TT=2400.06 T1=2296.15	OPT f=1477 TT=714.679 T1=3.85	OPT f=1477 TT=1378.49 T1=167.36	SAT (TO) f=1477 TT=2400.07 T1=5.21	? (TO) TT=2400.05	OPT f=1477 TT=1690.44 T1=1226.62	OPT f=1477 TT=438.166 T1=0.04	SAT (TO) f=1477 TT=2400.06 T1=130.24	OPT f=1477 TT=87.04 T1=49.39	SAT (TO) f=1477 TT=2400.05 T1=51.09	? (TO) TT=2400.13	? (TO) TT=2520.25
Knapsack/ Knapsack-m1-s60/ Knapsack-60-250-17.xml	OPT f=1220 TT=552.088 T1=0.02	SAT (TO) f=1082 TT=2520.11 T1=2449.23	OPT f=1220 TT=613.4 T1=1.29	OPT f=1220 TT=1146.38 T1=1.25	SAT (TO) f=1191 TT=2520.1 T1=1848.19	SAT (TO) f=1191 TT=2520.03 T1=1843.81	SAT (TO) f=1110 TT=2520.05 T1=2063.13	SAT (TO) f=1110 TT=2520.02 T1=1986.22	SAT (TO) f=1220 TT=2520.14 T1=4.34	SAT (TO) f=1152 TT=2520 T1=1902.15	OPT f=1220 TT=2379.02 T1=2281.43	OPT f=1220 TT=1922.27 T1=0.06	SAT (TO) f=1220 TT=2520.11 T1=313.88	OPT f=1220 TT=576.844 T1=143.49	SAT (TO) f=1220 TT=2520.08 T1=271.4	OPT f=1220 TT=552.088 T1=28.98	OPT f=1220 TT=580.084 T1=262.56	SAT (TO) f=1097 TT=2400.07 T1=2223.22	SAT (TO) f=1220 TT=2400.19 T1=2.58	SAT (TO) f=1220 TT=2400.07 T1=3.21	SAT (TO) f=1220 TT=2400.09 T1=4.36	? (TO) TT=2400.04	OPT f=1220 TT=2386.33 T1=2288.3	OPT f=1220 TT=1958.37 T1=0.02	SAT (TO) f=1220 TT=2400.12 T1=152.37	OPT f=1220 TT=593.152 T1=146.61	SAT (TO) f=1220 TT=2400.03 T1=241.69	SAT (TO) f=1121 TT=2400.23 T1=2305.21	SAT (TO) f=1121 TT=2520.19 T1=2475.49
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
LowAutocorrelation/ LowAutocorrelation-m1-s1/ LowAutocorrelation-004.xml	OPT f=2 TT=0.014 T1=0.02	OPT f=2 TT=1.072 T1=0.65	OPT f=2 TT=1.139 T1=0.55	OPT f=2 TT=1.119 T1=0.54	OPT f=2 TT=0.862 T1=0.46	OPT f=2 TT=0.892 T1=0.58	OPT f=2 TT=0.964 T1=0.63	OPT f=2 TT=0.968 T1=0.66	OPT f=2 TT=6.364 T1=3.52	OPT f=2 TT=0.014 T1=0.07	OPT f=2 TT=0.016 T1=0.05	OPT f=2 TT=0.021 T1=0.1	SAT (TO) f=2 TT=2520.13 T1=0.95	OPT f=2 TT=1.128 T1=0.81	OPT f=2 TT=1.132 T1=0.84	OPT f=2 TT=1.964 T1=1.05	OPT f=2 TT=1.987 T1=1.56	OPT f=2 TT=1.339 T1=0.66	OPT f=2 TT=1.264 T1=0.61	OPT f=2 TT=1.279 T1=0.6	OPT f=2 TT=7.574 T1=3.34	OPT f=2 TT=0.023 T1=0.02	OPT f=2 TT=0.023 T1=0.02	OPT f=2 TT=0.028 T1=0.02	SAT (TO) f=2 TT=2400.12 T1=0.84	OPT f=2 TT=1.195 T1=0.74	OPT f=2 TT=1.268 T1=0.79	OPT f=2 TT=0.652 T1=0.38	OPT f=2 TT=0.587 T1=0.34
LowAutocorrelation/ LowAutocorrelation-m1-s1/ LowAutocorrelation-011.xml	OPT f=5 TT=0.133 T1=0.19	OPT f=5 TT=1.914 T1=0.94	OPT f=5 TT=2.86 T1=0.8	OPT f=5 TT=2.817 T1=0.81	OPT f=5 TT=1.484 T1=0.58	OPT f=5 TT=1.501 T1=0.73	OPT f=5 TT=4.359 T1=1.06	OPT f=5 TT=4.267 T1=1.09	OPT f=5 TT=9.986 T1=4.4	OPT f=5 TT=0.147 T1=0.26	OPT f=5 TT=0.133 T1=0.22	OPT f=5 TT=0.155 T1=0.23	SAT (TO) f=5 TT=2520.06 T1=2.61	OPT f=5 TT=1.551 T1=0.96	OPT f=5 TT=1.51 T1=0.83	OPT f=5 TT=6.89 T1=1.72	OPT f=5 TT=6.856 T1=4.71	OPT f=5 TT=2.401 T1=0.91	OPT f=5 TT=3.144 T1=0.92	OPT f=5 TT=3.089 T1=0.92	OPT f=5 TT=11.653 T1=4.47	OPT f=5 TT=0.205 T1=0.13	OPT f=5 TT=0.191 T1=0.14	OPT f=5 TT=0.204 T1=0.19	SAT (TO) f=5 TT=2400.1 T1=2.1	OPT f=5 TT=1.615 T1=0.87	OPT f=5 TT=1.587 T1=0.86	OPT f=5 TT=1.608 T1=0.58	OPT f=5 TT=1.123 T1=0.6
LowAutocorrelation/ LowAutocorrelation-m1-s1/ LowAutocorrelation-013.xml	OPT f=6 TT=0.255 T1=0.27	OPT f=6 TT=1.784 T1=2.14	OPT f=6 TT=5.199 T1=0.82	OPT f=6 TT=4.188 T1=0.83	OPT f=6 TT=1.727 T1=0.59	OPT f=6 TT=1.76 T1=0.77	OPT f=6 TT=7.381 T1=0.88	OPT f=6 TT=7.319 T1=0.9	OPT f=6 TT=13.724 T1=4.25	OPT f=6 TT=0.454 T1=0.56	OPT f=6 TT=0.86 T1=0.91	OPT f=6 TT=0.255 T1=0.32	SAT (TO) f=6 TT=2520.04 T1=3.19	OPT f=6 TT=2.005 T1=0.99	OPT f=6 TT=1.97 T1=0.84	OPT f=6 TT=7.575 T1=1.82	OPT f=6 TT=7.054 T1=4.62	OPT f=6 TT=2.084 T1=0.77	OPT f=6 TT=4.214 T1=0.95	OPT f=6 TT=4.595 T1=0.91	OPT f=6 TT=16.678 T1=4.55	OPT f=6 TT=0.514 T1=0.45	OPT f=6 TT=0.904 T1=0.83	OPT f=6 TT=0.299 T1=0.27	SAT (TO) f=6 TT=2400.05 T1=3.15	OPT f=6 TT=2.283 T1=0.91	OPT f=6 TT=2.21 T1=0.9	OPT f=6 TT=1.958 T1=0.73	OPT f=6 TT=1.649 T1=0.62
LowAutocorrelation/ LowAutocorrelation-m1-s1/ LowAutocorrelation-015.xml	OPT f=15 TT=1.905 T1=0.69	OPT f=15 TT=4.433 T1=1.26	OPT f=15 TT=11.943 T1=0.95	OPT f=15 TT=13.026 T1=0.93	OPT f=15 TT=9.109 T1=2.24	OPT f=15 TT=9.59 T1=2.28	OPT f=15 TT=29.352 T1=3.73	OPT f=15 TT=33.954 T1=4.03	OPT f=15 TT=36.949 T1=7.52	OPT f=15 TT=1.905 T1=1.99	OPT f=15 TT=3.133 T1=3.13	OPT f=15 TT=2.822 T1=1.05	SAT (TO) f=15 TT=2520.06 T1=4.56	OPT f=15 TT=4.128 T1=1.05	OPT f=15 TT=1811.37 T1=0.93	OPT f=15 TT=9.265 T1=1.89	OPT f=15 TT=8.637 T1=5.38	OPT f=15 TT=4.682 T1=1.13	OPT f=15 TT=17.251 T1=1.01	OPT f=15 TT=17.308 T1=1	OPT f=15 TT=42.391 T1=7.34	OPT f=15 TT=1.942 T1=0.22	OPT f=15 TT=3.165 T1=2.17	OPT f=15 TT=3.027 T1=0.88	SAT (TO) f=15 TT=2400.03 T1=3.43	OPT f=15 TT=4.391 T1=1.05	OPT f=15 TT=1741.41 T1=0.94	OPT f=15 TT=2.448 T1=0.74	OPT f=15 TT=2.187 T1=0.69
LowAutocorrelation/ LowAutocorrelation-m1-s1/ LowAutocorrelation-020.xml	OPT f=26 TT=20.316 T1=2.09	OPT f=26 TT=140.465 T1=30.45	OPT f=26 TT=157.775 T1=2.54	OPT f=26 TT=148.819 T1=2.29	OPT f=26 TT=455.562 T1=43.72	OPT f=26 TT=459.425 T1=44.09	OPT f=26 TT=1100.81 T1=37.84	OPT f=26 TT=1044.4 T1=37.45	OPT f=26 TT=792.513 T1=132.22	OPT f=26 TT=127.183 T1=127.23	OPT f=26 TT=75.434 T1=75.43	OPT f=26 TT=154.285 T1=10	SAT (TO) f=26 TT=2520.06 T1=14.33	OPT f=26 TT=26.387 T1=2.25	OPT f=26 TT=2349.53 T1=2.09	OPT f=26 TT=21.015 T1=2.59	OPT f=26 TT=20.316 T1=7.77	OPT f=26 TT=140.9 T1=30.46	OPT f=26 TT=285.015 T1=3.5	OPT f=26 TT=224.11 T1=2.4	OPT f=26 TT=688.221 T1=115.18	OPT f=26 TT=126.688 T1=65.54	OPT f=26 TT=76.176 T1=5.9	OPT f=26 TT=158.768 T1=10.23	SAT (TO) f=26 TT=2400.09 T1=9.91	OPT f=26 TT=27.052 T1=2.12	OPT f=26 TT=2287.36 T1=2.1	OPT f=26 TT=28.099 T1=6.38	OPT f=26 TT=33.32 T1=7.8
LowAutocorrelation/ LowAutocorrelation-m1-s1/ LowAutocorrelation-033.xml	SAT TO f=64 TT=2400.09 T1=144.45	SAT (TO) f=116 TT=2520.11 T1=1442.93	SAT (TO) f=64 TT=20062.6 T1=1227.7	SAT (TO) f=64 TT=20053.9 T1=915.01	SAT (TO) f=100 TT=2520.08 T1=302.89	SAT (TO) f=100 TT=2520.06 T1=302.79	SAT (TO) f=100 TT=2520.07 T1=2420.13	SAT (TO) f=112 TT=2520.03 T1=1634.16	SAT (TO) f=88 TT=2520.11 T1=1505.33	SAT (TO) f=120 TT=2520 T1=2520	SAT (TO) f=112 TT=2519.89 T1=2520	SAT (TO) f=88 TT=2519.74 T1=188.51	SAT (TO) f=116 TT=2520.11 T1=1027.42	SAT (TO) f=64 TT=2520.09 T1=1270.53	SAT (TO) f=128 TT=2520.11 T1=271.35	SAT (TO) f=64 TT=20052.699 T1=144.45	SAT (TO) f=64 TT=20038.1 T1=1406.14	SAT (TO) f=116 TT=2400.07 T1=1469.69	SAT (TO) f=124 TT=2400.12 T1=74.26	SAT (TO) f=124 TT=2400.52 T1=75.62	SAT (TO) f=88 TT=2400.09 T1=1977.99	No Cert. TT=2400.07	No Cert. TT=2400.04	SAT (TO) f=88 TT=2400.05 T1=206.42	SAT (TO) f=116 TT=2400.05 T1=131.91	SAT (TO) f=64 TT=2400.09 T1=1311.26	SAT (TO) f=128 TT=2400.13 T1=44.71	SAT (TO) f=100 TT=2400.3 T1=1640.59	SAT (TO) f=100 TT=2520.15 T1=1651.55
LowAutocorrelation/ LowAutocorrelation-m1-s1/ LowAutocorrelation-036.xml	SAT TO f=94 TT=19960.199 T1=906.48	SAT (TO) f=214 TT=2520.06 T1=7.36	SAT (TO) f=94 TT=20092.699 T1=1825.34	SAT (TO) f=94 TT=20067.9 T1=2248.59	SAT (TO) f=174 TT=2520.08 T1=1355.69	SAT (TO) f=170 TT=2520.11 T1=2002.56	SAT (TO) f=198 TT=2520.07 T1=1084.83	SAT (TO) f=198 TT=2520.03 T1=1086.88	SAT (TO) f=134 TT=2520.13 T1=199.4	SAT (TO) f=126 TT=2520.02 T1=2519.9	SAT (TO) f=130 TT=2520.07 T1=2519.9	SAT (TO) f=122 TT=2520.06 T1=268.64	SAT (TO) f=146 TT=2520.06 T1=346.68	SAT (TO) f=122 TT=2520.11 T1=1127.8	SAT (TO) f=150 TT=2520.1 T1=943.59	SAT (TO) f=94 TT=20044.9 T1=906.48	SAT (TO) f=94 TT=19960.199 T1=5087.34	SAT (TO) f=214 TT=2400.12 T1=7.11	SAT (TO) f=138 TT=2400.69 T1=82.39	SAT (TO) f=170 TT=2400.27 T1=104.99	SAT (TO) f=134 TT=2400.21 T1=210.09	No Cert. TT=2400.03	No Cert. TT=2400.03	SAT (TO) f=122 TT=2400.05 T1=276.47	SAT (TO) f=150 TT=2400.13 T1=162.26	SAT (TO) f=122 TT=2400.04 T1=1179.51	SAT (TO) f=146 TT=2400.08 T1=653.7	SAT (TO) f=138 TT=2400.14 T1=1606.7	SAT (TO) f=138 TT=2520.18 T1=1581.67
LowAutocorrelation/ LowAutocorrelation-m1-s1/ LowAutocorrelation-038.xml	SAT TO f=95 TT=20037.801 T1=2411.39	SAT (TO) f=247 TT=2520.05 T1=2062.88	SAT (TO) f=159 TT=20088.801 T1=1170.54	SAT (TO) f=151 TT=20080.9 T1=1904.52	SAT (TO) f=191 TT=2520.08 T1=365.73	SAT (TO) f=191 TT=2520.06 T1=366.72	SAT (TO) f=207 TT=2520.03 T1=391.64	SAT (TO) f=207 TT=2520.08 T1=390.67	SAT (TO) f=143 TT=2520.15 T1=2011.44	SAT (TO) f=503 TT=2520.08 T1=2519.9	SAT (TO) f=247 TT=2519.96 T1=2520	SAT (TO) f=151 TT=2519.97 T1=56.95	SAT (TO) f=159 TT=2520.08 T1=345.96	SAT (TO) f=215 TT=2520.05 T1=1375.41	SAT (TO) f=151 TT=2520.03 T1=410.12	SAT (TO) f=95 TT=20037.801 T1=2411.39	SAT (TO) f=95 TT=20043.5 T1=18823.99	SAT (TO) f=247 TT=2400.1 T1=2048.79	SAT (TO) f=191 TT=2400.58 T1=112.13	SAT (TO) f=175 TT=2400.7 T1=258.23	SAT (TO) f=143 TT=2400.07 T1=2131.54	No Cert. TT=2400.06	No Cert. TT=2400.08	SAT (TO) f=151 TT=2400.09 T1=58.75	SAT (TO) f=167 TT=2400.09 T1=199.04	SAT (TO) f=215 TT=2400.09 T1=1425.45	SAT (TO) f=151 TT=2400.07 T1=217.16	SAT (TO) f=151 TT=2400.13 T1=1927.33	SAT (TO) f=151 TT=2520.12 T1=1899.97
LowAutocorrelation/ LowAutocorrelation-m1-s1/ LowAutocorrelation-040.xml	SAT TO f=136 TT=19993 T1=2027.85	SAT (TO) f=248 TT=2520.07 T1=650.13	SAT (TO) f=132 TT=20097.699 T1=2115.8	SAT (TO) f=164 TT=20098.301 T1=410.12	SAT (TO) f=216 TT=2520.09 T1=1817.26	SAT (TO) f=216 TT=2520.04 T1=1819.89	SAT (TO) f=188 TT=2520.1 T1=1868.09	SAT (TO) f=188 TT=2520.12 T1=1876.3	SAT (TO) f=160 TT=2520.1 T1=493.6	SAT (TO) f=500 TT=2519.59 T1=2520	SAT (TO) f=328 TT=2519.74 T1=2520	SAT (TO) f=152 TT=2519.85 T1=1298.23	SAT (TO) f=200 TT=2520.05 T1=1281.05	SAT (TO) f=216 TT=2520.1 T1=1786	SAT (TO) f=192 TT=2520.1 T1=683.64	SAT (TO) f=136 TT=20030 T1=2027.85	SAT (TO) f=136 TT=19993 T1=11142.86	SAT (TO) f=248 TT=2400.07 T1=651.32	SAT (TO) f=196 TT=2400.08 T1=123.14	SAT (TO) f=216 TT=2400.43 T1=175.82	SAT (TO) f=160 TT=2400.1 T1=527.71	No Cert. TT=2400.01	No Cert. TT=2400.04	SAT (TO) f=152 TT=2400.09 T1=1333.66	SAT (TO) f=188 TT=2400.05 T1=107.82	SAT (TO) f=216 TT=2400.07 T1=1791.76	SAT (TO) f=204 TT=2400.14 T1=102.38	SAT (TO) f=180 TT=2400.17 T1=1686.52	SAT (TO) f=180 TT=2520.14 T1=1687.92
LowAutocorrelation/ LowAutocorrelation-m1-s1/ LowAutocorrelation-042.xml	SAT TO f=157 TT=20003.6 T1=7.31	SAT (TO) f=349 TT=2520.03 T1=1093.58	SAT (TO) f=221 TT=20097 T1=582.92	SAT (TO) f=205 TT=20091.301 T1=2303.9	SAT (TO) f=253 TT=2520.05 T1=50.25	SAT (TO) f=253 TT=2520.1 T1=51.36	SAT (TO) f=269 TT=2520.06 T1=145.59	SAT (TO) f=269 TT=2520.82 T1=149.81	SAT (TO) f=229 TT=2520.13 T1=2422.87	SAT (TO) f=269 TT=2519.91 T1=2520	SAT (TO) f=333 TT=2520.01 T1=2519.8	SAT (TO) f=181 TT=2520.03 T1=936.6	SAT (TO) f=197 TT=2520.04 T1=1981.47	SAT (TO) f=309 TT=2520.06 T1=1158.79	SAT (TO) f=237 TT=2520.08 T1=1502.36	SAT (TO) f=157 TT=20003.6 T1=7.31	SAT (TO) f=157 TT=20049.9 T1=37.57	SAT (TO) f=349 TT=2400.05 T1=1035.69	SAT (TO) f=237 TT=2400.46 T1=28.11	SAT (TO) f=197 TT=2400.32 T1=74.17	SAT (TO) f=229 TT=2400.1 T1=2089.16	No Cert. TT=2400.06	No Cert. TT=2400.05	SAT (TO) f=181 TT=2400.04 T1=919.09	SAT (TO) f=221 TT=2400.04 T1=565.83	SAT (TO) f=309 TT=2400.06 T1=1189.54	SAT (TO) f=221 TT=2400.04 T1=1269.5	SAT (TO) f=213 TT=2400.13 T1=1544.38	SAT (TO) f=213 TT=2520.12 T1=1557.55
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
LowAutocorrelation/ LowAutocorrelation-m1-s1/ LowAutocorrelation-054.xml	SAT TO f=351 TT=2400.01 T1=1867.17	SAT (TO) f=583 TT=2520.04 T1=465.41	SAT (TO) f=295 TT=20094 T1=1816.46	SAT (TO) f=479 TT=20092.6 T1=559.58	SAT (TO) f=503 TT=2520.09 T1=269.75	SAT (TO) f=503 TT=2520.04 T1=274.89	SAT (TO) f=535 TT=2520.08 T1=565.83	SAT (TO) f=535 TT=2520.06 T1=541.9	SAT (TO) f=439 TT=2520.13 T1=34.8	SAT (TO) f=471 TT=2519.99 T1=2520	SAT (TO) f=559 TT=2519.84 T1=2520	SAT (TO) f=351 TT=2519.66 T1=1879.08	SAT (TO) f=375 TT=2520.08 T1=435.12	SAT (TO) f=983 TT=2520.07 T1=1942.08	SAT (TO) f=391 TT=2520.03 T1=724.33	SAT (TO) f=447 TT=19963.6 T1=756.68	SAT (TO) f=447 TT=20061 T1=4101.19	SAT (TO) f=583 TT=2400.03 T1=453.01	SAT (TO) f=503 TT=2400.63 T1=6.49	SAT (TO) f=455 TT=2400.17 T1=94.54	SAT (TO) f=439 TT=2400.13 T1=35.5	No Cert. TT=2400.01	No Cert. TT=2400.06	SAT (TO) f=351 TT=2400.01 T1=1867.17	SAT (TO) f=431 TT=2400.12 T1=1969.73	SAT (TO) f=983 TT=2400.13 T1=1981.21	SAT (TO) f=367 TT=2400.13 T1=786.95	SAT (TO) f=439 TT=2400.17 T1=1517.16	SAT (TO) f=439 TT=2520.17 T1=1475.7
LowAutocorrelation/ LowAutocorrelation-m1-s1/ LowAutocorrelation-055.xml	SAT TO f=331 TT=2520.13 T1=487.83	SAT (TO) f=683 TT=2520.04 T1=340.98	SAT (TO) f=419 TT=20098.4 T1=68.22	SAT (TO) f=447 TT=20095.801 T1=2480.08	SAT (TO) f=507 TT=2520.04 T1=1022.62	SAT (TO) f=507 TT=2520.04 T1=1024.66	SAT (TO) f=519 TT=2520.08 T1=262.08	SAT (TO) f=519 TT=2520.1 T1=267.94	SAT (TO) f=383 TT=2520.12 T1=1806.8	SAT (TO) f=683 TT=2520.06 T1=2519.9	SAT (TO) f=831 TT=2519.86 T1=2520.01	SAT (TO) f=363 TT=2519.97 T1=708.33	SAT (TO) f=331 TT=2520.13 T1=487.83	SAT (TO) f=875 TT=2520.1 T1=2437.87	SAT (TO) f=379 TT=2520.06 T1=1166.07	SAT (TO) f=399 TT=20056.699 T1=1625.33	SAT (TO) f=399 TT=20033.301 T1=18705.869	SAT (TO) f=683 TT=2400.04 T1=341.49	SAT (TO) f=455 TT=2400 T1=68.13	SAT (TO) f=403 TT=2400.78 T1=282.23	SAT (TO) f=383 TT=2400.06 T1=1909.43	No Cert. TT=2400.08	No Cert. TT=2400.03	SAT (TO) f=363 TT=2400.03 T1=744.56	SAT (TO) f=443 TT=2400.11 T1=235.07	SAT (TO) f=931 TT=2400.04 T1=1552	SAT (TO) f=355 TT=2400.19 T1=1601.04	SAT (TO) f=455 TT=2400.14 T1=1469.29	SAT (TO) f=455 TT=2520.12 T1=1471.1
LowAutocorrelation/ LowAutocorrelation-m1-s1/ LowAutocorrelation-057.xml	SAT TO f=388 TT=2400.09 T1=1423.02	SAT (TO) f=740 TT=2520.05 T1=2310.95	SAT (TO) f=512 TT=20093.4 T1=19.57	SAT (TO) f=496 TT=20085.9 T1=459.02	SAT (TO) f=524 TT=2520.04 T1=1901.81	SAT (TO) f=524 TT=2520.09 T1=1869.78	SAT (TO) f=656 TT=2520.07 T1=766.22	SAT (TO) f=656 TT=2520.18 T1=767.15	SAT (TO) f=416 TT=2520.07 T1=925.88	SAT (TO) f=772 TT=2519.96 T1=2520	SAT (TO) f=732 TT=2519.99 T1=2520	SAT (TO) f=388 TT=2519.99 T1=1423.02	SAT (TO) f=440 TT=2520.13 T1=1728.73	SAT (TO) f=1316 TT=2520.09 T1=329.86	SAT (TO) f=444 TT=2520.1 T1=902.72	SAT (TO) f=564 TT=19967.801 T1=955.92	SAT (TO) f=520 TT=19986.5 T1=18368.26	SAT (TO) f=740 TT=2400.12 T1=1985.19	SAT (TO) f=552 TT=2400.32 T1=35.81	SAT (TO) f=484 TT=2400.64 T1=169.2	SAT (TO) f=416 TT=2400.07 T1=785.96	No Cert. TT=2400.01	No Cert. TT=2400.03	SAT (TO) f=388 TT=2400.09 T1=1440.63	SAT (TO) f=448 TT=2400.11 T1=1710.28	SAT (TO) f=1316 TT=2400.07 T1=340.88	SAT (TO) f=396 TT=2400.05 T1=692.89	SAT (TO) f=544 TT=2400.14 T1=1095.41	SAT (TO) f=544 TT=2520.11 T1=1331.47
LowAutocorrelation/ LowAutocorrelation-m1-s1/ LowAutocorrelation-069.xml	SAT TO f=598 TT=2400.05 T1=172.54	SAT (TO) f=1166 TT=2520.18 T1=1088.09	SAT (TO) f=818 TT=20096.301 T1=1971.36	SAT (TO) f=886 TT=20028.9 T1=1042.41	SAT (TO) f=906 TT=2520.03 T1=93.62	SAT (TO) f=906 TT=2520.07 T1=95.59	SAT (TO) f=1174 TT=2520.13 T1=18.45	SAT (TO) f=1174 TT=2520.06 T1=18.48	SAT (TO) f=706 TT=2520.11 T1=142.83	SAT (TO) f=1466 TT=2519.97 T1=2520	SAT (TO) f=1838 TT=2519.64 T1=2520	SAT (TO) f=598 TT=2520.06 T1=193.22	SAT (TO) f=710 TT=2520.08 T1=370.83	SAT (TO) f=2902 TT=2520.12 T1=254.19	SAT (TO) f=742 TT=2520.06 T1=1444.22	SAT (TO) f=1058 TT=20003.5 T1=59.33	SAT (TO) f=1058 TT=20011.1 T1=547.19	SAT (TO) f=1166 TT=2400.1 T1=931.11	SAT (TO) f=794 TT=2400.2 T1=290.08	Wrong Opt. f=2026 TT=18.719 T1=3.8	SAT (TO) f=706 TT=2400.08 T1=149.04	SAT (TO) f=1466 TT=2400.05 T1=1468.18	SAT (TO) f=1838 TT=2400.03 T1=154.32	SAT (TO) f=598 TT=2400.05 T1=172.54	SAT (TO) f=746 TT=2400.2 T1=1724.05	SAT (TO) f=2902 TT=2400.13 T1=260.43	SAT (TO) f=682 TT=2400.12 T1=1512.04	SAT (TO) f=898 TT=2400.13 T1=1327.51	SAT (TO) f=898 TT=2520.11 T1=1343.2
LowAutocorrelation/ LowAutocorrelation-m1-s1/ LowAutocorrelation-081.xml	SAT TO f=864 TT=2400.06 T1=1052.17	SAT (TO) f=2020 TT=2520.09 T1=1544.92	SAT (TO) f=1412 TT=20040.6 T1=1974.83	SAT (TO) f=1200 TT=20042.301 T1=1923.97	SAT (TO) f=1380 TT=2520.1 T1=2135.86	SAT (TO) f=1380 TT=2520.1 T1=2122.76	SAT (TO) f=1636 TT=2520.03 T1=30.66	SAT (TO) f=1636 TT=2520.06 T1=30.6	SAT (TO) f=1028 TT=2520.14 T1=696.99	SAT (TO) f=1716 TT=2519.7 T1=2520	SAT (TO) f=2764 TT=2520.07 T1=2520	SAT (TO) f=864 TT=2520.03 T1=1052.17	SAT (TO) f=980 TT=2520.09 T1=1440.68	SAT (TO) f=3516 TT=2520.08 T1=1791.16	SAT (TO) f=1044 TT=2520.1 T1=1527.58	SAT (TO) f=1792 TT=19969.4 T1=904.69	SAT (TO) f=1792 TT=20004.699 T1=14965.86	SAT (TO) f=2020 TT=2400.06 T1=1483.51	SAT (TO) f=1508 TT=2400.03 T1=121.03	SAT (TO) f=1208 TT=2400.66 T1=245.62	SAT (TO) f=1028 TT=2400.14 T1=694.66	No Cert. TT=2400.05	No Cert. TT=2400.1	SAT (TO) f=864 TT=2400.06 T1=1074.5	SAT (TO) f=988 TT=2400.09 T1=2154.43	SAT (TO) f=3516 TT=2400.09 T1=1798.5	SAT (TO) f=1136 TT=2400.15 T1=1482.5	SAT (TO) f=1564 TT=2402.61 T1=2249.63	SAT (TO) f=1512 TT=2520.26 T1=2459.55
LowAutocorrelation/ LowAutocorrelation-m1-s1/ LowAutocorrelation-084.xml	SAT TO f=782 TT=2520.15 T1=1590.8	SAT (TO) f=1690 TT=2520.07 T1=576.45	SAT (TO) f=1438 TT=19975.5 T1=408.53	SAT (TO) f=958 TT=19870.301 T1=2159.99	SAT (TO) f=1498 TT=2520.1 T1=2111.82	SAT (TO) f=1498 TT=2520.03 T1=2120.28	SAT (TO) f=1446 TT=2520.13 T1=12	SAT (TO) f=1446 TT=2520.09 T1=11.84	SAT (TO) f=1046 TT=2520.14 T1=134.6	SAT (TO) f=2798 TT=2520.1 T1=2520	SAT (TO) f=2358 TT=2519.79 T1=2520.01	SAT (TO) f=834 TT=2519.82 T1=668.63	SAT (TO) f=1066 TT=2520.14 T1=1649.99	SAT (TO) f=5522 TT=2520.09 T1=2022.5	SAT (TO) f=782 TT=2520.15 T1=1590.8	SAT (TO) f=1822 TT=20031.5 T1=2121.21	SAT (TO) f=1830 TT=20015 T1=3965.12	SAT (TO) f=1690 TT=2400.08 T1=565.17	Wrong Opt. f=116074 TT=29.851 T1=9.02	Wrong Opt. f=110694 TT=29.966 T1=8.96	SAT (TO) f=1046 TT=2400.14 T1=132.85	No Cert. TT=2400.07	No Cert. TT=2400.11	SAT (TO) f=834 TT=2400.11 T1=672.46	SAT (TO) f=1054 TT=2400.15 T1=888.33	SAT (TO) f=5522 TT=2400.11 T1=2121.66	SAT (TO) f=1242 TT=2400.26 T1=1489.99	SAT (TO) f=1654 TT=2400.22 T1=1081.42	SAT (TO) f=1654 TT=2520.14 T1=1083.22
LowAutocorrelation/ LowAutocorrelation-m1-s1/ LowAutocorrelation-096.xml	SAT TO f=1188 TT=2519.84 T1=2296.78	SAT (TO) f=2568 TT=2520.03 T1=167.23	SAT (TO) f=1960 TT=20088.801 T1=1910.36	SAT (TO) f=1960 TT=19939.301 T1=1947.46	SAT (TO) f=1960 TT=2520.09 T1=1147.92	SAT (TO) f=1960 TT=2520.04 T1=1138.35	SAT (TO) f=2248 TT=2520.07 T1=108.47	SAT (TO) f=2248 TT=2524.39 T1=107.91	SAT (TO) f=1456 TT=2520.16 T1=357.32	SAT (TO) f=3292 TT=2519.77 T1=2520	SAT (TO) f=3396 TT=2519.87 T1=2520.01	SAT (TO) f=1188 TT=2519.84 T1=2296.78	SAT (TO) f=1492 TT=2520.09 T1=1581.95	SAT (TO) f=7484 TT=2520.12 T1=2397.42	SAT (TO) f=1332 TT=2520.1 T1=1554.74	SAT (TO) f=4836 TT=20051.6 T1=1974.28	SAT (TO) f=4284 TT=20026.199 T1=12433.36	SAT (TO) f=2568 TT=2400.1 T1=166.13	Wrong Opt. f=199320 TT=39.588 T1=10.57	SAT (TO) f=2236 TT=2400.02 T1=60.91	SAT (TO) f=1456 TT=2400.15 T1=456.26	No Cert. TT=2400.02	No Cert. TT=2400.08	SAT (TO) f=1236 TT=2400.04 T1=2365.87	SAT (TO) f=1388 TT=2400.1 T1=1616.72	SAT (TO) f=7712 TT=2400.12 T1=2343.21	SAT (TO) f=1344 TT=2400.13 T1=1303.18	SAT (TO) f=2312 TT=2400.23 T1=1617.02	SAT (TO) f=2312 TT=2520.15 T1=1542.04
Opd/Opd-sum-large/ Opd-02-350-100.xml	OPT f=0 TT=1.08 T1=0.79	OPT f=0 TT=1.747 T1=0.86	OPT f=0 TT=5.083 T1=1.16	OPT f=0 TT=4.14 T1=0.97	OPT f=0 TT=1.653 T1=0.84	OPT f=0 TT=1.649 T1=0.79	OPT f=0 TT=13.283 T1=7.54	OPT f=0 TT=14.553 T1=7.56	OPT f=0 TT=20.84 T1=9.09	OPT f=0 TT=1012.33 T1=1012.39	? (TO) TT=2519.92	OPT f=0 TT=1.114 T1=1.21	SAT (TO) f=0 TT=2520.08 T1=48.74	OPT f=0 TT=5.299 T1=2.18	OPT f=0 TT=6.538 T1=2.57	OPT f=0 TT=57.205 T1=44.61	OPT f=0 TT=54.571 T1=53.96	OPT f=0 TT=2.077 T1=0.86	OPT f=0 TT=3.556 T1=0.93	OPT f=0 TT=4.276 T1=1.03	OPT f=0 TT=25.624 T1=9.08	OPT f=0 TT=1022.74 T1=1022.83	? (TO) TT=2400.03	OPT f=0 TT=1.08 T1=1.07	SAT (TO) f=0 TT=2400.04 T1=51.22	OPT f=0 TT=6.625 T1=2.06	OPT f=0 TT=5.206 T1=1.73	OPT f=0 TT=71.186 T1=44.41	OPT f=0 TT=51.389 T1=39.57
Opd/Opd-sum-large/ Opd-03-035-010.xml	OPT f=0 TT=0.027 T1=0.04	OPT f=0 TT=1.147 T1=0.67	OPT f=0 TT=1.405 T1=0.58	OPT f=0 TT=1.379 T1=0.58	OPT f=0 TT=0.969 T1=0.59	OPT f=0 TT=0.984 T1=0.67	OPT f=0 TT=1.211 T1=0.67	OPT f=0 TT=1.195 T1=0.67	OPT f=0 TT=10.051 T1=4.5	? (TO) TT=2520	? (TO) TT=2519.96	OPT f=0 TT=0.027 T1=0.09	SAT (TO) f=0 TT=2520.08 T1=4.74	OPT f=0 TT=1.546 T1=0.96	OPT f=0 TT=1.552 T1=0.95	OPT f=0 TT=7.541 T1=1.9	OPT f=0 TT=7.816 T1=7.48	OPT f=0 TT=1.328 T1=0.65	OPT f=0 TT=1.498 T1=0.61	OPT f=0 TT=1.493 T1=0.61	OPT f=0 TT=12.053 T1=5.05	? (TO) TT=2400.04	? (TO) TT=2400.03	OPT f=0 TT=0.043 T1=0.04	SAT (TO) f=0 TT=2400.06 T1=1.01	OPT f=0 TT=1.697 T1=0.85	OPT f=0 TT=1.694 T1=0.85	OPT f=0 TT=4.306 T1=1.43	OPT f=0 TT=2.947 T1=1.64
Opd/Opd-sum-large/ Opd-07-035-010.xml	OPT f=2 TT=1.563 T1=1.22	OPT f=2 TT=2.739 T1=1.41	OPT f=2 TT=5.638 T1=1.22	OPT f=2 TT=5.664 T1=1.22	OPT f=2 TT=16.912 T1=14.63	OPT f=2 TT=17.038 T1=14.73	OPT f=2 TT=31.788 T1=23.68	OPT f=2 TT=31.313 T1=23.07	OPT f=2 TT=220.08 T1=196.3	SAT (TO) f=10 TT=2519.82 T1=0.67	? (TO) TT=2520.06	OPT f=2 TT=1.563 T1=1.66	SAT (TO) f=2 TT=2520.07 T1=126.09	OPT f=2 TT=9.483 T1=5.33	OPT f=2 TT=1802.14 T1=64.28	OPT f=2 TT=13.238 T1=2.85	OPT f=2 TT=10.538 T1=9.57	OPT f=2 TT=3.015 T1=1.29	OPT f=2 TT=12.244 T1=2.09	OPT f=2 TT=10.783 T1=1.93	OPT f=2 TT=238.944 T1=208.18	? (TO) TT=2400.09	? (TO) TT=2400.01	OPT f=2 TT=1.574 T1=1.57	SAT (TO) f=2 TT=2400.05 T1=119.43	OPT f=2 TT=9.823 T1=5.13	OPT f=2 TT=1736.52 T1=42.98	OPT f=2 TT=14.815 T1=10.93	OPT f=2 TT=18.867 T1=15.4
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
Opd/Opd-sum-large/ Opd-07-350-100.xml	SAT TO f=22 TT=19965.9 T1=41.81	SAT (TO) f=98 TT=2520.11 T1=1.72	SAT (TO) f=20 TT=20099.9 T1=2255.83	SAT (TO) f=23 TT=20097.5 T1=886.2	? (TO) TT=2520.03	SAT (TO) f=46 TT=2520.1 T1=831.09	? (TO) TT=2520.05	SAT (TO) f=95 TT=2520.05 T1=562.73	? (TO) TT=2522.1	? (TO) TT=2520.08	? (TO) TT=2520.02	SAT (TO) f=24 TT=2519.78 T1=2475.98	SAT (TO) f=51 TT=2520.11 T1=2380.94	SAT (TO) f=47 TT=2520.07 T1=2261.36	SAT (TO) f=59 TT=2520.11 T1=1697.16	SAT (TO) f=22 TT=19965.9 T1=41.81	SAT (TO) f=23 TT=19955.301 T1=350.78	SAT (TO) f=98 TT=2400.08 T1=1.53	SAT (TO) f=100 TT=2400.55 T1=254.98	SAT (TO) f=100 TT=2400.68 T1=269.46	? (TO) TT=2405.49	? (TO) TT=2400.09	? (TO) TT=2400.01	SAT (TO) f=24 TT=2400.08 T1=2333.18	SAT (TO) f=73 TT=2400.11 T1=1895.25	SAT (TO) f=100 TT=2400.11 T1=1.45	SAT (TO) f=58 TT=2400.12 T1=1587.83	? (TO) TT=2400.14	? (TO) TT=2520.11
Opd/Opd-sum-large/ Opd-10-325-100.xml	SAT TO f=28 TT=20060.301 T1=884.87	SAT (TO) f=99 TT=2520.08 T1=1.76	SAT (TO) f=99 TT=20099.9 T1=20.35	SAT (TO) f=35 TT=20089.5 T1=1891.56	SAT (TO) f=98 TT=2520.03 T1=150.45	SAT (TO) f=51 TT=2520.06 T1=437.02	SAT (TO) f=100 TT=2520.09 T1=678.02	? (TO) TT=2520.1	? (TO) TT=2523.29	? (TO) TT=2519.99	? (TO) TT=2520.01	SAT (TO) f=39 TT=2519.9 T1=1777.86	SAT (TO) f=79 TT=2520.13 T1=2044.79	SAT (TO) f=83 TT=2520.12 T1=2457.15	SAT (TO) f=79 TT=2520.05 T1=1724.47	SAT (TO) f=28 TT=20060.301 T1=884.87	SAT (TO) f=30 TT=20066.801 T1=5688.23	SAT (TO) f=99 TT=2400.1 T1=1.59	SAT (TO) f=99 TT=2400.17 T1=41.04	SAT (TO) f=99 TT=2400.77 T1=40.04	? (TO) TT=2408.63	? (TO) TT=2400.08	? (TO) TT=2400.07	SAT (TO) f=39 TT=2400.01 T1=1836.59	SAT (TO) f=71 TT=2400.14 T1=1674.48	SAT (TO) f=100 TT=2400.07 T1=1.71	SAT (TO) f=80 TT=2400.18 T1=1630.54	? (TO) TT=2400.15	? (TO) TT=2520.15
Opd/Opd-sum-large/ Opd-10-360-120.xml	SAT TO f=37 TT=20056.5 T1=1278.35	SAT (TO) f=119 TT=2520.05 T1=1.84	SAT (TO) f=120 TT=20100.5 T1=7.16	SAT (TO) f=50 TT=20076.4 T1=2287.23	? (TO) TT=2520.04	SAT (TO) f=77 TT=2520.11 T1=1246.33	SAT (TO) f=119 TT=2520.06 T1=705.21	SAT (TO) f=120 TT=2520.1 T1=871.31	? (TO) TT=2523.69	? (TO) TT=2520	? (TO) TT=2520.06	SAT (TO) f=56 TT=2519.78 T1=1315.01	SAT (TO) f=98 TT=2520.12 T1=2195.82	SAT (TO) f=120 TT=2520.1 T1=1.84	SAT (TO) f=84 TT=2520.15 T1=2452.2	SAT (TO) f=37 TT=20056.5 T1=1278.35	SAT (TO) f=39 TT=20060 T1=16897.42	SAT (TO) f=119 TT=2400.09 T1=1.83	SAT (TO) f=120 TT=2400.22 T1=9.77	SAT (TO) f=120 TT=2400.45 T1=9.53	? (TO) TT=2409.56	? (TO) TT=2400.11	? (TO) TT=2400.09	SAT (TO) f=56 TT=2400.04 T1=1364.46	SAT (TO) f=109 TT=2400.06 T1=986.69	SAT (TO) f=120 TT=2400.2 T1=1.73	SAT (TO) f=100 TT=2400.07 T1=1474.24	? (TO) TT=2400.17	? (TO) TT=2520.1
Opd/Opd-sum-large/ Opd-12-350-100.xml	SAT TO f=38 TT=2400.1 T1=2183.84	SAT (TO) f=98 TT=2520.12 T1=2.51	SAT (TO) f=100 TT=20084.1 T1=108.56	SAT (TO) f=47 TT=20062 T1=1963.95	? (TO) TT=2520.03	? (TO) TT=2520.09	? (TO) TT=2520.12	SAT (TO) f=70 TT=2520.12 T1=2083.39	? (TO) TT=2524.82	? (TO) TT=2519.97	? (TO) TT=2519.86	SAT (TO) f=38 TT=2519.79 T1=2193.88	SAT (TO) f=92 TT=2520.12 T1=708.34	SAT (TO) f=100 TT=2520.1 T1=2.02	SAT (TO) f=91 TT=2520.13 T1=1528.45	SAT (TO) f=64 TT=20056.199 T1=2035.79	SAT (TO) f=97 TT=20061.801 T1=1332.17	SAT (TO) f=98 TT=2400.09 T1=2.48	SAT (TO) f=100 TT=2400.1 T1=202.57	SAT (TO) f=100 TT=2400.63 T1=196.28	? (TO) TT=2411.78	? (TO) TT=2400.03	? (TO) TT=2400.04	SAT (TO) f=38 TT=2400.1 T1=2183.84	SAT (TO) f=71 TT=2400.1 T1=1996.89	SAT (TO) f=100 TT=2400.1 T1=1.92	SAT (TO) f=86 TT=2400.23 T1=873.8	? (TO) TT=2400.2	? (TO) TT=2520.12
Opd/Opd-sum-large/ Opd-13-035-010.xml	OPT f=3 TT=0.801 T1=0.82	OPT f=3 TT=3.913 T1=1.96	OPT f=3 TT=26.191 T1=3.94	OPT f=3 TT=14.449 T1=2.4	OPT f=3 TT=4.897 T1=2.47	OPT f=3 TT=4.863 T1=2.51	OPT f=3 TT=21.583 T1=14.92	OPT f=3 TT=22.156 T1=14.8	SAT (TO) f=4 TT=2520.11 T1=185.32	SAT (TO) f=10 TT=2520.02 T1=1.27	? (TO) TT=2519.96	OPT f=3 TT=0.801 T1=0.87	SAT (TO) f=3 TT=2520.09 T1=261.16	OPT f=3 TT=4.433 T1=1.87	OPT f=3 TT=3.923 T1=1.67	OPT f=3 TT=13.024 T1=2.73	OPT f=3 TT=13.838 T1=12.75	OPT f=3 TT=4.558 T1=2	OPT f=3 TT=30.769 T1=4.59	OPT f=3 TT=46.036 T1=6.42	SAT (TO) f=4 TT=2400.1 T1=173.82	No Cert. TT=2400.02	? (TO) TT=2400.07	OPT f=3 TT=0.839 T1=0.82	SAT (TO) f=3 TT=2400.11 T1=397.91	OPT f=3 TT=5.491 T1=1.74	OPT f=3 TT=4.707 T1=1.57	OPT f=3 TT=91.326 T1=85.84	OPT f=3 TT=122.976 T1=118.61
Opd/Opd-sum-large/ Opd-14-035-010.xml	OPT f=3 TT=0.433 T1=0.51	OPT f=3 TT=6.13 T1=4.37	OPT f=3 TT=34.257 T1=4.89	OPT f=3 TT=31.792 T1=4.61	OPT f=3 TT=5.393 T1=2.86	OPT f=3 TT=5.259 T1=2.74	OPT f=3 TT=19.535 T1=9.47	OPT f=3 TT=19.859 T1=9.67	SAT (TO) f=4 TT=2520.06 T1=55.85	SAT (TO) f=10 TT=2519.85 T1=1.38	? (TO) TT=2519.58	OPT f=3 TT=0.433 T1=0.51	SAT (TO) f=3 TT=2520.05 T1=508.55	OPT f=3 TT=166.918 T1=162.1	OPT f=3 TT=1810.94 T1=38.49	OPT f=3 TT=17.525 T1=3.4	OPT f=3 TT=15.61 T1=14.49	OPT f=3 TT=6.64 T1=4.28	OPT f=3 TT=52.154 T1=7.19	OPT f=3 TT=49.162 T1=6.85	SAT (TO) f=4 TT=2400.06 T1=56.68	No Cert. TT=2400.04	? (TO) TT=2400.1	OPT f=3 TT=0.521 T1=0.51	SAT (TO) f=3 TT=2400.11 T1=484.88	OPT f=3 TT=169.467 T1=163.04	OPT f=3 TT=1749.47 T1=176.17	OPT f=3 TT=140.405 T1=134.82	OPT f=3 TT=183.471 T1=178.73
Opd/Opd-sum-large/ Opd-29-350-100.xml	SAT TO f=80 TT=2520.07 T1=879.92	SAT (TO) f=99 TT=2520.09 T1=7.59	? (TO) TT=20057.5	SAT (TO) f=80 TT=20005.4 T1=1362.89	? (TO) TT=2520.07	SAT (TO) f=80 TT=2520.07 T1=879.92	? (TO) TT=2520.04	? (TO) TT=2520.05	? (TO) TT=2527.75	? (TO) TT=2519.63	? (TO) TT=2519.89	? (TO) TT=2519.87	SAT (TO) f=100 TT=2520.16 T1=21.85	SAT (TO) f=100 TT=2520.12 T1=4.4	SAT (TO) f=100 TT=2520.14 T1=4.43	SAT (TO) f=97 TT=20006.4 T1=906.86	SAT (TO) f=98 TT=20022.801 T1=6708.83	SAT (TO) f=99 TT=2400.06 T1=7.62	? (TO) TT=2400.34	? (TO) TT=2400.54	? (TO) TT=2415.37	? (TO) TT=2400.1	? (TO) TT=2400.1	? (TO) TT=2400.06	SAT (TO) f=100 TT=2400.14 T1=33.05	SAT (TO) f=100 TT=2400.15 T1=4.46	SAT (TO) f=99 TT=2400.09 T1=519.37	? (TO) TT=2416.27	? (TO) TT=2528.11
Opd/Opd-sum-large/ Opd-46-035-010.xml	SAT TO f=4 TT=2400.07 T1=53.54	SAT (TO) f=6 TT=2520.22 T1=80.98	SAT (TO) f=5 TT=20056.6 T1=141.38	SAT (TO) f=5 TT=20058 T1=141.35	SAT (TO) f=5 TT=2520.07 T1=134.07	SAT (TO) f=5 TT=2520.04 T1=133.43	SAT (TO) f=5 TT=2520.08 T1=142.72	SAT (TO) f=5 TT=2521.17 T1=142.48	? (TO) TT=2526.12	SAT (TO) f=10 TT=2519.89 T1=9.45	? (TO) TT=2520.04	SAT (TO) f=4 TT=2519.93 T1=114.48	SAT (TO) f=5 TT=2520.14 T1=855.35	SAT (TO) f=9 TT=2520.11 T1=3.83	SAT (TO) f=5 TT=2520.13 T1=201.11	SAT (TO) f=4 TT=20040.6 T1=53.54	SAT (TO) f=5 TT=20055 T1=72.64	SAT (TO) f=6 TT=2400.27 T1=83.77	SAT (TO) f=6 TT=2400.08 T1=112.52	SAT (TO) f=6 TT=2400.15 T1=117.6	? (TO) TT=2414.22	No Cert. TT=2400.06	? (TO) TT=2400.01	SAT (TO) f=4 TT=2400.07 T1=92.03	SAT (TO) f=5 TT=2400.11 T1=644.24	SAT (TO) f=9 TT=2400.12 T1=3.36	SAT (TO) f=6 TT=2400.08 T1=241.54	SAT (TO) f=6 TT=2400.35 T1=1514.3	SAT (TO) f=6 TT=2520.28 T1=1530.98
Opd/Opd-sum-large/ Opd-46-350-100.xml	SAT TO f=96 TT=2400.15 T1=1563.18	SAT (TO) f=99 TT=2520.1 T1=17.76	? (TO) TT=19994.801	SAT (TO) f=98 TT=19845.199 T1=221.52	? (TO) TT=2520.13	? (TO) TT=2520.1	? (TO) TT=2520.1	? (TO) TT=2520.04	? (TO) TT=2527.91	? (TO) TT=2520.03	? (TO) TT=2520	? (TO) TT=2519.48	SAT (TO) f=100 TT=2520.11 T1=767.57	SAT (TO) f=100 TT=2520.14 T1=9.01	SAT (TO) f=98 TT=2520.18 T1=1466.45	SAT (TO) f=99 TT=19950.4 T1=2377.12	SAT (TO) f=99 TT=19961.4 T1=19144.32	SAT (TO) f=99 TT=2400.07 T1=18.05	? (TO) TT=2400.4	? (TO) TT=2400.4	? (TO) TT=2415.5	? (TO) TT=2400.16	? (TO) TT=2400.19	? (TO) TT=2400.08	SAT (TO) f=100 TT=2400.15 T1=89.32	SAT (TO) f=100 TT=2400.15 T1=9.67	SAT (TO) f=96 TT=2400.15 T1=1563.18	? (TO) TT=2416.27	? TT=1439
Opd/Opd-sum-small/ Opd-09-037-012.xml	OPT f=3 TT=44.46 T1=42.75	OPT f=3 TT=44.46 T1=42.75	OPT f=3 TT=2573.78 T1=323.1	SAT (TO) f=4 TT=20099 T1=1.09	SAT (TO) f=4 TT=2520.08 T1=3.14	SAT (TO) f=4 TT=2520.04 T1=3.09	SAT (TO) f=4 TT=2520.07 T1=19.01	SAT (TO) f=4 TT=2520.1 T1=19.16	SAT (TO) f=4 TT=2520.11 T1=1956.49	SAT (TO) f=12 TT=2520 T1=1.14	? (TO) TT=2520.04	OPT f=3 TT=803.672 T1=803.8	SAT (TO) f=3 TT=2520.04 T1=878.63	SAT (TO) f=4 TT=2520.04 T1=1.75	SAT (TO) f=4 TT=2520.04 T1=1.63	SAT (TO) f=4 TT=19917.1 T1=2.81	OPT f=3 TT=77.767 T1=76.93	OPT f=3 TT=45.612 T1=43.28	OPT f=3 TT=937.293 T1=118.3	SAT (TO) f=4 TT=2400.45 T1=1.25	SAT (TO) f=4 TT=2400.15 T1=2092.08	SAT (TO) f=12 TT=2400.06 T1=1.14	? (TO) TT=2400.04	OPT f=3 TT=801.499 T1=801.57	SAT (TO) f=4 TT=2400.12 T1=115.68	SAT (TO) f=4 TT=2400.03 T1=1.45	SAT (TO) f=4 TT=2400.09 T1=1.62	OPT f=3 TT=135.129 T1=130.62	OPT f=3 TT=168.607 T1=164.37
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
Opd/Opd-sum-small/ Opd-10-026-004.xml	OPT f=1 TT=0.138 T1=0.16	OPT f=1 TT=1.604 T1=0.84	OPT f=1 TT=3.412 T1=0.91	OPT f=1 TT=3.189 T1=0.88	OPT f=1 TT=2.74 T1=1.16	OPT f=1 TT=2.548 T1=1.15	OPT f=1 TT=10.249 T1=3.86	OPT f=1 TT=9.642 T1=29.59	OPT f=1 TT=17.547 T1=6.93	OPT f=1 TT=3.665 T1=3.74	OPT f=1 TT=1129 T1=1129.04	OPT f=1 TT=0.138 T1=0.23	SAT (TO) f=1 TT=2520.04 T1=16.15	OPT f=1 TT=2.188 T1=1.18	OPT f=1 TT=2.207 T1=1.14	OPT f=1 TT=10.582 T1=2.61	OPT f=1 TT=10.226 T1=9.15	OPT f=1 TT=1.846 T1=0.76	OPT f=1 TT=3.785 T1=1.04	OPT f=1 TT=3.792 T1=0.97	OPT f=1 TT=21.777 T1=6.71	OPT f=1 TT=3.748 T1=3.74	OPT f=1 TT=1159.58 T1=1159.69	OPT f=1 TT=0.173 T1=0.16	SAT (TO) f=1 TT=2400.06 T1=17.33	OPT f=1 TT=2.583 T1=1.07	OPT f=1 TT=2.664 T1=1.09	OPT f=1 TT=15.451 T1=11.3	OPT f=1 TT=16.676 T1=13.52
Opd/Opd-sum-small/ Opd-10-031-009.xml	OPT f=2 TT=4.062 T1=2.49	OPT f=2 TT=4.062 T1=2.59	OPT f=2 TT=14.525 T1=2.37	OPT f=2 TT=15.543 T1=2.49	SAT (TO) f=3 TT=2520.09 T1=1.91	SAT (TO) f=3 TT=2520.13 T1=1.37	OPT f=2 TT=968.101 T1=937.02	OPT f=2 TT=970.487 T1=938.05	SAT (TO) f=3 TT=2520.14 T1=8.91	SAT (TO) f=9 TT=2520.02 T1=0.48	? (TO) TT=2519.98	OPT f=2 TT=50.048 T1=50.13	SAT (TO) f=2 TT=2520.11 T1=187.16	SAT (TO) f=3 TT=2520.08 T1=1.49	SAT (TO) f=3 TT=2520.1 T1=1.46	OPT f=2 TT=1955.91 T1=248.36	OPT f=2 TT=285.502 T1=284.78	OPT f=2 TT=4.379 T1=2.49	OPT f=2 TT=29.471 T1=4.25	OPT f=2 TT=30.477 T1=4.42	SAT (TO) f=3 TT=2400.1 T1=9.06	? (TO) TT=2400.03	? (TO) TT=2400.03	OPT f=2 TT=46.306 T1=46.3	SAT (TO) f=2 TT=2400.15 T1=206.33	SAT (TO) f=3 TT=2400.04 T1=1.38	SAT (TO) f=3 TT=2400.03 T1=1.43	OPT f=2 TT=69.561 T1=65.1	OPT f=2 TT=63.839 T1=60.66
Opd/Opd-sum-small/ Opd-10-038-010.xml	OPT f=2 TT=3.751 T1=2.13	OPT f=2 TT=3.751 T1=2.13	OPT f=2 TT=19.783 T1=2.99	OPT f=2 TT=19.326 T1=2.97	SAT (TO) f=3 TT=2520.03 T1=2.43	SAT (TO) f=3 TT=2520.09 T1=2.46	SAT (TO) f=3 TT=2520.02 T1=16.89	SAT (TO) f=3 TT=2520.05 T1=16.29	SAT (TO) f=3 TT=2520.14 T1=10.28	SAT (TO) f=10 TT=2519.85 T1=1.5	? (TO) TT=2520.04	OPT f=2 TT=12.997 T1=13.09	SAT (TO) f=3 TT=2520.1 T1=80.75	OPT f=2 TT=60.932 T1=56.68	SAT (TO) f=3 TT=2520.1 T1=1.67	OPT f=2 TT=18.386 T1=3.46	OPT f=2 TT=15.5 T1=14.61	OPT f=2 TT=4.013 T1=2.14	OPT f=2 TT=36.101 T1=5.12	OPT f=2 TT=37.608 T1=5.35	SAT (TO) f=3 TT=2400.08 T1=10.2	No Cert. TT=2400.03	? (TO) TT=2400.1	OPT f=2 TT=13.141 T1=13.13	SAT (TO) f=2 TT=2400.04 T1=894.09	OPT f=2 TT=62.179 T1=57.78	SAT (TO) f=3 TT=2400.13 T1=1.59	OPT f=2 TT=103.079 T1=98.19	OPT f=2 TT=143.476 T1=139.45
Opd/Opd-sum-small/ Opd-19-019-009.xml	OPT f=4 TT=13781.5 T1=1727.85	SAT (TO) f=5 TT=2520.05 T1=3.07	OPT f=4 TT=14626.8 T1=1833.81	OPT f=4 TT=13781.5 T1=1727.85	SAT (TO) f=5 TT=2520.09 T1=5.33	SAT (TO) f=5 TT=2520.05 T1=5.39	SAT (TO) f=5 TT=2520.08 T1=14.1	SAT (TO) f=5 TT=2520.03 T1=35.13	SAT (TO) f=5 TT=2520.14 T1=19.78	SAT (TO) f=7 TT=2519.91 T1=149.41	SAT (TO) f=8 TT=2520.06 T1=3.29	SAT (TO) f=5 TT=2519.96 T1=3.01	SAT (TO) f=5 TT=2520.09 T1=103.12	SAT (TO) f=5 TT=2520.02 T1=12.57	SAT (TO) f=5 TT=2520.03 T1=59.73	SAT (TO) f=5 TT=19989.801 T1=3.3	SAT (TO) f=5 TT=19962.699 T1=19.52	SAT (TO) f=5 TT=2400.09 T1=3.07	OPT f=4 TT=49.895 T1=6.9	OPT f=4 TT=55.452 T1=7.62	SAT (TO) f=5 TT=2400.09 T1=19.42	No Cert. TT=2400.07	No Cert. TT=2400.09	SAT (TO) f=5 TT=2400.08 T1=3	SAT (TO) f=4 TT=2400.11 T1=127.74	SAT (TO) f=5 TT=2400.06 T1=11.21	SAT (TO) f=5 TT=2400.09 T1=7.23	SAT (TO) f=5 TT=2400.18 T1=51.83	SAT (TO) f=5 TT=2520.18 T1=51.6
OpenStacks/OpenStacks-m2c-s1/ OpenStacks-m2c-Miller-19.xml	SAT TO f=13 TT=2400.07 T1=0.74	SAT (TO) f=13 TT=2520.04 T1=14.07	SAT (TO) f=13 TT=20051.5 T1=11.52	SAT (TO) f=13 TT=20052.1 T1=11.5	SAT (TO) f=13 TT=2520.12 T1=303.29	SAT (TO) f=13 TT=2520.03 T1=302.52	SAT (TO) f=13 TT=2520.06 T1=277.65	SAT (TO) f=13 TT=2520.06 T1=297.43	SAT (TO) f=13 TT=2520.08 T1=26.21	SAT (TO) f=14 TT=2520.05 T1=4.86	SAT (TO) f=13 TT=2519.76 T1=43.08	SAT (TO) f=13 TT=2519.91 T1=0.78	? (TO) TT=2520.14	? (TO) TT=2520.1	? (TO) TT=2520.07	? (TO) TT=20013.1	? (TO) TT=19992.5	SAT (TO) f=13 TT=2400.09 T1=13.94	SAT (TO) f=13 TT=2400.1 T1=10.6	Wrong Opt. f=17 TT=16.555 T1=7	SAT (TO) f=13 TT=2400.08 T1=26.6	No Cert. TT=2400.03	No Cert. TT=2400.03	SAT (TO) f=13 TT=2400.07 T1=0.74	? (TO) TT=2400.09	? (TO) TT=2400.13	? (TO) TT=2400.05	? TT=2217.17	? TT=2174.38
OpenStacks/OpenStacks-m2c-s1/ OpenStacks-m2c-nrwsSmall-4-1.xml	OPT f=3 TT=0.433 T1=0.5	OPT f=3 TT=4.737 T1=2.15	OPT f=3 TT=21.21 T1=3.3	OPT f=3 TT=23.127 T1=3.54	OPT f=3 TT=30.83 T1=20.2	OPT f=3 TT=29.798 T1=19.41	OPT f=3 TT=31.221 T1=20.79	OPT f=3 TT=31.493 T1=20.66	SAT (TO) f=5 TT=2520.07 T1=5.73	OPT f=3 TT=12.584 T1=10.53	OPT f=3 TT=12.431 T1=11.65	OPT f=3 TT=0.44 T1=0.52	SAT (TO) f=3 TT=2520.04 T1=232.91	SAT (TO) f=5 TT=2520.1 T1=2347.06	OPT f=3 TT=1961.28 T1=195.99	OPT f=3 TT=183.735 T1=24.88	OPT f=3 TT=376.256 T1=312.41	OPT f=3 TT=4.6 T1=2.09	OPT f=3 TT=35.181 T1=9.25	OPT f=3 TT=15.553 T1=4.41	SAT (TO) f=5 TT=2400.1 T1=5.59	OPT f=3 TT=12.687 T1=10.68	OPT f=3 TT=12.584 T1=11.73	OPT f=3 TT=0.433 T1=0.5	SAT (TO) f=3 TT=2400.03 T1=201.29	SAT (TO) f=5 TT=2400.1 T1=2308.3	OPT f=3 TT=1853.99 T1=198.18	SAT (TO) f=9 TT=2400.26 T1=1352.79	SAT (TO) f=9 TT=2520.2 T1=1347.15
OpenStacks/OpenStacks-m2c-s1/ OpenStacks-m2c-pb-10-10-1.xml	OPT f=5 TT=0.069 T1=0.09	OPT f=5 TT=1.911 T1=0.92	OPT f=5 TT=6.129 T1=0.94	OPT f=5 TT=5.361 T1=0.91	OPT f=5 TT=2.471 T1=0.82	OPT f=5 TT=2.473 T1=0.8	OPT f=5 TT=5.172 T1=0.74	OPT f=5 TT=5.191 T1=0.73	OPT f=5 TT=12.462 T1=5.75	OPT f=5 TT=0.794 T1=0.1	OPT f=5 TT=0.343 T1=0.09	OPT f=5 TT=0.069 T1=0.12	SAT (TO) f=5 TT=2520.03 T1=4.26	OPT f=5 TT=6.223 T1=2.5	SAT (TO) f=5 TT=2520.08 T1=2.99	OPT f=5 TT=12.322 T1=2.28	OPT f=5 TT=11.921 T1=7.64	OPT f=5 TT=1.938 T1=0.91	OPT f=5 TT=4.376 T1=1	OPT f=5 TT=4.316 T1=1.02	OPT f=5 TT=12.336 T1=5.31	OPT f=5 TT=0.795 T1=0.12	OPT f=5 TT=0.341 T1=0.08	OPT f=5 TT=0.069 T1=0.12	SAT (TO) f=5 TT=2400.09 T1=52.83	OPT f=5 TT=6.257 T1=2.44	SAT (TO) f=5 TT=2400.12 T1=2.2	OPT f=5 TT=224.149 T1=33.68	OPT f=5 TT=281.961 T1=42.95
OpenStacks/OpenStacks-m2c-s1/ OpenStacks-m2c-pb-10-20-1.xml	OPT f=7 TT=211.078 T1=0.12	OPT f=7 TT=214.839 T1=1.05	OPT f=7 TT=5872.89 T1=1.77	OPT f=7 TT=982.332 T1=1.73	SAT (TO) f=7 TT=2520.07 T1=1.43	SAT (TO) f=7 TT=2520.05 T1=1.4	SAT (TO) f=7 TT=2520.09 T1=1.56	SAT (TO) f=7 TT=2520.08 T1=1.56	SAT (TO) f=7 TT=2520.1 T1=5.56	SAT (TO) f=7 TT=2520.04 T1=0.07	SAT (TO) f=7 TT=2519.78 T1=0.19	OPT f=7 TT=282.489 T1=0.18	SAT (TO) f=7 TT=2520.09 T1=62.85	SAT (TO) f=7 TT=2520.11 T1=60.1	SAT (TO) f=7 TT=2520.05 T1=58.23	SAT (TO) f=7 TT=19091.301 T1=4.15	SAT (TO) f=7 TT=14414.3 T1=16.26	OPT f=7 TT=211.078 T1=1.05	OPT f=7 TT=464.639 T1=1.75	OPT f=7 TT=637.25 T1=1.6	SAT (TO) f=7 TT=2400.12 T1=5.4	? (TO) TT=2400.07	? (TO) TT=2400.06	OPT f=7 TT=288.71 T1=0.12	SAT (TO) f=7 TT=2400.1 T1=57.37	SAT (TO) f=7 TT=2400.03 T1=60.22	SAT (TO) f=7 TT=2400.07 T1=59.63	SAT (TO) f=8 TT=2400.17 T1=2315.92	SAT (TO) f=8 TT=2520.21 T1=2303.93
OpenStacks/OpenStacks-m2c-s1/ OpenStacks-m2c-pb-20-20-1.xml	SAT TO f=11 TT=2400.04 T1=0.25	SAT (TO) f=11 TT=2520.06 T1=2.02	SAT (TO) f=11 TT=20098.6 T1=6.3	SAT (TO) f=11 TT=20099.4 T1=11.85	SAT (TO) f=11 TT=2520.11 T1=205.81	SAT (TO) f=11 TT=2520.11 T1=205.83	SAT (TO) f=11 TT=2520.02 T1=285.78	SAT (TO) f=11 TT=2520.07 T1=285.37	SAT (TO) f=11 TT=2520.14 T1=7.35	SAT (TO) f=12 TT=2520.04 T1=1.95	SAT (TO) f=12 TT=2520.01 T1=1.36	SAT (TO) f=11 TT=2519.8 T1=0.25	SAT (TO) f=11 TT=2520.09 T1=458.56	SAT (TO) f=13 TT=2520.03 T1=59.92	SAT (TO) f=11 TT=2520.07 T1=324.06	SAT (TO) f=11 TT=19995 T1=4.62	SAT (TO) f=11 TT=19971 T1=21.05	SAT (TO) f=11 TT=2400.08 T1=1.94	SAT (TO) f=11 TT=2400.11 T1=12.43	SAT (TO) f=11 TT=2400.31 T1=35.23	SAT (TO) f=11 TT=2400.1 T1=7.7	No Cert. TT=2400.01	No Cert. TT=2400.03	SAT (TO) f=11 TT=2400.09 T1=0.26	SAT (TO) f=11 TT=2400.04 T1=373.82	SAT (TO) f=13 TT=2400.08 T1=62.93	SAT (TO) f=11 TT=2400.1 T1=389.33	? (TO) TT=2407.99	? (TO) TT=2527.87
OpenStacks/ OpenStacks-m2c-s1/ OpenStacks-m2c-sp-4-1.xml	OPT f=9 TT=718.455 T1=0.77	OPT f=9 TT=718.455 T1=3.59	OPT f=9 TT=847.024 T1=6.09	OPT f=9 TT=830.274 T1=7.62	SAT (TO) f=9 TT=2520.06 T1=5.99	SAT (TO) f=9 TT=2520.08 T1=6.11	SAT (TO) f=9 TT=2520.03 T1=10.26	SAT (TO) f=9 TT=2520.04 T1=10.47	SAT (TO) f=9 TT=2520.1 T1=40.5	SAT (TO) f=10 TT=2520.06 T1=474.41	SAT (TO) f=9 TT=2520.07 T1=1.15	OPT f=9 TT=1643.29 T1=0.79	SAT (TO) f=9 TT=2520.02 T1=346.44	SAT (TO) f=11 TT=2520.12 T1=2300.31	SAT (TO) f=9 TT=2520.11 T1=397.9	SAT (TO) f=11 TT=20047.1 T1=5.39	SAT (TO) f=11 TT=20059.699 T1=22.92	OPT f=9 TT=719.377 T1=3.74	OPT f=9 TT=1537.4 T1=8.94	Wrong Opt. f=12 TT=9.139 T1=3.03	SAT (TO) f=9 TT=2400.15 T1=46.01	SAT (TO) f=10 TT=2400.03 T1=480.12	SAT (TO) f=9 TT=2400.1 T1=1.17	OPT f=9 TT=1662.52 T1=0.77	SAT (TO) f=9 TT=2400.05 T1=1041.38	SAT (TO) f=11 TT=2400.04 T1=2288.47	SAT (TO) f=9 TT=2400.07 T1=204.34	? (TO) TT=2400.16	? (TO) TT=2520.16
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
OpenStacks/ OpenStacks-m2c-s1/ OpenStacks-m2c-tiny.xml	OPT f=3 TT=0.017 T1=0.01	OPT f=3 TT=1.531 T1=0.77	OPT f=3 TT=2.801 T1=0.73	OPT f=3 TT=2.884 T1=0.75	OPT f=3 TT=1.713 T1=0.75	OPT f=3 TT=1.856 T1=0.73	OPT f=3 TT=2.197 T1=0.71	OPT f=3 TT=2.151 T1=0.71	OPT f=3 TT=10.022 T1=4.3	OPT f=3 TT=0.025 T1=0.07	OPT f=3 TT=0.017 T1=0.01	OPT f=3 TT=0.019 T1=0.1	SAT (TO) f=3 TT=2520.11 T1=4.83	OPT f=3 TT=2.832 T1=1.33	OPT f=3 TT=2.906 T1=1.36	OPT f=3 TT=9.848 T1=2.29	OPT f=3 TT=9.051 T1=6.74	OPT f=3 TT=1.525 T1=0.79	OPT f=3 TT=1.796 T1=0.87	OPT f=3 TT=1.761 T1=0.81	OPT f=3 TT=9.958 T1=4.47	OPT f=3 TT=0.025 T1=0.1	OPT f=3 TT=0.017 T1=0.07	OPT f=3 TT=0.018 T1=0.1	SAT (TO) f=3 TT=2400.04 T1=5	OPT f=3 TT=2.866 T1=1.28	OPT f=3 TT=2.88 T1=1.33	OPT f=3 TT=11.567 T1=4.77	OPT f=3 TT=11.465 T1=4.68
OpenStacks/OpenStacks-m2c-s1/ OpenStacks-m2c-wbo-10-10-1.xml	OPT f=3 TT=0.041 T1=0.04	OPT f=3 TT=1.797 T1=0.86	OPT f=3 TT=3.527 T1=0.88	OPT f=3 TT=3.807 T1=0.91	OPT f=3 TT=2.345 T1=0.83	OPT f=3 TT=2.307 T1=0.83	OPT f=3 TT=3.168 T1=0.79	OPT f=3 TT=3.149 T1=0.8	OPT f=3 TT=11.276 T1=4.57	OPT f=3 TT=0.078 T1=0.08	OPT f=3 TT=0.092 T1=0.04	OPT f=3 TT=0.043 T1=0.12	SAT (TO) f=3 TT=2520.11 T1=39.5	OPT f=3 TT=2.093 T1=1.01	OPT f=3 TT=2.122 T1=1.2	OPT f=3 TT=10.767 T1=2.22	OPT f=3 TT=10.991 T1=7.36	OPT f=3 TT=1.835 T1=0.9	OPT f=3 TT=2.172 T1=0.88	OPT f=3 TT=2.159 T1=0.92	OPT f=3 TT=11.715 T1=4.79	OPT f=3 TT=0.078 T1=0.08	OPT f=3 TT=0.092 T1=0.12	OPT f=3 TT=0.041 T1=0.11	SAT (TO) f=3 TT=2400.06 T1=37.16	OPT f=3 TT=2.082 T1=1.03	OPT f=3 TT=2.113 T1=1.13	OPT f=3 TT=71.366 T1=25.13	OPT f=3 TT=71.429 T1=25.12
OpenStacks/OpenStacks-m2c-s1/ OpenStacks-m2c-wbo-10-20-1.xml	OPT f=5 TT=98.546 T1=0.17	OPT f=5 TT=358.789 T1=1.38	OPT f=5 TT=5361.98 T1=2.81	OPT f=5 TT=340.842 T1=2.92	SAT (TO) f=5 TT=2520.08 T1=10.09	SAT (TO) f=5 TT=2520.06 T1=9.95	SAT (TO) f=5 TT=2520.11 T1=4.21	SAT (TO) f=5 TT=2520.07 T1=4.41	SAT (TO) f=5 TT=2520.06 T1=5.43	SAT (TO) f=5 TT=2520.09 T1=0.17	SAT (TO) f=5 TT=2520.05 T1=1.55	OPT f=5 TT=99.167 T1=0.17	? (TO) TT=2520.04	SAT (TO) f=5 TT=2520.09 T1=27.9	SAT (TO) f=5 TT=2520.07 T1=29.4	SAT (TO) f=5 TT=4299.42 T1=3.19	SAT (TO) f=5 TT=3723.31 T1=11.39	OPT f=5 TT=364.841 T1=1.29	OPT f=5 TT=335.731 T1=3.94	OPT f=5 TT=290.671 T1=2.59	SAT (TO) f=5 TT=2400.09 T1=5.44	? (TO) TT=2400.05	? (TO) TT=2400.02	OPT f=5 TT=98.546 T1=0.18	? (TO) TT=2400.1	SAT (TO) f=5 TT=2400.06 T1=27.33	SAT (TO) f=5 TT=2400.09 T1=29.08	SAT (TO) f=8 TT=2400.23 T1=2096.48	SAT (TO) f=8 TT=2520.17 T1=2079.12
OpenStacks/OpenStacks-m2c-s1/ OpenStacks-m2c-wbo-10-30-1.xml	OPT f=6 TT=644.396 T1=4.75	SAT (TO) f=6 TT=2520.11 T1=6.37	OPT f=6 TT=4040.61 T1=4.92	OPT f=6 TT=644.396 T1=4.75	SAT (TO) f=6 TT=2520.07 T1=259.82	SAT (TO) f=6 TT=2520.07 T1=274.24	SAT (TO) f=6 TT=2520.08 T1=55.6	SAT (TO) f=6 TT=2520.07 T1=56.06	SAT (TO) f=6 TT=2520.15 T1=7.32	SAT (TO) f=6 TT=2520 T1=922.28	SAT (TO) f=6 TT=2520 T1=7.89	SAT (TO) f=6 TT=2519.78 T1=0.47	SAT (TO) f=6 TT=2520.05 T1=1480.07	? (TO) TT=2520.08	? (TO) TT=2520.07	SAT (TO) f=6 TT=19944.6 T1=447.28	SAT (TO) f=6 TT=19941.801 T1=3044.33	SAT (TO) f=6 TT=2400.08 T1=6.42	OPT f=6 TT=689.035 T1=6.97	OPT f=6 TT=491.014 T1=4.92	SAT (TO) f=6 TT=2400.14 T1=7.39	SAT (TO) f=6 TT=2400.03 T1=921.79	SAT (TO) f=6 TT=2400.05 T1=8.1	SAT (TO) f=6 TT=2400.09 T1=0.47	SAT (TO) f=6 TT=2400.12 T1=1527	? (TO) TT=2400.03	? (TO) TT=2400.06	? (TO) TT=2400.22	? (TO) TT=2520.2
OpenStacks/OpenStacks-m2c-s1/ OpenStacks-m2c-wbo-15-30-1.xml	OPT f=4 TT=148.51 T1=14.01	OPT f=4 TT=152.962 T1=14.51	OPT f=4 TT=1161.06 T1=14.4	OPT f=4 TT=691.03 T1=16.68	OPT f=4 TT=186.755 T1=43.06	OPT f=4 TT=178.823 T1=41.46	SAT (TO) f=4 TT=2520.07 T1=678.3	SAT (TO) f=4 TT=2520.13 T1=699.97	SAT (TO) f=5 TT=2520.07 T1=232.92	SAT (TO) f=5 TT=2520.01 T1=760.14	SAT (TO) f=5 TT=2519.81 T1=44.45	OPT f=4 TT=336.938 T1=15.38	SAT (TO) f=4 TT=2520.08 T1=808.62	SAT (TO) f=10 TT=2520.09 T1=293.26	SAT (TO) f=4 TT=2520.09 T1=620.38	SAT (TO) f=6 TT=20041 T1=6.45	SAT (TO) f=6 TT=20047.5 T1=24.36	OPT f=4 TT=148.51 T1=14.01	OPT f=4 TT=428.153 T1=45.95	OPT f=4 TT=584.834 T1=97.68	SAT (TO) f=5 TT=2400.13 T1=189.22	No Cert. TT=2400.05	No Cert. TT=2400.09	OPT f=4 TT=336.261 T1=14.7	SAT (TO) f=5 TT=2400.14 T1=508.5	SAT (TO) f=10 TT=2400.12 T1=314.78	SAT (TO) f=4 TT=2400.12 T1=748.04	? (TO) TT=2400.19	? (TO) TT=2520.12
OpenStacks/OpenStacks-m2c-s1/ OpenStacks-m2c-wbop-10-20-1.xml	OPT f=5 TT=58.04 T1=0.57	OPT f=5 TT=292.7 T1=2.02	OPT f=5 TT=9858.39 T1=1.99	OPT f=5 TT=379.488 T1=3.51	SAT (TO) f=5 TT=2520.08 T1=8.86	SAT (TO) f=5 TT=2520.03 T1=8.86	SAT (TO) f=5 TT=2520.08 T1=3.44	SAT (TO) f=5 TT=2520.03 T1=3.31	SAT (TO) f=5 TT=2520.09 T1=6.37	SAT (TO) f=5 TT=2520.03 T1=0.43	SAT (TO) f=5 TT=2519.9 T1=0.22	OPT f=5 TT=59.416 T1=0.6	SAT (TO) f=5 TT=2520.05 T1=147.26	SAT (TO) f=6 TT=2520.04 T1=317.34	SAT (TO) f=5 TT=2520.11 T1=106.68	OPT f=5 TT=2049.73 T1=5.36	OPT f=5 TT=1312.62 T1=27.9	OPT f=5 TT=289.95 T1=1.99	OPT f=5 TT=333.047 T1=5.97	OPT f=5 TT=242.33 T1=6.24	SAT (TO) f=5 TT=2400.11 T1=6.33	? (TO) TT=2400.05	? (TO) TT=2400.04	OPT f=5 TT=58.04 T1=0.57	SAT (TO) f=5 TT=2400.02 T1=100.19	SAT (TO) f=6 TT=2400.04 T1=322.75	SAT (TO) f=5 TT=2400.04 T1=78.4	SAT (TO) f=7 TT=2400.18 T1=658.48	SAT (TO) f=7 TT=2520.27 T1=702.75
OpenStacks/OpenStacks-m2c-s1/ OpenStacks-m2c-wbop-10-30-1.xml	OPT f=6 TT=1476.07 T1=3.29	SAT (TO) f=6 TT=2520.06 T1=11.04	OPT f=6 TT=3913.43 T1=3.89	OPT f=6 TT=1476.07 T1=3.29	SAT (TO) f=6 TT=2520.06 T1=9.44	SAT (TO) f=6 TT=2520.11 T1=10.1	SAT (TO) f=6 TT=2520.08 T1=3.36	SAT (TO) f=6 TT=2520.04 T1=3.52	SAT (TO) f=7 TT=2520.1 T1=6.44	SAT (TO) f=7 TT=2520.02 T1=0.82	SAT (TO) f=7 TT=2520.09 T1=0.47	SAT (TO) f=6 TT=2520.08 T1=0.3	? (TO) TT=2520.09	? (TO) TT=2520.07	? (TO) TT=2520.11	SAT (TO) f=6 TT=19906.4 T1=2070.74	SAT (TO) f=6 TT=19894.6 T1=16770.881	SAT (TO) f=6 TT=2400.02 T1=10.92	OPT f=6 TT=243.403 T1=4.84	OPT f=6 TT=624.799 T1=9.8	SAT (TO) f=7 TT=2400.14 T1=6.57	SAT (TO) f=7 TT=2400.09 T1=0.88	SAT (TO) f=7 TT=2400.1 T1=0.56	SAT (TO) f=6 TT=2400.07 T1=0.29	? (TO) TT=2400.11	? (TO) TT=2400.12	? (TO) TT=2400.1	? (TO) TT=2400.34	? (TO) TT=2520.33
OpenStacks/OpenStacks-m2c-s1/ OpenStacks-m2c-wbp-10-20-1.xml	OPT f=6 TT=39.318 T1=0.26	OPT f=6 TT=39.318 T1=1.61	OPT f=6 TT=966.506 T1=1.74	OPT f=6 TT=834.433 T1=1.87	OPT f=6 TT=2364.43 T1=2.6	OPT f=6 TT=2376.42 T1=2.71	SAT (TO) f=6 TT=2520.08 T1=4.33	OPT f=6 TT=2491.9 T1=3.99	SAT (TO) f=6 TT=2520.12 T1=5.8	SAT (TO) f=6 TT=2520.1 T1=8.8	SAT (TO) f=6 TT=2519.7 T1=5.15	OPT f=6 TT=63.789 T1=0.26	SAT (TO) f=6 TT=2520.06 T1=193.67	SAT (TO) f=7 TT=2520.07 T1=111.39	SAT (TO) f=6 TT=2520.09 T1=151.82	OPT f=6 TT=2259.77 T1=4.93	OPT f=6 TT=3664.04 T1=24.41	OPT f=6 TT=40.695 T1=1.68	OPT f=6 TT=527.001 T1=2.24	OPT f=6 TT=360.463 T1=2.08	SAT (TO) f=6 TT=2400.05 T1=5.81	? (TO) TT=2400.08	? (TO) TT=2400.06	OPT f=6 TT=67.652 T1=0.3	SAT (TO) f=6 TT=2400.08 T1=210.71	SAT (TO) f=7 TT=2400.04 T1=110.22	SAT (TO) f=6 TT=2400.08 T1=146.73	SAT (TO) f=9 TT=2400.31 T1=2387.51	SAT (TO) f=9 TT=2520.26 T1=2507.91
OpenStacks/OpenStacks-m2c-s1/ OpenStacks-m2c-wbp-15-15-1.xml	OPT f=4 TT=0.072 T1=0.11	OPT f=4 TT=2.503 T1=1.11	OPT f=4 TT=8.278 T1=1.41	OPT f=4 TT=7.154 T1=1.36	OPT f=4 TT=7.913 T1=3.78	OPT f=4 TT=7.786 T1=3.68	OPT f=4 TT=15.74 T1=4.28	OPT f=4 TT=14.617 T1=4.12	OPT f=4 TT=124.37 T1=7.89	OPT f=4 TT=2.656 T1=0.36	OPT f=4 TT=0.91 T1=0.19	OPT f=4 TT=0.073 T1=0.11	SAT (TO) f=4 TT=2520.12 T1=179.92	OPT f=4 TT=24.082 T1=19.65	OPT f=4 TT=1814.01 T1=135.32	OPT f=4 TT=62.267 T1=8.11	OPT f=4 TT=68.072 T1=56.3	OPT f=4 TT=2.471 T1=1.06	OPT f=4 TT=5.869 T1=1.71	OPT f=4 TT=5.936 T1=1.72	OPT f=4 TT=118.763 T1=7.79	OPT f=4 TT=2.67 T1=0.39	OPT f=4 TT=0.905 T1=0.25	OPT f=4 TT=0.072 T1=0.11	SAT (TO) f=4 TT=2400.06 T1=192.37	OPT f=4 TT=24.303 T1=20.11	OPT f=4 TT=1732.27 T1=138.77	SAT (TO) f=4 TT=2400.22 T1=1911.14	SAT (TO) f=4 TT=2520.15 T1=2099.06
OpenStacks/OpenStacks-m2c-s1/ OpenStacks-m2c-wbp-15-30-1.xml	OPT f=6 TT=1109.65 T1=4.7	OPT f=6 TT=1117.54 T1=7.32	OPT f=6 TT=13267.8 T1=5.13	OPT f=6 TT=7565.25 T1=4.7	SAT (TO) f=6 TT=2520.11 T1=225.37	SAT (TO) f=6 TT=2520.07 T1=216.2	SAT (TO) f=6 TT=2520.08 T1=1540.9	SAT (TO) f=6 TT=2520.07 T1=1526.11	SAT (TO) f=9 TT=2520.09 T1=6.89	SAT (TO) f=7 TT=2520.04 T1=61.58	SAT (TO) f=7 TT=2519.91 T1=1746.71	OPT f=6 TT=2001.36 T1=6.84	SAT (TO) f=6 TT=2520.09 T1=784.07	SAT (TO) f=10 TT=2520.09 T1=230.5	SAT (TO) f=6 TT=2520.04 T1=536.39	SAT (TO) f=6 TT=20053.301 T1=127.21	SAT (TO) f=6 TT=20057.699 T1=1080.06	OPT f=6 TT=1109.65 T1=7.05	Wrong Opt. f=12 TT=6.697 T1=2.52	SAT (TO) f=6 TT=2400.2 T1=14.7	SAT (TO) f=9 TT=2400.07 T1=7.02	No Cert. TT=2400.04	No Cert. TT=2400.1	OPT f=6 TT=2032.35 T1=6.58	SAT (TO) f=6 TT=2400.04 T1=528.58	SAT (TO) f=10 TT=2400.03 T1=233.81	SAT (TO) f=6 TT=2400.06 T1=508.23	? (TO) TT=2400.32	? (TO) TT=2520.14
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
PseudoBoolean/ PseudoBoolean-opt-dimacs/ Pb-aim-050-3-4-yes1-1.xml	OPT f=50 TT=0.046 T1=0.03	OPT f=50 TT=1.437 T1=0.79	OPT f=50 TT=2.831 T1=0.76	OPT f=50 TT=2.468 T1=0.73	OPT f=50 TT=1.165 T1=0.55	OPT f=50 TT=1.185 T1=0.79	OPT f=50 TT=1.571 T1=0.65	OPT f=50 TT=1.564 T1=0.78	OPT f=50 TT=8.342 T1=3.81	OPT f=50 TT=0.072 T1=0.13	OPT f=50 TT=0.088 T1=0.16	OPT f=50 TT=0.046 T1=0.11	SAT (TO) f=50 TT=2520.07 T1=0.94	OPT f=50 TT=1.481 T1=0.93	OPT f=50 TT=1.507 T1=0.8	OPT f=50 TT=4.101 T1=1.55	OPT f=50 TT=3.927 T1=3.38	OPT f=50 TT=1.571 T1=0.7	OPT f=50 TT=2.854 T1=0.8	OPT f=50 TT=3.019 T1=0.82	OPT f=50 TT=9.657 T1=3.78	OPT f=50 TT=0.112 T1=0.04	OPT f=50 TT=0.139 T1=0.03	OPT f=50 TT=0.065 T1=0.03	SAT (TO) f=50 TT=2400.11 T1=0.84	OPT f=50 TT=1.606 T1=1.2	OPT f=50 TT=1.615 T1=0.81	OPT f=50 TT=1.131 T1=0.52	OPT f=50 TT=0.958 T1=0.45
PseudoBoolean/ PseudoBoolean-opt-dimacs/ Pb-ii08a1.xml	OPT f=54 TT=2.219 T1=0.05	OPT f=54 TT=3.385 T1=0.8	OPT f=54 TT=12.364 T1=0.7	OPT f=54 TT=28.759 T1=0.69	OPT f=54 TT=16.92 T1=0.76	OPT f=54 TT=16.414 T1=0.84	OPT f=54 TT=74.704 T1=1.66	OPT f=54 TT=76.027 T1=1.91	OPT f=54 TT=15.271 T1=4.24	OPT f=54 TT=13.739 T1=13.85	OPT f=54 TT=8.903 T1=8.95	OPT f=54 TT=5.708 T1=0.12	SAT (TO) f=54 TT=2520.06 T1=1.54	OPT f=54 TT=2.75 T1=0.99	OPT f=54 TT=2.859 T1=0.88	OPT f=54 TT=7.36 T1=1.85	OPT f=54 TT=8.426 T1=5.41	OPT f=54 TT=3.598 T1=0.75	OPT f=54 TT=41.429 T1=0.76	OPT f=54 TT=37.916 T1=0.77	OPT f=54 TT=18.369 T1=4.08	OPT f=54 TT=14.012 T1=0.02	OPT f=54 TT=9.091 T1=0.02	OPT f=54 TT=5.772 T1=0.05	SAT (TO) f=54 TT=2400.06 T1=2.15	OPT f=54 TT=2.893 T1=0.93	OPT f=54 TT=2.832 T1=0.99	OPT f=54 TT=2.682 T1=0.58	OPT f=54 TT=2.219 T1=0.51
PseudoBoolean/ PseudoBoolean-opt-dimacs/ Pb-ii8d2.xml	SAT TO f=547 TT=2400.01 T1=1079.13	SAT (TO) f=580 TT=2520.05 T1=39.43	SAT (TO) f=662 TT=20077.1 T1=1.96	SAT (TO) f=662 TT=20055.9 T1=1.95	SAT (TO) f=608 TT=2520.05 T1=2.91	SAT (TO) f=608 TT=2520.09 T1=3	SAT (TO) f=706 TT=2520.12 T1=1065.29	SAT (TO) f=706 TT=2520.06 T1=995.01	SAT (TO) f=561 TT=2520.06 T1=47.94	SAT (TO) f=627 TT=2519.83 T1=2520	SAT (TO) f=717 TT=2520.08 T1=2519.9	SAT (TO) f=547 TT=2519.81 T1=1079.13	SAT (TO) f=554 TT=2520.08 T1=20.24	SAT (TO) f=761 TT=2520.11 T1=2181.38	SAT (TO) f=554 TT=2520.11 T1=349.49	SAT (TO) f=746 TT=19886.5 T1=1942.07	SAT (TO) f=746 TT=19924.1 T1=15972.21	SAT (TO) f=580 TT=2400.07 T1=37.1	SAT (TO) f=662 TT=2400.3 T1=2.33	SAT (TO) f=662 TT=2400.07 T1=2.38	SAT (TO) f=561 TT=2400.11 T1=47.4	No Cert. TT=2400.04	No Cert. TT=2400.05	SAT (TO) f=547 TT=2400.01 T1=1095.92	SAT (TO) f=554 TT=2400.16 T1=36.86	SAT (TO) f=761 TT=2400.08 T1=2158.16	SAT (TO) f=554 TT=2400.07 T1=268.46	SAT (TO) f=709 TT=2400.88 T1=1.77	SAT (TO) f=709 TT=2520.31 T1=1.66
PseudoBoolean/ PseudoBoolean-opt-domset/ Pb-domset-v500-e2000-w30-mw19-11.xml	SAT TO f=202 TT=2520.05 T1=1170.73	SAT (TO) f=211 TT=2520.02 T1=28.4	SAT (TO) f=215 TT=19885.9 T1=29.02	SAT (TO) f=215 TT=19852 T1=29.47	SAT (TO) f=222 TT=2520.05 T1=296.17	SAT (TO) f=222 TT=2520.08 T1=271.77	SAT (TO) f=226 TT=2520.05 T1=0.84	SAT (TO) f=226 TT=2520.1 T1=0.71	SAT (TO) f=224 TT=2520.06 T1=115.36	SAT (TO) f=225 TT=2519.9 T1=2520	SAT (TO) f=221 TT=2520.03 T1=2519.9	SAT (TO) f=220 TT=2519.88 T1=1478.09	SAT (TO) f=208 TT=2520.09 T1=2011.13	SAT (TO) f=352 TT=2520.11 T1=2010.75	SAT (TO) f=202 TT=2520.05 T1=1170.73	SAT (TO) f=349 TT=19896.5 T1=2502.1	SAT (TO) f=350 TT=19904.9 T1=14475.73	SAT (TO) f=211 TT=2400.03 T1=28.25	SAT (TO) f=216 TT=2400.74 T1=23.95	SAT (TO) f=215 TT=2400.13 T1=74.52	SAT (TO) f=224 TT=2400.17 T1=121.54	No Cert. TT=2400.07	No Cert. TT=2400.1	SAT (TO) f=220 TT=2400.02 T1=1502.54	SAT (TO) f=204 TT=2400.13 T1=2140.32	SAT (TO) f=352 TT=2400.08 T1=2096.46	SAT (TO) f=213 TT=2400.03 T1=1310.86	SAT (TO) f=251 TT=2400.4 T1=1.71	SAT (TO) f=251 TT=2520.32 T1=1.68
PseudoBoolean/ PseudoBoolean-opt-factor/ Pb-factor-S9-P071-Q409.xml	OPT f=71 TT=0.049 T1=0.07	OPT f=71 TT=2.488 T1=1.11	OPT f=71 TT=2.242 T1=0.71	OPT f=71 TT=2.386 T1=0.74	OPT f=71 TT=1.374 T1=0.6	OPT f=71 TT=1.379 T1=0.69	OPT f=71 TT=3.424 T1=1.2	OPT f=71 TT=3.407 T1=1.2	OPT f=71 TT=10.116 T1=4.55	OPT f=71 TT=0.068 T1=0.15	OPT f=71 TT=0.073 T1=0.07	OPT f=71 TT=0.049 T1=0.1	SAT (TO) f=71 TT=2520.11 T1=2.36	OPT f=71 TT=1.526 T1=0.79	OPT f=71 TT=1.551 T1=0.8	OPT f=71 TT=5.361 T1=2.16	OPT f=71 TT=5.43 T1=4.84	OPT f=71 TT=3.381 T1=1.17	OPT f=71 TT=2.435 T1=0.78	OPT f=71 TT=2.602 T1=0.81	OPT f=71 TT=11.071 T1=4.31	OPT f=71 TT=0.11 T1=0.1	OPT f=71 TT=0.12 T1=0.11	OPT f=71 TT=0.074 T1=0.07	SAT (TO) f=71 TT=2400.1 T1=5.95	OPT f=71 TT=1.923 T1=1.23	OPT f=71 TT=1.887 T1=0.89	? (TO) TT=2400.21	? (TO) TT=2520.32
PseudoBoolean/ PseudoBoolean-opt-factor/ Pb-factor-S9-P167-Q347.xml	OPT f=167 TT=0.033 T1=0.04	OPT f=167 TT=2.353 T1=1.03	OPT f=167 TT=3.212 T1=0.81	OPT f=167 TT=3.192 T1=0.8	OPT f=167 TT=1.291 T1=0.69	OPT f=167 TT=1.295 T1=0.71	OPT f=167 TT=2.945 T1=0.94	OPT f=167 TT=3.025 T1=0.94	OPT f=167 TT=8.609 T1=3.95	OPT f=167 TT=0.06 T1=0.15	OPT f=167 TT=0.1 T1=0.1	OPT f=167 TT=0.033 T1=0.1	SAT (TO) f=167 TT=2520.05 T1=1.71	OPT f=167 TT=1.731 T1=0.84	OPT f=167 TT=1.72 T1=0.83	OPT f=167 TT=4.738 T1=1.94	OPT f=167 TT=4.822 T1=4.48	OPT f=167 TT=2.735 T1=0.97	OPT f=167 TT=3.273 T1=0.88	OPT f=167 TT=3.626 T1=0.95	OPT f=167 TT=9.933 T1=3.88	OPT f=167 TT=0.068 T1=0.05	OPT f=167 TT=0.151 T1=0.14	OPT f=167 TT=0.057 T1=0.04	SAT (TO) f=167 TT=2400.11 T1=6.75	OPT f=167 TT=2.159 T1=1.25	OPT f=167 TT=1.934 T1=0.88	? (TO) TT=2400.25	? (TO) TT=2520.33
PseudoBoolean/ PseudoBoolean-opt-factor/ Pb-factor-S9-P251-Q379.xml	OPT f=251 TT=0.034 T1=0.05	OPT f=251 TT=2.343 T1=1.1	OPT f=251 TT=4.19 T1=0.95	OPT f=251 TT=5.722 T1=1.07	OPT f=251 TT=1.382 T1=0.62	OPT f=251 TT=1.357 T1=0.74	OPT f=251 TT=3.142 T1=1.16	OPT f=251 TT=3.178 T1=1.17	OPT f=251 TT=8.906 T1=3.87	OPT f=251 TT=0.1 T1=0.18	OPT f=251 TT=0.088 T1=0.08	OPT f=251 TT=0.034 T1=0.11	SAT (TO) f=251 TT=2520.07 T1=0.94	OPT f=251 TT=1.66 T1=0.81	OPT f=251 TT=1.638 T1=0.81	OPT f=251 TT=5.317 T1=2.12	OPT f=251 TT=5.284 T1=5	OPT f=251 TT=2.625 T1=1.01	OPT f=251 TT=3.515 T1=0.93	OPT f=251 TT=3.795 T1=0.9	OPT f=251 TT=10.059 T1=3.86	OPT f=251 TT=0.149 T1=0.12	OPT f=251 TT=0.138 T1=0.04	OPT f=251 TT=0.06 T1=0.05	SAT (TO) f=251 TT=2400.06 T1=0.84	OPT f=251 TT=2.175 T1=1.25	OPT f=251 TT=1.845 T1=0.86	? (TO) TT=2415.91	? (TO) TT=2520.27
PseudoBoolean/ PseudoBoolean-opt-factor/ Pb-factor-S9-P409-Q499.xml	OPT f=409 TT=0.023 T1=0.02	OPT f=409 TT=1.712 T1=0.88	OPT f=409 TT=2.318 T1=0.76	OPT f=409 TT=2.415 T1=0.76	OPT f=409 TT=1.19 T1=0.56	OPT f=409 TT=1.203 T1=0.71	OPT f=409 TT=2.122 T1=0.87	OPT f=409 TT=2.125 T1=0.85	OPT f=409 TT=8.272 T1=3.97	OPT f=409 TT=0.028 T1=0.1	OPT f=409 TT=0.023 T1=0.02	OPT f=409 TT=0.025 T1=0.11	SAT (TO) f=409 TT=2520.1 T1=0.87	OPT f=409 TT=1.447 T1=0.79	OPT f=409 TT=1.452 T1=0.78	OPT f=409 TT=3.989 T1=1.51	OPT f=409 TT=4.044 T1=3.57	OPT f=409 TT=1.979 T1=0.81	OPT f=409 TT=2.618 T1=0.82	OPT f=409 TT=2.642 T1=0.85	OPT f=409 TT=9.726 T1=3.97	OPT f=409 TT=0.051 T1=0.04	OPT f=409 TT=0.04 T1=0.03	OPT f=409 TT=0.041 T1=0.04	SAT (TO) f=409 TT=2400.1 T1=0.87	OPT f=409 TT=1.95 T1=1.38	OPT f=409 TT=1.576 T1=0.83	SAT (TO) f=409 TT=2400.33 T1=2055.57	OPT f=409 TT=2353.75 T1=1837.55
PseudoBoolean/ PseudoBoolean-opt-fs/ Pb-fs-50-250-0-45-90-4-1000.xml	OPT f=-178 TT=248.365 T1=194.79	SAT (TO) f=-110 TT=2520.12 T1=2417.99	SAT (TO) f=-175 TT=20058.199 T1=1072.69	SAT (TO) f=-174 TT=20050.6 T1=1026.94	Wrong Opt. f=-147 TT=774.136 T1=628.85	SAT (TO) f=-140 TT=2520.08 T1=128.45	Wrong Opt. f=-156 TT=2192.01 T1=171.79	SAT (TO) f=-166 TT=2520.11 T1=1211.79	SAT (TO) f=-165 TT=2520.13 T1=71.74	SAT (TO) f=-142 TT=2519.68 T1=2520	SAT (TO) f=-141 TT=2519.81 T1=2520.01	SAT (TO) f=-174 TT=2519.68 T1=1880.93	? TT=5.791	? TT=5.192	? TT=5.383	? TT=5.92	? TT=5.962	SAT (TO) f=-109 TT=2400.05 T1=2121.59	SAT (TO) f=-158 TT=2400.34 T1=295.38	SAT (TO) f=-158 TT=2400.26 T1=203.87	SAT (TO) f=-165 TT=2400.15 T1=73.15	No Cert. TT=2400.03	No Cert. TT=2400.08	SAT (TO) f=-174 TT=2400.07 T1=1857.02	? TT=6.983	? TT=6.745	? TT=6.243	OPT f=-178 TT=259.16 T1=204.04	OPT f=-178 TT=248.365 T1=194.79
PseudoBoolean/ PseudoBoolean-opt-gr/ Pb-gr-05.xml	OPT f=11 TT=0.031 T1=0.04	OPT f=11 TT=1.369 T1=0.74	OPT f=11 TT=2.271 T1=0.73	OPT f=11 TT=2.272 T1=0.75	OPT f=11 TT=1.38 T1=0.74	OPT f=11 TT=1.4 T1=0.74	OPT f=11 TT=2.366 T1=0.87	OPT f=11 TT=2.373 T1=0.87	OPT f=11 TT=9.103 T1=4.2	OPT f=11 TT=0.096 T1=0.16	OPT f=11 TT=0.074 T1=0.18	OPT f=11 TT=0.031 T1=0.1	SAT (TO) f=11 TT=2520.12 T1=3.18	OPT f=11 TT=1.986 T1=1.14	OPT f=11 TT=1.9 T1=0.93	OPT f=11 TT=13.36 T1=2.66	OPT f=11 TT=13.581 T1=10.76	OPT f=11 TT=1.519 T1=0.68	OPT f=11 TT=2.904 T1=0.81	OPT f=11 TT=2.658 T1=0.77	OPT f=11 TT=11.319 T1=4.31	OPT f=11 TT=0.135 T1=0.1	OPT f=11 TT=0.121 T1=0.05	OPT f=11 TT=0.045 T1=0.04	SAT (TO) f=11 TT=2400.06 T1=3.31	OPT f=11 TT=1.981 T1=0.95	OPT f=11 TT=2.11 T1=1.01	OPT f=11 TT=6.128 T1=2.78	OPT f=11 TT=4.799 T1=2.74
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
PseudoBoolean/ PseudoBoolean-opt-logicSynthesis/ Pb-logic-m100-100-30-30-r.xml	OPT f=5 TT=156.126 T1=13.34	OPT f=5 TT=343.346 T1=13.34	OPT f=5 TT=326.752 T1=10.85	OPT f=5 TT=505.953 T1=34.39	OPT f=5 TT=1680.97 T1=1670.79	OPT f=5 TT=1698.54 T1=1684.75	SAT (TO) f=7 TT=2520.06 T1=87.39	SAT (TO) f=7 TT=2520.02 T1=88.35	SAT (TO) f=6 TT=2520.07 T1=185.93	SAT (TO) f=7 TT=2520.06 T1=2519.9	SAT (TO) f=6 TT=2520.02 T1=2520	SAT (TO) f=6 TT=2519.8 T1=0.68	SAT (TO) f=6 TT=2520.1 T1=9.54	OPT f=5 TT=156.126 T1=143.13	SAT (TO) f=6 TT=2520.1 T1=1.7	OPT f=5 TT=204.548 T1=24.25	OPT f=5 TT=224.112 T1=203.04	OPT f=5 TT=346.298 T1=13.82	OPT f=5 TT=584.429 T1=24.75	OPT f=5 TT=810.547 T1=56.1	SAT (TO) f=6 TT=2400.05 T1=192.49	? (TO) TT=2400.09	? (TO) TT=2400.07	SAT (TO) f=6 TT=2400.05 T1=0.62	SAT (TO) f=6 TT=2400.18 T1=5.4	OPT f=5 TT=157.658 T1=142.71	SAT (TO) f=6 TT=2400.13 T1=1.72	OPT f=5 TT=1115.07 T1=701.89	OPT f=5 TT=1342.07 T1=840.84
PseudoBoolean/ PseudoBoolean-opt-marketSplit/ Pb-msplit-7-60-4.xml		? (TO) TT=2520.09	? (TO) TT=20072	? (TO) TT=20083.1	? (TO) TT=2520.08	? (TO) TT=2520.05	? (TO) TT=2520.07	? (TO) TT=2520.02	? (TO) TT=2520.59	? (TO) TT=2520.05	? (TO) TT=2520.06	? (TO) TT=2519.97	? (TO) TT=2514.3	? TT=2519.26	? (TO) TT=2520.1	? (TO) TT=19846.199	? (TO) TT=19847.5	? (TO) TT=2400.04	? (TO) TT=2400.61	? (TO) TT=2400.45	? (TO) TT=2401.17	? (TO) TT=2400.05	? (TO) TT=2400.09	? (TO) TT=2400.03	? (TO) TT=2400.03	? (TO) TT=2400.08	? (TO) TT=2400.11	? (TO) TT=2400.18	? (TO) TT=2520.06
PseudoBoolean/ PseudoBoolean-opt-mps/ Pb-mps-v2-20-10-l152lav.xml		? (TO) TT=2520.09	? (TO) TT=20058.301	? (TO) TT=20034.4	? (TO) TT=2520.1	? (TO) TT=2520.08	? (TO) TT=2520.1	? (TO) TT=2520.08	? (TO) TT=2520.87	? (TO) TT=2519.81	? (TO) TT=2519.71	? (TO) TT=2520.06	? TT=2519.67	? TT=2518.22	? (TO) TT=2520.06	? (TO) TT=19795.6	? (TO) TT=19780.1	? (TO) TT=2400.2	? (TO) TT=2400.57	? (TO) TT=2400.11	? (TO) TT=2401.56	? (TO) TT=2400.08	? (TO) TT=2400	? (TO) TT=2400.07	? (TO) TT=2400.05	? (TO) TT=2400.11	? (TO) TT=2400.05	? (TO) TT=2415.94	? (TO) TT=2528.09
PseudoBoolean/ PseudoBoolean-opt-mps/ Pb-mps-v2-20-10-sentoy.xml	OPT f=-7772 TT=47.227 T1=0.46	OPT f=-7772 TT=702.651 T1=636.65	OPT f=-7772 TT=251.558 T1=9.74	OPT f=-7772 TT=68.157 T1=2.06	OPT f=-7772 TT=723.493 T1=691.52	OPT f=-7772 TT=714.409 T1=682.84	SAT (TO) f=-7723 TT=2520.09 T1=2004.49	SAT (TO) f=-7723 TT=2520.05 T1=1876.83	OPT f=-7772 TT=1864.32 T1=4.75	OPT f=-7772 TT=653.273 T1=653.29	OPT f=-7772 TT=422.681 T1=422.7	OPT f=-7772 TT=47.227 T1=0.51	? TT=1.255	? TT=1.278	? TT=1.3	? TT=1.288	? TT=1.281	OPT f=-7772 TT=705.988 T1=639.27	OPT f=-7772 TT=81.011 T1=8.51	OPT f=-7772 TT=112.253 T1=8.07	OPT f=-7772 TT=1961.83 T1=4.68	OPT f=-7772 TT=672.142 T1=477.07	OPT f=-7772 TT=433.454 T1=377.84	OPT f=-7772 TT=47.377 T1=0.46	? TT=1.38	? TT=1.401	? TT=1.494	? (TO) TT=2400.28	? (TO) TT=2520.31
PseudoBoolean/ PseudoBoolean-opt-radar/ Pb-radar-10-10-45-095-100.xml	SAT TO f=0 TT=2400.07 T1=15.53	SAT (TO) f=3 TT=2520.1 T1=1153.05	SAT (TO) f=6 TT=19953.1 T1=585.11	SAT (TO) f=6 TT=19912.301 T1=603.91	SAT (TO) f=11 TT=2520.07 T1=8.88	SAT (TO) f=11 TT=2520.12 T1=9.17	SAT (TO) f=15 TT=2520.08 T1=1765.94	SAT (TO) f=23 TT=2520.16 T1=726.57	SAT (TO) f=2 TT=2520.06 T1=1191.18	SAT (TO) f=8 TT=2520.07 T1=2520	SAT (TO) f=7 TT=2519.89 T1=2520	SAT (TO) f=0 TT=2520.08 T1=15.53	SAT (TO) f=0 TT=2520.06 T1=848.36	SAT (TO) f=69 TT=2520.12 T1=2295.33	SAT (TO) f=2 TT=2520.07 T1=360.91	SAT (TO) f=60 TT=19901.6 T1=307.52	SAT (TO) f=60 TT=19886.801 T1=2117.08	SAT (TO) f=3 TT=2400.02 T1=1156.14	SAT (TO) f=0 TT=2400.56 T1=12.5	SAT (TO) f=6 TT=2400.72 T1=296.33	SAT (TO) f=2 TT=2400.11 T1=1276.8	SAT (TO) f=9 TT=2400.08 T1=648.22	SAT (TO) f=7 TT=2400.02 T1=10.08	SAT (TO) f=0 TT=2400.07 T1=15.59	SAT (TO) f=0 TT=2400.08 T1=122.45	SAT (TO) f=69 TT=2400.05 T1=2293.86	SAT (TO) f=3 TT=2400.1 T1=816.05	SAT (TO) f=8 TT=2400.43 T1=0.98	SAT (TO) f=8 TT=2520.37 T1=0.94
PseudoBoolean/ PseudoBoolean-opt-routing/ Pb-routing-s3-3-3-1.xml	OPT f=36 TT=0.285 T1=0.2	OPT f=36 TT=2.582 T1=0.91	OPT f=36 TT=6.051 T1=1.13	OPT f=36 TT=12.778 T1=1.61	OPT f=36 TT=2.11 T1=0.78	OPT f=36 TT=2.046 T1=0.89	OPT f=36 TT=4.597 T1=1.15	OPT f=36 TT=4.591 T1=1.16	OPT f=36 TT=15.359 T1=5.46	OPT f=36 TT=0.352 T1=0.44	OPT f=36 TT=0.563 T1=0.56	OPT f=36 TT=0.285 T1=0.21	SAT (TO) f=36 TT=2520.04 T1=1.37	OPT f=36 TT=3.571 T1=1.51	OPT f=36 TT=3.427 T1=1.32	OPT f=36 TT=9.814 T1=2.35	OPT f=36 TT=10.118 T1=8.13	OPT f=36 TT=2.903 T1=0.92	OPT f=36 TT=8.164 T1=1.31	OPT f=36 TT=8.303 T1=1.24	OPT f=36 TT=18.914 T1=5.82	OPT f=36 TT=0.398 T1=0.18	OPT f=36 TT=0.673 T1=0.5	OPT f=36 TT=0.343 T1=0.2	SAT (TO) f=36 TT=2400.07 T1=1.31	OPT f=36 TT=3.75 T1=1.29	OPT f=36 TT=3.835 T1=1.34	OPT f=36 TT=3.688 T1=1.23	OPT f=36 TT=2.993 T1=1.3
PseudoBoolean/ PseudoBoolean-opt-vtxcov/ Pb-vtxcov-v2000-e4000-05.xml	SAT TO f=1128 TT=2400.05 T1=2300.75	SAT (TO) f=1183 TT=2520.06 T1=11.58	SAT (TO) f=1186 TT=19588.699 T1=1349.22	SAT (TO) f=1163 TT=19625.9 T1=17.8	SAT (TO) f=1206 TT=2520.32 T1=1539.81	SAT (TO) f=1206 TT=2520.1 T1=1558.12	SAT (TO) f=1238 TT=2520.05 T1=1.04	SAT (TO) f=1238 TT=2520.1 T1=1.06	SAT (TO) f=1222 TT=2520.13 T1=430.61	SAT (TO) f=1180 TT=2519.99 T1=2520	SAT (TO) f=1179 TT=2520.05 T1=2520	SAT (TO) f=1128 TT=2520.06 T1=2306.94	SAT (TO) f=1161 TT=2520.06 T1=2226.82	SAT (TO) f=1803 TT=2520.08 T1=2437.92	SAT (TO) f=1161 TT=2520.05 T1=1145.53	SAT (TO) f=1802 TT=19876 T1=2296.32	SAT (TO) f=1801 TT=19883 T1=18656.59	SAT (TO) f=1183 TT=2400.07 T1=12.21	SAT (TO) f=1163 TT=2400.48 T1=37.71	SAT (TO) f=1179 TT=2400.51 T1=66.16	SAT (TO) f=1222 TT=2400.09 T1=429.92	No Cert. TT=2400.01	No Cert. TT=2400.05	SAT (TO) f=1128 TT=2400.05 T1=2300.75	SAT (TO) f=1146 TT=2400.11 T1=2048.15	SAT (TO) f=1804 TT=2400.08 T1=2356.93	SAT (TO) f=1151 TT=2400.11 T1=1763.27	SAT (TO) f=1199 TT=2400.35 T1=1021.17	SAT (TO) f=1199 TT=2520.4 T1=1011.99
QuadraticAssignment/ QuadraticAssignment-m1-s1/ QuadraticAssignment-bur26g.xml	SAT TO f=3138098 TT=2400.12 T1=2059.83	SAT (TO) f=3953296 TT=2520.08 T1=1144.28	SAT (TO) f=3495198 TT=20082.9 T1=1809.76	SAT (TO) f=3487775 TT=20070 T1=412.16	SAT (TO) f=3360873 TT=2520.12 T1=2239.96	SAT (TO) f=3360873 TT=2520.08 T1=2346.71	SAT (TO) f=3524895 TT=2520.09 T1=55.93	SAT (TO) f=3524895 TT=2520.06 T1=56.86	SAT (TO) f=3138098 TT=2520.09 T1=2157.84	SAT (TO) f=4370447 TT=2519.95 T1=2520	SAT (TO) f=3837939 TT=2519.92 T1=2520	SAT (TO) f=3181880 TT=2519.65 T1=130.76	SAT (TO) f=3164558 TT=2520.06 T1=2404.5	SAT (TO) f=4874919 TT=2520.07 T1=2042.39	SAT (TO) f=3213558 TT=2520.06 T1=1738.6	SAT (TO) f=4812960 TT=19838.199 T1=756.14	SAT (TO) f=4812960 TT=19843.4 T1=9737.81	SAT (TO) f=3953296 TT=2400.03 T1=1166.49	SAT (TO) f=3622943 TT=2400.61 T1=30.98	SAT (TO) f=3742287 TT=2400.2 T1=208.33	SAT (TO) f=3138098 TT=2400.12 T1=2059.83	No Cert. TT=2400.01	No Cert. TT=2400.07	SAT (TO) f=3181880 TT=2400.08 T1=130.64	SAT (TO) f=3187644 TT=2400.1 T1=2236.82	SAT (TO) f=4874919 TT=2400.09 T1=2068.58	SAT (TO) f=3196043 TT=2400.03 T1=1531.07	? (TO) TT=2400.2	? (TO) TT=2520.11
QuadraticAssignment/ QuadraticAssignment-m1-s1/ QuadraticAssignment-chr15c.xml	OPT f=4752 TT=4.621 T1=0.16	OPT f=4752 TT=4.621 T1=1.16	OPT f=4752 TT=40.705 T1=3.21	OPT f=4752 TT=43.709 T1=3.22	OPT f=4752 TT=52.257 T1=42.38	OPT f=4752 TT=51.767 T1=42.15	OPT f=4752 TT=250.995 T1=233.25	OPT f=4752 TT=249.248 T1=232.39	OPT f=4752 TT=111.912 T1=5.28	OPT f=4752 TT=46.478 T1=46.53	OPT f=4752 TT=66.595 T1=66.59	OPT f=4752 TT=55.943 T1=0.16	SAT (TO) f=4752 TT=2520.06 T1=53.15	OPT f=4752 TT=13.858 T1=6.9	OPT f=4752 TT=14.059 T1=7.03	OPT f=4752 TT=23.15 T1=3.85	OPT f=4752 TT=27.769 T1=22.48	OPT f=4752 TT=4.98 T1=1.04	OPT f=4752 TT=73.841 T1=5.16	OPT f=4752 TT=67.496 T1=3.79	OPT f=4752 TT=80.142 T1=5.19	OPT f=4752 TT=46.457 T1=23.27	OPT f=4752 TT=66.592 T1=63.66	OPT f=4752 TT=56.829 T1=0.16	SAT (TO) f=4752 TT=2400.1 T1=50.22	OPT f=4752 TT=13.903 T1=6.66	OPT f=4752 TT=13.765 T1=6.71	SAT (TO) f=6301 TT=2400.14 T1=1535.66	SAT (TO) f=6301 TT=2520.12 T1=1596.23
QuadraticAssignment/ QuadraticAssignment-m1-s1/ QuadraticAssignment-chr20b.xml	OPT f=1149 TT=3.407 T1=1.46	OPT f=1149 TT=3.407 T1=1.53	OPT f=1149 TT=15.986 T1=2.44	OPT f=1149 TT=9.624 T1=1.52	OPT f=1149 TT=5.594 T1=2.56	OPT f=1149 TT=5.181 T1=2.44	OPT f=1149 TT=8.373 T1=2.56	OPT f=1149 TT=7.724 T1=2.57	OPT f=1149 TT=50.483 T1=31.25	OPT f=1149 TT=26.171 T1=26.27	OPT f=1149 TT=26.316 T1=26.37	OPT f=1149 TT=13.967 T1=5.91	SAT (TO) f=1149 TT=2520.1 T1=26.8	OPT f=1149 TT=96.275 T1=92.52	OPT f=1149 TT=97.22 T1=93.5	OPT f=1149 TT=29.176 T1=5.37	OPT f=1149 TT=28.957 T1=26.68	OPT f=1149 TT=3.958 T1=1.46	OPT f=1149 TT=15.927 T1=2.39	OPT f=1149 TT=20.594 T1=2.99	OPT f=1149 TT=56.382 T1=33.43	OPT f=1149 TT=26.199 T1=16.56	OPT f=1149 TT=26.437 T1=25.35	OPT f=1149 TT=14.264 T1=5.93	SAT (TO) f=1149 TT=2400.08 T1=33.03	OPT f=1149 TT=99.549 T1=94.06	OPT f=1149 TT=100.077 T1=94.74	SAT (TO) f=1452 TT=2400.12 T1=2372.13	SAT (TO) f=1490 TT=2520.15 T1=2064.38
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
QuadraticAssignment/ QuadraticAssignment-m1-s1/ QuadraticAssignment-esc16d.xml	OPT f=8 TT=13.444 T1=0.01	OPT f=8 TT=13.471 T1=0.76	OPT f=8 TT=218.206 T1=0.85	OPT f=8 TT=83.273 T1=0.8	OPT f=8 TT=47.526 T1=0.96	OPT f=8 TT=47.627 T1=0.94	OPT f=8 TT=85.986 T1=2.02	OPT f=8 TT=86.161 T1=1.94	OPT f=8 TT=554.677 T1=9.03	OPT f=8 TT=131.501 T1=131.59	OPT f=8 TT=96.151 T1=96.2	OPT f=8 TT=158.207 T1=0.1	SAT (TO) f=8 TT=2520.08 T1=15.47	OPT f=8 TT=96.305 T1=74.18	OPT f=8 TT=2011.79 T1=2.01	OPT f=8 TT=115.684 T1=12.49	OPT f=8 TT=80.634 T1=64.97	OPT f=8 TT=13.444 T1=0.71	OPT f=8 TT=153.409 T1=1.05	OPT f=8 TT=146.309 T1=0.89	OPT f=8 TT=562.773 T1=9.26	OPT f=8 TT=131.232 T1=0.04	OPT f=8 TT=97.094 T1=0.01	OPT f=8 TT=157.453 T1=0.01	SAT (TO) f=8 TT=2400.08 T1=20.3	OPT f=8 TT=100.965 T1=76.34	OPT f=8 TT=1844.03 T1=17.62	OPT f=8 TT=160.401 T1=10.5	OPT f=8 TT=174.863 T1=12.08
QuadraticAssignment/ QuadraticAssignment-m1-s1/ QuadraticAssignment-esc32a.xml	SAT TO f=66 TT=2400.05 T1=15.02	SAT (TO) f=73 TT=2520.08 T1=749.94	SAT (TO) f=73 TT=20093.801 T1=726.91	SAT (TO) f=73 TT=20091.4 T1=732.54	SAT (TO) f=73 TT=2520.07 T1=657.04	SAT (TO) f=73 TT=2520.06 T1=655.53	SAT (TO) f=72 TT=2520.06 T1=1623.92	SAT (TO) f=72 TT=2520.09 T1=1620.07	SAT (TO) f=75 TT=2520.11 T1=2120.91	SAT (TO) f=93 TT=2520.02 T1=2519.9	SAT (TO) f=84 TT=2520.04 T1=2520	SAT (TO) f=66 TT=2519.7 T1=15.1	SAT (TO) f=67 TT=2520.05 T1=1003.45	SAT (TO) f=111 TT=2520.1 T1=1103.58	SAT (TO) f=66 TT=2520.06 T1=1055.01	SAT (TO) f=122 TT=19847.1 T1=2345.04	SAT (TO) f=113 TT=19852.301 T1=15199.51	SAT (TO) f=73 TT=2400.03 T1=758.56	SAT (TO) f=77 TT=2400.06 T1=9.34	Wrong Opt. f=171 TT=4.735 T1=1.25	SAT (TO) f=75 TT=2400.16 T1=2049.39	SAT (TO) f=93 TT=2400.04 T1=1923.1	SAT (TO) f=84 TT=2400.03 T1=0.75	SAT (TO) f=66 TT=2400.05 T1=15.02	SAT (TO) f=69 TT=2400.08 T1=2139.51	SAT (TO) f=111 TT=2400.09 T1=1120.51	SAT (TO) f=71 TT=2400.05 T1=1306.64	SAT (TO) f=180 TT=2400.19 T1=998.51	SAT (TO) f=180 TT=2520.25 T1=1009.94
QuadraticAssignment/ QuadraticAssignment-m1-s1/ QuadraticAssignment-esc32d.xml	SAT TO f=100 TT=2400.04 T1=527.97	SAT (TO) f=105 TT=2520.02 T1=1461.49	SAT (TO) f=101 TT=20079.199 T1=1507.22	SAT (TO) f=101 TT=20082 T1=1532.68	SAT (TO) f=103 TT=2520.1 T1=1645.6	SAT (TO) f=103 TT=2520.08 T1=1645.84	SAT (TO) f=102 TT=2520.05 T1=775.77	SAT (TO) f=102 TT=2520.06 T1=774.1	SAT (TO) f=108 TT=2520.16 T1=2103.31	SAT (TO) f=110 TT=2520.03 T1=2520	SAT (TO) f=110 TT=2520.01 T1=2519.8	SAT (TO) f=100 TT=2519.8 T1=1254.01	SAT (TO) f=102 TT=2520.03 T1=997.65	SAT (TO) f=133 TT=2520.07 T1=1851.55	SAT (TO) f=102 TT=2520.09 T1=1348.78	SAT (TO) f=123 TT=19899.6 T1=408.69	SAT (TO) f=124 TT=19892.5 T1=1169.31	SAT (TO) f=105 TT=2400.06 T1=1492.11	SAT (TO) f=103 TT=2400.35 T1=274.46	SAT (TO) f=104 TT=2400 T1=55.39	SAT (TO) f=112 TT=2400.1 T1=1591.01	SAT (TO) f=110 TT=2400.04 T1=23.04	SAT (TO) f=110 TT=2400.07 T1=8.8	SAT (TO) f=100 TT=2400.04 T1=1281.94	SAT (TO) f=104 TT=2400.05 T1=2087.39	SAT (TO) f=133 TT=2400.08 T1=1857.26	SAT (TO) f=100 TT=2400.05 T1=527.97	SAT (TO) f=151 TT=2400.35 T1=55.72	SAT (TO) f=151 TT=2520.25 T1=58.91
QuadraticAssignment/ QuadraticAssignment-m1-s1/ QuadraticAssignment-lipa20b.xml	SAT TO f=13638 TT=19961.5 T1=1.05	SAT (TO) f=16246 TT=2520.02 T1=494.26	SAT (TO) f=13638 TT=19970.5 T1=1.13	SAT (TO) f=13638 TT=19961.5 T1=1.05	SAT (TO) f=16051 TT=2520.14 T1=586.45	SAT (TO) f=16051 TT=2520.08 T1=598.91	SAT (TO) f=16208 TT=2520.06 T1=2410.9	SAT (TO) f=16208 TT=2520.11 T1=2442.36	SAT (TO) f=15686 TT=2520.08 T1=655.95	SAT (TO) f=16264 TT=2519.99 T1=2520	SAT (TO) f=16492 TT=2519.83 T1=2520	SAT (TO) f=15586 TT=2519.86 T1=118.81	SAT (TO) f=15673 TT=2520.13 T1=302.12	SAT (TO) f=16815 TT=2520.13 T1=1536.59	SAT (TO) f=15804 TT=2520.05 T1=518.3	SAT (TO) f=16582 TT=19924.6 T1=2113.43	SAT (TO) f=16647 TT=19880 T1=6439.9	SAT (TO) f=16246 TT=2400.09 T1=511.3	SAT (TO) f=13638 TT=2400.05 T1=1.35	SAT (TO) f=13638 TT=2400.08 T1=1.11	SAT (TO) f=15686 TT=2400.09 T1=807.11	No Cert. TT=2400.06	No Cert. TT=2400.03	SAT (TO) f=15586 TT=2400.04 T1=119.18	SAT (TO) f=15661 TT=2400.07 T1=2280.01	SAT (TO) f=16815 TT=2400.12 T1=1550.03	SAT (TO) f=15307 TT=2400.03 T1=887.05	SAT (TO) f=17495 TT=2400.23 T1=59.12	SAT (TO) f=17495 TT=2520.39 T1=59.09
QuadraticAssignment/ QuadraticAssignment-m1-s1/ QuadraticAssignment-nug20.xml	SAT TO f=1287 TT=2400.07 T1=1440.66	SAT (TO) f=1436 TT=2520.05 T1=1594.03	SAT (TO) f=1417 TT=20039.301 T1=64.56	SAT (TO) f=1320 TT=19982.6 T1=1418.42	SAT (TO) f=1393 TT=2520.06 T1=195.36	SAT (TO) f=1393 TT=2520.07 T1=195.95	SAT (TO) f=1417 TT=2520.06 T1=2236.28	SAT (TO) f=1417 TT=2520.08 T1=2308.96	SAT (TO) f=1307 TT=2520.08 T1=1152.43	SAT (TO) f=1438 TT=2520.1 T1=2520	SAT (TO) f=1463 TT=2519.84 T1=2520	SAT (TO) f=1287 TT=2520.01 T1=1504.99	SAT (TO) f=1309 TT=2520.1 T1=516.5	SAT (TO) f=1465 TT=2520.09 T1=2404.53	SAT (TO) f=1323 TT=2520.12 T1=1059.72	SAT (TO) f=1508 TT=19888 T1=865.54	SAT (TO) f=1480 TT=19897.5 T1=13306.04	SAT (TO) f=1436 TT=2400.04 T1=1636.27	SAT (TO) f=1441 TT=2400.2 T1=97.51	SAT (TO) f=1440 TT=2400.37 T1=77.26	SAT (TO) f=1307 TT=2400.09 T1=1163.23	No Cert. TT=2400.03	No Cert. TT=2400.07	SAT (TO) f=1287 TT=2400.07 T1=1440.66	SAT (TO) f=1307 TT=2400.06 T1=904.83	SAT (TO) f=1465 TT=2400.09 T1=2334.15	SAT (TO) f=1309 TT=2400.1 T1=1339.37	SAT (TO) f=1591 TT=2400.25 T1=1229.28	SAT (TO) f=1591 TT=2520.18 T1=1282.88
QuadraticAssignment/ QuadraticAssignment-m1-s1/ QuadraticAssignment-nug21.xml	SAT TO f=1228 TT=2520.05 T1=1360.6	SAT (TO) f=1413 TT=2520.06 T1=2136.53	SAT (TO) f=1352 TT=20021.9 T1=172.01	SAT (TO) f=1352 TT=19989.301 T1=1861.53	SAT (TO) f=1336 TT=2520.09 T1=828.47	SAT (TO) f=1336 TT=2520.11 T1=816.67	SAT (TO) f=1379 TT=2520.21 T1=1438.24	SAT (TO) f=1379 TT=2520.03 T1=1374.72	SAT (TO) f=1276 TT=2520.09 T1=688.19	SAT (TO) f=1448 TT=2520.1 T1=2519.9	SAT (TO) f=1463 TT=2520.09 T1=2519.9	SAT (TO) f=1233 TT=2519.93 T1=126.98	SAT (TO) f=1228 TT=2520.05 T1=1360.6	SAT (TO) f=1379 TT=2520.09 T1=1219.68	SAT (TO) f=1245 TT=2520.02 T1=833.8	SAT (TO) f=1368 TT=19877.6 T1=1246.73	SAT (TO) f=1375 TT=19888.4 T1=14254.38	SAT (TO) f=1413 TT=2400.1 T1=2182.06	Wrong Opt. f=1617 TT=7.743 T1=1.65	SAT (TO) f=1384 TT=2400.45 T1=205.75	SAT (TO) f=1276 TT=2400.16 T1=727.26	No Cert. TT=2400.02	No Cert. TT=2400.08	SAT (TO) f=1233 TT=2400.09 T1=122	SAT (TO) f=1248 TT=2400.12 T1=2293.62	SAT (TO) f=1379 TT=2400.1 T1=1269.01	SAT (TO) f=1242 TT=2400.06 T1=1302.06	SAT (TO) f=1651 TT=2400.17 T1=2320.5	SAT (TO) f=1651 TT=2520.22 T1=2242.17
QuadraticAssignment/ QuadraticAssignment-m1-s1/ QuadraticAssignment-nug30.xml	SAT TO f=3153 TT=2520.1 T1=2105.37	SAT (TO) f=3673 TT=2520.04 T1=497.96	SAT (TO) f=3430 TT=20004.699 T1=1532.6	SAT (TO) f=3494 TT=20011 T1=1098.43	SAT (TO) f=3375 TT=2520.03 T1=1083.65	SAT (TO) f=3375 TT=2520.07 T1=1076.81	SAT (TO) f=3394 TT=2520.02 T1=2059.17	SAT (TO) f=3394 TT=2520.12 T1=2124.97	SAT (TO) f=3240 TT=2520.16 T1=414.99	SAT (TO) f=3716 TT=2519.84 T1=2520	SAT (TO) f=3684 TT=2520.05 T1=2519.8	SAT (TO) f=3159 TT=2520.08 T1=2505.83	SAT (TO) f=3153 TT=2520.1 T1=2105.37	? (TO) TT=2520.02	? (TO) TT=2520.07	SAT (TO) f=3616 TT=20039.801 T1=607.15	SAT (TO) f=3529 TT=20026.699 T1=2277.09	SAT (TO) f=3673 TT=2400.12 T1=492.34	SAT (TO) f=3529 TT=2400.03 T1=248.54	SAT (TO) f=3413 TT=2400.31 T1=57.58	SAT (TO) f=3240 TT=2400.07 T1=460.21	No Cert. TT=2400.08	No Cert. TT=2400.09	SAT (TO) f=3166 TT=2400.07 T1=842.98	SAT (TO) f=3173 TT=2400.09 T1=2005.23	? (TO) TT=2400.04	? (TO) TT=2400.09	? (TO) TT=2400.13	? (TO) TT=2520.1
QuadraticAssignment/ QuadraticAssignment-m1-s1/ QuadraticAssignment-sko100a.xml	SAT TO f=79853 TT=2519.98 T1=2478.76	SAT (TO) f=87599 TT=2520.09 T1=217.77	SAT (TO) f=87627 TT=17196.801 T1=1090.05	SAT (TO) f=87368 TT=17919.6 T1=2117.19	? (TO) TT=2520.12	? (TO) TT=2520.11	? (TO) TT=2520.13	? (TO) TT=2520.09	? TT=2018.98	SAT (TO) f=87786 TT=2519.65 T1=2520	SAT (TO) f=87690 TT=2519.98 T1=2520.01	SAT (TO) f=79853 TT=2519.98 T1=2478.76	? (TO) TT=2520.06	? (TO) TT=2520.06	? (TO) TT=2520.15	? TT=8173.47	? TT=3152.91	SAT (TO) f=87599 TT=2400.04 T1=226.22	? TT=836.505	? TT=827.945	? (TO) TT=2415.83	No Cert. TT=2400.1	No Cert. TT=2400.06	SAT (TO) f=79942 TT=2400.27 T1=2344.89	? (TO) TT=2400.05	? (TO) TT=2400.15	? (TO) TT=2400.04	? TT=1769.25	? TT=1513.6
QuadraticAssignment/ QuadraticAssignment-m1-s1/ QuadraticAssignment-sko81.xml	SAT TO f=47363 TT=2520.02 T1=2495.16	SAT (TO) f=52690 TT=2520.08 T1=111.06	SAT (TO) f=50469 TT=19355.6 T1=2171.23	SAT (TO) f=50469 TT=19004.6 T1=2162.67	SAT (TO) f=50469 TT=2520.08 T1=1580.31	SAT (TO) f=50469 TT=2520.03 T1=1610.16	SAT (TO) f=50537 TT=2520.12 T1=1351.44	SAT (TO) f=50537 TT=2520.08 T1=1351.05	? TT=1741.11	SAT (TO) f=53487 TT=2519.69 T1=2520	SAT (TO) f=52699 TT=2519.61 T1=2520.01	SAT (TO) f=47363 TT=2520.02 T1=2495.16	? (TO) TT=2520.09	? (TO) TT=2520.45	? (TO) TT=2520.09	? (TO) TT=19254	? (TO) TT=19976.199	SAT (TO) f=52690 TT=2400.1 T1=110.85	SAT (TO) f=52530 TT=2400.75 T1=405.34	SAT (TO) f=52941 TT=2400.44 T1=191.51	? (TO) TT=2416.68	No Cert. TT=2400.02	No Cert. TT=2400.09	SAT (TO) f=47389 TT=2400.09 T1=2379.03	? (TO) TT=2400.13	? (TO) TT=2400.06	? (TO) TT=2400.07	? (TO) TT=2416.09	? TT=1723.12
QuadraticAssignment/ QuadraticAssignment-m1-s1/ QuadraticAssignment-ste36c.xml	SAT TO f=4280744 TT=2400.02 T1=1324.45	SAT (TO) f=6903757 TT=2520.1 T1=1.47	SAT (TO) f=6216781 TT=20048.5 T1=659.71	SAT (TO) f=5643696 TT=20031.801 T1=2002.45	SAT (TO) f=5564611 TT=2520.02 T1=2061.09	SAT (TO) f=5564611 TT=2520.1 T1=2041.05	SAT (TO) f=5838074 TT=2520.12 T1=959.87	SAT (TO) f=5838074 TT=2520.07 T1=940.34	SAT (TO) f=4425460 TT=2520.08 T1=1259.25	SAT (TO) f=7670520 TT=2520.1 T1=2519.9	SAT (TO) f=7590561 TT=2520.01 T1=2520	SAT (TO) f=4280744 TT=2519.76 T1=1324.45	SAT (TO) f=5253772 TT=2520.11 T1=2211.17	SAT (TO) f=6908913 TT=2520.11 T1=1365.31	SAT (TO) f=5141384 TT=2520.05 T1=1748.16	SAT (TO) f=6908913 TT=19892.5 T1=778.39	SAT (TO) f=6908913 TT=19907.301 T1=9376.61	SAT (TO) f=6903757 TT=2400.04 T1=1.41	SAT (TO) f=6072570 TT=2400.29 T1=428.56	SAT (TO) f=6424812 TT=2400.4 T1=417.48	SAT (TO) f=4425460 TT=2400.51 T1=1197.3	No Cert. TT=2400.1	No Cert. TT=2400.07	SAT (TO) f=4280744 TT=2400.02 T1=1343.01	SAT (TO) f=5241924 TT=2400.05 T1=2212.97	SAT (TO) f=6908913 TT=2400.08 T1=1339.68	SAT (TO) f=4815481 TT=2400.39 T1=1609.39	? TT=1515.59	? TT=661.463
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
QuadraticAssignment/ QuadraticAssignment-m1-s1/ QuadraticAssignment-tai10b.xml	OPT f=58937 TT=0.763 T1=0.08	OPT f=58937 TT=2.492 T1=1.22	OPT f=58937 TT=6.621 T1=0.85	OPT f=58937 TT=4.982 T1=0.9	OPT f=58937 TT=5.408 T1=2.17	OPT f=58937 TT=5.329 T1=2.12	OPT f=58937 TT=16.757 T1=8.47	OPT f=58937 TT=17.015 T1=8.52	OPT f=58937 TT=14.153 T1=5.14	OPT f=58937 TT=0.763 T1=0.85	Signal TT=0.928	OPT f=58937 TT=2.552 T1=0.16	SAT (TO) f=58937 TT=2520.04 T1=5.59	OPT f=58937 TT=5.845 T1=3.86	OPT f=58937 TT=5.948 T1=3.87	OPT f=58937 TT=13.59 T1=3.39	OPT f=58937 TT=13.128 T1=12.93	OPT f=58937 TT=3.206 T1=1.17	OPT f=58937 TT=7.64 T1=0.94	OPT f=58937 TT=8.57 T1=1.02	OPT f=58937 TT=17.922 T1=5.57	OPT f=58937 TT=0.823 T1=0.7	Signal TT=0.994	OPT f=58937 TT=2.6 T1=0.08	SAT (TO) f=58937 TT=2400.07 T1=7.71	OPT f=58937 TT=6.596 T1=3.84	OPT f=58937 TT=6.41 T1=4.07	OPT f=58937 TT=1698.05 T1=1657.92	OPT f=58937 TT=1765.85 T1=1729.84
QuadraticAssignment/ QuadraticAssignment-m1-s1/ QuadraticAssignment-tai12a.xml	OPT f=112208 TT=14116.1 T1=954.19	SAT (TO) f=115352 TT=2520.09 T1=2307.81	SAT (TO) f=112208 TT=20041 T1=991.58	SAT (TO) f=112208 TT=20012.5 T1=22.65	SAT (TO) f=112208 TT=2520.07 T1=1479.58	SAT (TO) f=112208 TT=2520.1 T1=1494.69	SAT (TO) f=119430 TT=2520.08 T1=2349.59	SAT (TO) f=119430 TT=2520.03 T1=2319.75	SAT (TO) f=114546 TT=2520.13 T1=570.27	SAT (TO) f=119956 TT=2519.83 T1=2520	SAT (TO) f=119429 TT=2519.83 T1=2520	SAT (TO) f=115352 TT=2519.79 T1=20.82	SAT (TO) f=116082 TT=2520.05 T1=879.51	SAT (TO) f=127108 TT=2520.04 T1=276.84	SAT (TO) f=112208 TT=2520.03 T1=143.63	OPT f=112208 TT=16276.6 T1=954.19	OPT f=112208 TT=14116.1 T1=6724.55	SAT (TO) f=115352 TT=2400.05 T1=2254.53	SAT (TO) f=115726 TT=2400.28 T1=31.96	SAT (TO) f=112208 TT=2400.03 T1=51.5	SAT (TO) f=114546 TT=2400.11 T1=570.46	? (TO) TT=2400.06	? (TO) TT=2400.04	SAT (TO) f=115352 TT=2400.04 T1=20.55	SAT (TO) f=115352 TT=2400.07 T1=144.91	SAT (TO) f=127108 TT=2400.03 T1=285.79	SAT (TO) f=115352 TT=2400.06 T1=286.55	SAT (TO) f=130124 TT=2400.2 T1=213.91	SAT (TO) f=130124 TT=2520.26 T1=244.2
QuadraticAssignment/ QuadraticAssignment-m1-s1/ QuadraticAssignment-tai15a.xml	SAT TO f=195391 TT=2400.01 T1=1193.05	SAT (TO) f=203793 TT=2520.02 T1=941.18	SAT (TO) f=198908 TT=19823.5 T1=837.92	SAT (TO) f=196492 TT=19493.9 T1=322.85	SAT (TO) f=199153 TT=2520.06 T1=283.36	SAT (TO) f=199153 TT=2520.1 T1=276.46	SAT (TO) f=204043 TT=2520.03 T1=995.25	SAT (TO) f=204043 TT=2520.05 T1=992.69	SAT (TO) f=198845 TT=2520.06 T1=63.66	SAT (TO) f=207907 TT=2520.01 T1=2520	SAT (TO) f=207076 TT=2520.03 T1=2520	SAT (TO) f=195391 TT=2520.07 T1=1246.25	SAT (TO) f=198839 TT=2520.13 T1=1825.42	SAT (TO) f=211898 TT=2520.09 T1=59.72	SAT (TO) f=198092 TT=2520.05 T1=1739.52	SAT (TO) f=203258 TT=19881.199 T1=1260.26	SAT (TO) f=203258 TT=19905 T1=5993.76	SAT (TO) f=203793 TT=2400.08 T1=968.96	SAT (TO) f=200006 TT=2400.79 T1=113.62	SAT (TO) f=205458 TT=2400.03 T1=386.72	SAT (TO) f=198845 TT=2400.13 T1=69.32	? (TO) TT=2400.1	? (TO) TT=2400.02	SAT (TO) f=195391 TT=2400.01 T1=1193.05	SAT (TO) f=197522 TT=2400.05 T1=695.21	SAT (TO) f=211898 TT=2400.06 T1=61.88	SAT (TO) f=201621 TT=2400.14 T1=215.56	SAT (TO) f=250281 TT=2400.31 T1=6.43	SAT (TO) f=250281 TT=2520.26 T1=6.64
QuadraticAssignment/ QuadraticAssignment-m1-s1/ QuadraticAssignment-tai80a.xml	SAT TO f=7129639 TT=2519.7 T1=2419.99	SAT (TO) f=7640304 TT=2520.1 T1=774.78	SAT (TO) f=7348514 TT=18963.5 T1=2144.82	SAT (TO) f=7348514 TT=18558.5 T1=1991.45	SAT (TO) f=7348514 TT=2520.06 T1=1801.88	SAT (TO) f=7348514 TT=2520.09 T1=1804.18	SAT (TO) f=7346382 TT=2520.06 T1=1862.95	SAT (TO) f=7346382 TT=2520.12 T1=1863.49	SAT f=7870242 TT=2029.28 T1=187.65	SAT (TO) f=7687952 TT=2519.76 T1=2520	SAT (TO) f=7706841 TT=2519.96 T1=2520.01	SAT (TO) f=7129639 TT=2519.7 T1=2419.99	SAT (TO) f=7445065 TT=2520.15 T1=2283.6	SAT (TO) f=7684328 TT=2520.14 T1=1000.38	SAT (TO) f=7499862 TT=2520.14 T1=1764.25	? TT=1677.22	SAT (TO) f=7608475 TT=18593.4 T1=2799.19	SAT (TO) f=7640304 TT=2400.08 T1=784.39	SAT (TO) f=7566572 TT=2400.42 T1=394.57	SAT (TO) f=7566572 TT=2400.67 T1=420.47	? (TO) TT=2416.3	No Cert. TT=2400.06	No Cert. TT=2400.1	SAT (TO) f=7136293 TT=2400.11 T1=2356.17	SAT (TO) f=7491603 TT=2400.08 T1=2256.96	SAT (TO) f=7684328 TT=2400.09 T1=990.79	SAT (TO) f=7458180 TT=2400.15 T1=1704.39	? TT=1161.88	? TT=499.662
QueenAttacking/ QueenAttacking-m1-s1/ QueenAttacking-03.xml	UNSAT TT=0.019	UNSAT TT=1.061	UNSAT TT=1.383	UNSAT TT=1.399	UNSAT TT=0.92	UNSAT TT=0.945	UNSAT TT=0.993	UNSAT TT=0.99	UNSAT TT=7.462	UNSAT TT=0.021	UNSAT TT=0.019	UNSAT TT=0.054	UNSAT TT=1.192	UNSAT TT=1.187	UNSAT TT=1.209	UNSAT TT=1.236	UNSAT TT=1.237	UNSAT TT=1.297	UNSAT TT=1.541	UNSAT TT=1.54	UNSAT TT=9.921	UNSAT TT=0.029	UNSAT TT=0.026	UNSAT TT=0.07	UNSAT TT=1.285	UNSAT TT=1.352	UNSAT TT=1.28	UNSAT TT=1.143	UNSAT TT=1.039
QueenAttacking/ QueenAttacking-m1-s1/ QueenAttacking-04.xml	UNSAT TT=0.288	UNSAT TT=1.779	UNSAT TT=7.064	UNSAT TT=7.546	UNSAT TT=3.778	UNSAT TT=3.791	UNSAT TT=8.104	UNSAT TT=7.969	UNSAT TT=10.369	UNSAT TT=0.288	UNSAT TT=0.326	UNSAT TT=64.091	UNSAT TT=3.149	UNSAT TT=2.951	UNSAT TT=2.92	UNSAT TT=10.293	UNSAT TT=9.877	UNSAT TT=2.194	UNSAT TT=9.696	UNSAT TT=8.654	UNSAT TT=12.096	UNSAT TT=0.318	UNSAT TT=0.379	UNSAT TT=65.45	UNSAT TT=3.899	UNSAT TT=3.125	UNSAT TT=3.074	UNSAT TT=3.699	UNSAT TT=3.056
QueenAttacking/ QueenAttacking-m1-s1/ QueenAttacking-06.xml	OPT f=0 TT=18.094 T1=3.14	OPT f=0 TT=19.772 T1=16.88	OPT f=0 TT=15.897 T1=2.61	OPT f=0 TT=19.954 T1=3.14	OPT f=0 TT=70.081 T1=64.91	OPT f=0 TT=73.631 T1=68.65	OPT f=0 TT=140.187 T1=126.38	OPT f=0 TT=142.052 T1=129.02	OPT f=0 TT=26.387 T1=16.23	OPT f=0 TT=18.094 T1=18.14	OPT f=0 TT=70.631 T1=70.71	OPT f=0 TT=2378.09 T1=2377.99	SAT (TO) f=0 TT=2520.05 T1=60.6	OPT f=0 TT=58.955 T1=56.18	OPT f=0 TT=58.95 T1=55.97	OPT f=0 TT=29.225 T1=9.01	OPT f=0 TT=23.788 T1=22.93	OPT f=0 TT=21.291 T1=18.2	OPT f=0 TT=21.189 T1=3.36	OPT f=0 TT=26.545 T1=4.05	OPT f=0 TT=30.393 T1=16.74	OPT f=0 TT=18.318 T1=18.32	OPT f=0 TT=70.306 T1=70.31	? (TO) TT=2400.03	SAT (TO) f=0 TT=2400.09 T1=21.21	OPT f=0 TT=59.742 T1=55.91	OPT f=0 TT=59.823 T1=55.87	OPT f=0 TT=512.237 T1=502.26	OPT f=0 TT=525.48 T1=520.59
QueenAttacking/ QueenAttacking-m1-s1/ QueenAttacking-07.xml	OPT f=0 TT=5.113 T1=1.97	OPT f=0 TT=561.896 T1=558.49	OPT f=0 TT=15.204 T1=3	OPT f=0 TT=16.005 T1=3.22	OPT f=0 TT=5.142 T1=1.83	OPT f=0 TT=5.113 T1=1.97	OPT f=0 TT=5.752 T1=2.25	OPT f=0 TT=5.811 T1=2.17	OPT f=0 TT=2091.21 T1=2059.87	SAT (TO) f=2 TT=2519.76 T1=2520	SAT (TO) f=2 TT=2520.01 T1=2519.9	SAT (TO) f=2 TT=2519.96 T1=316.12	? (TO) TT=2520.07	? (TO) TT=2520.03	? (TO) TT=2520.06	? (TO) TT=19883.1	? (TO) TT=19871	OPT f=0 TT=599.813 T1=595.31	OPT f=0 TT=21.762 T1=3.75	OPT f=0 TT=21.962 T1=3.86	OPT f=0 TT=2168.98 T1=2109.86	? (TO) TT=2400.11	? (TO) TT=2400.05	SAT (TO) f=2 TT=2400.1 T1=324.16	? (TO) TT=2400.09	? (TO) TT=2400.06	? (TO) TT=2400.08	SAT (TO) f=3 TT=2400.25 T1=1228.54	SAT (TO) f=3 TT=2520.25 T1=1249.69
QueenAttacking/ QueenAttacking-m1-s1/ QueenAttacking-08.xml	OPT f=0 TT=1196.9 T1=153.15	SAT (TO) f=3 TT=2520.1 T1=2217.32	OPT f=0 TT=3105.29 T1=392	OPT f=0 TT=1196.9 T1=153.15	SAT (TO) f=2 TT=2520.07 T1=274.39	SAT (TO) f=2 TT=2520.04 T1=269.92	SAT (TO) f=3 TT=2520.04 T1=241.56	SAT (TO) f=3 TT=2520.09 T1=234.02	SAT (TO) f=1 TT=2520.08 T1=2253.09	SAT (TO) f=3 TT=2520.1 T1=2519.9	SAT (TO) f=4 TT=2519.99 T1=2520	? (TO) TT=2519.78	? (TO) TT=2520.06	? (TO) TT=2520.07	? (TO) TT=2520.09	SAT (TO) f=1 TT=3826.69 T1=186.51	SAT (TO) f=1 TT=6935.51 T1=5030.79	SAT (TO) f=3 TT=2400.12 T1=2178.04	OPT f=0 TT=246.343 T1=33.39	OPT f=0 TT=503.721 T1=65.88	SAT (TO) f=2 TT=2400.06 T1=626.69	? (TO) TT=2400.01	? (TO) TT=2400.08	? (TO) TT=2400.02	? (TO) TT=2400.11	? (TO) TT=2400.08	? (TO) TT=2400.1	? (TO) TT=2400.51	? (TO) TT=2520.84
QueenAttacking/ QueenAttacking-m1-s1/ QueenAttacking-09.xml	SAT TO f=6 TT=19973.1 T1=283.34	SAT (TO) f=7 TT=2520.05 T1=1363.97	SAT (TO) f=6 TT=19985 T1=278.52	SAT (TO) f=6 TT=19973.1 T1=283.34	SAT (TO) f=7 TT=2520.12 T1=2462.44	SAT (TO) f=7 TT=2520.04 T1=2439.93	SAT (TO) f=7 TT=2520.07 T1=491.24	SAT (TO) f=7 TT=2520.09 T1=491.75	? (TO) TT=2520.62	? (TO) TT=2519.91	? (TO) TT=2520.04	? (TO) TT=2519.79	? (TO) TT=2520.11	? (TO) TT=2520.07	? (TO) TT=2520.1	? (TO) TT=19916.301	? (TO) TT=19892.9	SAT (TO) f=7 TT=2400.2 T1=1339.83	SAT (TO) f=5 TT=2400.03 T1=217.36	SAT (TO) f=7 TT=2400.39 T1=114.4	? (TO) TT=2401.36	? (TO) TT=2400.04	? (TO) TT=2400.08	? (TO) TT=2400.05	? (TO) TT=2400.06	? (TO) TT=2400.07	? (TO) TT=2400.11	? (TO) TT=2400.21	? (TO) TT=2520.22
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
QueenAttacking/ QueenAttacking-m1-s1/ QueenAttacking-10.xml	SAT TO f=9 TT=2520.05 T1=113.03	? (TO) TT=2520.09	SAT (TO) f=9 TT=19859.9 T1=130.44	SAT (TO) f=9 TT=19869.5 T1=127.54	SAT (TO) f=9 TT=2520.11 T1=120.57	SAT (TO) f=9 TT=2520.05 T1=113.03	? (TO) TT=2520.04	? (TO) TT=2520.05	? (TO) TT=2520.68	? (TO) TT=2519.6	? (TO) TT=2520.02	? (TO) TT=2520.1	? (TO) TT=2520.06	? (TO) TT=2520.08	? (TO) TT=2520.04	SAT (TO) f=9 TT=19926 T1=1481.63	SAT (TO) f=12 TT=19994.5 T1=8254.28	? (TO) TT=2400.11	SAT (TO) f=9 TT=2400.16 T1=224.38	SAT (TO) f=9 TT=2400.23 T1=233.39	? (TO) TT=2401.45	? (TO) TT=2400.01	? (TO) TT=2400.02	? (TO) TT=2400.05	? (TO) TT=2400.03	? (TO) TT=2400.11	? (TO) TT=2400.1	? (TO) TT=2400.35	? (TO) TT=2520.29
QueenAttacking/ QueenAttacking-m1-s1/ QueenAttacking-11.xml	SAT TO f=13 TT=20012.4 T1=97.82	? (TO) TT=2520.02	SAT (TO) f=13 TT=20002.1 T1=92.96	SAT (TO) f=13 TT=20012.4 T1=97.82	? (TO) TT=2520.09	? (TO) TT=2520.04	? (TO) TT=2520.04	? (TO) TT=2520.08	? (TO) TT=2520.82	? (TO) TT=2519.94	? (TO) TT=2520.05	? (TO) TT=2519.96	? (TO) TT=2520.06	? (TO) TT=2520.13	? (TO) TT=2520.13	? (TO) TT=19980.1	? (TO) TT=19951.801	? (TO) TT=2400.05	SAT (TO) f=13 TT=2400.77 T1=112.05	SAT (TO) f=13 TT=2400.23 T1=113.8	? (TO) TT=2401.63	? (TO) TT=2400.05	? (TO) TT=2400.06	? (TO) TT=2400.08	? (TO) TT=2400.08	? (TO) TT=2400.08	? (TO) TT=2400.07	? (TO) TT=2400.3	? (TO) TT=2520.24
QueenAttacking/ QueenAttacking-m1-s1/ QueenAttacking-12.xml	SAT TO f=17 TT=19964.4 T1=440.48	? (TO) TT=2520.07	SAT (TO) f=17 TT=19958.699 T1=391.08	SAT (TO) f=17 TT=19964.4 T1=440.48	? (TO) TT=2520.04	? (TO) TT=2520.04	? (TO) TT=2520.04	? (TO) TT=2520.07	SAT (TO) f=26 TT=2520.04 T1=2428.06	? (TO) TT=2520.03	? (TO) TT=2520.06	? (TO) TT=2520.07	? (TO) TT=2520.12	? (TO) TT=2520.05	? (TO) TT=2520.04	SAT (TO) f=28 TT=19997.5 T1=2022.42	SAT (TO) f=32 TT=19995.5 T1=7796.28	? (TO) TT=2400.11	? (TO) TT=2400.41	? (TO) TT=2400.62	SAT (TO) f=27 TT=2400.07 T1=1882.31	? (TO) TT=2400.06	? (TO) TT=2400.08	? (TO) TT=2400.04	? (TO) TT=2400.06	? (TO) TT=2400.11	? (TO) TT=2400.11	? (TO) TT=2400.26	? (TO) TT=2522.28
QueenAttacking/ QueenAttacking-m1-s1/ QueenAttacking-13.xml	SAT TO f=20 TT=19880.199 T1=1090.14	? (TO) TT=2520.11	SAT (TO) f=20 TT=19881.9 T1=1092.07	SAT (TO) f=20 TT=19880.199 T1=1090.14	? (TO) TT=2520.03	? (TO) TT=2520.03	? (TO) TT=2520.06	? (TO) TT=2520.03	? (TO) TT=2520.97	? (TO) TT=2519.7	? (TO) TT=2519.9	? (TO) TT=2519.79	? (TO) TT=2520.03	? (TO) TT=2520.13	? (TO) TT=2520.11	? (TO) TT=20031.6	? (TO) TT=20033.699	? (TO) TT=2400.08	SAT (TO) f=20 TT=2400.82 T1=300.98	SAT (TO) f=20 TT=2400.77 T1=306.37	? (TO) TT=2402.08	? (TO) TT=2400.04	? (TO) TT=2400.02	? (TO) TT=2400.03	? (TO) TT=2400.06	? (TO) TT=2400.04	? (TO) TT=2400.09	? (TO) TT=2400.65	? (TO) TT=2520.29
QueenAttacking/ QueenAttacking-m1-s1/ QueenAttacking-14.xml		? (TO) TT=2520.06	? (TO) TT=19754.6	? (TO) TT=19759.5	? (TO) TT=2520.02	? (TO) TT=2520.07	? (TO) TT=2520.05	? (TO) TT=2520.1	? (TO) TT=2520.98	? (TO) TT=2519.71	? (TO) TT=2519.83	? (TO) TT=2520.01	? (TO) TT=2520.05	? (TO) TT=2520.12	? (TO) TT=2520.05	? (TO) TT=20015	? (TO) TT=20019.9	? (TO) TT=2400.08	? (TO) TT=2400.42	? (TO) TT=2400.57	? (TO) TT=2402.7	? (TO) TT=2400.05	? (TO) TT=2400.09	? (TO) TT=2400.09	? (TO) TT=2400.05	? (TO) TT=2400.06	? (TO) TT=2400.11	? (TO) TT=2400.23	? (TO) TT=2520.24
QueenAttacking/ QueenAttacking-m1-s1/ QueenAttacking-15.xml		? (TO) TT=2520.05	? (TO) TT=19601.5	? (TO) TT=19588.9	? (TO) TT=2520.08	? (TO) TT=2520.05	? (TO) TT=2520.08	? (TO) TT=2520.11	? (TO) TT=2521.12	? (TO) TT=2519.91	? (TO) TT=2519.98	? (TO) TT=2519.53	? (TO) TT=2520.07	? (TO) TT=2520.05	? (TO) TT=2520.11	? (TO) TT=19986.9	? (TO) TT=19974.1	? (TO) TT=2400.03	? (TO) TT=2400.52	? (TO) TT=2400.23	? (TO) TT=2402.45	? (TO) TT=2400.06	? (TO) TT=2400.06	? (TO) TT=2400.02	? (TO) TT=2400.06	? (TO) TT=2400.06	? (TO) TT=2400.05	? (TO) TT=2400.25	? (TO) TT=2520.22
QueenAttacking/ QueenAttacking-m1-s1/ QueenAttacking-16.xml		? (TO) TT=2520.02	? (TO) TT=19351	? (TO) TT=19331.6	? (TO) TT=2520.1	? (TO) TT=2520.05	? (TO) TT=2520.07	? (TO) TT=2520.08	? (TO) TT=2521.37	? (TO) TT=2519.78	? (TO) TT=2519.65	? (TO) TT=2519.89	? (TO) TT=2520.09	? (TO) TT=2520.05	? (TO) TT=2520.05	? (TO) TT=19933	? (TO) TT=19924.5	? (TO) TT=2400.06	? (TO) TT=2400.47	? (TO) TT=2400.55	? (TO) TT=2402.64	? (TO) TT=2400.08	? (TO) TT=2400.03	? (TO) TT=2400.03	? (TO) TT=2400.05	? (TO) TT=2400.05	? (TO) TT=2400.1	? (TO) TT=2400.27	? (TO) TT=2520.22
QueenAttacking/ QueenAttacking-m1-s1/ QueenAttacking-17.xml		? (TO) TT=2520.09	? (TO) TT=19364.699	? (TO) TT=19356.5	? (TO) TT=2520.1	? (TO) TT=2520.07	? (TO) TT=2520.09	? (TO) TT=2520.06	? (TO) TT=2521.54	? (TO) TT=2519.98	? (TO) TT=2520.04	? (TO) TT=2520.08	? (TO) TT=2520.08	? (TO) TT=2520.11	? (TO) TT=2520.04	? (TO) TT=19848.5	? (TO) TT=19866.301	? (TO) TT=2400.1	? (TO) TT=2400.02	? (TO) TT=2400.14	? (TO) TT=2402.93	? (TO) TT=2400.09	? (TO) TT=2400.1	? (TO) TT=2400.07	? (TO) TT=2400.05	? (TO) TT=2400.04	? (TO) TT=2400.03	? (TO) TT=2400.2	? (TO) TT=2520.21
QueenAttacking/ QueenAttacking-m1-s1/ QueenAttacking-18.xml		? (TO) TT=2520.09	? (TO) TT=19094.699	? (TO) TT=19086.6	? (TO) TT=2520.11	? (TO) TT=2520.1	? (TO) TT=2520.1	? (TO) TT=2520.07	? (TO) TT=2521.52	? (TO) TT=2520.09	? (TO) TT=2520.06	? (TO) TT=2519.69	? (TO) TT=2520.03	? (TO) TT=2520.08	? (TO) TT=2520.09	? (TO) TT=19477.6	? (TO) TT=19789.1	? (TO) TT=2400.09	? TT=601.852	? (TO) TT=2400.32	? (TO) TT=2403.55	? (TO) TT=2400.07	? (TO) TT=2400.04	? (TO) TT=2400.09	? (TO) TT=2400.04	? (TO) TT=2400.06	? (TO) TT=2400.04	? (TO) TT=2400.3	? (TO) TT=2521.29
QueenAttacking/ QueenAttacking-m1-s1/ QueenAttacking-19.xml		? (TO) TT=2520.09	? (TO) TT=18688.5	? (TO) TT=18681.301	? (TO) TT=2520.11	? (TO) TT=2520.09	? (TO) TT=2520.12	? (TO) TT=2520.04	? (TO) TT=2522.04	? (TO) TT=2519.85	? (TO) TT=2520.08	? (TO) TT=2520.08	? (TO) TT=2520.11	? (TO) TT=2520.05	? (TO) TT=2520.1	? TT=2865.02	? (TO) TT=19626.699	? (TO) TT=2400.07	? TT=582.212	? TT=578.479	? (TO) TT=2403.83	? (TO) TT=2400.11	? (TO) TT=2400.03	? (TO) TT=2400.07	? (TO) TT=2400.04	? (TO) TT=2400.06	? (TO) TT=2400.1	? (TO) TT=2400.25	? (TO) TT=2520.21
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
QueenAttacking/ QueenAttacking-m1-s1/ QueenAttacking-20.xml		? (TO) TT=2520.08	? (TO) TT=18101.699	? (TO) TT=18113.5	? (TO) TT=2520.12	? (TO) TT=2520.04	? (TO) TT=2520.1	? (TO) TT=2520.09	? (TO) TT=2522.08	? (TO) TT=2520.02	? (TO) TT=2519.99	? (TO) TT=2519.81	? (TO) TT=2520.1	? (TO) TT=2520.05	? (TO) TT=2520.04	? TT=5866.5	? (TO) TT=19230.6	? (TO) TT=2400.04	? TT=1780.63	? TT=2319.64	? (TO) TT=2404.6	? (TO) TT=2400.07	? (TO) TT=2400.01	? (TO) TT=2400.06	? (TO) TT=2400.11	? (TO) TT=2400.09	? (TO) TT=2400.05	? (TO) TT=2400.27	? (TO) TT=2520.18
Rack/Rack-m1c-s1/ Rack-m1c-r1.xml	OPT f=550 TT=0.008 T1=0.06	OPT f=550 TT=1.249 T1=0.74	OPT f=550 TT=1.578 T1=0.64	OPT f=550 TT=1.565 T1=0.62	OPT f=550 TT=1.01 T1=0.5	OPT f=550 TT=1.017 T1=0.62	OPT f=550 TT=1.327 T1=0.55	OPT f=550 TT=1.289 T1=0.54	OPT f=550 TT=7.172 T1=3.75	OPT f=550 TT=0.008 T1=0.06	OPT f=550 TT=0.01 T1=0.09	OPT f=550 TT=0.012 T1=0.06	SAT (TO) f=550 TT=2520.03 T1=1.45	OPT f=550 TT=1.342 T1=0.76	OPT f=550 TT=1.368 T1=0.9	OPT f=550 TT=6.017 T1=1.65	OPT f=550 TT=5.858 T1=4.34	OPT f=550 TT=1.246 T1=0.69	OPT f=550 TT=1.28 T1=0.7	OPT f=550 TT=1.318 T1=0.72	OPT f=550 TT=7.281 T1=4.33	OPT f=550 TT=0.009 T1=0.09	OPT f=550 TT=0.01 T1=0.07	OPT f=550 TT=0.012 T1=0.1	SAT (TO) f=550 TT=2400.06 T1=1.43	OPT f=550 TT=1.359 T1=0.92	OPT f=550 TT=1.357 T1=1.56	OPT f=550 TT=1.395 T1=0.67	OPT f=550 TT=1.39 T1=0.69
Rack/Rack-m1c-s1/ Rack-m1c-r2.xml	OPT f=1100 TT=5.608 T1=0.1	OPT f=1100 TT=20.181 T1=0.8	OPT f=1100 TT=43.787 T1=0.79	OPT f=1100 TT=43.772 T1=0.83	OPT f=1100 TT=25.673 T1=0.61	OPT f=1100 TT=25.557 T1=0.73	OPT f=1100 TT=507.024 T1=1.38	OPT f=1100 TT=504.922 T1=1.43	OPT f=1100 TT=353.721 T1=3.94	OPT f=1100 TT=208.559 T1=208.54	OPT f=1100 TT=186.443 T1=186.53	OPT f=1100 TT=69.288 T1=0.11	SAT (TO) f=1100 TT=2520.11 T1=21.12	OPT f=1100 TT=5.608 T1=0.84	OPT f=1100 TT=1972.9 T1=1.22	OPT f=1100 TT=12.073 T1=1.98	OPT f=1100 TT=14.577 T1=6.23	OPT f=1100 TT=20.002 T1=0.77	OPT f=1100 TT=22.068 T1=0.92	OPT f=1100 TT=23.339 T1=0.96	OPT f=1100 TT=359.329 T1=3.94	OPT f=1100 TT=207.778 T1=0.06	OPT f=1100 TT=184.871 T1=0.09	OPT f=1100 TT=70.623 T1=0.1	SAT (TO) f=1100 TT=2400.05 T1=20.19	OPT f=1100 TT=5.733 T1=1.15	OPT f=1100 TT=1893.16 T1=0.98	OPT f=1100 TT=266.861 T1=1.65	OPT f=1100 TT=246.984 T1=1.46
Rack/Rack-m1c-s1/ Rack-m1c-r3.xml	OPT f=1200 TT=2559.09 T1=1.94	SAT (TO) f=1200 TT=2520.12 T1=0.82	OPT f=1200 TT=16933.1 T1=0.71	SAT (TO) f=1200 TT=19881.4 T1=0.73	SAT (TO) f=1200 TT=2520.08 T1=1.15	SAT (TO) f=1200 TT=2520.13 T1=1.36	SAT (TO) f=1200 TT=2520.08 T1=1.48	SAT (TO) f=1200 TT=2520.05 T1=1.5	SAT (TO) f=1200 TT=2520.04 T1=4.14	SAT (TO) f=1200 TT=2520.04 T1=2519.8	SAT (TO) f=1200 TT=2520.03 T1=2519.9	SAT (TO) f=1200 TT=2520.04 T1=0.06	SAT (TO) f=1200 TT=2520.09 T1=9.34	SAT (TO) f=1200 TT=2520.03 T1=2.22	SAT (TO) f=1200 TT=2520.12 T1=9.08	OPT f=1200 TT=2559.09 T1=1.94	OPT f=1200 TT=3257.77 T1=5.37	SAT (TO) f=1200 TT=2400.08 T1=0.79	SAT (TO) f=1200 TT=2400.31 T1=1.12	SAT (TO) f=1200 TT=2400.15 T1=1.2	SAT (TO) f=1200 TT=2400.07 T1=4.5	? (TO) TT=2400.04	? (TO) TT=2400.02	SAT (TO) f=1200 TT=2400.03 T1=0.1	SAT (TO) f=1200 TT=2400.07 T1=4.78	SAT (TO) f=1200 TT=2400.03 T1=2.34	SAT (TO) f=1200 TT=2400.12 T1=2.11	SAT (TO) f=1200 TT=2400.22 T1=4.58	SAT (TO) f=1200 TT=2520.28 T1=3.82
Rack/Rack-m1c-s1/ Rack-m1c-r4.xml	OPT f=1150 TT=432.346 T1=0.77	SAT (TO) f=1150 TT=2520.05 T1=0.81	OPT f=1150 TT=4032.57 T1=0.81	OPT f=1150 TT=4880.15 T1=0.77	SAT (TO) f=1150 TT=2520.09 T1=0.59	SAT (TO) f=1150 TT=2520.12 T1=0.73	SAT (TO) f=1150 TT=2520.1 T1=1.18	SAT (TO) f=1150 TT=2520.11 T1=1.33	SAT (TO) f=1150 TT=2520.09 T1=4.46	Signal TT=0.004	Signal TT=0.005	Signal TT=0.005	SAT (TO) f=1150 TT=2520.09 T1=30.23	OPT f=1150 TT=435.096 T1=1.51	SAT (TO) f=1150 TT=2520.07 T1=2.4	OPT f=1150 TT=450.837 T1=2.04	OPT f=1150 TT=502.613 T1=5.34	SAT (TO) f=1150 TT=2400.05 T1=0.77	SAT (TO) f=1150 TT=2400.01 T1=1.03	SAT (TO) f=1150 TT=2400.08 T1=0.97	SAT (TO) f=1150 TT=2400.11 T1=4.44	Signal TT=0.005	Signal TT=0.006	Signal TT=0.005	SAT (TO) f=1150 TT=2400.11 T1=19.9	OPT f=1150 TT=432.346 T1=1.53	SAT (TO) f=1150 TT=2400.11 T1=1.53	SAT (TO) f=1150 TT=2400.28 T1=2.75	SAT (TO) f=1150 TT=2520.39 T1=2.97
Ramsey/ Ramsey-int-s1/ Ramsey-int-09.xml	OPT f=2 TT=0.102 T1=0.16	OPT f=2 TT=1.424 T1=0.8	OPT f=2 TT=49.741 T1=17.18	OPT f=2 TT=49.733 T1=17.19	OPT f=2 TT=3.427 T1=2.3	OPT f=2 TT=3.501 T1=2.31	OPT f=2 TT=3.662 T1=2.2	OPT f=2 TT=3.691 T1=2.21	OPT f=2 TT=28.095 T1=4.48	OPT f=2 TT=0.102 T1=0.18	OPT f=2 TT=0.104 T1=0.16	OPT f=2 TT=0.201 T1=0.26	SAT (TO) f=2 TT=2520.09 T1=5.34	OPT f=2 TT=7.428 T1=4.23	OPT f=2 TT=7.364 T1=4.64	OPT f=2 TT=75.149 T1=15.55	OPT f=2 TT=69.881 T1=69.03	OPT f=2 TT=1.391 T1=0.77	OPT f=2 TT=16.982 T1=9.1	OPT f=2 TT=17.286 T1=9.14	OPT f=2 TT=29.081 T1=4.77	OPT f=2 TT=0.1 T1=0.19	OPT f=2 TT=0.104 T1=0.2	OPT f=2 TT=0.19 T1=0.23	SAT (TO) f=2 TT=2400.03 T1=5.37	OPT f=2 TT=7.333 T1=4.25	OPT f=2 TT=7.329 T1=4.25	OPT f=2 TT=3.198 T1=1.53	OPT f=2 TT=3.212 T1=1.51
Ramsey/ Ramsey-int-s1/ Ramsey-int-10.xml	OPT f=2 TT=0.157 T1=0.23	OPT f=2 TT=1.575 T1=0.85	OPT f=2 TT=200.057 T1=64.22	OPT f=2 TT=220.892 T1=67.84	OPT f=2 TT=10.427 T1=7.11	OPT f=2 TT=10.629 T1=7.08	OPT f=2 TT=11.004 T1=6.97	OPT f=2 TT=10.834 T1=6.94	OPT f=2 TT=133.674 T1=5.37	OPT f=2 TT=0.157 T1=0.23	OPT f=2 TT=0.168 T1=0.23	OPT f=2 TT=0.284 T1=0.34	SAT (TO) f=2 TT=2520.13 T1=13.68	OPT f=2 TT=19.625 T1=10.67	OPT f=2 TT=19.652 T1=10.88	OPT f=2 TT=214.848 T1=44.43	OPT f=2 TT=232.08 T1=231.08	OPT f=2 TT=1.556 T1=0.83	OPT f=2 TT=45.101 T1=26.69	OPT f=2 TT=45.216 T1=27.07	OPT f=2 TT=131.298 T1=4.85	OPT f=2 TT=0.142 T1=0.19	OPT f=2 TT=0.151 T1=0.2	OPT f=2 TT=0.276 T1=0.33	SAT (TO) f=2 TT=2400.1 T1=13.98	OPT f=2 TT=19.785 T1=10.55	OPT f=2 TT=19.084 T1=10.21	OPT f=2 TT=5.176 T1=2.51	OPT f=2 TT=4.909 T1=2.47
Ramsey/ Ramsey-int-s1/ Ramsey-int-11.xml	OPT f=2 TT=0.196 T1=0.29	OPT f=2 TT=1.776 T1=0.9	OPT f=2 TT=702.018 T1=213.12	OPT f=2 TT=729.48 T1=219.64	OPT f=2 TT=31.339 T1=21.48	OPT f=2 TT=31.524 T1=21.46	OPT f=2 TT=33.192 T1=21.62	OPT f=2 TT=33.366 T1=21.71	OPT f=2 TT=833.767 T1=5.35	OPT f=2 TT=0.196 T1=0.29	OPT f=2 TT=0.213 T1=0.29	OPT f=2 TT=0.47 T1=0.41	SAT (TO) f=2 TT=2520.11 T1=34.2	OPT f=2 TT=50.109 T1=26.86	OPT f=2 TT=52.112 T1=27.28	? TT=1841.63	OPT f=2 TT=742.155 T1=740.39	OPT f=2 TT=1.806 T1=0.86	OPT f=2 TT=135.565 T1=84.63	OPT f=2 TT=141.189 T1=87.53	OPT f=2 TT=849.399 T1=5.32	OPT f=2 TT=0.197 T1=0.27	OPT f=2 TT=0.21 T1=0.26	OPT f=2 TT=0.455 T1=0.44	SAT (TO) f=2 TT=2400.09 T1=34.16	OPT f=2 TT=53.462 T1=27.85	OPT f=2 TT=50.352 T1=26.87	OPT f=2 TT=10.793 T1=7.3	OPT f=2 TT=10.834 T1=7.35
Ramsey/ Ramsey-int-s1/ Ramsey-int-14.xml	OPT f=2 TT=0.441 T1=0.51	OPT f=2 TT=3.526 T1=1.98	? TT=3518.42	? TT=1078.73	? (TO) TT=2528.01	? (TO) TT=2528.28	? TT=1135.32	? TT=355.301	SAT (TO) f=3 TT=2520.15 T1=6.83	OPT f=2 TT=0.441 T1=0.51	OPT f=2 TT=3.286 T1=3.3	OPT f=2 TT=105.634 T1=105.58	? TT=1121.95	? TT=1912.99	? TT=416.739	? TT=745.224	? TT=5619.65	OPT f=2 TT=3.504 T1=2	? TT=464.756	? TT=332.416	SAT (TO) f=3 TT=2400.05 T1=6.49	OPT f=2 TT=0.446 T1=0.51	OPT f=2 TT=3.282 T1=3.33	OPT f=2 TT=103.231 T1=103.15	? TT=1369.88	? (TO) TT=2408.22	? TT=368.22	OPT f=2 TT=85.85 T1=71.18	OPT f=2 TT=85.298 T1=70.04
Ramsey/ Ramsey-int-s1/ Ramsey-int-15.xml	OPT f=2 TT=5.239 T1=5.31	OPT f=2 TT=58.346 T1=56.09	? (TO) TT=17358.6	? TT=864.778	? TT=346.084	? TT=336.564	? TT=359.713	? TT=301.161	SAT (TO) f=3 TT=2520.08 T1=7.16	OPT f=2 TT=5.239 T1=5.31	OPT f=2 TT=27.158 T1=27.25	SAT (TO) f=3 TT=2520 T1=1.89	SAT (TO) f=3 TT=2520.05 T1=54.36	SAT (TO) f=3 TT=2520.14 T1=2.5	SAT (TO) f=3 TT=2520.07 T1=2.54	SAT (TO) f=3 TT=7625.08 T1=3.83	OPT f=2 TT=4342.84 T1=4341.69	OPT f=2 TT=58.119 T1=56	? TT=262.105	? TT=1122.33	SAT (TO) f=3 TT=2400.05 T1=7.24	OPT f=2 TT=5.214 T1=5.25	OPT f=2 TT=27.382 T1=27.43	SAT (TO) f=3 TT=2400.05 T1=1.83	SAT (TO) f=3 TT=2400.08 T1=76.51	SAT (TO) f=3 TT=2400.04 T1=2.45	SAT (TO) f=3 TT=2400.11 T1=2.5	OPT f=2 TT=161.971 T1=135.09	OPT f=2 TT=159.769 T1=132.68
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
Ramsey/ Ramsey-int-s1/ Ramsey-int-18.xml	SAT TO f=3 TT=2400.07 T1=0.99	SAT (TO) f=3 TT=2520.06 T1=1.34	SAT (TO) f=3 TT=20071.199 T1=3.87	SAT (TO) f=3 TT=20079.1 T1=4.18	SAT (TO) f=136 TT=2520.09 T1=391.71	SAT (TO) f=136 TT=2520.04 T1=392.62	SAT (TO) f=3 TT=2520.16 T1=23.96	SAT (TO) f=3 TT=2520.04 T1=23.47	SAT (TO) f=3 TT=2520.13 T1=11.4	SAT (TO) f=3 TT=2520.04 T1=0.99	SAT (TO) f=3 TT=2520.03 T1=1.27	SAT (TO) f=3 TT=2520.06 T1=4.58	SAT (TO) f=3 TT=2520.1 T1=181.34	SAT (TO) f=3 TT=2520.07 T1=5.79	SAT (TO) f=3 TT=2520.04 T1=5.72	SAT (TO) f=3 TT=7664.53 T1=8.04	SAT (TO) f=3 TT=7674.49 T1=51.35	SAT (TO) f=3 TT=2400.07 T1=1.3	SAT (TO) f=3 TT=2400.36 T1=6.52	SAT (TO) f=3 TT=2400.07 T1=5.48	SAT (TO) f=3 TT=2400.16 T1=11.19	SAT (TO) f=3 TT=2400.09 T1=1.11	SAT (TO) f=3 TT=2400.07 T1=1.31	SAT (TO) f=3 TT=2400.09 T1=4.47	SAT (TO) f=3 TT=2400.09 T1=264.46	SAT (TO) f=3 TT=2400.11 T1=5.9	SAT (TO) f=3 TT=2400.11 T1=5.69	SAT (TO) f=3 TT=2400.36 T1=722.25	SAT (TO) f=3 TT=2520.37 T1=728.48
Ramsey/ Ramsey-int-s1/ Ramsey-int-21.xml	SAT TO f=3 TT=2400.01 T1=1.58	SAT (TO) f=3 TT=2520.02 T1=2	SAT (TO) f=3 TT=20069.1 T1=23.67	SAT (TO) f=3 TT=20062.5 T1=15.35	SAT (TO) f=209 TT=2520.05 T1=2440.57	SAT (TO) f=209 TT=2520.1 T1=2413.77	SAT (TO) f=3 TT=2520.1 T1=57.5	SAT (TO) f=3 TT=2520.07 T1=56.81	SAT (TO) f=4 TT=2520.11 T1=25.66	SAT (TO) f=3 TT=2520.1 T1=1.58	SAT (TO) f=3 TT=2520.1 T1=2.26	SAT (TO) f=3 TT=2519.18 T1=19.46	SAT (TO) f=3 TT=2520.08 T1=748.08	SAT (TO) f=3 TT=2520.03 T1=24.12	SAT (TO) f=3 TT=2520.09 T1=24.26	SAT (TO) f=3 TT=7730.67 T1=21.05	SAT (TO) f=3 TT=7718.45 T1=138.14	SAT (TO) f=3 TT=2400.05 T1=1.93	SAT (TO) f=3 TT=2400.05 T1=16.94	SAT (TO) f=3 TT=2400.12 T1=29.88	SAT (TO) f=4 TT=2400.12 T1=25.28	No Cert. TT=2400.05	No Cert. TT=2400.08	SAT (TO) f=3 TT=2400.01 T1=19.36	SAT (TO) f=3 TT=2400.1 T1=134.54	SAT (TO) f=3 TT=2400.09 T1=24.05	SAT (TO) f=3 TT=2400.03 T1=23.62	? TT=1229.93	? TT=1173.36
Ramsey/ Ramsey-int-s1/ Ramsey-int-24.xml	SAT TO f=3 TT=2400.04 T1=2.47	SAT (TO) f=3 TT=2520.04 T1=2.67	SAT (TO) f=3 TT=20051.801 T1=225.61	SAT (TO) f=3 TT=20037.301 T1=186.14	? (TO) TT=2520.15	? (TO) TT=2520.13	SAT (TO) f=3 TT=2520.03 T1=303.26	SAT (TO) f=3 TT=2520.05 T1=300.8	SAT (TO) f=4 TT=2520.06 T1=59.17	SAT (TO) f=3 TT=2520.1 T1=2.47	SAT (TO) f=3 TT=2519.9 T1=3.89	SAT (TO) f=3 TT=2519.87 T1=113.97	SAT (TO) f=4 TT=2520.05 T1=358.65	SAT (TO) f=3 TT=2520.08 T1=61.56	SAT (TO) f=3 TT=2520.05 T1=60.25	SAT (TO) f=3 TT=7896.7 T1=54.17	SAT (TO) f=3 TT=7909.45 T1=409.88	SAT (TO) f=3 TT=2400.04 T1=2.69	SAT (TO) f=4 TT=2400.18 T1=43.16	SAT (TO) f=4 TT=2400.14 T1=40.26	SAT (TO) f=4 TT=2400.14 T1=59.92	No Cert. TT=2400.06	No Cert. TT=2400.1	SAT (TO) f=3 TT=2400.09 T1=111.06	SAT (TO) f=4 TT=2400.08 T1=211.01	SAT (TO) f=3 TT=2400.1 T1=59.24	SAT (TO) f=3 TT=2400.09 T1=60.59	? TT=1340.16	? TT=1411.67
Ramsey/ Ramsey-int-s1/ Ramsey-int-27.xml	SAT TO f=3 TT=2400.03 T1=3.5	SAT (TO) f=3 TT=2520.06 T1=10.77	SAT (TO) f=3 TT=20015.6 T1=1581.32	SAT (TO) f=3 TT=20025.199 T1=958.59	? (TO) TT=2520.12	? (TO) TT=2520.1	SAT (TO) f=3 TT=2520.07 T1=626.31	SAT (TO) f=3 TT=2520.12 T1=634.09	SAT (TO) f=4 TT=2520.13 T1=127.5	SAT (TO) f=3 TT=2519.9 T1=3.5	SAT (TO) f=3 TT=2520.1 T1=6.62	SAT (TO) f=4 TT=2519.82 T1=52.88	SAT (TO) f=3 TT=2520.05 T1=1711.12	SAT (TO) f=3 TT=2520.06 T1=275.42	SAT (TO) f=4 TT=2520.03 T1=159.75	SAT (TO) f=3 TT=8338.8 T1=144.62	SAT (TO) f=3 TT=8347.49 T1=1166.66	SAT (TO) f=3 TT=2400.03 T1=10.96	SAT (TO) f=4 TT=2400.01 T1=182.95	SAT (TO) f=4 TT=2400.28 T1=99.07	SAT (TO) f=4 TT=2400.05 T1=128.27	No Cert. TT=2400.03	No Cert. TT=2400.1	SAT (TO) f=4 TT=2400.02 T1=54.88	SAT (TO) f=4 TT=2400.06 T1=167.82	SAT (TO) f=3 TT=2400.15 T1=270.42	SAT (TO) f=4 TT=2400.04 T1=151.59	? (problem) TT=1548.37	? (problem) TT=1540.99
Ramsey/ Ramsey-int-s1/ Ramsey-int-34.xml	SAT TO f=4 TT=2400 T1=7.45	SAT (TO) f=4 TT=2520.04 T1=7.93	SAT (TO) f=4 TT=19434.6 T1=1077.02	SAT (TO) f=4 TT=19444.5 T1=681.25	? (TO) TT=2520.29	? (TO) TT=2520.58	? (TO) TT=2520.07	? (TO) TT=2520.29	SAT (TO) f=5 TT=2520.1 T1=587.03	SAT (TO) f=4 TT=2519.89 T1=7.45	SAT (TO) f=4 TT=2520.34 T1=19.72	SAT (TO) f=4 TT=2519.67 T1=134.14	SAT (TO) f=4 TT=2520.13 T1=299.77	SAT (TO) f=4 TT=2520.06 T1=843.35	SAT (TO) f=5 TT=2520.06 T1=678.51	SAT (TO) f=4 TT=14189.4 T1=1035.88	SAT (TO) f=4 TT=13845.6 T1=7520.73	SAT (TO) f=4 TT=2400.15 T1=7.65	SAT (TO) f=5 TT=2400.37 T1=679.66	SAT (TO) f=5 TT=2400.38 T1=746.67	SAT (TO) f=5 TT=2400.11 T1=606.12	No Cert. TT=2400.1	No Cert. TT=2405.94	SAT (TO) f=4 TT=2400 T1=134.78	SAT (TO) f=4 TT=2400.07 T1=306.68	SAT (TO) f=4 TT=2400.07 T1=845.58	SAT (TO) f=5 TT=2400.08 T1=1405.77	? (problem) TT=1495.31	? TT=1505.46
Ramsey/ Ramsey-int-s1/ Ramsey-int-38.xml	SAT TO f=4 TT=2400.08 T1=10.77	SAT (TO) f=4 TT=2520.06 T1=12.75	SAT (TO) f=5 TT=15830.9 T1=1546.62	SAT (TO) f=5 TT=19875.1 T1=880.77	? (TO) TT=2520.43	? (TO) TT=2520.08	? (TO) TT=2520.49	? (TO) TT=2520.04	SAT (TO) f=5 TT=2520.16 T1=1197.58	SAT (TO) f=4 TT=2519.89 T1=10.77	? (MO) TT=36.271	SAT (TO) f=4 TT=2519.77 T1=1522.21	SAT (TO) f=6 TT=2520.09 T1=330.67	SAT (TO) f=6 TT=2520.1 T1=1426.27	SAT (TO) f=5 TT=2520.07 T1=868.77	SAT (TO) f=310 TT=19874.801 T1=2519.2	SAT (TO) f=4 TT=19754.199 T1=19590.939	SAT (TO) f=4 TT=2400.1 T1=12.81	SAT (TO) f=30 TT=2400.05 T1=664.11	SAT (TO) f=33 TT=2400.3 T1=708.37	SAT (TO) f=5 TT=2400.14 T1=1239.66	No Cert. TT=2400.1	? (MO) TT=35.902	SAT (TO) f=4 TT=2400.08 T1=1516.71	SAT (TO) f=5 TT=2400.06 T1=1465.88	SAT (TO) f=6 TT=2400.12 T1=1481.1	SAT (TO) f=5 TT=2400.1 T1=591.3	? TT=864.913	? TT=844.267
Ramsey/ Ramsey-int-s1/ Ramsey-int-40.xml	SAT TO f=4 TT=2400.03 T1=12.74	SAT (TO) f=4 TT=2520.06 T1=16.66	SAT (TO) f=5 TT=16492 T1=1748.34	SAT (TO) f=5 TT=18732.6 T1=1169.21	? (TO) TT=2520.42	? (TO) TT=2520.78	? (TO) TT=2520.1	? (TO) TT=2520.13	SAT (TO) f=5 TT=2520.07 T1=1764.47	SAT (TO) f=4 TT=2520.05 T1=12.74	? (MO) TT=40.788	SAT (TO) f=4 TT=2520.02 T1=242.23	SAT (TO) f=5 TT=2520.08 T1=575.14	SAT (TO) f=6 TT=2520.14 T1=2036.46	SAT (TO) f=6 TT=2520.08 T1=917.29	SAT (TO) f=585 TT=19874.6 T1=2516.37	SAT (TO) f=593 TT=19879.801 T1=19839.09	SAT (TO) f=4 TT=2400.04 T1=16.62	SAT (TO) f=47 TT=2400.26 T1=567.31	SAT (TO) f=47 TT=2400.34 T1=575.11	SAT (TO) f=5 TT=2400.17 T1=1666.89	No Cert. TT=2400.04	? (MO) TT=39.802	SAT (TO) f=4 TT=2400.03 T1=244.73	SAT (TO) f=5 TT=2400.13 T1=493.48	SAT (TO) f=6 TT=2400.12 T1=2012.12	SAT (TO) f=6 TT=2400.15 T1=1893.81	? TT=1299.96	? TT=1323.87
Ramsey/ Ramsey-int-s1/ Ramsey-int-41.xml	SAT TO f=4 TT=2400.06 T1=13.55	SAT (TO) f=4 TT=2520.1 T1=20.05	SAT (TO) f=5 TT=18440.801 T1=1303.8	SAT (TO) f=5 TT=18400 T1=1734.59	? (TO) TT=2520.07	? (TO) TT=2520.35	? (TO) TT=2520.14	? (TO) TT=2520.08	SAT (TO) f=5 TT=2520.11 T1=2008.47	SAT (TO) f=4 TT=2520.03 T1=13.55	? (MO) TT=42.875	SAT (TO) f=4 TT=2520.09 T1=651	SAT (TO) f=5 TT=2520.08 T1=912.5	SAT (TO) f=242 TT=2520.13 T1=2443.26	SAT (TO) f=19 TT=2520.1 T1=1540.84	SAT (TO) f=711 TT=19828.6 T1=2519.62	SAT (TO) f=725 TT=19902.301 T1=19852.24	SAT (TO) f=4 TT=2400.08 T1=20.3	SAT (TO) f=53 TT=2400.41 T1=593.41	SAT (TO) f=53 TT=2400.31 T1=596.09	SAT (TO) f=5 TT=2400.13 T1=2040.69	No Cert. TT=2400.01	? (MO) TT=41.151	SAT (TO) f=4 TT=2400.06 T1=647.52	SAT (TO) f=5 TT=2400.05 T1=524.75	SAT (TO) f=391 TT=2400.12 T1=2328.41	SAT (TO) f=13 TT=2400.08 T1=1886.13	? (problem) TT=1458.61	? TT=1400.07
Ramsey/ Ramsey-int-s1/ Ramsey-int-44.xml	SAT TO f=4 TT=2400.09 T1=17.28	SAT (TO) f=4 TT=2520.04 T1=48.18	SAT (TO) f=6 TT=20082.4 T1=1947.52	SAT (TO) f=6 TT=17845 T1=2232.39	? (TO) TT=2520.38	? (TO) TT=2520.15	? (TO) TT=2520.14	? (TO) TT=2520.13	SAT (TO) f=262 TT=2520.11 T1=2441.91	SAT (TO) f=4 TT=2519.98 T1=17.28	? (MO) TT=38.157	SAT (TO) f=5 TT=2519.93 T1=546.64	SAT (TO) f=6 TT=2520.1 T1=536.02	SAT (TO) f=723 TT=2520.06 T1=2439.48	SAT (TO) f=25 TT=2520.09 T1=1971.02	SAT (TO) f=913 TT=19798.699 T1=2487.76	SAT (TO) f=906 TT=19821.5 T1=19501.07	SAT (TO) f=4 TT=2400.09 T1=48.23	SAT (TO) f=41 TT=2400 T1=514.81	SAT (TO) f=41 TT=2400.2 T1=506.1	SAT (TO) f=285 TT=2400.17 T1=2319.27	No Cert. TT=2400.06	? (MO) TT=38.465	SAT (TO) f=5 TT=2400.06 T1=519.89	SAT (TO) f=6 TT=2400.1 T1=420.83	SAT (TO) f=741 TT=2400.07 T1=2319.76	SAT (TO) f=13 TT=2400.14 T1=1588.52	? TT=1467.76	? TT=1467.25
Ramsey/ Ramsey-int-s1/ Ramsey-int-46.xml	SAT TO f=4 TT=2400.11 T1=20.51	SAT (TO) f=4 TT=2520.06 T1=58.88	SAT (TO) f=6 TT=16559.4 T1=2219.53	SAT (TO) f=9 TT=19618.199 T1=2492.39	? (TO) TT=2520.15	? (TO) TT=2520.72	? (TO) TT=2520.27	? (TO) TT=2520.65	SAT (TO) f=454 TT=2520.08 T1=2434.26	SAT (TO) f=4 TT=2519.77 T1=20.51	? (MO) TT=41.974	SAT (TO) f=5 TT=2519.96 T1=675.12	SAT (TO) f=7 TT=2520.09 T1=1757.73	SAT (TO) f=876 TT=2520.09 T1=2436.91	SAT (TO) f=40 TT=2520.13 T1=1482.77	SAT (TO) f=1014 TT=19809.199 T1=2489.83	SAT (TO) f=1009 TT=19800.9 T1=19450.971	SAT (TO) f=4 TT=2400.11 T1=59.15	SAT (TO) f=66 TT=2400.19 T1=377.79	SAT (TO) f=66 TT=2400.14 T1=368.25	SAT (TO) f=469 TT=2400.56 T1=2313.86	No Cert. TT=2400.03	? (MO) TT=42.554	SAT (TO) f=5 TT=2400.1 T1=678.04	SAT (TO) f=9 TT=2400.11 T1=2235.06	SAT (TO) f=889 TT=2400.12 T1=2316.96	SAT (TO) f=24 TT=2400.1 T1=1115.3	? TT=801.527	? TT=841.056
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
Ramsey/ Ramsey-int-s1/ Ramsey-int-47.xml	SAT TO f=4 TT=2400.06 T1=21.83	SAT (TO) f=4 TT=2520.13 T1=151.93	SAT (TO) f=8 TT=16087 T1=2415.6	SAT (TO) f=6 TT=18028.5 T1=2199.43	? (TO) TT=2520.77	? (TO) TT=2520.11	? (TO) TT=2520.11	? (TO) TT=2520.3	SAT (TO) f=565 TT=2520.14 T1=2436.32	SAT (TO) f=4 TT=2519.99 T1=21.83	? (MO) TT=43.238	SAT (TO) f=6 TT=2519.79 T1=327.54	SAT (TO) f=5 TT=2520.1 T1=2289.84	SAT (TO) f=946 TT=2520.12 T1=2427.28	SAT (TO) f=28 TT=2520.05 T1=691.15	SAT (TO) f=1064 TT=19786.199 T1=2426.43	SAT (TO) f=1061 TT=19781.4 T1=19373.311	SAT (TO) f=4 TT=2400.06 T1=148.32	SAT (TO) f=78 TT=2400.21 T1=493.93	SAT (TO) f=78 TT=2400.03 T1=474.52	SAT (TO) f=585 TT=2400.3 T1=2313.11	No Cert. TT=2400.05	? (MO) TT=43.858	SAT (TO) f=6 TT=2400.03 T1=334.5	SAT (TO) f=10 TT=2400.07 T1=2095.3	SAT (TO) f=962 TT=2400.09 T1=2316.88	SAT (TO) f=22 TT=2400.13 T1=1780.99	? (problem) TT=1521.32	? TT=1519.85
Ramsey/ Ramsey-int-s1/ Ramsey-int-49.xml	SAT TO f=4 TT=2400.13 T1=25.46	SAT (TO) f=4 TT=2520.09 T1=281.88	SAT (TO) f=42 TT=14966.2 T1=961.77	SAT (TO) f=41 TT=15706.4 T1=2415.44	? (TO) TT=2520.56	? (TO) TT=2520.53	? (TO) TT=2520.69	? (TO) TT=2520.13	SAT (TO) f=731 TT=2520.13 T1=2433.44	SAT (TO) f=4 TT=2519.72 T1=25.46	? (MO) TT=47.71	SAT (TO) f=5 TT=2519.78 T1=1164.79	SAT (TO) f=42 TT=2520.05 T1=2367.13	SAT (TO) f=1081 TT=2520.12 T1=2435.32	SAT (TO) f=14 TT=2520.08 T1=1704.86	SAT (TO) f=1164 TT=19716.301 T1=2492.16	SAT (TO) f=1163 TT=19736.5 T1=18629.359	SAT (TO) f=4 TT=2400.13 T1=283.13	SAT (TO) f=80 TT=2400.05 T1=627.54	SAT (TO) f=80 TT=2400.19 T1=624.59	SAT (TO) f=756 TT=2400.08 T1=2310.9	No Cert. TT=2400.02	? (MO) TT=47.117	SAT (TO) f=5 TT=2400.06 T1=1155.06	SAT (TO) f=12 TT=2400.06 T1=1711.76	SAT (TO) f=1086 TT=2400.09 T1=2325.95	SAT (TO) f=37 TT=2400.06 T1=1460.08	? TT=1482.41	? TT=1471.06
Rcpsp/Rcpsp-m1-j120/ Rcpsp-j120-02-03.xml	OPT f=92 TT=19.205 T1=11.26	? (NS) TT=1.776	OPT f=92 TT=1195.07 T1=23.4	OPT f=92 TT=441.359 T1=21.26	SAT (TO) f=94 TT=2520.1 T1=258.39	SAT (TO) f=94 TT=2520.05 T1=250.89	SAT (TO) f=94 TT=2520.03 T1=795.61	SAT (TO) f=94 TT=2520.11 T1=796.24	SAT (TO) f=96 TT=2520.12 T1=18.24	? (NS) TT=0.205	? (NS) TT=0.207	OPT f=92 TT=249.49 T1=18.08	SAT (TO) f=92 TT=2520.11 T1=844.84	OPT f=92 TT=19.205 T1=11.26	OPT f=92 TT=19.49 T1=11.63	OPT f=92 TT=53.849 T1=16.22	OPT f=92 TT=44.029 T1=41.68	? (NS) TT=2.087	OPT f=92 TT=569.842 T1=21.56	OPT f=92 TT=625.028 T1=48.03	SAT (TO) f=96 TT=2400.09 T1=19.99	? (NS) TT=0.262	? (NS) TT=0.253	OPT f=92 TT=236.66 T1=17.53	SAT (TO) f=92 TT=2400.08 T1=681.92	OPT f=92 TT=20.279 T1=11.27	OPT f=92 TT=20.864 T1=11.5	? (TO) TT=2415.82	? TT=1764.18
Rcpsp/Rcpsp-m1-j120/ Rcpsp-j120-02-05.xml	OPT f=103 TT=7.731 T1=3.29	? (NS) TT=1.819	OPT f=103 TT=24.381 T1=3.31	OPT f=103 TT=26.651 T1=3.9	OPT f=103 TT=24.444 T1=5.37	OPT f=103 TT=25.522 T1=5.89	OPT f=103 TT=86.622 T1=68.37	OPT f=103 TT=86.713 T1=68.14	SAT (TO) f=105 TT=2520.13 T1=11.81	? (NS) TT=0.206	? (NS) TT=0.202	OPT f=103 TT=14.023 T1=12.8	SAT (TO) f=103 TT=2520.11 T1=151.66	OPT f=103 TT=7.768 T1=3.36	OPT f=103 TT=8.044 T1=3.35	OPT f=103 TT=26.803 T1=8.26	OPT f=103 TT=25.878 T1=25.69	? (NS) TT=1.942	OPT f=103 TT=37.859 T1=5.35	OPT f=103 TT=32.916 T1=4.78	SAT (TO) f=105 TT=2400.11 T1=11.71	? (NS) TT=0.23	? (NS) TT=0.258	OPT f=103 TT=13.82 T1=12.55	SAT (TO) f=103 TT=2400.03 T1=281.68	OPT f=103 TT=7.731 T1=3.29	OPT f=103 TT=8.519 T1=3.34	? (TO) TT=2415.69	? (exit code) TT=1708.72
Rcpsp/Rcpsp-m1-j120/ Rcpsp-j120-23-09.xml	OPT f=107 TT=3.392 T1=1.13	? (NS) TT=1.84	OPT f=107 TT=5.211 T1=1.18	OPT f=107 TT=4.634 T1=1.13	OPT f=107 TT=3.345 T1=1.26	OPT f=107 TT=3.392 T1=1.39	OPT f=107 TT=5.021 T1=1.66	OPT f=107 TT=5.009 T1=1.8	OPT f=107 TT=37.732 T1=27.33	? (NS) TT=0.259	? (NS) TT=0.245	OPT f=107 TT=6.922 T1=6.88	SAT (TO) f=107 TT=2520.06 T1=6.85	OPT f=107 TT=5.418 T1=2.48	OPT f=107 TT=5.815 T1=2.57	OPT f=107 TT=25.996 T1=7.17	OPT f=107 TT=24.295 T1=24.06	? (NS) TT=1.899	OPT f=107 TT=4.941 T1=1.26	OPT f=107 TT=4.717 T1=1.19	OPT f=107 TT=40.13 T1=27.47	? (NS) TT=0.297	? (NS) TT=0.297	OPT f=107 TT=7.007 T1=6.9	SAT (TO) f=107 TT=2400.1 T1=3.93	OPT f=107 TT=6.001 T1=2.53	OPT f=107 TT=6.581 T1=2.57	? (TO) TT=2415.95	? (problem) TT=1708.01
Rcpsp/Rcpsp-m1-j120/ Rcpsp-j120-46-04.xml	SAT TO f=178 TT=2400.02 T1=681.17	? (NS) TT=1.776	SAT (TO) f=188 TT=20089.801 T1=147.66	SAT (TO) f=188 TT=20070.9 T1=1541.62	SAT (TO) f=190 TT=2520.08 T1=1657.56	SAT (TO) f=190 TT=2520.05 T1=1652.78	SAT (TO) f=191 TT=2520.04 T1=973.73	SAT (TO) f=191 TT=2520.05 T1=956.46	SAT (TO) f=194 TT=2520.12 T1=315.89	? (NS) TT=0.319	? (NS) TT=0.289	SAT (TO) f=178 TT=2519.71 T1=681.17	SAT (TO) f=183 TT=2520.04 T1=2173.25	SAT (TO) f=591 TT=2520.09 T1=494.99	SAT (TO) f=192 TT=2520.12 T1=1698.68	SAT (TO) f=638 TT=19751.199 T1=2386.2	SAT (TO) f=633 TT=19736.699 T1=19655.061	? (NS) TT=1.95	SAT (TO) f=190 TT=2400.03 T1=175.23	SAT (TO) f=190 TT=2400.4 T1=73.91	SAT (TO) f=194 TT=2400.13 T1=318.14	? (NS) TT=0.318	? (NS) TT=0.34	SAT (TO) f=178 TT=2400.02 T1=701.45	SAT (TO) f=187 TT=2400.11 T1=1455.07	SAT (TO) f=591 TT=2400.05 T1=496.54	SAT (TO) f=187 TT=2400.09 T1=1632.45	? (TO) TT=2416.26	? (exit code) TT=1876.72
Rcpsp/Rcpsp-m1-j120/ Rcpsp-j120-50-04.xml	SAT TO f=100 TT=2400.04 T1=48.71	? (NS) TT=1.75	SAT (TO) f=100 TT=20102.699 T1=96.78	SAT (TO) f=100 TT=20092.801 T1=320.06	SAT (TO) f=105 TT=2520.05 T1=1422.29	SAT (TO) f=105 TT=2520.02 T1=1393.04	SAT (TO) f=104 TT=2520.02 T1=89.41	SAT (TO) f=104 TT=2520.06 T1=89.68	SAT (TO) f=104 TT=2520.09 T1=44.61	? (NS) TT=0.289	? (NS) TT=0.281	SAT (TO) f=100 TT=2519.65 T1=1010.56	SAT (TO) f=101 TT=2520.04 T1=1528.31	SAT (TO) f=100 TT=2520.1 T1=48.71	SAT (TO) f=100 TT=2520.09 T1=2115.13	SAT (TO) f=100 TT=2549.64 T1=699.69	SAT (TO) f=100 TT=2544.31 T1=1952.31	? (NS) TT=2.028	SAT (TO) f=101 TT=2400.24 T1=26.98	SAT (TO) f=100 TT=2400.12 T1=131.68	SAT (TO) f=104 TT=2400.05 T1=46.69	? (NS) TT=0.305	? (NS) TT=0.327	SAT (TO) f=100 TT=2400.05 T1=1010.7	SAT (TO) f=102 TT=2400.07 T1=171.79	SAT (TO) f=100 TT=2400.07 T1=49.07	SAT (TO) f=100 TT=2400.04 T1=2050.55	? (TO) TT=2415.9	? TT=1697.25
Rcpsp/Rcpsp-m1-j120/ Rcpsp-j120-50-05.xml	OPT f=100 TT=6.927 T1=2.84	? (NS) TT=1.808	OPT f=100 TT=14.2 T1=2.45	OPT f=100 TT=16.812 T1=2.84	OPT f=100 TT=8.864 T1=3.07	OPT f=100 TT=9.935 T1=3.56	OPT f=100 TT=22.807 T1=8.75	OPT f=100 TT=20.577 T1=8.47	OPT f=100 TT=145.33 T1=135.01	? (NS) TT=0.283	? (NS) TT=0.285	OPT f=100 TT=25.198 T1=25.07	SAT (TO) f=100 TT=2520.08 T1=13.67	OPT f=100 TT=6.927 T1=3.69	OPT f=100 TT=7.172 T1=3.9	OPT f=100 TT=33.291 T1=14.09	OPT f=100 TT=33.231 T1=32.99	? (NS) TT=2.042	OPT f=100 TT=15.894 T1=2.77	OPT f=100 TT=16.011 T1=2.79	OPT f=100 TT=159.474 T1=143.93	? (NS) TT=0.311	? (NS) TT=0.306	OPT f=100 TT=25.053 T1=24.88	SAT (TO) f=100 TT=2400.06 T1=91.52	OPT f=100 TT=7.971 T1=4.07	OPT f=100 TT=7.612 T1=3.86	? (TO) TT=2416.39	? (problem) TT=1609.22
Rcpsp/Rcpsp-m1-j30/ Rcpsp-j30-22-06.xml	OPT f=52 TT=0.289 T1=0.32	? (NS) TT=1.119	OPT f=52 TT=2.752 T1=0.83	OPT f=52 TT=2.861 T1=0.82	OPT f=52 TT=3.76 T1=1.52	OPT f=52 TT=3.452 T1=1.4	OPT f=52 TT=4.68 T1=1.57	OPT f=52 TT=4.991 T1=1.82	OPT f=52 TT=9.857 T1=4.57	? (NS) TT=0.067	? (NS) TT=0.068	OPT f=52 TT=0.289 T1=0.36	SAT (TO) f=52 TT=2520.12 T1=1.24	OPT f=52 TT=1.987 T1=0.96	OPT f=52 TT=1.941 T1=0.95	OPT f=52 TT=8.997 T1=3.02	OPT f=52 TT=9.162 T1=8.69	? (NS) TT=1.25	OPT f=52 TT=3.202 T1=0.92	OPT f=52 TT=3.033 T1=0.87	OPT f=52 TT=12.399 T1=4.63	? (NS) TT=0.096	? (NS) TT=0.109	OPT f=52 TT=0.337 T1=0.32	SAT (TO) f=52 TT=2400.04 T1=1.09	OPT f=52 TT=2.213 T1=1.01	OPT f=52 TT=2.368 T1=1.04	? TT=2.641	? TT=1.929
Rcpsp/Rcpsp-m1-j30/ Rcpsp-j30-36-01.xml	OPT f=66 TT=0.194 T1=0.22	? (NS) TT=1.148	OPT f=66 TT=1.675 T1=0.67	OPT f=66 TT=1.64 T1=0.67	OPT f=66 TT=1.085 T1=0.8	OPT f=66 TT=1.08 T1=0.67	OPT f=66 TT=1.126 T1=0.55	OPT f=66 TT=1.162 T1=0.72	OPT f=66 TT=9.248 T1=4.46	? (NS) TT=0.078	? (NS) TT=0.077	OPT f=66 TT=0.194 T1=0.28	SAT (TO) f=66 TT=2520.06 T1=0.88	OPT f=66 TT=1.648 T1=0.86	OPT f=66 TT=1.67 T1=0.87	OPT f=66 TT=8.707 T1=2.73	OPT f=66 TT=9.476 T1=9.24	? (NS) TT=1.267	OPT f=66 TT=1.927 T1=0.77	OPT f=66 TT=2.083 T1=0.83	OPT f=66 TT=12.218 T1=4.59	? (NS) TT=0.118	? (NS) TT=0.12	OPT f=66 TT=0.234 T1=0.22	SAT (TO) f=66 TT=2400.02 T1=0.93	OPT f=66 TT=1.827 T1=0.88	OPT f=66 TT=1.924 T1=0.93	? TT=3.704	? TT=2.351
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
Rcpsp/Rcpsp-m1-j30/ Rcpsp-j30-40-08.xml	OPT f=57 TT=0.302 T1=0.33	? (NS) TT=1.15	OPT f=57 TT=1.901 T1=0.7	OPT f=57 TT=1.833 T1=0.69	OPT f=57 TT=1.112 T1=0.64	OPT f=57 TT=1.101 T1=0.66	OPT f=57 TT=1.146 T1=0.56	OPT f=57 TT=1.161 T1=0.73	OPT f=57 TT=10.193 T1=4.65	? (NS) TT=0.076	? (NS) TT=0.078	OPT f=57 TT=0.302 T1=0.39	SAT (TO) f=57 TT=2520.11 T1=0.86	OPT f=57 TT=1.863 T1=0.93	OPT f=57 TT=1.876 T1=0.93	OPT f=57 TT=9.876 T1=3.97	OPT f=57 TT=12.245 T1=11.41	? (NS) TT=1.293	OPT f=57 TT=2.03 T1=0.77	OPT f=57 TT=2.108 T1=0.77	OPT f=57 TT=12.558 T1=4.65	? (NS) TT=0.126	? (NS) TT=0.128	OPT f=57 TT=0.343 T1=0.33	SAT (TO) f=57 TT=2400.03 T1=1.01	OPT f=57 TT=2.051 T1=0.94	OPT f=57 TT=2.307 T1=1.04	? TT=3.645	? TT=2.28
Rcpsp/Rcpsp-m1-j30/ Rcpsp-j30-43-06.xml	OPT f=58 TT=0.509 T1=0.53	? (NS) TT=1.169	OPT f=58 TT=2.595 T1=0.83	OPT f=58 TT=2.414 T1=0.79	OPT f=58 TT=1.702 T1=0.85	OPT f=58 TT=1.71 T1=0.86	OPT f=58 TT=1.85 T1=0.74	OPT f=58 TT=1.857 T1=0.88	OPT f=58 TT=10.013 T1=4.62	? (NS) TT=0.079	? (NS) TT=0.077	OPT f=58 TT=0.509 T1=0.56	SAT (TO) f=58 TT=2520.07 T1=1.08	OPT f=58 TT=2.066 T1=1	OPT f=58 TT=2.082 T1=1.01	OPT f=58 TT=9.35 T1=3.54	OPT f=58 TT=9.939 T1=9.37	? (NS) TT=1.337	OPT f=58 TT=2.902 T1=1.04	OPT f=58 TT=2.823 T1=0.86	OPT f=58 TT=12.976 T1=4.81	? (NS) TT=0.127	? (NS) TT=0.117	OPT f=58 TT=0.551 T1=0.53	SAT (TO) f=58 TT=2400.1 T1=1.34	OPT f=58 TT=2.365 T1=1.04	OPT f=58 TT=2.403 T1=1.04	? TT=3.405	? TT=2.525
Rcpsp/Rcpsp-m1-j60/ Rcpsp-j60-13-09.xml	SAT TO f=104 TT=2400.03 T1=1676.23	? (NS) TT=1.248	SAT (TO) f=109 TT=20102.4 T1=165.98	SAT (TO) f=109 TT=20096.5 T1=85.22	SAT (TO) f=115 TT=2520.07 T1=324.63	SAT (TO) f=115 TT=2520.03 T1=319.67	SAT (TO) f=116 TT=2520.08 T1=7.15	SAT (TO) f=116 TT=2520.14 T1=8.84	SAT (TO) f=110 TT=2520.05 T1=192.72	? (NS) TT=0.106	? (NS) TT=0.108	SAT (TO) f=104 TT=2519.94 T1=1676.23	SAT (TO) f=108 TT=2520.11 T1=2259.74	SAT (TO) f=107 TT=2520.1 T1=655.11	SAT (TO) f=110 TT=2520.09 T1=765.15	? (TO) TT=19716.1	? (TO) TT=19718.4	? (NS) TT=1.401	SAT (TO) f=109 TT=2400.2 T1=117	SAT (TO) f=109 TT=2400.14 T1=16.47	SAT (TO) f=110 TT=2400.06 T1=195.18	? (NS) TT=0.127	? (NS) TT=0.161	SAT (TO) f=104 TT=2400.03 T1=1681.73	SAT (TO) f=110 TT=2400.05 T1=665.15	SAT (TO) f=107 TT=2400.09 T1=663.5	SAT (TO) f=110 TT=2400.06 T1=1053.16	? TT=31.703	? TT=16.088
Rcpsp/Rcpsp-m1-j60/ Rcpsp-j60-24-03.xml	OPT f=67 TT=1.509 T1=0.79	? (NS) TT=1.315	OPT f=67 TT=2.497 T1=0.8	OPT f=67 TT=2.487 T1=0.8	OPT f=67 TT=1.525 T1=0.65	OPT f=67 TT=1.509 T1=0.79	OPT f=67 TT=1.598 T1=0.83	OPT f=67 TT=1.601 T1=0.79	OPT f=67 TT=12.843 T1=5.59	? (NS) TT=0.126	? (NS) TT=0.14	OPT f=67 TT=1.792 T1=1.84	SAT (TO) f=67 TT=2520.04 T1=1.05	OPT f=67 TT=3.564 T1=1.62	OPT f=67 TT=3.534 T1=1.47	OPT f=67 TT=21.358 T1=8.99	OPT f=67 TT=18.373 T1=17.91	? (NS) TT=1.522	OPT f=67 TT=2.636 T1=0.88	OPT f=67 TT=2.935 T1=0.9	OPT f=67 TT=15.712 T1=5.62	? (NS) TT=0.136	? (NS) TT=0.18	OPT f=67 TT=1.836 T1=1.79	SAT (TO) f=67 TT=2400.09 T1=1.04	OPT f=67 TT=3.97 T1=1.46	OPT f=67 TT=4.135 T1=1.47	? TT=30.638	? TT=17.245
Rcpsp/Rcpsp-m1-j60/ Rcpsp-j60-36-08.xml	OPT f=69 TT=0.764 T1=0.73	? (NS) TT=1.257	OPT f=69 TT=2.25 T1=0.78	OPT f=69 TT=2.21 T1=0.77	OPT f=69 TT=1.32 T1=0.75	OPT f=69 TT=1.306 T1=0.73	OPT f=69 TT=1.374 T1=0.74	OPT f=69 TT=1.385 T1=0.77	OPT f=69 TT=12.184 T1=5.61	? (NS) TT=0.155	? (NS) TT=0.146	OPT f=69 TT=0.764 T1=0.83	SAT (TO) f=69 TT=2520.09 T1=0.95	OPT f=69 TT=2.744 T1=1.36	OPT f=69 TT=2.753 T1=1.31	OPT f=69 TT=11.683 T1=3.79	OPT f=69 TT=11.433 T1=10.76	? (NS) TT=1.487	OPT f=69 TT=2.567 T1=0.88	OPT f=69 TT=2.559 T1=0.89	OPT f=69 TT=15.179 T1=5.42	? (NS) TT=0.202	? (NS) TT=0.185	OPT f=69 TT=0.811 T1=0.78	SAT (TO) f=69 TT=2400.03 T1=1.1	OPT f=69 TT=3.09 T1=1.22	OPT f=69 TT=3.118 T1=1.21	? TT=51.946	? TT=18.574
Rcpsp/Rcpsp-m1-j90/ Rcpsp-j90-07-04.xml	OPT f=86 TT=2.165 T1=0.94	? (NS) TT=1.413	OPT f=86 TT=3.288 T1=0.91	OPT f=86 TT=3.473 T1=0.94	OPT f=86 TT=2.111 T1=0.86	OPT f=86 TT=2.165 T1=1	OPT f=86 TT=2.213 T1=0.9	OPT f=86 TT=2.221 T1=1.02	OPT f=86 TT=15.92 T1=7.53	? (NS) TT=0.155	? (NS) TT=0.154	OPT f=86 TT=7.651 T1=7.65	SAT (TO) f=86 TT=2520.06 T1=1.43	OPT f=86 TT=4.878 T1=2.1	OPT f=86 TT=4.981 T1=2.24	OPT f=86 TT=36.454 T1=13.67	OPT f=86 TT=32.41 T1=31.97	? (NS) TT=1.583	OPT f=86 TT=3.589 T1=0.98	OPT f=86 TT=3.682 T1=1.02	OPT f=86 TT=19.94 T1=7.9	? (NS) TT=0.196	? (NS) TT=0.219	OPT f=86 TT=7.679 T1=7.58	SAT (TO) f=86 TT=2400.11 T1=1.68	OPT f=86 TT=5.057 T1=2.02	OPT f=86 TT=5.889 T1=2.51	? TT=102.833	? TT=44.593
Rcpsp/Rcpsp-m1-j90/ Rcpsp-j90-09-06.xml	SAT TO f=125 TT=2400.01 T1=807.37	? (NS) TT=1.516	SAT (TO) f=129 TT=20099.4 T1=267.68	SAT (TO) f=129 TT=20093.6 T1=899.54	SAT (TO) f=136 TT=2520.06 T1=15.35	SAT (TO) f=136 TT=2520.05 T1=15.15	SAT (TO) f=137 TT=2520.09 T1=37.58	SAT (TO) f=137 TT=2520.1 T1=35.5	SAT (TO) f=137 TT=2520.13 T1=22.47	? (NS) TT=0.157	? (NS) TT=0.155	SAT (TO) f=125 TT=2519.93 T1=817.54	SAT (TO) f=132 TT=2520.1 T1=934.3	SAT (TO) f=130 TT=2520.02 T1=158.01	SAT (TO) f=129 TT=2520.03 T1=2207.5	SAT (TO) f=445 TT=19655.4 T1=2469.21	SAT (TO) f=464 TT=19649.301 T1=19238.721	? (NS) TT=1.673	SAT (TO) f=131 TT=2400.58 T1=107.17	SAT (TO) f=128 TT=2400.69 T1=49.45	SAT (TO) f=137 TT=2400.06 T1=22.31	? (NS) TT=0.177	? (NS) TT=0.21	SAT (TO) f=125 TT=2400.01 T1=807.37	SAT (TO) f=131 TT=2400.05 T1=2212.96	SAT (TO) f=130 TT=2400.11 T1=158.62	SAT (TO) f=127 TT=2400.04 T1=1250.03	? TT=139.651	? TT=78.226
Rcpsp/Rcpsp-m1-j90/ Rcpsp-j90-26-08.xml	OPT f=82 TT=1091.94 T1=1091.74	? (NS) TT=1.594	SAT (TO) f=83 TT=20104.801 T1=28.48	SAT (TO) f=83 TT=20091.699 T1=9.79	SAT (TO) f=87 TT=2520.03 T1=147.69	SAT (TO) f=87 TT=2520.05 T1=154.47	SAT (TO) f=89 TT=2520.06 T1=93.52	SAT (TO) f=89 TT=2520.05 T1=93.54	SAT (TO) f=86 TT=2520.13 T1=17.56	? (NS) TT=0.188	? (NS) TT=0.185	SAT (TO) f=83 TT=2519.75 T1=33.87	SAT (TO) f=85 TT=2520.05 T1=1480.87	SAT (TO) f=83 TT=2520.03 T1=6.99	SAT (TO) f=83 TT=2520.05 T1=689.57	SAT (TO) f=83 TT=2668.14 T1=143.81	OPT f=82 TT=1091.94 T1=1091.74	? (NS) TT=1.743	SAT (TO) f=83 TT=2400.48 T1=150.66	SAT (TO) f=83 TT=2400.34 T1=28.52	SAT (TO) f=86 TT=2400.07 T1=17.95	? (NS) TT=0.25	? (NS) TT=0.238	SAT (TO) f=83 TT=2400.02 T1=33.82	SAT (TO) f=83 TT=2400.05 T1=896.95	SAT (TO) f=83 TT=2400.05 T1=7.17	SAT (TO) f=83 TT=2400.06 T1=728.47	? TT=229.086	? TT=111.221
Rcpsp/Rcpsp-m1-j90/ Rcpsp-j90-37-03.xml	OPT f=132 TT=427.149 T1=65.6	? (NS) TT=1.546	OPT f=132 TT=8918.18 T1=740.42	OPT f=132 TT=7898.97 T1=767.49	SAT (TO) f=136 TT=2520.03 T1=1854.4	SAT (TO) f=136 TT=2520.07 T1=1979.54	SAT (TO) f=137 TT=2520.07 T1=49.78	SAT (TO) f=137 TT=2520.08 T1=49.82	SAT (TO) f=146 TT=2520.08 T1=1838.35	? (NS) TT=0.219	? (NS) TT=0.216	SAT (TO) f=133 TT=2519.75 T1=1321.43	SAT (TO) f=133 TT=2520.07 T1=1187.58	SAT (TO) f=138 TT=2520.09 T1=1316.52	SAT (TO) f=132 TT=2520.11 T1=499.27	OPT f=132 TT=427.149 T1=65.6	OPT f=132 TT=593.008 T1=424.34	? (NS) TT=1.763	SAT (TO) f=135 TT=2400.26 T1=208.83	SAT (TO) f=134 TT=2400.74 T1=117.28	SAT (TO) f=146 TT=2400.06 T1=1832.71	? (NS) TT=0.301	? (NS) TT=0.265	SAT (TO) f=133 TT=2400.01 T1=1338.08	SAT (TO) f=135 TT=2400.13 T1=525.8	SAT (TO) f=138 TT=2400.08 T1=1362.72	SAT (TO) f=133 TT=2400.12 T1=1721.03	? TT=152.676	? TT=89.714
Scheduling/ Scheduling-fs-taillard/ Taillard-fs-020-05-0.xml	SAT TO f=1278 TT=2400.1 T1=918.83	SAT (TO) f=1364 TT=2520.07 T1=23.43	SAT (TO) f=1344 TT=19557 T1=398.06	SAT (TO) f=1344 TT=18762.1 T1=443.32	SAT (TO) f=1374 TT=2520.1 T1=1058.6	SAT (TO) f=1374 TT=2520.11 T1=1061.79	SAT (TO) f=1370 TT=2520.11 T1=590.51	SAT (TO) f=1370 TT=2520.12 T1=564.18	? (TO) TT=2520.88	? (NS) TT=0.116	? (NS) TT=0.117	SAT (TO) f=1278 TT=2520.02 T1=918.83	SAT (TO) f=1297 TT=2520.08 T1=2179.49	SAT (TO) f=1343 TT=2520.08 T1=1.37	SAT (TO) f=1290 TT=2520.07 T1=946.87	SAT (TO) f=1297 TT=19819.801 T1=35.87	SAT (TO) f=1297 TT=19820.6 T1=132.03	SAT (TO) f=1364 TT=2400.02 T1=22.97	SAT (TO) f=1323 TT=2400.5 T1=221.96	SAT (TO) f=1323 TT=2400.05 T1=306.96	? (TO) TT=2401.99	? (NS) TT=0.171	? (NS) TT=0.166	SAT (TO) f=1278 TT=2400.1 T1=935.17	SAT (TO) f=1290 TT=2400.1 T1=268.4	SAT (TO) f=1343 TT=2400.12 T1=1.23	SAT (TO) f=1290 TT=2400.07 T1=76.83	? (TO) TT=2415.61	? TT=1551.83
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
Scheduling/ Scheduling-fs-taillard/ Taillard-fs-020-05-2.xml	SAT TO f=1098 TT=19853.1 T1=11253.96	? (TO) TT=2520.1	? (TO) TT=19991.699	? (TO) TT=19429.5	? (TO) TT=2520.1	? (TO) TT=2520.09	SAT (TO) f=1180 TT=2520.1 T1=711.94	SAT (TO) f=1180 TT=2520.03 T1=704.8	? (TO) TT=2520.91	? (NS) TT=0.115	? (NS) TT=0.117	SAT (TO) f=1107 TT=2520.07 T1=80.22	SAT (TO) f=1180 TT=2520.07 T1=1872.95	? (TO) TT=2520.04	? (TO) TT=2520.05	SAT (TO) f=1100 TT=19808.6 T1=897.91	SAT (TO) f=1098 TT=19853.1 T1=11253.96	? (TO) TT=2400.09	? (TO) TT=2400.25	? (TO) TT=2400.61	? (TO) TT=2401.97	? (NS) TT=0.168	? (NS) TT=0.165	SAT (TO) f=1107 TT=2400.07 T1=80.61	SAT (TO) f=1132 TT=2400.07 T1=1981.05	? (TO) TT=2400.08	? (TO) TT=2400.06	? (TO) TT=2415.8	? TT=1556.93
Scheduling/ Scheduling-fs-taillard/ Taillard-fs-020-05-8.xml	SAT TO f=1239 TT=2400.12 T1=2066.41	? (TO) TT=2520.03	SAT (TO) f=1315 TT=19616.801 T1=2313.41	SAT (TO) f=1315 TT=18994.1 T1=2349.9	? (TO) TT=2520.05	? (TO) TT=2520.05	? (TO) TT=2520.07	? (TO) TT=2520.03	? (TO) TT=2520.96	? (NS) TT=0.115	? (NS) TT=0.117	SAT (TO) f=1252 TT=2519.74 T1=1894.39	SAT (TO) f=1244 TT=2520.1 T1=2426.75	SAT (TO) f=1329 TT=2520.09 T1=3.23	SAT (TO) f=1255 TT=2520.08 T1=1081.64	SAT (TO) f=1254 TT=19843.301 T1=1243.85	SAT (TO) f=1256 TT=19831.699 T1=375.53	? (TO) TT=2400.11	SAT (TO) f=1314 TT=2400.15 T1=281.92	SAT (TO) f=1320 TT=2400.45 T1=226.01	? (TO) TT=2401.96	? (NS) TT=0.17	? (NS) TT=0.169	SAT (TO) f=1252 TT=2400.07 T1=1884.78	SAT (TO) f=1239 TT=2400.12 T1=2066.41	SAT (TO) f=1329 TT=2400.07 T1=2.96	SAT (TO) f=1266 TT=2400.08 T1=1138.7	? (TO) TT=2415.61	? TT=1640.84
Scheduling/ Scheduling-fs-taillard/ Taillard-fs-020-10-7.xml	SAT TO f=1597 TT=2520.07 T1=2439.24	? (TO) TT=2520.04	? (TO) TT=19918.1	? (TO) TT=19458.199	? (TO) TT=2520.08	? (TO) TT=2520.11	? (TO) TT=2520.1	? (TO) TT=2520.03	? (TO) TT=2521.26	? (NS) TT=0.225	? (NS) TT=0.226	? (TO) TT=2520.08	SAT (TO) f=1597 TT=2520.07 T1=2439.24	? (TO) TT=2520.04	? (TO) TT=2520.04	SAT (TO) f=1637 TT=19825.301 T1=553.71	SAT (TO) f=1637 TT=19836.4 T1=4359.45	? (TO) TT=2400.1	? (TO) TT=2400.47	? (TO) TT=2400.36	? (TO) TT=2402.66	? (NS) TT=0.286	? (NS) TT=0.284	? (TO) TT=2400.04	SAT (TO) f=1620 TT=2400.11 T1=619.88	? (TO) TT=2400.04	? (TO) TT=2400.1	? (TO) TT=2416.12	? TT=1561.35
Scheduling/ Scheduling-fs-taillard/ Taillard-fs-050-05-1.xml		? (TO) TT=2520.06	? (TO) TT=20061.9	? (TO) TT=19971.1	? (TO) TT=2520.03	? (TO) TT=2520.08	? (TO) TT=2520.04	? (TO) TT=2520.04	? (TO) TT=2522.18	? (NS) TT=0.291	? (NS) TT=0.297	? (TO) TT=2520.08	? (TO) TT=2520.03	? (TO) TT=2520.08	? (TO) TT=2520.04	? (TO) TT=19578.801	? (TO) TT=19601.4	? (TO) TT=2400.1	? (TO) TT=2400.26	? (TO) TT=2400.2	? (TO) TT=2405.94	? (NS) TT=0.345	? (NS) TT=0.344	? (TO) TT=2400.08	? (TO) TT=2400.07	? (TO) TT=2400.08	? (TO) TT=2400.1	? (TO) TT=2416.06	? (problem) TT=1865.04
Scheduling/ Scheduling-fs-taillard/ Taillard-fs-050-05-8.xml		? (TO) TT=2520.09	? (TO) TT=20078.801	? (TO) TT=19983.6	? (TO) TT=2520.05	? (TO) TT=2520.11	? (TO) TT=2520.11	? (TO) TT=2520.09	? (TO) TT=2522.26	? (NS) TT=0.29	? (NS) TT=0.295	? (TO) TT=2520.1	? (TO) TT=2520.08	? (TO) TT=2520.07	? (TO) TT=2520.09	? (TO) TT=19604.801	? (TO) TT=19590.1	? (TO) TT=2400.45	? (TO) TT=2400.75	? (TO) TT=2400.66	? (TO) TT=2404.38	? (NS) TT=0.349	? (NS) TT=0.345	? (TO) TT=2400.02	? (TO) TT=2400.06	? (TO) TT=2400.05	? (TO) TT=2400.1	? (TO) TT=2416.32	? (problem) TT=1858.01
Scheduling/ Scheduling-fs-taillard/ Taillard-fs-050-05-9.xml	SAT TO f=2830 TT=2400.12 T1=1451.01	? (TO) TT=2520.2	? (TO) TT=20044.301	? (TO) TT=19932.1	? (TO) TT=2520.1	? (TO) TT=2520.05	? (TO) TT=2520.11	? (TO) TT=2520.11	? (TO) TT=2522.06	? (NS) TT=0.304	? (NS) TT=0.293	? (TO) TT=2520	SAT (TO) f=2830 TT=2520.03 T1=1690.99	? (TO) TT=2520.06	? (TO) TT=2520.05	SAT (TO) f=2881 TT=19579.6 T1=113.13	SAT (TO) f=2881 TT=19565.6 T1=485.71	? (TO) TT=2400.55	? (TO) TT=2400.27	? (TO) TT=2400.4	? (TO) TT=2406.01	? (NS) TT=0.351	? (NS) TT=0.344	? (TO) TT=2400.1	SAT (TO) f=2830 TT=2400.12 T1=1451.01	? (TO) TT=2400.1	? (TO) TT=2400.07	? (TO) TT=2416.08	? (problem) TT=1867
Scheduling/ Scheduling-fs-taillard/ Taillard-fs-050-10-6.xml		? (TO) TT=2520.08	? (TO) TT=20100.5	? (TO) TT=20065.199	? (TO) TT=2520.04	? (TO) TT=2520.11	? (TO) TT=2520.02	? (TO) TT=2520.08	? (TO) TT=2523.97	? (NS) TT=0.576	? (NS) TT=0.597	? (TO) TT=2519.98	? (TO) TT=2520.04	? (TO) TT=2520.03	? (TO) TT=2520.05	? (TO) TT=19417.1	? (TO) TT=19388.801	? (TO) TT=2400.06	? (TO) TT=2400.28	? (TO) TT=2400.61	? (TO) TT=2408.63	? (NS) TT=0.635	? (NS) TT=0.622	? (TO) TT=2400.1	? (TO) TT=2400.07	? (TO) TT=2400.08	? (TO) TT=2400.08	? (TO) TT=2416.23	? TT=1742.73
Scheduling/ Scheduling-fs-taillard/ Taillard-fs-050-10-9.xml		? (TO) TT=2520.06	? (TO) TT=20103.1	? (TO) TT=20072.199	? (TO) TT=2520.06	? (TO) TT=2520.09	? (TO) TT=2520.05	? (TO) TT=2520.13	? (TO) TT=2523.64	? (NS) TT=0.585	? (NS) TT=0.585	? (TO) TT=2519.65	? (TO) TT=2520.1	? (TO) TT=2520.08	? (TO) TT=2520.02	? (TO) TT=19473.4	? (TO) TT=19472.6	? (TO) TT=2400.02	? (TO) TT=2400	? (TO) TT=2400.22	? (TO) TT=2409.6	? (NS) TT=0.602	? (NS) TT=0.635	? (TO) TT=2400.02	? (TO) TT=2400.06	? (TO) TT=2400.09	? (TO) TT=2400.05	? (TO) TT=2416.1	? TT=1745.51
Scheduling/ Scheduling-fs-taillard/ Taillard-fs-050-20-1.xml		? (TO) TT=2520.05	? (TO) TT=20098.6	? (TO) TT=20099.301	? (TO) TT=2520.09	? (TO) TT=2520.04	? (TO) TT=2520.12	? (TO) TT=2520.11	? (TO) TT=2525.58	? (NS) TT=1.167	? (NS) TT=1.181	? (TO) TT=2519.8	? (TO) TT=2520.1	? (TO) TT=2520.1	? (TO) TT=2520.09	? (TO) TT=19067.1	? (TO) TT=19081.699	? (TO) TT=2400.12	? (TO) TT=2400.51	? (TO) TT=2400.52	? (TO) TT=2410.94	? (NS) TT=1.223	? (NS) TT=1.271	? (TO) TT=2400.02	? (TO) TT=2400.01	? (TO) TT=2400.06	? (TO) TT=2400.1	? (TO) TT=2416.18	? TT=1940.01
Scheduling/ Scheduling-fs-taillard/ Taillard-fs-100-05-1.xml		? (TO) TT=2520.03	? (TO) TT=20002.199	? (TO) TT=20029.301	? (TO) TT=2520.11	? (TO) TT=2520.1	? (TO) TT=2520.1	? (TO) TT=2520.12	? (TO) TT=2525.78	? (NS) TT=0.596	? (NS) TT=0.622	? (TO) TT=2519.79	? (TO) TT=2520.06	? (TO) TT=2520.09	? (TO) TT=2520.14	? (TO) TT=18898.4	? (TO) TT=18903.301	? (TO) TT=2400.03	? (TO) TT=2400.1	? (TO) TT=2400.25	? (TO) TT=2412.49	? (NS) TT=0.652	? (NS) TT=0.661	? (TO) TT=2400.05	? (TO) TT=2400.08	? (TO) TT=2400.05	? (TO) TT=2400.05	? (TO) TT=2416.21	? (problem) TT=2043.33
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
Scheduling/ Scheduling-fs-taillard/ Taillard-fs-100-05-3.xml		? (TO) TT=2520.09	? (TO) TT=19786.5	? (TO) TT=19800.699	? (TO) TT=2520.09	? (TO) TT=2520.1	? (TO) TT=2520.07	? (TO) TT=2520.11	? (TO) TT=2525.83	? (NS) TT=0.603	? (NS) TT=0.607	? (TO) TT=2519.85	? (TO) TT=2520.03	? (TO) TT=2520.1	? (TO) TT=2520.1	? (TO) TT=18856.301	? (TO) TT=18856.4	? (TO) TT=2400.08	? (TO) TT=2400.21	? (TO) TT=2400.7	? (TO) TT=2411.46	? (NS) TT=0.639	? (NS) TT=0.652	? (TO) TT=2400.1	? (TO) TT=2400.05	? (TO) TT=2400.05	? (TO) TT=2400.02	? (TO) TT=2416.44	? (problem) TT=1803.4
Scheduling/ Scheduling-fs-taillard/ Taillard-fs-100-05-7.xml		? (TO) TT=2520.05	? (TO) TT=19987.301	? (TO) TT=19818.699	? (TO) TT=2520.05	? (TO) TT=2520.05	? (TO) TT=2520.04	? (TO) TT=2520.02	? (TO) TT=2525.69	? (NS) TT=0.61	? (NS) TT=0.6	? (TO) TT=2519.64	? (TO) TT=2520.05	? (TO) TT=2520.06	? (TO) TT=2520.05	? (TO) TT=18923	? (TO) TT=18917.301	? (TO) TT=2400.06	? (TO) TT=2400.59	? (TO) TT=2400.23	? (TO) TT=2411.11	? (NS) TT=0.681	? (NS) TT=0.651	? (TO) TT=2400.03	? (TO) TT=2400.03	? (TO) TT=2400.03	? (TO) TT=2400.04	? (TO) TT=2416.29	? (problem) TT=2002.58
Scheduling/ Scheduling-fs-taillard/ Taillard-fs-100-10-5.xml		? (TO) TT=2520.04	? (TO) TT=20087.1	? (TO) TT=19880.301	? (TO) TT=2520.12	? (TO) TT=2520.12	? (TO) TT=2520.1	? (TO) TT=2520.06	? (TO) TT=2527.71	? (NS) TT=1.208	? (NS) TT=1.194	? (TO) TT=2520.07	? (TO) TT=2520.06	? (TO) TT=2520.06	? (TO) TT=2520.12	? (TO) TT=18279.699	? (TO) TT=18258.9	? (TO) TT=2400.11	? (TO) TT=2400.3	? (TO) TT=2400.06	? (TO) TT=2414.54	? (NS) TT=1.283	? (NS) TT=1.277	? (TO) TT=2400.05	? (TO) TT=2400.08	? (TO) TT=2400.03	? (TO) TT=2400.07	? (TO) TT=2416.04	? TT=1723.17
Scheduling/ Scheduling-fs-taillard/ Taillard-fs-100-20-3.xml		? (TO) TT=2520.1	? (TO) TT=20093.199	? (TO) TT=20093.801	? (TO) TT=2520.04	? (TO) TT=2520.07	? (TO) TT=2520.04	? (TO) TT=2520.09	? (TO) TT=2527.22	? (NS) TT=2.443	? (NS) TT=2.554	? (TO) TT=2519.59	? (TO) TT=2520.07	? (TO) TT=2520.09	? (TO) TT=2520.29	? (TO) TT=16755.1	? (TO) TT=16813.6	? (TO) TT=2400.1	? (TO) TT=2400.08	? (TO) TT=2400.43	? (TO) TT=2415.2	? (NS) TT=2.556	? (NS) TT=2.503	? (TO) TT=2400.07	? (TO) TT=2400.02	? (TO) TT=2400.09	? (TO) TT=2400.03	? (TO) TT=2415.83	? (problem) TT=2273.97
Scheduling/ Scheduling-fs-taillard/ Taillard-fs-100-20-6.xml		? (TO) TT=2520.03	? (TO) TT=20095	? (TO) TT=20092.5	? (TO) TT=2520.1	? (TO) TT=2520.09	? (TO) TT=2520.09	? (TO) TT=2520.1	? (TO) TT=2527.67	? (NS) TT=2.454	? (NS) TT=2.453	? (TO) TT=2519.76	? (TO) TT=2520.06	? (TO) TT=2520.1	? (TO) TT=2520.04	? (TO) TT=16827.5	? (TO) TT=16006.5	? (TO) TT=2400.06	? (TO) TT=2400.34	? (TO) TT=2400.71	? (TO) TT=2415.62	? (NS) TT=2.486	? (NS) TT=2.512	? (TO) TT=2400.1	? (TO) TT=2400.02	? (TO) TT=2400.07	? (TO) TT=2400.04	? TT=1218.87	? (TO) TT=2527.36
Scheduling/ Scheduling-fs-taillard/ Taillard-fs-200-10-2.xml		? (TO) TT=2520.08	? (TO) TT=20088.801	? (TO) TT=20071.699	? (TO) TT=2520.07	? (TO) TT=2520.05	? (TO) TT=2520.03	? (TO) TT=2520.05	? (TO) TT=2527.56	? (NS) TT=2.648	? (NS) TT=2.641	? (TO) TT=2520.03	? (TO) TT=2520.11	? (TO) TT=2520.11	? (TO) TT=2520.1	? (TO) TT=13809.8	? (TO) TT=13800	? (TO) TT=2400.05	? (TO) TT=2400.13	? (TO) TT=2400.71	? (TO) TT=2415.24	? (NS) TT=3.098	? (NS) TT=2.687	? (TO) TT=2400.1	? (TO) TT=2400.07	? (TO) TT=2400.11	? (TO) TT=2400.1	? (TO) TT=2416.26	? (TO) TT=2528.08
Scheduling/ Scheduling-js-taillard/ Taillard-js-015-15-2.xml	SAT TO f=1218 TT=2400.02 T1=288.4	SAT (TO) f=1293 TT=2520.05 T1=1887.5	SAT (TO) f=1292 TT=19780.9 T1=491.13	SAT (TO) f=1302 TT=19318.301 T1=1983.75	SAT (TO) f=1318 TT=2520.09 T1=1406.77	SAT (TO) f=1318 TT=2520.09 T1=1378.78	SAT (TO) f=1315 TT=2520.02 T1=1800.85	SAT (TO) f=1315 TT=2520.1 T1=1802.69	? (TO) TT=2521.03	? (NS) TT=0.259	? (NS) TT=0.262	SAT (TO) f=1218 TT=2520.03 T1=288.4	SAT (TO) f=1223 TT=2520.03 T1=1921.19	? (TO) TT=2520.1	? (TO) TT=2520.1	SAT (TO) f=1269 TT=19892.699 T1=591.16	SAT (TO) f=1260 TT=19907.801 T1=16577.471	SAT (TO) f=1293 TT=2400.07 T1=1833.78	SAT (TO) f=1299 TT=2400.11 T1=311.99	SAT (TO) f=1308 TT=2400.78 T1=218.18	? (TO) TT=2402.38	? (NS) TT=0.309	? (NS) TT=0.31	SAT (TO) f=1218 TT=2400.02 T1=311.28	SAT (TO) f=1255 TT=2400.08 T1=627.81	? (TO) TT=2400.06	? (TO) TT=2400.03	? (TO) TT=2416.69	? TT=1523.04
Scheduling/ Scheduling-js-taillard/ Taillard-js-015-15-4.xml	SAT TO f=1233 TT=2400.03 T1=5.71	SAT (TO) f=1305 TT=2520.11 T1=2507.14	SAT (TO) f=1307 TT=19509.5 T1=1047.32	SAT (TO) f=1305 TT=19019.301 T1=2416.94	SAT (TO) f=1295 TT=2520.05 T1=1389.58	SAT (TO) f=1295 TT=2520.06 T1=1377.84	SAT (TO) f=1315 TT=2520.06 T1=633.23	SAT (TO) f=1315 TT=2520.1 T1=622.56	? (TO) TT=2521.14	? (NS) TT=0.256	? (NS) TT=0.282	SAT (TO) f=1233 TT=2520.08 T1=5.74	? (TO) TT=2520.08	? (TO) TT=2520.03	? (TO) TT=2520.06	? (TO) TT=19842.301	? (TO) TT=19860.699	SAT (TO) f=1304 TT=2400.11 T1=2346.76	SAT (TO) f=1324 TT=2400.36 T1=231.92	SAT (TO) f=1309 TT=2400.73 T1=253.65	? (TO) TT=2402.56	? (NS) TT=0.316	? (NS) TT=0.316	SAT (TO) f=1233 TT=2400.03 T1=5.71	? (TO) TT=2400.11	? (TO) TT=2400.07	? (TO) TT=2400.11	? (TO) TT=2416.52	? (problem) TT=1524.22
Scheduling/ Scheduling-js-taillard/ Taillard-js-015-15-7.xml	SAT TO f=1217 TT=2400.05 T1=1526.87	SAT (TO) f=1312 TT=2520.02 T1=2422.22	SAT (TO) f=1300 TT=19719.199 T1=367.24	SAT (TO) f=1285 TT=19203.801 T1=286.1	SAT (TO) f=1306 TT=2520.09 T1=1150.82	SAT (TO) f=1306 TT=2520.07 T1=1142.69	SAT (TO) f=1299 TT=2520.05 T1=2220.73	SAT (TO) f=1299 TT=2520.1 T1=2234.3	? (TO) TT=2521.1	? (NS) TT=0.255	? (NS) TT=0.267	SAT (TO) f=1217 TT=2519.67 T1=1526.87	SAT (TO) f=1225 TT=2520.06 T1=1577.49	SAT (TO) f=1304 TT=2520.07 T1=1239.82	SAT (TO) f=1233 TT=2520.14 T1=1761.91	SAT (TO) f=1286 TT=19880.1 T1=2498.89	SAT (TO) f=1285 TT=19923.5 T1=16927.08	SAT (TO) f=1312 TT=2400.11 T1=2087.03	SAT (TO) f=1302 TT=2400.1 T1=270.66	SAT (TO) f=1300 TT=2400.29 T1=162.83	? (TO) TT=2402.51	? (NS) TT=0.313	? (NS) TT=0.307	SAT (TO) f=1217 TT=2400.05 T1=1538.1	SAT (TO) f=1222 TT=2400.06 T1=2243.18	SAT (TO) f=1304 TT=2400.02 T1=1251.83	SAT (TO) f=1286 TT=2400.07 T1=1686.93	? (TO) TT=2416.15	? TT=1849.71
Scheduling/ Scheduling-js-taillard/ Taillard-js-015-15-9.xml	SAT TO f=1243 TT=2400.07 T1=1290	SAT (TO) f=1314 TT=2520.09 T1=1444.4	SAT (TO) f=1323 TT=19692.9 T1=252.64	SAT (TO) f=1317 TT=19184.6 T1=807.25	SAT (TO) f=1354 TT=2520.07 T1=478.92	SAT (TO) f=1354 TT=2520.05 T1=495.74	SAT (TO) f=1342 TT=2520.09 T1=485.23	SAT (TO) f=1342 TT=2520.1 T1=479.79	SAT (TO) f=1302 TT=2520.12 T1=398.86	? (NS) TT=0.264	? (NS) TT=0.253	SAT (TO) f=1259 TT=2519.7 T1=14.42	SAT (TO) f=1271 TT=2520.11 T1=2103.88	SAT (TO) f=1358 TT=2520.04 T1=4.59	SAT (TO) f=1282 TT=2520.06 T1=891.73	SAT (TO) f=1300 TT=19891.699 T1=1877.74	SAT (TO) f=1286 TT=19893.199 T1=17151.15	SAT (TO) f=1314 TT=2400.11 T1=1302.83	SAT (TO) f=1341 TT=2400.13 T1=242.4	SAT (TO) f=1333 TT=2400.73 T1=291.95	SAT (TO) f=1302 TT=2400.11 T1=383.69	? (NS) TT=0.285	? (NS) TT=0.316	SAT (TO) f=1259 TT=2400.04 T1=14.99	SAT (TO) f=1243 TT=2400.07 T1=1290	SAT (TO) f=1358 TT=2400.09 T1=4.73	SAT (TO) f=1297 TT=2400.13 T1=1097.71	? (TO) TT=2415.76	? TT=1694.13
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
Scheduling/ Scheduling-js-taillard/ Taillard-js-020-15-1.xml	SAT TO f=1389 TT=2400.05 T1=982.21	? (TO) TT=2520.05	SAT (TO) f=1476 TT=19877.801 T1=415.42	SAT (TO) f=1476 TT=19407.9 T1=854.81	? (TO) TT=2520.02	? (TO) TT=2520.11	? (TO) TT=2520.07	? (TO) TT=2520.03	? (TO) TT=2521.67	? (NS) TT=0.347	? (NS) TT=0.338	SAT (TO) f=1389 TT=2519.83 T1=982.21	? (TO) TT=2520.09	? (TO) TT=2520.08	? (TO) TT=2520.07	? (TO) TT=19854	? (TO) TT=19857.301	? (TO) TT=2400.1	? (TO) TT=2400.43	? (TO) TT=2400.69	? (TO) TT=2403.67	? (NS) TT=0.383	? (NS) TT=0.394	SAT (TO) f=1389 TT=2400.05 T1=991.25	? (TO) TT=2400.04	? (TO) TT=2400.02	? (TO) TT=2400.05	? (TO) TT=2415.84	? TT=1831.84
Scheduling/ Scheduling-js-taillard/ Taillard-js-020-15-4.xml	SAT TO f=1387 TT=2400.09 T1=1522.89	? (TO) TT=2520.04	? (TO) TT=19925	? (TO) TT=19552.9	? (TO) TT=2520.07	? (TO) TT=2520.09	? (TO) TT=2520.05	? (TO) TT=2520.07	? (TO) TT=2521.72	? (NS) TT=0.338	? (NS) TT=0.341	SAT (TO) f=1387 TT=2520.03 T1=1522.89	? (TO) TT=2520.05	? (TO) TT=2520.05	? (TO) TT=2520.08	? (TO) TT=19819.4	? (TO) TT=19819.301	? (TO) TT=2400.07	? (TO) TT=2400.52	? (TO) TT=2400.53	? (TO) TT=2404.01	? (NS) TT=0.393	? (NS) TT=0.399	SAT (TO) f=1387 TT=2400.09 T1=1545.61	? (TO) TT=2400.02	? (TO) TT=2400.1	? (TO) TT=2400.11	? (TO) TT=2415.68	? TT=1786.64
Scheduling/ Scheduling-js-taillard/ Taillard-js-020-15-9.xml	SAT TO f=1366 TT=2400.1 T1=1819.66	? (TO) TT=2520.11	SAT (TO) f=1461 TT=19905.5 T1=319.34	? (TO) TT=19286.6	? (TO) TT=2520.03	? (TO) TT=2520.1	? (TO) TT=2520.08	? (TO) TT=2520.03	? (TO) TT=2521.41	? (NS) TT=0.344	? (NS) TT=0.34	SAT (TO) f=1366 TT=2519.78 T1=1819.66	SAT (TO) f=1461 TT=2520.07 T1=2060.3	SAT (TO) f=1455 TT=2520.11 T1=346.7	SAT (TO) f=1453 TT=2520.04 T1=1693.13	SAT (TO) f=1456 TT=19820.5 T1=961.84	SAT (TO) f=1459 TT=19836.199 T1=6433.62	? (TO) TT=2400.08	? (TO) TT=2400.4	? (TO) TT=2400.27	? (TO) TT=2403.99	? (NS) TT=0.397	? (NS) TT=0.406	SAT (TO) f=1366 TT=2400.1 T1=1830.64	SAT (TO) f=1461 TT=2400.1 T1=2115.59	SAT (TO) f=1455 TT=2400.07 T1=356.95	SAT (TO) f=1444 TT=2400.13 T1=1546.69	? (TO) TT=2416.01	? TT=1844.79
Scheduling/ Scheduling-js-taillard/ Taillard-js-020-20-2.xml	SAT TO f=1584 TT=2400.07 T1=837.71	? (TO) TT=2520.11	? (TO) TT=19870.1	? (TO) TT=19541.801	? (TO) TT=2520.06	? (TO) TT=2520.08	SAT (TO) f=1666 TT=2520.1 T1=163.49	SAT (TO) f=1666 TT=2520.12 T1=160.45	? (TO) TT=2521.69	? (NS) TT=0.466	? (NS) TT=0.455	SAT (TO) f=1584 TT=2519.99 T1=837.71	? (TO) TT=2520.05	? (TO) TT=2520.09	? (TO) TT=2520.04	? (TO) TT=19824.801	? (TO) TT=19840.5	? (TO) TT=2400.07	? (TO) TT=2400.65	? (TO) TT=2400.02	? (TO) TT=2403.48	? (NS) TT=0.51	? (NS) TT=0.507	SAT (TO) f=1584 TT=2400.07 T1=852.52	? (TO) TT=2400.05	? (TO) TT=2400.1	? (TO) TT=2400.08	? (TO) TT=2415.78	? (problem) TT=1661.62
Scheduling/ Scheduling-js-taillard/ Taillard-js-020-20-3.xml	SAT TO f=1684 TT=2400.04 T1=2009.26	? (TO) TT=2520.05	SAT (TO) f=1753 TT=19825 T1=656.8	SAT (TO) f=1754 TT=19334 T1=27.38	? (TO) TT=2520.09	? (TO) TT=2520.08	? (TO) TT=2520.08	? (TO) TT=2520.06	? (TO) TT=2521.59	? (NS) TT=0.454	? (NS) TT=0.453	SAT (TO) f=1684 TT=2519.88 T1=2009.26	? (TO) TT=2520.1	? (TO) TT=2520.11	? (TO) TT=2520.12	? (TO) TT=19853.9	? (TO) TT=19833.6	? (TO) TT=2400.04	SAT (TO) f=1754 TT=2400.47 T1=49.89	SAT (TO) f=1754 TT=2400.62 T1=48.71	? (TO) TT=2403.85	? (NS) TT=0.508	? (NS) TT=0.58	SAT (TO) f=1684 TT=2400.04 T1=2012.73	? (TO) TT=2400.07	? (TO) TT=2400.11	? (TO) TT=2400.07	? (TO) TT=2415.88	? (exit code) TT=1918.49
Scheduling/ Scheduling-js-taillard/ Taillard-js-020-20-7.xml	SAT TO f=1640 TT=2400.04 T1=189.94	? (TO) TT=2520.08	SAT (TO) f=1725 TT=19852.1 T1=1245.46	? (TO) TT=19496.9	? (TO) TT=2520.06	? (TO) TT=2520.09	? (TO) TT=2520.05	? (TO) TT=2520.04	? (TO) TT=2521.62	? (NS) TT=0.451	? (NS) TT=0.476	SAT (TO) f=1640 TT=2519.73 T1=191.51	? (TO) TT=2520.07	? (TO) TT=2520.02	? (TO) TT=2520.11	? (TO) TT=19842.6	? (TO) TT=19842.6	? (TO) TT=2400.12	? (TO) TT=2400.13	? (TO) TT=2400.01	? (TO) TT=2403.94	? (NS) TT=0.503	? (NS) TT=0.517	SAT (TO) f=1640 TT=2400.04 T1=189.94	? (TO) TT=2400.11	? (TO) TT=2400.11	? (TO) TT=2400.06	? (TO) TT=2416.33	? TT=1598.1
Scheduling/ Scheduling-js-taillard/ Taillard-js-020-20-8.xml	SAT TO f=1660 TT=2400.03 T1=2148.47	? (TO) TT=2520.05	SAT (TO) f=1728 TT=19838.5 T1=501.73	SAT (TO) f=1728 TT=19532.699 T1=740.63	? (TO) TT=2520.08	? (TO) TT=2520.07	? (TO) TT=2520.05	? (TO) TT=2520.06	? (TO) TT=2521.68	? (NS) TT=0.457	? (NS) TT=0.466	SAT (TO) f=1660 TT=2520.1 T1=2166.31	? (TO) TT=2520.07	? (TO) TT=2520.04	? (TO) TT=2520.04	? (TO) TT=19832	? (TO) TT=19833.9	? (TO) TT=2400.09	? (TO) TT=2400.42	? (TO) TT=2400.32	? (TO) TT=2403.61	? (NS) TT=0.489	? (NS) TT=0.502	SAT (TO) f=1660 TT=2400.03 T1=2148.47	? (TO) TT=2400.06	? (TO) TT=2400.06	? (TO) TT=2400.06	? (TO) TT=2416.19	? (problem) TT=1692.67
Scheduling/ Scheduling-js-taillard/ Taillard-js-030-15-9.xml		? (TO) TT=2520.21	? (TO) TT=20034.1	? (TO) TT=19870.1	? (exit code) TT=-1	? (TO) TT=2520.11	? (TO) TT=2520.08	? (TO) TT=2520.08	? (TO) TT=2522.28	? (NS) TT=0.534	? (NS) TT=0.517	? (TO) TT=2519.83	? (TO) TT=2520.03	? (TO) TT=2520.05	? (TO) TT=2520.08	? (TO) TT=19725.9	? (TO) TT=19728.9	? (TO) TT=2400.44	? (TO) TT=2400.39	? (TO) TT=2400.18	? (TO) TT=2405.92	? (NS) TT=0.547	? (NS) TT=0.565	? (TO) TT=2400.01	? (TO) TT=2400.06	? (TO) TT=2400.02	? (TO) TT=2400.06	? (TO) TT=2416.37	? (problem) TT=1693.42
Scheduling/ Scheduling-js-taillard/ Taillard-js-030-20-6.xml		? (TO) TT=2520.03	? (TO) TT=20041.6	? (TO) TT=19987.801	? (TO) TT=2520.05	? (TO) TT=2520.06	? (TO) TT=2520.09	? (TO) TT=2520.07	? (TO) TT=2522.6	? (NS) TT=0.789	? (NS) TT=0.708	? (TO) TT=2519.89	? (TO) TT=2520.06	? (TO) TT=2520.06	? (TO) TT=2520.08	? (TO) TT=19700	? (TO) TT=19711.4	? (TO) TT=2400.07	? (TO) TT=2400.24	? (TO) TT=2400.73	? (TO) TT=2406.74	? (NS) TT=0.744	? (NS) TT=0.731	? (TO) TT=2400.06	? (TO) TT=2400.12	? (TO) TT=2400.06	? (TO) TT=2400.02	? (TO) TT=2415.97	? TT=1963.74
Scheduling/ Scheduling-js-taillard/ Taillard-js-030-20-8.xml		? (TO) TT=2520.1	? (TO) TT=20042.6	? (TO) TT=19930.699	? (TO) TT=2520.12	? (TO) TT=2520.05	? (TO) TT=2520.09	? (TO) TT=2520.06	? (TO) TT=2522.9	? (NS) TT=0.682	? (NS) TT=0.685	? (TO) TT=2519.75	? (TO) TT=2520.1	? (TO) TT=2520.03	? (TO) TT=2520.03	? (TO) TT=19699.5	? (TO) TT=19668.1	? (TO) TT=2400.09	? (TO) TT=2400.71	? (TO) TT=2400.64	? (TO) TT=2406.99	? (NS) TT=0.746	? (NS) TT=0.733	? (TO) TT=2400.05	? (TO) TT=2400.08	? (TO) TT=2400.11	? (TO) TT=2400.12	? (TO) TT=2416.19	? (problem) TT=1709.15
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
Scheduling/ Scheduling-js-taillard/ Taillard-js-050-15-0.xml		? (TO) TT=2520.11	? (TO) TT=20078.6	? (TO) TT=20005.1	? (TO) TT=2520.09	? (TO) TT=2520.11	? (TO) TT=2520.08	? (TO) TT=2520.03	? (TO) TT=2524.78	? (NS) TT=0.873	? (NS) TT=0.864	? (TO) TT=2519.65	? (TO) TT=2520.1	? (TO) TT=2520.06	? (TO) TT=2520.06	? (TO) TT=19368.5	? (TO) TT=19377.301	? (TO) TT=2400.08	? (TO) TT=2400.69	? (TO) TT=2400.6	? (TO) TT=2411.19	? (NS) TT=0.924	? (NS) TT=0.907	? (TO) TT=2400.03	? (TO) TT=2400.1	? (TO) TT=2400.07	? (TO) TT=2400.08	? (TO) TT=2415.84	? (problem) TT=1827.51
Scheduling/ Scheduling-js-taillard/ Taillard-js-050-20-7.xml		? (TO) TT=2520.04	? (TO) TT=20092.9	? (TO) TT=20072.199	? (TO) TT=2520.1	? (TO) TT=2520.09	? (TO) TT=2520.1	? (TO) TT=2520.04	? (TO) TT=2525.68	? (NS) TT=1.155	? (NS) TT=1.153	? (TO) TT=2520.02	? (TO) TT=2520.07	? (TO) TT=2520.07	? (TO) TT=2520.08	? (TO) TT=19289	? (TO) TT=19274.6	? (TO) TT=2400.06	? (TO) TT=2400.51	? (TO) TT=2400.31	? (TO) TT=2411.22	? (NS) TT=1.216	? (NS) TT=1.216	? (TO) TT=2400.04	? (TO) TT=2400.06	? (TO) TT=2400.04	? (TO) TT=2400.08	? (TO) TT=2416.7	? (problem) TT=1790.56
Scheduling/ Scheduling-js-taillard/ Taillard-js-050-20-9.xml		? (TO) TT=2520.06	? (TO) TT=20104.199	? (TO) TT=20079.9	? (TO) TT=2520.09	? (TO) TT=2520.02	? (TO) TT=2520.06	? (TO) TT=2520.1	? (TO) TT=2525.91	? (NS) TT=1.16	? (NS) TT=1.16	? (TO) TT=2519.91	? (TO) TT=2520.04	? (TO) TT=2520.12	? (TO) TT=2520.09	? (TO) TT=19250.301	? (TO) TT=19233.6	? (TO) TT=2400.08	? (TO) TT=2400.28	? (TO) TT=2400.6	? (TO) TT=2411.34	? (NS) TT=1.213	? (NS) TT=1.211	? (TO) TT=2400.03	? (TO) TT=2400.1	? (TO) TT=2400.03	? (TO) TT=2400.05	? (TO) TT=2416.01	? (problem) TT=1839.94
Scheduling/ Scheduling-os-taillard/ Taillard-os-04-04-3.xml	OPT f=250 TT=0.226 T1=0.14	OPT f=250 TT=5.721 T1=2.54	OPT f=250 TT=11.37 T1=1.6	OPT f=250 TT=17.062 T1=1.97	OPT f=250 TT=6.515 T1=2.24	OPT f=250 TT=6.658 T1=2.29	OPT f=250 TT=22.694 T1=7.04	OPT f=250 TT=20.839 T1=6.5	OPT f=250 TT=14.83 T1=5.68	? (NS) TT=0.023	? (NS) TT=0.023	OPT f=250 TT=0.226 T1=0.14	SAT (TO) f=250 TT=2520.06 T1=49.01	OPT f=250 TT=3.024 T1=1.31	OPT f=250 TT=3.084 T1=1.34	OPT f=250 TT=14.284 T1=2.95	OPT f=250 TT=12.77 T1=10.4	OPT f=250 TT=5.746 T1=2.53	OPT f=250 TT=6.57 T1=1.84	OPT f=250 TT=7.175 T1=2.07	OPT f=250 TT=14.512 T1=5.61	? (NS) TT=0.022	? (NS) TT=0.023	OPT f=250 TT=0.226 T1=0.14	SAT (TO) f=250 TT=2400.11 T1=46.6	OPT f=250 TT=3.027 T1=1.33	OPT f=250 TT=3.105 T1=1.32	SAT (TO) f=262 TT=2400.45 T1=2333.07	SAT (TO) f=261 TT=2520.36 T1=2359.06
Scheduling/ Scheduling-os-taillard/ Taillard-os-04-04-6.xml	OPT f=201 TT=0.45 T1=0.09	OPT f=201 TT=10.705 T1=3.07	OPT f=201 TT=7.797 T1=1.22	OPT f=201 TT=8.634 T1=1.3	OPT f=201 TT=9.383 T1=1.86	OPT f=201 TT=9.166 T1=1.87	OPT f=201 TT=25.653 T1=7.18	OPT f=201 TT=21.589 T1=6.28	OPT f=201 TT=18.159 T1=7.11	? (NS) TT=0.025	? (NS) TT=0.023	OPT f=201 TT=0.452 T1=0.14	SAT (TO) f=201 TT=2520.1 T1=64.33	OPT f=201 TT=3.204 T1=1.2	OPT f=201 TT=3.088 T1=1.2	OPT f=201 TT=9.368 T1=2.22	OPT f=201 TT=11.051 T1=7.56	OPT f=201 TT=10.717 T1=3.14	OPT f=201 TT=9.449 T1=2.42	OPT f=201 TT=11.754 T1=3.14	OPT f=201 TT=18.419 T1=7.27	? (NS) TT=0.023	? (NS) TT=0.023	OPT f=201 TT=0.45 T1=0.09	SAT (TO) f=201 TT=2400.1 T1=32.8	OPT f=201 TT=3.332 T1=1.17	OPT f=201 TT=3.055 T1=1.17	SAT (TO) f=203 TT=2400.39 T1=2351.95	SAT (TO) f=202 TT=2520.42 T1=2481.42
Scheduling/ Scheduling-os-taillard/ Taillard-os-04-04-8.xml	OPT f=261 TT=0.202 T1=0.22	OPT f=261 TT=6.454 T1=3.24	OPT f=261 TT=18.173 T1=1.4	OPT f=261 TT=15.309 T1=1.4	OPT f=261 TT=6.016 T1=1.54	OPT f=261 TT=7.744 T1=1.8	OPT f=261 TT=25.443 T1=5.67	OPT f=261 TT=22.934 T1=5.68	OPT f=261 TT=17.684 T1=5.6	? (NS) TT=0.023	? (NS) TT=0.024	OPT f=261 TT=0.202 T1=0.22	SAT (TO) f=261 TT=2520.04 T1=62.37	OPT f=261 TT=2.674 T1=1.19	OPT f=261 TT=2.71 T1=1.23	OPT f=261 TT=12.464 T1=2.73	OPT f=261 TT=13.124 T1=10.88	OPT f=261 TT=6.417 T1=3.25	OPT f=261 TT=8.414 T1=1.81	OPT f=261 TT=8.532 T1=1.79	OPT f=261 TT=17.725 T1=5.62	? (NS) TT=0.023	? (NS) TT=0.025	OPT f=261 TT=0.209 T1=0.22	SAT (TO) f=261 TT=2400.04 T1=39.8	OPT f=261 TT=2.646 T1=1.21	OPT f=261 TT=2.774 T1=1.23	SAT (TO) f=288 TT=2400.37 T1=2348.87	SAT (TO) f=286 TT=2520.44 T1=2468.85
Scheduling/ Scheduling-os-taillard/ Taillard-os-05-05-9.xml	OPT f=326 TT=72.954 T1=4.71	OPT f=326 TT=1791.42 T1=97.89	OPT f=326 TT=841.223 T1=10.85	OPT f=326 TT=385.523 T1=9.06	OPT f=326 TT=193.388 T1=21.52	OPT f=326 TT=193.068 T1=21.62	OPT f=326 TT=1502.31 T1=206.52	OPT f=326 TT=1555.03 T1=211.67	OPT f=326 TT=1624.1 T1=29.03	? (NS) TT=0.033	? (NS) TT=0.04	OPT f=326 TT=353.324 T1=4.71	SAT (TO) f=326 TT=2520.05 T1=422.44	OPT f=326 TT=211.529 T1=13.05	SAT (TO) f=326 TT=2520.08 T1=780.86	OPT f=326 TT=105.34 T1=6.12	OPT f=326 TT=72.954 T1=28.78	OPT f=326 TT=1798.87 T1=97.77	OPT f=326 TT=399.551 T1=19.74	OPT f=326 TT=266.702 T1=20.15	OPT f=326 TT=1583.61 T1=28.24	? (NS) TT=0.036	? (NS) TT=0.033	OPT f=326 TT=352.749 T1=4.71	SAT (TO) f=326 TT=2400.03 T1=274.09	OPT f=326 TT=222.53 T1=13.1	SAT (TO) f=326 TT=2400.12 T1=307.09	? (TO) TT=2400.84	? (TO) TT=2520.12
Scheduling/ Scheduling-os-taillard/ Taillard-os-07-07-5.xml	SAT TO f=457 TT=2400.07 T1=1685.01	SAT (TO) f=558 TT=2520.04 T1=1917.06	SAT (TO) f=459 TT=19712.301 T1=2197.41	SAT (TO) f=461 TT=19615.9 T1=744.29	SAT (TO) f=460 TT=2520.13 T1=138.81	SAT (TO) f=460 TT=2520.06 T1=139.79	SAT (TO) f=470 TT=2520.06 T1=1908.59	SAT (TO) f=470 TT=2520.07 T1=1935.1	SAT (TO) f=466 TT=2520.13 T1=2202.2	? (NS) TT=0.062	? (NS) TT=0.064	SAT (TO) f=461 TT=2519.96 T1=114.35	SAT (TO) f=463 TT=2520.06 T1=1311.61	SAT (TO) f=491 TT=2520.05 T1=73.58	SAT (TO) f=457 TT=2520.08 T1=1685.01	SAT (TO) f=459 TT=19975.1 T1=2481.74	SAT (TO) f=458 TT=19980 T1=19218.32	SAT (TO) f=558 TT=2400.06 T1=1885.98	SAT (TO) f=464 TT=2400.09 T1=255.71	SAT (TO) f=460 TT=2400.39 T1=416.88	SAT (TO) f=466 TT=2400.08 T1=1966.74	? (NS) TT=0.062	? (NS) TT=0.062	SAT (TO) f=461 TT=2400.08 T1=113.42	SAT (TO) f=457 TT=2400.07 T1=2039.92	SAT (TO) f=491 TT=2400.07 T1=79.01	SAT (TO) f=470 TT=2400.07 T1=239.18	? (problem) TT=1585.61	? TT=1610.29
Scheduling/ Scheduling-os-taillard/ Taillard-os-07-07-6.xml	SAT TO f=429 TT=2400.04 T1=479.6	? (TO) TT=2520.11	SAT (TO) f=434 TT=19799.699 T1=662.18	SAT (TO) f=436 TT=19859.4 T1=1657.7	SAT (TO) f=434 TT=2520.03 T1=2173.81	SAT (TO) f=434 TT=2520.06 T1=2145.8	SAT (TO) f=447 TT=2520.1 T1=2210.83	SAT (TO) f=447 TT=2520.13 T1=2176	SAT (TO) f=437 TT=2520.14 T1=16.47	? (NS) TT=0.062	? (NS) TT=0.061	SAT (TO) f=429 TT=2520.04 T1=484.07	SAT (TO) f=435 TT=2520.11 T1=2073.66	SAT (TO) f=455 TT=2520.06 T1=16.1	SAT (TO) f=441 TT=2520.11 T1=1277.78	SAT (TO) f=441 TT=19994.9 T1=1620.91	SAT (TO) f=441 TT=20000.801 T1=15798.87	? (TO) TT=2400.11	SAT (TO) f=435 TT=2400.29 T1=280.33	SAT (TO) f=437 TT=2400.02 T1=412.55	SAT (TO) f=437 TT=2400.14 T1=17.28	? (NS) TT=0.062	? (NS) TT=0.062	SAT (TO) f=429 TT=2400.04 T1=479.6	SAT (TO) f=437 TT=2400.09 T1=2312.52	SAT (TO) f=455 TT=2400.07 T1=16.19	SAT (TO) f=435 TT=2400.05 T1=639.99	? TT=1550.64	? TT=1515.54
Scheduling/ Scheduling-os-taillard/ Taillard-os-07-07-8.xml	OPT f=458 TT=140.294 T1=140.4	SAT (TO) f=559 TT=2520.05 T1=1709.34	OPT f=458 TT=3346.66 T1=426.2	OPT f=458 TT=4392.08 T1=571.71	OPT f=458 TT=1100.81 T1=1086.94	OPT f=458 TT=1046.84 T1=1035.53	SAT (TO) f=461 TT=2520.08 T1=671.93	SAT (TO) f=461 TT=2520.06 T1=700.41	SAT (TO) f=467 TT=2520.13 T1=11.99	? (NS) TT=0.062	? (NS) TT=0.069	OPT f=458 TT=140.294 T1=140.4	SAT (TO) f=464 TT=2520.07 T1=2375.75	SAT (TO) f=464 TT=2520.1 T1=1168.8	OPT f=458 TT=1822.47 T1=649.45	OPT f=458 TT=1429.12 T1=181.64	OPT f=458 TT=5973.64 T1=5972.63	SAT (TO) f=559 TT=2400.05 T1=1729.55	OPT f=458 TT=655.143 T1=173.73	OPT f=458 TT=587.802 T1=156.28	SAT (TO) f=467 TT=2400.11 T1=11.86	? (NS) TT=0.063	? (NS) TT=0.061	OPT f=458 TT=140.39 T1=140.48	SAT (TO) f=464 TT=2400.08 T1=144.44	SAT (TO) f=464 TT=2400.1 T1=1152.5	SAT (TO) f=461 TT=2400.07 T1=1061.25	? (problem) TT=1474.33	? (problem) TT=1491.17
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
Scheduling/ Scheduling-os-taillard/ Taillard-os-07-07-9.xml	SAT TO f=403 TT=2520.13 T1=1031.21	? (TO) TT=2520.03	SAT (TO) f=401 TT=19833.301 T1=936.64	SAT (TO) f=404 TT=19725.4 T1=1151.23	SAT (TO) f=405 TT=2520.1 T1=1871.94	SAT (TO) f=405 TT=2520.16 T1=1857.44	SAT (TO) f=415 TT=2520.08 T1=478.01	SAT (TO) f=415 TT=2520.08 T1=489.33	SAT (TO) f=404 TT=2520.12 T1=61.88	? (NS) TT=0.061	? (NS) TT=0.061	SAT (TO) f=404 TT=2519.82 T1=1336.38	SAT (TO) f=410 TT=2520.1 T1=1317.9	SAT (TO) f=436 TT=2520.1 T1=8.31	SAT (TO) f=403 TT=2520.13 T1=1031.21	SAT (TO) f=407 TT=19953.1 T1=2022.16	SAT (TO) f=403 TT=19957.4 T1=1231.01	? (TO) TT=2400.1	SAT (TO) f=409 TT=2400.39 T1=504.73	SAT (TO) f=406 TT=2400.17 T1=461.26	SAT (TO) f=404 TT=2400.13 T1=62.87	? (NS) TT=0.061	? (NS) TT=0.061	SAT (TO) f=404 TT=2400.04 T1=1316.43	SAT (TO) f=405 TT=2400.04 T1=1439.53	SAT (TO) f=436 TT=2400.04 T1=7.82	SAT (TO) f=412 TT=2400.12 T1=1127.04	? TT=1597.54	? (problem) TT=1607.45
Scheduling/ Scheduling-os-taillard/ Taillard-os-10-10-0.xml	SAT TO f=689 TT=2520.07 T1=2103.09	? (TO) TT=2520.03	SAT (TO) f=722 TT=19464.801 T1=2184.48	SAT (TO) f=717 TT=19824.699 T1=2161.02	SAT (TO) f=734 TT=2520.08 T1=2484.27	SAT (TO) f=734 TT=2520.07 T1=2475.93	? (TO) TT=2520.06	? (TO) TT=2520.03	? (TO) TT=2520.76	? (NS) TT=0.122	? (NS) TT=0.122	? (TO) TT=2520.05	SAT (TO) f=689 TT=2520.07 T1=2103.09	SAT (TO) f=736 TT=2520.08 T1=110.86	SAT (TO) f=740 TT=2520.08 T1=32.5	SAT (TO) f=720 TT=19943 T1=1932.17	SAT (TO) f=725 TT=19944.801 T1=10801.57	? (TO) TT=2400.09	SAT (TO) f=741 TT=2400.15 T1=584.61	SAT (TO) f=740 TT=2400.27 T1=579.53	? (TO) TT=2400.7	? (NS) TT=0.125	? (NS) TT=0.12	? (TO) TT=2400.1	SAT (TO) f=700 TT=2400.05 T1=2029.07	SAT (TO) f=736 TT=2400.03 T1=109.75	SAT (TO) f=740 TT=2400.12 T1=33.37	? TT=1567.21	? (problem) TT=1524.87
Scheduling/ Scheduling-os-taillard/ Taillard-os-10-10-1.xml	SAT TO f=601 TT=2520.09 T1=2286.74	? (TO) TT=2520.11	SAT (TO) f=624 TT=18743.801 T1=2359.02	SAT (TO) f=634 TT=19222.4 T1=2283.37	SAT (TO) f=657 TT=2520.04 T1=2342.84	SAT (TO) f=669 TT=2520.06 T1=1726.64	SAT (TO) f=662 TT=2520.04 T1=2364.32	SAT (TO) f=662 TT=2520.05 T1=2343.31	SAT (TO) f=605 TT=2520.15 T1=796.63	? (NS) TT=0.12	? (NS) TT=0.126	SAT (TO) f=611 TT=2520 T1=615.26	SAT (TO) f=601 TT=2520.09 T1=2286.74	SAT (TO) f=616 TT=2520.04 T1=697.25	SAT (TO) f=609 TT=2520.13 T1=591.94	SAT (TO) f=617 TT=19923 T1=2279.22	SAT (TO) f=614 TT=19914.5 T1=1912.19	? (TO) TT=2400.1	SAT (TO) f=647 TT=2400.34 T1=626.97	SAT (TO) f=639 TT=2400.1 T1=632.29	SAT (TO) f=605 TT=2400.06 T1=791.99	? (NS) TT=0.122	? (NS) TT=0.121	SAT (TO) f=611 TT=2400.04 T1=612.23	SAT (TO) f=630 TT=2400.03 T1=1899.97	SAT (TO) f=616 TT=2400.03 T1=706.59	SAT (TO) f=611 TT=2400.07 T1=1394.12	? TT=1440.36	? TT=1615.11
Scheduling/ Scheduling-os-taillard/ Taillard-os-10-10-2.xml	SAT TO f=617 TT=2400.02 T1=1488.22	? (TO) TT=2520.05	SAT (TO) f=677 TT=19377.6 T1=293.27	SAT (TO) f=654 TT=19649 T1=376.17	SAT (TO) f=710 TT=2520.09 T1=1938.41	SAT (TO) f=710 TT=2520.1 T1=1890.16	SAT (TO) f=706 TT=2520.02 T1=2170.62	SAT (TO) f=706 TT=2520.02 T1=1879.65	? (TO) TT=2520.71	? (NS) TT=0.122	? (NS) TT=0.122	SAT (TO) f=617 TT=2519.67 T1=1488.22	SAT (TO) f=648 TT=2520.03 T1=1983.89	SAT (TO) f=647 TT=2520.06 T1=557.92	SAT (TO) f=650 TT=2520.09 T1=2347.7	SAT (TO) f=637 TT=19932.1 T1=1066.62	SAT (TO) f=637 TT=19932.6 T1=334.94	? (TO) TT=2400.11	SAT (TO) f=672 TT=2400 T1=608.29	SAT (TO) f=672 TT=2400.33 T1=592.81	? (TO) TT=2400.68	? (NS) TT=0.126	? (NS) TT=0.123	SAT (TO) f=617 TT=2400.02 T1=1494.72	SAT (TO) f=639 TT=2400.11 T1=1656.71	SAT (TO) f=647 TT=2400.11 T1=584.14	SAT (TO) f=635 TT=2400.12 T1=1739.23	? (problem) TT=1484.9	? TT=1467.86
Scheduling/ Scheduling-os-taillard/ Taillard-os-10-10-6.xml	SAT TO f=646 TT=2400.06 T1=919.9	? (TO) TT=2520.02	SAT (TO) f=656 TT=19173.801 T1=1357.73	SAT (TO) f=683 TT=19332.301 T1=1444.1	SAT (TO) f=714 TT=2520.04 T1=283.84	SAT (TO) f=714 TT=2520.05 T1=283.68	SAT (TO) f=699 TT=2520.06 T1=1666.17	SAT (TO) f=699 TT=2520.09 T1=1675.01	? (TO) TT=2520.82	? (NS) TT=0.123	? (NS) TT=0.123	SAT (TO) f=650 TT=2519.76 T1=1685.69	? (TO) TT=2520.11	SAT (TO) f=702 TT=2520.1 T1=647.45	SAT (TO) f=647 TT=2520.12 T1=1127.51	SAT (TO) f=679 TT=19945.4 T1=1323.92	SAT (TO) f=684 TT=19937.301 T1=11967	? (TO) TT=2400.06	SAT (TO) f=674 TT=2400.04 T1=624.96	SAT (TO) f=670 TT=2400.07 T1=446.17	? (TO) TT=2400.71	? (NS) TT=0.126	? (NS) TT=0.121	SAT (TO) f=650 TT=2400.07 T1=1693	? (TO) TT=2400.03	SAT (TO) f=702 TT=2400.11 T1=670.87	SAT (TO) f=646 TT=2400.06 T1=919.9	? (problem) TT=1443.58	? TT=1606.27
Scheduling/ Scheduling-os-taillard/ Taillard-os-10-10-9.xml	SAT TO f=615 TT=19946.6 T1=1143.81	? (TO) TT=2520.03	SAT (TO) f=640 TT=18916.199 T1=1253.98	SAT (TO) f=638 TT=18405.6 T1=2114.45	? (TO) TT=2520.12	? (TO) TT=2520.11	SAT (TO) f=687 TT=2520.1 T1=2226.86	SAT (TO) f=687 TT=2520.08 T1=2109.35	? (TO) TT=2520.88	? (NS) TT=0.122	? (NS) TT=0.123	SAT (TO) f=624 TT=2519.98 T1=1280.24	SAT (TO) f=641 TT=2520.12 T1=2299.93	SAT (TO) f=669 TT=2520.07 T1=1914.28	SAT (TO) f=633 TT=2520.07 T1=1289.84	SAT (TO) f=615 TT=19946.6 T1=1143.81	SAT (TO) f=619 TT=19952 T1=19674.811	? (TO) TT=2400.03	SAT (TO) f=646 TT=2400.19 T1=585.54	SAT (TO) f=648 TT=2400.37 T1=560.17	? (TO) TT=2400.73	? (NS) TT=0.121	? (NS) TT=0.121	SAT (TO) f=624 TT=2400.08 T1=1283.53	SAT (TO) f=618 TT=2400.04 T1=2302.14	SAT (TO) f=669 TT=2400.1 T1=1915	SAT (TO) f=634 TT=2400.11 T1=2021.51	? TT=1396.38	? TT=1415.37
Scheduling/ Scheduling-os-taillard/ Taillard-os-15-15-2.xml	SAT TO f=996 TT=19860.699 T1=1760.18	? (TO) TT=2520.09	? (TO) TT=19953.6	? (TO) TT=19873	? (TO) TT=2520.11	? (TO) TT=2520.11	? (TO) TT=2520.13	? (TO) TT=2520.08	? (TO) TT=2521.17	? (NS) TT=0.277	? (NS) TT=0.272	? (TO) TT=2520.07	? (TO) TT=2520.05	? (TO) TT=2520.07	? (TO) TT=2520.1	SAT (TO) f=996 TT=19860.699 T1=1760.18	SAT (TO) f=996 TT=19861.5 T1=13614.37	? (TO) TT=2400.09	? (TO) TT=2400.07	? (TO) TT=2400.23	? (TO) TT=2401.24	? (NS) TT=0.279	? (NS) TT=0.274	? (TO) TT=2400.03	? (TO) TT=2400.04	? (TO) TT=2400.1	? (TO) TT=2400.09	? (problem) TT=1520.68	? TT=1344.65
Scheduling/ Scheduling-os-taillard/ Taillard-os-15-15-8.xml		? (TO) TT=2520.04	? (TO) TT=19972.9	? (TO) TT=19829.199	? (TO) TT=2520.08	? (TO) TT=2520.08	? (TO) TT=2520.09	? (TO) TT=2520.09	? (TO) TT=2521.39	? (NS) TT=0.272	? (NS) TT=0.273	? (TO) TT=2519.96	? (TO) TT=2520.05	? (TO) TT=2520.04	? (TO) TT=2520.06	? (TO) TT=19884.9	? (TO) TT=19904.9	? (TO) TT=2400.08	? (TO) TT=2400.36	? (TO) TT=2400.22	? (TO) TT=2401.41	? (NS) TT=0.283	? (NS) TT=0.275	? (TO) TT=2400.09	? (TO) TT=2400.05	? (TO) TT=2400.06	? (TO) TT=2400.06	? (problem) TT=1432.09	? TT=1569.21
Scheduling/ Scheduling-os-taillard/ Taillard-os-20-20-8.xml		? (TO) TT=2520.04	? (TO) TT=20032.199	? (TO) TT=19965.6	? (TO) TT=2520.04	? (TO) TT=2520.04	? (TO) TT=2520.02	? (TO) TT=2520.03	? (TO) TT=2522.34	? (NS) TT=0.484	? (NS) TT=0.488	? (TO) TT=2520.09	? (TO) TT=2520.07	? (TO) TT=2520.03	? (TO) TT=2520.1	? (TO) TT=19807.5	? (TO) TT=19785	? (TO) TT=2400.06	? (TO) TT=2400.27	? (TO) TT=2400.29	? (TO) TT=2402.29	? (NS) TT=0.482	? (NS) TT=0.486	? (TO) TT=2400.1	? (TO) TT=2400.02	? (TO) TT=2400.04	? (TO) TT=2400.07	? (problem) TT=1883.29	? (problem) TT=1715.56
Scheduling/ Scheduling-os-taillard/ Taillard-os-20-20-9.xml		? (TO) TT=2520.09	? (TO) TT=20036.1	? (TO) TT=19985.699	? (TO) TT=2520.07	? (TO) TT=2520.07	? (TO) TT=2520.05	? (TO) TT=2520.08	? (TO) TT=2522.36	? (NS) TT=0.501	? (NS) TT=0.491	? (TO) TT=2519.75	? (TO) TT=2520.04	? (TO) TT=2520.09	? (TO) TT=2520.09	? (TO) TT=19757.9	? (TO) TT=19820.6	? (TO) TT=2400.07	? (TO) TT=2400.03	? (TO) TT=2400.39	? (TO) TT=2402.38	? (NS) TT=0.49	? (NS) TT=0.503	? (TO) TT=2400.04	? (TO) TT=2400.09	? (TO) TT=2400.04	? (TO) TT=2400.05	? TT=1562.08	? (problem) TT=1716.23
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
StillLife/ StillLife-m1-s1/ StillLife-03-05.xml	OPT f=8 TT=0.007 T1=0.01	OPT f=8 TT=1.248 T1=0.7	OPT f=8 TT=1.532 T1=0.57	OPT f=8 TT=1.467 T1=0.58	OPT f=8 TT=1.03 T1=0.62	OPT f=8 TT=1.019 T1=0.6	OPT f=8 TT=1.321 T1=0.64	OPT f=8 TT=1.347 T1=0.63	OPT f=8 TT=6.798 T1=3.68	OPT f=8 TT=0.007 T1=0.14	OPT f=8 TT=0.009 T1=0.1	OPT f=8 TT=0.009 T1=0.08	SAT (TO) f=8 TT=2520.11 T1=1.07	OPT f=8 TT=1.272 T1=0.86	OPT f=8 TT=1.287 T1=0.88	OPT f=8 TT=2.972 T1=1.2	OPT f=8 TT=2.85 T1=2.41	OPT f=8 TT=1.486 T1=0.69	OPT f=8 TT=1.805 T1=0.7	OPT f=8 TT=1.77 T1=0.64	OPT f=8 TT=8.36 T1=3.63	OPT f=8 TT=0.013 T1=0.01	OPT f=8 TT=0.014 T1=0.01	OPT f=8 TT=0.013 T1=0.01	SAT (TO) f=8 TT=2400.05 T1=1.29	OPT f=8 TT=1.329 T1=0.77	OPT f=8 TT=1.3 T1=0.75	OPT f=8 TT=1.286 T1=0.5	OPT f=8 TT=1.092 T1=0.6
StillLife/ StillLife-m1-s1/ StillLife-03-06.xml	OPT f=10 TT=0.013 T1=0.01	OPT f=10 TT=1.381 T1=0.73	OPT f=10 TT=1.839 T1=0.6	OPT f=10 TT=1.732 T1=0.61	OPT f=10 TT=1.084 T1=0.59	OPT f=10 TT=1.079 T1=0.57	OPT f=10 TT=1.539 T1=0.66	OPT f=10 TT=1.55 T1=0.66	OPT f=10 TT=7.597 T1=3.77	OPT f=10 TT=0.013 T1=0.08	OPT f=10 TT=0.015 T1=0.06	OPT f=10 TT=0.015 T1=0.11	SAT (TO) f=10 TT=2520.05 T1=1.5	OPT f=10 TT=1.375 T1=0.91	OPT f=10 TT=1.365 T1=0.82	OPT f=10 TT=3.786 T1=1.31	OPT f=10 TT=3.758 T1=3.13	OPT f=10 TT=1.611 T1=0.69	OPT f=10 TT=1.937 T1=0.68	OPT f=10 TT=2.027 T1=0.67	OPT f=10 TT=8.559 T1=3.67	OPT f=10 TT=0.022 T1=0.02	OPT f=10 TT=0.027 T1=0.01	OPT f=10 TT=0.027 T1=0.01	SAT (TO) f=10 TT=2400.09 T1=1.03	OPT f=10 TT=1.424 T1=0.79	OPT f=10 TT=1.401 T1=0.75	OPT f=10 TT=1.289 T1=0.52	OPT f=10 TT=1.178 T1=0.58
StillLife/ StillLife-m1-s1/ StillLife-03-10.xml	OPT f=16 TT=0.261 T1=0.03	OPT f=16 TT=4.082 T1=1.33	OPT f=16 TT=3.65 T1=0.71	OPT f=16 TT=4.661 T1=0.68	OPT f=16 TT=1.853 T1=0.79	OPT f=16 TT=1.863 T1=0.76	OPT f=16 TT=6.034 T1=1	OPT f=16 TT=5.915 T1=0.98	OPT f=16 TT=12.617 T1=4.22	OPT f=16 TT=0.287 T1=0.14	OPT f=16 TT=0.367 T1=0.27	OPT f=16 TT=0.261 T1=0.09	SAT (TO) f=16 TT=2520.1 T1=1.19	OPT f=16 TT=2.817 T1=1.71	OPT f=16 TT=2.866 T1=1.12	OPT f=16 TT=8.752 T1=2.29	OPT f=16 TT=7.282 T1=5.94	OPT f=16 TT=4.116 T1=1.18	OPT f=16 TT=5.549 T1=0.79	OPT f=16 TT=5.268 T1=0.77	OPT f=16 TT=13.332 T1=4.18	OPT f=16 TT=0.344 T1=0.12	OPT f=16 TT=0.416 T1=0.27	OPT f=16 TT=0.324 T1=0.03	SAT (TO) f=16 TT=2400.12 T1=2.43	OPT f=16 TT=3.232 T1=1.06	OPT f=16 TT=3.02 T1=0.98	OPT f=16 TT=1.913 T1=0.64	OPT f=16 TT=1.711 T1=0.74
StillLife/ StillLife-m1-s1/ StillLife-03-11.xml	OPT f=18 TT=0.409 T1=0.03	OPT f=18 TT=5.432 T1=2.04	OPT f=18 TT=4.244 T1=0.82	OPT f=18 TT=4.75 T1=0.84	OPT f=18 TT=2.485 T1=0.88	OPT f=18 TT=2.466 T1=0.9	OPT f=18 TT=9.087 T1=1.78	OPT f=18 TT=7.206 T1=1.61	OPT f=18 TT=13.971 T1=6.09	OPT f=18 TT=0.997 T1=0.97	OPT f=18 TT=0.409 T1=0.46	OPT f=18 TT=0.77 T1=0.11	SAT (TO) f=18 TT=2520.08 T1=4.17	OPT f=18 TT=3.781 T1=1.73	OPT f=18 TT=1802.65 T1=4.27	OPT f=18 TT=9.22 T1=2.6	OPT f=18 TT=8.983 T1=8.41	OPT f=18 TT=4.669 T1=1.83	OPT f=18 TT=6.686 T1=0.96	OPT f=18 TT=5.72 T1=0.86	OPT f=18 TT=15.831 T1=5.85	OPT f=18 TT=1.052 T1=0.94	OPT f=18 TT=0.437 T1=0.42	OPT f=18 TT=0.826 T1=0.03	SAT (TO) f=18 TT=2400.09 T1=16.06	OPT f=18 TT=3.602 T1=1.51	OPT f=18 TT=3.857 T1=1.81	OPT f=18 TT=2.389 T1=0.81	OPT f=18 TT=1.942 T1=0.89
StillLife/ StillLife-m1-s1/ StillLife-04-05.xml	OPT f=12 TT=0.014 T1=0.01	OPT f=12 TT=1.494 T1=0.75	OPT f=12 TT=1.766 T1=0.61	OPT f=12 TT=1.755 T1=0.61	OPT f=12 TT=1.116 T1=0.62	OPT f=12 TT=1.119 T1=0.62	OPT f=12 TT=1.663 T1=0.65	OPT f=12 TT=1.666 T1=0.66	OPT f=12 TT=7.755 T1=3.83	OPT f=12 TT=0.014 T1=0.13	OPT f=12 TT=0.018 T1=0.07	OPT f=12 TT=0.014 T1=0.1	SAT (TO) f=12 TT=2520.04 T1=1.76	OPT f=12 TT=1.539 T1=0.95	OPT f=12 TT=1.577 T1=0.95	OPT f=12 TT=4.397 T1=1.42	OPT f=12 TT=4.256 T1=3.31	OPT f=12 TT=2.014 T1=0.74	OPT f=12 TT=2.164 T1=0.73	OPT f=12 TT=1.879 T1=0.63	OPT f=12 TT=10.084 T1=4.14	OPT f=12 TT=0.022 T1=0.01	OPT f=12 TT=0.031 T1=0.01	OPT f=12 TT=0.023 T1=0.01	SAT (TO) f=12 TT=2400.06 T1=1.63	OPT f=12 TT=1.737 T1=0.87	OPT f=12 TT=1.686 T1=0.86	OPT f=12 TT=1.363 T1=0.51	OPT f=12 TT=1.131 T1=0.6
StillLife/ StillLife-m1-s1/ StillLife-05-06.xml	OPT f=16 TT=0.188 T1=0.06	OPT f=16 TT=4.683 T1=1.65	OPT f=16 TT=3.091 T1=0.65	OPT f=16 TT=3.269 T1=0.65	OPT f=16 TT=1.898 T1=0.62	OPT f=16 TT=1.867 T1=0.61	OPT f=16 TT=6.025 T1=0.65	OPT f=16 TT=5.669 T1=0.67	OPT f=16 TT=12.364 T1=3.94	OPT f=16 TT=0.364 T1=0.06	OPT f=16 TT=0.188 T1=0.08	OPT f=16 TT=0.455 T1=0.13	SAT (TO) f=16 TT=2520.09 T1=1.29	OPT f=16 TT=3.284 T1=1.26	OPT f=16 TT=3.297 T1=1.32	OPT f=16 TT=6.719 T1=2.02	OPT f=16 TT=6.889 T1=6.19	OPT f=16 TT=6.291 T1=1.79	OPT f=16 TT=3.821 T1=0.77	OPT f=16 TT=3.962 T1=0.73	OPT f=16 TT=13.871 T1=3.93	OPT f=16 TT=0.371 T1=0.01	OPT f=16 TT=0.238 T1=0.04	OPT f=16 TT=0.507 T1=0.06	SAT (TO) f=16 TT=2400.13 T1=1.36	OPT f=16 TT=3.682 T1=1.17	OPT f=16 TT=3.502 T1=1.2	OPT f=16 TT=2.152 T1=0.65	OPT f=16 TT=1.861 T1=0.81
StillLife/ StillLife-m1-s1/ StillLife-06-13.xml	OPT f=40 TT=18912 T1=1.03	SAT (TO) f=37 TT=2520.1 T1=1122.65	OPT f=40 TT=17607.199 T1=1.03	OPT f=40 TT=18912 T1=1.03	SAT (TO) f=40 TT=2520.09 T1=13.35	SAT (TO) f=40 TT=2520.15 T1=13.34	SAT (TO) f=40 TT=2520.07 T1=80.87	SAT (TO) f=40 TT=2520.07 T1=79.83	SAT (TO) f=40 TT=2520.05 T1=19.37	SAT (TO) f=40 TT=2520.1 T1=377.83	SAT (TO) f=40 TT=2519.7 T1=1498.06	SAT (TO) f=40 TT=2519.95 T1=0.27	SAT (TO) f=40 TT=2520.07 T1=142.7	SAT (TO) f=38 TT=2520.03 T1=1391.21	SAT (TO) f=40 TT=2520.07 T1=131.93	SAT (TO) f=39 TT=19838 T1=1039.85	SAT (TO) f=39 TT=19849.5 T1=7876.79	SAT (TO) f=37 TT=2400.03 T1=1109.5	SAT (TO) f=40 TT=2400.3 T1=1.45	SAT (TO) f=40 TT=2400.18 T1=1.36	SAT (TO) f=40 TT=2400.09 T1=19.53	? (TO) TT=2400.04	? (TO) TT=2400.01	SAT (TO) f=40 TT=2400.05 T1=0.25	SAT (TO) f=40 TT=2400.04 T1=23.19	SAT (TO) f=38 TT=2400.1 T1=1398.83	SAT (TO) f=40 TT=2400.11 T1=176.26	SAT (TO) f=40 TT=2400.25 T1=5.8	SAT (TO) f=40 TT=2520.33 T1=7.23
StillLife/ StillLife-m1-s1/ StillLife-08-10.xml	OPT f=44 TT=6836.89 T1=1.41	SAT (TO) f=38 TT=2520.11 T1=1854.13	OPT f=44 TT=6724.39 T1=1.31	OPT f=44 TT=6836.89 T1=1.41	SAT (TO) f=44 TT=2520.03 T1=488.3	SAT (TO) f=44 TT=2520.06 T1=465.55	SAT (TO) f=43 TT=2520.08 T1=1175.44	SAT (TO) f=43 TT=2520.02 T1=1205.73	SAT (TO) f=41 TT=2520.05 T1=156.25	SAT (TO) f=43 TT=2519.99 T1=20.98	SAT (TO) f=44 TT=2519.94 T1=1737.62	SAT (TO) f=44 TT=2519.9 T1=6.93	SAT (TO) f=44 TT=2520.07 T1=1.76	SAT (TO) f=34 TT=2520.02 T1=2071.58	SAT (TO) f=44 TT=2520.11 T1=19.38	SAT (TO) f=39 TT=19846.199 T1=450.89	SAT (TO) f=39 TT=19843.699 T1=7604.81	SAT (TO) f=38 TT=2400.05 T1=1844.55	SAT (TO) f=44 TT=2400.61 T1=1.88	SAT (TO) f=44 TT=2400.28 T1=1.7	SAT (TO) f=41 TT=2400.12 T1=165.2	? (TO) TT=2400.1	? (TO) TT=2400.11	SAT (TO) f=44 TT=2400.07 T1=7.06	SAT (TO) f=44 TT=2400.06 T1=2.84	SAT (TO) f=34 TT=2400.12 T1=2068.27	SAT (TO) f=44 TT=2400.06 T1=128.61	SAT (TO) f=44 TT=2400.39 T1=46.28	? (TO) TT=2520.37
StillLife/ StillLife-m1-s1/ StillLife-08-13.xml	SAT TO f=57 TT=2400.03 T1=392.89	SAT (TO) f=45 TT=2520.1 T1=2019.69	SAT (TO) f=56 TT=20036.1 T1=6.81	SAT (TO) f=56 TT=20005.5 T1=7.55	SAT (TO) f=54 TT=2520.04 T1=1126.28	SAT (TO) f=54 TT=2520.11 T1=1034.35	SAT (TO) f=54 TT=2520.06 T1=142.13	SAT (TO) f=54 TT=2520.03 T1=142.79	SAT (TO) f=54 TT=2520.05 T1=147.19	SAT (TO) f=51 TT=2519.84 T1=219.41	SAT (TO) f=55 TT=2520.01 T1=313.68	SAT (TO) f=57 TT=2519.96 T1=693.85	SAT (TO) f=56 TT=2520.12 T1=293.83	SAT (TO) f=37 TT=2520.07 T1=1820.76	SAT (TO) f=57 TT=2520.05 T1=392.89	SAT (TO) f=43 TT=19847.301 T1=309.74	SAT (TO) f=43 TT=19846 T1=5820.59	SAT (TO) f=45 TT=2400.06 T1=1896.83	SAT (TO) f=56 TT=2400.62 T1=13.54	SAT (TO) f=56 TT=2400.75 T1=13.35	SAT (TO) f=54 TT=2400.07 T1=149.11	? (TO) TT=2400.05	? (TO) TT=2400.06	SAT (TO) f=57 TT=2400.03 T1=717.77	SAT (TO) f=56 TT=2400.06 T1=197.15	SAT (TO) f=37 TT=2400.07 T1=1906.43	SAT (TO) f=56 TT=2400.04 T1=158.97	SAT (TO) f=54 TT=2400.13 T1=2055.27	SAT (TO) f=54 TT=2520.19 T1=2062.73
StillLife/ StillLife-m1-s1/ StillLife-09-12.xml	SAT TO f=58 TT=2400.02 T1=306.9	SAT (TO) f=47 TT=2520.1 T1=1611.16	SAT (TO) f=58 TT=20011.301 T1=1814.3	SAT (TO) f=58 TT=20017.6 T1=1658.62	SAT (TO) f=55 TT=2520.13 T1=692.91	SAT (TO) f=55 TT=2520.12 T1=689.25	SAT (TO) f=55 TT=2520.06 T1=1446.71	SAT (TO) f=55 TT=2520.02 T1=1506.4	SAT (TO) f=57 TT=2520.13 T1=1173.55	SAT (TO) f=54 TT=2519.72 T1=2432.74	SAT (TO) f=55 TT=2520.02 T1=883.75	SAT (TO) f=58 TT=2520.05 T1=306.9	SAT (TO) f=56 TT=2520.06 T1=74.42	SAT (TO) f=37 TT=2520.05 T1=2390.69	SAT (TO) f=57 TT=2520.08 T1=514.7	SAT (TO) f=48 TT=19860.6 T1=1511.08	SAT (TO) f=48 TT=19852.301 T1=10968.93	SAT (TO) f=47 TT=2400.09 T1=1601.96	SAT (TO) f=57 TT=2400.41 T1=4.56	SAT (TO) f=57 TT=2400.55 T1=4.08	SAT (TO) f=57 TT=2400.1 T1=1243.53	? (TO) TT=2400.09	? (TO) TT=2400.05	SAT (TO) f=58 TT=2400.02 T1=315.72	SAT (TO) f=58 TT=2400.11 T1=784.19	SAT (TO) f=36 TT=2400.11 T1=1286.05	SAT (TO) f=57 TT=2400.06 T1=406.58	SAT (TO) f=56 TT=2400.18 T1=562.25	SAT (TO) f=56 TT=2520.19 T1=611.13
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
StillLife/ StillLife-m1-s1/ StillLife-10-11.xml	SAT TO f=59 TT=2400.04 T1=2.16	SAT (TO) f=45 TT=2520.03 T1=1769.31	SAT (TO) f=59 TT=20028 T1=2.24	SAT (TO) f=59 TT=20035.6 T1=2.16	SAT (TO) f=55 TT=2520.07 T1=302	SAT (TO) f=55 TT=2520.08 T1=301.54	SAT (TO) f=58 TT=2520.12 T1=393.71	SAT (TO) f=58 TT=2520.12 T1=403.89	SAT (TO) f=58 TT=2520.1 T1=1279.33	SAT (TO) f=57 TT=2520.01 T1=92.89	SAT (TO) f=56 TT=2519.99 T1=910.7	SAT (TO) f=59 TT=2519.69 T1=50.8	SAT (TO) f=58 TT=2520.05 T1=18.68	SAT (TO) f=34 TT=2520.08 T1=1801.86	SAT (TO) f=59 TT=2520.04 T1=1025.38	SAT (TO) f=43 TT=19846.301 T1=2109.55	SAT (TO) f=44 TT=19841.9 T1=11848.2	SAT (TO) f=45 TT=2400.08 T1=1744.46	SAT (TO) f=59 TT=2400.53 T1=3.98	SAT (TO) f=59 TT=2400.09 T1=3.94	SAT (TO) f=58 TT=2400.13 T1=1342.09	? (TO) TT=2400.04	? (TO) TT=2400.06	SAT (TO) f=59 TT=2400.04 T1=51.67	SAT (TO) f=59 TT=2400.04 T1=234.43	SAT (TO) f=34 TT=2400.26 T1=1851.7	SAT (TO) f=59 TT=2400.04 T1=392.18	SAT (TO) f=55 TT=2400.36 T1=53.2	SAT (TO) f=55 TT=2520.35 T1=46.55
StillLife/ StillLife-m1-s1/ StillLife-10-12.xml	SAT TO f=64 TT=2400.02 T1=279.91	SAT (TO) f=46 TT=2520.07 T1=1635.65	SAT (TO) f=63 TT=20019.1 T1=42.92	SAT (TO) f=63 TT=20049.5 T1=42.36	SAT (TO) f=59 TT=2520.05 T1=10.27	SAT (TO) f=59 TT=2520.07 T1=10.43	SAT (TO) f=60 TT=2520.11 T1=1341.88	SAT (TO) f=60 TT=2520.06 T1=1309.75	SAT (TO) f=60 TT=2520.08 T1=1830.93	SAT (TO) f=60 TT=2519.9 T1=405.04	SAT (TO) f=61 TT=2519.79 T1=870.7	SAT (TO) f=64 TT=2520 T1=279.91	SAT (TO) f=63 TT=2520.05 T1=106.91	SAT (TO) f=36 TT=2520.09 T1=2168.7	SAT (TO) f=63 TT=2520.1 T1=165.78	SAT (TO) f=48 TT=19843.801 T1=1566.54	SAT (TO) f=49 TT=19859.6 T1=10759.6	SAT (TO) f=46 TT=2400.03 T1=1594.93	SAT (TO) f=63 TT=2400.27 T1=88.53	SAT (TO) f=63 TT=2400.74 T1=86.6	SAT (TO) f=60 TT=2400.07 T1=1929.69	? (TO) TT=2400.02	? (TO) TT=2400.01	SAT (TO) f=64 TT=2400.02 T1=289.01	SAT (TO) f=64 TT=2400.05 T1=313.16	SAT (TO) f=36 TT=2400.03 T1=2223.6	SAT (TO) f=64 TT=2400.1 T1=398.14	? (TO) TT=2400.26	SAT (TO) f=60 TT=2520.16 T1=995.12
StillLife/ StillLife-m1-s1/ StillLife-10-14.xml	SAT TO f=74 TT=2400.07 T1=30.32	SAT (TO) f=49 TT=2520.1 T1=1204	SAT (TO) f=74 TT=20013 T1=30.62	SAT (TO) f=74 TT=20054.5 T1=30.32	SAT (TO) f=69 TT=2520.06 T1=14.08	SAT (TO) f=69 TT=2520.1 T1=14.09	SAT (TO) f=70 TT=2520.04 T1=1089.83	SAT (TO) f=70 TT=2520.06 T1=1073.17	SAT (TO) f=72 TT=2520.08 T1=351.04	SAT (TO) f=65 TT=2519.84 T1=1211.11	SAT (TO) f=68 TT=2520.01 T1=812.16	SAT (TO) f=73 TT=2519.71 T1=1049.25	SAT (TO) f=74 TT=2520.03 T1=245.6	SAT (TO) f=35 TT=2520.09 T1=982.96	SAT (TO) f=74 TT=2520.09 T1=323.87	SAT (TO) f=49 TT=19855.801 T1=852.47	SAT (TO) f=49 TT=19864.6 T1=8441.06	SAT (TO) f=49 TT=2400.07 T1=1201.42	SAT (TO) f=74 TT=2400.57 T1=68.49	SAT (TO) f=74 TT=2400.09 T1=62.76	SAT (TO) f=72 TT=2400.08 T1=371.29	? (TO) TT=2400.05	? (TO) TT=2400.03	SAT (TO) f=73 TT=2400.08 T1=1042.82	SAT (TO) f=74 TT=2400.08 T1=222.26	SAT (TO) f=35 TT=2400.08 T1=1019.87	SAT (TO) f=74 TT=2400.07 T1=481.97	SAT (TO) f=70 TT=2400.36 T1=385.85	? (TO) TT=2520.35
StillLife/ StillLife-m1-s1/ StillLife-11-12.xml	SAT TO f=70 TT=2400.01 T1=126.95	SAT (TO) f=49 TT=2520.09 T1=1730.02	SAT (TO) f=69 TT=20069 T1=152.41	SAT (TO) f=69 TT=20038.9 T1=151.67	SAT (TO) f=66 TT=2520.05 T1=143.99	SAT (TO) f=66 TT=2520.05 T1=145.45	SAT (TO) f=65 TT=2520.08 T1=2006.2	SAT (TO) f=65 TT=2520.08 T1=2038.57	SAT (TO) f=68 TT=2520.09 T1=559.62	SAT (TO) f=62 TT=2519.7 T1=1024.99	SAT (TO) f=63 TT=2520.07 T1=507.75	SAT (TO) f=70 TT=2520.08 T1=126.95	SAT (TO) f=70 TT=2520.06 T1=1873.32	SAT (TO) f=36 TT=2520.1 T1=1353.61	SAT (TO) f=70 TT=2520.07 T1=540.65	SAT (TO) f=52 TT=19836.1 T1=982.86	SAT (TO) f=52 TT=19841.301 T1=7310.52	SAT (TO) f=49 TT=2400.1 T1=1711.89	SAT (TO) f=67 TT=2400.66 T1=12.9	SAT (TO) f=67 TT=2400.6 T1=12.95	SAT (TO) f=68 TT=2400.06 T1=571.68	? (TO) TT=2400.07	? (TO) TT=2400.09	SAT (TO) f=70 TT=2400.01 T1=128.48	SAT (TO) f=70 TT=2400.1 T1=1615.27	SAT (TO) f=36 TT=2400.13 T1=1383.08	SAT (TO) f=67 TT=2400.06 T1=358.66	SAT (TO) f=64 TT=2400.28 T1=50	SAT (TO) f=64 TT=2520.3 T1=49.61
StillLife/ StillLife-m1-s1/ StillLife-11-14.xml	SAT TO f=81 TT=2400.11 T1=1054.13	SAT (TO) f=49 TT=2520.04 T1=2459	SAT (TO) f=80 TT=20036.9 T1=712.13	SAT (TO) f=80 TT=20007 T1=673.83	SAT (TO) f=77 TT=2520.09 T1=1036.97	SAT (TO) f=77 TT=2520.06 T1=1046.7	SAT (TO) f=77 TT=2520.12 T1=329.8	SAT (TO) f=77 TT=2520.09 T1=330.81	SAT (TO) f=76 TT=2520.1 T1=713.48	SAT (TO) f=67 TT=2520.02 T1=865.68	SAT (TO) f=78 TT=2519.85 T1=192.45	SAT (TO) f=80 TT=2519.96 T1=228.25	SAT (TO) f=81 TT=2520.04 T1=1962.72	SAT (TO) f=36 TT=2520.12 T1=1775.77	SAT (TO) f=79 TT=2520.09 T1=685.5	SAT (TO) f=52 TT=19855.4 T1=1751.44	SAT (TO) f=52 TT=19853.6 T1=6971.7	SAT (TO) f=49 TT=2400.02 T1=2382.1	SAT (TO) f=78 TT=2400.08 T1=7.99	? (TO) TT=2400.04	SAT (TO) f=76 TT=2400.13 T1=747.36	? (TO) TT=2400.07	? (TO) TT=2400.08	SAT (TO) f=80 TT=2400.1 T1=229.89	SAT (TO) f=79 TT=2400.09 T1=1157.18	SAT (TO) f=36 TT=2400.09 T1=1851.78	SAT (TO) f=81 TT=2400.11 T1=1054.13	SAT (TO) f=75 TT=2400.26 T1=262.26	SAT (TO) f=75 TT=2520.23 T1=306.31
StillLife/ StillLife-m1-s1/ StillLife-11-15.xml	SAT TO f=86 TT=2400.03 T1=32.59	SAT (TO) f=50 TT=2520.07 T1=2321.24	SAT (TO) f=84 TT=20049.801 T1=1333.88	SAT (TO) f=84 TT=20007.5 T1=1867.22	SAT (TO) f=80 TT=2520.12 T1=5.77	SAT (TO) f=80 TT=2520.19 T1=5.95	SAT (TO) f=79 TT=2520.08 T1=2376.47	SAT (TO) f=79 TT=2520.06 T1=2318.19	SAT (TO) f=82 TT=2520.06 T1=142.64	SAT (TO) f=71 TT=2519.92 T1=2511.04	SAT (TO) f=71 TT=2520.01 T1=1277.7	SAT (TO) f=86 TT=2520.02 T1=32.59	SAT (TO) f=84 TT=2520.05 T1=624.43	SAT (TO) f=36 TT=2520.11 T1=1722.93	SAT (TO) f=86 TT=2520.05 T1=477.36	SAT (TO) f=57 TT=19853.199 T1=2146.83	SAT (TO) f=58 TT=19832 T1=18018.949	SAT (TO) f=50 TT=2400.08 T1=2339.76	SAT (TO) f=83 TT=2400.63 T1=102.42	SAT (TO) f=83 TT=2400.4 T1=123.88	SAT (TO) f=82 TT=2400.14 T1=139.73	? (TO) TT=2400.06	SAT (TO) f=71 TT=2400.05 T1=1272.22	SAT (TO) f=86 TT=2400.03 T1=33.07	SAT (TO) f=85 TT=2400.07 T1=1199.98	SAT (TO) f=36 TT=2400.1 T1=1843.06	SAT (TO) f=83 TT=2400.06 T1=443.57	SAT (TO) f=75 TT=2400.24 T1=1034.14	SAT (TO) f=75 TT=2520.33 T1=1255.35
StillLife/ StillLife-m1-s1/ StillLife-12-12.xml	SAT TO f=76 TT=2400.01 T1=112.38	SAT (TO) f=49 TT=2520.03 T1=2046.9	SAT (TO) f=74 TT=20030.801 T1=522.5	SAT (TO) f=74 TT=19999.6 T1=559.11	SAT (TO) f=71 TT=2520.06 T1=1963.15	SAT (TO) f=71 TT=2520.07 T1=2005.86	SAT (TO) f=71 TT=2520.09 T1=1620.36	SAT (TO) f=71 TT=2520.04 T1=1624.1	SAT (TO) f=74 TT=2520.1 T1=42.92	SAT (TO) f=67 TT=2520.09 T1=2371.7	SAT (TO) f=67 TT=2519.73 T1=991.42	SAT (TO) f=76 TT=2520.09 T1=112.38	SAT (TO) f=76 TT=2520.1 T1=262.52	SAT (TO) f=35 TT=2520.12 T1=2131.62	SAT (TO) f=75 TT=2520.09 T1=203.41	SAT (TO) f=51 TT=19857.9 T1=1135.27	SAT (TO) f=54 TT=19849.301 T1=15362.96	SAT (TO) f=49 TT=2400.04 T1=2049.1	SAT (TO) f=73 TT=2400.6 T1=70.04	SAT (TO) f=73 TT=2400.71 T1=61.46	SAT (TO) f=74 TT=2400.06 T1=43.63	? (TO) TT=2400.04	? (TO) TT=2400.05	SAT (TO) f=76 TT=2400.01 T1=112.61	SAT (TO) f=76 TT=2400.12 T1=2002.2	SAT (TO) f=35 TT=2400.11 T1=2310.91	SAT (TO) f=76 TT=2400.08 T1=742.8	SAT (TO) f=73 TT=2400.61 T1=389.14	SAT (TO) f=73 TT=2520.17 T1=444.15
StillLife/ StillLife-wst-s1/ StillLife-wastage-03.xml	OPT f=6 TT=0.033 T1=0.07	OPT f=6 TT=1.483 T1=0.79	OPT f=6 TT=2.298 T1=0.75	OPT f=6 TT=2.254 T1=0.77	OPT f=6 TT=1.181 T1=0.67	OPT f=6 TT=1.186 T1=0.65	OPT f=6 TT=1.316 T1=0.72	OPT f=6 TT=1.288 T1=0.72	OPT f=6 TT=8.543 T1=4.25	OPT f=6 TT=0.033 T1=0.11	OPT f=6 TT=0.034 T1=0.09	OPT f=6 TT=0.044 T1=0.13	SAT (TO) f=6 TT=2520.09 T1=1.11	OPT f=6 TT=1.557 T1=0.93	OPT f=6 TT=1.547 T1=1.02	OPT f=6 TT=6.006 T1=1.69	OPT f=6 TT=6.491 T1=4.19	OPT f=6 TT=1.828 T1=0.78	OPT f=6 TT=2.579 T1=0.83	OPT f=6 TT=2.385 T1=0.77	OPT f=6 TT=10.734 T1=4.37	OPT f=6 TT=0.056 T1=0.05	OPT f=6 TT=0.045 T1=0.04	OPT f=6 TT=0.076 T1=0.07	SAT (TO) f=6 TT=2400.08 T1=1.03	OPT f=6 TT=1.673 T1=0.88	OPT f=6 TT=1.677 T1=0.86	OPT f=6 TT=15.707 T1=9.46	OPT f=6 TT=13.842 T1=9.63
StillLife/ StillLife-wst-s1/ StillLife-wastage-07.xml	OPT f=28 TT=0.603 T1=0.58	OPT f=28 TT=4.022 T1=1.74	OPT f=28 TT=4.405 T1=1.11	OPT f=28 TT=4.341 T1=1.1	OPT f=28 TT=3.687 T1=1.38	OPT f=28 TT=3.702 T1=1.36	OPT f=28 TT=20.641 T1=11.28	OPT f=28 TT=22.207 T1=11.66	OPT f=28 TT=48.307 T1=34.18	OPT f=28 TT=0.603 T1=0.58	OPT f=28 TT=1.291 T1=1.29	OPT f=28 TT=2.876 T1=2.86	SAT (TO) f=28 TT=2520.13 T1=38.84	OPT f=28 TT=5.213 T1=2.72	OPT f=28 TT=5.065 T1=2.72	OPT f=28 TT=10.643 T1=2.59	OPT f=28 TT=10.402 T1=8.77	OPT f=28 TT=4.723 T1=1.69	OPT f=28 TT=5.056 T1=1.22	OPT f=28 TT=4.662 T1=1.18	OPT f=28 TT=50.767 T1=32.54	OPT f=28 TT=0.621 T1=0.52	OPT f=28 TT=1.318 T1=1.27	OPT f=28 TT=2.917 T1=2.83	SAT (TO) f=28 TT=2400.11 T1=44.3	OPT f=28 TT=5.94 T1=3.09	OPT f=28 TT=5.571 T1=2.6	SAT (TO) f=9 TT=2400.2 T1=2287.56	SAT (TO) f=9 TT=2520.2 T1=2262.46
StillLife/ StillLife-wst-s1/ StillLife-wastage-08.xml	OPT f=36 TT=3.516 T1=1.3	OPT f=36 TT=6.001 T1=3.4	OPT f=36 TT=5.369 T1=1.27	OPT f=36 TT=5.341 T1=1.3	OPT f=36 TT=22.856 T1=18.93	OPT f=36 TT=23.217 T1=19.1	OPT f=36 TT=49.143 T1=35.87	OPT f=36 TT=48.749 T1=34.28	OPT f=36 TT=139.82 T1=102.42	OPT f=36 TT=3.516 T1=3.3	OPT f=36 TT=8.784 T1=8.4	OPT f=36 TT=13.333 T1=13.78	SAT (TO) f=36 TT=2520.04 T1=78.1	OPT f=36 TT=26.739 T1=22.38	OPT f=36 TT=1803.37 T1=144.03	OPT f=36 TT=31.077 T1=5.01	OPT f=36 TT=29.281 T1=26.64	OPT f=36 TT=6.002 T1=3.26	OPT f=36 TT=6.842 T1=1.44	OPT f=36 TT=7.671 T1=1.6	OPT f=36 TT=146.467 T1=104.35	OPT f=36 TT=3.549 T1=3.22	OPT f=36 TT=8.863 T1=8.44	OPT f=36 TT=13.343 T1=13.24	SAT (TO) f=36 TT=2400.11 T1=91.29	OPT f=36 TT=27.101 T1=21.95	OPT f=36 TT=1737.54 T1=110.46	? (TO) TT=2400.15	? (TO) TT=2520.11
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
StillLife/ StillLife-wst-s1/ StillLife-wastage-09.xml	OPT f=43 TT=24.084 T1=2.93	OPT f=43 TT=24.084 T1=11.43	OPT f=43 TT=50.298 T1=3.03	OPT f=43 TT=51.562 T1=2.93	OPT f=43 TT=29.543 T1=10.4	OPT f=43 TT=28.39 T1=10.02	OPT f=43 TT=55.07 T1=18.68	OPT f=43 TT=58.193 T1=19.84	SAT (TO) f=43 TT=2520.13 T1=1659.62	OPT f=43 TT=142.075 T1=23.85	OPT f=43 TT=198.095 T1=69.48	OPT f=43 TT=221.048 T1=38.86	SAT (TO) f=43 TT=2520.11 T1=183.55	SAT (TO) f=43 TT=2520.06 T1=439.68	OPT f=43 TT=1928.48 T1=184.08	OPT f=43 TT=297.748 T1=10.41	OPT f=43 TT=376.806 T1=59.42	OPT f=43 TT=24.484 T1=11.41	OPT f=43 TT=119.212 T1=5.55	OPT f=43 TT=111.491 T1=5.02	SAT (TO) f=43 TT=2400.16 T1=1809.96	OPT f=43 TT=142.931 T1=23.91	OPT f=43 TT=199.129 T1=69.69	OPT f=43 TT=220.147 T1=38.8	SAT (TO) f=43 TT=2400.45 T1=133.93	SAT (TO) f=43 TT=2400.03 T1=468.99	OPT f=43 TT=1869.14 T1=290.15	? (TO) TT=2415.29	? (TO) TT=2520.18
StillLife/ StillLife-wst-s1/ StillLife-wastage-14.xml	SAT TO f=104 TT=2400.03 T1=924.55	SAT (TO) f=104 TT=2520.07 T1=1848.37	SAT (TO) f=103 TT=20071.801 T1=2358.2	SAT (TO) f=101 TT=20050.6 T1=257.07	SAT (TO) f=90 TT=2520.12 T1=1074.76	SAT (TO) f=90 TT=2520.05 T1=1079.96	SAT (TO) f=94 TT=2520.11 T1=2396.73	SAT (TO) f=94 TT=2520.09 T1=2422.78	SAT (TO) f=98 TT=2520.18 T1=1319.15	SAT (TO) f=72 TT=2519.89 T1=2476.47	SAT (TO) f=82 TT=2519.48 T1=2303.08	SAT (TO) f=104 TT=2519.95 T1=924.55	SAT (TO) f=100 TT=2520.09 T1=1206.72	SAT (TO) f=76 TT=2520.07 T1=574.63	SAT (TO) f=102 TT=2520.06 T1=1473.84	SAT (TO) f=90 TT=20007.801 T1=964.71	SAT (TO) f=92 TT=19991.4 T1=15791.21	SAT (TO) f=104 TT=2400.05 T1=1826.91	SAT (TO) f=100 TT=2400.57 T1=134.12	SAT (TO) f=99 TT=2400.52 T1=9.98	SAT (TO) f=98 TT=2400.12 T1=1414.27	No Cert. TT=2400.04	No Cert. TT=2400.11	SAT (TO) f=104 TT=2400.03 T1=925.87	SAT (TO) f=102 TT=2400.16 T1=1317.77	SAT (TO) f=76 TT=2400.04 T1=586.9	SAT (TO) f=100 TT=2400.12 T1=941.12	? (TO) TT=2400.13	? (TO) TT=2520.16
StillLife/ StillLife-wst-s1/ StillLife-wastage-15.xml	SAT TO f=117 TT=2400.03 T1=1058.17	SAT (TO) f=117 TT=2520.11 T1=1058.17	SAT (TO) f=117 TT=20038.199 T1=2001.94	SAT (TO) f=116 TT=20036.301 T1=709.63	SAT (TO) f=102 TT=2520.12 T1=1481.98	SAT (TO) f=102 TT=2520.07 T1=1452.85	SAT (TO) f=101 TT=2520.04 T1=1553.3	SAT (TO) f=101 TT=2520.04 T1=1571.49	SAT (TO) f=112 TT=2520.15 T1=524.44	SAT (TO) f=77 TT=2519.83 T1=2475.25	SAT (TO) f=65 TT=2519.79 T1=2485.13	SAT (TO) f=117 TT=2519.8 T1=2488.88	SAT (TO) f=116 TT=2520.1 T1=1692.25	SAT (TO) f=81 TT=2520.12 T1=1414.42	SAT (TO) f=115 TT=2520.04 T1=794.39	SAT (TO) f=94 TT=19994.699 T1=400.74	SAT (TO) f=96 TT=19995 T1=8067.85	SAT (TO) f=117 TT=2400.03 T1=1113.58	SAT (TO) f=113 TT=2400.15 T1=254.95	SAT (TO) f=113 TT=2400.59 T1=277.93	SAT (TO) f=112 TT=2400.12 T1=609.78	No Cert. TT=2400.07	No Cert. TT=2400.05	SAT (TO) f=116 TT=2400.05 T1=51.24	SAT (TO) f=115 TT=2400.06 T1=1176.75	SAT (TO) f=81 TT=2400.12 T1=1291.47	SAT (TO) f=115 TT=2400.13 T1=1166.26	? (TO) TT=2400.11	? (TO) TT=2520.22
StillLife/ StillLife-wst-s1/ StillLife-wastage-24.xml	SAT TO f=297 TT=2400.05 T1=1569.79	SAT (TO) f=217 TT=2520.11 T1=1331.87	SAT (TO) f=270 TT=20081.1 T1=2046.11	SAT (TO) f=271 TT=20026 T1=2378.94	SAT (TO) f=247 TT=2520.1 T1=2008.76	SAT (TO) f=247 TT=2520.12 T1=2047.22	SAT (TO) f=231 TT=2520.03 T1=46.69	SAT (TO) f=231 TT=2520.44 T1=46.57	SAT (TO) f=262 TT=2520.15 T1=1328.53	SAT (TO) f=50 TT=2519.77 T1=383.01	SAT (TO) f=53 TT=2519.82 T1=2396.35	SAT (TO) f=297 TT=2519.97 T1=1581.84	SAT (TO) f=267 TT=2520.06 T1=2356.03	SAT (TO) f=180 TT=2520.06 T1=36.77	SAT (TO) f=234 TT=2520.11 T1=1530.6	SAT (TO) f=198 TT=20014.301 T1=2492.8	SAT (TO) f=197 TT=20014.699 T1=4844.91	SAT (TO) f=217 TT=2400.04 T1=1350.85	SAT (TO) f=269 TT=2400.32 T1=299.09	SAT (TO) f=268 TT=2400.12 T1=36.06	SAT (TO) f=262 TT=2400.14 T1=1416.24	No Cert. TT=2400.04	No Cert. TT=2400.08	SAT (TO) f=297 TT=2400.05 T1=1569.79	SAT (TO) f=271 TT=2400.06 T1=1792.64	SAT (TO) f=180 TT=2400.07 T1=34.44	SAT (TO) f=279 TT=2400.04 T1=1117.67	? (TO) TT=2416.34	? TT=2025.63
StillLife/ StillLife-wst-s1/ StillLife-wastage-26.xml	SAT TO f=345 TT=2400.02 T1=1194.88	SAT (TO) f=237 TT=2520.09 T1=2454.1	SAT (TO) f=322 TT=20082.4 T1=594.89	SAT (TO) f=322 TT=20041.1 T1=621.51	SAT (TO) f=274 TT=2520.11 T1=1103.87	SAT (TO) f=274 TT=2520.11 T1=1100.32	SAT (TO) f=276 TT=2520.1 T1=354.74	SAT (TO) f=276 TT=2520.04 T1=325.24	SAT (TO) f=322 TT=2520.11 T1=2027.52	SAT (TO) f=63 TT=2520.03 T1=2002.9	SAT (TO) f=55 TT=2520.08 T1=1416.06	SAT (TO) f=345 TT=2520.02 T1=1203.72	SAT (TO) f=290 TT=2520.07 T1=2299.13	SAT (TO) f=200 TT=2520.05 T1=487.36	SAT (TO) f=286 TT=2520.04 T1=1740.37	SAT (TO) f=230 TT=20023.1 T1=303.35	SAT (TO) f=230 TT=19962.699 T1=2366.99	SAT (TO) f=234 TT=2400.03 T1=821.63	SAT (TO) f=318 TT=2400.39 T1=9.38	SAT (TO) f=318 TT=2400.7 T1=10.04	SAT (TO) f=322 TT=2400.15 T1=2137.61	No Cert. TT=2400.09	No Cert. TT=2400.06	SAT (TO) f=345 TT=2400.02 T1=1194.88	SAT (TO) f=284 TT=2400.21 T1=2293.6	SAT (TO) f=200 TT=2400.06 T1=461.51	SAT (TO) f=250 TT=2400.08 T1=1008.42	? (TO) TT=2415.85	? TT=2265.39
StillLife/ StillLife-wst-s1/ StillLife-wastage-27.xml	SAT TO f=373 TT=2400.03 T1=1792.98	SAT (TO) f=246 TT=2520.05 T1=1865.51	SAT (TO) f=341 TT=20085.199 T1=9.26	SAT (TO) f=341 TT=20034 T1=8.51	SAT (TO) f=295 TT=2520.11 T1=1409.28	SAT (TO) f=306 TT=2520.08 T1=2505.92	SAT (TO) f=299 TT=2520.09 T1=698.37	SAT (TO) f=299 TT=2520.06 T1=683.34	SAT (TO) f=327 TT=2520.14 T1=1598.56	SAT (TO) f=49 TT=2520.1 T1=1408.43	SAT (TO) f=55 TT=2519.81 T1=2128.87	SAT (TO) f=373 TT=2519.68 T1=1792.98	SAT (TO) f=265 TT=2520.07 T1=2438.26	SAT (TO) f=249 TT=2520.09 T1=853.08	SAT (TO) f=341 TT=2520.06 T1=2026.92	SAT (TO) f=242 TT=20039.9 T1=1224.65	SAT (TO) f=242 TT=19958.4 T1=18023.529	SAT (TO) f=246 TT=2400.09 T1=1835.13	SAT (TO) f=341 TT=2400 T1=12.66	SAT (TO) f=341 TT=2400.7 T1=13.15	SAT (TO) f=327 TT=2400.14 T1=1675.32	No Cert. TT=2400.05	No Cert. TT=2400.04	SAT (TO) f=373 TT=2400.03 T1=1796.98	SAT (TO) f=310 TT=2400.06 T1=2249.54	SAT (TO) f=249 TT=2400.09 T1=841.17	SAT (TO) f=341 TT=2400.13 T1=1939.66	? (TO) TT=2416.19	? (TO) TT=2528.04
StillLife/ StillLife-wst-s1/ StillLife-wastage-28.xml	SAT TO f=398 TT=2400.02 T1=1336.91	SAT (TO) f=280 TT=2520.08 T1=2078.88	SAT (TO) f=366 TT=20078.9 T1=2210.24	SAT (TO) f=365 TT=20031.699 T1=1748.87	SAT (TO) f=303 TT=2520.1 T1=198.16	SAT (TO) f=303 TT=2520.07 T1=194.02	SAT (TO) f=313 TT=2520.08 T1=892.5	SAT (TO) f=313 TT=2520.04 T1=914.81	SAT (TO) f=352 TT=2520.12 T1=1976.02	SAT (TO) f=70 TT=2519.94 T1=1502.7	SAT (TO) f=69 TT=2520.05 T1=88.35	SAT (TO) f=398 TT=2520.1 T1=1336.91	SAT (TO) f=335 TT=2520.14 T1=2261.9	SAT (TO) f=242 TT=2520.05 T1=56.31	SAT (TO) f=363 TT=2520.14 T1=1795.3	SAT (TO) f=243 TT=19993.301 T1=1802.42	SAT (TO) f=244 TT=19970 T1=17244.811	SAT (TO) f=280 TT=2400.05 T1=2119	SAT (TO) f=363 TT=2400.35 T1=25.42	SAT (TO) f=363 TT=2400.34 T1=25.46	SAT (TO) f=352 TT=2400.12 T1=2177.47	No Cert. TT=2400.03	No Cert. TT=2400.11	SAT (TO) f=398 TT=2400.02 T1=1347.85	SAT (TO) f=334 TT=2400.05 T1=2261.19	SAT (TO) f=242 TT=2400.14 T1=55.65	SAT (TO) f=363 TT=2400.08 T1=942.41	? (TO) TT=2416.04	? TT=2456.73
StillLife/ StillLife-wst-s1/ StillLife-wastage-29.xml	SAT TO f=425 TT=2519.58 T1=2461.49	SAT (TO) f=314 TT=2520.08 T1=2494.58	SAT (TO) f=388 TT=20086.1 T1=1105.17	SAT (TO) f=388 TT=20023.6 T1=1159.59	SAT (TO) f=335 TT=2520.07 T1=14.73	SAT (TO) f=335 TT=2520.1 T1=14.71	SAT (TO) f=332 TT=2520.1 T1=355.52	SAT (TO) f=332 TT=2520.1 T1=360.57	SAT (TO) f=383 TT=2520.15 T1=1268.76	SAT (TO) f=65 TT=2520.06 T1=10.73	SAT (TO) f=52 TT=2519.82 T1=2503.78	SAT (TO) f=425 TT=2519.58 T1=2461.49	SAT (TO) f=271 TT=2520.12 T1=1193.74	SAT (TO) f=294 TT=2520.07 T1=2487.19	SAT (TO) f=337 TT=2520.04 T1=1597.08	SAT (TO) f=277 TT=19976.301 T1=1345.06	SAT (TO) f=277 TT=19966.1 T1=4406.84	SAT (TO) f=313 TT=2400.03 T1=1364.12	SAT (TO) f=387 TT=2400.44 T1=8.35	SAT (TO) f=388 TT=2400.71 T1=58.6	SAT (TO) f=383 TT=2400.15 T1=1446.65	No Cert. TT=2400.08	No Cert. TT=2400.03	SAT (TO) f=424 TT=2400.03 T1=2058.46	SAT (TO) f=366 TT=2400.13 T1=2150.01	SAT (TO) f=293 TT=2400.12 T1=350.29	SAT (TO) f=387 TT=2400.05 T1=1686.32	? (TO) TT=2415.86	? (TO) TT=2528.06
StillLife/ StillLife-wst-s1/ StillLife-wastage-32.xml	SAT TO f=516 TT=2519.78 T1=2428.82	SAT (TO) f=351 TT=2520.02 T1=1025.72	SAT (TO) f=479 TT=20063.1 T1=868.11	SAT (TO) f=479 TT=20012.199 T1=844.83	SAT (TO) f=405 TT=2520.03 T1=1295.82	SAT (TO) f=405 TT=2520.11 T1=1302.24	SAT (TO) f=403 TT=2520.05 T1=13.36	SAT (TO) f=403 TT=2520.06 T1=13.18	SAT (TO) f=464 TT=2520.16 T1=2040.67	SAT (TO) f=151 TT=2520.07 T1=145.23	SAT (TO) f=71 TT=2520.1 T1=245.98	SAT (TO) f=516 TT=2519.78 T1=2428.82	SAT (TO) f=374 TT=2520.14 T1=2045.59	SAT (TO) f=293 TT=2520.14 T1=71.88	SAT (TO) f=374 TT=2520.07 T1=1739.14	SAT (TO) f=351 TT=20017.1 T1=1759.44	SAT (TO) f=351 TT=20000.1 T1=15132.24	SAT (TO) f=351 TT=2400.05 T1=1008.8	SAT (TO) f=475 TT=2400.61 T1=142.71	SAT (TO) f=475 TT=2400.21 T1=142.52	SAT (TO) f=464 TT=2400.07 T1=2124.62	No Cert. TT=2400.1	No Cert. TT=2400.13	SAT (TO) f=515 TT=2400.1 T1=1783.06	SAT (TO) f=371 TT=2400.07 T1=2243.69	SAT (TO) f=293 TT=2400.07 T1=74.31	SAT (TO) f=469 TT=2400.08 T1=2090.49	? (TO) TT=2415.77	? (TO) TT=2528
StillLife/ StillLife-wst-s1/ StillLife-wastage-37.xml	SAT TO f=686 TT=2400.02 T1=2367.74	SAT (TO) f=438 TT=2520.03 T1=2137.09	SAT (TO) f=638 TT=19980 T1=786.03	SAT (TO) f=638 TT=19909.1 T1=754.62	SAT (TO) f=532 TT=2520.1 T1=117.12	SAT (TO) f=532 TT=2520.09 T1=115.62	SAT (TO) f=532 TT=2520.06 T1=263.14	SAT (TO) f=532 TT=2520.12 T1=260.97	SAT (TO) f=613 TT=2520.13 T1=2217.55	SAT (TO) f=139 TT=2519.71 T1=903.63	SAT (TO) f=106 TT=2520.1 T1=526.88	SAT (TO) f=686 TT=2519.88 T1=2367.74	SAT (TO) f=276 TT=2520.15 T1=2157.91	SAT (TO) f=478 TT=2520.1 T1=218.76	SAT (TO) f=495 TT=2520.05 T1=803.09	SAT (TO) f=393 TT=20016.6 T1=1886.37	SAT (TO) f=393 TT=20007.699 T1=14317.19	SAT (TO) f=438 TT=2404.68 T1=2252.17	SAT (TO) f=635 TT=2400.3 T1=238.3	SAT (TO) f=635 TT=2400.43 T1=238.46	SAT (TO) f=609 TT=2400.07 T1=434.8	No Cert. TT=2400.01	No Cert. TT=2400.18	SAT (TO) f=686 TT=2400.02 T1=2391.98	SAT (TO) f=318 TT=2400.11 T1=1074.13	SAT (TO) f=478 TT=2400.09 T1=226.29	SAT (TO) f=470 TT=2400.23 T1=54.03	? (TO) TT=2416.16	? TT=2316.91
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
StillLife/ StillLife-wst-s1/ StillLife-wastage-42.xml	SAT TO f=857 TT=2400.03 T1=2302.68	SAT (TO) f=380 TT=2520.04 T1=2357.52	SAT (TO) f=808 TT=19853 T1=563.52	SAT (TO) f=808 TT=19791.9 T1=566.84	SAT (TO) f=673 TT=2520.1 T1=1884.12	SAT (TO) f=673 TT=2520.08 T1=1843.01	SAT (TO) f=698 TT=2520.05 T1=1654.79	SAT (TO) f=698 TT=2520.02 T1=1629.4	SAT (TO) f=731 TT=2520.11 T1=2051.89	SAT (TO) f=310 TT=2520.09 T1=487.08	SAT (TO) f=232 TT=2520.58 T1=1568.29	SAT (TO) f=857 TT=2519.69 T1=2302.68	SAT (TO) f=403 TT=2520.16 T1=619.92	SAT (TO) f=519 TT=2520.09 T1=63.42	SAT (TO) f=523 TT=2520.09 T1=327.81	SAT (TO) f=595 TT=20010.9 T1=900.73	SAT (TO) f=595 TT=20021.5 T1=4438.36	SAT (TO) f=380 TT=2400.05 T1=2327.66	SAT (TO) f=807 TT=2400.42 T1=83.66	SAT (TO) f=807 TT=2400.33 T1=77.34	SAT (TO) f=731 TT=2400.17 T1=1967.07	No Cert. TT=2400.05	No Cert. TT=2400.49	SAT (TO) f=857 TT=2400.03 T1=2313.51	SAT (TO) f=403 TT=2400.1 T1=484.76	SAT (TO) f=519 TT=2400.17 T1=63.9	SAT (TO) f=691 TT=2400.09 T1=1414.05	? (TO) TT=2414.17	? (TO) TT=2528.32
StillLife/ StillLife-wst-s1/ StillLife-wastage-43.xml	SAT TO f=911 TT=2400.05 T1=2302.07	SAT (TO) f=449 TT=2520.03 T1=2431.66	SAT (TO) f=852 TT=19876.4 T1=2230.21	SAT (TO) f=852 TT=19821.6 T1=2087.36	SAT (TO) f=710 TT=2520.07 T1=772.87	SAT (TO) f=710 TT=2520.09 T1=756.21	SAT (TO) f=692 TT=2520.11 T1=120	SAT (TO) f=692 TT=2520.12 T1=122.32	SAT (TO) f=769 TT=2520.21 T1=2396.84	SAT (TO) f=238 TT=2520.05 T1=2176.61	SAT (TO) f=268 TT=2520.58 T1=2191.44	SAT (TO) f=911 TT=2519.64 T1=2302.07	SAT (TO) f=492 TT=2520.14 T1=631.76	SAT (TO) f=670 TT=2520.08 T1=922.22	SAT (TO) f=668 TT=2520.13 T1=132.24	SAT (TO) f=606 TT=20026.9 T1=2187.75	SAT (TO) f=606 TT=20015.9 T1=17103.939	SAT (TO) f=439 TT=2404.67 T1=2211.63	SAT (TO) f=846 TT=2400.42 T1=187.77	SAT (TO) f=846 TT=2400.27 T1=68.73	SAT (TO) f=767 TT=2400.13 T1=2162.54	No Cert. TT=2400.07	No Cert. TT=2400.57	SAT (TO) f=911 TT=2400.05 T1=2332.88	SAT (TO) f=489 TT=2400.4 T1=536.13	SAT (TO) f=670 TT=2400.11 T1=939.98	SAT (TO) f=843 TT=2400.06 T1=2196.02	? (TO) TT=2416.64	? (TO) TT=2528.26
StillLife/ StillLife-wst-s1/ StillLife-wastage-44.xml	SAT TO f=941 TT=2519.68 T1=2506.66	SAT (TO) f=458 TT=2520.07 T1=2416.39	SAT (TO) f=890 TT=19856 T1=688.92	SAT (TO) f=890 TT=19826.199 T1=665.61	SAT (TO) f=754 TT=2520.02 T1=858.81	SAT (TO) f=754 TT=2520.05 T1=849.52	SAT (TO) f=752 TT=2520.09 T1=113.06	SAT (TO) f=752 TT=2520.04 T1=113.63	SAT (TO) f=727 TT=2520.15 T1=2139.63	SAT (TO) f=143 TT=2519.8 T1=1924.01	Signal TT=43.603	SAT (TO) f=941 TT=2519.68 T1=2506.66	SAT (TO) f=468 TT=2520.15 T1=1430.41	SAT (TO) f=548 TT=2520.09 T1=276.35	SAT (TO) f=560 TT=2520.11 T1=422.09	SAT (TO) f=519 TT=20022.4 T1=363.99	SAT (TO) f=519 TT=20023.9 T1=3567.07	SAT (TO) f=437 TT=2400.09 T1=2335.01	SAT (TO) f=887 TT=2400.11 T1=111.23	SAT (TO) f=887 TT=2400.23 T1=145.79	SAT (TO) f=727 TT=2400.09 T1=2059.24	No Cert. TT=2400.01	Signal TT=50.802	SAT (TO) f=940 TT=2400.03 T1=2305.7	SAT (TO) f=463 TT=2400.06 T1=376.26	SAT (TO) f=548 TT=2400.13 T1=272.1	SAT (TO) f=565 TT=2400.12 T1=825.26	? (TO) TT=2415.91	? TT=2375.39
StillLife/ StillLife-wst-s1/ StillLife-wastage-50.xml	SAT TO f=1196 TT=2400.09 T1=2311.5	SAT (TO) f=333 TT=2524.36 T1=2175.92	SAT (TO) f=1137 TT=19858.4 T1=49.38	SAT (TO) f=1137 TT=19885.5 T1=47.53	? (TO) TT=2520.1	SAT (TO) f=959 TT=2520.13 T1=2504.83	SAT (TO) f=998 TT=2520.06 T1=450.97	SAT (TO) f=998 TT=2520.11 T1=435.59	SAT (TO) f=886 TT=2520.11 T1=2382.46	SAT (TO) f=391 TT=2519.73 T1=1114.29	? (MO) TT=32.173	SAT (TO) f=1196 TT=2519.8 T1=2311.5	SAT (TO) f=658 TT=2520.09 T1=1634	SAT (TO) f=700 TT=2520.14 T1=1703.71	SAT (TO) f=747 TT=2520.1 T1=710.01	SAT (TO) f=669 TT=20000.1 T1=1724.72	SAT (TO) f=670 TT=20013.4 T1=18043.98	SAT (TO) f=333 TT=2400.12 T1=2314.65	SAT (TO) f=1137 TT=2400.32 T1=68.6	SAT (TO) f=1137 TT=2400.36 T1=66.37	SAT (TO) f=885 TT=2400.1 T1=2073.08	No Cert. TT=2400.07	? (MO) TT=32.792	SAT (TO) f=1196 TT=2400.09 T1=2320.42	SAT (TO) f=667 TT=2400.07 T1=2282.45	SAT (TO) f=700 TT=2400.08 T1=1742.83	SAT (TO) f=751 TT=2400.06 T1=632.45	? (TO) TT=2415.99	? (TO) TT=2527.66
TravellingSalesman/ TravellingSalesman-m1-n100/ TravellingSalesman-100-50-00.xml	SAT TO f=398 TT=2520.06 T1=2167.35	SAT (TO) f=479 TT=2520.07 T1=3.36	SAT (TO) f=466 TT=19966 T1=11.79	SAT (TO) f=466 TT=19971.699 T1=11.64	SAT (TO) f=458 TT=2520.04 T1=1141.83	SAT (TO) f=458 TT=2520.06 T1=1121.5	SAT (TO) f=488 TT=2520.08 T1=617.12	SAT (TO) f=488 TT=2520.02 T1=609.46	SAT (TO) f=586 TT=2520.4 T1=1828.56	SAT (TO) f=451 TT=2519.72 T1=2520	SAT (TO) f=449 TT=2519.75 T1=2520	SAT (TO) f=445 TT=2519.75 T1=2093.07	SAT (TO) f=398 TT=2520.06 T1=2167.35	SAT (TO) f=3557 TT=2520.09 T1=980.54	SAT (TO) f=406 TT=2520.06 T1=1747.78	SAT (TO) f=3535 TT=19987.199 T1=2434.87	SAT (TO) f=3540 TT=19982.4 T1=17598.199	SAT (TO) f=479 TT=2400.03 T1=3.32	SAT (TO) f=466 TT=2400.08 T1=12.75	SAT (TO) f=466 TT=2400.62 T1=12.63	SAT (TO) f=595 TT=2400.15 T1=1132.52	? (TO) TT=2400.08	? (TO) TT=2400.05	SAT (TO) f=445 TT=2400.1 T1=2101.32	SAT (TO) f=413 TT=2400.13 T1=1873.87	SAT (TO) f=3557 TT=2400.08 T1=918.88	SAT (TO) f=406 TT=2400.07 T1=1517.46	? TT=983.53	? TT=512.288
TravellingSalesman/ TravellingSalesman-m1-n100/ TravellingSalesman-100-50-05.xml	SAT TO f=406 TT=2400.03 T1=2006.04	SAT (TO) f=571 TT=2520.03 T1=2436.45	SAT (TO) f=457 TT=19977.1 T1=12.41	SAT (TO) f=457 TT=19978.199 T1=12.17	SAT (TO) f=463 TT=2520.08 T1=1107.09	SAT (TO) f=463 TT=2520.06 T1=1136.7	SAT (TO) f=469 TT=2520.03 T1=9.32	SAT (TO) f=469 TT=2520.12 T1=9.53	SAT (TO) f=694 TT=2520.15 T1=1928.03	SAT (TO) f=424 TT=2520.08 T1=2519.9	SAT (TO) f=430 TT=2520.03 T1=2519.9	SAT (TO) f=460 TT=2519.96 T1=487.17	SAT (TO) f=428 TT=2520.03 T1=2349.21	SAT (TO) f=3655 TT=2520.1 T1=1946.67	SAT (TO) f=434 TT=2520.07 T1=1482.16	SAT (TO) f=3632 TT=19985.6 T1=2248.7	SAT (TO) f=3633 TT=19994.6 T1=17693.801	SAT (TO) f=571 TT=2400.05 T1=2307.46	SAT (TO) f=457 TT=2400.67 T1=12.97	SAT (TO) f=457 TT=2400.06 T1=12.66	SAT (TO) f=778 TT=2400.86 T1=1021.16	? (TO) TT=2400.02	? (TO) TT=2400.02	SAT (TO) f=460 TT=2400.04 T1=493.65	SAT (TO) f=406 TT=2400.03 T1=2006.04	SAT (TO) f=3655 TT=2400.07 T1=1949.53	SAT (TO) f=427 TT=2400.07 T1=1575.17	? TT=1169.87	? TT=443.642
TravellingSalesman/ TravellingSalesman-m1-n100/ TravellingSalesman-100-50-08.xml	SAT TO f=410 TT=2400.06 T1=1719.28	SAT (TO) f=607 TT=2520.07 T1=2166.07	SAT (TO) f=457 TT=19953.5 T1=12.1	SAT (TO) f=457 TT=19965.6 T1=12.59	SAT (TO) f=513 TT=2520.02 T1=1396.24	SAT (TO) f=513 TT=2520.12 T1=1375.81	SAT (TO) f=505 TT=2520.11 T1=40.13	SAT (TO) f=505 TT=2520.07 T1=40.03	SAT (TO) f=592 TT=2520.12 T1=1879.6	SAT (TO) f=443 TT=2520.05 T1=2519.9	SAT (TO) f=443 TT=2520.01 T1=2520	SAT (TO) f=536 TT=2519.74 T1=2366.95	SAT (TO) f=459 TT=2520.11 T1=2016.1	SAT (TO) f=3639 TT=2520.07 T1=2365.83	SAT (TO) f=472 TT=2520.12 T1=2035.61	SAT (TO) f=3609 TT=19970.4 T1=2276.07	SAT (TO) f=3603 TT=19979.1 T1=16551.461	SAT (TO) f=607 TT=2400.58 T1=2062.92	SAT (TO) f=457 TT=2400.12 T1=12.88	SAT (TO) f=457 TT=2400.33 T1=12.78	SAT (TO) f=748 TT=2401.02 T1=916.58	? (TO) TT=2400.05	? (TO) TT=2400.05	SAT (TO) f=545 TT=2400.1 T1=2381.95	SAT (TO) f=410 TT=2400.06 T1=1719.28	SAT (TO) f=3644 TT=2400.12 T1=2357.07	SAT (TO) f=418 TT=2400.06 T1=1820.74	? TT=1153.79	? TT=416.195
TravellingSalesman/ TravellingSalesman-m1-n150/ TravellingSalesman-150-50-14.xml	SAT TO f=531 TT=2400.12 T1=2215.23	SAT (TO) f=614 TT=2520.09 T1=3.2	SAT (TO) f=562 TT=19776.801 T1=47.4	SAT (TO) f=562 TT=19761.9 T1=48.47	SAT (TO) f=655 TT=2520.05 T1=11.41	SAT (TO) f=655 TT=2520.07 T1=11.53	SAT (TO) f=655 TT=2520.12 T1=11.66	SAT (TO) f=655 TT=2520.11 T1=11.74	? (TO) TT=2528.18	SAT (TO) f=551 TT=2519.92 T1=2520	SAT (TO) f=555 TT=2519.94 T1=2520	SAT (TO) f=689 TT=2520.01 T1=2305.39	SAT (TO) f=532 TT=2520.12 T1=2318.34	SAT (TO) f=5389 TT=2520.07 T1=1824.53	SAT (TO) f=543 TT=2520.14 T1=1563.23	SAT (TO) f=5380 TT=20038.301 T1=1492.93	SAT (TO) f=5376 TT=20034.4 T1=13958.71	SAT (TO) f=614 TT=2400.05 T1=3.21	SAT (TO) f=562 TT=2400.25 T1=50.04	SAT (TO) f=562 TT=2400.78 T1=49.48	SAT (TO) f=3494 TT=2401.36 T1=470.22	? (TO) TT=2400.08	? (TO) TT=2400.05	SAT (TO) f=689 TT=2400.06 T1=2335.85	SAT (TO) f=531 TT=2400.12 T1=2215.23	SAT (TO) f=5389 TT=2400.05 T1=1739.4	SAT (TO) f=549 TT=2400.12 T1=2261.74	? (TO) TT=2411.22	? (TO) TT=2528.2
TravellingSalesman/ TravellingSalesman-m1-n150/ TravellingSalesman-150-50-15.xml	SAT TO f=524 TT=2520.12 T1=2457.23	SAT (TO) f=597 TT=2520.1 T1=2.91	SAT (TO) f=573 TT=19758 T1=50.55	SAT (TO) f=573 TT=19765.199 T1=51.17	SAT (TO) f=692 TT=2520.07 T1=11.4	SAT (TO) f=692 TT=2520.11 T1=11.34	SAT (TO) f=678 TT=2520.09 T1=12.02	SAT (TO) f=678 TT=2520.04 T1=12.15	? (TO) TT=2528.13	SAT (TO) f=585 TT=2519.92 T1=2520	SAT (TO) f=586 TT=2520.01 T1=2520	SAT (TO) f=574 TT=2519.62 T1=1740.55	SAT (TO) f=524 TT=2520.12 T1=2457.23	SAT (TO) f=5620 TT=2520.04 T1=1496.42	SAT (TO) f=539 TT=2520.08 T1=1912.15	SAT (TO) f=5603 TT=20042.199 T1=2494.19	SAT (TO) f=5584 TT=20046.5 T1=18704.039	SAT (TO) f=597 TT=2400.08 T1=2.99	SAT (TO) f=573 TT=2400.56 T1=51.01	SAT (TO) f=573 TT=2400.48 T1=50.08	SAT (TO) f=3595 TT=2400.13 T1=459.58	? (TO) TT=2400.07	? (TO) TT=2400.07	SAT (TO) f=574 TT=2400.05 T1=1756.68	SAT (TO) f=535 TT=2400.11 T1=1989.41	SAT (TO) f=5620 TT=2400.07 T1=1511.87	SAT (TO) f=554 TT=2400.11 T1=1819.74	? (TO) TT=2416.16	? (TO) TT=2527.98
TravellingSalesman/ TravellingSalesman-m1-n15/ TravellingSalesman-15-30-13.xml	OPT f=104 TT=461.744 T1=2.64	OPT f=104 TT=461.744 T1=6.78	OPT f=104 TT=6606.34 T1=2.69	OPT f=104 TT=6724.7 T1=2.64	SAT (TO) f=104 TT=2520.12 T1=2.77	SAT (TO) f=104 TT=2520.13 T1=2.9	SAT (TO) f=104 TT=2520.03 T1=57.37	SAT (TO) f=104 TT=2520.04 T1=57.47	SAT (TO) f=104 TT=2520.05 T1=4.44	SAT (TO) f=104 TT=2519.81 T1=2520	SAT (TO) f=104 TT=2519.88 T1=2520	SAT (TO) f=104 TT=2520.04 T1=0.14	SAT (TO) f=104 TT=2520.1 T1=2.46	OPT f=104 TT=1946.82 T1=150.2	SAT (TO) f=104 TT=2520.08 T1=149.61	OPT f=104 TT=1134.66 T1=20.44	OPT f=104 TT=1342.77 T1=205.33	OPT f=104 TT=473.138 T1=6.65	SAT (TO) f=104 TT=2400.51 T1=7.01	SAT (TO) f=104 TT=2400.05 T1=5.99	SAT (TO) f=104 TT=2400.07 T1=4.59	? (TO) TT=2400.05	? (TO) TT=2400.11	SAT (TO) f=104 TT=2400.01 T1=0.09	SAT (TO) f=104 TT=2400.08 T1=2.77	OPT f=104 TT=2045.1 T1=156.63	SAT (TO) f=104 TT=2400.11 T1=153.35	SAT (TO) f=140 TT=2400.09 T1=379.21	SAT (TO) f=135 TT=2520.12 T1=2441.76
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
TravellingSalesman/ TravellingSalesman-m1-n20/ TravellingSalesman-20-30-02.xml	SAT TO f=119 TT=2400.03 T1=0.36	SAT (TO) f=119 TT=2520.04 T1=390.61	SAT (TO) f=119 TT=20097.9 T1=15.51	SAT (TO) f=119 TT=20087.9 T1=47.14	SAT (TO) f=119 TT=2520.09 T1=367.62	SAT (TO) f=119 TT=2520.05 T1=343.52	SAT (TO) f=119 TT=2520.06 T1=185	SAT (TO) f=119 TT=2520.11 T1=181.28	SAT (TO) f=119 TT=2520.17 T1=5.12	SAT (TO) f=119 TT=2520.02 T1=2519.8	SAT (TO) f=119 TT=2520.01 T1=2519.9	SAT (TO) f=119 TT=2520.09 T1=0.42	SAT (TO) f=119 TT=2520.02 T1=5.54	SAT (TO) f=163 TT=2520.06 T1=2244.03	SAT (TO) f=119 TT=2520.05 T1=55.42	SAT (TO) f=132 TT=19838.4 T1=2089.43	SAT (TO) f=119 TT=19854.1 T1=17642.91	SAT (TO) f=119 TT=2400.03 T1=382.82	SAT (TO) f=119 TT=2400.36 T1=29.62	SAT (TO) f=119 TT=2400.62 T1=211.17	SAT (TO) f=119 TT=2400.08 T1=5.29	? (TO) TT=2400.07	? (TO) TT=2400.07	SAT (TO) f=119 TT=2400.1 T1=0.36	SAT (TO) f=119 TT=2400.03 T1=3.82	SAT (TO) f=163 TT=2400.12 T1=2249.93	SAT (TO) f=119 TT=2400.05 T1=75.85	SAT (TO) f=245 TT=2400.32 T1=1808.96	SAT (TO) f=245 TT=2520.37 T1=1618.5
TravellingSalesman/ TravellingSalesman-m1-n20/ TravellingSalesman-20-30-09.xml	SAT TO f=120 TT=2400.04 T1=1.81	SAT (TO) f=121 TT=2520.06 T1=260.96	SAT (TO) f=120 TT=20088.5 T1=50.12	SAT (TO) f=120 TT=20074.4 T1=86.68	SAT (TO) f=121 TT=2520.1 T1=2254.77	SAT (TO) f=121 TT=2520.03 T1=2245.99	SAT (TO) f=121 TT=2520.08 T1=842.78	SAT (TO) f=121 TT=2520.12 T1=840.62	SAT (TO) f=120 TT=2520.07 T1=54.57	SAT (TO) f=123 TT=2520.08 T1=2519.9	SAT (TO) f=126 TT=2520.04 T1=2519.7	SAT (TO) f=120 TT=2519.99 T1=1.84	SAT (TO) f=120 TT=2520.04 T1=9.73	SAT (TO) f=173 TT=2520.07 T1=1314.34	SAT (TO) f=120 TT=2520.05 T1=192.31	SAT (TO) f=120 TT=19858.4 T1=2222.33	SAT (TO) f=120 TT=19768.1 T1=11873.27	SAT (TO) f=121 TT=2400.05 T1=266.34	SAT (TO) f=124 TT=2400.36 T1=262.28	SAT (TO) f=127 TT=2400.06 T1=297.2	SAT (TO) f=120 TT=2400.06 T1=55.08	? (TO) TT=2400.01	? (TO) TT=2400.05	SAT (TO) f=120 TT=2400.1 T1=1.81	SAT (TO) f=120 TT=2400.04 T1=147.98	SAT (TO) f=173 TT=2400.05 T1=1371.04	SAT (TO) f=120 TT=2400.1 T1=73.33	SAT (TO) f=201 TT=2400.18 T1=1528.8	SAT (TO) f=201 TT=2520.23 T1=1717.96
TravellingSalesman/ TravellingSalesman-m1-n20/ TravellingSalesman-20-30-18.xml	SAT TO f=104 TT=2400.03 T1=35.01	SAT (TO) f=105 TT=2520.04 T1=114.06	SAT (TO) f=104 TT=20079.6 T1=1220.03	SAT (TO) f=104 TT=20072.4 T1=1084.46	SAT (TO) f=106 TT=2520.02 T1=12.66	SAT (TO) f=106 TT=2520.11 T1=12.82	SAT (TO) f=106 TT=2520.1 T1=30.01	SAT (TO) f=106 TT=2520.06 T1=29.83	SAT (TO) f=104 TT=2520.05 T1=35.01	SAT (TO) f=106 TT=2520.01 T1=2519.9	SAT (TO) f=105 TT=2519.93 T1=2520	SAT (TO) f=105 TT=2519.99 T1=0.2	SAT (TO) f=105 TT=2520.07 T1=99.92	SAT (TO) f=179 TT=2520.03 T1=1200.49	SAT (TO) f=104 TT=2520.09 T1=79.94	SAT (TO) f=143 TT=19850.5 T1=1579.58	SAT (TO) f=142 TT=19855.6 T1=19166.27	SAT (TO) f=105 TT=2400.09 T1=115.85	SAT (TO) f=106 TT=2400.56 T1=1.05	SAT (TO) f=106 TT=2400.27 T1=1	SAT (TO) f=104 TT=2400.12 T1=35.59	? (TO) TT=2400.04	? (TO) TT=2400.05	SAT (TO) f=105 TT=2400.08 T1=0.18	SAT (TO) f=104 TT=2400.09 T1=950.77	SAT (TO) f=179 TT=2400.07 T1=1232.62	SAT (TO) f=104 TT=2400.03 T1=101.84	SAT (TO) f=176 TT=2400.29 T1=1401.54	SAT (TO) f=176 TT=2520.18 T1=1646.74
TravellingSalesman/ TravellingSalesman-m1-n30/ TravellingSalesman-30-30-18.xml	SAT TO f=126 TT=2400.11 T1=623.54	SAT (TO) f=136 TT=2520.09 T1=2414.48	SAT (TO) f=139 TT=20064.6 T1=310.06	SAT (TO) f=135 TT=20048.6 T1=311.75	SAT (TO) f=137 TT=2520.09 T1=2057.17	SAT (TO) f=137 TT=2520.07 T1=2061.28	SAT (TO) f=139 TT=2520.02 T1=214.57	SAT (TO) f=139 TT=2520.04 T1=217.23	SAT (TO) f=127 TT=2520.1 T1=2005.5	SAT (TO) f=137 TT=2520.05 T1=2519.9	SAT (TO) f=140 TT=2519.83 T1=2520	SAT (TO) f=128 TT=2519.99 T1=2	SAT (TO) f=129 TT=2520.03 T1=470.02	SAT (TO) f=430 TT=2520.03 T1=2147.19	SAT (TO) f=126 TT=2520.08 T1=756.34	SAT (TO) f=410 TT=19862.301 T1=2468.55	SAT (TO) f=417 TT=19848.5 T1=16673.57	SAT (TO) f=137 TT=2400.07 T1=478.85	SAT (TO) f=142 TT=2400.59 T1=26.56	SAT (TO) f=139 TT=2400.44 T1=203.31	SAT (TO) f=127 TT=2400.18 T1=2138.81	? (TO) TT=2400.05	? (TO) TT=2400.05	SAT (TO) f=128 TT=2400.02 T1=2	SAT (TO) f=126 TT=2400.11 T1=623.54	SAT (TO) f=430 TT=2400.12 T1=2213.78	SAT (TO) f=129 TT=2400.02 T1=501.55	SAT (TO) f=326 TT=2400.16 T1=1245.07	SAT (TO) f=322 TT=2520.15 T1=2450.43
TravellingSalesman/ TravellingSalesman-m1-n40/ TravellingSalesman-40-30-19.xml	SAT TO f=146 TT=2400.03 T1=478.32	SAT (TO) f=174 TT=2520.09 T1=1851.7	SAT (TO) f=172 TT=20064.301 T1=639.76	SAT (TO) f=172 TT=20046.199 T1=626.54	SAT (TO) f=172 TT=2520.1 T1=364.25	SAT (TO) f=172 TT=2520.1 T1=365.25	SAT (TO) f=168 TT=2520.09 T1=22.87	SAT (TO) f=168 TT=2520.11 T1=21.55	SAT (TO) f=173 TT=2520.15 T1=203.44	SAT (TO) f=155 TT=2520.04 T1=2520	SAT (TO) f=171 TT=2519.58 T1=2520	SAT (TO) f=146 TT=2519.82 T1=2473.06	SAT (TO) f=149 TT=2520.04 T1=243.03	SAT (TO) f=675 TT=2520.11 T1=2176.83	SAT (TO) f=146 TT=2520.02 T1=797.52	SAT (TO) f=658 TT=19843.699 T1=2318.95	SAT (TO) f=655 TT=19851.4 T1=7775.42	SAT (TO) f=174 TT=2400.05 T1=2092.26	SAT (TO) f=180 TT=2400.32 T1=32.83	SAT (TO) f=181 TT=2400.61 T1=1.53	SAT (TO) f=173 TT=2400.13 T1=224.47	? (TO) TT=2400.03	? (TO) TT=2400.01	SAT (TO) f=160 TT=2400.06 T1=814.09	SAT (TO) f=146 TT=2400.08 T1=478.32	SAT (TO) f=675 TT=2400.1 T1=2251.78	SAT (TO) f=146 TT=2400.03 T1=499.5	SAT (TO) f=525 TT=2400.38 T1=20.65	SAT (TO) f=525 TT=2520.4 T1=20.42
TravellingSalesman/ TravellingSalesman-m1-n45/ TravellingSalesman-45-30-04.xml	SAT TO f=163 TT=2520.11 T1=675.6	SAT (TO) f=211 TT=2520.09 T1=1853.46	SAT (TO) f=180 TT=20064.1 T1=967.77	SAT (TO) f=180 TT=20060.699 T1=990.92	SAT (TO) f=182 TT=2520.11 T1=1792.81	SAT (TO) f=182 TT=2520.07 T1=1817.7	SAT (TO) f=181 TT=2520.05 T1=2353.65	SAT (TO) f=181 TT=2520.04 T1=2331.26	SAT (TO) f=176 TT=2520.08 T1=408.37	SAT (TO) f=171 TT=2520.01 T1=2520	SAT (TO) f=171 TT=2519.97 T1=2520	SAT (TO) f=168 TT=2519.69 T1=1960.89	SAT (TO) f=174 TT=2520.09 T1=1562.92	SAT (TO) f=774 TT=2520.03 T1=1643	SAT (TO) f=163 TT=2520.11 T1=675.6	SAT (TO) f=747 TT=19859.301 T1=2502.91	SAT (TO) f=746 TT=19845.1 T1=15909.96	SAT (TO) f=211 TT=2400.03 T1=2056.12	SAT (TO) f=185 TT=2400.25 T1=111.51	SAT (TO) f=185 TT=2400.66 T1=111.09	SAT (TO) f=176 TT=2400.17 T1=417.82	? (TO) TT=2400.02	? (TO) TT=2400.09	SAT (TO) f=168 TT=2400.07 T1=1980.07	SAT (TO) f=172 TT=2400.04 T1=1823.9	SAT (TO) f=774 TT=2400.12 T1=1692.71	SAT (TO) f=164 TT=2400.05 T1=1639.14	SAT (TO) f=644 TT=2400.36 T1=29.67	SAT (TO) f=644 TT=2520.39 T1=29.25
TravellingSalesman/ TravellingSalesman-m1-n45/ TravellingSalesman-45-30-09.xml	SAT TO f=159 TT=2400.04 T1=60.77	SAT (TO) f=180 TT=2520.08 T1=1441.77	SAT (TO) f=193 TT=20070.301 T1=1317.55	SAT (TO) f=193 TT=20063.5 T1=1293.22	SAT (TO) f=191 TT=2520.11 T1=1732.78	SAT (TO) f=191 TT=2520.1 T1=1737.76	SAT (TO) f=196 TT=2520.09 T1=1009.75	SAT (TO) f=196 TT=2520.04 T1=1001.7	SAT (TO) f=185 TT=2520.12 T1=42.66	SAT (TO) f=185 TT=2519.8 T1=2520	SAT (TO) f=186 TT=2519.83 T1=2520	SAT (TO) f=159 TT=2519.96 T1=151.25	SAT (TO) f=159 TT=2520.11 T1=60.77	SAT (TO) f=879 TT=2520.09 T1=2412.82	SAT (TO) f=162 TT=2520.12 T1=1311.83	SAT (TO) f=842 TT=19851 T1=2354.98	SAT (TO) f=842 TT=19759.199 T1=17794.529	SAT (TO) f=180 TT=2400.04 T1=1449.17	SAT (TO) f=196 TT=2400.37 T1=1.62	SAT (TO) f=196 TT=2400.15 T1=1.6	SAT (TO) f=185 TT=2400.16 T1=47.19	? (TO) TT=2400.02	? (TO) TT=2400.03	SAT (TO) f=159 TT=2400.07 T1=152.57	SAT (TO) f=159 TT=2400.04 T1=1985.16	SAT (TO) f=880 TT=2400.1 T1=2136.55	SAT (TO) f=161 TT=2400.04 T1=1390.53	SAT (TO) f=595 TT=2400.25 T1=781.54	SAT (TO) f=595 TT=2520.3 T1=793.86
TravellingSalesman/ TravellingSalesman-m1-n50/ TravellingSalesman-50-30-01.xml	SAT TO f=176 TT=2520.11 T1=2393.76	SAT (TO) f=218 TT=2520.08 T1=775.47	SAT (TO) f=204 TT=20073.801 T1=402.66	SAT (TO) f=204 TT=20066.4 T1=384.6	SAT (TO) f=204 TT=2520.09 T1=235.31	SAT (TO) f=204 TT=2520.04 T1=238.86	SAT (TO) f=204 TT=2520.05 T1=299.12	SAT (TO) f=204 TT=2520.05 T1=298.5	SAT (TO) f=222 TT=2520.13 T1=80.77	SAT (TO) f=203 TT=2519.93 T1=2520	SAT (TO) f=201 TT=2520.04 T1=2519.8	SAT (TO) f=187 TT=2519.87 T1=12.97	SAT (TO) f=176 TT=2520.11 T1=2393.76	SAT (TO) f=945 TT=2520.11 T1=2169	SAT (TO) f=180 TT=2520.05 T1=1244.19	SAT (TO) f=893 TT=19877.301 T1=1134.66	SAT (TO) f=893 TT=19855 T1=15414.23	SAT (TO) f=218 TT=2400.03 T1=719.78	SAT (TO) f=208 TT=2400.68 T1=113.68	SAT (TO) f=208 TT=2400.21 T1=107.53	SAT (TO) f=222 TT=2400.1 T1=75.31	? (TO) TT=2400.03	? (TO) TT=2400.04	SAT (TO) f=187 TT=2400.04 T1=13.11	SAT (TO) f=193 TT=2400.13 T1=1422.65	SAT (TO) f=945 TT=2400.06 T1=2190.15	SAT (TO) f=178 TT=2400.09 T1=938.58	SAT (TO) f=756 TT=2400.33 T1=42.89	? (TO) TT=2520.36
TravellingSalesman/ TravellingSalesman-m1-n50/ TravellingSalesman-50-30-05.xml	SAT TO f=175 TT=2400.05 T1=377.35	SAT (TO) f=216 TT=2520.1 T1=308.54	SAT (TO) f=208 TT=20078.301 T1=2517.06	SAT (TO) f=210 TT=20056.301 T1=573.45	SAT (TO) f=208 TT=2520.06 T1=423.87	SAT (TO) f=208 TT=2520.08 T1=419.36	SAT (TO) f=210 TT=2520.12 T1=2148.45	SAT (TO) f=210 TT=2520.03 T1=2172.23	SAT (TO) f=206 TT=2520.06 T1=227.33	SAT (TO) f=185 TT=2519.68 T1=2520	SAT (TO) f=185 TT=2519.8 T1=2520	SAT (TO) f=206 TT=2519.78 T1=120.3	SAT (TO) f=180 TT=2520.07 T1=1246.32	SAT (TO) f=899 TT=2520.04 T1=1448.82	SAT (TO) f=175 TT=2520.07 T1=426.3	SAT (TO) f=881 TT=19867.801 T1=2519.63	SAT (TO) f=868 TT=19771.699 T1=18203.59	SAT (TO) f=216 TT=2400.08 T1=323.26	SAT (TO) f=212 TT=2400.5 T1=2.13	SAT (TO) f=212 TT=2400.78 T1=2.07	SAT (TO) f=206 TT=2400.14 T1=216.36	? (TO) TT=2400.08	? (TO) TT=2400.01	SAT (TO) f=206 TT=2400.08 T1=119.65	SAT (TO) f=175 TT=2400.05 T1=1055.52	SAT (TO) f=899 TT=2400.03 T1=1492.58	SAT (TO) f=175 TT=2400.07 T1=377.35	? (TO) TT=2400.2	? (TO) TT=2520.13
TravellingSalesman/ TravellingSalesman-m1-n75/ TravellingSalesman-75-50-02.xml	SAT TO f=336 TT=2400.06 T1=2314.84	SAT (TO) f=461 TT=2520.07 T1=9.56	SAT (TO) f=376 TT=19995 T1=4.72	SAT (TO) f=376 TT=19988 T1=4.95	SAT (TO) f=433 TT=2520.06 T1=5.37	SAT (TO) f=433 TT=2520.06 T1=5.52	SAT (TO) f=428 TT=2520.09 T1=519.42	SAT (TO) f=428 TT=2520.07 T1=531.48	SAT (TO) f=544 TT=2520.08 T1=326.16	SAT (TO) f=401 TT=2519.84 T1=2520	SAT (TO) f=402 TT=2520.06 T1=2519.9	SAT (TO) f=391 TT=2519.97 T1=2293.52	SAT (TO) f=342 TT=2520.04 T1=2372.62	SAT (TO) f=2433 TT=2520.06 T1=2008.47	SAT (TO) f=355 TT=2520.05 T1=1739.4	SAT (TO) f=2379 TT=19954.4 T1=1903.55	SAT (TO) f=2381 TT=19932.5 T1=18561.49	SAT (TO) f=461 TT=2400.1 T1=9.74	SAT (TO) f=376 TT=2400.64 T1=5.34	SAT (TO) f=376 TT=2400.04 T1=5.31	SAT (TO) f=544 TT=2400.21 T1=271.02	? (TO) TT=2400.02	? (TO) TT=2400.03	SAT (TO) f=391 TT=2400.03 T1=2317.46	SAT (TO) f=336 TT=2400.06 T1=2314.84	SAT (TO) f=2433 TT=2400.17 T1=1996.65	SAT (TO) f=339 TT=2400.02 T1=1714.16	? (TO) TT=2400.09	? TT=2481.78
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
TravellingSalesman/ TravellingSalesman-m1-n75/ TravellingSalesman-75-50-15.xml	SAT TO f=341 TT=2400.12 T1=443.26	SAT (TO) f=482 TT=2520.09 T1=2358.21	SAT (TO) f=400 TT=20001.4 T1=5.08	SAT (TO) f=400 TT=19995.5 T1=5.44	SAT (TO) f=420 TT=2520.08 T1=2189.44	SAT (TO) f=420 TT=2520.04 T1=2173.73	SAT (TO) f=437 TT=2520.05 T1=23.14	SAT (TO) f=437 TT=2520.09 T1=22.97	SAT (TO) f=394 TT=2520.32 T1=1832.76	SAT (TO) f=375 TT=2520.03 T1=2519.9	SAT (TO) f=375 TT=2519.87 T1=2520	SAT (TO) f=389 TT=2519.97 T1=1478.37	SAT (TO) f=349 TT=2520.08 T1=2311.47	SAT (TO) f=2581 TT=2520.03 T1=1854.36	SAT (TO) f=348 TT=2520.11 T1=1625.62	SAT (TO) f=2563 TT=19931.6 T1=2331.93	SAT (TO) f=2562 TT=19931.1 T1=19372.891	SAT (TO) f=484 TT=2400.11 T1=2054.52	SAT (TO) f=400 TT=2400.2 T1=5.63	SAT (TO) f=400 TT=2400.43 T1=5.48	SAT (TO) f=407 TT=2400.16 T1=1824.98	? (TO) TT=2400.05	? (TO) TT=2400.01	SAT (TO) f=389 TT=2400.03 T1=1503.73	SAT (TO) f=341 TT=2400.12 T1=443.26	SAT (TO) f=2581 TT=2400.1 T1=1852.91	SAT (TO) f=373 TT=2400.13 T1=1697.72	? (TO) TT=2415.47	? (TO) TT=2520.25
Vrp/Vrp-zinc-s1/ Vrp-A-n33-k5.xml	SAT TO f=661 TT=2400.07 T1=416.95	SAT (TO) f=1414 TT=2520.07 T1=689.9	SAT (TO) f=708 TT=20029.1 T1=2125.43	SAT (TO) f=684 TT=19965.5 T1=1435.22	SAT (TO) f=1329 TT=2520.13 T1=278.31	SAT (TO) f=1329 TT=2520.11 T1=275.51	SAT (TO) f=1409 TT=2520.03 T1=1615.19	SAT (TO) f=1409 TT=2520.03 T1=1711.38	SAT (TO) f=709 TT=2520.04 T1=1873.95	SAT (TO) f=1814 TT=2519.84 T1=2520	SAT (TO) f=1597 TT=2520.03 T1=2519.9	SAT (TO) f=661 TT=2520.04 T1=424.42	SAT (TO) f=1159 TT=2520.14 T1=2099.51	SAT (TO) f=1604 TT=2520.07 T1=394.2	SAT (TO) f=1191 TT=2520.13 T1=1661.72	SAT (TO) f=1285 TT=19953.199 T1=2043.95	SAT (TO) f=1295 TT=19922.9 T1=9861.36	SAT (TO) f=1414 TT=2400.02 T1=686.39	SAT (TO) f=1235 TT=2400.08 T1=252.49	SAT (TO) f=1138 TT=2400.49 T1=273.65	SAT (TO) f=709 TT=2400.06 T1=1906.76	No Cert. TT=2400.09	No Cert. TT=2400.06	SAT (TO) f=661 TT=2400.07 T1=416.95	SAT (TO) f=1360 TT=2400.13 T1=1538.96	SAT (TO) f=1604 TT=2400.14 T1=403.27	SAT (TO) f=1213 TT=2400.09 T1=1307.34	SAT (TO) f=1600 TT=2401.58 T1=16.33	SAT (TO) f=1600 TT=2520.22 T1=15.25
Vrp/Vrp-zinc-s1/ Vrp-A-n33-k6.xml	SAT TO f=743 TT=2400.03 T1=202.16	SAT (TO) f=1372 TT=2520.02 T1=192.4	SAT (TO) f=788 TT=19980.699 T1=2142.14	SAT (TO) f=803 TT=19999.5 T1=2263.96	SAT (TO) f=1202 TT=2520.06 T1=215.99	SAT (TO) f=1202 TT=2520.11 T1=208.72	SAT (TO) f=1397 TT=2520.06 T1=1185.22	SAT (TO) f=1397 TT=2520.03 T1=1230.23	SAT (TO) f=784 TT=2520.06 T1=1551.36	SAT (TO) f=1670 TT=2520.08 T1=2519.9	SAT (TO) f=1625 TT=2519.97 T1=2520	SAT (TO) f=743 TT=2519.94 T1=202.16	SAT (TO) f=1240 TT=2520.06 T1=2346.61	SAT (TO) f=1261 TT=2520.1 T1=1420.71	SAT (TO) f=839 TT=2520.12 T1=1566.17	SAT (TO) f=1283 TT=19957.9 T1=2310.45	SAT (TO) f=1283 TT=19967.699 T1=17869.35	SAT (TO) f=1372 TT=2400.04 T1=196.04	SAT (TO) f=1221 TT=2400.69 T1=300.24	SAT (TO) f=1361 TT=2400.15 T1=156.57	SAT (TO) f=784 TT=2400.08 T1=1642.96	No Cert. TT=2400.07	No Cert. TT=2400.02	SAT (TO) f=743 TT=2400.03 T1=205.34	SAT (TO) f=1234 TT=2400.19 T1=1700.18	SAT (TO) f=1261 TT=2400.09 T1=1408.32	SAT (TO) f=1075 TT=2400.12 T1=1666.65	SAT (TO) f=1353 TT=2400.23 T1=175.82	SAT (TO) f=1353 TT=2520.43 T1=169.81
Vrp/Vrp-zinc-s1/ Vrp-A-n34-k5.xml	SAT TO f=783 TT=19994.6 T1=2079.33	SAT (TO) f=1659 TT=2520.03 T1=1971	SAT (TO) f=848 TT=20025.9 T1=1362.41	SAT (TO) f=783 TT=19994.6 T1=2079.33	SAT (TO) f=1384 TT=2520.11 T1=2492.96	SAT (TO) f=1384 TT=2520.14 T1=2467.27	SAT (TO) f=1404 TT=2520.03 T1=1575.47	SAT (TO) f=1404 TT=2520.02 T1=1437.58	SAT (TO) f=795 TT=2520.13 T1=2170.88	SAT (TO) f=1883 TT=2519.9 T1=2520	SAT (TO) f=1888 TT=2519.98 T1=2520	SAT (TO) f=789 TT=2519.9 T1=100.5	SAT (TO) f=1519 TT=2520.12 T1=2319.64	SAT (TO) f=1562 TT=2520.12 T1=36.55	SAT (TO) f=1569 TT=2520.07 T1=202	SAT (TO) f=1385 TT=20003.6 T1=2506.36	SAT (TO) f=1402 TT=19935.4 T1=13273.7	SAT (TO) f=1659 TT=2400.02 T1=2005.25	SAT (TO) f=1324 TT=2400.17 T1=259.34	SAT (TO) f=1482 TT=2400.36 T1=127.02	SAT (TO) f=803 TT=2400.11 T1=1731.65	No Cert. TT=2400.1	No Cert. TT=2400.1	SAT (TO) f=789 TT=2400.07 T1=100.91	SAT (TO) f=1562 TT=2400.14 T1=2270.4	SAT (TO) f=1562 TT=2400.04 T1=36.59	SAT (TO) f=1081 TT=2400.07 T1=1532.72	SAT (TO) f=1393 TT=2400.12 T1=1191.91	SAT (TO) f=1393 TT=2520.21 T1=1185.55
Vrp/Vrp-zinc-s1/ Vrp-A-n36-k5.xml	SAT TO f=853 TT=2400.08 T1=187.67	SAT (TO) f=1690 TT=2520.13 T1=1657.07	SAT (TO) f=925 TT=20008.1 T1=1805.7	SAT (TO) f=905 TT=20020.699 T1=2437.32	SAT (TO) f=1487 TT=2520.11 T1=1878.68	SAT (TO) f=1487 TT=2520.1 T1=1905.3	SAT (TO) f=1560 TT=2520.04 T1=1747.61	SAT (TO) f=1560 TT=2520.06 T1=1944.51	SAT (TO) f=947 TT=2520.08 T1=117.94	SAT (TO) f=2002 TT=2520.03 T1=2520	SAT (TO) f=1974 TT=2519.79 T1=2520	SAT (TO) f=853 TT=2519.57 T1=189.1	SAT (TO) f=1572 TT=2520.49 T1=1282.12	SAT (TO) f=1409 TT=2520.08 T1=1901.31	SAT (TO) f=1538 TT=2520.11 T1=1166.38	SAT (TO) f=1332 TT=19900.699 T1=761.63	SAT (TO) f=1332 TT=19911.699 T1=6204.03	SAT (TO) f=1690 TT=2400.09 T1=1675.77	SAT (TO) f=1550 TT=2400.08 T1=246.18	SAT (TO) f=1556 TT=2400.57 T1=266.1	SAT (TO) f=947 TT=2400.06 T1=111.28	No Cert. TT=2400.03	No Cert. TT=2400.1	SAT (TO) f=853 TT=2400.08 T1=187.67	SAT (TO) f=1661 TT=2400.07 T1=1583.27	SAT (TO) f=1409 TT=2400.06 T1=1908.71	SAT (TO) f=1637 TT=2400.11 T1=434.83	SAT (TO) f=1720 TT=2400.31 T1=93.81	SAT (TO) f=1720 TT=2520.16 T1=105.08
Vrp/Vrp-zinc-s1/ Vrp-A-n48-k7.xml	SAT TO f=1130 TT=2400.06 T1=888.07	SAT (TO) f=2429 TT=2520.1 T1=565.71	SAT (TO) f=1260 TT=20035.301 T1=1867.05	SAT (TO) f=2229 TT=19955.199 T1=1217.16	SAT (TO) f=2314 TT=2520.05 T1=649.96	SAT (TO) f=2314 TT=2520.11 T1=658.05	SAT (TO) f=2417 TT=2520.09 T1=1124.19	SAT (TO) f=2417 TT=2520.02 T1=1135.85	SAT (TO) f=1195 TT=2520.1 T1=1968.83	SAT (TO) f=2786 TT=2519.98 T1=2520	SAT (TO) f=2947 TT=2520.04 T1=2519.9	SAT (TO) f=1130 TT=2520.01 T1=892.21	SAT (TO) f=1862 TT=2520.12 T1=2319.64	SAT (TO) f=2688 TT=2520.06 T1=1171.15	SAT (TO) f=2486 TT=2520.12 T1=753.65	SAT (TO) f=2289 TT=19936.9 T1=2479.15	SAT (TO) f=2281 TT=19996.199 T1=15273.98	SAT (TO) f=2429 TT=2400.05 T1=461.16	SAT (TO) f=2501 TT=2400.67 T1=8.94	SAT (TO) f=2337 TT=2400.76 T1=234.33	SAT (TO) f=1195 TT=2400.16 T1=2033.18	No Cert. TT=2400.05	No Cert. TT=2400.07	SAT (TO) f=1130 TT=2400.06 T1=888.07	SAT (TO) f=2389 TT=2400.1 T1=1369.54	SAT (TO) f=2688 TT=2400.15 T1=1169.01	SAT (TO) f=2263 TT=2400.13 T1=1666.74	SAT (TO) f=2507 TT=2400.23 T1=1484.04	SAT (TO) f=2507 TT=2520.2 T1=1444.01
Vrp/Vrp-zinc-s1/ Vrp-A-n60-k9.xml	SAT TO f=1407 TT=2400.09 T1=2291.29	SAT (TO) f=3431 TT=2520.1 T1=1093.96	SAT (TO) f=1891 TT=19380.4 T1=2502.24	SAT (TO) f=3022 TT=19757.301 T1=861.51	SAT (TO) f=2882 TT=2520.09 T1=730.82	SAT (TO) f=2882 TT=2520.02 T1=742.95	SAT (TO) f=2931 TT=2520.03 T1=6.83	SAT (TO) f=2931 TT=2520.04 T1=6.83	SAT (TO) f=1609 TT=2520.12 T1=1956.78	SAT (TO) f=3609 TT=2519.98 T1=2520	SAT (TO) f=3426 TT=2520.03 T1=2520	SAT (TO) f=1407 TT=2519.98 T1=2291.29	SAT (TO) f=3110 TT=2520.11 T1=2045.38	SAT (TO) f=3700 TT=2520.05 T1=490.52	SAT (TO) f=3321 TT=2520.13 T1=1164.21	SAT (TO) f=3113 TT=19963.1 T1=2477.68	SAT (TO) f=3108 TT=19940.9 T1=8685.96	SAT (TO) f=3431 TT=2400.11 T1=1117.17	SAT (TO) f=3156 TT=2400.52 T1=26.06	SAT (TO) f=3152 TT=2400.46 T1=245.16	SAT (TO) f=1609 TT=2400.1 T1=1904.19	No Cert. TT=2400.02	No Cert. TT=2400.09	SAT (TO) f=1407 TT=2400.09 T1=2313.81	SAT (TO) f=3208 TT=2400.07 T1=110.3	SAT (TO) f=3700 TT=2400.16 T1=498.28	SAT (TO) f=3300 TT=2400.13 T1=1323.11	? TT=1548.27	? TT=641.791
Vrp/Vrp-zinc-s1/ Vrp-A-n61-k9.xml	SAT TO f=1147 TT=2400.09 T1=1219.44	SAT (TO) f=2613 TT=2520.06 T1=1157.65	SAT (TO) f=1542 TT=20040.699 T1=1237.35	SAT (TO) f=1578 TT=20026.199 T1=488.95	SAT (TO) f=2500 TT=2520.04 T1=1669.31	SAT (TO) f=2500 TT=2520.12 T1=1613.48	SAT (TO) f=2499 TT=2520.05 T1=8.2	SAT (TO) f=2499 TT=2520.09 T1=8.11	SAT (TO) f=1200 TT=2520.11 T1=2348.91	SAT (TO) f=2960 TT=2519.2 T1=2520	SAT (TO) f=2931 TT=2520.01 T1=2520	SAT (TO) f=1147 TT=2519.76 T1=1219.44	SAT (TO) f=2549 TT=2520.08 T1=2420.55	SAT (TO) f=2541 TT=2520.14 T1=2004.5	SAT (TO) f=2733 TT=2520.11 T1=2.31	SAT (TO) f=2621 TT=19961.6 T1=2271.65	SAT (TO) f=2635 TT=19969.9 T1=15251.71	SAT (TO) f=2613 TT=2400.05 T1=1170.99	SAT (TO) f=2499 TT=2400.03 T1=262.45	SAT (TO) f=2444 TT=2400.51 T1=127.05	SAT (TO) f=1213 TT=2400.15 T1=1098.06	No Cert. TT=2400.01	No Cert. TT=2400.1	SAT (TO) f=1147 TT=2400.09 T1=1223.88	SAT (TO) f=2660 TT=2400.09 T1=1746.15	SAT (TO) f=2541 TT=2400.1 T1=2042.77	SAT (TO) f=2733 TT=2400.2 T1=1.99	? (TO) TT=2415.32	? (problem) TT=1377.26
Vrp/Vrp-zinc-s1/ Vrp-B-n31-k5.xml	SAT TO f=684 TT=2400.02 T1=210.89	SAT (TO) f=1058 TT=2520.06 T1=292.42	SAT (TO) f=687 TT=20019.699 T1=900.04	SAT (TO) f=718 TT=20006.6 T1=2178.85	SAT (TO) f=929 TT=2520.12 T1=2128.48	SAT (TO) f=929 TT=2520.04 T1=2136.63	SAT (TO) f=1115 TT=2520.09 T1=1792.49	SAT (TO) f=1115 TT=2520.05 T1=1923.54	SAT (TO) f=781 TT=2520.13 T1=1842.12	SAT (TO) f=1349 TT=2520.05 T1=2519.9	SAT (TO) f=1274 TT=2520.03 T1=2519.9	SAT (TO) f=684 TT=2519.64 T1=210.89	SAT (TO) f=918 TT=2520.04 T1=2113.25	SAT (TO) f=1134 TT=2520.11 T1=2382.16	SAT (TO) f=919 TT=2520.09 T1=1445.26	SAT (TO) f=1051 TT=19957.801 T1=1650.64	SAT (TO) f=1048 TT=19912.4 T1=2437.51	SAT (TO) f=1058 TT=2400.08 T1=295.8	SAT (TO) f=919 TT=2400.52 T1=307.47	SAT (TO) f=1060 TT=2400.47 T1=281.14	SAT (TO) f=781 TT=2400.11 T1=1784.86	No Cert. TT=2400.05	No Cert. TT=2400.04	SAT (TO) f=684 TT=2400.02 T1=213.58	SAT (TO) f=707 TT=2400.14 T1=2229.26	SAT (TO) f=1137 TT=2400.07 T1=2237.56	SAT (TO) f=902 TT=2400.14 T1=1257.71	SAT (TO) f=1398 TT=2400.1 T1=2284.99	SAT (TO) f=1398 TT=2520.15 T1=2230.53
Vrp/Vrp-zinc-s1/ Vrp-B-n45-k5.xml	SAT TO f=756 TT=2400.09 T1=1039.18	SAT (TO) f=2241 TT=2520.06 T1=1002.38	SAT (TO) f=907 TT=20075 T1=1363.41	SAT (TO) f=822 TT=20059 T1=2354.77	SAT (TO) f=1777 TT=2520.09 T1=546.99	SAT (TO) f=1777 TT=2520.11 T1=551.19	SAT (TO) f=1951 TT=2520.07 T1=1006.94	SAT (TO) f=1951 TT=2520.09 T1=1011.63	SAT (TO) f=1058 TT=2520.17 T1=1463.94	SAT (TO) f=2432 TT=2519.99 T1=2520	SAT (TO) f=2323 TT=2519.92 T1=2520	SAT (TO) f=756 TT=2520.02 T1=1039.18	SAT (TO) f=2075 TT=2520.12 T1=1261.27	SAT (TO) f=2220 TT=2520.13 T1=2471.63	SAT (TO) f=1745 TT=2520.1 T1=1083.86	SAT (TO) f=1853 TT=19941.6 T1=1827.01	SAT (TO) f=1932 TT=19983.4 T1=8026.13	SAT (TO) f=2241 TT=2400.12 T1=998.63	SAT (TO) f=1771 TT=2400.55 T1=294.92	SAT (TO) f=1867 TT=2400.48 T1=295.2	SAT (TO) f=1058 TT=2400.08 T1=1423.65	No Cert. TT=2400.01	No Cert. TT=2400.05	SAT (TO) f=756 TT=2400.09 T1=1046.95	SAT (TO) f=1251 TT=2400.15 T1=1292.24	SAT (TO) f=2221 TT=2400.09 T1=715.43	SAT (TO) f=1663 TT=2400.08 T1=1642.58	SAT (TO) f=1904 TT=2400.31 T1=293.51	SAT (TO) f=1904 TT=2520.31 T1=293.16
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
Vrp/Vrp-zinc-s1/ Vrp-B-n45-k6.xml	SAT TO f=715 TT=2400.09 T1=128	SAT (TO) f=1514 TT=2520.11 T1=517.06	SAT (TO) f=793 TT=19938.6 T1=2487.92	SAT (TO) f=750 TT=19826.301 T1=2460.95	SAT (TO) f=1319 TT=2520.09 T1=252.25	SAT (TO) f=1319 TT=2520.06 T1=238.74	SAT (TO) f=1443 TT=2520.11 T1=1464.81	SAT (TO) f=1443 TT=2520.05 T1=1452.89	SAT (TO) f=772 TT=2520.11 T1=497.06	SAT (TO) f=1775 TT=2519.85 T1=2520	SAT (TO) f=1773 TT=2519.16 T1=2520	SAT (TO) f=715 TT=2519.78 T1=128	SAT (TO) f=1575 TT=2520.15 T1=1620.31	SAT (TO) f=1646 TT=2520.13 T1=998.1	SAT (TO) f=1544 TT=2520.09 T1=853.96	SAT (TO) f=1475 TT=19950.9 T1=2019.77	SAT (TO) f=1475 TT=19935.199 T1=9837.21	SAT (TO) f=1514 TT=2400.04 T1=436.12	SAT (TO) f=1029 TT=2400.12 T1=60.87	SAT (TO) f=1483 TT=2400.68 T1=82.78	SAT (TO) f=772 TT=2400.1 T1=504.61	No Cert. TT=2400.05	No Cert. TT=2400.03	SAT (TO) f=715 TT=2400.09 T1=128.76	SAT (TO) f=1272 TT=2400.07 T1=2216.73	SAT (TO) f=1646 TT=2400.49 T1=1022.63	SAT (TO) f=1383 TT=2400.07 T1=1325	SAT (TO) f=1549 TT=2401.66 T1=1870.83	SAT (TO) f=1549 TT=2520.15 T1=1860.26
Vrp/Vrp-zinc-s1/ Vrp-B-n50-k8.xml	SAT TO f=1327 TT=2400.05 T1=339.25	SAT (TO) f=2430 TT=2520.02 T1=1143.26	SAT (TO) f=1859 TT=20025 T1=200.3	SAT (TO) f=1745 TT=20012.6 T1=248.1	SAT (TO) f=2251 TT=2520.05 T1=736.97	SAT (TO) f=2251 TT=2520.12 T1=721	SAT (TO) f=2281 TT=2520.28 T1=58.45	SAT (TO) f=2281 TT=2520.1 T1=59.4	SAT (TO) f=1496 TT=2520.13 T1=1745.6	SAT (TO) f=2798 TT=2520.07 T1=2519.9	SAT (TO) f=2785 TT=2520.05 T1=2519.9	SAT (TO) f=1327 TT=2520.07 T1=339.25	SAT (TO) f=2420 TT=2520.14 T1=1040.98	SAT (TO) f=2621 TT=2520.1 T1=2284.81	SAT (TO) f=2538 TT=2520.11 T1=65.31	SAT (TO) f=2267 TT=19962.699 T1=2341.42	SAT (TO) f=2237 TT=19950.4 T1=19853.68	SAT (TO) f=2430 TT=2400.04 T1=657.79	SAT (TO) f=1728 TT=2400.32 T1=21.28	SAT (TO) f=2098 TT=2400.22 T1=137.34	SAT (TO) f=1496 TT=2400.11 T1=1639.47	No Cert. TT=2400.05	No Cert. TT=2400.07	SAT (TO) f=1327 TT=2400.05 T1=340.93	SAT (TO) f=2410 TT=2400.09 T1=1581.04	SAT (TO) f=2623 TT=2400.08 T1=2302.44	SAT (TO) f=2438 TT=2400.12 T1=1061.21	SAT (TO) f=2779 TT=2400.24 T1=1416.9	SAT (TO) f=2779 TT=2520.22 T1=1427.63
Vrp/Vrp-zinc-s1/ Vrp-B-n57-k9.xml	SAT TO f=1663 TT=2400.09 T1=1650.39	SAT (TO) f=3362 TT=2520.06 T1=1112.02	SAT (TO) f=2693 TT=20037.699 T1=1569.38	SAT (TO) f=2218 TT=19982.699 T1=81.09	SAT (TO) f=2884 TT=2520.11 T1=2311.37	SAT (TO) f=2884 TT=2520.03 T1=2286.96	SAT (TO) f=3014 TT=2520.07 T1=18.69	SAT (TO) f=2994 TT=2520.04 T1=2260.86	SAT (TO) f=1805 TT=2520.1 T1=686.54	SAT (TO) f=3561 TT=2519.79 T1=2520	SAT (TO) f=3270 TT=2519.91 T1=2520	SAT (TO) f=1663 TT=2519.79 T1=1650.39	SAT (TO) f=3209 TT=2520.12 T1=1185.01	SAT (TO) f=3227 TT=2520.11 T1=1664.2	SAT (TO) f=3050 TT=2520.1 T1=1248.06	SAT (TO) f=2927 TT=19969.9 T1=1682.13	SAT (TO) f=2927 TT=19978 T1=7879.85	SAT (TO) f=3362 TT=2400.12 T1=1027.92	SAT (TO) f=2168 TT=2400.14 T1=135.7	SAT (TO) f=2933 TT=2400.2 T1=188.16	SAT (TO) f=1805 TT=2400.16 T1=758.29	No Cert. TT=2400.06	No Cert. TT=2400.05	SAT (TO) f=1663 TT=2400.09 T1=1663.16	SAT (TO) f=3146 TT=2400.17 T1=2024.32	SAT (TO) f=3227 TT=2400.15 T1=1684.54	SAT (TO) f=3238 TT=2400.15 T1=23.3	SAT (TO) f=4071 TT=2400.26 T1=796.77	? (TO) TT=2528.01
Vrp/Vrp-zinc-s1/ Vrp-B-n67-k10.xml	SAT TO f=1093 TT=2400.07 T1=2139.19	SAT (TO) f=3265 TT=2520.07 T1=961.58	SAT (TO) f=1382 TT=20087.801 T1=2471.95	SAT (TO) f=1454 TT=19483.199 T1=2321.62	SAT (TO) f=2705 TT=2520.08 T1=2328.79	SAT (TO) f=2705 TT=2520.12 T1=2237.87	SAT (TO) f=2774 TT=2520.11 T1=104.79	SAT (TO) f=2774 TT=2520.14 T1=102.94	SAT (TO) f=1287 TT=2520.07 T1=2210.33	SAT (TO) f=3334 TT=2520.08 T1=2520	SAT (TO) f=3314 TT=2519.89 T1=2520	SAT (TO) f=1093 TT=2520.11 T1=2139.19	SAT (TO) f=2978 TT=2520.19 T1=1754.82	SAT (TO) f=3154 TT=2520.12 T1=1926.88	SAT (TO) f=3028 TT=2520.09 T1=1768.61	SAT (TO) f=2643 TT=19968.699 T1=975.82	SAT (TO) f=2656 TT=19933.199 T1=16250.31	SAT (TO) f=3265 TT=2400.1 T1=965.72	SAT (TO) f=2492 TT=2400.18 T1=267.09	SAT (TO) f=2781 TT=2400.34 T1=301.74	SAT (TO) f=1287 TT=2400.12 T1=2188.94	No Cert. TT=2400.01	No Cert. TT=2400.08	SAT (TO) f=1093 TT=2400.07 T1=2149.57	SAT (TO) f=3121 TT=2400.08 T1=2266.12	SAT (TO) f=3154 TT=2400.15 T1=1948.62	SAT (TO) f=3075 TT=2400.07 T1=1222.7	? (TO) TT=2416.37	? TT=1330.41
Vrp/Vrp-zinc-s1/ Vrp-B-n68-k9.xml	SAT TO f=1300 TT=2400.1 T1=1969.46	SAT (TO) f=3823 TT=2520.1 T1=1710.28	SAT (TO) f=2063 TT=20086.699 T1=1389.59	SAT (TO) f=1776 TT=19976.5 T1=124.91	SAT (TO) f=2976 TT=2520.04 T1=2408.92	SAT (TO) f=2976 TT=2520.04 T1=2373.01	SAT (TO) f=3088 TT=2520.07 T1=201.38	SAT (TO) f=3088 TT=2520.06 T1=199.03	SAT (TO) f=1717 TT=2520.17 T1=1762.46	SAT (TO) f=3679 TT=2519.73 T1=2520	SAT (TO) f=3832 TT=2520.02 T1=2519.9	SAT (TO) f=1300 TT=2520.07 T1=1969.46	SAT (TO) f=3537 TT=2520.07 T1=1989.31	SAT (TO) f=3814 TT=2520.1 T1=1369.78	SAT (TO) f=3621 TT=2520.15 T1=1307.03	SAT (TO) f=3415 TT=19963 T1=2266.71	SAT (TO) f=3415 TT=19965 T1=18496.061	SAT (TO) f=3823 TT=2400.11 T1=1731.32	Wrong Opt. f=3846 TT=65.668 T1=9.71	Wrong Opt. f=3846 TT=67.441 T1=9.88	SAT (TO) f=1717 TT=2400.11 T1=1914.98	No Cert. TT=2400.08	No Cert. TT=2400.04	SAT (TO) f=1300 TT=2400.1 T1=1972.14	SAT (TO) f=3621 TT=2400.15 T1=1644.23	SAT (TO) f=3814 TT=2400.15 T1=1366.44	SAT (TO) f=3621 TT=2400.15 T1=1549.78	? (TO) TT=2415.29	? (problem) TT=1536.2
Vrp/Vrp-zinc-s1/ Vrp-B-n78-k10.xml	SAT TO f=1282 TT=2400.05 T1=2265.37	SAT (TO) f=4025 TT=2520.05 T1=687	SAT (TO) f=1604 TT=20090.199 T1=2484.58	SAT (TO) f=1618 TT=19765 T1=2502.46	SAT (TO) f=3294 TT=2520.11 T1=24.34	SAT (TO) f=3294 TT=2520.06 T1=24.45	SAT (TO) f=3453 TT=2520.1 T1=160.7	SAT (TO) f=3453 TT=2520.09 T1=158.51	SAT (TO) f=1973 TT=2520.09 T1=2194.52	SAT (TO) f=4381 TT=2520.06 T1=2520	SAT (TO) f=4232 TT=2520.04 T1=2519.9	SAT (TO) f=1282 TT=2519.98 T1=2265.37	SAT (TO) f=3670 TT=2520.46 T1=2220.82	SAT (TO) f=4041 TT=2520.12 T1=1930.78	SAT (TO) f=4343 TT=2520.16 T1=3.8	SAT (TO) f=3558 TT=19960.801 T1=1924.84	SAT (TO) f=3583 TT=19949.9 T1=6796.64	SAT (TO) f=4025 TT=2400.08 T1=696.11	Wrong Opt. f=4091 TT=176.295 T1=25.52	Wrong Opt. f=4091 TT=155.188 T1=22.62	SAT (TO) f=1973 TT=2400.15 T1=2189.38	No Cert. TT=2400.08	No Cert. TT=2400.06	SAT (TO) f=1282 TT=2400.05 T1=2271.58	SAT (TO) f=3994 TT=2400.19 T1=1561.17	SAT (TO) f=4041 TT=2400.11 T1=1406.15	SAT (TO) f=4030 TT=2400.06 T1=440.58	? (TO) TT=2416.51	? TT=1270.43
Vrp/Vrp-zinc-s1/ Vrp-P-n50-k10.xml	SAT TO f=725 TT=2400.03 T1=1503.36	SAT (TO) f=1488 TT=2520.07 T1=1152.49	SAT (TO) f=819 TT=20073.6 T1=2010.58	SAT (TO) f=919 TT=20032.801 T1=122.04	SAT (TO) f=1343 TT=2520.1 T1=2199.54	SAT (TO) f=1343 TT=2520.11 T1=2190.6	SAT (TO) f=1397 TT=2520.05 T1=495.13	SAT (TO) f=1397 TT=2520.3 T1=489.18	SAT (TO) f=748 TT=2520.1 T1=1775.11	SAT (TO) f=1571 TT=2519.83 T1=2520	SAT (TO) f=1581 TT=2520.03 T1=2519.9	SAT (TO) f=725 TT=2519.76 T1=1503.36	SAT (TO) f=1379 TT=2520.09 T1=1541.87	SAT (TO) f=1349 TT=2520.11 T1=420.1	SAT (TO) f=1406 TT=2520.1 T1=1.99	SAT (TO) f=1421 TT=19948.1 T1=523.01	SAT (TO) f=1421 TT=19929.801 T1=10152.88	SAT (TO) f=1488 TT=2400.09 T1=995.03	SAT (TO) f=1294 TT=2400.24 T1=186.99	SAT (TO) f=1433 TT=2400.31 T1=238.63	SAT (TO) f=748 TT=2400.05 T1=1515.15	No Cert. TT=2400.01	No Cert. TT=2400.02	SAT (TO) f=725 TT=2400.03 T1=1517.37	SAT (TO) f=1337 TT=2400.09 T1=1488.48	SAT (TO) f=1349 TT=2400.15 T1=447.05	SAT (TO) f=1406 TT=2400.08 T1=1.82	SAT (TO) f=1248 TT=2400.19 T1=318.84	SAT (TO) f=1248 TT=2521.11 T1=308.3
Vrp/Vrp-zinc-s1/ Vrp-P-n65-k10.xml	SAT TO f=809 TT=2400.04 T1=1548.7	SAT (TO) f=2204 TT=2520.09 T1=621.57	SAT (TO) f=1016 TT=20080.199 T1=1863.37	SAT (TO) f=1013 TT=19933.4 T1=2198.01	SAT (TO) f=1920 TT=2520.06 T1=30.42	SAT (TO) f=1920 TT=2520.04 T1=31.47	SAT (TO) f=1796 TT=2520.1 T1=68.94	SAT (TO) f=1796 TT=2520.1 T1=66.86	SAT (TO) f=996 TT=2520.14 T1=2255.02	SAT (TO) f=2166 TT=2519.58 T1=2520	SAT (TO) f=2087 TT=2519.89 T1=2520	SAT (TO) f=809 TT=2519.94 T1=1548.7	SAT (TO) f=1969 TT=2520.13 T1=1515.25	SAT (TO) f=2083 TT=2520.12 T1=2156.06	SAT (TO) f=1964 TT=2520.08 T1=1218.65	SAT (TO) f=1854 TT=19974.199 T1=1515.13	SAT (TO) f=1860 TT=19976.5 T1=11694.32	SAT (TO) f=2204 TT=2400.1 T1=617.21	SAT (TO) f=1851 TT=2400.4 T1=286.99	SAT (TO) f=1922 TT=2400.46 T1=78.33	SAT (TO) f=998 TT=2400.15 T1=509.65	No Cert. TT=2400.07	No Cert. TT=2400.1	SAT (TO) f=809 TT=2400.04 T1=1555.1	SAT (TO) f=1894 TT=2400.2 T1=2221.29	SAT (TO) f=2083 TT=2400.05 T1=2187.41	SAT (TO) f=2023 TT=2400.13 T1=1112.2	? (TO) TT=2416.02	? TT=1258.09

Statistics		AbsCon-basic 2017-06-11 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
Number of times the solver is able to give the best known answer		176	0	215	0	130	0	125	123	132	116	248	56	143	164	167	171	176	0	0	121	0	0	238	60	143	157	77	79
Number of times the solver is the best solver from a complete solver point of view (i.e. best known answer and best TT time)		12	0	32	0	6	0	1	1	28	8	55	11	21	14	12	8	64	0	0	18	0	0	115	58	23	48	2	2