2017 XCSP3 competition: main track (CSP and COP, sequential and parallel solvers): results by benchmark

Results by benchmark for category optimization problem (COP)

This page displays the results of the different solvers for each benchmark for category optimization problem (COP)

REMINDER

Keep in mind that the 'Best result' columns only provide the best result given by one of the solvers. This 'Best result' may be wrong in case of an UNSATISFIABLE or OPTIMUM FOUND answer (because there's no efficient way to check these answers).

Description of a cell contents:

Cell example	Meaning
Answer	Solver result
f=...	value of the objective function for the model reported by the solver
TT=...	Total Time (TT): this is the CPU time (in seconds) used by the solver until termination. This time is only meaningful for complete solvers because incomplete solvers will always run until they time out

Remember that CPU time and wall clock time are two very different notions. The CPU time represents the time during which the instructions of the solver were executed by the processor. The wall clock time represents how much time ellapsed on the clock. For a same event, the CPU time may be either smaller or greater than the wall clock time depending on the number of threads of execution and the number of processors.

Meaning of some abbreviations:

Abbreviation	Meaning
f=...	Value of the objective function
TO	Time Out
MO	Mem. Out (out of memory)

Meaning of the different colors:

Color	Meaning
text	the solver cannot handle this instance
text	the solver gave no answer
text	the solver could give an answer (SAT)
text	the solver gave a definitive answer (OPTIMUM FOUND or UNSAT)
text	the solver performed better than the other ones on that instance (complete solvers point of view)
text	the solver performed better than the other ones on that instance (incomplete solvers point of view)
text	the solver was ended by a signal or other problem
text	the solver gave an incomplete answer
text	the solver gave a wrong answer

For better readability, you may choose to hide some solvers:
AbsCon-basic 2017-06-11 (complete)
choco-solver 4.0.5 par (2017-08-09) (complete)
choco-solver 4.0.5 par (2017-08-18) (complete)
choco-solver 4.0.5 seq (2017-08-09) (complete)
choco-solver 4.0.5 seq (2017-08-18) (complete)
choco-solver 5a (2017-07-26) (complete)
choco-solver 5a (2017-08-18) (complete)
Concrete 3.4 (complete)
cosoco 1.12 (complete)
cosoco-sat 1.12 (complete)
Mistral-2.0 2017-07-28 (complete)
OscaR - ALNS 2017-07-26 (complete)
OscaR - Conflict Ordering 2017-07-26 (complete)
OscaR - Hybrid 2017-07-26 (complete)
OscaR - Parallel with EPS 2017-07-26 (complete)
OscaR - Parallel with EPS 2017-08-22 (complete)
R1: AbsCon-basic 2017-06-11 (complete)
R1: choco-solver 4.0.5 (2017-07-05) (complete)
R1: choco-solver 5a (2017-07-05) (complete)
R1: Concrete 3.4 (complete)
R1: cosoco 1.1 (complete)
R1: cosoco-sat 1.1 (complete)
R1: Mistral-2.0 2017-06-28 (complete)
R1: OscaR - ALNS 2017-06-30 (complete)
R1: OscaR - Conflict Ordering 2017-06-30 (complete)
R1: OscaR - Hybrid 2017-06-30 (complete)
R1: sat4j-CSP 2017-07-05 (complete)
sat4j-CSP 2017-07-05 (complete)

Bench name	Best results on this instance	AbsCon-basic 2017-06-11 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
BinPacking/ BinPacking-mdd-ft/ BinPacking-mdd-ft120-11.xml	SAT TO f=7 TT=2400.03 T1=35.2	SAT (TO) f=7 TT=2520.02 T1=294.26	SAT (TO) f=7 TT=20033.1 T1=1275.46	SAT (TO) f=7 TT=20031.5 T1=427.19	SAT (TO) f=0 TT=2520.1 T1=1435.09	SAT (TO) f=0 TT=2520.04 T1=1462.58	SAT (TO) f=0 TT=2520.06 T1=2086.6	SAT (TO) f=0 TT=2520.09 T1=2109.11	? (TO) TT=2521.31	? (TO) TT=2520.03	? (TO) TT=2520	SAT (TO) f=7 TT=2519.79 T1=580.43	SAT (TO) f=7 TT=2520.14 T1=258.63	SAT (TO) f=6 TT=2520.11 T1=12.89	SAT (TO) f=7 TT=2520.08 T1=1788.58	SAT (TO) f=7 TT=19960.4 T1=35.2	SAT (TO) f=7 TT=19962.1 T1=90.87	SAT (TO) f=7 TT=2400.03 T1=263.18	SAT (TO) f=4 TT=2400.67 T1=210.73	SAT (TO) f=6 TT=2400.57 T1=194.59	? (TO) TT=2403.19	? (TO) TT=2400.09	? (TO) TT=2400.05	SAT (TO) f=7 TT=2400.06 T1=551.88	SAT (TO) f=7 TT=2400.13 T1=153.39	SAT (TO) f=6 TT=2400.12 T1=13.87	SAT (TO) f=7 TT=2400.04 T1=44.27	? (TO) TT=2400.22	? (TO) TT=2520.34
BinPacking/ BinPacking-mdd-ft/ BinPacking-mdd-ft120-13.xml	SAT TO f=7 TT=2400.03 T1=31.25	SAT (TO) f=7 TT=2520.03 T1=216.12	SAT (TO) f=7 TT=20054.801 T1=39.55	SAT (TO) f=7 TT=20040.6 T1=41.3	SAT (TO) f=2 TT=2520.11 T1=1418.66	SAT (TO) f=2 TT=2520.09 T1=1423.89	SAT (TO) f=2 TT=2520.04 T1=2351.75	SAT (TO) f=2 TT=2520.03 T1=2375.52	? (TO) TT=2521.3	? (TO) TT=2519.87	SAT (TO) f=0 TT=2520.07 T1=750.13	SAT (TO) f=7 TT=2519.66 T1=612.92	SAT (TO) f=7 TT=2520.12 T1=516.72	SAT (TO) f=5 TT=2520.06 T1=1078.06	SAT (TO) f=7 TT=2520.07 T1=1060.53	SAT (TO) f=7 TT=19947.699 T1=31.25	SAT (TO) f=7 TT=19958.9 T1=97.41	SAT (TO) f=7 TT=2400.03 T1=215.65	SAT (TO) f=7 TT=2400.41 T1=167.25	SAT (TO) f=7 TT=2400.07 T1=163.82	? (TO) TT=2402.67	? (TO) TT=2400.06	? (TO) TT=2400.1	SAT (TO) f=7 TT=2400.07 T1=653.38	SAT (TO) f=7 TT=2400.09 T1=149.18	SAT (TO) f=5 TT=2400.06 T1=1106.4	SAT (TO) f=7 TT=2400.1 T1=628.98	? (TO) TT=2400.15	? (TO) TT=2520.25
BinPacking/ BinPacking-mdd-ft/ BinPacking-mdd-ft120-15.xml	SAT TO f=6 TT=2400.08 T1=24.02	SAT (TO) f=6 TT=2520.02 T1=2175.27	SAT (TO) f=3 TT=20024.199 T1=86.57	SAT (TO) f=6 TT=20024.301 T1=800.36	SAT (TO) f=1 TT=2520.12 T1=864.06	SAT (TO) f=1 TT=2520.06 T1=771.78	SAT (TO) f=0 TT=2520.06 T1=156.5	SAT (TO) f=0 TT=2520.06 T1=144.72	? (TO) TT=2521.37	? (TO) TT=2519.84	? (TO) TT=2519.91	SAT (TO) f=6 TT=2519.78 T1=35.3	SAT (TO) f=6 TT=2520.08 T1=1082.73	SAT (TO) f=4 TT=2520.07 T1=13	SAT (TO) f=6 TT=2520.03 T1=220.61	SAT (TO) f=6 TT=19996.5 T1=24.02	SAT (TO) f=6 TT=19984 T1=90.02	SAT (TO) f=6 TT=2400.12 T1=2186.6	SAT (TO) f=4 TT=2400.54 T1=229.01	SAT (TO) f=4 TT=2400.34 T1=235.94	? (TO) TT=2402.47	? (TO) TT=2400.08	? (TO) TT=2400.09	SAT (TO) f=6 TT=2400.08 T1=35.48	SAT (TO) f=6 TT=2400.09 T1=350.91	SAT (TO) f=4 TT=2400.12 T1=13.04	SAT (TO) f=6 TT=2400.14 T1=954.62	? (TO) TT=2400.17	? (TO) TT=2520.26
BinPacking/ BinPacking-mdd-ft/ BinPacking-mdd-ft249-19.xml	SAT TO f=13 TT=2400.06 T1=1791.24	SAT (TO) f=3 TT=2520.04 T1=1356.07	? (TO) TT=20026	? (TO) TT=20031.1	? (TO) TT=2520.08	? (TO) TT=2520.03	? (TO) TT=2520.11	? (TO) TT=2520.05	? (TO) TT=2524.21	? (TO) TT=2519.84	? (TO) TT=2520.01	? (TO) TT=2520.03	SAT (TO) f=13 TT=2520.12 T1=2255.51	SAT (TO) f=3 TT=2520.06 T1=1772.67	SAT (TO) f=12 TT=2520.1 T1=2338.48	? (TO) TT=10182.9	SAT (TO) f=13 TT=11302.6 T1=2973	SAT (TO) f=3 TT=2400.12 T1=1298.57	? (TO) TT=2400.35	? (TO) TT=2400.54	? (TO) TT=2407.02	? (TO) TT=2400.07	? (TO) TT=2400.05	? (TO) TT=2400.11	SAT (TO) f=12 TT=2400.15 T1=1212.37	SAT (TO) f=3 TT=2400.13 T1=1785.88	SAT (TO) f=13 TT=2400.06 T1=1791.24	? (TO) TT=2415.9	? TT=1695.85
BinPacking/ BinPacking-mdd-ft/ BinPacking-mdd-ft501-07.xml		? (TO) TT=2520.08	? (TO) TT=19785.699	? (TO) TT=19801.199	? (TO) TT=2520.07	? (TO) TT=2520.08	? (TO) TT=2520.09	? (TO) TT=2520.03	? (TO) TT=2525.88	? (TO) TT=2519.94	? (TO) TT=2520.03	? (TO) TT=2520.06	? (TO) TT=2520.07	? (TO) TT=2520.04	? (TO) TT=2520.05	? (TO) TT=2531.97	? (TO) TT=2538.9	? (TO) TT=2400.1	? (TO) TT=2400.66	? (TO) TT=2400.44	? (TO) TT=2410.36	? (TO) TT=2400.02	? (TO) TT=2400.09	? (TO) TT=2400.08	? (TO) TT=2400.05	? (TO) TT=2400.1	? (TO) TT=2400.03	? (TO) TT=2416.08	? TT=1684.21
BinPacking/ BinPacking-mdd-sw100/ BinPacking-mdd-sw100-03.xml	SAT TO f=0 TT=2400.03 T1=0.39	SAT (TO) f=0 TT=2520.07 T1=5.59	SAT (TO) f=0 TT=20008.801 T1=1091.72	? (TO) TT=20018.199	? (TO) TT=2520.08	? (TO) TT=2520.04	? (TO) TT=2514.51	? (TO) TT=2520.07	SAT (TO) f=0 TT=2520.09 T1=26.23	SAT (TO) f=0 TT=2520.01 T1=0.39	? (TO) TT=2520.11	SAT (TO) f=0 TT=2519.77 T1=1352.7	? (TO) TT=2520.06	? (TO) TT=2526.4	? (TO) TT=2520.1	? (TO) TT=2579.96	? (TO) TT=2577.72	SAT (TO) f=0 TT=2400.03 T1=5.54	? (TO) TT=2400.59	? (TO) TT=2400.69	SAT (TO) f=0 TT=2400.14 T1=30.71	? (TO) TT=2400.02	? (TO) TT=2400.07	SAT (TO) f=0 TT=2400.03 T1=1399.42	? (TO) TT=2400.04	? (TO) TT=2400.1	? (TO) TT=2400.08	? (TO) TT=2416.33	? TT=1672.34
BinPacking/ BinPacking-mdd-sw100/ BinPacking-mdd-sw100-43.xml	SAT TO f=0 TT=2400.08 T1=0.4	SAT (TO) f=0 TT=2520.02 T1=1945.41	? (TO) TT=20023	? (TO) TT=20022.9	? (TO) TT=2518.35	? (TO) TT=2520.1	? (TO) TT=2520.08	? (TO) TT=2520.11	? (TO) TT=2522.15	SAT (TO) f=0 TT=2519.91 T1=0.4	? (TO) TT=2519.83	? (TO) TT=2519.81	? (TO) TT=2526.72	? (TO) TT=2520.1	? (TO) TT=2520.06	? (TO) TT=2564.22	? (TO) TT=2555.6	SAT (TO) f=0 TT=2400.08 T1=1974.24	? (TO) TT=2400.74	? (TO) TT=2400.06	? (TO) TT=2404.83	? (TO) TT=2400.03	? (TO) TT=2400.04	? (TO) TT=2400.06	? (TO) TT=2401.86	? (TO) TT=2400.07	? (TO) TT=2400.06	? (TO) TT=2415.8	? TT=1673.19
BinPacking/ BinPacking-mdd-sw100/ BinPacking-mdd-sw100-63.xml	SAT TO f=0 TT=2400.03 T1=4.87	SAT (TO) f=0 TT=2520.03 T1=5.06	? (TO) TT=20016.6	? (TO) TT=20016.199	? (TO) TT=2520.1	? (TO) TT=2520.04	? (TO) TT=2520.11	? (TO) TT=2520.03	? (TO) TT=2522.07	? (TO) TT=2519.79	? (TO) TT=2519.8	? (TO) TT=2520.02	? (TO) TT=2520.09	? (TO) TT=2520.11	? (TO) TT=2520.06	? (TO) TT=2556.84	? (TO) TT=2563.18	SAT (TO) f=0 TT=2400.03 T1=4.87	? (TO) TT=2400.29	? (TO) TT=2400.37	? (TO) TT=2404.12	? (TO) TT=2400.06	? (TO) TT=2400.11	? (TO) TT=2400.05	? (TO) TT=2400.05	? (TO) TT=2400.05	? (TO) TT=2400.11	? (TO) TT=2416.29	? TT=1678.15
BinPacking/ BinPacking-mdd-sw100/ BinPacking-mdd-sw100-70.xml	SAT TO f=0 TT=2400.02 T1=5.24	SAT (TO) f=0 TT=2520.02 T1=5.25	? (TO) TT=20010.6	? (TO) TT=20011.4	? (TO) TT=2520.03	? (TO) TT=2520.08	? (TO) TT=2520.11	? (TO) TT=2520.08	? (TO) TT=2522.81	? (TO) TT=2519.93	? (TO) TT=2519.99	? (TO) TT=2519.66	? (TO) TT=2520.09	? (TO) TT=2520.12	? (TO) TT=2520.12	? (TO) TT=2567.93	? (TO) TT=2558.92	SAT (TO) f=0 TT=2400.02 T1=5.24	? (TO) TT=2400.69	? (TO) TT=2400.39	? (TO) TT=2404.91	? (TO) TT=2400.08	? (TO) TT=2400.04	? (TO) TT=2400.07	? (TO) TT=2400.08	? (TO) TT=2400.07	? (TO) TT=2400.08	? (TO) TT=2416.52	? TT=1688.52
BinPacking/ BinPacking-mdd-sw100/ BinPacking-mdd-sw100-75.xml	SAT TO f=0 TT=2400.08 T1=4.94	SAT (TO) f=0 TT=2520.06 T1=5.25	? (TO) TT=20012.199	? (TO) TT=20017.699	? (TO) TT=2520.05	? (TO) TT=2520.05	? (TO) TT=2520.09	? (TO) TT=2520.05	? (TO) TT=2522.63	? (TO) TT=2519.78	? (TO) TT=2520.04	? (TO) TT=2519.82	? (TO) TT=2520.06	? (TO) TT=2520.08	? (TO) TT=2520.02	? (TO) TT=2559.98	? (TO) TT=2568.34	SAT (TO) f=0 TT=2400.08 T1=4.94	? (TO) TT=2400.48	? (TO) TT=2400.66	? (TO) TT=2404.6	? (TO) TT=2400.01	? (TO) TT=2400.09	? (TO) TT=2400.02	? (TO) TT=2400.05	? (TO) TT=2400.03	? (TO) TT=2400.08	? (TO) TT=2416.23	? TT=1696.58
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
BinPacking/ BinPacking-mdd-sw100/ BinPacking-mdd-sw100-92.xml	SAT TO f=0 TT=2400.05 T1=0.41	SAT (TO) f=0 TT=2520.06 T1=5.53	SAT (TO) f=0 TT=20029.199 T1=792.8	SAT (TO) f=0 TT=20026.1 T1=77.47	? (TO) TT=2520.05	? (TO) TT=2520.05	? (TO) TT=2520.09	? (TO) TT=2520.09	? (TO) TT=2522.59	SAT (TO) f=0 TT=2519.87 T1=0.41	? (TO) TT=2520.05	SAT (TO) f=0 TT=2520.03 T1=694.41	? (TO) TT=2520.07	? (TO) TT=2520.04	? (TO) TT=2520.07	? (TO) TT=2577.83	? (TO) TT=2569.45	SAT (TO) f=0 TT=2400.08 T1=5.25	SAT (TO) f=0 TT=2400.04 T1=125.49	SAT (TO) f=0 TT=2400.04 T1=134.82	? (TO) TT=2406.03	? (TO) TT=2400.06	? (TO) TT=2400.07	SAT (TO) f=0 TT=2400.05 T1=701.43	? (TO) TT=2400.07	? (TO) TT=2400.05	? (TO) TT=2400.05	? (TO) TT=2415.83	? TT=1639.62
BinPacking/ BinPacking-mdd-sw120/ BinPacking-mdd-sw120-20.xml	SAT TO f=0 TT=2400.1 T1=196.97	SAT (TO) f=0 TT=2520.06 T1=198.47	? (TO) TT=20002.301	? (TO) TT=20011.301	? (TO) TT=2520.06	? (TO) TT=2520.07	? (TO) TT=2520.06	? (TO) TT=2520.04	? (TO) TT=2522.73	? (TO) TT=2519.61	? (TO) TT=2520.02	? (TO) TT=2519.65	? (TO) TT=2520.12	? (TO) TT=2520.1	? (TO) TT=2520.93	? (TO) TT=2552.97	? (TO) TT=2602.55	SAT (TO) f=0 TT=2400.1 T1=196.97	? (TO) TT=2400.05	? (TO) TT=2400.28	? (TO) TT=2405.86	? (TO) TT=2400.05	? (TO) TT=2400.08	? (TO) TT=2400.09	? (TO) TT=2400.09	? (TO) TT=2400.05	? (TO) TT=2400.11	? (TO) TT=2415.95	? TT=1685.64
BinPacking/ BinPacking-mdd-sw120/ BinPacking-mdd-sw120-30.xml	SAT TO f=0 TT=2400.08 T1=0.9	SAT (TO) f=0 TT=2520.04 T1=12.18	SAT (TO) f=0 TT=20012.1 T1=247.76	SAT (TO) f=0 TT=20043.5 T1=247.89	SAT (TO) f=0 TT=2520.02 T1=105.63	SAT (TO) f=0 TT=2520.07 T1=109.94	SAT (TO) f=0 TT=2520.02 T1=112.86	SAT (TO) f=0 TT=2520.05 T1=117.32	? (TO) TT=2523.02	SAT (TO) f=0 TT=2519.86 T1=0.9	SAT (TO) f=0 TT=2519.87 T1=1.66	SAT (TO) f=0 TT=2519.81 T1=1735.82	? (TO) TT=2520.1	? (TO) TT=2520.09	? (TO) TT=2520.04	? (TO) TT=2580.1	? (TO) TT=2576.02	SAT (TO) f=0 TT=2400.08 T1=12.11	SAT (TO) f=0 TT=2400.57 T1=192.8	SAT (TO) f=0 TT=2400.32 T1=192.92	? (TO) TT=2405.78	? (TO) TT=2400.04	? (TO) TT=2400.04	SAT (TO) f=0 TT=2400.1 T1=1842.55	? (TO) TT=2400.07	? (TO) TT=2400.06	? (TO) TT=2400.1	? (TO) TT=2415.85	? TT=1673.27
BinPacking/ BinPacking-mdd-sw120/ BinPacking-mdd-sw120-63.xml	SAT TO f=0 TT=2400.06 T1=0.57	SAT (TO) f=0 TT=2520.09 T1=9.87	SAT (TO) f=0 TT=20020.199 T1=689.51	SAT (TO) f=0 TT=20026 T1=1899.61	? (TO) TT=2520.1	? (TO) TT=2520.07	? (TO) TT=2520.09	? (TO) TT=2520.02	SAT (TO) f=0 TT=2520.08 T1=2450.4	SAT (TO) f=0 TT=2520.08 T1=0.57	? (TO) TT=2519.65	SAT (TO) f=0 TT=2520.01 T1=652.23	? (TO) TT=2520.12	? (TO) TT=2520.12	? (TO) TT=2520.08	? (TO) TT=2580.43	? (TO) TT=2568.1	SAT (TO) f=0 TT=2400.08 T1=9.81	? (TO) TT=2400.07	? (TO) TT=2400.02	? (TO) TT=2405.78	? (TO) TT=2400.05	? (TO) TT=2400.06	SAT (TO) f=0 TT=2400.06 T1=676.07	? (TO) TT=2400.07	? (TO) TT=2400.09	? (TO) TT=2400.08	? (TO) TT=2415.8	? TT=1760.7
BinPacking/ BinPacking-mdd-sw120/ BinPacking-mdd-sw120-83.xml	SAT TO f=0 TT=2400.07 T1=3.64	SAT (TO) f=0 TT=2520.02 T1=29.78	SAT (TO) f=0 TT=20001.5 T1=13.89	SAT (TO) f=0 TT=20010.4 T1=13.4	? (TO) TT=2520.07	? (TO) TT=2520.09	? (TO) TT=2520.12	? (TO) TT=2520.03	? (TO) TT=2522.7	SAT (TO) f=0 TT=2519.86 T1=3.64	? (TO) TT=2519.84	SAT (TO) f=0 TT=2519.79 T1=75.75	? (TO) TT=2520.09	? (TO) TT=2520.07	? (TO) TT=2520.09	? (TO) TT=2589.08	? (TO) TT=2583.64	SAT (TO) f=0 TT=2400.1 T1=29.68	SAT (TO) f=0 TT=2400.23 T1=15.21	SAT (TO) f=0 TT=2400.57 T1=15.48	? (TO) TT=2406.06	? (TO) TT=2400.05	? (TO) TT=2400.06	SAT (TO) f=0 TT=2400.07 T1=77.08	? (TO) TT=2400.06	? (TO) TT=2400.1	? (TO) TT=2400.11	? (TO) TT=2416.14	? TT=1736.59
BinPacking/ BinPacking-mdd-sw120/ BinPacking-mdd-sw120-91.xml	SAT TO f=0 TT=2400.08 T1=2.15	SAT (TO) f=0 TT=2520.03 T1=9.78	SAT (TO) f=0 TT=20002.9 T1=11.81	SAT (TO) f=0 TT=20023.801 T1=12.33	SAT (TO) f=0 TT=2520.1 T1=39.39	SAT (TO) f=0 TT=2520.06 T1=38.96	SAT (TO) f=0 TT=2520.11 T1=38.87	SAT (TO) f=0 TT=2520.03 T1=40.37	SAT (TO) f=0 TT=2520.07 T1=729.87	SAT (TO) f=0 TT=2520.02 T1=7.19	SAT (TO) f=0 TT=2519.91 T1=12.29	SAT (TO) f=0 TT=2519.74 T1=2.16	? (TO) TT=2520.05	? (TO) TT=2520.12	? (TO) TT=2520.07	? (TO) TT=2574.1	? (TO) TT=2570.96	SAT (TO) f=0 TT=2400.1 T1=9.38	SAT (TO) f=0 TT=2400.46 T1=12.87	SAT (TO) f=0 TT=2400.3 T1=14.3	SAT (TO) f=0 TT=2400.12 T1=773.96	? (TO) TT=2400.03	? (TO) TT=2400.03	SAT (TO) f=0 TT=2400.08 T1=2.15	? (TO) TT=2400.07	? (TO) TT=2400.1	? (TO) TT=2400.04	? (TO) TT=2416.38	? TT=1697.84
BinPacking/ BinPacking-mdd-sw120/ BinPacking-mdd-sw120-99.xml	SAT TO f=0 TT=2400.11 T1=188.58	SAT (TO) f=0 TT=2520.1 T1=198.48	SAT (TO) f=0 TT=20008.4 T1=1407.81	SAT (TO) f=0 TT=20008.801 T1=1039.39	? (TO) TT=2520.05	? (TO) TT=2520.12	? (TO) TT=2520.08	? (TO) TT=2520.04	SAT (TO) f=0 TT=2520.14 T1=1971.68	? (TO) TT=2519.78	? (TO) TT=2519.77	? (TO) TT=2520.02	? (TO) TT=2520.11	? (TO) TT=2520.04	? (TO) TT=2520.07	? (TO) TT=2564.41	? (TO) TT=2557.06	SAT (TO) f=0 TT=2400.11 T1=188.58	? (TO) TT=2400.15	? (TO) TT=2400.44	SAT (TO) f=0 TT=2400.11 T1=1983.2	? (TO) TT=2400.08	? (TO) TT=2400.06	? (TO) TT=2400.06	? (TO) TT=2400.09	? (TO) TT=2400.12	? (TO) TT=2400.11	? (TO) TT=2416.34	? TT=1658.71
BinPacking/ BinPacking-sum-ft/ BinPacking-sum-ft060-11.xml	SAT TO f=2 TT=2400.03 T1=1.61	SAT (TO) f=2 TT=2520.08 T1=47.9	SAT (TO) f=2 TT=20078.5 T1=3.55	SAT (TO) f=2 TT=20068.1 T1=4.52	? (TO) TT=2520.09	? (TO) TT=2520.08	? (TO) TT=2520.16	? (TO) TT=2520.11	SAT (TO) f=2 TT=2520.1 T1=14.69	? (TO) TT=2520.08	? (TO) TT=2519.92	SAT (TO) f=2 TT=2520.09 T1=1.63	? (TO) TT=2520.06	? (TO) TT=2520.11	? (TO) TT=2520.05	? (TO) TT=19880.4	? (TO) TT=19894	SAT (TO) f=2 TT=2400.03 T1=47.88	SAT (TO) f=2 TT=2400.57 T1=6.6	SAT (TO) f=2 TT=2400.34 T1=6.84	SAT (TO) f=2 TT=2400.11 T1=15.38	? (TO) TT=2400.04	? (TO) TT=2400.04	SAT (TO) f=2 TT=2400.06 T1=1.61	? (TO) TT=2400.06	? (TO) TT=2400.02	? (TO) TT=2400.06	SAT (TO) f=0 TT=2400.23 T1=1946.51	SAT (TO) f=0 TT=2520.27 T1=1887.51
BinPacking/ BinPacking-sum-s28/ BinPacking-sum-s28-561.xml		? (TO) TT=2520.06	? (TO) TT=20055.301	? (TO) TT=20053.1	? (TO) TT=2520.12	? (TO) TT=2520.07	? (TO) TT=2520.56	? (TO) TT=2520.11	? (TO) TT=2523.62	? (TO) TT=2520.04	? (TO) TT=2520.01	? (TO) TT=2519.99	? (TO) TT=2520.09	? (TO) TT=2520.08	? (TO) TT=2520.1	? (TO) TT=19788.699	? (TO) TT=19821.4	? (TO) TT=2400.12	? (TO) TT=2400.7	? (TO) TT=2400.24	? (TO) TT=2406.43	? (TO) TT=2400.09	? (TO) TT=2400.04	? (TO) TT=2400.01	? (TO) TT=2400.11	? (TO) TT=2400.08	? (TO) TT=2400.09	? (TO) TT=2416.07	? (problem) TT=1423.87
BinPacking/ BinPacking-sum-skj1/ BinPacking-sum-n1c3w4d.xml	OPT f=8 TT=75.977 T1=34.04	SAT (TO) f=6 TT=2520.1 T1=805.05	SAT (TO) f=8 TT=20070.4 T1=430.84	SAT (TO) f=8 TT=20065.4 T1=441.84	? (TO) TT=2520.07	? (TO) TT=2520.06	? (TO) TT=2520.09	? (TO) TT=2520.04	? (TO) TT=2520.64	? (TO) TT=2520.01	? (TO) TT=2519.76	OPT f=8 TT=75.977 T1=34.04	? (TO) TT=2520.06	? (TO) TT=2520.1	? (TO) TT=2520.04	SAT (TO) f=5 TT=14647.5 T1=816.53	SAT (TO) f=5 TT=14920.1 T1=352.76	SAT (TO) f=6 TT=2400.07 T1=818.06	SAT (TO) f=7 TT=2400.71 T1=45.43	SAT (TO) f=7 TT=2400.1 T1=44.68	? (TO) TT=2401.27	? (TO) TT=2400.09	? (TO) TT=2400.03	OPT f=8 TT=77.025 T1=34.69	? (TO) TT=2400.11	? (TO) TT=2400.04	? (TO) TT=2400.1	SAT (TO) f=1 TT=2403.18 T1=2283.06	? (TO) TT=2520.16
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
BinPacking/ BinPacking-sum-skj1/ BinPacking-sum-n1c3w4r.xml	OPT f=7 TT=1984.32 T1=1411.43	SAT (TO) f=4 TT=2520.11 T1=98.71	SAT (TO) f=7 TT=20091.6 T1=52.6	SAT (TO) f=7 TT=20077.699 T1=53.08	? (TO) TT=2520.05	? (TO) TT=2520.05	? (TO) TT=2520.09	? (TO) TT=2520.11	? (TO) TT=2520.59	? (TO) TT=2519.77	? (TO) TT=2520.06	SAT (TO) f=7 TT=2519.85 T1=3.83	SAT (TO) f=7 TT=2520.03 T1=44.05	SAT (TO) f=7 TT=2520.08 T1=45.14	SAT (TO) f=7 TT=2520.06 T1=46.94	SAT (TO) f=6 TT=11590.9 T1=60.53	SAT (TO) f=6 TT=18681 T1=9926.04	SAT (TO) f=4 TT=2400.04 T1=99.03	SAT (TO) f=6 TT=2400.73 T1=183.79	SAT (TO) f=6 TT=2400.59 T1=250.3	? (TO) TT=2401.21	? (TO) TT=2400.06	? (TO) TT=2400.06	SAT (TO) f=7 TT=2400.05 T1=3.87	SAT (TO) f=7 TT=2400.09 T1=86.11	SAT (TO) f=7 TT=2400.13 T1=46.24	SAT (TO) f=7 TT=2400.07 T1=47.74	OPT f=7 TT=1984.32 T1=1411.43	OPT f=7 TT=2177.37 T1=1554.78
BinPacking/ BinPacking-sum-skj1/ BinPacking-sum-n3c3w4h.xml	SAT TO f=33 TT=20094.801 T1=5.57	? (TO) TT=2520.05	SAT (TO) f=33 TT=20102.199 T1=4.82	SAT (TO) f=33 TT=20094.801 T1=5.57	? (TO) TT=2520.03	? (TO) TT=2520.07	? (TO) TT=2520.11	? (TO) TT=2520.05	? (TO) TT=2521.1	? (TO) TT=2520.02	? (TO) TT=2519.87	? (TO) TT=2520.1	? (TO) TT=2520.06	? (TO) TT=2520.09	? (TO) TT=2520.11	? (TO) TT=19923.699	? (TO) TT=19940.1	? (TO) TT=2400.06	SAT (TO) f=32 TT=2400.18 T1=1.74	SAT (TO) f=32 TT=2400.58 T1=2.02	? (TO) TT=2402.49	? (TO) TT=2400.07	? (TO) TT=2400.08	? (TO) TT=2400.03	? (TO) TT=2400.07	? (TO) TT=2400.08	? (TO) TT=2400.11	? (TO) TT=2400.19	? (TO) TT=2520.2
BinPacking/ BinPacking-sum-skj1/ BinPacking-sum-n4c2w2n.xml	SAT TO f=87 TT=20045.199 T1=6.95	? (TO) TT=2520.03	SAT (TO) f=87 TT=20029.199 T1=9.33	SAT (TO) f=87 TT=20045.199 T1=6.95	? (TO) TT=2520.05	? (TO) TT=2520.14	? (TO) TT=2520.02	? (TO) TT=2520.04	? (TO) TT=2522.02	? (TO) TT=2520.06	? (TO) TT=2519.83	? (TO) TT=2519.78	? (TO) TT=2520.07	? (TO) TT=2520.08	? (TO) TT=2520.08	? (TO) TT=19645.1	? (TO) TT=19647.801	? (TO) TT=2400.06	SAT (TO) f=87 TT=2400.1 T1=11.52	SAT (TO) f=87 TT=2400.57 T1=13.38	? (TO) TT=2407.25	? (TO) TT=2400.08	? (TO) TT=2400.06	? (TO) TT=2400.11	? (TO) TT=2400.12	? (TO) TT=2400.05	? (TO) TT=2400.13	? (TO) TT=2415.89	? TT=1429.88
BinPacking/ BinPacking-sum-skj1/ BinPacking-sum-n4c3w4o.xml	SAT TO f=93 TT=20067.6 T1=5.41	? (TO) TT=2520.09	SAT (TO) f=93 TT=20062.6 T1=5.06	SAT (TO) f=93 TT=20067.6 T1=5.41	? (TO) TT=2520.02	? (TO) TT=2520.09	? (TO) TT=2520.06	? (TO) TT=2520.05	? (TO) TT=2521.97	? (TO) TT=2520.02	? (TO) TT=2519.89	? (TO) TT=2520.08	? (TO) TT=2520.07	? (TO) TT=2520.04	? (TO) TT=2520.08	? (TO) TT=19928.1	? (TO) TT=19910.801	? (TO) TT=2400.03	SAT (TO) f=94 TT=2400.36 T1=68.68	SAT (TO) f=94 TT=2400.01 T1=67.53	? (TO) TT=2404.76	? (TO) TT=2400.08	? (TO) TT=2400.01	? (TO) TT=2400.07	? (TO) TT=2400.08	? (TO) TT=2400.1	? (TO) TT=2400.1	? (TO) TT=2416.38	? TT=1749.71
BinPacking/ BinPacking-sum-skj2/ BinPacking-sum-n1w4b2r0.xml		? (TO) TT=2520.07	? (TO) TT=20081.4	? (TO) TT=20064	? (TO) TT=2520.04	? (TO) TT=2520.12	? (TO) TT=2520.07	? (TO) TT=2520.06	? (TO) TT=2520.6	? (TO) TT=2519.75	? (TO) TT=2519.7	? (TO) TT=2520.02	? (TO) TT=2520.02	? (TO) TT=2520.08	? (TO) TT=2520.05	? (TO) TT=19876.699	? (TO) TT=19881.4	? (TO) TT=2400.06	? (TO) TT=2400.04	? (TO) TT=2400.62	? (TO) TT=2401.11	? (TO) TT=2400.08	? (TO) TT=2400.07	? (TO) TT=2400.03	? (TO) TT=2400.1	? (TO) TT=2400.03	? (TO) TT=2400.09	? (TO) TT=2400.21	? (TO) TT=2520.15
BinPacking/ BinPacking-sum-skj2/ BinPacking-sum-n1w4b3r4.xml		? (TO) TT=2520.03	? (TO) TT=20075.9	? (TO) TT=20060.699	? (TO) TT=2520.08	? (TO) TT=2520.07	? (TO) TT=2520.13	? (TO) TT=2520.03	? (TO) TT=2520.7	? (TO) TT=2519.73	? (TO) TT=2520.04	? (TO) TT=2519.64	? (TO) TT=2520.07	? (TO) TT=2520.05	? (TO) TT=2520.09	? (TO) TT=19855.801	? (TO) TT=19882.5	? (TO) TT=2400.08	? (TO) TT=2400.5	? (TO) TT=2400.45	? (TO) TT=2401.41	? (TO) TT=2400.04	? (TO) TT=2400.07	? (TO) TT=2400.05	? (TO) TT=2400.07	? (TO) TT=2400.1	? (TO) TT=2400.04	? (TO) TT=2400.18	? (TO) TT=2520.15
BinPacking/ BinPacking-sum-skj2/ BinPacking-sum-n2w3b3r1.xml	SAT TO f=0 TT=20085.1 T1=579.21	? (TO) TT=2520.04	? (TO) TT=20107.4	SAT (TO) f=0 TT=20085.1 T1=579.21	? (TO) TT=2520.12	? (TO) TT=2520.11	? (TO) TT=2520.02	? (TO) TT=2520.06	? (TO) TT=2520.98	? (TO) TT=2520.11	? (TO) TT=2519.78	? (TO) TT=2519.73	? (TO) TT=2520.11	? (TO) TT=2520.05	? (TO) TT=2520.1	? (TO) TT=19918	? (TO) TT=19899.4	? (TO) TT=2400.04	? (TO) TT=2400.68	? (TO) TT=2400.43	? (TO) TT=2402.27	? (TO) TT=2400.07	? (TO) TT=2400.05	? (TO) TT=2400.06	? (TO) TT=2400.08	? (TO) TT=2400.09	? (TO) TT=2400.06	? (TO) TT=2416.16	? TT=1622.15
BinPacking/ BinPacking-sum-skj2/ BinPacking-sum-n2w4b2r4.xml	SAT TO f=0 TT=20086.801 T1=87.49	? (TO) TT=2520.08	SAT (TO) f=0 TT=20101.6 T1=6.44	SAT (TO) f=0 TT=20086.801 T1=87.49	? (TO) TT=2520.05	? (TO) TT=2520.1	? (TO) TT=2520.03	? (TO) TT=2520.09	? (TO) TT=2520.73	? (TO) TT=2520.04	? (TO) TT=2520.07	? (TO) TT=2519.79	? (TO) TT=2520.11	? (TO) TT=2520.07	? (TO) TT=2520.05	? (TO) TT=19880.6	? (TO) TT=19888.9	? (TO) TT=2400.05	SAT (TO) f=0 TT=2400.3 T1=189.24	SAT (TO) f=0 TT=2400.35 T1=181.2	? (TO) TT=2401.51	? (TO) TT=2400.04	? (TO) TT=2400.09	? (TO) TT=2400.08	? (TO) TT=2400.11	? (TO) TT=2400.07	? (TO) TT=2400.04	? (TO) TT=2400.14	? (TO) TT=2520.19
BinPacking/ BinPacking-sum-skj2/ BinPacking-sum-n3w3b3r7.xml		? (TO) TT=2520.11	? (TO) TT=20075.1	? (TO) TT=20064.5	? (TO) TT=2520.04	? (TO) TT=2520.11	? (TO) TT=2520.08	? (TO) TT=2520.03	? (TO) TT=2521.82	? (TO) TT=2519.98	? (TO) TT=2519.88	? (TO) TT=2519.93	? (TO) TT=2520.05	? (TO) TT=2520.12	? (TO) TT=2520.09	? (TO) TT=19934	? (TO) TT=19958.199	? (TO) TT=2400.11	? (TO) TT=2400.55	? (TO) TT=2400.38	? (TO) TT=2405.6	? (TO) TT=2400.04	? (TO) TT=2400.12	? (TO) TT=2400.01	? (TO) TT=2400.04	? (TO) TT=2400.02	? (TO) TT=2400.09	? (TO) TT=2416.33	? TT=1451.42
BinPacking/ BinPacking-sum-skj2/ BinPacking-sum-n3w4b3r3.xml		? (TO) TT=2520.07	? (TO) TT=20093.301	? (TO) TT=20094.9	? (TO) TT=2520.02	? (TO) TT=2520.08	? (TO) TT=2520.09	? (TO) TT=2520.04	? (TO) TT=2522.01	? (TO) TT=2520.05	? (TO) TT=2519.86	? (TO) TT=2520.03	? (TO) TT=2520.08	? (TO) TT=2520.11	? (TO) TT=2520.1	? (TO) TT=19935	? (TO) TT=19943.199	? (TO) TT=2400.1	? (TO) TT=2400.75	? (TO) TT=2400.77	? (TO) TT=2405.31	? (TO) TT=2400.04	? (TO) TT=2400.03	? (TO) TT=2400.02	? (TO) TT=2400.11	? (TO) TT=2400.1	? (TO) TT=2400.02	? (TO) TT=2416.35	? (problem) TT=1482.34
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
BinPacking/ BinPacking-sum-skj2/ BinPacking-sum-n4w2b3r4.xml		? (TO) TT=2520.07	? (TO) TT=20028.801	? (TO) TT=20026.801	? (TO) TT=2520.05	? (TO) TT=2520.11	? (TO) TT=2520.12	? (TO) TT=2520.1	? (TO) TT=2525.9	? (TO) TT=2520.05	? (TO) TT=2519.8	? (TO) TT=2519.93	? (TO) TT=2520.11	? (TO) TT=2520.11	? (TO) TT=2520.09	? (TO) TT=19886.801	? (TO) TT=19896	? (TO) TT=2400.05	? (TO) TT=2400.23	? (TO) TT=2400.34	? (TO) TT=2415.52	? (TO) TT=2400.04	? (TO) TT=2400.09	? (TO) TT=2400.1	? (TO) TT=2400.05	? (TO) TT=2400.06	? (TO) TT=2400.1	? (TO) TT=2416.11	? (problem) TT=1407.86
BinPacking/ BinPacking-sum-skj2/ BinPacking-sum-n4w3b2r8.xml		? (TO) TT=2520.06	? (TO) TT=20074.199	? (TO) TT=20054.199	? (TO) TT=2520.09	? (TO) TT=2520.04	? (TO) TT=2520.11	? (TO) TT=2520.04	? (TO) TT=2522.68	? (TO) TT=2520.04	? (TO) TT=2519.98	? (TO) TT=2519.93	? (TO) TT=2520.06	? (TO) TT=2520.05	? (TO) TT=2520.11	? (TO) TT=19925.301	? (TO) TT=19955.1	? (TO) TT=2400.04	? (TO) TT=2400.37	? (TO) TT=2400.2	? (TO) TT=2406.06	? (TO) TT=2400.05	? (TO) TT=2400.01	? (TO) TT=2400.08	? (TO) TT=2400.12	? (TO) TT=2400.11	? (TO) TT=2400.08	? (TO) TT=2416.24	? TT=1464.75
BinPacking/ BinPacking-sum-skj2/ BinPacking-sum-n4w4b3r4.xml		? (TO) TT=2520.12	? (TO) TT=19986.1	? (TO) TT=19970	? (TO) TT=2520.13	? (TO) TT=2520.07	? (TO) TT=2520.06	? (TO) TT=2520.03	? (TO) TT=2524.37	? (TO) TT=2519.61	? (TO) TT=2519.87	? (TO) TT=2519.65	? (TO) TT=2520.03	? (TO) TT=2520.03	? (TO) TT=2520.06	? (TO) TT=19852.5	? (TO) TT=19844.301	? (TO) TT=2400.1	? (TO) TT=2400.43	? (TO) TT=2400.77	? (TO) TT=2408.35	? (TO) TT=2400.01	? (TO) TT=2400.02	? (TO) TT=2400.1	? (TO) TT=2400.03	? (TO) TT=2400.02	? (TO) TT=2400.07	? (TO) TT=2416.15	? (problem) TT=1442.48
BinPacking/ BinPacking-sum-sw100/ BinPacking-sum-sw100-11.xml		? (TO) TT=2520.04	? (TO) TT=20104.4	? (TO) TT=20072.5	? (TO) TT=2520.06	? (TO) TT=2520.09	? (TO) TT=2520.07	? (TO) TT=2520.06	? (TO) TT=2520.65	? (TO) TT=2520.02	? (TO) TT=2519.69	? (TO) TT=2519.99	? (TO) TT=2520.12	? (TO) TT=2520.05	? (TO) TT=2520.02	? (TO) TT=19876.6	? (TO) TT=19869.9	? (TO) TT=2400.04	? (TO) TT=2400.79	? (TO) TT=2400.33	? (TO) TT=2401.15	? (TO) TT=2400.02	? (TO) TT=2400.04	? (TO) TT=2400.06	? (TO) TT=2400.1	? (TO) TT=2400.07	? (TO) TT=2400.16	? (TO) TT=2400.13	? (TO) TT=2522.37
BinPacking/ BinPacking-tab-ft/ BinPacking-tab-ft060-06.xml	SAT TO f=3 TT=2400.01 T1=2.3	SAT (TO) f=3 TT=2520.11 T1=6.85	SAT (TO) f=3 TT=20097.699 T1=16.83	SAT (TO) f=3 TT=20080.9 T1=18.73	SAT (TO) f=3 TT=2520.1 T1=1718.91	SAT (TO) f=3 TT=2520.04 T1=1738.46	SAT (TO) f=3 TT=2520.05 T1=531.27	SAT (TO) f=3 TT=2520.11 T1=515.87	? (TO) TT=2520.63	SAT (TO) f=0 TT=2519.9 T1=0.27	SAT (TO) f=1 TT=2520.02 T1=624.93	SAT (TO) f=3 TT=2519.86 T1=2.3	SAT (TO) f=3 TT=2520.05 T1=7.94	SAT (TO) f=3 TT=2520.07 T1=960.94	SAT (TO) f=3 TT=2520.12 T1=9.76	SAT (TO) f=3 TT=19883.699 T1=3.37	SAT (TO) f=3 TT=19923.801 T1=12.9	SAT (TO) f=3 TT=2400.05 T1=6.86	SAT (TO) f=3 TT=2400.03 T1=15.06	SAT (TO) f=3 TT=2400.24 T1=11.17	? (TO) TT=2401.14	? (TO) TT=2400.07	? (TO) TT=2400.04	SAT (TO) f=3 TT=2400.01 T1=2.3	SAT (TO) f=3 TT=2400.1 T1=26.96	SAT (TO) f=3 TT=2400.03 T1=1005.61	SAT (TO) f=3 TT=2400.04 T1=9.01	? (TO) TT=2400.17	? (TO) TT=2520.09
BinPacking/ BinPacking-tab-ft/ BinPacking-tab-ft120-10.xml	SAT TO f=7 TT=2400.06 T1=13.18	SAT (TO) f=7 TT=2520.07 T1=162.86	SAT (TO) f=5 TT=19951.301 T1=168.42	SAT (TO) f=7 TT=19983.4 T1=760.34	? (TO) TT=2520.05	? (TO) TT=2520.07	SAT (TO) f=0 TT=2520.12 T1=816.08	SAT (TO) f=0 TT=2520.12 T1=836.46	? (TO) TT=2521.16	? (TO) TT=2519.72	? (TO) TT=2519.8	SAT (TO) f=7 TT=2520.03 T1=434.99	SAT (TO) f=7 TT=2520.13 T1=696.62	SAT (TO) f=6 TT=2520.12 T1=17.85	SAT (TO) f=7 TT=2520.04 T1=454.26	SAT (TO) f=7 TT=20040.9 T1=13.18	SAT (TO) f=7 TT=20037.6 T1=128.59	SAT (TO) f=7 TT=2400.06 T1=161.71	SAT (TO) f=7 TT=2400.74 T1=281.73	SAT (TO) f=7 TT=2400.57 T1=311.51	? (TO) TT=2402.8	? (TO) TT=2400.07	? (TO) TT=2400.07	SAT (TO) f=7 TT=2400.1 T1=408.99	SAT (TO) f=7 TT=2400.12 T1=1587.04	SAT (TO) f=6 TT=2400.03 T1=18.24	SAT (TO) f=7 TT=2400.09 T1=343.63	? TT=1125.02	? TT=493.992
BinPacking/ BinPacking-tab-ft/ BinPacking-tab-ft120-15.xml	SAT TO f=6 TT=2400.05 T1=11.02	SAT (TO) f=6 TT=2520.11 T1=277.3	SAT (TO) f=4 TT=19984.199 T1=489.28	SAT (TO) f=6 TT=19972.801 T1=1700.41	SAT (TO) f=0 TT=2520.02 T1=284.4	SAT (TO) f=0 TT=2520.09 T1=285.07	SAT (TO) f=0 TT=2520.07 T1=294.32	SAT (TO) f=0 TT=2520.08 T1=297.53	? (TO) TT=2521.3	? (TO) TT=2520.04	? (TO) TT=2520.1	SAT (TO) f=6 TT=2519.94 T1=664.59	SAT (TO) f=6 TT=2520.09 T1=355.67	SAT (TO) f=4 TT=2520.1 T1=2.99	SAT (TO) f=6 TT=2520.07 T1=164.82	SAT (TO) f=6 TT=20049.5 T1=11.02	SAT (TO) f=6 TT=20044.4 T1=69.87	SAT (TO) f=6 TT=2400.05 T1=280.98	SAT (TO) f=6 TT=2400.06 T1=100.3	SAT (TO) f=6 TT=2400.3 T1=106.47	? (TO) TT=2402.82	? (TO) TT=2400.07	? (TO) TT=2400.1	SAT (TO) f=6 TT=2400.1 T1=709.56	SAT (TO) f=6 TT=2400.05 T1=774.5	SAT (TO) f=4 TT=2400.11 T1=2.81	SAT (TO) f=6 TT=2400.05 T1=306.28	? TT=1028.01	? TT=487.734
BinPacking/ BinPacking-tab-ft/ BinPacking-tab-ft120-19.xml	SAT TO f=6 TT=2400.07 T1=12.35	SAT (TO) f=6 TT=2520.06 T1=70.73	SAT (TO) f=5 TT=19997.699 T1=1438.54	SAT (TO) f=5 TT=19981.199 T1=742.1	SAT (TO) f=0 TT=2520.11 T1=412.64	SAT (TO) f=0 TT=2520.1 T1=413.63	SAT (TO) f=1 TT=2520.1 T1=1128.8	SAT (TO) f=1 TT=2520.07 T1=1145.49	? (TO) TT=2521.52	? (TO) TT=2520.03	? (TO) TT=2520.04	SAT (TO) f=6 TT=2519.68 T1=1396.71	SAT (TO) f=6 TT=2520.04 T1=695.1	SAT (TO) f=3 TT=2520.11 T1=3.57	SAT (TO) f=6 TT=2520.09 T1=309.64	SAT (TO) f=6 TT=20032.301 T1=12.35	SAT (TO) f=6 TT=20030 T1=55.61	SAT (TO) f=6 TT=2400.07 T1=70.54	SAT (TO) f=6 TT=2400.25 T1=49.52	SAT (TO) f=6 TT=2400.61 T1=49.3	? (TO) TT=2402.98	? (TO) TT=2400.03	? (TO) TT=2400.03	SAT (TO) f=6 TT=2400.1 T1=1476.86	SAT (TO) f=6 TT=2400.12 T1=1206.06	SAT (TO) f=3 TT=2400.08 T1=3.54	SAT (TO) f=6 TT=2400.11 T1=301.37	? TT=874.731	? TT=354.819
BinPacking/ BinPacking-tab-ft/ BinPacking-tab-ft249-06.xml	SAT TO f=15 TT=2400.08 T1=354.02	SAT (TO) f=5 TT=2520.09 T1=2219.95	? (TO) TT=19847.5	? (TO) TT=19808.801	? (TO) TT=2520.04	? (TO) TT=2520.08	? (TO) TT=2520.09	? (TO) TT=2520.02	? (TO) TT=2523.31	? (TO) TT=2519.36	? (TO) TT=2520	? (TO) TT=2519.94	SAT (TO) f=15 TT=2520.06 T1=926.64	SAT (TO) f=13 TT=2520.1 T1=340.65	SAT (TO) f=15 TT=2520.08 T1=354.02	? (TO) TT=2934.58	SAT (TO) f=9 TT=19628 T1=2989.39	SAT (TO) f=5 TT=2400.09 T1=2234.85	? TT=225.279	? TT=233.895	? (TO) TT=2408.99	? (TO) TT=2400.04	? (TO) TT=2400.06	? (TO) TT=2400.09	SAT (TO) f=15 TT=2400.08 T1=725.95	SAT (TO) f=13 TT=2400.06 T1=336.31	SAT (TO) f=14 TT=2400.12 T1=2300.63	? TT=970.002	? TT=444.478
BinPacking/ BinPacking-tab-ft/ BinPacking-tab-ft249-09.xml	SAT TO f=15 TT=2400.08 T1=312.32	SAT (TO) f=4 TT=2520.09 T1=1528.4	? (TO) TT=19803.199	? (TO) TT=19770.801	? (TO) TT=2520.07	? (TO) TT=2520.05	? (TO) TT=2520.11	? (TO) TT=2520.03	? (TO) TT=2527.76	? (TO) TT=2520.07	? (TO) TT=2520.05	? (TO) TT=2519.99	SAT (TO) f=15 TT=2520.11 T1=947.34	SAT (TO) f=11 TT=2520.11 T1=31.16	SAT (TO) f=15 TT=2520.05 T1=1576.38	? TT=865.23	SAT (TO) f=14 TT=19613.5 T1=4926.38	SAT (TO) f=4 TT=2400.07 T1=1531.78	? TT=248.595	? TT=246.657	? (TO) TT=2414.42	? (TO) TT=2400.1	? (TO) TT=2400.02	? (TO) TT=2400.09	SAT (TO) f=15 TT=2400.1 T1=312.32	SAT (TO) f=11 TT=2400.07 T1=29.13	SAT (TO) f=15 TT=2400.08 T1=450.77	? TT=965.147	? TT=552.334
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
BinPacking/BinPacking-tab-fu/ BinPacking-tab-fu0120-17.xml	SAT TO f=22 TT=2400.06 T1=37.39	SAT (TO) f=21 TT=2520.12 T1=79.71	? (TO) TT=20005.9	? (TO) TT=20002.4	? (TO) TT=2520.11	? (TO) TT=2520.05	? (TO) TT=2520.07	? (TO) TT=2520.07	? (TO) TT=2521.7	? (TO) TT=2519.77	? (TO) TT=2520.03	SAT (TO) f=22 TT=2519.94 T1=164.99	SAT (TO) f=22 TT=2520.07 T1=480.07	SAT (TO) f=21 TT=2520.11 T1=4.38	SAT (TO) f=22 TT=2520.08 T1=127.57	SAT (TO) f=21 TT=15035.2 T1=31.58	SAT (TO) f=22 TT=15028.7 T1=2087.86	SAT (TO) f=21 TT=2400.11 T1=76.4	? (TO) TT=2400.26	? (TO) TT=2400.12	? (TO) TT=2404.04	? (TO) TT=2400.08	? (TO) TT=2400.07	SAT (TO) f=22 TT=2400.07 T1=177.5	SAT (TO) f=22 TT=2400.06 T1=208.84	SAT (TO) f=21 TT=2400.06 T1=4.33	SAT (TO) f=22 TT=2400.09 T1=37.39	? (TO) TT=2415.76	? TT=2021.21
BinPacking/BinPacking-tab-fu/ BinPacking-tab-fu0250-08.xml	SAT TO f=41 TT=2400.07 T1=498.51	SAT (TO) f=41 TT=2520.06 T1=996.85	? (TO) TT=18866.801	? (TO) TT=18956.801	? (TO) TT=2520.09	? (TO) TT=2520.12	? (TO) TT=2520.04	? (TO) TT=2520.11	? (TO) TT=2524.41	? (TO) TT=2520.08	? (TO) TT=2520.08	? (TO) TT=2519.94	SAT (TO) f=41 TT=2520.14 T1=1657.69	SAT (TO) f=37 TT=2520.06 T1=44.88	SAT (TO) f=41 TT=2520.14 T1=498.51	SAT (TO) f=39 TT=17944 T1=832.87	SAT (TO) f=35 TT=17948.4 T1=17890.15	SAT (TO) f=41 TT=2400.11 T1=1011.17	? (TO) TT=2400.42	? (TO) TT=2400.76	? (TO) TT=2408.97	? (TO) TT=2400.06	? (TO) TT=2400.06	? (TO) TT=2400.1	SAT (TO) f=41 TT=2400.2 T1=1051.17	SAT (TO) f=37 TT=2400.13 T1=45.44	SAT (TO) f=41 TT=2400.07 T1=647.49	? (TO) TT=2416.53	? TT=2087.12
BinPacking/BinPacking-tab-fu/ BinPacking-tab-fu0250-15.xml	SAT TO f=37 TT=2400.1 T1=1408.03	SAT (TO) f=37 TT=2520.05 T1=1416.99	? (TO) TT=18735.801	? (TO) TT=18797.6	? (TO) TT=2520.09	? (TO) TT=2520.1	? (TO) TT=2520.08	? (TO) TT=2520.09	? (TO) TT=2525.45	? (TO) TT=2519.76	? (TO) TT=2520.08	? (TO) TT=2519.67	? (TO) TT=2520.11	? (TO) TT=2520.06	? (TO) TT=2520.1	SAT (TO) f=36 TT=3898.33 T1=404.25	SAT (TO) f=36 TT=2944.32 T1=811.88	SAT (TO) f=37 TT=2400.1 T1=1408.03	? TT=461.844	? TT=538.065	? (TO) TT=2412.34	? (TO) TT=2400.07	? (TO) TT=2400.06	? (TO) TT=2400.05	? (TO) TT=2400.08	? (TO) TT=2400.08	? (TO) TT=2400.1	? TT=2363.03	? TT=1198.71
BinPacking/BinPacking-tab-fu/ BinPacking-tab-fu0500-09.xml	SAT TO f=75 TT=2400.11 T1=1143.2	SAT (TO) f=56 TT=2520.07 T1=1809.93	? TT=820.424	? TT=750.465	? (TO) TT=2520.09	? (TO) TT=2520.27	? (TO) TT=2520.05	? (TO) TT=2520.13	? (TO) TT=2527.82	? (TO) TT=2519.84	? (TO) TT=2519.92	? (TO) TT=2520.19	SAT (TO) f=75 TT=2520.07 T1=1143.2	SAT (TO) f=69 TT=2520.12 T1=856.89	SAT (TO) f=75 TT=2520.12 T1=1572.69	? TT=2729.19	? TT=3444.42	SAT (TO) f=56 TT=2400.05 T1=1826.48	? TT=435.212	? TT=423.516	? (TO) TT=2415.38	? (TO) TT=2400.05	? (TO) TT=2400.02	? (TO) TT=2400.18	SAT (TO) f=74 TT=2400.53 T1=1376.74	SAT (TO) f=69 TT=2400.11 T1=858.12	SAT (TO) f=75 TT=2400.11 T1=1364.08	? (TO) TT=2415.24	? TT=2322.61
BinPacking/BinPacking-tab-fu/ BinPacking-tab-fu0500-12.xml	SAT TO f=73 TT=2520.08 T1=2119.45	SAT (TO) f=71 TT=2520.09 T1=2181.37	? TT=706.875	? (TO) TT=11315.4	? (TO) TT=2520.05	? (TO) TT=2520.08	? (TO) TT=2520.06	? (TO) TT=2520.1	? (TO) TT=2527.92	? (TO) TT=2519.97	? (TO) TT=2520	? (TO) TT=2520.16	SAT (TO) f=73 TT=2520.08 T1=2119.45	SAT (TO) f=55 TT=2520.08 T1=175	SAT (TO) f=72 TT=2520.32 T1=1120.19	? TT=1736.15	? TT=2473.28	SAT (TO) f=71 TT=2400.08 T1=2258.66	? TT=441.368	? TT=390.719	? (TO) TT=2415.51	? (TO) TT=2400.01	? (TO) TT=2400.06	? (TO) TT=2400.19	SAT (TO) f=72 TT=2400.07 T1=675.55	SAT (TO) f=55 TT=2400.13 T1=177.24	SAT (TO) f=72 TT=2400.14 T1=1176.25	? (TO) TT=2414.77	? TT=1727.8
BinPacking/ BinPacking-tab-sw100/ BinPacking-tab-sw100-15.xml	SAT TO f=0 TT=2400.09 T1=30.77	SAT (TO) f=0 TT=2520.05 T1=30.77	? (TO) TT=15932.3	? TT=559.353	? TT=146.398	SAT (TO) f=0 TT=2520.12 T1=175.38	SAT (TO) f=0 TT=2521.94 T1=187.98	? TT=142.932	? (TO) TT=2521.99	SAT (TO) f=0 TT=2520.09 T1=35.08	? (TO) TT=2520.03	SAT (TO) f=0 TT=2519.95 T1=34.85	SAT (TO) f=0 TT=2520.15 T1=65.99	SAT (TO) f=0 TT=2520.1 T1=64.98	SAT (TO) f=0 TT=2520.09 T1=60.39	? TT=1189.53	? TT=2200.96	SAT (TO) f=0 TT=2400.13 T1=32.46	? TT=233.425	? TT=214.394	? (TO) TT=2406.46	? (TO) TT=2400.01	? (TO) TT=2400.08	SAT (TO) f=0 TT=2400.13 T1=34.96	SAT (TO) f=0 TT=2400.09 T1=67.95	SAT (TO) f=0 TT=2400.09 T1=75.84	SAT (TO) f=0 TT=2400.12 T1=63.88	? (TO) TT=2416.11	? TT=1688.13
BinPacking/ BinPacking-tab-sw100/ BinPacking-tab-sw100-74.xml	SAT TO f=1 TT=2400.06 T1=96.09	SAT (TO) f=1 TT=2520.04 T1=875.04	? TT=484.257	? TT=492.621	SAT (TO) f=0 TT=2520.12 T1=159.09	SAT (TO) f=0 TT=2520.09 T1=158.66	SAT (TO) f=0 TT=2520.14 T1=171.85	SAT (TO) f=0 TT=2520.08 T1=173.38	SAT (TO) f=1 TT=2520.06 T1=493.57	SAT (TO) f=0 TT=2520.08 T1=155.56	SAT (TO) f=0 TT=2520.04 T1=612.12	SAT (TO) f=0 TT=2520 T1=258.59	SAT (TO) f=1 TT=2520.07 T1=149.07	SAT (TO) f=0 TT=2520.09 T1=37.33	SAT (TO) f=1 TT=2520.04 T1=169.79	? TT=1172.01	? (TO) TT=16464.301	SAT (TO) f=1 TT=2400.12 T1=891.76	? TT=219.443	? TT=225.216	SAT (TO) f=1 TT=2400.09 T1=491.1	? (TO) TT=2400.08	? (TO) TT=2400.01	SAT (TO) f=0 TT=2400.09 T1=262.84	SAT (TO) f=1 TT=2400.06 T1=102.24	SAT (TO) f=0 TT=2400.16 T1=35.32	SAT (TO) f=1 TT=2400.1 T1=96.09	? (TO) TT=2415.7	? TT=2081.48
BinPacking/ BinPacking-tab-sw120/ BinPacking-tab-sw120-10.xml	OPT f=1 TT=679.957 T1=85.19	OPT f=1 TT=679.957 T1=85.19	? TT=493.844	? TT=516.101	? TT=163.708	? TT=164.959	? TT=174.503	? TT=139.487	SAT (TO) f=0 TT=2520.09 T1=266.15	SAT (TO) f=0 TT=2520.09 T1=749.46	? (TO) TT=2520.01	SAT (TO) f=0 TT=2520.02 T1=2244.94	SAT (TO) f=0 TT=2523.74 T1=96.62	SAT (TO) f=1 TT=2520.11 T1=280.94	SAT (TO) f=0 TT=2520.14 T1=89.18	? TT=1525.24	? TT=3343.74	OPT f=1 TT=713.808 T1=88.23	? TT=264.223	? TT=258.441	SAT (TO) f=0 TT=2400.09 T1=275.96	? (TO) TT=2400.07	? (TO) TT=2400.12	SAT (TO) f=0 TT=2400.33 T1=2284.31	SAT (TO) f=0 TT=2403.62 T1=102.14	SAT (TO) f=1 TT=2400.09 T1=303.71	SAT (TO) f=0 TT=2400.15 T1=117.46	? (TO) TT=2416.15	? (TO) TT=2527.99
BinPacking/ BinPacking-tab-sw120/ BinPacking-tab-sw120-31.xml	SAT TO f=0 TT=2400.04 T1=45.29	SAT (TO) f=0 TT=2520.09 T1=45.29	? TT=496.891	? TT=487.467	? TT=147.268	? TT=164.799	? TT=144.811	? TT=150.738	SAT (TO) f=0 TT=2520.09 T1=515.25	? (TO) TT=2520.09	? (TO) TT=2519.64	? (TO) TT=2520.14	SAT (TO) f=0 TT=2520.12 T1=82.67	SAT (TO) f=0 TT=2520.16 T1=78.31	SAT (TO) f=0 TT=2520.07 T1=87.99	? TT=1473.98	? TT=2131.79	SAT (TO) f=0 TT=2400.04 T1=48.74	? TT=215.772	? TT=212.066	SAT (TO) f=0 TT=2400.08 T1=622.26	? (TO) TT=2400.06	? (TO) TT=2400.1	? (TO) TT=2400.47	SAT (TO) f=0 TT=2400.09 T1=80.7	SAT (TO) f=0 TT=2400.12 T1=82.79	SAT (TO) f=0 TT=2400.15 T1=79.64	? (TO) TT=2416.29	? TT=1519.73
BinPacking/ BinPacking-tab-sw120/ BinPacking-tab-sw120-41.xml	SAT TO f=0 TT=2400.14 T1=47.6	SAT (TO) f=0 TT=2520.05 T1=47.6	? TT=483.238	? TT=446.89	? TT=159.307	? TT=149.041	? TT=167.691	? TT=159.293	? (TO) TT=2522.36	? (TO) TT=2520.09	? (TO) TT=2519.88	? (TO) TT=2520.22	SAT (TO) f=0 TT=2520.1 T1=85.74	SAT (TO) f=0 TT=2520.09 T1=90.01	SAT (TO) f=0 TT=2520.13 T1=88.16	? TT=1118.87	? TT=2513.38	SAT (TO) f=0 TT=2400.17 T1=50.93	? TT=241.483	? TT=240.988	? (TO) TT=2405.32	? (TO) TT=2400.09	? (TO) TT=2400.06	? (TO) TT=2400.37	SAT (TO) f=0 TT=2406.17 T1=92.48	SAT (TO) f=0 TT=2400.14 T1=87.08	SAT (TO) f=0 TT=2403.61 T1=88.75	? (TO) TT=2416.24	? TT=1176.04
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
BinPacking/ BinPacking-tab-sw120/ BinPacking-tab-sw120-50.xml	SAT TO f=0 TT=2400.08 T1=51.49	SAT (TO) f=0 TT=2520.06 T1=62.79	? TT=507.982	? TT=509.645	? TT=155.335	? TT=156.367	? TT=157.693	? TT=166.441	SAT (TO) f=0 TT=2520.15 T1=2391.59	SAT (TO) f=0 TT=2520.07 T1=51.49	? (TO) TT=2520.03	? (TO) TT=2520.12	SAT (TO) f=0 TT=2520.14 T1=83.79	SAT (TO) f=0 TT=2520.33 T1=87.66	SAT (TO) f=0 TT=2520.1 T1=89.87	? TT=1011.76	? TT=2547.81	SAT (TO) f=0 TT=2414.83 T1=66.31	? TT=229.384	? TT=221.764	? (TO) TT=2406.68	? (TO) TT=2400.09	? (TO) TT=2400.04	? (TO) TT=2400.49	SAT (TO) f=0 TT=2408.39 T1=90.98	SAT (TO) f=0 TT=2400.08 T1=102.74	SAT (TO) f=0 TT=2400.13 T1=89.85	? (TO) TT=2415.66	? (TO) TT=2527.92
BusScheduling/ BusScheduling-cnt-s1/ BusScheduling-cnt-c1a.xml	SAT TO f=29 TT=2400.1 T1=67.42	SAT (TO) f=30 TT=2520.1 T1=663.15	SAT (TO) f=36 TT=20100.199 T1=2.54	SAT (TO) f=36 TT=20095.5 T1=2.51	? (TO) TT=2520.03	? (TO) TT=2520.07	? (TO) TT=2520.1	? (TO) TT=2520.06	SAT (TO) f=29 TT=2520.08 T1=69.25	? (TO) TT=2520.09	? (TO) TT=2520.03	SAT (TO) f=29 TT=2520.07 T1=182.11	? (TO) TT=2520.08	? TT=2519.53	? (TO) TT=2520.2	SAT (TO) f=31 TT=19921.5 T1=249.13	SAT (TO) f=31 TT=19914.9 T1=2007.88	SAT (TO) f=30 TT=2400.03 T1=675.77	SAT (TO) f=35 TT=2400.46 T1=142.09	SAT (TO) f=35 TT=2400.51 T1=139.08	SAT (TO) f=29 TT=2400.14 T1=67.42	? (TO) TT=2400.09	? (TO) TT=2400.08	SAT (TO) f=29 TT=2400.1 T1=176.2	? (TO) TT=2400.1	? (TO) TT=2400.1	? (TO) TT=2400.12	? (TO) TT=2400.19	? (TO) TT=2520.25
BusScheduling/ BusScheduling-cnt-s1/ BusScheduling-cnt-c1.xml	SAT TO f=28 TT=2400.07 T1=35.09	SAT (TO) f=29 TT=2520.11 T1=2462.69	SAT (TO) f=27 TT=20104.1 T1=1285.24	SAT (TO) f=28 TT=20099.6 T1=705.8	? (TO) TT=2520.12	? (TO) TT=2520.02	? (TO) TT=2520.12	? (TO) TT=2520.12	SAT (TO) f=29 TT=2520.05 T1=195.58	? (TO) TT=2519.7	? (TO) TT=2519.94	SAT (TO) f=28 TT=2519.7 T1=36.2	SAT (TO) f=33 TT=2520.05 T1=456.58	SAT f=30 TT=2519.08 T1=1649.65	SAT (TO) f=31 TT=2520.07 T1=30.8	SAT (TO) f=30 TT=19989.6 T1=1338.56	SAT (TO) f=30 TT=19982.1 T1=10461.61	SAT (TO) f=30 TT=2400.03 T1=458.13	SAT (TO) f=31 TT=2400.02 T1=42.38	SAT (TO) f=31 TT=2400.13 T1=45.23	SAT (TO) f=29 TT=2400.13 T1=201.48	? (TO) TT=2400.07	? (TO) TT=2400.08	SAT (TO) f=28 TT=2400.07 T1=35.09	SAT (TO) f=28 TT=2400.1 T1=2232.44	SAT (TO) f=30 TT=2400.04 T1=1644.15	SAT (TO) f=31 TT=2400.1 T1=30.18	? (TO) TT=2400.19	? (TO) TT=2520.78
BusScheduling/ BusScheduling-cnt-s1/ BusScheduling-cnt-r1a.xml	SAT TO f=11 TT=20073.4 T1=27.01	SAT (TO) f=12 TT=2520.08 T1=1073.16	SAT (TO) f=11 TT=20075 T1=26.71	SAT (TO) f=11 TT=20073.4 T1=27.01	SAT (TO) f=15 TT=2520.07 T1=1263.42	SAT (TO) f=15 TT=2520.08 T1=1169.99	SAT (TO) f=16 TT=2520.07 T1=847.12	SAT (TO) f=16 TT=2520.07 T1=860.66	SAT (TO) f=13 TT=2520.14 T1=21.88	SAT (TO) f=15 TT=2520.01 T1=2519.9	SAT (TO) f=15 TT=2519.77 T1=2520	SAT (TO) f=12 TT=2519.98 T1=356.93	SAT (TO) f=12 TT=2520.1 T1=78.03	SAT f=14 TT=2519.27 T1=42.34	SAT (TO) f=12 TT=2520.08 T1=42.46	SAT (TO) f=13 TT=19881.801 T1=17.57	SAT (TO) f=13 TT=19886.199 T1=23.46	SAT (TO) f=12 TT=2400.07 T1=1111.99	SAT (TO) f=11 TT=2400.71 T1=48.94	SAT (TO) f=11 TT=2400.55 T1=50.4	SAT (TO) f=13 TT=2400.1 T1=22.14	No Cert. TT=2400.1	No Cert. TT=2400.04	SAT (TO) f=12 TT=2400.1 T1=368.27	SAT (TO) f=12 TT=2400.16 T1=29.73	SAT (TO) f=14 TT=2400.1 T1=42.16	SAT (TO) f=12 TT=2400.15 T1=15.91	? (TO) TT=2400.12	? (TO) TT=2520.11
BusScheduling/ BusScheduling-cnt-s1/ BusScheduling-cnt-r1.xml	SAT TO f=11 TT=20062.9 T1=219.47	SAT (TO) f=12 TT=2520.02 T1=570	SAT (TO) f=11 TT=20071.801 T1=197.41	SAT (TO) f=11 TT=20062.9 T1=219.47	SAT (TO) f=14 TT=2520.12 T1=169.43	SAT (TO) f=14 TT=2520.1 T1=172.41	SAT (TO) f=16 TT=2520.05 T1=15.71	SAT (TO) f=15 TT=2520.09 T1=2466.69	SAT (TO) f=13 TT=2520.12 T1=36.16	SAT (TO) f=14 TT=2519.23 T1=2520	SAT (TO) f=14 TT=2519.94 T1=2520	SAT (TO) f=12 TT=2519.78 T1=54.67	SAT (TO) f=12 TT=2520.09 T1=1031.38	SAT f=14 TT=2519.16 T1=15.57	SAT (TO) f=12 TT=2520.13 T1=355.34	SAT (TO) f=13 TT=19871.1 T1=9.34	SAT (TO) f=13 TT=19890 T1=13.01	SAT (TO) f=12 TT=2400.04 T1=594	SAT (TO) f=12 TT=2400.05 T1=3.54	SAT (TO) f=12 TT=2400.37 T1=3.55	SAT (TO) f=13 TT=2400.16 T1=36.4	No Cert. TT=2400.11	SAT (TO) f=14 TT=2400.06 T1=416.72	SAT (TO) f=12 TT=2400.07 T1=51.86	SAT (TO) f=12 TT=2400.15 T1=1195.48	SAT (TO) f=14 TT=2400.14 T1=16.31	SAT (TO) f=12 TT=2400.06 T1=614.69	? (TO) TT=2400.22	? (TO) TT=2520.13
BusScheduling/ BusScheduling-cnt-s1/ BusScheduling-cnt-r2.xml	SAT TO f=14 TT=2400.04 T1=12.96	SAT (TO) f=14 TT=2520.1 T1=179.68	SAT (TO) f=14 TT=20065.9 T1=30.01	SAT (TO) f=14 TT=20071.5 T1=43.86	SAT (TO) f=17 TT=2520.04 T1=48.81	SAT (TO) f=17 TT=2520.09 T1=45.15	SAT (TO) f=18 TT=2520.11 T1=66.1	SAT (TO) f=18 TT=2520.1 T1=66.03	SAT (TO) f=14 TT=2520.13 T1=17.81	SAT (TO) f=16 TT=2519.37 T1=2520	SAT (TO) f=17 TT=2520.07 T1=2520	SAT (TO) f=14 TT=2519.79 T1=13	SAT (TO) f=15 TT=2520.1 T1=18.74	SAT f=17 TT=2518.7 T1=1.16	SAT (TO) f=14 TT=2520.11 T1=828.87	SAT (TO) f=15 TT=19855.699 T1=12.26	SAT (TO) f=15 TT=19869.1 T1=25.48	SAT (TO) f=14 TT=2400.09 T1=177.51	SAT (TO) f=14 TT=2400.32 T1=35.9	SAT (TO) f=14 TT=2400.38 T1=17.38	SAT (TO) f=14 TT=2400.1 T1=18.43	No Cert. TT=2400.07	No Cert. TT=2400.11	SAT (TO) f=14 TT=2400.04 T1=12.96	SAT (TO) f=14 TT=2400.14 T1=777.84	SAT (TO) f=17 TT=2400.14 T1=1.29	SAT (TO) f=14 TT=2400.11 T1=2037.74	? (TO) TT=2400.2	? (TO) TT=2524.4
BusScheduling/ BusScheduling-cnt-s1/ BusScheduling-cnt-r3.xml	SAT TO f=17 TT=2400.14 T1=450.72	? (TO) TT=2520.1	? (TO) TT=20052.5	? (TO) TT=20004	? (TO) TT=2520.08	? (TO) TT=2520.08	? (TO) TT=2520.06	? (TO) TT=2520.12	? (TO) TT=2523.87	? (TO) TT=2519.74	? (TO) TT=2520.04	? (TO) TT=2519.79	SAT (TO) f=17 TT=2520.17 T1=450.72	? (TO) TT=2520.07	? (TO) TT=2520.07	SAT (TO) f=17 TT=17199.1 T1=1414.49	SAT (TO) f=17 TT=17204 T1=9596.79	? (TO) TT=2400.09	? (TO) TT=2400.17	? (TO) TT=2400.32	? (TO) TT=2409.06	? (TO) TT=2400.08	? (TO) TT=2400.08	? (TO) TT=2400.07	SAT (TO) f=17 TT=2400.14 T1=452.93	? (TO) TT=2400.03	? (TO) TT=2400.07	? (TO) TT=2416.18	? TT=1702.18
BusScheduling/ BusScheduling-cnt-s1/ BusScheduling-cnt-r4.xml	SAT TO f=26 TT=20038.4 T1=466.18	SAT (TO) f=28 TT=2520.06 T1=2336.87	SAT (TO) f=26 TT=20072.9 T1=476.42	SAT (TO) f=26 TT=20038.4 T1=466.18	? (TO) TT=2520.04	? (TO) TT=2520.11	SAT (TO) f=31 TT=2520.11 T1=432.19	SAT (TO) f=31 TT=2520.06 T1=425.24	SAT (TO) f=28 TT=2520.1 T1=5.26	? (TO) TT=2520.02	SAT (TO) f=30 TT=2520.02 T1=2519.9	SAT (TO) f=27 TT=2519.94 T1=389.93	SAT (TO) f=27 TT=2520.15 T1=2394.16	SAT f=29 TT=2519.21 T1=26.51	SAT (TO) f=29 TT=2520.12 T1=2445.86	SAT (TO) f=28 TT=19936.699 T1=138.94	SAT (TO) f=28 TT=19945.4 T1=1076.54	SAT (TO) f=28 TT=2400.05 T1=2395.67	SAT (TO) f=28 TT=2400.57 T1=93.19	SAT (TO) f=28 TT=2400.33 T1=32.19	SAT (TO) f=28 TT=2400.15 T1=5.39	? (TO) TT=2400.08	No Cert. TT=2400.05	SAT (TO) f=27 TT=2400.02 T1=390.31	SAT (TO) f=30 TT=2400.08 T1=1.72	SAT (TO) f=29 TT=2400.06 T1=25.19	SAT (TO) f=28 TT=2400.09 T1=592.64	SAT (TO) f=28 TT=2402.51 T1=2202.75	SAT (TO) f=28 TT=2522.09 T1=2244.49
BusScheduling/ BusScheduling-cnt-s1/ BusScheduling-cnt-r5.xml		? (TO) TT=2520.11	? (TO) TT=20068.301	? (TO) TT=20060.199	? (TO) TT=2520.07	? (TO) TT=2520.05	? (TO) TT=2520.05	? (TO) TT=2520.09	? (TO) TT=2520.96	? (TO) TT=2519.98	? (TO) TT=2519.8	? (TO) TT=2519.66	? TT=2519.2	? TT=2519.03	? (TO) TT=2520.08	? (TO) TT=20031.199	? (TO) TT=20035.9	? (TO) TT=2400.05	? (TO) TT=2400.16	? (TO) TT=2400.21	? (TO) TT=2402.12	? (TO) TT=2400.01	? (TO) TT=2400.1	? (TO) TT=2400.07	? (TO) TT=2400.11	? (TO) TT=2400.07	? (TO) TT=2400.04	? (TO) TT=2400.26	? (TO) TT=2520.12
BusScheduling/ BusScheduling-cnt-s1/ BusScheduling-cnt-t1.xml	OPT f=7 TT=0.018 T1=0.01	OPT f=7 TT=1.216 T1=0.69	OPT f=7 TT=1.524 T1=0.55	OPT f=7 TT=1.532 T1=0.55	OPT f=7 TT=1.054 T1=0.62	OPT f=7 TT=1.048 T1=0.62	OPT f=7 TT=1.811 T1=0.63	OPT f=7 TT=1.878 T1=0.63	OPT f=7 TT=7.591 T1=3.56	OPT f=7 TT=0.018 T1=0.12	OPT f=7 TT=0.02 T1=0.08	OPT f=7 TT=0.021 T1=0.1	SAT (TO) f=7 TT=2520.11 T1=0.97	OPT f=7 TT=1.315 T1=1.14	OPT f=7 TT=1.315 T1=0.7	OPT f=7 TT=3.276 T1=1.27	OPT f=7 TT=3.141 T1=2.77	OPT f=7 TT=1.494 T1=0.71	OPT f=7 TT=1.813 T1=0.61	OPT f=7 TT=1.979 T1=0.69	OPT f=7 TT=8.922 T1=3.5	OPT f=7 TT=0.027 T1=0.01	OPT f=7 TT=0.035 T1=0.01	OPT f=7 TT=0.029 T1=0.01	SAT (TO) f=7 TT=2400.07 T1=1.02	OPT f=7 TT=1.43 T1=0.75	OPT f=7 TT=1.436 T1=0.76	OPT f=7 TT=1.755 T1=0.59	OPT f=7 TT=1.619 T1=0.68
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
BusScheduling/ BusScheduling-cnt-s1/ BusScheduling-cnt-t2.xml	SAT TO f=20 TT=2400.03 T1=204.63	SAT (TO) f=21 TT=2520.03 T1=92.55	SAT (TO) f=21 TT=20079.9 T1=12.56	SAT (TO) f=21 TT=20083.6 T1=26.49	SAT (TO) f=22 TT=2520.07 T1=924.4	SAT (TO) f=22 TT=2520.09 T1=978.12	? (TO) TT=2522.33	? (TO) TT=2520.17	SAT (TO) f=21 TT=2520.07 T1=7.12	? (TO) TT=2519.89	? (TO) TT=2519.9	SAT (TO) f=20 TT=2520.08 T1=1161.62	SAT (TO) f=22 TT=2520.09 T1=1.49	SAT f=21 TT=2519.16 T1=39.86	SAT (TO) f=21 TT=2520.11 T1=1939.68	SAT (TO) f=20 TT=19973.699 T1=204.63	SAT (TO) f=20 TT=19977.5 T1=1639.66	SAT (TO) f=21 TT=2400.1 T1=94.39	SAT (TO) f=21 TT=2400.18 T1=160.28	SAT (TO) f=21 TT=2400.49 T1=161.7	SAT (TO) f=21 TT=2400.1 T1=7.61	? (TO) TT=2400.09	? (TO) TT=2400.08	SAT (TO) f=20 TT=2400.03 T1=1149.46	SAT (TO) f=22 TT=2400.14 T1=1.41	SAT (TO) f=21 TT=2400.15 T1=38.4	SAT (TO) f=21 TT=2400.11 T1=1855.95	? (TO) TT=2400.24	? (TO) TT=2520.17
ChessboardColoration/ ChessboardColoration-int-s1/ ChessboardColoration-int-05-05.xml	OPT f=2 TT=0.121 T1=0.18	OPT f=2 TT=1.572 T1=0.8	? TT=1789.62	? TT=9700.89	OPT f=2 TT=40.999 T1=28.32	OPT f=2 TT=41.261 T1=28.53	OPT f=2 TT=40.602 T1=28.38	OPT f=2 TT=39.483 T1=27.95	OPT f=2 TT=11.256 T1=4.87	OPT f=2 TT=0.121 T1=0.18	OPT f=2 TT=0.124 T1=0.18	OPT f=2 TT=0.262 T1=0.32	SAT (TO) f=2 TT=2520.08 T1=50.88	OPT f=2 TT=82.924 T1=46.72	OPT f=2 TT=90.862 T1=49.07	? TT=2316.07	? TT=1513.27	OPT f=2 TT=1.587 T1=0.8	? TT=288.209	? TT=1632.64	OPT f=2 TT=11.83 T1=4.93	OPT f=2 TT=0.122 T1=0.22	OPT f=2 TT=0.122 T1=0.18	OPT f=2 TT=0.254 T1=0.33	SAT (TO) f=2 TT=2400.1 T1=49.71	OPT f=2 TT=84.041 T1=47.21	OPT f=2 TT=87.267 T1=47.83	OPT f=2 TT=4.478 T1=2.29	OPT f=2 TT=4.577 T1=2.32
ChessboardColoration/ ChessboardColoration-int-s1/ ChessboardColoration-int-11-11.xml	SAT TO f=3 TT=2400.01 T1=3.61	SAT (TO) f=3 TT=2520.05 T1=3.61	SAT (TO) f=3 TT=19657.699 T1=200.44	SAT (TO) f=3 TT=19704 T1=185.38	SAT (TO) f=3 TT=2520.04 T1=1304.14	SAT (TO) f=3 TT=2520.08 T1=1394.48	SAT (TO) f=3 TT=2520.08 T1=168.35	SAT (TO) f=3 TT=2520.05 T1=171.36	SAT (TO) f=4 TT=2520.06 T1=403.58	SAT (TO) f=3 TT=2520.02 T1=4.98	SAT (TO) f=3 TT=2519.84 T1=3.98	SAT (TO) f=3 TT=2519.84 T1=84.98	SAT (TO) f=3 TT=2520.09 T1=534.68	SAT (TO) f=3 TT=2520.09 T1=7.09	SAT (TO) f=3 TT=2520.1 T1=7	SAT (TO) f=3 TT=5224.35 T1=12.07	SAT (TO) f=3 TT=5244.84 T1=149.05	SAT (TO) f=3 TT=2400.05 T1=3.62	SAT (TO) f=3 TT=2400.06 T1=521.08	SAT (TO) f=3 TT=2400.03 T1=487.98	SAT (TO) f=4 TT=2400.11 T1=396.16	? (TO) TT=2400.1	? (TO) TT=2400.1	SAT (TO) f=3 TT=2400.01 T1=87.48	SAT (TO) f=3 TT=2400.06 T1=349.93	SAT (TO) f=3 TT=2400.06 T1=6.86	SAT (TO) f=3 TT=2400.04 T1=6.99	? TT=1217.87	? TT=698.265
ChessboardColoration/ ChessboardColoration-int-s1/ ChessboardColoration-int-12-12.xml	SAT TO f=3 TT=2400.09 T1=9.6	SAT (TO) f=3 TT=2520.08 T1=9.6	SAT (TO) f=3 TT=19381.801 T1=587.17	SAT (TO) f=3 TT=19460.1 T1=1066.83	SAT (TO) f=4 TT=2520.13 T1=466.94	SAT (TO) f=4 TT=2520.12 T1=464.78	SAT (TO) f=3 TT=2520.05 T1=198.69	SAT (TO) f=3 TT=2520.12 T1=198.84	SAT (TO) f=4 TT=2520.14 T1=1048.06	SAT (TO) f=3 TT=2520.09 T1=10.2	SAT (TO) f=3 TT=2519.92 T1=10.57	SAT (TO) f=3 TT=2519.78 T1=105.91	SAT (TO) f=3 TT=2520.11 T1=662.63	SAT (TO) f=4 TT=2520.1 T1=12	SAT (TO) f=4 TT=2520.08 T1=12.05	SAT (TO) f=3 TT=5301.2 T1=53.45	SAT (TO) f=4 TT=7741.95 T1=126.95	SAT (TO) f=3 TT=2400.09 T1=9.63	SAT (TO) f=4 TT=2400.13 T1=302.13	SAT (TO) f=4 TT=2400.37 T1=314.25	SAT (TO) f=4 TT=2400.13 T1=1030.22	? (TO) TT=2400.07	? (TO) TT=2400.04	SAT (TO) f=3 TT=2400.09 T1=108.05	SAT (TO) f=3 TT=2400.12 T1=282.97	SAT (TO) f=4 TT=2400.06 T1=12.3	SAT (TO) f=4 TT=2400.1 T1=12.22	? (problem) TT=1432.23	? (problem) TT=1432.16
ChessboardColoration/ ChessboardColoration-int-s1/ ChessboardColoration-int-13-13.xml	SAT TO f=3 TT=2400.12 T1=15.86	SAT (TO) f=3 TT=2520.03 T1=15.86	SAT (TO) f=4 TT=17622.301 T1=624.42	SAT (TO) f=4 TT=19010.699 T1=410.23	SAT (TO) f=168 TT=2520.13 T1=1374.57	SAT (TO) f=168 TT=2520.11 T1=1378.73	SAT (TO) f=4 TT=2520.05 T1=2127.59	SAT (TO) f=4 TT=2520.13 T1=2095.8	SAT (TO) f=160 TT=2520.08 T1=896.76	SAT (TO) f=4 TT=2520.1 T1=9.03	SAT (TO) f=4 TT=2520.03 T1=9.28	SAT (TO) f=4 TT=2519.65 T1=109.22	SAT (TO) f=4 TT=2520.15 T1=253.65	SAT (TO) f=4 TT=2520.08 T1=22.53	SAT (TO) f=4 TT=2520.09 T1=22.94	SAT (TO) f=4 TT=7845.82 T1=32.04	SAT (TO) f=4 TT=7751.32 T1=224.9	SAT (TO) f=3 TT=2400.12 T1=15.96	Wrong Opt. f=5 TT=1745.01 T1=611.23	SAT (TO) f=5 TT=2400.3 T1=668.82	SAT (TO) f=160 TT=2400.11 T1=878.65	? (TO) TT=2400.04	? (TO) TT=2400.09	SAT (TO) f=4 TT=2400.08 T1=104.27	SAT (TO) f=4 TT=2400.06 T1=725.92	SAT (TO) f=4 TT=2400.08 T1=22.52	SAT (TO) f=4 TT=2400.04 T1=22.7	? (problem) TT=1350.56	? (problem) TT=1380.07
ChessboardColoration/ ChessboardColoration-int-s1/ ChessboardColoration-int-15-15.xml	SAT TO f=4 TT=2400.05 T1=15.43	SAT (TO) f=4 TT=2520.07 T1=34.35	SAT (TO) f=6 TT=8960.1 T1=2087.26	SAT (TO) f=6 TT=9318.15 T1=2117.89	SAT (TO) f=205 TT=2520.11 T1=2508.91	SAT (TO) f=203 TT=2520.04 T1=2476.02	SAT (TO) f=219 TT=2520.08 T1=1969.24	SAT (TO) f=219 TT=2520.11 T1=1984.01	SAT (TO) f=219 TT=2520.15 T1=2151.38	SAT (TO) f=4 TT=2520.04 T1=15.43	SAT (TO) f=4 TT=2519.48 T1=24.06	SAT (TO) f=4 TT=2519.77 T1=1436.32	SAT (TO) f=4 TT=2520.15 T1=1501.04	SAT (TO) f=4 TT=2520.12 T1=66.53	SAT (TO) f=4 TT=2520.13 T1=66.24	SAT (TO) f=4 TT=9466.9 T1=804.14	SAT (TO) f=4 TT=8248.47 T1=743.84	SAT (TO) f=4 TT=2400.09 T1=33.56	SAT (TO) f=9 TT=2400.1 T1=838.95	SAT (TO) f=9 TT=2400.17 T1=821.57	SAT (TO) f=219 TT=2400.12 T1=2012.29	? (TO) TT=2400.09	? (TO) TT=2400.07	SAT (TO) f=4 TT=2400.08 T1=1426.25	SAT (TO) f=4 TT=2400.08 T1=472.52	SAT (TO) f=4 TT=2400.08 T1=65.8	SAT (TO) f=4 TT=2400.05 T1=65.51	? (problem) TT=1397.95	? TT=1485.36
ChessboardColoration/ ChessboardColoration-int-s1/ ChessboardColoration-int-20-20.xml	SAT TO f=5 TT=2400.12 T1=99.94	SAT (TO) f=5 TT=2520.09 T1=387.28	SAT (TO) f=17 TT=2580.27 T1=27.81	SAT (TO) f=17 TT=2584.62 T1=28.93	? (TO) TT=2520.1	? (TO) TT=2520.12	? (TO) TT=2520.12	? (TO) TT=2520.09	SAT (TO) f=399 TT=2520.09 T1=372.9	SAT (TO) f=5 TT=2520.1 T1=540.22	SAT (TO) f=5 TT=2519.65 T1=99.94	SAT (TO) f=8 TT=2520.07 T1=1904.07	SAT (TO) f=5 TT=2520.11 T1=1492.45	SAT (TO) f=6 TT=2520.08 T1=767.78	SAT (TO) f=6 TT=2520.09 T1=1055	SAT (TO) f=6 TT=19602.1 T1=2401.63	SAT (TO) f=6 TT=17204.1 T1=11663.98	SAT (TO) f=5 TT=2400.12 T1=388.87	SAT (TO) f=17 TT=2400.04 T1=19.73	SAT (TO) f=17 TT=2400.05 T1=19.43	SAT (TO) f=399 TT=2400.06 T1=366.01	No Cert. TT=2400.18	No Cert. TT=2400.19	SAT (TO) f=8 TT=2400.04 T1=1899.04	SAT (TO) f=7 TT=2400.08 T1=1009.89	SAT (TO) f=6 TT=2400.13 T1=762.6	SAT (TO) f=5 TT=2402.08 T1=1520.62	? TT=1340.15	? TT=1345.07
ChessboardColoration/ ChessboardColoration-int-s1/ ChessboardColoration-int-25-25.xml	SAT TO f=6 TT=2520.25 T1=1722.17	? (problem) TT=782.459	SAT (TO) f=22 TT=2659.91 T1=78.49	SAT (TO) f=22 TT=2665.99 T1=80.11	? (TO) TT=2520.08	? (TO) TT=2520.06	? (TO) TT=2520.13	? (TO) TT=2520.08	? (TO) TT=2528	SAT (TO) f=6 TT=2520.25 T1=1722.17	SAT (TO) f=7 TT=2520.37 T1=278.44	? (TO) TT=2519.91	SAT (TO) f=624 TT=2520.15 T1=31.27	SAT (TO) f=500 TT=2520.14 T1=1899.92	? (TO) TT=2528.25	SAT (TO) f=608 TT=19616.5 T1=2468.13	SAT (TO) f=600 TT=19674.4 T1=19509.711	? (problem) TT=766.163	SAT (TO) f=22 TT=2400 T1=61.31	SAT (TO) f=22 TT=2400 T1=59.56	? (TO) TT=2407.97	No Cert. TT=2400.16	No Cert. TT=2400.43	? (TO) TT=2400.07	SAT (TO) f=624 TT=2401.06 T1=31.12	SAT (TO) f=515 TT=2400.88 T1=1698.64	SAT (TO) f=9 TT=2400.07 T1=841.73	? TT=1368.72	? TT=1284.48
ChessboardColoration/ ChessboardColoration-int-s1/ ChessboardColoration-int-35-35.xml	SAT TO f=33 TT=3312.91 T1=485.02	? (problem) TT=715.411	SAT (TO) f=32 TT=3233.97 T1=460.14	SAT (TO) f=33 TT=3312.91 T1=485.02	? (TO) TT=2520.03	? (TO) TT=2520.12	? (TO) TT=2520.12	? (TO) TT=2520.09	? (TO) TT=2522.28	? (MO) TT=210.92	? (MO) TT=224.316	? (TO) TT=2520.05	SAT (TO) f=1224 TT=2520.86 T1=379.55	SAT (TO) f=1219 TT=2521.82 T1=1080.59	SAT (TO) f=1224 TT=2522.24 T1=314.83	? (exit code) TT=8132.94	? (TO) TT=18728.699	? (problem) TT=897.42	SAT (TO) f=32 TT=2400.02 T1=427.21	SAT (TO) f=32 TT=2400.08 T1=439.67	? (TO) TT=2402.36	? (MO) TT=213.129	? (MO) TT=240.957	? (TO) TT=2400.11	SAT (TO) f=1224 TT=2400.14 T1=417.5	SAT (TO) f=1220 TT=2400.13 T1=938.67	SAT (TO) f=1224 TT=2404.23 T1=326.98	? TT=1350.85	? TT=1374.69
ChessboardColoration/ ChessboardColoration-int-s1/ ChessboardColoration-int-40-40.xml		? (problem) TT=713.955	? TT=5619.21	? TT=5611.49	? (TO) TT=2520.05	? (TO) TT=2520.12	? (TO) TT=2520.15	? (TO) TT=2520.14	? (TO) TT=2528.22	? (MO) TT=174.339	? (MO) TT=173.915	? (TO) TT=2519.99	? (TO) TT=2520.13	? (TO) TT=2520.11	? (TO) TT=2522.28	? (TO) TT=18328.5	? (TO) TT=17193.6	? (problem) TT=744.125	? TT=1831.39	? TT=1644.21	? (TO) TT=2408.1	? (MO) TT=176.403	? (MO) TT=177.6	? (TO) TT=2400.11	? (TO) TT=2408.42	? (TO) TT=2401.8	? (TO) TT=2400.11	? TT=1494.98	? TT=1370.19
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
ChessboardColoration/ ChessboardColoration-int-s2/ ChessboardColoration-int-04-06.xml	OPT f=1 TT=0.11 T1=0.11	OPT f=1 TT=1.501 T1=0.81	OPT f=1 TT=805.306 T1=233.75	OPT f=1 TT=720.571 T1=226.12	OPT f=1 TT=25.783 T1=19.62	OPT f=1 TT=26.562 T1=19.89	OPT f=1 TT=26.612 T1=19.99	OPT f=1 TT=25.867 T1=19.63	OPT f=1 TT=11.606 T1=5	OPT f=1 TT=0.11 T1=0.18	OPT f=1 TT=0.112 T1=0.11	OPT f=1 TT=0.221 T1=0.3	SAT (TO) f=1 TT=2520.07 T1=41.08	OPT f=1 TT=63.134 T1=35.47	OPT f=1 TT=59.219 T1=34.03	? TT=1581.96	OPT f=1 TT=744.634 T1=743.77	OPT f=1 TT=1.495 T1=0.78	OPT f=1 TT=145.451 T1=88.58	OPT f=1 TT=138.494 T1=86.2	OPT f=1 TT=11.287 T1=4.98	OPT f=1 TT=0.108 T1=0.17	OPT f=1 TT=0.11 T1=0.17	OPT f=1 TT=0.205 T1=0.27	SAT (TO) f=1 TT=2400.1 T1=41.84	OPT f=1 TT=60.715 T1=34.35	OPT f=1 TT=73.141 T1=40.3	OPT f=1 TT=4.176 T1=2.05	OPT f=1 TT=3.751 T1=1.81
ChessboardColoration/ ChessboardColoration-int-s2/ ChessboardColoration-int-07-09.xml	OPT f=2 TT=0.922 T1=0.98	OPT f=2 TT=3.25 T1=1.81	OPT f=2 TT=24.082 T1=4.92	OPT f=2 TT=25.407 T1=6.46	OPT f=2 TT=22.509 T1=15.71	OPT f=2 TT=20.764 T1=15.24	OPT f=2 TT=24.587 T1=14.83	OPT f=2 TT=24.983 T1=14.26	OPT f=2 TT=40.669 T1=25.05	OPT f=2 TT=0.922 T1=0.99	OPT f=2 TT=0.994 T1=0.98	OPT f=2 TT=4.095 T1=4.08	SAT (TO) f=2 TT=2520.1 T1=39.72	OPT f=2 TT=5.873 T1=2.06	OPT f=2 TT=5.539 T1=1.99	OPT f=2 TT=19.389 T1=3.86	OPT f=2 TT=21.433 T1=20.61	OPT f=2 TT=3.232 T1=1.31	OPT f=2 TT=60.501 T1=17.38	OPT f=2 TT=58.037 T1=16.34	OPT f=2 TT=40.205 T1=25.63	OPT f=2 TT=0.939 T1=1.01	OPT f=2 TT=0.969 T1=1.03	OPT f=2 TT=3.879 T1=3.87	SAT (TO) f=2 TT=2400.1 T1=57.61	OPT f=2 TT=5.577 T1=2.57	OPT f=2 TT=5.43 T1=2.01	OPT f=2 TT=204.928 T1=176.93	OPT f=2 TT=204.857 T1=177.69
ChessboardColoration/ ChessboardColoration-int-s2/ ChessboardColoration-int-09-11.xml	SAT TO f=3 TT=2400.03 T1=2.08	SAT (TO) f=3 TT=2520.02 T1=2.09	SAT (TO) f=3 TT=19966.199 T1=42.09	SAT (TO) f=3 TT=20078.301 T1=20.79	SAT (TO) f=3 TT=2520.09 T1=91.1	SAT (TO) f=3 TT=2520.05 T1=87.55	SAT (TO) f=3 TT=2520.1 T1=108.83	SAT (TO) f=3 TT=2520.03 T1=107.12	SAT (TO) f=3 TT=2520.05 T1=332.87	SAT (TO) f=3 TT=2520.01 T1=2.61	SAT (TO) f=3 TT=2520.02 T1=2.73	SAT (TO) f=3 TT=2520.03 T1=8.44	SAT (TO) f=3 TT=2520.05 T1=75.83	SAT (TO) f=3 TT=2520.04 T1=4.18	SAT (TO) f=3 TT=2520.05 T1=4.16	SAT (TO) f=3 TT=5582.77 T1=7.37	SAT (TO) f=3 TT=5636.1 T1=40.5	SAT (TO) f=3 TT=2400.09 T1=2.08	SAT (TO) f=3 TT=2400.15 T1=87.45	SAT (TO) f=3 TT=2400.28 T1=90.47	SAT (TO) f=3 TT=2400.14 T1=324.13	? (TO) TT=2400.1	? (TO) TT=2400.11	SAT (TO) f=3 TT=2400.08 T1=8.14	SAT (TO) f=3 TT=2400.03 T1=67.1	SAT (TO) f=3 TT=2400.07 T1=4.15	SAT (TO) f=3 TT=2400.09 T1=4.36	? (problem) TT=1403.15	? (problem) TT=1453.7
ChessboardColoration/ ChessboardColoration-int-s2/ ChessboardColoration-int-15-17.xml	SAT TO f=4 TT=2400.1 T1=23.56	SAT (TO) f=4 TT=2520.03 T1=90.36	SAT (TO) f=8 TT=4980.59 T1=2231.23	SAT (TO) f=8 TT=10125.7 T1=1490.83	? (TO) TT=2520.1	? (TO) TT=2520.12	? (TO) TT=2520.07	? (TO) TT=2520.05	SAT (TO) f=252 TT=2520.15 T1=2234.59	SAT (TO) f=4 TT=2520.06 T1=23.56	SAT (TO) f=4 TT=2519.88 T1=78.34	SAT (TO) f=5 TT=2519.78 T1=323.88	SAT (TO) f=5 TT=2520.13 T1=813.15	SAT (TO) f=5 TT=2520.05 T1=109.49	SAT (TO) f=4 TT=2520.1 T1=254.73	SAT (TO) f=5 TT=11183.8 T1=199.03	SAT (TO) f=5 TT=11402.4 T1=1525.58	SAT (TO) f=4 TT=2400.1 T1=88.02	SAT (TO) f=11 TT=2400.39 T1=54.04	SAT (TO) f=11 TT=2400.1 T1=1484.51	SAT (TO) f=253 TT=2400.21 T1=2316.19	? (TO) TT=2400.11	? (TO) TT=2400.05	SAT (TO) f=5 TT=2400.09 T1=324.1	SAT (TO) f=4 TT=2400.14 T1=1372.02	SAT (TO) f=5 TT=2400.06 T1=108.36	SAT (TO) f=4 TT=2400.12 T1=328.14	? TT=1295.59	? TT=1305.72
ChessboardColoration/ ChessboardColoration-int-s2/ ChessboardColoration-int-16-18.xml	SAT TO f=4 TT=2400.06 T1=154.09	SAT (TO) f=4 TT=2520.05 T1=154.09	SAT (TO) f=10 TT=2926.81 T1=2480.64	SAT (TO) f=11 TT=2671.43 T1=1319.71	? (TO) TT=2520.06	? (TO) TT=2520.06	? (TO) TT=2520.04	? (TO) TT=2520.12	SAT (TO) f=283 TT=2520.08 T1=1722.78	SAT (TO) f=5 TT=2520.08 T1=28.93	SAT (TO) f=5 TT=2520.08 T1=31.05	SAT (TO) f=5 TT=2519.7 T1=1995.09	SAT (TO) f=5 TT=2520.11 T1=642.23	SAT (TO) f=5 TT=2520.13 T1=185.52	SAT (TO) f=5 TT=2520.07 T1=185.72	SAT (TO) f=5 TT=12569.7 T1=388.7	SAT (TO) f=5 TT=11348.5 T1=2265.62	SAT (TO) f=4 TT=2400.06 T1=155.19	SAT (TO) f=13 TT=2400.01 T1=1265.39	SAT (TO) f=13 TT=2400.06 T1=1212	SAT (TO) f=283 TT=2400.13 T1=1803.35	? (TO) TT=2400.05	? (TO) TT=2400.04	SAT (TO) f=5 TT=2400.02 T1=1992.31	SAT (TO) f=5 TT=2400.11 T1=638.64	SAT (TO) f=5 TT=2400.08 T1=183.2	SAT (TO) f=5 TT=2400.07 T1=182.76	? TT=1375.92	? TT=1313.57
ChessboardColoration/ ChessboardColoration-int-s2/ ChessboardColoration-int-17-19.xml	SAT TO f=4 TT=2400.06 T1=538.57	SAT (TO) f=4 TT=2520.05 T1=539.01	SAT (TO) f=12 TT=2711.06 T1=1982.45	SAT (TO) f=12 TT=2688.76 T1=2057.02	? (TO) TT=2520.12	? (TO) TT=2520.07	? (TO) TT=2520.1	? (TO) TT=2520.1	SAT (TO) f=322 TT=2520.09 T1=180.83	SAT (TO) f=5 TT=2520.1 T1=46.68	SAT (TO) f=5 TT=2519.95 T1=36.77	SAT (TO) f=5 TT=2520.03 T1=1947.46	SAT (TO) f=5 TT=2520.11 T1=760.27	SAT (TO) f=5 TT=2520.12 T1=524.55	SAT (TO) f=5 TT=2520.13 T1=1187.57	SAT (TO) f=5 TT=12722.3 T1=620.05	SAT (TO) f=5 TT=12513.7 T1=4158.64	SAT (TO) f=4 TT=2400.06 T1=538.57	SAT (TO) f=13 TT=2400.18 T1=2012.35	SAT (TO) f=14 TT=2400.05 T1=1970.13	SAT (TO) f=322 TT=2400.07 T1=180.44	SAT (TO) f=5 TT=2400.05 T1=46.46	SAT (TO) f=5 TT=2400.07 T1=36.92	SAT (TO) f=5 TT=2400.02 T1=1937.77	SAT (TO) f=5 TT=2400.06 T1=1694.69	SAT (TO) f=5 TT=2400.09 T1=519.42	SAT (TO) f=6 TT=2400.06 T1=577.01	? TT=1299.17	? TT=1255.1
ChessboardColoration/ ChessboardColoration-int-s2/ ChessboardColoration-int-23-25.xml	SAT TO f=6 TT=2519.94 T1=136.98	? (problem) TT=803.052	SAT (TO) f=20 TT=2657.58 T1=64.35	SAT (TO) f=21 TT=2654.94 T1=70.1	? (TO) TT=2520.09	? (TO) TT=2520.07	? (TO) TT=2520.1	? (TO) TT=2520.12	? (TO) TT=2527.86	SAT (TO) f=6 TT=2519.94 T1=136.98	SAT (TO) f=6 TT=2520.17 T1=907.56	? (TO) TT=2519.95	SAT (TO) f=574 TT=2520.12 T1=28.93	SAT (TO) f=347 TT=2520.09 T1=2154.93	SAT (TO) f=553 TT=2520.14 T1=253.99	SAT (TO) f=531 TT=19730.4 T1=2503.43	SAT (TO) f=514 TT=19725.5 T1=19420.68	? (problem) TT=714.533	SAT (TO) f=21 TT=2400.03 T1=45.11	SAT (TO) f=21 TT=2400.07 T1=47.44	? (TO) TT=2407.87	No Cert. TT=2400.1	No Cert. TT=2400.27	? (TO) TT=2400.06	SAT (TO) f=574 TT=2400.09 T1=29.56	SAT (TO) f=366 TT=2400.21 T1=2018.06	SAT (TO) f=554 TT=2400.79 T1=239.23	? TT=1348.72	? TT=1334.77
ChessboardColoration/ ChessboardColoration-int-s2/ ChessboardColoration-int-28-30.xml	SAT TO f=8 TT=2520.9 T1=321.65	? (problem) TT=768.753	SAT (TO) f=26 TT=2804.4 T1=165.84	SAT (TO) f=26 TT=2795.61 T1=172.9	? (TO) TT=2520.11	? (TO) TT=2520.12	? (TO) TT=2520.08	? (TO) TT=2520.05	? (TO) TT=2522.16	SAT (TO) f=8 TT=2520.9 T1=321.65	? (MO) TT=203.754	? (TO) TT=2519.92	SAT (TO) f=839 TT=2520.17 T1=89.84	SAT (TO) f=797 TT=2520.14 T1=1808.52	SAT (TO) f=833 TT=2520.1 T1=845.69	? (TO) TT=19419.1	? (TO) TT=19482	? (problem) TT=774.199	SAT (TO) f=26 TT=2400.07 T1=134.55	SAT (TO) f=26 TT=2400.04 T1=134.67	? (TO) TT=2402.11	No Cert. TT=2400.87	? (MO) TT=206.167	? (TO) TT=2400.06	SAT (TO) f=839 TT=2405.42 T1=88.01	SAT (TO) f=799 TT=2400.09 T1=1707.25	SAT (TO) f=835 TT=2401.61 T1=200.91	? TT=1305.32	? TT=1404.07
Cutstock/ Cutstock-zinc-s1/ Cutstock-t02-3.xml	SAT TO f=158 TT=2400.04 T1=3.88	? (TO) TT=2520.09	SAT (TO) f=158 TT=20110 T1=3.52	SAT (TO) f=158 TT=20103.5 T1=3.88	SAT (TO) f=173 TT=2520.02 T1=2218.69	SAT (TO) f=173 TT=2520.03 T1=2217.15	? (TO) TT=2520.11	? (TO) TT=2520.08	SAT (TO) f=161 TT=2520.09 T1=10.76	? (TO) TT=2519.97	? (TO) TT=2520.1	SAT (TO) f=159 TT=2519.98 T1=45.81	SAT (TO) f=158 TT=2520.04 T1=570.88	SAT (TO) f=167 TT=2520.05 T1=31	SAT (TO) f=158 TT=2520.12 T1=623.34	SAT (TO) f=160 TT=19863.1 T1=6.84	SAT (TO) f=162 TT=19865.6 T1=22.84	? (TO) TT=2400.1	SAT (TO) f=158 TT=2400.38 T1=6.71	SAT (TO) f=158 TT=2400.11 T1=5.65	SAT (TO) f=161 TT=2400.09 T1=11.34	? (TO) TT=2400.03	? (TO) TT=2400.05	SAT (TO) f=159 TT=2400.1 T1=45.3	SAT (TO) f=158 TT=2400.18 T1=613.31	SAT (TO) f=167 TT=2400.07 T1=30.35	SAT (TO) f=158 TT=2400.04 T1=685.81	? (TO) TT=2416.21	? (problem) TT=1664.78
Cutstock/ Cutstock-zinc-s1/ Cutstock-t02-6.xml	SAT TO f=118 TT=2400.05 T1=1150.55	? (TO) TT=2520.12	SAT (TO) f=119 TT=20107.4 T1=1.93	SAT (TO) f=119 TT=20100.301 T1=2.09	SAT (TO) f=124 TT=2520.1 T1=1455.99	SAT (TO) f=124 TT=2520.1 T1=1455.36	SAT (TO) f=126 TT=2520.06 T1=1049.92	SAT (TO) f=126 TT=2520.12 T1=1041.52	SAT (TO) f=121 TT=2520.05 T1=674.77	? (TO) TT=2519.68	? (TO) TT=2519.92	SAT (TO) f=119 TT=2519.77 T1=6.93	SAT (TO) f=118 TT=2520.12 T1=1150.55	SAT (TO) f=126 TT=2520.1 T1=1.34	SAT (TO) f=119 TT=2520.09 T1=458.57	SAT (TO) f=119 TT=19854.801 T1=5.56	SAT (TO) f=120 TT=19849.4 T1=100.2	? (TO) TT=2400.04	SAT (TO) f=119 TT=2400.1 T1=8.1	SAT (TO) f=119 TT=2400.38 T1=8.75	SAT (TO) f=121 TT=2400.09 T1=679.5	? (TO) TT=2400.02	? (TO) TT=2400.03	SAT (TO) f=119 TT=2400.02 T1=6.93	SAT (TO) f=118 TT=2400.05 T1=1839.14	SAT (TO) f=126 TT=2400.13 T1=1.3	SAT (TO) f=119 TT=2400.18 T1=415.33	? (TO) TT=2416.38	? TT=1629.42
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
Cutstock/ Cutstock-zinc-s1/ Cutstock-t04-1.xml	SAT TO f=217 TT=20087.1 T1=25.34	? (TO) TT=2520.09	SAT (TO) f=217 TT=20085.301 T1=25.82	SAT (TO) f=217 TT=20087.1 T1=25.34	? (TO) TT=2520.09	? (TO) TT=2520.05	? (TO) TT=2520.09	? (TO) TT=2520.08	? (TO) TT=2521.3	? (TO) TT=2519.73	? (TO) TT=2519.89	? (TO) TT=2519.8	SAT (TO) f=240 TT=2520.1 T1=3.68	SAT (TO) f=226 TT=2520.09 T1=132.86	SAT (TO) f=227 TT=2520.13 T1=15.17	SAT (TO) f=218 TT=19860.699 T1=10	SAT (TO) f=218 TT=19858.1 T1=32.54	? (TO) TT=2400.1	SAT (TO) f=217 TT=2400.13 T1=207.7	SAT (TO) f=217 TT=2400.52 T1=191.59	? (TO) TT=2403.06	? (TO) TT=2400.02	? (TO) TT=2400.05	? (TO) TT=2400.1	SAT (TO) f=240 TT=2400.24 T1=3.32	SAT (TO) f=226 TT=2400.07 T1=131.25	SAT (TO) f=227 TT=2400.12 T1=14.23	? (TO) TT=2415.82	? (TO) TT=2528.05
Cutstock/ Cutstock-zinc-s1/ Cutstock-t04-6.xml	SAT TO f=199 TT=2400.06 T1=18.49	SAT (TO) f=224 TT=2520.11 T1=701.21	SAT (TO) f=199 TT=20090 T1=18.57	SAT (TO) f=199 TT=20090.199 T1=18.49	? (TO) TT=2520.08	? (TO) TT=2520.05	? (TO) TT=2520.08	? (TO) TT=2520.04	? (TO) TT=2521.15	? (TO) TT=2519.8	? (TO) TT=2519.72	SAT (TO) f=199 TT=2519.82 T1=213.96	SAT (TO) f=222 TT=2520.11 T1=638.29	SAT (TO) f=200 TT=2520.13 T1=6.11	SAT (TO) f=200 TT=2520.15 T1=6.2	SAT (TO) f=199 TT=19847.301 T1=21.78	SAT (TO) f=200 TT=19840.1 T1=99.68	SAT (TO) f=224 TT=2400.03 T1=705.12	SAT (TO) f=199 TT=2400.43 T1=191.77	SAT (TO) f=199 TT=2400.05 T1=193.6	? (TO) TT=2402.54	? (TO) TT=2400.06	? (TO) TT=2400.02	SAT (TO) f=199 TT=2400.06 T1=193.76	SAT (TO) f=213 TT=2400.16 T1=2239.12	SAT (TO) f=200 TT=2400.16 T1=5.82	SAT (TO) f=200 TT=2400.24 T1=6.08	? (TO) TT=2415.74	? TT=1686.3
Cutstock/ Cutstock-zinc-s1/ Cutstock-t07-8.xml	OPT f=43 TT=0.29 T1=0.33	OPT f=43 TT=3.103 T1=1.39	OPT f=43 TT=5.742 T1=1.13	OPT f=43 TT=5.443 T1=1.12	OPT f=43 TT=64.588 T1=57.2	OPT f=43 TT=64.613 T1=57.91	OPT f=43 TT=682.632 T1=641.66	OPT f=43 TT=685.493 T1=644.66	OPT f=43 TT=67.26 T1=12.36	OPT f=43 TT=318.327 T1=318.41	OPT f=43 TT=1.283 T1=1.28	OPT f=43 TT=0.29 T1=0.38	SAT (TO) f=43 TT=2520.09 T1=187.75	OPT f=43 TT=2.308 T1=1.19	OPT f=43 TT=2.272 T1=1.19	OPT f=43 TT=13.11 T1=4.23	OPT f=43 TT=13.578 T1=13.11	OPT f=43 TT=3.091 T1=1.12	OPT f=43 TT=7.347 T1=1.31	OPT f=43 TT=7.686 T1=1.29	OPT f=43 TT=74.624 T1=12.41	OPT f=43 TT=309.995 T1=307.89	OPT f=43 TT=1.315 T1=1.08	OPT f=43 TT=0.344 T1=0.33	SAT (TO) f=43 TT=2400.14 T1=216.85	OPT f=43 TT=2.71 T1=1.12	OPT f=43 TT=2.622 T1=1.07	? (TO) TT=2415.31	? (TO) TT=2528.26
Cutstock/ Cutstock-zinc-s1/ Cutstock-t08-5.xml	SAT TO f=533 TT=2400.02 T1=232.37	? (TO) TT=2520.07	SAT (TO) f=531 TT=20037.5 T1=959.73	SAT (TO) f=533 TT=20050.801 T1=232.37	SAT (TO) f=561 TT=2520.07 T1=2242.53	SAT (TO) f=561 TT=2520.06 T1=2268.27	? (TO) TT=2520.02	? (TO) TT=2520.06	? (TO) TT=2521.34	? (TO) TT=2520.09	? (TO) TT=2519.99	SAT (TO) f=533 TT=2519.96 T1=808.62	SAT (TO) f=639 TT=2520.1 T1=2266.49	SAT (TO) f=550 TT=2520.06 T1=8.7	SAT (TO) f=550 TT=2520.25 T1=8.61	SAT (TO) f=544 TT=7625.73 T1=24.16	SAT (TO) f=536 TT=2651.54 T1=80.51	? (TO) TT=2400.11	SAT (TO) f=604 TT=2400.2 T1=265.57	SAT (TO) f=604 TT=2400.38 T1=264.38	? (TO) TT=2403.96	? (TO) TT=2400.06	? (TO) TT=2400.18	SAT (TO) f=533 TT=2400.02 T1=766.16	SAT (TO) f=613 TT=2400.1 T1=2159.37	SAT (TO) f=550 TT=2400.11 T1=8.18	SAT (TO) f=550 TT=2400.16 T1=8.41	? (TO) TT=2416.22	? (TO) TT=2528.1
Cutstock/ Cutstock-zinc-s1/ Cutstock-t08-9.xml	OPT f=476 TT=13.114 T1=7	SAT (TO) f=637 TT=2520.03 T1=5.2	OPT f=476 TT=2491.96 T1=313.33	OPT f=476 TT=1942.65 T1=240.78	OPT f=476 TT=439.241 T1=364.85	OPT f=476 TT=434.086 T1=359.33	SAT (TO) f=597 TT=2520.06 T1=499.18	SAT (TO) f=597 TT=2520.14 T1=511.43	SAT (TO) f=511 TT=2520.13 T1=2418.31	? (TO) TT=2520.03	? (TO) TT=2519.99	OPT f=476 TT=339.348 T1=332.12	SAT (TO) f=526 TT=2520.11 T1=1098.3	OPT f=476 TT=13.846 T1=7.23	OPT f=476 TT=13.114 T1=7	OPT f=476 TT=49.83 T1=17.82	OPT f=476 TT=51.839 T1=51.04	SAT (TO) f=637 TT=2400.05 T1=4.82	SAT (TO) f=527 TT=2400.19 T1=299.91	SAT (TO) f=489 TT=2400.49 T1=305	SAT (TO) f=513 TT=2400.2 T1=2134.5	? (TO) TT=2400.03	? (TO) TT=2400.11	OPT f=476 TT=313.831 T1=306.57	SAT (TO) f=553 TT=2400.22 T1=1445.41	OPT f=476 TT=16.06 T1=7.05	OPT f=476 TT=15.263 T1=7.07	? (TO) TT=2416.02	? (TO) TT=2528.13
Cutstock/ Cutstock-zinc-s1/ Cutstock-t13-1.xml	OPT f=63 TT=0.608 T1=0.56	OPT f=63 TT=3.077 T1=1.29	OPT f=63 TT=11.237 T1=1.41	OPT f=63 TT=8.721 T1=1.23	OPT f=63 TT=16.939 T1=9.45	OPT f=63 TT=16.998 T1=9.42	OPT f=63 TT=546.591 T1=398.88	OPT f=63 TT=548.587 T1=400.42	OPT f=63 TT=234.579 T1=5.3	OPT f=63 TT=2.767 T1=2.88	OPT f=63 TT=4.016 T1=4.01	OPT f=63 TT=0.608 T1=0.62	SAT (TO) f=63 TT=2520.07 T1=318.93	OPT f=63 TT=2.628 T1=1.36	OPT f=63 TT=2.518 T1=1.24	OPT f=63 TT=17.982 T1=6.72	OPT f=63 TT=17.438 T1=17.22	OPT f=63 TT=3.57 T1=1.21	OPT f=63 TT=15.073 T1=1.25	OPT f=63 TT=12.239 T1=1.32	OPT f=63 TT=233.066 T1=5.99	OPT f=63 TT=2.82 T1=2.82	OPT f=63 TT=4.066 T1=3.04	OPT f=63 TT=0.654 T1=0.56	SAT (TO) f=63 TT=2400.12 T1=253.34	OPT f=63 TT=3.356 T1=1.23	OPT f=63 TT=3.354 T1=1.56	? (TO) TT=2416.46	? TT=1598.96
Cutstock/ Cutstock-zinc-s1/ Cutstock-t15-1.xml	OPT f=123 TT=7.496 T1=2.78	OPT f=123 TT=23.046 T1=17.93	OPT f=123 TT=71.193 T1=5.61	OPT f=123 TT=63.651 T1=5.67	SAT (TO) f=142 TT=2520.04 T1=780.72	SAT (TO) f=142 TT=2520.11 T1=793.34	SAT (TO) f=152 TT=2520.1 T1=348.45	SAT (TO) f=152 TT=2520.04 T1=353.59	? (TO) TT=2521.17	SAT (TO) f=167 TT=2520.1 T1=2520	SAT (TO) f=132 TT=2520.04 T1=2519.9	OPT f=123 TT=40.107 T1=37.64	SAT (TO) f=123 TT=2520.06 T1=1402.63	OPT f=123 TT=7.496 T1=2.78	OPT f=123 TT=7.833 T1=2.83	OPT f=123 TT=39.445 T1=10.88	OPT f=123 TT=38.072 T1=37.81	OPT f=123 TT=24.34 T1=18.21	OPT f=123 TT=259.365 T1=15.43	OPT f=123 TT=204.359 T1=12.72	? (TO) TT=2402.5	No Cert. TT=2400.04	No Cert. TT=2400.06	OPT f=123 TT=39.637 T1=37.14	SAT (TO) f=123 TT=2400.14 T1=869.83	OPT f=123 TT=9.3 T1=2.97	OPT f=123 TT=9.492 T1=2.94	? (TO) TT=2416.2	? (problem) TT=1520.04
Cutstock/ Cutstock-zinc-s1/ Cutstock-t15-2.xml	OPT f=122 TT=340.917 T1=5.26	OPT f=122 TT=340.917 T1=5.31	OPT f=122 TT=16185.5 T1=6.87	OPT f=122 TT=4053.07 T1=6.52	SAT (TO) f=147 TT=2520.08 T1=99.58	SAT (TO) f=147 TT=2520.05 T1=100.52	SAT (TO) f=145 TT=2520.06 T1=596.07	SAT (TO) f=145 TT=2520.08 T1=584.68	SAT (TO) f=122 TT=2520.09 T1=1328.08	? (TO) TT=2519.85	? (TO) TT=2519.95	OPT f=122 TT=875.38 T1=12.77	SAT (TO) f=122 TT=2520.09 T1=1173.51	SAT (TO) f=122 TT=2520.13 T1=2267.67	SAT (TO) f=122 TT=2520.07 T1=825.62	SAT (TO) f=126 TT=2600.13 T1=12.33	SAT (TO) f=130 TT=2602.5 T1=2527.99	OPT f=122 TT=344.973 T1=5.26	SAT (TO) f=122 TT=2400.38 T1=26.93	SAT (TO) f=122 TT=2400.38 T1=30.19	SAT (TO) f=122 TT=2400.13 T1=1319.75	? (TO) TT=2400.01	? (TO) TT=2400.04	OPT f=122 TT=844.437 T1=12.29	SAT (TO) f=122 TT=2400.06 T1=983.37	SAT (TO) f=122 TT=2400.07 T1=2311.79	SAT (TO) f=122 TT=2400.16 T1=721.06	? (TO) TT=2416.45	? TT=1421.23
Cutstock/ Cutstock-zinc-s1/ Cutstock-t15-3.xml	SAT TO f=102 TT=2400.12 T1=5.8	SAT (TO) f=103 TT=2520.03 T1=253.28	SAT (TO) f=102 TT=20106.301 T1=5.06	SAT (TO) f=102 TT=20106.1 T1=5.8	SAT (TO) f=126 TT=2520.04 T1=532.36	SAT (TO) f=126 TT=2520.04 T1=521.13	? (TO) TT=2520.04	? (TO) TT=2520.07	SAT (TO) f=106 TT=2520.05 T1=76	? (TO) TT=2519.7	? (TO) TT=2520.01	SAT (TO) f=104 TT=2520.01 T1=2386.02	SAT (TO) f=102 TT=2520.13 T1=1505.54	SAT (TO) f=112 TT=2520.11 T1=5.36	SAT (TO) f=102 TT=2520.11 T1=592.65	SAT (TO) f=112 TT=19853.6 T1=10.28	SAT (TO) f=108 TT=17611.5 T1=46.34	SAT (TO) f=103 TT=2400.08 T1=256.67	SAT (TO) f=102 TT=2400.6 T1=14.01	SAT (TO) f=102 TT=2400.56 T1=13.85	SAT (TO) f=106 TT=2400.09 T1=76.43	? (TO) TT=2400.04	? (TO) TT=2400	SAT (TO) f=104 TT=2400.06 T1=2342.29	SAT (TO) f=102 TT=2400.12 T1=1268.69	SAT (TO) f=112 TT=2400.11 T1=5.2	SAT (TO) f=102 TT=2400.13 T1=766.12	? (TO) TT=2416.44	? (TO) TT=2528.04
Cutstock/ Cutstock-zinc-s1/ Cutstock-t15-7.xml	OPT f=171 TT=8.361 T1=2.78	OPT f=171 TT=8.361 T1=2.83	OPT f=171 TT=47.238 T1=4.15	OPT f=171 TT=43.695 T1=3.9	OPT f=171 TT=29.874 T1=25.64	OPT f=171 TT=28.993 T1=25.01	? (TO) TT=2520.09	? (TO) TT=2520.03	SAT (TO) f=171 TT=2520.09 T1=34.9	OPT f=171 TT=833.852 T1=833.87	OPT f=171 TT=193.594 T1=193.7	OPT f=171 TT=19.664 T1=18.2	SAT (TO) f=171 TT=2520.11 T1=1056.32	OPT f=171 TT=9.792 T1=4.56	OPT f=171 TT=9.578 T1=4.32	OPT f=171 TT=57.425 T1=11.31	OPT f=171 TT=56.247 T1=55.95	OPT f=171 TT=9.286 T1=2.78	OPT f=171 TT=119.87 T1=8.89	OPT f=171 TT=106.18 T1=7.78	SAT (TO) f=171 TT=2400.15 T1=33.93	OPT f=171 TT=855.075 T1=817.75	OPT f=171 TT=188.907 T1=160.4	OPT f=171 TT=18.193 T1=16.77	SAT (TO) f=171 TT=2400.16 T1=921.88	OPT f=171 TT=10.174 T1=4.25	OPT f=171 TT=9.563 T1=4.16	? (TO) TT=2416.27	? TT=1292.99
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
Cutstock/ Cutstock-zinc-s1/ Cutstock-t16-0.xml	OPT f=1305 TT=569.11 T1=529	? (TO) TT=2520.04	SAT (TO) f=1568 TT=19789.6 T1=2497.16	SAT (TO) f=1569 TT=19808.5 T1=2478.21	? (TO) TT=2520.11	? (TO) TT=2520.04	? (TO) TT=2520.09	? (TO) TT=2520.07	? (TO) TT=2522.93	? (TO) TT=2520.11	? (TO) TT=2520.1	? (TO) TT=2519.62	SAT (TO) f=1614 TT=2520.36 T1=283.77	OPT f=1305 TT=591.573 T1=554.24	SAT (TO) f=1345 TT=2520.2 T1=545.75	SAT (TO) f=1568 TT=5290.69 T1=461	OPT f=1305 TT=3454.99 T1=3451.14	? (TO) TT=2400.05	SAT (TO) f=1613 TT=2400.46 T1=287.05	SAT (TO) f=1614 TT=2400.32 T1=112.17	? (TO) TT=2406.02	? (TO) TT=2400.05	? (TO) TT=2400.41	? (TO) TT=2400.09	SAT (TO) f=1614 TT=2400.19 T1=289.61	OPT f=1305 TT=569.11 T1=529	SAT (TO) f=1345 TT=2400.14 T1=528.8	? TT=254.284	? TT=194.855
Cutstock/ Cutstock-zinc-s1/ Cutstock-t16-1.xml	OPT f=1216 TT=3375.2 T1=538.04	? (TO) TT=2520.06	SAT (TO) f=1472 TT=19753.9 T1=2471.7	SAT (TO) f=1470 TT=19749.801 T1=2499.65	? (TO) TT=2520.11	? (TO) TT=2520.06	? (TO) TT=2520.1	? (TO) TT=2520.1	? (TO) TT=2522.53	? (TO) TT=2519.94	? (TO) TT=2520.21	? (TO) TT=2520.09	SAT (TO) f=1513 TT=2520.16 T1=279.3	? (TO) TT=2520.13	? (TO) TT=2520.06	OPT f=1216 TT=3375.2 T1=538.04	? (TO) TT=8633.46	? (TO) TT=2400.06	SAT (TO) f=1512 TT=2400.68 T1=304.84	SAT (TO) f=1513 TT=2400.12 T1=103.96	? (TO) TT=2404.99	? (TO) TT=2400.06	? (TO) TT=2400.29	? (TO) TT=2400.06	SAT (TO) f=1513 TT=2400.14 T1=293.71	? (TO) TT=2400.12	? (TO) TT=2400.07	? TT=232.664	? TT=174.201
Cutstock/ Cutstock-zinc-s1/ Cutstock-t16-5.xml	SAT TO f=983 TT=19781.199 T1=885.19	? (TO) TT=2520.05	SAT (TO) f=1193 TT=19131.199 T1=2519.91	SAT (TO) f=1187 TT=19006.301 T1=2487.97	? (TO) TT=2520.03	? (TO) TT=2520.06	? (TO) TT=2520.11	? (TO) TT=2520.1	? (TO) TT=2522.48	? (TO) TT=2519.8	? (TO) TT=2520.29	? (TO) TT=2519.95	? (TO) TT=2520.12	? (TO) TT=2520.11	? (TO) TT=2520.04	SAT (TO) f=983 TT=19781.199 T1=885.19	SAT (TO) f=1231 TT=19787.4 T1=1209.95	? (TO) TT=2400.09	SAT (TO) f=1243 TT=2400.07 T1=145.43	SAT (TO) f=1243 TT=2400.45 T1=148	? (TO) TT=2405.73	? (TO) TT=2400.11	? (TO) TT=2400.22	? (TO) TT=2400.11	? (TO) TT=2400.04	? (TO) TT=2400.08	? (TO) TT=2400.07	? TT=171.151	? TT=126.246
Cutstock/ Cutstock-zinc-s1/ Cutstock-t16-6.xml	SAT TO f=1094 TT=3537.1 T1=1523.37	? (TO) TT=2520.11	SAT (TO) f=1328 TT=19773.6 T1=2486.21	SAT (TO) f=1328 TT=19778.199 T1=2505.54	? (TO) TT=2520.08	? (TO) TT=2520.12	? (TO) TT=2520.06	? (TO) TT=2520.04	? (TO) TT=2522.35	? (TO) TT=2520.08	? (TO) TT=2520.29	? (TO) TT=2520.07	? (TO) TT=2520.13	SAT (TO) f=1164 TT=2520.2 T1=432.68	SAT (TO) f=1369 TT=2520.14 T1=319.79	SAT (TO) f=1113 TT=3373.82 T1=194.33	SAT (TO) f=1094 TT=3537.1 T1=1523.37	? (TO) TT=2400.1	SAT (TO) f=1369 TT=2400.26 T1=220.98	SAT (TO) f=1369 TT=2400.29 T1=256.49	? (TO) TT=2407.36	? (TO) TT=2400.06	? (TO) TT=2400.5	? (TO) TT=2400.05	? (TO) TT=2400.04	SAT (TO) f=1164 TT=2400.12 T1=400.35	SAT (TO) f=1369 TT=2400.2 T1=330.07	? TT=199.621	? TT=150.606
Cutstock/ Cutstock-zinc-s1/ Cutstock-t16-7.xml	OPT f=1705 TT=392.939 T1=378.99	? (TO) TT=2520.1	SAT (TO) f=1781 TT=19750.6 T1=2455.4	SAT (TO) f=1774 TT=19686.4 T1=2472.01	? (TO) TT=2520.03	? (TO) TT=2520.08	? (TO) TT=2520.1	? (TO) TT=2520.1	? (TO) TT=2523.1	? (TO) TT=2519.84	? (MO) TT=337.139	? (TO) TT=2519.91	SAT (TO) f=1810 TT=2520.54 T1=102.36	OPT f=1705 TT=392.939 T1=378.99	SAT (TO) f=1806 TT=2520.22 T1=373.75	OPT f=1705 TT=4504.82 T1=829.77	OPT f=1705 TT=5251.06 T1=5246.38	? (TO) TT=2400.03	SAT (TO) f=1810 TT=2400.49 T1=138.2	SAT (TO) f=1810 TT=2400.52 T1=133.56	? (TO) TT=2409.12	? (TO) TT=2400.05	? (MO) TT=351.781	? (TO) TT=2400.08	SAT (TO) f=1810 TT=2400.24 T1=102.14	OPT f=1705 TT=397.798 T1=381.01	SAT (TO) f=1806 TT=2401.51 T1=371.87	? TT=247.802	? TT=209.084
Fastfood/ Fastfood-m1-s1/ Fastfood-ff06.xml	OPT f=2 TT=0.191 T1=0.2	OPT f=2 TT=3.442 T1=1.34	OPT f=2 TT=19.107 T1=3.33	OPT f=2 TT=19.235 T1=3.26	OPT f=2 TT=2.509 T1=0.9	OPT f=2 TT=2.556 T1=1.06	OPT f=2 TT=4.133 T1=1.29	OPT f=2 TT=4.176 T1=1.28	OPT f=2 TT=15.939 T1=6.24	OPT f=2 TT=0.231 T1=0.28	OPT f=2 TT=0.289 T1=0.33	OPT f=2 TT=0.191 T1=0.24	SAT (TO) f=2 TT=2520.11 T1=22.65	OPT f=2 TT=3.599 T1=1.53	OPT f=2 TT=3.598 T1=2.06	OPT f=2 TT=13.293 T1=3.39	OPT f=2 TT=13.88 T1=11.3	OPT f=2 TT=3.881 T1=1.2	OPT f=2 TT=24.831 T1=3.96	OPT f=2 TT=26.287 T1=4.16	OPT f=2 TT=22.832 T1=6.65	OPT f=2 TT=0.269 T1=0.25	OPT f=2 TT=0.313 T1=0.29	OPT f=2 TT=0.239 T1=0.2	SAT (TO) f=2 TT=2400.12 T1=20.94	OPT f=2 TT=4.358 T1=1.45	OPT f=2 TT=4.309 T1=1.42	OPT f=2 TT=472.512 T1=391.12	OPT f=2 TT=466.794 T1=388.39
Fastfood/ Fastfood-m1-s1/ Fastfood-ff15.xml	OPT f=1 TT=0.224 T1=0.22	OPT f=1 TT=3.19 T1=1.23	OPT f=1 TT=28.482 T1=4.53	OPT f=1 TT=30.6 T1=4.6	OPT f=1 TT=3.106 T1=1.22	OPT f=1 TT=3.135 T1=1.29	OPT f=1 TT=4.036 T1=1.29	OPT f=1 TT=3.983 T1=1.27	OPT f=1 TT=16.819 T1=6.57	OPT f=1 TT=0.224 T1=0.3	OPT f=1 TT=0.311 T1=0.36	OPT f=1 TT=0.234 T1=0.25	SAT (TO) f=1 TT=2520.09 T1=2.8	OPT f=1 TT=3.515 T1=1.51	OPT f=1 TT=3.414 T1=2.14	OPT f=1 TT=10.483 T1=2.39	OPT f=1 TT=10.473 T1=9.47	OPT f=1 TT=3.964 T1=1.18	OPT f=1 TT=37.049 T1=5.65	OPT f=1 TT=40.827 T1=6.31	OPT f=1 TT=22.939 T1=6.78	OPT f=1 TT=0.275 T1=0.26	OPT f=1 TT=0.358 T1=0.34	OPT f=1 TT=0.269 T1=0.22	SAT (TO) f=1 TT=2400.12 T1=2.37	OPT f=1 TT=4.057 T1=1.39	OPT f=1 TT=4.259 T1=1.44	OPT f=1 TT=527.246 T1=351.01	OPT f=1 TT=533.889 T1=361.17
Fastfood/ Fastfood-m1-s1/ Fastfood-ff16.xml	OPT f=1916 TT=0.319 T1=0.21	OPT f=1916 TT=4.087 T1=1.55	OPT f=1916 TT=10.763 T1=1.85	OPT f=1916 TT=10.995 T1=1.94	OPT f=1916 TT=34.496 T1=6.6	OPT f=1916 TT=33.705 T1=6.6	OPT f=1916 TT=61.245 T1=49.42	OPT f=1916 TT=60.208 T1=48.3	OPT f=1916 TT=18.977 T1=6.04	OPT f=1916 TT=1.552 T1=1.6	OPT f=1916 TT=1.029 T1=1.09	OPT f=1916 TT=0.319 T1=0.28	SAT (TO) f=1916 TT=2520.08 T1=38.95	OPT f=1916 TT=3.35 T1=1.41	OPT f=1916 TT=3.235 T1=1.37	OPT f=1916 TT=22.98 T1=9.66	OPT f=1916 TT=22.906 T1=22.01	OPT f=1916 TT=4.28 T1=1.49	OPT f=1916 TT=12.755 T1=2.18	OPT f=1916 TT=12.724 T1=2.28	OPT f=1916 TT=21.845 T1=6.15	OPT f=1916 TT=1.588 T1=1.56	OPT f=1916 TT=1.039 T1=0.88	OPT f=1916 TT=0.351 T1=0.21	SAT (TO) f=1916 TT=2400.08 T1=34.18	OPT f=1916 TT=4.288 T1=1.43	OPT f=1916 TT=4.006 T1=1.37	OPT f=1916 TT=230.082 T1=184.12	OPT f=1916 TT=272.484 T1=222.02
Fastfood/ Fastfood-m1-s1/ Fastfood-ff18.xml	OPT f=1143 TT=6.268 T1=0.61	OPT f=1143 TT=30.045 T1=8.86	OPT f=1143 TT=31.295 T1=4.91	OPT f=1143 TT=28.675 T1=4.27	OPT f=1143 TT=875.858 T1=506.05	OPT f=1143 TT=862.271 T1=497.27	OPT f=1143 TT=1915.55 T1=239.57	OPT f=1143 TT=1908.61 T1=237.99	OPT f=1143 TT=125.389 T1=6.49	OPT f=1143 TT=36.33 T1=36.34	OPT f=1143 TT=18.043 T1=18.11	OPT f=1143 TT=6.418 T1=0.68	SAT (TO) f=1143 TT=2520.1 T1=170.47	OPT f=1143 TT=7.219 T1=2.92	OPT f=1143 TT=6.954 T1=2.84	OPT f=1143 TT=66.511 T1=23.21	OPT f=1143 TT=67.586 T1=63.92	OPT f=1143 TT=28.424 T1=8.48	OPT f=1143 TT=47.525 T1=6.18	OPT f=1143 TT=49.549 T1=6.32	OPT f=1143 TT=129.089 T1=7.4	OPT f=1143 TT=36.618 T1=35.34	OPT f=1143 TT=18.218 T1=11.51	OPT f=1143 TT=6.268 T1=0.61	SAT (TO) f=1143 TT=2400.05 T1=115.6	OPT f=1143 TT=8.528 T1=2.81	OPT f=1143 TT=7.927 T1=2.78	SAT (TO) f=1143 TT=2400.19 T1=1730.98	SAT (TO) f=1143 TT=2520.24 T1=1933.13
Fastfood/ Fastfood-m1-s1/ Fastfood-ff32.xml	OPT f=5708 TT=0.039 T1=0.05	OPT f=5708 TT=1.421 T1=0.74	OPT f=5708 TT=2.819 T1=0.82	OPT f=5708 TT=2.942 T1=0.84	OPT f=5708 TT=1.408 T1=0.66	OPT f=5708 TT=1.424 T1=0.69	OPT f=5708 TT=1.742 T1=0.78	OPT f=5708 TT=1.8 T1=0.72	? TT=6.233	OPT f=5708 TT=0.043 T1=0.12	OPT f=5708 TT=0.047 T1=0.14	OPT f=5708 TT=0.039 T1=0.13	SAT (TO) f=5708 TT=2520.05 T1=1.29	OPT f=5708 TT=1.646 T1=0.93	OPT f=5708 TT=1.621 T1=0.98	OPT f=5708 TT=3.441 T1=1.32	OPT f=5708 TT=3.553 T1=3.02	OPT f=5708 TT=1.646 T1=0.72	OPT f=5708 TT=3.327 T1=0.93	OPT f=5708 TT=3.391 T1=0.95	? TT=6.685	OPT f=5708 TT=0.073 T1=0.07	OPT f=5708 TT=0.066 T1=0.06	OPT f=5708 TT=0.059 T1=0.05	SAT (TO) f=5708 TT=2400.04 T1=1.34	OPT f=5708 TT=2.081 T1=1.04	OPT f=5708 TT=1.828 T1=0.89	OPT f=5708 TT=5.084 T1=1.92	OPT f=5708 TT=4.838 T1=2.04
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
Fastfood/ Fastfood-m1-s1/ Fastfood-ff37.xml	OPT f=644 TT=1.335 T1=1.16	OPT f=644 TT=9.379 T1=3.17	OPT f=644 TT=17.014 T1=2.65	OPT f=644 TT=16.324 T1=2.55	OPT f=644 TT=51.631 T1=40.78	OPT f=644 TT=51.384 T1=40.18	OPT f=644 TT=158.442 T1=84.16	OPT f=644 TT=162.013 T1=85.98	OPT f=644 TT=25.907 T1=4.98	OPT f=644 TT=6.049 T1=6.14	OPT f=644 TT=4.105 T1=4.15	OPT f=644 TT=1.335 T1=1.26	SAT (TO) f=644 TT=2520.09 T1=71.16	OPT f=644 TT=5.612 T1=2.15	OPT f=644 TT=4.826 T1=1.95	OPT f=644 TT=14.745 T1=4.8	OPT f=644 TT=14.818 T1=12.49	OPT f=644 TT=10.193 T1=3.2	OPT f=644 TT=22.796 T1=3.24	OPT f=644 TT=22.623 T1=3.18	OPT f=644 TT=28.017 T1=5.16	OPT f=644 TT=6.003 T1=3.83	OPT f=644 TT=4.137 T1=3.76	OPT f=644 TT=1.338 T1=1.16	SAT (TO) f=644 TT=2400.05 T1=88.04	OPT f=644 TT=5.475 T1=1.91	OPT f=644 TT=5.077 T1=1.89	OPT f=644 TT=494.485 T1=256.21	OPT f=644 TT=504.145 T1=264.98
Fastfood/ Fastfood-m1-s1/ Fastfood-ff41.xml	OPT f=14 TT=0.39 T1=0.18	OPT f=14 TT=3.961 T1=1.72	OPT f=14 TT=32.451 T1=4.51	OPT f=14 TT=28.978 T1=4.26	OPT f=14 TT=3.613 T1=1.13	OPT f=14 TT=3.923 T1=1.28	OPT f=14 TT=9.071 T1=2.51	OPT f=14 TT=8.502 T1=2.3	OPT f=14 TT=20.679 T1=6.23	OPT f=14 TT=1.795 T1=1.85	OPT f=14 TT=1.665 T1=1.73	OPT f=14 TT=0.39 T1=0.25	SAT (TO) f=14 TT=2520.12 T1=99.32	OPT f=14 TT=5.689 T1=2.34	OPT f=14 TT=6.117 T1=2.42	OPT f=14 TT=23.524 T1=6.89	OPT f=14 TT=24.48 T1=20.31	OPT f=14 TT=5.684 T1=1.84	OPT f=14 TT=39.416 T1=5.66	OPT f=14 TT=38.334 T1=5.48	OPT f=14 TT=25.009 T1=6.42	OPT f=14 TT=1.814 T1=1.12	OPT f=14 TT=1.683 T1=1	OPT f=14 TT=0.404 T1=0.18	SAT (TO) f=14 TT=2400.11 T1=96.06	OPT f=14 TT=7.381 T1=2.3	OPT f=14 TT=6.477 T1=2.53	OPT f=14 TT=850.329 T1=784.7	OPT f=14 TT=851.595 T1=787.37
Fastfood/ Fastfood-m1-s1/ Fastfood-ff44.xml	OPT f=3 TT=0.135 T1=0.17	OPT f=3 TT=2.951 T1=1.19	OPT f=3 TT=27.678 T1=4.4	OPT f=3 TT=24.944 T1=4	OPT f=3 TT=3.005 T1=1.18	OPT f=3 TT=2.877 T1=1.14	OPT f=3 TT=5.218 T1=1.64	OPT f=3 TT=4.998 T1=1.73	OPT f=3 TT=15.241 T1=5.97	OPT f=3 TT=0.135 T1=0.2	OPT f=3 TT=0.174 T1=0.23	OPT f=3 TT=0.198 T1=0.24	SAT (TO) f=3 TT=2520.12 T1=32.93	OPT f=3 TT=3.806 T1=1.45	OPT f=3 TT=3.872 T1=1.34	OPT f=3 TT=20.469 T1=6.31	OPT f=3 TT=21.145 T1=19.08	OPT f=3 TT=3.978 T1=1.31	OPT f=3 TT=35.643 T1=5.45	OPT f=3 TT=37.091 T1=5.64	OPT f=3 TT=21.431 T1=6.3	OPT f=3 TT=0.146 T1=0.12	OPT f=3 TT=0.21 T1=0.18	OPT f=3 TT=0.205 T1=0.17	SAT (TO) f=3 TT=2400.08 T1=37.61	OPT f=3 TT=4.599 T1=1.38	OPT f=3 TT=5.077 T1=1.52	OPT f=3 TT=405.001 T1=395.7	OPT f=3 TT=398.26 T1=390.41
Fastfood/ Fastfood-m1-s1/ Fastfood-ff46.xml	OPT f=1 TT=0.087 T1=0.15	OPT f=1 TT=2.451 T1=1.06	OPT f=1 TT=26.711 T1=4.29	OPT f=1 TT=26.694 T1=4.29	OPT f=1 TT=2.388 T1=0.88	OPT f=1 TT=2.408 T1=1.05	OPT f=1 TT=3.206 T1=1.04	OPT f=1 TT=3.22 T1=0.92	OPT f=1 TT=14.829 T1=5.87	OPT f=1 TT=0.087 T1=0.15	OPT f=1 TT=0.128 T1=0.19	OPT f=1 TT=0.166 T1=0.22	SAT (TO) f=1 TT=2520.05 T1=1.66	OPT f=1 TT=3.271 T1=1.42	OPT f=1 TT=3.197 T1=1.4	OPT f=1 TT=8.793 T1=2.09	OPT f=1 TT=9.014 T1=7.66	OPT f=1 TT=2.945 T1=1.05	OPT f=1 TT=37.13 T1=5.7	OPT f=1 TT=36.864 T1=5.61	OPT f=1 TT=20.719 T1=6.2	OPT f=1 TT=0.13 T1=0.12	OPT f=1 TT=0.183 T1=0.17	OPT f=1 TT=0.214 T1=0.18	SAT (TO) f=1 TT=2400.05 T1=1.41	OPT f=1 TT=3.594 T1=1.31	OPT f=1 TT=3.681 T1=1.32	OPT f=1 TT=148.137 T1=116.3	OPT f=1 TT=146.693 T1=115.9
Fastfood/ Fastfood-m1-s1/ Fastfood-ff54.xml	OPT f=3420 TT=0.416 T1=0.26	OPT f=3420 TT=5.312 T1=2.44	OPT f=3420 TT=15.053 T1=2.52	OPT f=3420 TT=16.823 T1=2.37	OPT f=3420 TT=62.376 T1=48.95	OPT f=3420 TT=63.522 T1=49.65	OPT f=3420 TT=79.578 T1=50.73	OPT f=3420 TT=80.315 T1=51.26	OPT f=3420 TT=27.667 T1=7.94	OPT f=3420 TT=2.601 T1=2.7	OPT f=3420 TT=1.888 T1=1.98	OPT f=3420 TT=0.416 T1=0.33	SAT (TO) f=3420 TT=2520.09 T1=34.53	OPT f=3420 TT=4.09 T1=1.64	OPT f=3420 TT=3.701 T1=1.4	OPT f=3420 TT=30.563 T1=13.99	OPT f=3420 TT=29.014 T1=27.92	OPT f=3420 TT=6.365 T1=2.45	Wrong Opt. f=3914 TT=8.273 T1=1.7	Wrong Opt. f=3732 TT=9.339 T1=1.84	OPT f=3420 TT=30.976 T1=7.57	OPT f=3420 TT=2.64 T1=2.58	OPT f=3420 TT=1.935 T1=1.47	OPT f=3420 TT=0.448 T1=0.26	SAT (TO) f=3420 TT=2400.08 T1=22.83	OPT f=3420 TT=4.694 T1=1.56	OPT f=3420 TT=4.794 T1=1.55	OPT f=3420 TT=539.634 T1=475.84	OPT f=3420 TT=535.597 T1=473.58
Fastfood/ Fastfood-m1-s1/ Fastfood-ff57.xml	OPT f=1334 TT=19.431 T1=7.18	OPT f=1334 TT=822.013 T1=422.21	OPT f=1334 TT=84.298 T1=10.72	OPT f=1334 TT=93.539 T1=10.64	SAT (TO) f=1486 TT=2520.05 T1=1397.81	SAT (TO) f=1486 TT=2520.06 T1=1397.8	SAT (TO) f=1474 TT=2520.1 T1=1458.62	SAT (TO) f=1474 TT=2520.04 T1=1467.44	OPT f=1334 TT=980.827 T1=7.89	OPT f=1334 TT=250.278 T1=250.29	OPT f=1334 TT=130.922 T1=130.98	OPT f=1334 TT=42.373 T1=20.52	SAT (TO) f=1334 TT=2520.03 T1=204.49	OPT f=1334 TT=19.431 T1=7.5	SAT (TO) f=1334 TT=2520.07 T1=15.16	OPT f=1334 TT=156.159 T1=31.59	OPT f=1334 TT=146.909 T1=142.49	OPT f=1334 TT=839.955 T1=430.68	OPT f=1334 TT=154.424 T1=19.02	OPT f=1334 TT=164.71 T1=19.41	OPT f=1334 TT=938.084 T1=7.88	OPT f=1334 TT=254.27 T1=249.34	OPT f=1334 TT=130.42 T1=95.36	OPT f=1334 TT=42.233 T1=20.37	SAT (TO) f=1334 TT=2400.08 T1=207.08	OPT f=1334 TT=21.202 T1=7.18	OPT f=1334 TT=1976.55 T1=9.94	SAT (TO) f=1378 TT=2400.31 T1=2106.88	SAT (TO) f=1378 TT=2520.19 T1=2266.67
Fastfood/ Fastfood-m1-s1/ Fastfood-ff65.xml	OPT f=63 TT=6.278 T1=1.43	OPT f=63 TT=6.707 T1=2.19	OPT f=63 TT=42.992 T1=5.19	OPT f=63 TT=38.753 T1=4.41	OPT f=63 TT=11.312 T1=4.07	OPT f=63 TT=10.658 T1=4.04	OPT f=63 TT=35.764 T1=18.1	OPT f=63 TT=36.217 T1=18.35	OPT f=63 TT=36.029 T1=6.44	OPT f=63 TT=8.992 T1=9.05	OPT f=63 TT=6.278 T1=6.33	OPT f=63 TT=7.181 T1=1.59	SAT (TO) f=63 TT=2520.04 T1=227.8	OPT f=63 TT=6.974 T1=2.99	OPT f=63 TT=6.547 T1=2.83	OPT f=63 TT=36.121 T1=8.35	OPT f=63 TT=34.033 T1=33.54	OPT f=63 TT=7.459 T1=2.17	OPT f=63 TT=60.115 T1=6.88	OPT f=63 TT=64.753 T1=6.46	OPT f=63 TT=40.76 T1=6.62	OPT f=63 TT=9.093 T1=4.17	OPT f=63 TT=6.297 T1=4.4	OPT f=63 TT=7.109 T1=1.43	SAT (TO) f=63 TT=2400.04 T1=162.78	OPT f=63 TT=7.765 T1=3.07	OPT f=63 TT=9.16 T1=3.21	SAT (TO) f=63 TT=2400.18 T1=1805.31	SAT (TO) f=63 TT=2520.15 T1=1823.74
Fastfood/ Fastfood-m1-s1/ Fastfood-ff69.xml	OPT f=6119 TT=0.041 T1=0.05	OPT f=6119 TT=1.476 T1=0.8	OPT f=6119 TT=3.309 T1=0.82	OPT f=6119 TT=3.183 T1=0.81	OPT f=6119 TT=1.482 T1=0.66	OPT f=6119 TT=1.455 T1=0.73	OPT f=6119 TT=1.976 T1=0.71	OPT f=6119 TT=2.002 T1=0.74	? TT=6.302	OPT f=6119 TT=0.047 T1=0.12	OPT f=6119 TT=0.052 T1=0.09	OPT f=6119 TT=0.041 T1=0.12	SAT (TO) f=6119 TT=2520.05 T1=1.32	OPT f=6119 TT=1.733 T1=0.98	OPT f=6119 TT=1.706 T1=0.97	OPT f=6119 TT=3.778 T1=1.32	OPT f=6119 TT=3.685 T1=2.95	OPT f=6119 TT=1.927 T1=0.81	OPT f=6119 TT=3.843 T1=0.99	OPT f=6119 TT=3.464 T1=0.95	? TT=7.302	OPT f=6119 TT=0.08 T1=0.07	OPT f=6119 TT=0.074 T1=0.07	OPT f=6119 TT=0.057 T1=0.05	SAT (TO) f=6119 TT=2400.05 T1=1.28	OPT f=6119 TT=1.926 T1=0.87	OPT f=6119 TT=2.257 T1=1.05	OPT f=6119 TT=7.959 T1=1.71	OPT f=6119 TT=7.126 T1=1.74
Fastfood/ Fastfood-m1-s1/ Fastfood-ff71.xml	OPT f=16 TT=0.35 T1=0.19	OPT f=16 TT=3.519 T1=1.35	OPT f=16 TT=20.66 T1=3.22	OPT f=16 TT=23.794 T1=3.46	OPT f=16 TT=3.39 T1=1.14	OPT f=16 TT=3.262 T1=1.23	OPT f=16 TT=8.172 T1=2.45	OPT f=16 TT=8.199 T1=2.32	OPT f=16 TT=18.048 T1=6.24	OPT f=16 TT=0.873 T1=0.94	OPT f=16 TT=0.794 T1=0.83	OPT f=16 TT=0.35 T1=0.27	SAT (TO) f=16 TT=2520.12 T1=98.93	OPT f=16 TT=4.3 T1=1.68	OPT f=16 TT=4.147 T1=1.69	OPT f=16 TT=19.399 T1=5.7	OPT f=16 TT=19.691 T1=18.69	OPT f=16 TT=4.628 T1=1.38	OPT f=16 TT=29.213 T1=4.29	OPT f=16 TT=28.044 T1=4.16	OPT f=16 TT=22.417 T1=6.18	OPT f=16 TT=0.924 T1=0.55	OPT f=16 TT=0.783 T1=0.62	OPT f=16 TT=0.377 T1=0.19	SAT (TO) f=16 TT=2400.07 T1=83.11	OPT f=16 TT=5.414 T1=1.63	OPT f=16 TT=5.361 T1=1.66	OPT f=16 TT=511.418 T1=487.76	OPT f=16 TT=518.931 T1=496.73
Fastfood/ Fastfood-m1-s1/ Fastfood-ff76.xml	OPT f=310 TT=9.224 T1=1.15	OPT f=310 TT=22.934 T1=16	OPT f=310 TT=98.544 T1=9.65	OPT f=310 TT=70.655 T1=5.9	OPT f=310 TT=119.835 T1=109.47	OPT f=310 TT=119.725 T1=109.25	OPT f=310 TT=326.695 T1=260.75	OPT f=310 TT=324.986 T1=259.4	OPT f=310 TT=95.546 T1=9.08	OPT f=310 TT=21.458 T1=21.46	OPT f=310 TT=27.768 T1=27.83	OPT f=310 TT=28.929 T1=1.22	SAT (TO) f=310 TT=2520.13 T1=249.79	OPT f=310 TT=9.925 T1=5.62	OPT f=310 TT=9.224 T1=5.65	OPT f=310 TT=53.973 T1=11.55	OPT f=310 TT=54.274 T1=42.8	OPT f=310 TT=23.236 T1=15.8	OPT f=310 TT=108.599 T1=8.83	OPT f=310 TT=109.737 T1=7.65	OPT f=310 TT=100.279 T1=8.73	OPT f=310 TT=21.553 T1=18.83	OPT f=310 TT=27.735 T1=27.13	OPT f=310 TT=29.69 T1=1.15	SAT (TO) f=310 TT=2400.08 T1=141.77	OPT f=310 TT=10.358 T1=5.36	OPT f=310 TT=10.234 T1=5.36	SAT (TO) f=310 TT=2400.22 T1=2278.3	SAT (TO) f=313 TT=2520.13 T1=1472.72
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
Fastfood/ Fastfood-m1-s1/ Fastfood-ff77.xml	OPT f=125 TT=1.302 T1=0.92	OPT f=125 TT=4.801 T1=2.21	OPT f=125 TT=17.172 T1=2.78	OPT f=125 TT=15.381 T1=2.72	OPT f=125 TT=8.504 T1=3.53	OPT f=125 TT=8.817 T1=3.7	OPT f=125 TT=17.98 T1=6.56	OPT f=125 TT=19.018 T1=6.68	OPT f=125 TT=16.589 T1=5.19	OPT f=125 TT=2.41 T1=2.44	OPT f=125 TT=2.099 T1=2.14	OPT f=125 TT=1.302 T1=0.92	SAT (TO) f=125 TT=2520.1 T1=35.14	OPT f=125 TT=4.884 T1=1.94	OPT f=125 TT=4.549 T1=1.89	OPT f=125 TT=16.674 T1=5.28	OPT f=125 TT=15.222 T1=14.35	OPT f=125 TT=6.202 T1=2.09	OPT f=125 TT=18.02 T1=2.95	OPT f=125 TT=19.918 T1=2.7	OPT f=125 TT=21.5 T1=5.88	OPT f=125 TT=2.472 T1=2.44	OPT f=125 TT=2.148 T1=1.65	OPT f=125 TT=1.349 T1=0.92	SAT (TO) f=125 TT=2400.09 T1=37.07	OPT f=125 TT=5.806 T1=1.89	OPT f=125 TT=5.531 T1=1.85	OPT f=125 TT=215.233 T1=199.65	OPT f=125 TT=216.931 T1=202.47
Fastfood/ Fastfood-m1-s1/ Fastfood-ff84.xml	OPT f=770 TT=0.129 T1=0.07	OPT f=770 TT=2.732 T1=1.13	OPT f=770 TT=5.98 T1=1.11	OPT f=770 TT=6.146 T1=1.23	OPT f=770 TT=9.297 T1=3.3	OPT f=770 TT=9.263 T1=3.45	OPT f=770 TT=23.596 T1=9.58	OPT f=770 TT=23.588 T1=9.58	OPT f=770 TT=13.251 T1=5.18	OPT f=770 TT=0.585 T1=0.65	OPT f=770 TT=0.324 T1=0.36	OPT f=770 TT=0.129 T1=0.15	SAT (TO) f=770 TT=2520.53 T1=20.7	OPT f=770 TT=2.894 T1=1.19	OPT f=770 TT=2.861 T1=1.17	OPT f=770 TT=14.872 T1=6.29	OPT f=770 TT=14.295 T1=12.74	OPT f=770 TT=3.296 T1=1.07	Wrong Opt. f=776 TT=4.97 T1=1.18	Wrong Opt. f=808 TT=4.615 T1=1.13	OPT f=770 TT=15.725 T1=5.05	OPT f=770 TT=0.643 T1=0.62	OPT f=770 TT=0.329 T1=0.27	OPT f=770 TT=0.171 T1=0.07	SAT (TO) f=770 TT=2400.06 T1=27.09	OPT f=770 TT=3.649 T1=1.19	OPT f=770 TT=3.112 T1=1.05	OPT f=770 TT=35.125 T1=24.76	OPT f=770 TT=40.907 T1=29.99
GolombRuler/ GolombRuler-a3-s1/ GolombRuler-05-a3.xml	OPT f=11 TT=0.024 T1=0.03	OPT f=11 TT=3.096 T1=1.17	OPT f=11 TT=1.43 T1=0.57	OPT f=11 TT=1.362 T1=0.67	OPT f=11 TT=1.473 T1=0.77	OPT f=11 TT=1.467 T1=0.8	OPT f=11 TT=2.071 T1=0.94	OPT f=11 TT=2.063 T1=1.03	OPT f=11 TT=8.82 T1=4.13	OPT f=11 TT=0.035 T1=0.14	OPT f=11 TT=0.296 T1=0.28	OPT f=11 TT=0.024 T1=0.09	SAT (TO) f=11 TT=2520.04 T1=1.1	OPT f=11 TT=1.803 T1=1.03	OPT f=11 TT=1.829 T1=1.01	OPT f=11 TT=10.803 T1=3.19	OPT f=11 TT=9.646 T1=8.55	OPT f=11 TT=3.446 T1=1.08	OPT f=11 TT=1.532 T1=0.62	OPT f=11 TT=1.515 T1=0.62	OPT f=11 TT=10.576 T1=4.18	OPT f=11 TT=0.05 T1=0.05	OPT f=11 TT=0.352 T1=6.17	OPT f=11 TT=0.039 T1=0.03	SAT (TO) f=11 TT=2400.07 T1=1	OPT f=11 TT=2.012 T1=0.92	OPT f=11 TT=2.049 T1=0.94	OPT f=11 TT=31.95 T1=7.22	OPT f=11 TT=16.039 T1=6.24
GolombRuler/ GolombRuler-a3-s1/ GolombRuler-06-a3.xml	OPT f=17 TT=0.038 T1=0.06	OPT f=17 TT=9.165 T1=2.17	OPT f=17 TT=1.53 T1=0.6	OPT f=17 TT=1.808 T1=0.64	OPT f=17 TT=1.111 T1=0.63	OPT f=17 TT=1.126 T1=0.65	OPT f=17 TT=1.558 T1=0.75	OPT f=17 TT=1.569 T1=0.78	OPT f=17 TT=9.329 T1=4.75	OPT f=17 TT=0.306 T1=0.29	OPT f=17 TT=0.594 T1=0.53	OPT f=17 TT=0.038 T1=0.13	SAT (TO) f=17 TT=2520.06 T1=1.22	OPT f=17 TT=2.033 T1=1.07	OPT f=17 TT=2.101 T1=1.12	OPT f=17 TT=10.537 T1=4.01	OPT f=17 TT=10.964 T1=10.14	OPT f=17 TT=9.514 T1=2.18	OPT f=17 TT=1.985 T1=0.7	OPT f=17 TT=1.838 T1=0.66	OPT f=17 TT=11.403 T1=4.37	OPT f=17 TT=0.363 T1=0.24	OPT f=17 TT=0.643 T1=6.35	OPT f=17 TT=0.061 T1=0.06	SAT (TO) f=17 TT=2400.07 T1=1.29	OPT f=17 TT=2.435 T1=0.98	OPT f=17 TT=2.634 T1=1.03	OPT f=17 TT=43.98 T1=11.24	OPT f=17 TT=24.409 T1=10.38
GolombRuler/ GolombRuler-a3-s1/ GolombRuler-07-a3.xml	OPT f=25 TT=0.089 T1=0.12	OPT f=25 TT=127.095 T1=4.51	OPT f=25 TT=2.955 T1=0.7	OPT f=25 TT=3.163 T1=0.69	OPT f=25 TT=2.223 T1=0.81	OPT f=25 TT=2.209 T1=0.82	OPT f=25 TT=5.893 T1=1.35	OPT f=25 TT=5.824 T1=1.34	OPT f=25 TT=10.32 T1=4.52	OPT f=25 TT=2.205 T1=1.23	OPT f=25 TT=2.104 T1=0.85	OPT f=25 TT=0.089 T1=0.12	SAT (TO) f=25 TT=2520.06 T1=1.6	OPT f=25 TT=2.163 T1=1.09	OPT f=25 TT=2.206 T1=0.97	OPT f=25 TT=11.663 T1=3.71	OPT f=25 TT=14.616 T1=13.01	OPT f=25 TT=126.859 T1=4.42	OPT f=25 TT=2.822 T1=0.71	OPT f=25 TT=2.98 T1=0.9	OPT f=25 TT=11.734 T1=4.38	OPT f=25 TT=2.252 T1=1.17	OPT f=25 TT=2.18 T1=0.84	OPT f=25 TT=0.136 T1=0.12	SAT (TO) f=25 TT=2400.1 T1=1.18	OPT f=25 TT=2.62 T1=0.97	OPT f=25 TT=2.727 T1=1.02	OPT f=25 TT=97.983 T1=35.08	OPT f=25 TT=59.639 T1=33.53
GolombRuler/ GolombRuler-a3-s1/ GolombRuler-08-a3.xml	OPT f=34 TT=0.338 T1=0.11	OPT f=34 TT=1566.53 T1=44.96	OPT f=34 TT=9.474 T1=0.8	OPT f=34 TT=5.887 T1=0.82	OPT f=34 TT=6.702 T1=2.98	OPT f=34 TT=6.559 T1=2.92	OPT f=34 TT=38.618 T1=24.82	OPT f=34 TT=38.264 T1=24.58	OPT f=34 TT=11.676 T1=5.07	OPT f=34 TT=23.02 T1=8.27	OPT f=34 TT=18.738 T1=16.4	OPT f=34 TT=0.338 T1=0.18	SAT (TO) f=34 TT=2520.08 T1=11.3	OPT f=34 TT=2.948 T1=1.21	OPT f=34 TT=2.926 T1=1.2	OPT f=34 TT=16.097 T1=4.65	OPT f=34 TT=17.715 T1=17.48	OPT f=34 TT=1565.43 T1=44.77	OPT f=34 TT=6.963 T1=0.83	OPT f=34 TT=6.305 T1=0.85	OPT f=34 TT=12.948 T1=4.87	OPT f=34 TT=22.847 T1=8.15	OPT f=34 TT=18.792 T1=16.47	OPT f=34 TT=0.378 T1=0.11	SAT (TO) f=34 TT=2400.07 T1=13.28	OPT f=34 TT=3.252 T1=1.12	OPT f=34 TT=3.419 T1=1.08	OPT f=34 TT=235.599 T1=96.21	OPT f=34 TT=200.712 T1=97.92
GolombRuler/ GolombRuler-a3-s1/ GolombRuler-09-a3.xml	OPT f=44 TT=4.947 T1=1.07	SAT (TO) f=47 TT=2520.06 T1=579.93	OPT f=44 TT=11.41 T1=1.33	OPT f=44 TT=14.825 T1=1.39	OPT f=44 TT=65.066 T1=46.32	OPT f=44 TT=64.492 T1=46.22	OPT f=44 TT=382.219 T1=62.45	OPT f=44 TT=386.096 T1=62.7	OPT f=44 TT=15.503 T1=7.06	OPT f=44 TT=256.513 T1=166.41	OPT f=44 TT=110.372 T1=82.86	OPT f=44 TT=4.947 T1=1.08	SAT (TO) f=44 TT=2520.1 T1=27.49	OPT f=44 TT=5.16 T1=2.78	OPT f=44 TT=5.621 T1=2.87	OPT f=44 TT=47.715 T1=9.26	OPT f=44 TT=43.769 T1=43.13	SAT (TO) f=47 TT=2400.03 T1=624.23	OPT f=44 TT=15.326 T1=1.26	OPT f=44 TT=16.689 T1=1.34	OPT f=44 TT=16.94 T1=6.61	OPT f=44 TT=256.32 T1=166.12	OPT f=44 TT=111.426 T1=83.73	OPT f=44 TT=5.004 T1=1.07	SAT (TO) f=44 TT=2400.08 T1=37.44	OPT f=44 TT=5.615 T1=2.78	OPT f=44 TT=5.873 T1=2.82	OPT f=44 TT=1497.85 T1=397.06	OPT f=44 TT=1449.91 T1=407.29
GolombRuler/ GolombRuler-a3-s1/ GolombRuler-10-a3.xml	OPT f=55 TT=11.943 T1=2.12	SAT (TO) f=61 TT=2520.08 T1=638.18	OPT f=55 TT=33.688 T1=2.6	OPT f=55 TT=28.783 T1=2.12	OPT f=55 TT=853.977 T1=529.04	OPT f=55 TT=848.922 T1=525.04	SAT (TO) f=60 TT=2520.11 T1=10.55	SAT (TO) f=60 TT=2520.03 T1=10.95	OPT f=55 TT=37.968 T1=20.59	OPT f=55 TT=1476.3 T1=1107.84	OPT f=55 TT=961.062 T1=928.37	OPT f=55 TT=26.805 T1=4.79	SAT (TO) f=55 TT=2520.07 T1=93.25	OPT f=55 TT=11.943 T1=6.94	OPT f=55 TT=12.219 T1=7.07	OPT f=55 TT=739.964 T1=95.93	OPT f=55 TT=767.921 T1=756.46	SAT (TO) f=61 TT=2400.09 T1=636.87	OPT f=55 TT=50.856 T1=3.24	OPT f=55 TT=49.888 T1=2.66	OPT f=55 TT=40.57 T1=20.67	OPT f=55 TT=1473.47 T1=1107.38	OPT f=55 TT=967.773 T1=935.05	OPT f=55 TT=27.214 T1=4.84	SAT (TO) f=55 TT=2400.07 T1=47.72	OPT f=55 TT=12.376 T1=6.95	OPT f=55 TT=12.452 T1=6.89	SAT (TO) f=55 TT=2400.31 T1=699.49	SAT (TO) f=55 TT=2520.3 T1=712.38
GolombRuler/ GolombRuler-a3-s1/ GolombRuler-12-a3.xml	OPT f=85 TT=1775.33 T1=211.03	SAT (TO) f=103 TT=2520.03 T1=1246.58	OPT f=85 TT=4076.36 T1=254.54	OPT f=85 TT=3789.25 T1=211.03	SAT (TO) f=92 TT=2520.04 T1=449	SAT (TO) f=92 TT=2520.1 T1=457.54	SAT (TO) f=91 TT=2520.05 T1=1700.76	SAT (TO) f=91 TT=2520.02 T1=1738.41	SAT (TO) f=90 TT=2520.1 T1=1214.07	SAT (TO) f=107 TT=2519.98 T1=1757.66	SAT (TO) f=103 TT=2520 T1=2137.86	SAT (TO) f=91 TT=2520.05 T1=260.52	SAT (TO) f=94 TT=2520.04 T1=983.26	OPT f=85 TT=1775.33 T1=1416.72	SAT (TO) f=93 TT=2520.05 T1=325.74	SAT (TO) f=396 TT=19831.9 T1=2493.55	SAT (TO) f=428 TT=19854.6 T1=19218.311	SAT (TO) f=103 TT=2400.09 T1=1254.98	SAT (TO) f=91 TT=2400.54 T1=7.71	SAT (TO) f=91 TT=2400.14 T1=68	SAT (TO) f=90 TT=2400.11 T1=1253.31	? (TO) TT=2400.07	? (TO) TT=2400.1	SAT (TO) f=91 TT=2400.09 T1=260.33	SAT (TO) f=91 TT=2400.09 T1=1515.94	OPT f=85 TT=1884.09 T1=1493.62	SAT (TO) f=93 TT=2400.03 T1=27.34	SAT (TO) f=102 TT=2400.31 T1=1615.03	SAT (TO) f=99 TT=2520.34 T1=2258.09
GolombRuler/ GolombRuler-a3-s1/ GolombRuler-14-a3.xml	SAT TO f=129 TT=20028.4 T1=2155.69	SAT (TO) f=160 TT=2520.09 T1=2104.88	SAT (TO) f=129 TT=20068.1 T1=2227.93	SAT (TO) f=129 TT=20028.4 T1=2155.69	SAT (TO) f=151 TT=2520.11 T1=1430.52	SAT (TO) f=151 TT=2520.05 T1=1404.6	SAT (TO) f=155 TT=2520.08 T1=2328.26	SAT (TO) f=155 TT=2520.08 T1=2347.41	SAT (TO) f=135 TT=2520.08 T1=1006.48	SAT (TO) f=165 TT=2520.08 T1=1723.14	SAT (TO) f=170 TT=2519.99 T1=892.46	SAT (TO) f=140 TT=2520.08 T1=1013.41	? (TO) TT=2520.03	SAT (TO) f=136 TT=2520.05 T1=654.33	SAT (TO) f=140 TT=2520.04 T1=1931.97	? (TO) TT=19836.1	? (TO) TT=19816.4	SAT (TO) f=160 TT=2400.03 T1=1918.23	SAT (TO) f=136 TT=2400.43 T1=202.06	SAT (TO) f=135 TT=2400.35 T1=247.54	SAT (TO) f=135 TT=2400.16 T1=1030.57	? (TO) TT=2400.04	? (TO) TT=2400.09	SAT (TO) f=140 TT=2400.06 T1=996.97	? (TO) TT=2400.1	SAT (TO) f=136 TT=2400.1 T1=659.09	SAT (TO) f=135 TT=2400.08 T1=2315.94	SAT (TO) f=192 TT=2400.26 T1=1179.01	SAT (TO) f=174 TT=2520.31 T1=1914.01
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
GolombRuler/ GolombRuler-a3-s1/ GolombRuler-15-a3.xml	SAT TO f=161 TT=20019.5 T1=370.89	SAT (TO) f=195 TT=2520.1 T1=1375.59	SAT (TO) f=161 TT=20070 T1=382.74	SAT (TO) f=161 TT=20019.5 T1=370.89	SAT (TO) f=180 TT=2520.04 T1=440.25	SAT (TO) f=180 TT=2520.07 T1=434.39	SAT (TO) f=185 TT=2520.11 T1=1741.31	SAT (TO) f=185 TT=2520.08 T1=1767.91	? (TO) TT=2520.46	SAT (TO) f=200 TT=2520.09 T1=1840.27	SAT (TO) f=206 TT=2519.88 T1=1179.29	SAT (TO) f=164 TT=2519.9 T1=1059.48	? (TO) TT=2520.05	? (TO) TT=2520.02	? (TO) TT=2520.04	? (TO) TT=19825.5	? (TO) TT=19815.1	SAT (TO) f=195 TT=2400.07 T1=1364.33	SAT (TO) f=166 TT=2400.57 T1=196.1	SAT (TO) f=166 TT=2400.42 T1=200.56	? (TO) TT=2401	? (TO) TT=2400.03	? (TO) TT=2400.16	SAT (TO) f=164 TT=2400.03 T1=1036.41	? (TO) TT=2400.07	? (TO) TT=2400.05	? (TO) TT=2400.09	? (TO) TT=2416.38	? TT=1440.12
GolombRuler/ GolombRuler-a3-s1/ GolombRuler-16-a3.xml	SAT TO f=190 TT=20036 T1=1689.45	SAT (TO) f=237 TT=2520.03 T1=1963.4	SAT (TO) f=190 TT=20068.5 T1=1684.8	SAT (TO) f=190 TT=20036 T1=1689.45	SAT (TO) f=225 TT=2520.06 T1=2381.73	SAT (TO) f=225 TT=2520.02 T1=2184.96	SAT (TO) f=221 TT=2520.14 T1=2109.12	SAT (TO) f=221 TT=2520.02 T1=2123.24	? (TO) TT=2520.54	SAT (TO) f=232 TT=2520.03 T1=2084.14	SAT (TO) f=235 TT=2520.09 T1=2176.59	SAT (TO) f=202 TT=2520.02 T1=1000.41	? (TO) TT=2520.07	? (TO) TT=2520.03	? (TO) TT=2520.11	? (TO) TT=19800.1	? (TO) TT=19836.4	SAT (TO) f=237 TT=2400.09 T1=1965.81	SAT (TO) f=200 TT=2400.38 T1=279.69	SAT (TO) f=200 TT=2400.3 T1=272.22	? (TO) TT=2401.07	? (TO) TT=2400.03	? (TO) TT=2400.06	SAT (TO) f=202 TT=2400.06 T1=1006.8	? (TO) TT=2400.05	? (TO) TT=2400.11	? (TO) TT=2400.13	? (TO) TT=2416.26	? TT=1711.41
GolombRuler/ GolombRuler-a3-s1/ GolombRuler-17-a3.xml	SAT TO f=223 TT=20031.1 T1=1700.96	SAT (TO) f=276 TT=2520.11 T1=1079.09	SAT (TO) f=223 TT=20052.301 T1=1762.6	SAT (TO) f=223 TT=20031.1 T1=1700.96	SAT (TO) f=257 TT=2520.04 T1=1695.1	SAT (TO) f=257 TT=2520.07 T1=1706.91	SAT (TO) f=284 TT=2520.11 T1=1369.82	SAT (TO) f=283 TT=2520.04 T1=2467.16	? (TO) TT=2520.57	SAT (TO) f=278 TT=2519.68 T1=894.38	SAT (TO) f=279 TT=2519.82 T1=2066.06	SAT (TO) f=236 TT=2519.79 T1=173.37	? (TO) TT=2520.07	? (TO) TT=2520.12	? (TO) TT=2520.12	? (TO) TT=19805.699	? (TO) TT=19803.6	SAT (TO) f=276 TT=2400.04 T1=1103.41	SAT (TO) f=239 TT=2400.21 T1=158.15	SAT (TO) f=239 TT=2400.07 T1=158.04	? (TO) TT=2401.04	? (TO) TT=2400.03	SAT (TO) f=279 TT=2400.08 T1=2058.88	SAT (TO) f=236 TT=2400.1 T1=174.45	? (TO) TT=2400.08	? (TO) TT=2400.09	? (TO) TT=2400.04	? (TO) TT=2416.01	? TT=1686.79
GolombRuler/ GolombRuler-a3-s1/ GolombRuler-19-a3.xml	SAT TO f=298 TT=20014.301 T1=1052.97	SAT (TO) f=381 TT=2520.07 T1=2143.43	SAT (TO) f=298 TT=20071.1 T1=1046.57	SAT (TO) f=298 TT=20014.301 T1=1052.97	SAT (TO) f=414 TT=2520.03 T1=2084.18	SAT (TO) f=414 TT=2520.06 T1=2097.09	SAT (TO) f=381 TT=2520.12 T1=2267.15	SAT (TO) f=381 TT=2520.03 T1=2250.19	? (TO) TT=2520.54	? (TO) TT=2520	? (TO) TT=2520	SAT (TO) f=335 TT=2519.82 T1=1849.66	? (TO) TT=2520.05	? (TO) TT=2520.09	? (TO) TT=2520.1	? (TO) TT=19773.699	? (TO) TT=19782.4	SAT (TO) f=381 TT=2400.03 T1=2154.6	SAT (TO) f=322 TT=2400.54 T1=237.42	SAT (TO) f=322 TT=2400.61 T1=230.54	? (TO) TT=2401.13	? (TO) TT=2400.06	? (TO) TT=2400.1	SAT (TO) f=335 TT=2400.08 T1=1875.85	? (TO) TT=2400.1	? (TO) TT=2400.08	? (TO) TT=2400.06	? (TO) TT=2416.04	? (exit code) TT=1560.71
GolombRuler/ GolombRuler-a3-s1/ GolombRuler-21-a3.xml	SAT TO f=409 TT=20039.199 T1=507.13	SAT (TO) f=553 TT=2520.04 T1=1150.17	SAT (TO) f=406 TT=20069.1 T1=1918.28	SAT (TO) f=409 TT=20039.199 T1=507.13	? (TO) TT=2520.08	? (TO) TT=2520.04	? (TO) TT=2520.02	? (TO) TT=2520.03	? (TO) TT=2520.54	? (TO) TT=2519.75	? (TO) TT=2520.2	SAT (TO) f=422 TT=2520.02 T1=1641.02	? (TO) TT=2520.04	? (TO) TT=2520.05	? (TO) TT=2520.07	? (TO) TT=19683.199	? (TO) TT=19647.1	SAT (TO) f=553 TT=2400.11 T1=1159.16	SAT (TO) f=416 TT=2400.27 T1=231.72	SAT (TO) f=416 TT=2400.05 T1=233.58	? (TO) TT=2401.17	? (TO) TT=2400.08	? (TO) TT=2400.32	SAT (TO) f=422 TT=2400.07 T1=1615.37	? (TO) TT=2400.1	? (TO) TT=2400.06	? (TO) TT=2400.09	? (TO) TT=2416.28	? (problem) TT=1489.74
GolombRuler/ GolombRuler-a3-s1/ GolombRuler-25-a3.xml	SAT TO f=643 TT=19979.6 T1=868.69	SAT (TO) f=821 TT=2520.05 T1=2365.15	SAT (TO) f=643 TT=20081.5 T1=856.85	SAT (TO) f=643 TT=19979.6 T1=868.69	? (TO) TT=2520.1	? (TO) TT=2520.12	? (TO) TT=2520.11	? (TO) TT=2520.04	? (TO) TT=2520.58	? (TO) TT=2520.01	? (TO) TT=2520.34	SAT (TO) f=692 TT=2519.93 T1=1678.6	? (TO) TT=2520.12	? (TO) TT=2520.05	? (TO) TT=2520.06	? (TO) TT=19531.301	? (TO) TT=19534.301	SAT (TO) f=821 TT=2400.07 T1=1987.71	SAT (TO) f=672 TT=2400.43 T1=241.02	SAT (TO) f=672 TT=2400.8 T1=244.49	? (TO) TT=2401.17	? (TO) TT=2400.03	? (TO) TT=2400.59	SAT (TO) f=692 TT=2400.01 T1=1656.16	? (TO) TT=2400.05	? (TO) TT=2400.02	? (TO) TT=2400.04	? (TO) TT=2416.64	? TT=1553.97
GolombRuler/ GolombRuler-a3-s1/ GolombRuler-26-a3.xml	SAT TO f=719 TT=19901.699 T1=848.21	? (TO) TT=2520.08	SAT (TO) f=719 TT=20066.6 T1=827.37	SAT (TO) f=719 TT=19901.699 T1=848.21	? (TO) TT=2520.04	? (TO) TT=2520.05	? (TO) TT=2520.15	? (TO) TT=2520.12	? (TO) TT=2520.55	? (TO) TT=2519.96	? (MO) TT=27.895	SAT (TO) f=766 TT=2519.96 T1=1051.24	? (TO) TT=2520.11	? (TO) TT=2520.07	? (TO) TT=2520.05	? (TO) TT=19463.199	? (TO) TT=19516.801	? (TO) TT=2400.06	SAT (TO) f=730 TT=2400.05 T1=98.45	SAT (TO) f=730 TT=2400.68 T1=92.78	? (TO) TT=2401.21	? (TO) TT=2400.09	? (MO) TT=27.683	SAT (TO) f=766 TT=2400.09 T1=1007.76	? (TO) TT=2400.09	? (TO) TT=2400.04	? (TO) TT=2400.1	? (TO) TT=2415.75	? TT=1509.91
GolombRuler/ GolombRuler-a3-s1/ GolombRuler-27-a3.xml	SAT TO f=788 TT=19974.699 T1=1718.92	? (TO) TT=2520.05	SAT (TO) f=788 TT=20059.5 T1=1687.06	SAT (TO) f=788 TT=19974.699 T1=1718.92	? (TO) TT=2520.04	? (TO) TT=2520.03	? (TO) TT=2520.09	? (TO) TT=2520.1	? (TO) TT=2520.55	? (TO) TT=2519.68	? (MO) TT=27.706	SAT (TO) f=862 TT=2519.71 T1=1593.89	? (TO) TT=2520.05	? (TO) TT=2520.07	? (TO) TT=2520.09	? (TO) TT=19445.5	? (TO) TT=19439.5	? (TO) TT=2400.03	SAT (TO) f=817 TT=2400.21 T1=135.95	SAT (TO) f=817 TT=2400.33 T1=132.13	? (TO) TT=2401.14	? (TO) TT=2400.07	? (MO) TT=28.065	SAT (TO) f=862 TT=2400.1 T1=1553.4	? (TO) TT=2400.03	? (TO) TT=2400.04	? (TO) TT=2400.03	? (TO) TT=2416.22	? (problem) TT=1373.22
GolombRuler/ GolombRuler-a3-s1/ GolombRuler-28-a3.xml	SAT TO f=866 TT=20000.6 T1=279.54	? (TO) TT=2520.05	SAT (TO) f=866 TT=20072.699 T1=285.7	SAT (TO) f=866 TT=20000.6 T1=279.54	? (TO) TT=2520.11	? (TO) TT=2520.09	? (TO) TT=2520.07	? (TO) TT=2520.08	? (TO) TT=2520.53	? (TO) TT=2519.98	? (MO) TT=27.594	SAT (TO) f=925 TT=2519.96 T1=131.5	? (TO) TT=2520.08	? (TO) TT=2520.02	? (TO) TT=2520.09	? (TO) TT=19400.6	? (TO) TT=19388.801	? (TO) TT=2400.03	SAT (TO) f=894 TT=2400.26 T1=194.76	SAT (TO) f=894 TT=2400.71 T1=188.33	? (TO) TT=2401.25	? (TO) TT=2400.01	? (MO) TT=27.985	SAT (TO) f=925 TT=2400.02 T1=128.95	? (TO) TT=2400.02	? (TO) TT=2400.03	? (TO) TT=2400.09	? (TO) TT=2416.05	? TT=1330.28
GolombRuler/ GolombRuler-a4-s1/ GolombRuler-05-a4.xml	OPT f=11 TT=0.069 T1=0.11	OPT f=11 TT=1.283 T1=0.75	OPT f=11 TT=2.791 T1=0.73	OPT f=11 TT=2.858 T1=0.7	OPT f=11 TT=1.16 T1=0.69	OPT f=11 TT=1.162 T1=0.66	OPT f=11 TT=1.422 T1=0.72	OPT f=11 TT=1.488 T1=0.75	OPT f=11 TT=10.132 T1=4.48	OPT f=11 TT=0.069 T1=0.14	OPT f=11 TT=0.117 T1=0.16	OPT f=11 TT=0.076 T1=0.18	SAT (TO) f=11 TT=2520.07 T1=0.95	OPT f=11 TT=1.772 T1=0.96	OPT f=11 TT=1.76 T1=0.83	OPT f=11 TT=7.349 T1=2.38	OPT f=11 TT=7.819 T1=7.15	OPT f=11 TT=1.571 T1=0.73	OPT f=11 TT=2.439 T1=0.79	OPT f=11 TT=2.307 T1=0.74	OPT f=11 TT=12.413 T1=4.63	OPT f=11 TT=0.117 T1=0.11	OPT f=11 TT=0.167 T1=0.16	OPT f=11 TT=0.114 T1=0.11	SAT (TO) f=11 TT=2400.02 T1=0.88	OPT f=11 TT=2.058 T1=0.86	OPT f=11 TT=2.169 T1=0.89	OPT f=11 TT=78.644 T1=16.85	OPT f=11 TT=71.192 T1=25.78
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
GolombRuler/ GolombRuler-a4-s1/ GolombRuler-06-a4.xml	OPT f=17 TT=0.214 T1=0.24	OPT f=17 TT=1.619 T1=0.91	OPT f=17 TT=9.367 T1=1.02	OPT f=17 TT=11.772 T1=0.99	OPT f=17 TT=2.059 T1=0.74	OPT f=17 TT=2.053 T1=0.75	OPT f=17 TT=5.725 T1=1.8	OPT f=17 TT=5.219 T1=1.63	OPT f=17 TT=12.499 T1=5.14	OPT f=17 TT=0.294 T1=0.32	OPT f=17 TT=0.287 T1=0.31	OPT f=17 TT=0.214 T1=0.25	SAT (TO) f=17 TT=2520.08 T1=1.12	OPT f=17 TT=2.007 T1=1.06	OPT f=17 TT=1.979 T1=0.9	OPT f=17 TT=8.069 T1=2.21	OPT f=17 TT=6.97 T1=6.66	OPT f=17 TT=1.882 T1=0.85	OPT f=17 TT=6.494 T1=0.99	OPT f=17 TT=5.88 T1=1.05	OPT f=17 TT=15.72 T1=5.18	OPT f=17 TT=0.345 T1=0.29	OPT f=17 TT=0.346 T1=0.33	OPT f=17 TT=0.264 T1=0.24	SAT (TO) f=17 TT=2400.03 T1=1.14	OPT f=17 TT=2.362 T1=0.96	OPT f=17 TT=2.333 T1=0.95	OPT f=17 TT=383.952 T1=71.85	OPT f=17 TT=225.057 T1=57.91
GolombRuler/ GolombRuler-a4-s1/ GolombRuler-09-a4.xml	OPT f=44 TT=6.618 T1=2.42	OPT f=44 TT=33.776 T1=20.47	OPT f=44 TT=1473.12 T1=15.47	OPT f=44 TT=1120.74 T1=17.64	OPT f=44 TT=333.571 T1=114.3	OPT f=44 TT=361.175 T1=111.04	OPT f=44 TT=863.197 T1=246.42	OPT f=44 TT=537.052 T1=199.27	OPT f=44 TT=48.649 T1=20.6	OPT f=44 TT=61.863 T1=33.1	OPT f=44 TT=46.901 T1=45.48	OPT f=44 TT=1222.22 T1=649.71	SAT (TO) f=44 TT=2520.1 T1=11.28	OPT f=44 TT=6.618 T1=5.22	OPT f=44 TT=6.66 T1=2.52	OPT f=44 TT=16.202 T1=4.3	OPT f=44 TT=16.45 T1=13.14	OPT f=44 TT=34.197 T1=20.51	Wrong Opt. f=46 TT=138.622 T1=18.18	Wrong Opt. f=48 TT=45.857 T1=6.2	OPT f=44 TT=53.64 T1=20.91	OPT f=44 TT=65.921 T1=34.69	OPT f=44 TT=45.456 T1=44.1	OPT f=44 TT=1256.46 T1=667.07	SAT (TO) f=44 TT=2400.12 T1=20.08	OPT f=44 TT=7.553 T1=2.47	OPT f=44 TT=7.337 T1=2.42	? (TO) TT=2416.36	? (exit code) TT=1917.29
GolombRuler/ GolombRuler-a4-s1/ GolombRuler-10-a4.xml	OPT f=55 TT=36.934 T1=9.98	OPT f=55 TT=316.524 T1=202.25	OPT f=55 TT=19809.699 T1=257.35	OPT f=55 TT=13365.2 T1=288.62	SAT (TO) f=60 TT=2520.11 T1=800.98	SAT (TO) f=60 TT=2520.06 T1=800.96	SAT (TO) f=60 TT=2520.09 T1=1600.36	SAT (TO) f=55 TT=2520.16 T1=1692.32	OPT f=55 TT=189.539 T1=43.64	OPT f=55 TT=714.897 T1=379.89	OPT f=55 TT=330.63 T1=171.88	SAT (TO) f=60 TT=2520.07 T1=1492.42	SAT (TO) f=55 TT=2520.11 T1=29.11	OPT f=55 TT=36.934 T1=16.87	OPT f=55 TT=1878.94 T1=9.98	OPT f=55 TT=54.104 T1=19.49	OPT f=55 TT=54.341 T1=30.96	OPT f=55 TT=308.557 T1=196.92	Wrong Opt. f=62 TT=458.604 T1=18.79	Wrong Opt. f=61 TT=600.424 T1=41.7	OPT f=55 TT=197.163 T1=43.97	OPT f=55 TT=630.35 T1=337.29	OPT f=55 TT=329.112 T1=170.88	SAT (TO) f=60 TT=2400.01 T1=1516.28	SAT (TO) f=55 TT=2400.11 T1=40.13	OPT f=55 TT=38.328 T1=16.79	OPT f=55 TT=1788.31 T1=10.84	? (TO) TT=2416.25	? (problem) TT=1348.08
GolombRuler/ GolombRuler-a4-s1/ GolombRuler-12-a4.xml	SAT TO f=90 TT=2400.12 T1=739.85	SAT (TO) f=94 TT=2520.09 T1=1925.88	SAT (TO) f=93 TT=19580.199 T1=2329.78	SAT (TO) f=94 TT=19463.4 T1=1030.03	SAT (TO) f=105 TT=2520.1 T1=235.47	SAT (TO) f=104 TT=2520.06 T1=1239.75	SAT (TO) f=108 TT=2520.04 T1=216.2	SAT (TO) f=107 TT=2520.05 T1=602.95	SAT (TO) f=91 TT=2520.11 T1=2404.82	SAT (TO) f=95 TT=2519.83 T1=164.47	SAT (TO) f=95 TT=2519.74 T1=49.62	SAT (TO) f=98 TT=2519.7 T1=2114.11	SAT (TO) f=92 TT=2520.05 T1=1407.25	SAT (TO) f=90 TT=2520.05 T1=739.85	SAT (TO) f=91 TT=2520.11 T1=1334.19	SAT (TO) f=91 TT=2559.28 T1=304.17	SAT (TO) f=90 TT=2568.45 T1=2558.38	SAT (TO) f=94 TT=2400.04 T1=1940.26	Wrong Opt. f=104 TT=944.581 T1=151.33	Wrong Opt. f=115 TT=130.736 T1=32.08	SAT (TO) f=92 TT=2400.09 T1=1641.11	? (TO) TT=2400.09	? (TO) TT=2400.1	SAT (TO) f=98 TT=2400.07 T1=2172.56	SAT (TO) f=93 TT=2400.09 T1=387.57	SAT (TO) f=90 TT=2400.12 T1=765.25	SAT (TO) f=91 TT=2400.12 T1=1757.32	? (TO) TT=2416.05	? TT=1383.96
GolombRuler/ GolombRuler-a4-s1/ GolombRuler-13-a4.xml	SAT TO f=109 TT=2520.07 T1=1028.24	SAT (TO) f=123 TT=2520.09 T1=2408.42	SAT (TO) f=121 TT=20048.699 T1=1755.15	SAT (TO) f=119 TT=20066.9 T1=2061.5	SAT (TO) f=123 TT=2520.03 T1=1503.74	SAT (TO) f=123 TT=2520.05 T1=1492.87	SAT (TO) f=124 TT=2520.11 T1=399.55	SAT (TO) f=133 TT=2520.08 T1=244.56	SAT (TO) f=114 TT=2520.06 T1=245.65	SAT (TO) f=129 TT=2519.97 T1=586.98	SAT (TO) f=130 TT=2519.8 T1=1320.22	SAT (TO) f=122 TT=2519.96 T1=1359.92	SAT (TO) f=114 TT=2520.07 T1=575.81	SAT (TO) f=115 TT=2520.11 T1=2376.49	SAT (TO) f=109 TT=2520.07 T1=1028.24	SAT (TO) f=110 TT=2582.6 T1=1541.51	SAT (TO) f=111 TT=2567.01 T1=2298.15	SAT (TO) f=124 TT=2400.08 T1=2008.48	SAT (TO) f=128 TT=2400.36 T1=295.61	SAT (TO) f=129 TT=2400.59 T1=303.77	SAT (TO) f=114 TT=2400.09 T1=241.53	? (TO) TT=2400.07	? (TO) TT=2400.05	SAT (TO) f=122 TT=2400.04 T1=1405.88	SAT (TO) f=114 TT=2400.08 T1=802.73	SAT (TO) f=117 TT=2400.05 T1=1899.69	SAT (TO) f=111 TT=2400.03 T1=1986.41	? (TO) TT=2416.11	? TT=1487.15
GolombRuler/ GolombRuler-a4-s1/ GolombRuler-14-a4.xml	SAT TO f=136 TT=2400.1 T1=935.99	SAT (TO) f=152 TT=2520.05 T1=2281.74	SAT (TO) f=146 TT=15751.6 T1=2286.12	SAT (TO) f=144 TT=15534.9 T1=2325.89	SAT (TO) f=156 TT=2520.04 T1=1369.74	SAT (TO) f=151 TT=2520.05 T1=1202.37	SAT (TO) f=155 TT=2520.07 T1=2430.33	SAT (TO) f=157 TT=2520.32 T1=803.4	SAT (TO) f=141 TT=2520.13 T1=1704.1	SAT (TO) f=155 TT=2519.77 T1=997.27	SAT (TO) f=161 TT=2519.79 T1=326.76	SAT (TO) f=156 TT=2519.77 T1=1900.68	SAT (TO) f=140 TT=2520.12 T1=1286.51	SAT (TO) f=158 TT=2520.06 T1=1828.34	SAT (TO) f=137 TT=2520.06 T1=959.17	SAT (TO) f=141 TT=2582.48 T1=1363.7	SAT (TO) f=141 TT=2604.53 T1=1855.03	SAT (TO) f=152 TT=2400.09 T1=2296.32	SAT (TO) f=148 TT=2400.56 T1=737.78	SAT (TO) f=148 TT=2400.62 T1=212.76	SAT (TO) f=141 TT=2400.07 T1=1857.95	? (TO) TT=2400.09	? (TO) TT=2400.04	SAT (TO) f=156 TT=2400.01 T1=2054.53	SAT (TO) f=139 TT=2400.08 T1=2232	SAT (TO) f=158 TT=2400.02 T1=1929	SAT (TO) f=136 TT=2400.1 T1=935.99	? (TO) TT=2414.55	? TT=1311.85
GolombRuler/ GolombRuler-a4-s1/ GolombRuler-15-a4.xml	SAT TO f=163 TT=2400.05 T1=1298.89	SAT (TO) f=188 TT=2520.04 T1=1129.12	SAT (TO) f=175 TT=14605.8 T1=2194.7	SAT (TO) f=175 TT=18155.199 T1=1696.42	SAT (TO) f=183 TT=2520.13 T1=2139.44	SAT (TO) f=183 TT=2520.04 T1=2200.15	SAT (TO) f=191 TT=2520.11 T1=1270.41	SAT (TO) f=185 TT=2520.03 T1=2344.1	SAT (TO) f=170 TT=2520.11 T1=2453.41	SAT (TO) f=195 TT=2519.93 T1=313.62	SAT (TO) f=197 TT=2519.85 T1=703.52	SAT (TO) f=191 TT=2519.88 T1=1424.58	SAT (TO) f=169 TT=2520.12 T1=1825.29	SAT (TO) f=200 TT=2520.09 T1=1687.62	SAT (TO) f=164 TT=2520.12 T1=1369.83	SAT (TO) f=176 TT=2600.3 T1=1838.82	SAT (TO) f=190 TT=2560.86 T1=2240.6	SAT (TO) f=188 TT=2400.02 T1=1161.4	SAT (TO) f=190 TT=2400 T1=490.8	SAT (TO) f=190 TT=2400.07 T1=162.21	SAT (TO) f=171 TT=2400.13 T1=2287.09	? (TO) TT=2400.01	? (TO) TT=2400.1	SAT (TO) f=191 TT=2400.03 T1=1331.98	SAT (TO) f=166 TT=2400.09 T1=2282.39	SAT (TO) f=200 TT=2400.1 T1=1671.77	SAT (TO) f=163 TT=2400.05 T1=1298.89	? TT=2267.33	? TT=840.776
GolombRuler/ GolombRuler-a4-s1/ GolombRuler-17-a4.xml	SAT TO f=230 TT=2400.04 T1=1741.95	SAT (TO) f=272 TT=2520.04 T1=1447.67	? (TO) TT=19933.699	SAT (TO) f=255 TT=19960.5 T1=440.05	SAT (TO) f=263 TT=2520.06 T1=1278.88	SAT (TO) f=263 TT=2520.1 T1=1274.24	SAT (TO) f=274 TT=2520.09 T1=2416.59	SAT (TO) f=264 TT=2520.07 T1=1085.17	SAT (TO) f=247 TT=2520.15 T1=1884.04	SAT (TO) f=262 TT=2520.07 T1=2043.54	SAT (TO) f=265 TT=2520.1 T1=1164.36	SAT (TO) f=267 TT=2519.86 T1=993.72	SAT (TO) f=240 TT=2520.04 T1=2159.76	SAT (TO) f=491 TT=2520.02 T1=877.91	SAT (TO) f=230 TT=2520.12 T1=1741.95	SAT (TO) f=259 TT=2594.59 T1=458.64	SAT (TO) f=267 TT=2573.68 T1=2572.69	SAT (TO) f=272 TT=2400.09 T1=1447.88	SAT (TO) f=276 TT=2400.52 T1=26.84	SAT (TO) f=276 TT=2400.6 T1=24.09	SAT (TO) f=247 TT=2400.16 T1=1900.41	? (TO) TT=2400.03	? (TO) TT=2400.1	SAT (TO) f=267 TT=2400.01 T1=1037.37	SAT (TO) f=230 TT=2400.04 T1=2260.59	SAT (TO) f=491 TT=2400.09 T1=862	SAT (TO) f=231 TT=2400.1 T1=1588.55	? (TO) TT=2416.08	? TT=1229.55
GolombRuler/ GolombRuler-a4-s1/ GolombRuler-18-a4.xml	SAT TO f=271 TT=2520.08 T1=1550.36	SAT (TO) f=312 TT=2520.08 T1=2378.58	SAT (TO) f=301 TT=19884 T1=1780	SAT (TO) f=309 TT=7445.34 T1=2236.75	SAT (TO) f=311 TT=2520.13 T1=1640.34	SAT (TO) f=311 TT=2520.03 T1=131.33	SAT (TO) f=325 TT=2520.09 T1=2170.54	SAT (TO) f=327 TT=2521.35 T1=2293.17	SAT (TO) f=289 TT=2520.09 T1=1924.46	SAT (TO) f=313 TT=2519.84 T1=2499.81	SAT (TO) f=314 TT=2519.91 T1=2426.97	SAT (TO) f=311 TT=2519.99 T1=2037.26	SAT (TO) f=282 TT=2520.11 T1=1348.84	SAT (TO) f=489 TT=2520.09 T1=244.41	SAT (TO) f=271 TT=2520.08 T1=1550.36	SAT (TO) f=288 TT=2596.3 T1=2480.8	SAT (TO) f=316 TT=2606.39 T1=73.76	SAT (TO) f=315 TT=2400.13 T1=1948.54	SAT (TO) f=308 TT=2400.51 T1=296.25	SAT (TO) f=308 TT=2400.47 T1=286.46	SAT (TO) f=289 TT=2400.09 T1=1960.5	? (TO) TT=2400.01	? (TO) TT=2400.02	SAT (TO) f=311 TT=2400.05 T1=1929.28	SAT (TO) f=279 TT=2400.07 T1=2150.11	SAT (TO) f=489 TT=2400.05 T1=238.44	SAT (TO) f=279 TT=2400.03 T1=1415.51	? (TO) TT=2416.15	? (problem) TT=1302.31
GolombRuler/ GolombRuler-a4-s1/ GolombRuler-19-a4.xml	SAT TO f=313 TT=2400.11 T1=809.47	SAT (TO) f=351 TT=2520.05 T1=2318.88	SAT (TO) f=349 TT=11233.5 T1=2010.32	SAT (TO) f=349 TT=11197.3 T1=2118.52	SAT (TO) f=351 TT=2520.02 T1=1618.64	SAT (TO) f=351 TT=2520.06 T1=1619.62	SAT (TO) f=351 TT=2520.04 T1=2253.69	SAT (TO) f=364 TT=2520.04 T1=1373.52	SAT (TO) f=335 TT=2520.1 T1=1815.1	SAT (TO) f=367 TT=2520.01 T1=966.48	SAT (TO) f=359 TT=2519.9 T1=503.7	SAT (TO) f=351 TT=2519.69 T1=128.29	SAT (TO) f=318 TT=2520.04 T1=2327.93	SAT (TO) f=491 TT=2520.1 T1=1023.41	SAT (TO) f=317 TT=2520.04 T1=848.54	SAT (TO) f=329 TT=19886.1 T1=2422.75	SAT (TO) f=332 TT=19982.9 T1=12765.71	SAT (TO) f=369 TT=2400.07 T1=1608.14	SAT (TO) f=350 TT=2400.55 T1=1764.39	SAT (TO) f=350 TT=2400.02 T1=138.1	SAT (TO) f=335 TT=2400.1 T1=1865.36	? (TO) TT=2400.06	? (TO) TT=2400.07	SAT (TO) f=351 TT=2400.04 T1=131.22	SAT (TO) f=319 TT=2400.04 T1=2111.82	SAT (TO) f=491 TT=2400.07 T1=1057.21	SAT (TO) f=313 TT=2400.11 T1=809.47	? (TO) TT=2416.22	? TT=1295.29
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
GolombRuler/ GolombRuler-a4-s1/ GolombRuler-21-a4.xml	SAT TO f=416 TT=2520.03 T1=2170.61	? (TO) TT=2520.09	SAT (TO) f=552 TT=2761.66 T1=149.12	SAT (TO) f=552 TT=2768.79 T1=158.93	SAT (TO) f=492 TT=2520.05 T1=599.18	SAT (TO) f=492 TT=2520.1 T1=592.64	SAT (TO) f=492 TT=2520.08 T1=992.12	SAT (TO) f=491 TT=2520.15 T1=1007.04	SAT (TO) f=455 TT=2520.08 T1=2025.7	SAT (TO) f=460 TT=2520.14 T1=900.06	SAT (TO) f=478 TT=2520.09 T1=816.22	SAT (TO) f=465 TT=2519.96 T1=234.52	SAT (TO) f=416 TT=2520.03 T1=2170.61	SAT (TO) f=991 TT=2520.07 T1=1127.98	SAT (TO) f=430 TT=2520.11 T1=1103.41	SAT (TO) f=463 TT=2596.03 T1=1308.87	SAT (TO) f=441 TT=2595.97 T1=1442.94	? (TO) TT=2415.83	SAT (TO) f=465 TT=2400 T1=271.98	SAT (TO) f=552 TT=2400.01 T1=100.41	SAT (TO) f=455 TT=2400.14 T1=2047.52	? (TO) TT=2400.11	? (TO) TT=2400.08	SAT (TO) f=465 TT=2400.09 T1=233.14	SAT (TO) f=429 TT=2400.08 T1=2259.16	SAT (TO) f=991 TT=2400.06 T1=1088.68	SAT (TO) f=433 TT=2400.12 T1=1610.8	? (TO) TT=2415.98	? TT=1383.32
GolombRuler/ GolombRuler-a4-s1/ GolombRuler-23-a4.xml	SAT TO f=532 TT=2520.12 T1=1735.49	? (TO) TT=2520.11	SAT (TO) f=568 TT=6477.68 T1=464.48	SAT (TO) f=656 TT=3096.92 T1=370.67	SAT (TO) f=614 TT=2520.06 T1=1777.46	SAT (TO) f=614 TT=2520.11 T1=1771.73	SAT (TO) f=615 TT=2520.06 T1=2020.75	SAT (TO) f=615 TT=2520.08 T1=2062.85	SAT (TO) f=585 TT=2520.07 T1=2462.64	SAT (TO) f=614 TT=2519.85 T1=2220.05	SAT (TO) f=584 TT=2520.13 T1=1723.81	SAT (TO) f=628 TT=2519.58 T1=689.07	SAT (TO) f=544 TT=2520.05 T1=2352.61	SAT (TO) f=1000 TT=2520.05 T1=3.35	SAT (TO) f=532 TT=2520.12 T1=1735.49	SAT (TO) f=576 TT=2587.53 T1=269.86	SAT (TO) f=569 TT=2595.06 T1=442.19	? (TO) TT=2400.12	SAT (TO) f=656 TT=2400.05 T1=215.76	SAT (TO) f=656 TT=2400.06 T1=214.83	SAT (TO) f=588 TT=2400.06 T1=2313.92	? (TO) TT=2400.12	? (TO) TT=2400.15	SAT (TO) f=628 TT=2400.06 T1=696.62	SAT (TO) f=554 TT=2400.12 T1=2304.31	SAT (TO) f=1000 TT=2400.07 T1=2.45	SAT (TO) f=559 TT=2400.11 T1=1467.13	? (TO) TT=2416.32	? TT=1218.67
GolombRuler/ GolombRuler-a4-s1/ GolombRuler-24-a4.xml	SAT TO f=599 TT=2520.11 T1=1741.88	? (TO) TT=2520.11	SAT (TO) f=715 TT=3237.63 T1=95.7	SAT (TO) f=652 TT=19906.1 T1=1453.12	SAT (TO) f=691 TT=2520.06 T1=873.88	SAT (TO) f=674 TT=2520.04 T1=844.41	? (TO) TT=2527.93	? (TO) TT=2528.12	SAT (TO) f=662 TT=2520.07 T1=2455.81	SAT (TO) f=737 TT=2519.63 T1=2383.79	SAT (TO) f=697 TT=2519.64 T1=2110.68	SAT (TO) f=715 TT=2519.93 T1=177.54	SAT (TO) f=611 TT=2520.04 T1=2184.04	SAT (TO) f=1000 TT=2520.06 T1=2.68	SAT (TO) f=599 TT=2520.11 T1=1741.88	SAT (TO) f=626 TT=2656.95 T1=2245.55	SAT (TO) f=626 TT=2621.35 T1=2464.35	? (TO) TT=2400.07	SAT (TO) f=734 TT=2400.05 T1=273.76	SAT (TO) f=734 TT=2400 T1=274.41	SAT (TO) f=667 TT=2400.13 T1=2285.06	? (TO) TT=2400.18	? (TO) TT=2400.27	SAT (TO) f=715 TT=2400.04 T1=186.44	SAT (TO) f=628 TT=2400.09 T1=2029.29	SAT (TO) f=1000 TT=2400.05 T1=2.67	SAT (TO) f=601 TT=2400.09 T1=1217.62	? (TO) TT=2416.21	? TT=1295.03
GolombRuler/ GolombRuler-a4-s1/ GolombRuler-25-a4.xml	SAT TO f=661 TT=2400.06 T1=1644.9	? (TO) TT=2520.09	SAT (TO) f=742 TT=7952.87 T1=1188.71	SAT (TO) f=779 TT=3498.88 T1=654.61	SAT (TO) f=729 TT=2520.08 T1=2301.53	SAT (TO) f=729 TT=2520.1 T1=1685.52	? (TO) TT=2528	? (TO) TT=2527.91	SAT (TO) f=741 TT=2520.11 T1=2467.15	? (TO) TT=2519.86	? (TO) TT=2519.77	SAT (TO) f=799 TT=2519.95 T1=511.43	SAT (TO) f=665 TT=2520.09 T1=2441.28	SAT (TO) f=1000 TT=2520.06 T1=7.52	SAT (TO) f=702 TT=2520.09 T1=1227.07	SAT (TO) f=718 TT=3196.59 T1=206.38	SAT (TO) f=705 TT=3325.85 T1=3309.7	? (TO) TT=2400.15	SAT (TO) f=819 TT=2400.03 T1=341.69	SAT (TO) f=819 TT=2400.08 T1=340.71	SAT (TO) f=741 TT=2400.13 T1=2078.24	? (TO) TT=2400.28	? (TO) TT=2400.44	SAT (TO) f=799 TT=2400.04 T1=518	SAT (TO) f=661 TT=2400.06 T1=1644.9	SAT (TO) f=1000 TT=2400.05 T1=2.89	SAT (TO) f=686 TT=2400.11 T1=1657.03	? (TO) TT=2416.46	? TT=1296.64
GolombRuler/ GolombRuler-a4-s1/ GolombRuler-27-a4.xml	SAT TO f=818 TT=2520.12 T1=1761.69	? (problem) TT=715.8	SAT (TO) f=937 TT=3660.35 T1=804.62	SAT (TO) f=937 TT=3702.02 T1=795.64	SAT (TO) f=967 TT=2520.08 T1=2050.03	? (TO) TT=2526.42	SAT f=968 TT=2085.28 T1=1623.75	SAT f=968 TT=1977.03 T1=1550.8	SAT (TO) f=916 TT=2520.14 T1=2392.86	? (TO) TT=2519.93	? (TO) TT=2520.05	SAT (TO) f=969 TT=2519.69 T1=825.03	SAT (TO) f=840 TT=2520.07 T1=2265.3	SAT (TO) f=1000 TT=2520.12 T1=3.42	SAT (TO) f=818 TT=2520.12 T1=1761.69	SAT (TO) f=846 TT=20002.5 T1=744.32	SAT (TO) f=847 TT=20007.4 T1=10964.75	? (problem) TT=1335.06	SAT (TO) f=937 TT=2400.07 T1=386.09	SAT (TO) f=969 TT=2400.09 T1=335.34	SAT (TO) f=928 TT=2400.11 T1=2241.25	? (TO) TT=2400.37	? (TO) TT=2400.37	SAT (TO) f=969 TT=2400.11 T1=826.13	SAT (TO) f=826 TT=2400.1 T1=2222.19	SAT (TO) f=1000 TT=2400.04 T1=3.24	SAT (TO) f=844 TT=2400.05 T1=1435.21	? (TO) TT=2416.26	? TT=1349.16
GolombRuler/ GolombRuler-a4-s1/ GolombRuler-28-a4.xml	SAT TO f=920 TT=2520.1 T1=1723.08	? (problem) TT=705.725	SAT (TO) f=946 TT=19841.301 T1=1773.55	SAT (TO) f=946 TT=19715.4 T1=1896.11	? (TO) TT=2520.09	SAT (TO) f=993 TT=2520.08 T1=1295.59	? (TO) TT=2527.94	? (TO) TT=2527.85	SAT (TO) f=989 TT=2520.11 T1=1966.22	? (TO) TT=2519.58	? (TO) TT=2519.56	? (TO) TT=2519.63	SAT (TO) f=927 TT=2520.06 T1=2033.76	SAT (TO) f=1000 TT=2520.05 T1=58.32	SAT (TO) f=920 TT=2520.1 T1=1723.08	SAT (TO) f=950 TT=19988.801 T1=1441.02	SAT (TO) f=941 TT=20003.9 T1=16959.301	? (problem) TT=1322.16	? (TO) TT=2400.12	? (TO) TT=2400.02	SAT (TO) f=989 TT=2400.13 T1=1964.63	? (TO) TT=2400.39	? (TO) TT=2400.51	? (TO) TT=2400.08	SAT (TO) f=934 TT=2400.1 T1=2103.77	SAT (TO) f=1000 TT=2400.08 T1=57.92	SAT (TO) f=929 TT=2400.12 T1=1624.22	? (TO) TT=2416.18	? TT=1199.47
GraphColoring/GraphColoring-m1-fixed/ GraphColoring-qwhdec-o50-h825-bal-1.xml		? (TO) TT=2520.05	? (TO) TT=20033.6	? (TO) TT=20030	? (TO) TT=2520.08	? (TO) TT=2520.12	? (TO) TT=2520.07	? (TO) TT=2520.05	? (TO) TT=2520.72	? (TO) TT=2519.5	? (MO) TT=137.722	? (TO) TT=2519.95	? (TO) TT=2520.07	? (TO) TT=2520.07	? (TO) TT=2520.09	? (TO) TT=20035.801	? (TO) TT=20035.6	? (TO) TT=2400.02	? (TO) TT=2400.3	? (TO) TT=2400.07	? (TO) TT=2401.47	? (TO) TT=2400.08	? (MO) TT=137.916	? (TO) TT=2400.05	? (TO) TT=2400.07	? (TO) TT=2400.07	? (TO) TT=2400.11	? (TO) TT=2412.95	? (TO) TT=2528.14
GraphColoring/ GraphColoring-m1-fixed/ GraphColoring-qwhopt-o5-h10-1.xml	OPT f=4 TT=0.074 T1=0.09	OPT f=4 TT=1.13 T1=0.67	OPT f=4 TT=1.458 T1=0.64	OPT f=4 TT=1.472 T1=0.64	OPT f=4 TT=0.957 T1=0.59	OPT f=4 TT=0.963 T1=0.71	OPT f=4 TT=1.033 T1=0.63	OPT f=4 TT=1.012 T1=0.63	OPT f=4 TT=7.323 T1=3.76	OPT f=4 TT=0.093 T1=0.18	OPT f=4 TT=0.095 T1=0.1	OPT f=4 TT=0.074 T1=0.16	SAT (TO) f=4 TT=2520.03 T1=1.14	OPT f=4 TT=1.289 T1=0.91	OPT f=4 TT=1.298 T1=0.89	OPT f=4 TT=5.957 T1=1.77	OPT f=4 TT=6.144 T1=5.49	OPT f=4 TT=1.269 T1=0.61	OPT f=4 TT=1.643 T1=0.73	OPT f=4 TT=1.742 T1=0.77	OPT f=4 TT=8.647 T1=3.7	OPT f=4 TT=0.142 T1=0.14	OPT f=4 TT=0.14 T1=0.14	OPT f=4 TT=0.099 T1=0.09	SAT (TO) f=4 TT=2400.06 T1=1.18	OPT f=4 TT=1.309 T1=0.78	OPT f=4 TT=1.357 T1=0.78	OPT f=4 TT=1.797 T1=0.57	OPT f=4 TT=1.439 T1=0.68
GraphColoring/ GraphColoring-m1-mono/ GraphColoring-2-fullins-3.xml	OPT f=4 TT=0.149 T1=0.18	OPT f=4 TT=1.166 T1=0.75	OPT f=4 TT=2.288 T1=0.71	OPT f=4 TT=2.352 T1=0.75	OPT f=4 TT=1.225 T1=0.69	OPT f=4 TT=1.242 T1=0.69	OPT f=4 TT=1.673 T1=0.72	OPT f=4 TT=1.655 T1=0.71	OPT f=4 TT=9.038 T1=4.42	OPT f=4 TT=0.183 T1=0.26	OPT f=4 TT=0.188 T1=0.18	OPT f=4 TT=0.149 T1=0.23	SAT (TO) f=4 TT=2520.08 T1=1.01	OPT f=4 TT=1.663 T1=1	OPT f=4 TT=1.636 T1=0.98	OPT f=4 TT=9.974 T1=2.15	OPT f=4 TT=9.641 T1=8.72	OPT f=4 TT=1.423 T1=0.7	OPT f=4 TT=2.667 T1=0.82	OPT f=4 TT=2.838 T1=0.86	OPT f=4 TT=11.32 T1=4.37	OPT f=4 TT=0.237 T1=0.23	OPT f=4 TT=0.239 T1=0.23	OPT f=4 TT=0.198 T1=0.19	SAT (TO) f=4 TT=2400.12 T1=1.13	OPT f=4 TT=1.78 T1=0.88	OPT f=4 TT=1.859 T1=1.12	OPT f=4 TT=8.531 T1=4.41	OPT f=4 TT=7.093 T1=4.08
GraphColoring/ GraphColoring-m1-mono/ GraphColoring-3-fullins-3.xml	OPT f=5 TT=0.253 T1=0.27	OPT f=5 TT=1.389 T1=0.76	OPT f=5 TT=3.175 T1=0.89	OPT f=5 TT=3.975 T1=0.88	OPT f=5 TT=1.651 T1=0.8	OPT f=5 TT=1.642 T1=0.81	OPT f=5 TT=3.065 T1=0.81	OPT f=5 TT=2.959 T1=0.83	OPT f=5 TT=11.71 T1=5	OPT f=5 TT=0.318 T1=0.4	OPT f=5 TT=0.338 T1=0.33	OPT f=5 TT=0.253 T1=0.33	SAT (TO) f=5 TT=2520.06 T1=1.06	OPT f=5 TT=3.1 T1=1.18	OPT f=5 TT=3.044 T1=1.16	OPT f=5 TT=11.512 T1=2.44	OPT f=5 TT=10.101 T1=8.18	OPT f=5 TT=1.669 T1=0.72	OPT f=5 TT=4.311 T1=0.94	OPT f=5 TT=3.722 T1=0.97	OPT f=5 TT=13.959 T1=4.91	OPT f=5 TT=0.369 T1=0.36	OPT f=5 TT=0.395 T1=0.39	OPT f=5 TT=0.281 T1=0.27	SAT (TO) f=5 TT=2400.03 T1=1	OPT f=5 TT=3.315 T1=1.05	OPT f=5 TT=3.469 T1=1.07	OPT f=5 TT=36.76 T1=26.87	OPT f=5 TT=32.993 T1=26.75
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
GraphColoring/ GraphColoring-m1-mono/ GraphColoring-3-fullins-5.xml	OPT f=7 TT=1504.59 T1=2.61	OPT f=7 TT=1538.13 T1=2.8	OPT f=7 TT=9412.5 T1=9.43	OPT f=7 TT=7861.36 T1=5.89	SAT (TO) f=7 TT=2520.11 T1=2.92	SAT (TO) f=7 TT=2520.06 T1=3.21	SAT (TO) f=7 TT=2520.04 T1=3.01	SAT (TO) f=7 TT=2520.1 T1=3.1	SAT (TO) f=7 TT=2520.12 T1=1739.62	SAT (TO) f=7 TT=2519.91 T1=30.93	Signal TT=73.234	SAT (TO) f=7 TT=2519.91 T1=24.99	? (exit code) TT=-1	SAT (TO) f=7 TT=2520.13 T1=728.47	SAT (TO) f=7 TT=2520.1 T1=497.09	? (TO) TT=15941.6	SAT (TO) f=1989 TT=19304.199 T1=19179	OPT f=7 TT=1504.59 T1=2.61	SAT (TO) f=7 TT=2400.04 T1=11.12	SAT (TO) f=7 TT=2400.69 T1=8.26	SAT (TO) f=7 TT=2400.13 T1=1825.58	No Cert. TT=2400.05	Signal TT=78.748	SAT (TO) f=7 TT=2400.05 T1=23.85	SAT (TO) f=7 TT=2400.13 T1=235.03	SAT (TO) f=7 TT=2400.1 T1=777.82	SAT (TO) f=7 TT=2400.08 T1=476.29	? (TO) TT=2415.78	? TT=1550.87
GraphColoring/ GraphColoring-m1-mono/ GraphColoring-4-insertions-3.xml	OPT f=3 TT=34.03 T1=0.63	OPT f=3 TT=499.07 T1=0.69	OPT f=3 TT=368.322 T1=0.7	OPT f=3 TT=416.733 T1=0.71	SAT (TO) f=3 TT=2520.04 T1=0.72	SAT (TO) f=3 TT=2520.07 T1=0.72	OPT f=3 TT=1719.73 T1=0.73	OPT f=3 TT=1720.43 T1=0.74	SAT (TO) f=3 TT=2520.05 T1=4.52	SAT (TO) f=3 TT=2520.07 T1=0.2	SAT (TO) f=3 TT=2520.02 T1=0.23	SAT (TO) f=3 TT=2519.72 T1=0.2	SAT (TO) f=3 TT=2520.11 T1=1.07	OPT f=3 TT=34.03 T1=1.03	SAT (TO) f=3 TT=2520.02 T1=1.05	OPT f=3 TT=76.215 T1=2.63	OPT f=3 TT=92.785 T1=10.68	OPT f=3 TT=493.148 T1=0.63	OPT f=3 TT=1108.67 T1=0.78	OPT f=3 TT=700.231 T1=0.77	SAT (TO) f=3 TT=2400.08 T1=4.34	? (TO) TT=2400.11	? (TO) TT=2400.09	SAT (TO) f=3 TT=2400.03 T1=0.13	SAT (TO) f=3 TT=2400.12 T1=0.95	OPT f=3 TT=35.059 T1=0.94	SAT (TO) f=3 TT=2400.12 T1=0.92	OPT f=3 TT=59.696 T1=22.33	OPT f=3 TT=56.908 T1=22.06
GraphColoring/ GraphColoring-m1-mono/ GraphColoring-ash331GPIA.xml	OPT f=3 TT=3 T1=1.24	OPT f=3 TT=3.725 T1=1.4	OPT f=3 TT=8.517 T1=1.99	OPT f=3 TT=9.343 T1=1.97	OPT f=3 TT=3.149 T1=1.24	OPT f=3 TT=3.215 T1=1.24	OPT f=3 TT=6.03 T1=1.33	OPT f=3 TT=6.079 T1=1.37	OPT f=3 TT=72.313 T1=56.4	OPT f=3 TT=3.825 T1=3.89	OPT f=3 TT=14.943 T1=14.62	OPT f=3 TT=3 T1=3.07	SAT (TO) f=3 TT=2520.13 T1=48.92	OPT f=3 TT=23.45 T1=18.18	OPT f=3 TT=23.466 T1=17.91	OPT f=3 TT=2744.59 T1=355.49	OPT f=3 TT=2681.34 T1=2680.51	OPT f=3 TT=4.561 T1=1.35	OPT f=3 TT=8.832 T1=1.95	OPT f=3 TT=8.778 T1=1.94	OPT f=3 TT=77.078 T1=57.51	OPT f=3 TT=3.897 T1=3.89	OPT f=3 TT=14.865 T1=14.55	OPT f=3 TT=3.15 T1=3.14	SAT (TO) f=3 TT=2400.17 T1=48.18	OPT f=3 TT=26.683 T1=18.31	OPT f=3 TT=27.772 T1=18.87	? (TO) TT=2416.09	? TT=1375.04
GraphColoring/ GraphColoring-m1-mono/ GraphColoring-dsjc-250-1.xml	SAT TO f=8 TT=2400.05 T1=1.14	SAT (TO) f=8 TT=2520.1 T1=1.21	SAT (TO) f=8 TT=20084.301 T1=1.69	SAT (TO) f=8 TT=20042.9 T1=2.37	SAT (TO) f=8 TT=2520.07 T1=1.09	SAT (TO) f=8 TT=2520.1 T1=1.14	SAT (TO) f=8 TT=2520.03 T1=1.71	SAT (TO) f=8 TT=2520.05 T1=1.62	SAT (TO) f=8 TT=2520.16 T1=13.33	SAT (TO) f=8 TT=2520 T1=3.01	SAT (TO) f=8 TT=2519.61 T1=3.58	SAT (TO) f=8 TT=2519.75 T1=2.51	SAT (TO) f=8 TT=2520.12 T1=272.89	SAT (TO) f=8 TT=2520.05 T1=11.9	SAT (TO) f=8 TT=2520.03 T1=17.24	SAT (TO) f=8 TT=19998.801 T1=890.83	SAT (TO) f=8 TT=19940 T1=4066.98	SAT (TO) f=8 TT=2400.05 T1=1.22	SAT (TO) f=8 TT=2400.71 T1=2.74	SAT (TO) f=8 TT=2400 T1=2.03	SAT (TO) f=8 TT=2400.12 T1=13.62	? (TO) TT=2400.06	? (TO) TT=2400.05	SAT (TO) f=8 TT=2400.05 T1=2.24	SAT (TO) f=8 TT=2400.05 T1=76.1	SAT (TO) f=8 TT=2400.06 T1=12	SAT (TO) f=8 TT=2400.12 T1=42.8	? (TO) TT=2415.64	? TT=1223.97
GraphColoring/ GraphColoring-m1-mono/ GraphColoring-dsjc-250-9.xml	SAT TO f=78 TT=2400.1 T1=22.27	SAT (TO) f=85 TT=2520.09 T1=3.02	SAT (TO) f=85 TT=19987.1 T1=63	SAT (TO) f=85 TT=19989.9 T1=449.5	SAT (TO) f=84 TT=2520.07 T1=1691.98	SAT (TO) f=84 TT=2520.12 T1=1725.22	SAT (TO) f=84 TT=2520.1 T1=221.06	SAT (TO) f=84 TT=2520.04 T1=222.32	SAT (TO) f=80 TT=2520.05 T1=104.24	SAT (TO) f=87 TT=2519.84 T1=26.41	SAT (TO) f=86 TT=2520.01 T1=47.68	SAT (TO) f=78 TT=2519.98 T1=22.27	SAT (TO) f=84 TT=2520.14 T1=1363	SAT (TO) f=86 TT=2520.08 T1=82.6	SAT (TO) f=86 TT=2520.1 T1=88.32	SAT (TO) f=89 TT=20001.1 T1=204.31	SAT (TO) f=88 TT=19993.699 T1=1170.57	SAT (TO) f=85 TT=2400.09 T1=2.99	SAT (TO) f=84 TT=2400.2 T1=20.56	SAT (TO) f=84 TT=2400.31 T1=9.85	SAT (TO) f=80 TT=2400.1 T1=110.97	? (TO) TT=2400.09	? (TO) TT=2400.03	SAT (TO) f=78 TT=2400.1 T1=23.16	SAT (TO) f=82 TT=2400.11 T1=2100.1	SAT (TO) f=86 TT=2400.08 T1=80.96	SAT (TO) f=84 TT=2400.1 T1=1131.24	? (TO) TT=2416.66	? TT=1336.21
GraphColoring/ GraphColoring-m1-mono/ GraphColoring-dsjc-500-5.xml	SAT TO f=57 TT=2400.05 T1=1876.9	SAT (TO) f=62 TT=2520.08 T1=6.18	SAT (TO) f=61 TT=20044.6 T1=1392.12	SAT (TO) f=62 TT=20027.199 T1=399.6	SAT (TO) f=62 TT=2520.13 T1=753.96	SAT (TO) f=62 TT=2520.12 T1=756.07	SAT (TO) f=62 TT=2520.14 T1=4.07	SAT (TO) f=62 TT=2520.08 T1=3.98	SAT (TO) f=59 TT=2520.12 T1=788.75	SAT (TO) f=63 TT=2519.82 T1=140.45	SAT (TO) f=62 TT=2520.08 T1=120.31	SAT (TO) f=57 TT=2520.09 T1=1877.38	SAT (TO) f=65 TT=2520.12 T1=492.51	SAT (TO) f=66 TT=2520.07 T1=206.63	SAT (TO) f=65 TT=2520.06 T1=407.82	SAT (TO) f=65 TT=19850.199 T1=854.71	SAT (TO) f=64 TT=19844.801 T1=15446.61	SAT (TO) f=62 TT=2400.12 T1=5.86	SAT (TO) f=61 TT=2400.76 T1=89.53	SAT (TO) f=62 TT=2400.11 T1=31.81	SAT (TO) f=59 TT=2400.12 T1=747.38	No Cert. TT=2400.11	No Cert. TT=2400.07	SAT (TO) f=57 TT=2400.05 T1=1876.9	SAT (TO) f=65 TT=2400.06 T1=1996.18	SAT (TO) f=66 TT=2400.14 T1=211.23	SAT (TO) f=64 TT=2400.14 T1=1033.01	? (TO) TT=2416.4	? TT=1295.26
GraphColoring/ GraphColoring-m1-mono/ GraphColoring-games120.xml	OPT f=8 TT=0.905 T1=0.49	OPT f=8 TT=2.609 T1=0.82	OPT f=8 TT=21.441 T1=0.92	OPT f=8 TT=14.559 T1=0.96	OPT f=8 TT=6.766 T1=0.81	OPT f=8 TT=4.967 T1=0.78	OPT f=8 TT=18.684 T1=0.74	OPT f=8 TT=18.471 T1=0.78	OPT f=8 TT=13.187 T1=5.58	OPT f=8 TT=0.962 T1=0.68	OPT f=8 TT=0.905 T1=0.69	OPT f=8 TT=1.471 T1=0.53	SAT (TO) f=8 TT=2520.08 T1=1.69	OPT f=8 TT=8.905 T1=1.59	OPT f=8 TT=2360.52 T1=1.42	OPT f=8 TT=72.923 T1=3.03	OPT f=8 TT=53.842 T1=14.45	OPT f=8 TT=2.929 T1=0.78	OPT f=8 TT=19.225 T1=0.99	OPT f=8 TT=18.771 T1=1.05	OPT f=8 TT=17.204 T1=6.17	OPT f=8 TT=1.025 T1=0.65	OPT f=8 TT=0.958 T1=0.69	OPT f=8 TT=1.55 T1=0.49	SAT (TO) f=8 TT=2400.09 T1=1.47	OPT f=8 TT=9.073 T1=1.44	OPT f=8 TT=2313.23 T1=1.45	OPT f=8 TT=282.321 T1=229.95	OPT f=8 TT=255.524 T1=223.06
GraphColoring/ GraphColoring-m1-mono/ GraphColoring-lei450-25d.xml	SAT TO f=25 TT=2400.04 T1=1130.33	SAT (TO) f=25 TT=2520.09 T1=1576.14	SAT (TO) f=26 TT=20041 T1=4.32	SAT (TO) f=26 TT=20026 T1=5.75	SAT (TO) f=26 TT=2520.1 T1=5.86	SAT (TO) f=26 TT=2520.06 T1=5.92	SAT (TO) f=25 TT=2520.05 T1=1137.45	SAT (TO) f=25 TT=2520.07 T1=1130.33	SAT (TO) f=26 TT=2520.13 T1=52.1	SAT (TO) f=26 TT=2520.02 T1=17.02	SAT (TO) f=26 TT=2520.14 T1=19.56	SAT (TO) f=26 TT=2520.02 T1=13.48	SAT (TO) f=27 TT=2520.04 T1=334.44	SAT (TO) f=26 TT=2520.05 T1=321.13	SAT (TO) f=28 TT=2520.07 T1=38.75	SAT (TO) f=30 TT=19995.4 T1=176.99	SAT (TO) f=29 TT=19997.6 T1=765.8	SAT (TO) f=25 TT=2400.04 T1=1581.2	SAT (TO) f=26 TT=2400.42 T1=5.56	SAT (TO) f=26 TT=2400.22 T1=4.03	SAT (TO) f=26 TT=2400.14 T1=49.23	No Cert. TT=2400.06	No Cert. TT=2400.03	SAT (TO) f=26 TT=2400.09 T1=12.26	SAT (TO) f=26 TT=2400.08 T1=906.87	SAT (TO) f=26 TT=2400.07 T1=321.78	SAT (TO) f=27 TT=2400.08 T1=97.4	? (TO) TT=2416.39	? TT=1410.68
GraphColoring/ GraphColoring-m1-mono/ GraphColoring-mug100-25.xml	OPT f=3 TT=6.599 T1=0.75	SAT (TO) f=3 TT=2520.07 T1=0.85	OPT f=3 TT=4580.19 T1=0.72	OPT f=3 TT=4201.87 T1=0.75	SAT (TO) f=3 TT=2520.02 T1=0.79	SAT (TO) f=3 TT=2520.08 T1=0.79	OPT f=3 TT=7.757 T1=0.86	OPT f=3 TT=6.599 T1=0.78	SAT (TO) f=3 TT=2520.15 T1=4.75	SAT (TO) f=3 TT=2519.94 T1=0.25	SAT (TO) f=3 TT=2520.01 T1=0.25	SAT (TO) f=3 TT=2520.08 T1=0.22	SAT (TO) f=3 TT=2520.03 T1=0.96	SAT (TO) f=3 TT=2520.05 T1=1.07	SAT (TO) f=3 TT=2520.1 T1=1.11	SAT (TO) f=3 TT=5495.68 T1=2.49	SAT (TO) f=3 TT=5013.24 T1=10.76	SAT (TO) f=3 TT=2400.04 T1=0.69	SAT (TO) f=3 TT=2400.08 T1=0.8	SAT (TO) f=3 TT=2400.22 T1=0.86	SAT (TO) f=3 TT=2400.07 T1=4.72	? (TO) TT=2400.09	? (TO) TT=2400.08	SAT (TO) f=3 TT=2400.08 T1=0.14	SAT (TO) f=3 TT=2400.05 T1=0.93	SAT (TO) f=3 TT=2400.08 T1=1.01	SAT (TO) f=3 TT=2400.09 T1=1.02	OPT f=3 TT=63.85 T1=51.72	OPT f=3 TT=58.884 T1=51.58
GraphColoring/ GraphColoring-m1-mono/ GraphColoring-queen8-8.xml	SAT TO f=8 TT=2400.03 T1=0.81	SAT (TO) f=8 TT=2520.06 T1=1.94	SAT (TO) f=8 TT=20053.801 T1=1.61	SAT (TO) f=8 TT=20069.699 T1=1.78	SAT (TO) f=8 TT=2520.13 T1=5.64	SAT (TO) f=8 TT=2520.09 T1=5.85	SAT (TO) f=8 TT=2520.05 T1=10.11	SAT (TO) f=8 TT=2520.03 T1=10.16	SAT (TO) f=8 TT=2520.11 T1=11.38	SAT (TO) f=8 TT=2520.04 T1=3.6	SAT (TO) f=8 TT=2519.99 T1=0.81	SAT (TO) f=8 TT=2520 T1=1	SAT (TO) f=8 TT=2520.13 T1=37.93	SAT (TO) f=8 TT=2520.1 T1=30.64	SAT (TO) f=8 TT=2520.09 T1=13.5	SAT (TO) f=8 TT=19883.5 T1=106.36	SAT (TO) f=8 TT=19850.9 T1=279.51	SAT (TO) f=8 TT=2400.1 T1=0.91	SAT (TO) f=8 TT=2400.18 T1=1.63	SAT (TO) f=8 TT=2400.04 T1=1.67	SAT (TO) f=8 TT=2400.12 T1=11.37	? (TO) TT=2400.09	? (TO) TT=2400.08	SAT (TO) f=8 TT=2400.09 T1=0.93	SAT (TO) f=8 TT=2400.03 T1=261.23	SAT (TO) f=8 TT=2400.08 T1=30.61	SAT (TO) f=8 TT=2400.07 T1=7.12	? (TO) TT=2400.42	SAT (TO) f=8 TT=2520.34 T1=86.28
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
GraphColoring/ GraphColoring-m1-mono/ GraphColoring-wap01a.xml	SAT TO f=41 TT=2401.06 T1=594.2	SAT (TO) f=41 TT=2520.12 T1=594.2	SAT (TO) f=41 TT=19979.801 T1=1861.21	SAT (TO) f=41 TT=19990 T1=1651.65	SAT (TO) f=41 TT=2520.08 T1=2227.59	SAT (TO) f=41 TT=2520.11 T1=2190.28	SAT (TO) f=41 TT=2520.13 T1=905.55	SAT (TO) f=41 TT=2520.09 T1=907.92	SAT (TO) f=288 TT=2520.14 T1=2457.56	SAT (TO) f=42 TT=2519.47 T1=162.28	? (MO) TT=129.622	SAT (TO) f=42 TT=2520.03 T1=261.1	SAT (TO) f=50 TT=2520.12 T1=393.24	SAT (TO) f=1158 TT=2520.15 T1=2412.28	SAT (TO) f=51 TT=2520.11 T1=620.65	? (TO) TT=16236.5	? TT=2036.59	SAT (TO) f=41 TT=2401.06 T1=606.69	SAT (TO) f=44 TT=2400.21 T1=280.01	SAT (TO) f=44 TT=2400.71 T1=237.33	SAT (TO) f=513 TT=2400.43 T1=2277.57	SAT (TO) f=42 TT=2400.09 T1=159.03	? (MO) TT=129.953	SAT (TO) f=42 TT=2400.02 T1=245.29	SAT (TO) f=52 TT=2400.09 T1=854.91	SAT (TO) f=1327 TT=2400.15 T1=2073.1	SAT (TO) f=50 TT=2400.66 T1=699	? (TO) TT=2416.21	? TT=1498.05
GraphColoring/ GraphColoring-m1-mono/ GraphColoring-wap06a.xml	SAT TO f=40 TT=2400.07 T1=38.29	SAT (TO) f=40 TT=2520.08 T1=227.31	SAT (TO) f=40 TT=20062.5 T1=639.75	SAT (TO) f=40 TT=20050.801 T1=120.73	SAT (TO) f=40 TT=2520.1 T1=136.28	SAT (TO) f=40 TT=2520.1 T1=137.56	SAT (TO) f=40 TT=2520.05 T1=76.35	SAT (TO) f=40 TT=2520.11 T1=76.27	SAT (TO) f=42 TT=2520.13 T1=193.01	SAT (TO) f=40 TT=2519.89 T1=84.67	? (MO) TT=64.528	SAT (TO) f=40 TT=2519.98 T1=40.15	SAT (TO) f=46 TT=2520.14 T1=323.02	SAT (TO) f=43 TT=2520.13 T1=1068.89	SAT (TO) f=45 TT=2520.07 T1=2148.19	SAT (TO) f=430 TT=19758 T1=2519.48	SAT (TO) f=349 TT=19819.4 T1=19810.52	SAT (TO) f=40 TT=2400.07 T1=226.3	SAT (TO) f=41 TT=2400.1 T1=96.14	SAT (TO) f=41 TT=2400.22 T1=97.87	SAT (TO) f=42 TT=2400.07 T1=193.16	No Cert. TT=2400.04	? (MO) TT=65.093	SAT (TO) f=40 TT=2400.08 T1=38.29	SAT (TO) f=45 TT=2400.12 T1=655.85	SAT (TO) f=43 TT=2400.09 T1=1072.03	SAT (TO) f=45 TT=2400.08 T1=2051.93	? (TO) TT=2416.24	? TT=1314.43
GraphColoring/ GraphColoring-m1-mono/ GraphColoring-zeroin-i-3.xml	OPT f=29 TT=24.402 T1=11.42	SAT (TO) f=29 TT=2520.1 T1=1.18	SAT (TO) f=29 TT=20082.801 T1=1.49	SAT (TO) f=29 TT=20023.801 T1=1.55	SAT (TO) f=29 TT=2520.06 T1=1.06	SAT (TO) f=29 TT=2520.12 T1=1.01	SAT (TO) f=29 TT=2520.18 T1=1.06	SAT (TO) f=29 TT=2520.08 T1=1.07	OPT f=29 TT=24.402 T1=11.43	SAT (TO) f=29 TT=2520.01 T1=3.23	SAT (TO) f=29 TT=2519.88 T1=3.53	SAT (TO) f=29 TT=2520 T1=2.61	SAT (TO) f=29 TT=2520.14 T1=2.58	SAT (TO) f=30 TT=2520.06 T1=4.14	SAT (TO) f=29 TT=2520.06 T1=7.95	SAT (TO) f=29 TT=19998.5 T1=12.06	SAT (TO) f=29 TT=20022.199 T1=82.8	SAT (TO) f=29 TT=2400.04 T1=1.07	SAT (TO) f=29 TT=2400.63 T1=1.61	SAT (TO) f=29 TT=2400.34 T1=1.64	OPT f=29 TT=29.027 T1=11.42	? (TO) TT=2400.06	? (TO) TT=2400.09	SAT (TO) f=29 TT=2400.06 T1=2.47	SAT (TO) f=29 TT=2400.06 T1=1.67	SAT (TO) f=30 TT=2400.06 T1=4.03	SAT (TO) f=29 TT=2400.14 T1=8.36	? (TO) TT=2415.35	? TT=1226.04
Knapsack/ Knapsack-m1-s30/ Knapsack-30-100-04.xml	OPT f=1129 TT=0.248 T1=0.01	OPT f=1129 TT=2.834 T1=1.53	OPT f=1129 TT=7.17 T1=1.01	OPT f=1129 TT=6.649 T1=1.11	OPT f=1129 TT=4.661 T1=1.6	OPT f=1129 TT=4.72 T1=1.71	OPT f=1129 TT=27.475 T1=13.15	OPT f=1129 TT=26.475 T1=12.52	OPT f=1129 TT=15.24 T1=3.6	OPT f=1129 TT=1.2 T1=0.88	OPT f=1129 TT=1.033 T1=0.99	OPT f=1129 TT=0.248 T1=0.1	SAT (TO) f=1129 TT=2520.04 T1=4.68	OPT f=1129 TT=1.703 T1=0.86	OPT f=1129 TT=1.734 T1=0.85	OPT f=1129 TT=5.629 T1=1.58	OPT f=1129 TT=6.46 T1=6.17	OPT f=1129 TT=3.155 T1=1.47	OPT f=1129 TT=7.382 T1=1.33	OPT f=1129 TT=7.289 T1=1.12	OPT f=1129 TT=16.983 T1=3.52	OPT f=1129 TT=1.265 T1=0.86	OPT f=1129 TT=1.097 T1=1.05	OPT f=1129 TT=0.304 T1=0.01	SAT (TO) f=1129 TT=2400.14 T1=1.88	OPT f=1129 TT=2.091 T1=1.02	OPT f=1129 TT=1.907 T1=0.89	OPT f=1129 TT=127.535 T1=22.4	OPT f=1129 TT=122.598 T1=21.57
Knapsack/ Knapsack-m1-s30/ Knapsack-30-100-06.xml	OPT f=1188 TT=0.336 T1=0.01	OPT f=1188 TT=3.849 T1=2.69	OPT f=1188 TT=5.262 T1=0.8	OPT f=1188 TT=5.991 T1=0.72	OPT f=1188 TT=4.617 T1=1.53	OPT f=1188 TT=4.818 T1=1.68	OPT f=1188 TT=22.781 T1=6.97	OPT f=1188 TT=21.634 T1=6.79	OPT f=1188 TT=12.307 T1=3.7	OPT f=1188 TT=0.967 T1=1.04	OPT f=1188 TT=1.205 T1=1.03	OPT f=1188 TT=0.336 T1=0.1	SAT (TO) f=1188 TT=2520.03 T1=2.54	OPT f=1188 TT=1.799 T1=0.89	OPT f=1188 TT=1.838 T1=0.89	OPT f=1188 TT=5.724 T1=1.61	OPT f=1188 TT=5.778 T1=5.22	OPT f=1188 TT=4.208 T1=2.64	OPT f=1188 TT=5.823 T1=0.86	OPT f=1188 TT=5.975 T1=0.93	OPT f=1188 TT=14.518 T1=3.77	OPT f=1188 TT=1.039 T1=1.01	OPT f=1188 TT=1.274 T1=1.09	OPT f=1188 TT=0.402 T1=0.01	SAT (TO) f=1188 TT=2400.1 T1=2.14	OPT f=1188 TT=2.023 T1=0.93	OPT f=1188 TT=1.997 T1=0.93	OPT f=1188 TT=59.723 T1=19.68	OPT f=1188 TT=55.04 T1=18.11
Knapsack/ Knapsack-m1-s30/ Knapsack-30-100-16.xml	OPT f=885 TT=0.281 T1=0.01	OPT f=885 TT=6.454 T1=5.11	OPT f=885 TT=7.656 T1=0.78	OPT f=885 TT=6.94 T1=1.24	OPT f=885 TT=6.921 T1=2.61	OPT f=885 TT=6.289 T1=2.59	OPT f=885 TT=29.747 T1=14.67	OPT f=885 TT=31.823 T1=14.93	OPT f=885 TT=23.308 T1=3.56	OPT f=885 TT=2.095 T1=2.07	OPT f=885 TT=2.305 T1=2.11	OPT f=885 TT=0.281 T1=0.1	SAT (TO) f=885 TT=2520.08 T1=6.56	OPT f=885 TT=1.968 T1=0.88	OPT f=885 TT=1.955 T1=0.86	OPT f=885 TT=6.32 T1=1.6	OPT f=885 TT=7.264 T1=5.85	OPT f=885 TT=7.163 T1=5.33	OPT f=885 TT=8.075 T1=1.27	OPT f=885 TT=8.929 T1=1.53	OPT f=885 TT=25.213 T1=3.49	OPT f=885 TT=2.176 T1=2.03	OPT f=885 TT=2.375 T1=2.17	OPT f=885 TT=0.318 T1=0.01	SAT (TO) f=885 TT=2400.09 T1=7.85	OPT f=885 TT=2.172 T1=0.98	OPT f=885 TT=2.003 T1=0.87	OPT f=885 TT=130.034 T1=62.79	OPT f=885 TT=135.122 T1=65.73
Knapsack/ Knapsack-m1-s40/ Knapsack-40-150-00.xml	OPT f=932 TT=5.827 T1=0.02	OPT f=932 TT=191.106 T1=163.86	OPT f=932 TT=115.97 T1=3.82	OPT f=932 TT=26.332 T1=2.12	OPT f=932 TT=97.703 T1=10.75	OPT f=932 TT=100.401 T1=11.51	OPT f=932 TT=1626.65 T1=551.9	OPT f=932 TT=1618.35 T1=561.41	OPT f=932 TT=283.3 T1=3.72	OPT f=932 TT=26.056 T1=19.89	OPT f=932 TT=29.08 T1=19.03	OPT f=932 TT=15.349 T1=0.24	SAT (TO) f=932 TT=2520.08 T1=15.25	OPT f=932 TT=5.827 T1=3.71	OPT f=932 TT=5.99 T1=3.92	OPT f=932 TT=18.004 T1=3.04	OPT f=932 TT=18.759 T1=17.06	OPT f=932 TT=188.111 T1=160.53	OPT f=932 TT=52.643 T1=3.98	OPT f=932 TT=50.493 T1=4.65	OPT f=932 TT=303.817 T1=3.7	OPT f=932 TT=26.433 T1=20.15	OPT f=932 TT=29.626 T1=19.32	OPT f=932 TT=15.699 T1=0.02	SAT (TO) f=932 TT=2400.08 T1=17.3	OPT f=932 TT=6.181 T1=3.62	OPT f=932 TT=6.083 T1=3.66	SAT (TO) f=923 TT=2400.4 T1=1140.39	SAT (TO) f=923 TT=2520.33 T1=1365.92
Knapsack/ Knapsack-m1-s40/ Knapsack-40-150-07.xml	OPT f=1021 TT=6.441 T1=0.01	OPT f=1021 TT=193.561 T1=184.48	OPT f=1021 TT=129.788 T1=19.11	OPT f=1021 TT=36.651 T1=3.7	OPT f=1021 TT=202.48 T1=30.14	OPT f=1021 TT=190.042 T1=27.91	SAT (TO) f=1021 TT=2520.04 T1=2421.33	SAT (TO) f=1021 TT=2520.05 T1=2402.36	OPT f=1021 TT=527.22 T1=3.75	OPT f=1021 TT=38.488 T1=20.48	OPT f=1021 TT=20.722 T1=19.17	OPT f=1021 TT=15.446 T1=0.11	SAT (TO) f=1021 TT=2520.08 T1=6.73	OPT f=1021 TT=6.441 T1=3.78	OPT f=1021 TT=6.486 T1=3.32	OPT f=1021 TT=13.579 T1=2.47	OPT f=1021 TT=13.887 T1=10.46	OPT f=1021 TT=196.9 T1=187.14	OPT f=1021 TT=58.082 T1=2.54	OPT f=1021 TT=47.292 T1=2.52	OPT f=1021 TT=496.374 T1=3.63	OPT f=1021 TT=39.057 T1=20.77	OPT f=1021 TT=20.959 T1=19.32	OPT f=1021 TT=15.565 T1=0.01	SAT (TO) f=1021 TT=2400.12 T1=9.13	OPT f=1021 TT=6.534 T1=3.32	OPT f=1021 TT=6.507 T1=3.34	SAT (TO) f=1021 TT=2400.37 T1=813.15	SAT (TO) f=1021 TT=2520.37 T1=968.6
Knapsack/ Knapsack-m1-s40/ Knapsack-40-150-08.xml	OPT f=887 TT=3.76 T1=0.03	OPT f=887 TT=138.816 T1=116.34	OPT f=887 TT=44.944 T1=2	OPT f=887 TT=18.875 T1=1.71	OPT f=887 TT=50.804 T1=16.82	OPT f=887 TT=52.591 T1=17.92	OPT f=887 TT=1092.13 T1=708.29	OPT f=887 TT=1113.61 T1=722.37	OPT f=887 TT=343.985 T1=3.76	OPT f=887 TT=14.797 T1=12.86	OPT f=887 TT=13.244 T1=12.08	OPT f=887 TT=6.648 T1=0.13	SAT (TO) f=887 TT=2520.03 T1=3.22	OPT f=887 TT=3.76 T1=2.66	OPT f=887 TT=3.765 T1=2.56	OPT f=887 TT=12.865 T1=2.46	OPT f=887 TT=12.882 T1=11.55	OPT f=887 TT=149.592 T1=125.59	OPT f=887 TT=36.481 T1=3.77	OPT f=887 TT=26.695 T1=2.01	OPT f=887 TT=385.469 T1=4.03	OPT f=887 TT=15.129 T1=13.09	OPT f=887 TT=13.361 T1=12.08	OPT f=887 TT=6.876 T1=0.03	SAT (TO) f=887 TT=2400.05 T1=4.16	OPT f=887 TT=3.815 T1=2.54	OPT f=887 TT=3.914 T1=2.59	SAT (TO) f=887 TT=2400.33 T1=547.27	SAT (TO) f=887 TT=2520.31 T1=532.62
Knapsack/ Knapsack-m1-s40/ Knapsack-40-150-12.xml	OPT f=954 TT=6.331 T1=0.04	OPT f=954 TT=152.833 T1=144.88	OPT f=954 TT=110.035 T1=0.97	OPT f=954 TT=53.52 T1=1.12	OPT f=954 TT=68.073 T1=5.09	OPT f=954 TT=69.197 T1=5.42	OPT f=954 TT=1166.77 T1=848.14	OPT f=954 TT=1121.52 T1=810.09	OPT f=954 TT=302.858 T1=3.71	OPT f=954 TT=45.891 T1=44.77	OPT f=954 TT=26.974 T1=20.39	OPT f=954 TT=14.971 T1=0.08	SAT (TO) f=954 TT=2520.1 T1=5.44	OPT f=954 TT=6.331 T1=4.93	OPT f=954 TT=6.424 T1=4.83	OPT f=954 TT=11.913 T1=2.42	OPT f=954 TT=12.524 T1=11.84	OPT f=954 TT=157.592 T1=149.11	OPT f=954 TT=77.473 T1=2.17	OPT f=954 TT=67.194 T1=1.54	OPT f=954 TT=305.957 T1=3.94	OPT f=954 TT=46.542 T1=45.32	OPT f=954 TT=27.317 T1=20.6	OPT f=954 TT=15.433 T1=0.04	SAT (TO) f=954 TT=2400.11 T1=4.85	OPT f=954 TT=6.535 T1=4.86	OPT f=954 TT=6.529 T1=5.11	SAT (TO) f=954 TT=2400.34 T1=1583.7	SAT (TO) f=954 TT=2520.25 T1=1568.66
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
Knapsack/ Knapsack-m1-s40/ Knapsack-40-150-16.xml	OPT f=886 TT=7.437 T1=0.01	OPT f=886 TT=133.131 T1=119.34	OPT f=886 TT=127.374 T1=2.27	OPT f=886 TT=50.144 T1=1.55	OPT f=886 TT=62.162 T1=18.57	OPT f=886 TT=62.483 T1=18.65	OPT f=886 TT=1211.67 T1=239.57	OPT f=886 TT=1145.08 T1=228.96	OPT f=886 TT=188.931 T1=4.37	OPT f=886 TT=79.216 T1=75.04	OPT f=886 TT=47.839 T1=41.35	OPT f=886 TT=17.771 T1=0.09	SAT (TO) f=886 TT=2520.09 T1=10.2	OPT f=886 TT=7.51 T1=5.58	OPT f=886 TT=7.437 T1=5.82	OPT f=886 TT=23.488 T1=3.57	OPT f=886 TT=21.547 T1=17.64	OPT f=886 TT=126.56 T1=113.18	OPT f=886 TT=104.773 T1=11.91	OPT f=886 TT=72.409 T1=2.13	OPT f=886 TT=202.938 T1=4.69	OPT f=886 TT=80.227 T1=75.96	OPT f=886 TT=48.5 T1=41.94	OPT f=886 TT=18.171 T1=0.01	SAT (TO) f=886 TT=2400.08 T1=6.51	OPT f=886 TT=7.704 T1=5.45	OPT f=886 TT=7.548 T1=5.47	SAT (TO) f=886 TT=2400.32 T1=251.97	SAT (TO) f=886 TT=2520.29 T1=318.79
Knapsack/ Knapsack-m1-s50/ Knapsack-50-200-16.xml	OPT f=1429 TT=59.541 T1=0.01	SAT (TO) f=1370 TT=2520.11 T1=1780.34	OPT f=1429 TT=190.247 T1=2.82	OPT f=1429 TT=261.332 T1=28.74	OPT f=1429 TT=691.073 T1=543.32	OPT f=1429 TT=686.706 T1=539.34	SAT (TO) f=1389 TT=2520.12 T1=2051.05	SAT (TO) f=1389 TT=2520.08 T1=1961.86	SAT (TO) f=1429 TT=2520.14 T1=4.5	OPT f=1429 TT=1084.81 T1=1060.32	OPT f=1429 TT=672.371 T1=630.74	OPT f=1429 TT=182.65 T1=0.08	SAT (TO) f=1429 TT=2520.09 T1=26.2	OPT f=1429 TT=59.831 T1=52.91	OPT f=1429 TT=59.541 T1=52.74	OPT f=1429 TT=95.713 T1=13.56	OPT f=1429 TT=87.794 T1=87.41	SAT (TO) f=1370 TT=2400.06 T1=1820.31	OPT f=1429 TT=442.983 T1=56.46	OPT f=1429 TT=325.452 T1=6.4	SAT (TO) f=1429 TT=2400.12 T1=4.14	OPT f=1429 TT=1097.9 T1=1073.08	OPT f=1429 TT=675.224 T1=633.75	OPT f=1429 TT=186.388 T1=0.01	SAT (TO) f=1429 TT=2400.12 T1=83.51	OPT f=1429 TT=60.226 T1=53	OPT f=1429 TT=60.865 T1=53.63	SAT (TO) f=1368 TT=2400.16 T1=2103.81	SAT (TO) f=1361 TT=2520.13 T1=2445.83
Knapsack/ Knapsack-m1-s50/ Knapsack-50-200-17.xml	OPT f=992 TT=44.661 T1=0.02	SAT (TO) f=982 TT=2520.03 T1=2476.63	OPT f=992 TT=676.011 T1=83.91	OPT f=992 TT=294.165 T1=1.75	OPT f=992 TT=746.259 T1=358.53	OPT f=992 TT=726.091 T1=347.46	SAT (TO) f=976 TT=2520.05 T1=531.54	SAT (TO) f=976 TT=2520.11 T1=503.76	SAT (TO) f=992 TT=2520.12 T1=3.98	OPT f=992 TT=557.327 T1=529.11	OPT f=992 TT=412.345 T1=382.17	OPT f=992 TT=383.094 T1=0.11	SAT (TO) f=992 TT=2520.1 T1=47.34	OPT f=992 TT=44.661 T1=20.84	SAT (TO) f=992 TT=2520.04 T1=203.83	OPT f=992 TT=51.196 T1=6.12	OPT f=992 TT=59.871 T1=43.17	SAT (TO) f=969 TT=2400.09 T1=2173.94	OPT f=992 TT=731.981 T1=65.34	OPT f=992 TT=765.796 T1=96.79	SAT (TO) f=992 TT=2400.14 T1=4.64	OPT f=992 TT=565.31 T1=536.79	OPT f=992 TT=414.247 T1=383.94	OPT f=992 TT=392.957 T1=0.02	SAT (TO) f=992 TT=2400.04 T1=77.93	OPT f=992 TT=45.493 T1=21.01	SAT (TO) f=992 TT=2400.07 T1=188.31	SAT (TO) f=982 TT=2400.12 T1=1149.67	SAT (TO) f=982 TT=2520.1 T1=1499.2
Knapsack/ Knapsack-m1-s50/ Knapsack-50-200-18.xml	OPT f=937 TT=13.006 T1=0.02	OPT f=937 TT=759.784 T1=741.76	OPT f=937 TT=126.215 T1=2.09	OPT f=937 TT=76.424 T1=1.91	OPT f=937 TT=379.529 T1=249.56	OPT f=937 TT=397.988 T1=263.56	SAT (TO) f=920 TT=2520.09 T1=612.71	SAT (TO) f=920 TT=2520.07 T1=622.2	OPT f=937 TT=1221.26 T1=3.83	OPT f=937 TT=122.959 T1=80.14	OPT f=937 TT=102.086 T1=97.1	OPT f=937 TT=48.613 T1=0.09	SAT (TO) f=937 TT=2520.03 T1=12.36	OPT f=937 TT=13.006 T1=10.48	SAT (TO) f=937 TT=2520.05 T1=245.02	OPT f=937 TT=27.815 T1=4.33	OPT f=937 TT=28.612 T1=26.6	OPT f=937 TT=742.709 T1=724.11	OPT f=937 TT=139.699 T1=15.09	OPT f=937 TT=132.57 T1=4.52	OPT f=937 TT=1161.76 T1=4.04	OPT f=937 TT=125.506 T1=81.83	OPT f=937 TT=102.041 T1=96.99	OPT f=937 TT=49.395 T1=0.02	SAT (TO) f=937 TT=2400.1 T1=14.14	OPT f=937 TT=13.121 T1=10.43	SAT (TO) f=937 TT=2400.07 T1=252.32	? (TO) TT=2400.14	? (TO) TT=2520.05
Knapsack/ Knapsack-m1-s60/ Knapsack-60-250-03.xml	OPT f=1358 TT=148.35 T1=0.02	SAT (TO) f=1205 TT=2520.04 T1=2044.06	OPT f=1358 TT=407.396 T1=1.33	OPT f=1358 TT=711.945 T1=2.16	SAT (TO) f=1358 TT=2520.08 T1=1860.57	SAT (TO) f=1358 TT=2520.09 T1=1884.86	SAT (TO) f=1313 TT=2520.06 T1=1222.79	SAT (TO) f=1313 TT=2520.11 T1=1219.54	SAT (TO) f=1358 TT=2520.14 T1=3.99	SAT (TO) f=1273 TT=2519.84 T1=2434.4	SAT (TO) f=1343 TT=2519.85 T1=2137.44	OPT f=1358 TT=891.46 T1=0.09	SAT (TO) f=1358 TT=2520.03 T1=455.47	OPT f=1358 TT=148.35 T1=125.26	SAT (TO) f=1358 TT=2520.07 T1=243.1	OPT f=1358 TT=222.919 T1=26.59	OPT f=1358 TT=217.926 T1=200.3	SAT (TO) f=1205 TT=2400.04 T1=2325.78	OPT f=1358 TT=1648.07 T1=4.4	OPT f=1358 TT=1691.75 T1=4.44	SAT (TO) f=1358 TT=2400.05 T1=3.94	? (TO) TT=2400.04	? (TO) TT=2400.02	OPT f=1358 TT=908.31 T1=0.02	SAT (TO) f=1358 TT=2400.07 T1=19.17	OPT f=1358 TT=148.914 T1=125.39	SAT (TO) f=1358 TT=2400.12 T1=212.59	SAT (TO) f=1274 TT=2400.11 T1=1261.17	SAT (TO) f=1274 TT=2520.08 T1=1592.54
Knapsack/ Knapsack-m1-s60/ Knapsack-60-250-05.xml	OPT f=1333 TT=95.4 T1=0.02	SAT (TO) f=1218 TT=2520.05 T1=2055.26	OPT f=1333 TT=223.662 T1=1.85	OPT f=1333 TT=427.071 T1=2.31	SAT (TO) f=1333 TT=2520.06 T1=1198.32	SAT (TO) f=1333 TT=2520.13 T1=1202.37	SAT (TO) f=1239 TT=2520.02 T1=117.44	SAT (TO) f=1239 TT=2520.05 T1=117.07	SAT (TO) f=1333 TT=2520.08 T1=3.74	OPT f=1333 TT=1011.12 T1=988.81	OPT f=1333 TT=1056.83 T1=953.25	OPT f=1333 TT=446.922 T1=0.12	SAT (TO) f=1333 TT=2520.1 T1=242.8	OPT f=1333 TT=95.4 T1=29.24	SAT (TO) f=1333 TT=2520.02 T1=29.99	OPT f=1333 TT=114.73 T1=8.43	OPT f=1333 TT=123.59 T1=61.05	SAT (TO) f=1218 TT=2400.12 T1=2098.48	OPT f=1333 TT=838.026 T1=3.06	OPT f=1333 TT=795.877 T1=2.27	SAT (TO) f=1333 TT=2400.05 T1=3.92	OPT f=1333 TT=1022.98 T1=1000.56	OPT f=1333 TT=1064.27 T1=960.05	OPT f=1333 TT=455.707 T1=0.02	SAT (TO) f=1333 TT=2400.07 T1=17.95	OPT f=1333 TT=96.548 T1=29.63	SAT (TO) f=1333 TT=2400.09 T1=29.78	? (TO) TT=2400.09	? (TO) TT=2520.1
Knapsack/ Knapsack-m1-s60/ Knapsack-60-250-06.xml	OPT f=1134 TT=151.156 T1=0.02	SAT (TO) f=1047 TT=2520.06 T1=2240.8	OPT f=1134 TT=302.345 T1=1.59	OPT f=1134 TT=470.997 T1=5.52	SAT (TO) f=1132 TT=2520.06 T1=572.42	SAT (TO) f=1132 TT=2520.1 T1=620.22	SAT (TO) f=1080 TT=2520.06 T1=1488.73	SAT (TO) f=1080 TT=2520.1 T1=1479.84	SAT (TO) f=1134 TT=2520.11 T1=4	OPT f=1134 TT=1041.95 T1=961.66	OPT f=1134 TT=1225.46 T1=1136.6	OPT f=1134 TT=439.318 T1=0.08	SAT (TO) f=1134 TT=2520.07 T1=913.78	OPT f=1134 TT=153.419 T1=67.73	SAT (TO) f=1134 TT=2520.04 T1=434.78	OPT f=1134 TT=200.106 T1=15.69	OPT f=1134 TT=215.853 T1=121.99	SAT (TO) f=1047 TT=2400.07 T1=2222.93	OPT f=1134 TT=871.098 T1=2.69	OPT f=1134 TT=988.774 T1=6.92	SAT (TO) f=1134 TT=2400.06 T1=4.23	OPT f=1134 TT=1059.67 T1=978.11	OPT f=1134 TT=1238.51 T1=1148.74	OPT f=1134 TT=451.975 T1=0.02	SAT (TO) f=1134 TT=2400.05 T1=446.05	OPT f=1134 TT=151.156 T1=66.12	SAT (TO) f=1134 TT=2400.07 T1=1117.21	? (TO) TT=2400.48	? (TO) TT=2520.28
Knapsack/ Knapsack-m1-s60/ Knapsack-60-250-07.xml	OPT f=1058 TT=171.065 T1=0.01	SAT (TO) f=974 TT=2520.09 T1=2429.15	OPT f=1058 TT=286.037 T1=3.14	OPT f=1058 TT=511.643 T1=2.85	SAT (TO) f=1058 TT=2520.09 T1=1276.06	SAT (TO) f=1058 TT=2520.11 T1=1235.04	SAT (TO) f=1027 TT=2520.06 T1=1867.84	SAT (TO) f=1027 TT=2520.08 T1=1973.36	SAT (TO) f=1058 TT=2520.05 T1=4.39	OPT f=1058 TT=1530.07 T1=1329.28	OPT f=1058 TT=730.717 T1=585.39	OPT f=1058 TT=434.711 T1=0.1	SAT (TO) f=1058 TT=2520.12 T1=98.17	OPT f=1058 TT=171.254 T1=76.54	SAT (TO) f=1058 TT=2520.11 T1=319.92	OPT f=1058 TT=368.172 T1=14.08	OPT f=1058 TT=357.684 T1=98.33	SAT (TO) f=974 TT=2400.04 T1=2334.81	OPT f=1058 TT=934.713 T1=3.57	OPT f=1058 TT=1173.38 T1=51.62	SAT (TO) f=1058 TT=2400.13 T1=4.41	OPT f=1058 TT=1553.58 T1=1350.03	OPT f=1058 TT=744.189 T1=596.39	OPT f=1058 TT=445.488 T1=0.01	SAT (TO) f=1058 TT=2400.11 T1=296.07	OPT f=1058 TT=171.065 T1=75.7	SAT (TO) f=1058 TT=2400.06 T1=876	? (TO) TT=2400.1	? (TO) TT=2520.09
Knapsack/ Knapsack-m1-s60/ Knapsack-60-250-13.xml	OPT f=1477 TT=86.187 T1=0.04	SAT (TO) f=1326 TT=2520.07 T1=2351.78	OPT f=1477 TT=289.519 T1=9.32	OPT f=1477 TT=374.267 T1=14.56	SAT (TO) f=1477 TT=2520.08 T1=926.43	SAT (TO) f=1477 TT=2520.07 T1=948.99	SAT (TO) f=1325 TT=2520.05 T1=530.84	SAT (TO) f=1325 TT=2520.09 T1=557.84	SAT (TO) f=1477 TT=2520.14 T1=5.22	SAT (TO) f=1467 TT=2519.99 T1=2318.31	OPT f=1477 TT=1682.34 T1=1220.36	OPT f=1477 TT=428.576 T1=0.11	SAT (TO) f=1477 TT=2520.06 T1=12.25	OPT f=1477 TT=86.187 T1=49.11	SAT (TO) f=1477 TT=2520.08 T1=102.36	OPT f=1477 TT=95.072 T1=9.05	OPT f=1477 TT=93.93 T1=64.87	SAT (TO) f=1326 TT=2400.06 T1=2296.15	OPT f=1477 TT=714.679 T1=3.85	OPT f=1477 TT=1378.49 T1=167.36	SAT (TO) f=1477 TT=2400.07 T1=5.21	? (TO) TT=2400.05	OPT f=1477 TT=1690.44 T1=1226.62	OPT f=1477 TT=438.166 T1=0.04	SAT (TO) f=1477 TT=2400.06 T1=130.24	OPT f=1477 TT=87.04 T1=49.39	SAT (TO) f=1477 TT=2400.05 T1=51.09	? (TO) TT=2400.13	? (TO) TT=2520.25
Knapsack/ Knapsack-m1-s60/ Knapsack-60-250-17.xml	OPT f=1220 TT=552.088 T1=0.02	SAT (TO) f=1082 TT=2520.11 T1=2449.23	OPT f=1220 TT=613.4 T1=1.29	OPT f=1220 TT=1146.38 T1=1.25	SAT (TO) f=1191 TT=2520.1 T1=1848.19	SAT (TO) f=1191 TT=2520.03 T1=1843.81	SAT (TO) f=1110 TT=2520.05 T1=2063.13	SAT (TO) f=1110 TT=2520.02 T1=1986.22	SAT (TO) f=1220 TT=2520.14 T1=4.34	SAT (TO) f=1152 TT=2520 T1=1902.15	OPT f=1220 TT=2379.02 T1=2281.43	OPT f=1220 TT=1922.27 T1=0.06	SAT (TO) f=1220 TT=2520.11 T1=313.88	OPT f=1220 TT=576.844 T1=143.49	SAT (TO) f=1220 TT=2520.08 T1=271.4	OPT f=1220 TT=552.088 T1=28.98	OPT f=1220 TT=580.084 T1=262.56	SAT (TO) f=1097 TT=2400.07 T1=2223.22	SAT (TO) f=1220 TT=2400.19 T1=2.58	SAT (TO) f=1220 TT=2400.07 T1=3.21	SAT (TO) f=1220 TT=2400.09 T1=4.36	? (TO) TT=2400.04	OPT f=1220 TT=2386.33 T1=2288.3	OPT f=1220 TT=1958.37 T1=0.02	SAT (TO) f=1220 TT=2400.12 T1=152.37	OPT f=1220 TT=593.152 T1=146.61	SAT (TO) f=1220 TT=2400.03 T1=241.69	SAT (TO) f=1121 TT=2400.23 T1=2305.21	SAT (TO) f=1121 TT=2520.19 T1=2475.49
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
LowAutocorrelation/ LowAutocorrelation-m1-s1/ LowAutocorrelation-004.xml	OPT f=2 TT=0.014 T1=0.02	OPT f=2 TT=1.072 T1=0.65	OPT f=2 TT=1.139 T1=0.55	OPT f=2 TT=1.119 T1=0.54	OPT f=2 TT=0.862 T1=0.46	OPT f=2 TT=0.892 T1=0.58	OPT f=2 TT=0.964 T1=0.63	OPT f=2 TT=0.968 T1=0.66	OPT f=2 TT=6.364 T1=3.52	OPT f=2 TT=0.014 T1=0.07	OPT f=2 TT=0.016 T1=0.05	OPT f=2 TT=0.021 T1=0.1	SAT (TO) f=2 TT=2520.13 T1=0.95	OPT f=2 TT=1.128 T1=0.81	OPT f=2 TT=1.132 T1=0.84	OPT f=2 TT=1.964 T1=1.05	OPT f=2 TT=1.987 T1=1.56	OPT f=2 TT=1.339 T1=0.66	OPT f=2 TT=1.264 T1=0.61	OPT f=2 TT=1.279 T1=0.6	OPT f=2 TT=7.574 T1=3.34	OPT f=2 TT=0.023 T1=0.02	OPT f=2 TT=0.023 T1=0.02	OPT f=2 TT=0.028 T1=0.02	SAT (TO) f=2 TT=2400.12 T1=0.84	OPT f=2 TT=1.195 T1=0.74	OPT f=2 TT=1.268 T1=0.79	OPT f=2 TT=0.652 T1=0.38	OPT f=2 TT=0.587 T1=0.34
LowAutocorrelation/ LowAutocorrelation-m1-s1/ LowAutocorrelation-011.xml	OPT f=5 TT=0.133 T1=0.19	OPT f=5 TT=1.914 T1=0.94	OPT f=5 TT=2.86 T1=0.8	OPT f=5 TT=2.817 T1=0.81	OPT f=5 TT=1.484 T1=0.58	OPT f=5 TT=1.501 T1=0.73	OPT f=5 TT=4.359 T1=1.06	OPT f=5 TT=4.267 T1=1.09	OPT f=5 TT=9.986 T1=4.4	OPT f=5 TT=0.147 T1=0.26	OPT f=5 TT=0.133 T1=0.22	OPT f=5 TT=0.155 T1=0.23	SAT (TO) f=5 TT=2520.06 T1=2.61	OPT f=5 TT=1.551 T1=0.96	OPT f=5 TT=1.51 T1=0.83	OPT f=5 TT=6.89 T1=1.72	OPT f=5 TT=6.856 T1=4.71	OPT f=5 TT=2.401 T1=0.91	OPT f=5 TT=3.144 T1=0.92	OPT f=5 TT=3.089 T1=0.92	OPT f=5 TT=11.653 T1=4.47	OPT f=5 TT=0.205 T1=0.13	OPT f=5 TT=0.191 T1=0.14	OPT f=5 TT=0.204 T1=0.19	SAT (TO) f=5 TT=2400.1 T1=2.1	OPT f=5 TT=1.615 T1=0.87	OPT f=5 TT=1.587 T1=0.86	OPT f=5 TT=1.608 T1=0.58	OPT f=5 TT=1.123 T1=0.6
LowAutocorrelation/ LowAutocorrelation-m1-s1/ LowAutocorrelation-013.xml	OPT f=6 TT=0.255 T1=0.27	OPT f=6 TT=1.784 T1=2.14	OPT f=6 TT=5.199 T1=0.82	OPT f=6 TT=4.188 T1=0.83	OPT f=6 TT=1.727 T1=0.59	OPT f=6 TT=1.76 T1=0.77	OPT f=6 TT=7.381 T1=0.88	OPT f=6 TT=7.319 T1=0.9	OPT f=6 TT=13.724 T1=4.25	OPT f=6 TT=0.454 T1=0.56	OPT f=6 TT=0.86 T1=0.91	OPT f=6 TT=0.255 T1=0.32	SAT (TO) f=6 TT=2520.04 T1=3.19	OPT f=6 TT=2.005 T1=0.99	OPT f=6 TT=1.97 T1=0.84	OPT f=6 TT=7.575 T1=1.82	OPT f=6 TT=7.054 T1=4.62	OPT f=6 TT=2.084 T1=0.77	OPT f=6 TT=4.214 T1=0.95	OPT f=6 TT=4.595 T1=0.91	OPT f=6 TT=16.678 T1=4.55	OPT f=6 TT=0.514 T1=0.45	OPT f=6 TT=0.904 T1=0.83	OPT f=6 TT=0.299 T1=0.27	SAT (TO) f=6 TT=2400.05 T1=3.15	OPT f=6 TT=2.283 T1=0.91	OPT f=6 TT=2.21 T1=0.9	OPT f=6 TT=1.958 T1=0.73	OPT f=6 TT=1.649 T1=0.62
LowAutocorrelation/ LowAutocorrelation-m1-s1/ LowAutocorrelation-015.xml	OPT f=15 TT=1.905 T1=0.69	OPT f=15 TT=4.433 T1=1.26	OPT f=15 TT=11.943 T1=0.95	OPT f=15 TT=13.026 T1=0.93	OPT f=15 TT=9.109 T1=2.24	OPT f=15 TT=9.59 T1=2.28	OPT f=15 TT=29.352 T1=3.73	OPT f=15 TT=33.954 T1=4.03	OPT f=15 TT=36.949 T1=7.52	OPT f=15 TT=1.905 T1=1.99	OPT f=15 TT=3.133 T1=3.13	OPT f=15 TT=2.822 T1=1.05	SAT (TO) f=15 TT=2520.06 T1=4.56	OPT f=15 TT=4.128 T1=1.05	OPT f=15 TT=1811.37 T1=0.93	OPT f=15 TT=9.265 T1=1.89	OPT f=15 TT=8.637 T1=5.38	OPT f=15 TT=4.682 T1=1.13	OPT f=15 TT=17.251 T1=1.01	OPT f=15 TT=17.308 T1=1	OPT f=15 TT=42.391 T1=7.34	OPT f=15 TT=1.942 T1=0.22	OPT f=15 TT=3.165 T1=2.17	OPT f=15 TT=3.027 T1=0.88	SAT (TO) f=15 TT=2400.03 T1=3.43	OPT f=15 TT=4.391 T1=1.05	OPT f=15 TT=1741.41 T1=0.94	OPT f=15 TT=2.448 T1=0.74	OPT f=15 TT=2.187 T1=0.69
LowAutocorrelation/ LowAutocorrelation-m1-s1/ LowAutocorrelation-020.xml	OPT f=26 TT=20.316 T1=2.09	OPT f=26 TT=140.465 T1=30.45	OPT f=26 TT=157.775 T1=2.54	OPT f=26 TT=148.819 T1=2.29	OPT f=26 TT=455.562 T1=43.72	OPT f=26 TT=459.425 T1=44.09	OPT f=26 TT=1100.81 T1=37.84	OPT f=26 TT=1044.4 T1=37.45	OPT f=26 TT=792.513 T1=132.22	OPT f=26 TT=127.183 T1=127.23	OPT f=26 TT=75.434 T1=75.43	OPT f=26 TT=154.285 T1=10	SAT (TO) f=26 TT=2520.06 T1=14.33	OPT f=26 TT=26.387 T1=2.25	OPT f=26 TT=2349.53 T1=2.09	OPT f=26 TT=21.015 T1=2.59	OPT f=26 TT=20.316 T1=7.77	OPT f=26 TT=140.9 T1=30.46	OPT f=26 TT=285.015 T1=3.5	OPT f=26 TT=224.11 T1=2.4	OPT f=26 TT=688.221 T1=115.18	OPT f=26 TT=126.688 T1=65.54	OPT f=26 TT=76.176 T1=5.9	OPT f=26 TT=158.768 T1=10.23	SAT (TO) f=26 TT=2400.09 T1=9.91	OPT f=26 TT=27.052 T1=2.12	OPT f=26 TT=2287.36 T1=2.1	OPT f=26 TT=28.099 T1=6.38	OPT f=26 TT=33.32 T1=7.8
LowAutocorrelation/ LowAutocorrelation-m1-s1/ LowAutocorrelation-033.xml	SAT TO f=64 TT=2400.09 T1=144.45	SAT (TO) f=116 TT=2520.11 T1=1442.93	SAT (TO) f=64 TT=20062.6 T1=1227.7	SAT (TO) f=64 TT=20053.9 T1=915.01	SAT (TO) f=100 TT=2520.08 T1=302.89	SAT (TO) f=100 TT=2520.06 T1=302.79	SAT (TO) f=100 TT=2520.07 T1=2420.13	SAT (TO) f=112 TT=2520.03 T1=1634.16	SAT (TO) f=88 TT=2520.11 T1=1505.33	SAT (TO) f=120 TT=2520 T1=2520	SAT (TO) f=112 TT=2519.89 T1=2520	SAT (TO) f=88 TT=2519.74 T1=188.51	SAT (TO) f=116 TT=2520.11 T1=1027.42	SAT (TO) f=64 TT=2520.09 T1=1270.53	SAT (TO) f=128 TT=2520.11 T1=271.35	SAT (TO) f=64 TT=20052.699 T1=144.45	SAT (TO) f=64 TT=20038.1 T1=1406.14	SAT (TO) f=116 TT=2400.07 T1=1469.69	SAT (TO) f=124 TT=2400.12 T1=74.26	SAT (TO) f=124 TT=2400.52 T1=75.62	SAT (TO) f=88 TT=2400.09 T1=1977.99	No Cert. TT=2400.07	No Cert. TT=2400.04	SAT (TO) f=88 TT=2400.05 T1=206.42	SAT (TO) f=116 TT=2400.05 T1=131.91	SAT (TO) f=64 TT=2400.09 T1=1311.26	SAT (TO) f=128 TT=2400.13 T1=44.71	SAT (TO) f=100 TT=2400.3 T1=1640.59	SAT (TO) f=100 TT=2520.15 T1=1651.55
LowAutocorrelation/ LowAutocorrelation-m1-s1/ LowAutocorrelation-036.xml	SAT TO f=94 TT=19960.199 T1=906.48	SAT (TO) f=214 TT=2520.06 T1=7.36	SAT (TO) f=94 TT=20092.699 T1=1825.34	SAT (TO) f=94 TT=20067.9 T1=2248.59	SAT (TO) f=174 TT=2520.08 T1=1355.69	SAT (TO) f=170 TT=2520.11 T1=2002.56	SAT (TO) f=198 TT=2520.07 T1=1084.83	SAT (TO) f=198 TT=2520.03 T1=1086.88	SAT (TO) f=134 TT=2520.13 T1=199.4	SAT (TO) f=126 TT=2520.02 T1=2519.9	SAT (TO) f=130 TT=2520.07 T1=2519.9	SAT (TO) f=122 TT=2520.06 T1=268.64	SAT (TO) f=146 TT=2520.06 T1=346.68	SAT (TO) f=122 TT=2520.11 T1=1127.8	SAT (TO) f=150 TT=2520.1 T1=943.59	SAT (TO) f=94 TT=20044.9 T1=906.48	SAT (TO) f=94 TT=19960.199 T1=5087.34	SAT (TO) f=214 TT=2400.12 T1=7.11	SAT (TO) f=138 TT=2400.69 T1=82.39	SAT (TO) f=170 TT=2400.27 T1=104.99	SAT (TO) f=134 TT=2400.21 T1=210.09	No Cert. TT=2400.03	No Cert. TT=2400.03	SAT (TO) f=122 TT=2400.05 T1=276.47	SAT (TO) f=150 TT=2400.13 T1=162.26	SAT (TO) f=122 TT=2400.04 T1=1179.51	SAT (TO) f=146 TT=2400.08 T1=653.7	SAT (TO) f=138 TT=2400.14 T1=1606.7	SAT (TO) f=138 TT=2520.18 T1=1581.67
LowAutocorrelation/ LowAutocorrelation-m1-s1/ LowAutocorrelation-038.xml	SAT TO f=95 TT=20037.801 T1=2411.39	SAT (TO) f=247 TT=2520.05 T1=2062.88	SAT (TO) f=159 TT=20088.801 T1=1170.54	SAT (TO) f=151 TT=20080.9 T1=1904.52	SAT (TO) f=191 TT=2520.08 T1=365.73	SAT (TO) f=191 TT=2520.06 T1=366.72	SAT (TO) f=207 TT=2520.03 T1=391.64	SAT (TO) f=207 TT=2520.08 T1=390.67	SAT (TO) f=143 TT=2520.15 T1=2011.44	SAT (TO) f=503 TT=2520.08 T1=2519.9	SAT (TO) f=247 TT=2519.96 T1=2520	SAT (TO) f=151 TT=2519.97 T1=56.95	SAT (TO) f=159 TT=2520.08 T1=345.96	SAT (TO) f=215 TT=2520.05 T1=1375.41	SAT (TO) f=151 TT=2520.03 T1=410.12	SAT (TO) f=95 TT=20037.801 T1=2411.39	SAT (TO) f=95 TT=20043.5 T1=18823.99	SAT (TO) f=247 TT=2400.1 T1=2048.79	SAT (TO) f=191 TT=2400.58 T1=112.13	SAT (TO) f=175 TT=2400.7 T1=258.23	SAT (TO) f=143 TT=2400.07 T1=2131.54	No Cert. TT=2400.06	No Cert. TT=2400.08	SAT (TO) f=151 TT=2400.09 T1=58.75	SAT (TO) f=167 TT=2400.09 T1=199.04	SAT (TO) f=215 TT=2400.09 T1=1425.45	SAT (TO) f=151 TT=2400.07 T1=217.16	SAT (TO) f=151 TT=2400.13 T1=1927.33	SAT (TO) f=151 TT=2520.12 T1=1899.97
LowAutocorrelation/ LowAutocorrelation-m1-s1/ LowAutocorrelation-040.xml	SAT TO f=136 TT=19993 T1=2027.85	SAT (TO) f=248 TT=2520.07 T1=650.13	SAT (TO) f=132 TT=20097.699 T1=2115.8	SAT (TO) f=164 TT=20098.301 T1=410.12	SAT (TO) f=216 TT=2520.09 T1=1817.26	SAT (TO) f=216 TT=2520.04 T1=1819.89	SAT (TO) f=188 TT=2520.1 T1=1868.09	SAT (TO) f=188 TT=2520.12 T1=1876.3	SAT (TO) f=160 TT=2520.1 T1=493.6	SAT (TO) f=500 TT=2519.59 T1=2520	SAT (TO) f=328 TT=2519.74 T1=2520	SAT (TO) f=152 TT=2519.85 T1=1298.23	SAT (TO) f=200 TT=2520.05 T1=1281.05	SAT (TO) f=216 TT=2520.1 T1=1786	SAT (TO) f=192 TT=2520.1 T1=683.64	SAT (TO) f=136 TT=20030 T1=2027.85	SAT (TO) f=136 TT=19993 T1=11142.86	SAT (TO) f=248 TT=2400.07 T1=651.32	SAT (TO) f=196 TT=2400.08 T1=123.14	SAT (TO) f=216 TT=2400.43 T1=175.82	SAT (TO) f=160 TT=2400.1 T1=527.71	No Cert. TT=2400.01	No Cert. TT=2400.04	SAT (TO) f=152 TT=2400.09 T1=1333.66	SAT (TO) f=188 TT=2400.05 T1=107.82	SAT (TO) f=216 TT=2400.07 T1=1791.76	SAT (TO) f=204 TT=2400.14 T1=102.38	SAT (TO) f=180 TT=2400.17 T1=1686.52	SAT (TO) f=180 TT=2520.14 T1=1687.92
LowAutocorrelation/ LowAutocorrelation-m1-s1/ LowAutocorrelation-042.xml	SAT TO f=157 TT=20003.6 T1=7.31	SAT (TO) f=349 TT=2520.03 T1=1093.58	SAT (TO) f=221 TT=20097 T1=582.92	SAT (TO) f=205 TT=20091.301 T1=2303.9	SAT (TO) f=253 TT=2520.05 T1=50.25	SAT (TO) f=253 TT=2520.1 T1=51.36	SAT (TO) f=269 TT=2520.06 T1=145.59	SAT (TO) f=269 TT=2520.82 T1=149.81	SAT (TO) f=229 TT=2520.13 T1=2422.87	SAT (TO) f=269 TT=2519.91 T1=2520	SAT (TO) f=333 TT=2520.01 T1=2519.8	SAT (TO) f=181 TT=2520.03 T1=936.6	SAT (TO) f=197 TT=2520.04 T1=1981.47	SAT (TO) f=309 TT=2520.06 T1=1158.79	SAT (TO) f=237 TT=2520.08 T1=1502.36	SAT (TO) f=157 TT=20003.6 T1=7.31	SAT (TO) f=157 TT=20049.9 T1=37.57	SAT (TO) f=349 TT=2400.05 T1=1035.69	SAT (TO) f=237 TT=2400.46 T1=28.11	SAT (TO) f=197 TT=2400.32 T1=74.17	SAT (TO) f=229 TT=2400.1 T1=2089.16	No Cert. TT=2400.06	No Cert. TT=2400.05	SAT (TO) f=181 TT=2400.04 T1=919.09	SAT (TO) f=221 TT=2400.04 T1=565.83	SAT (TO) f=309 TT=2400.06 T1=1189.54	SAT (TO) f=221 TT=2400.04 T1=1269.5	SAT (TO) f=213 TT=2400.13 T1=1544.38	SAT (TO) f=213 TT=2520.12 T1=1557.55
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
LowAutocorrelation/ LowAutocorrelation-m1-s1/ LowAutocorrelation-054.xml	SAT TO f=351 TT=2400.01 T1=1867.17	SAT (TO) f=583 TT=2520.04 T1=465.41	SAT (TO) f=295 TT=20094 T1=1816.46	SAT (TO) f=479 TT=20092.6 T1=559.58	SAT (TO) f=503 TT=2520.09 T1=269.75	SAT (TO) f=503 TT=2520.04 T1=274.89	SAT (TO) f=535 TT=2520.08 T1=565.83	SAT (TO) f=535 TT=2520.06 T1=541.9	SAT (TO) f=439 TT=2520.13 T1=34.8	SAT (TO) f=471 TT=2519.99 T1=2520	SAT (TO) f=559 TT=2519.84 T1=2520	SAT (TO) f=351 TT=2519.66 T1=1879.08	SAT (TO) f=375 TT=2520.08 T1=435.12	SAT (TO) f=983 TT=2520.07 T1=1942.08	SAT (TO) f=391 TT=2520.03 T1=724.33	SAT (TO) f=447 TT=19963.6 T1=756.68	SAT (TO) f=447 TT=20061 T1=4101.19	SAT (TO) f=583 TT=2400.03 T1=453.01	SAT (TO) f=503 TT=2400.63 T1=6.49	SAT (TO) f=455 TT=2400.17 T1=94.54	SAT (TO) f=439 TT=2400.13 T1=35.5	No Cert. TT=2400.01	No Cert. TT=2400.06	SAT (TO) f=351 TT=2400.01 T1=1867.17	SAT (TO) f=431 TT=2400.12 T1=1969.73	SAT (TO) f=983 TT=2400.13 T1=1981.21	SAT (TO) f=367 TT=2400.13 T1=786.95	SAT (TO) f=439 TT=2400.17 T1=1517.16	SAT (TO) f=439 TT=2520.17 T1=1475.7
LowAutocorrelation/ LowAutocorrelation-m1-s1/ LowAutocorrelation-055.xml	SAT TO f=331 TT=2520.13 T1=487.83	SAT (TO) f=683 TT=2520.04 T1=340.98	SAT (TO) f=419 TT=20098.4 T1=68.22	SAT (TO) f=447 TT=20095.801 T1=2480.08	SAT (TO) f=507 TT=2520.04 T1=1022.62	SAT (TO) f=507 TT=2520.04 T1=1024.66	SAT (TO) f=519 TT=2520.08 T1=262.08	SAT (TO) f=519 TT=2520.1 T1=267.94	SAT (TO) f=383 TT=2520.12 T1=1806.8	SAT (TO) f=683 TT=2520.06 T1=2519.9	SAT (TO) f=831 TT=2519.86 T1=2520.01	SAT (TO) f=363 TT=2519.97 T1=708.33	SAT (TO) f=331 TT=2520.13 T1=487.83	SAT (TO) f=875 TT=2520.1 T1=2437.87	SAT (TO) f=379 TT=2520.06 T1=1166.07	SAT (TO) f=399 TT=20056.699 T1=1625.33	SAT (TO) f=399 TT=20033.301 T1=18705.869	SAT (TO) f=683 TT=2400.04 T1=341.49	SAT (TO) f=455 TT=2400 T1=68.13	SAT (TO) f=403 TT=2400.78 T1=282.23	SAT (TO) f=383 TT=2400.06 T1=1909.43	No Cert. TT=2400.08	No Cert. TT=2400.03	SAT (TO) f=363 TT=2400.03 T1=744.56	SAT (TO) f=443 TT=2400.11 T1=235.07	SAT (TO) f=931 TT=2400.04 T1=1552	SAT (TO) f=355 TT=2400.19 T1=1601.04	SAT (TO) f=455 TT=2400.14 T1=1469.29	SAT (TO) f=455 TT=2520.12 T1=1471.1
LowAutocorrelation/ LowAutocorrelation-m1-s1/ LowAutocorrelation-057.xml	SAT TO f=388 TT=2400.09 T1=1423.02	SAT (TO) f=740 TT=2520.05 T1=2310.95	SAT (TO) f=512 TT=20093.4 T1=19.57	SAT (TO) f=496 TT=20085.9 T1=459.02	SAT (TO) f=524 TT=2520.04 T1=1901.81	SAT (TO) f=524 TT=2520.09 T1=1869.78	SAT (TO) f=656 TT=2520.07 T1=766.22	SAT (TO) f=656 TT=2520.18 T1=767.15	SAT (TO) f=416 TT=2520.07 T1=925.88	SAT (TO) f=772 TT=2519.96 T1=2520	SAT (TO) f=732 TT=2519.99 T1=2520	SAT (TO) f=388 TT=2519.99 T1=1423.02	SAT (TO) f=440 TT=2520.13 T1=1728.73	SAT (TO) f=1316 TT=2520.09 T1=329.86	SAT (TO) f=444 TT=2520.1 T1=902.72	SAT (TO) f=564 TT=19967.801 T1=955.92	SAT (TO) f=520 TT=19986.5 T1=18368.26	SAT (TO) f=740 TT=2400.12 T1=1985.19	SAT (TO) f=552 TT=2400.32 T1=35.81	SAT (TO) f=484 TT=2400.64 T1=169.2	SAT (TO) f=416 TT=2400.07 T1=785.96	No Cert. TT=2400.01	No Cert. TT=2400.03	SAT (TO) f=388 TT=2400.09 T1=1440.63	SAT (TO) f=448 TT=2400.11 T1=1710.28	SAT (TO) f=1316 TT=2400.07 T1=340.88	SAT (TO) f=396 TT=2400.05 T1=692.89	SAT (TO) f=544 TT=2400.14 T1=1095.41	SAT (TO) f=544 TT=2520.11 T1=1331.47
LowAutocorrelation/ LowAutocorrelation-m1-s1/ LowAutocorrelation-069.xml	SAT TO f=598 TT=2400.05 T1=172.54	SAT (TO) f=1166 TT=2520.18 T1=1088.09	SAT (TO) f=818 TT=20096.301 T1=1971.36	SAT (TO) f=886 TT=20028.9 T1=1042.41	SAT (TO) f=906 TT=2520.03 T1=93.62	SAT (TO) f=906 TT=2520.07 T1=95.59	SAT (TO) f=1174 TT=2520.13 T1=18.45	SAT (TO) f=1174 TT=2520.06 T1=18.48	SAT (TO) f=706 TT=2520.11 T1=142.83	SAT (TO) f=1466 TT=2519.97 T1=2520	SAT (TO) f=1838 TT=2519.64 T1=2520	SAT (TO) f=598 TT=2520.06 T1=193.22	SAT (TO) f=710 TT=2520.08 T1=370.83	SAT (TO) f=2902 TT=2520.12 T1=254.19	SAT (TO) f=742 TT=2520.06 T1=1444.22	SAT (TO) f=1058 TT=20003.5 T1=59.33	SAT (TO) f=1058 TT=20011.1 T1=547.19	SAT (TO) f=1166 TT=2400.1 T1=931.11	SAT (TO) f=794 TT=2400.2 T1=290.08	Wrong Opt. f=2026 TT=18.719 T1=3.8	SAT (TO) f=706 TT=2400.08 T1=149.04	SAT (TO) f=1466 TT=2400.05 T1=1468.18	SAT (TO) f=1838 TT=2400.03 T1=154.32	SAT (TO) f=598 TT=2400.05 T1=172.54	SAT (TO) f=746 TT=2400.2 T1=1724.05	SAT (TO) f=2902 TT=2400.13 T1=260.43	SAT (TO) f=682 TT=2400.12 T1=1512.04	SAT (TO) f=898 TT=2400.13 T1=1327.51	SAT (TO) f=898 TT=2520.11 T1=1343.2
LowAutocorrelation/ LowAutocorrelation-m1-s1/ LowAutocorrelation-081.xml	SAT TO f=864 TT=2400.06 T1=1052.17	SAT (TO) f=2020 TT=2520.09 T1=1544.92	SAT (TO) f=1412 TT=20040.6 T1=1974.83	SAT (TO) f=1200 TT=20042.301 T1=1923.97	SAT (TO) f=1380 TT=2520.1 T1=2135.86	SAT (TO) f=1380 TT=2520.1 T1=2122.76	SAT (TO) f=1636 TT=2520.03 T1=30.66	SAT (TO) f=1636 TT=2520.06 T1=30.6	SAT (TO) f=1028 TT=2520.14 T1=696.99	SAT (TO) f=1716 TT=2519.7 T1=2520	SAT (TO) f=2764 TT=2520.07 T1=2520	SAT (TO) f=864 TT=2520.03 T1=1052.17	SAT (TO) f=980 TT=2520.09 T1=1440.68	SAT (TO) f=3516 TT=2520.08 T1=1791.16	SAT (TO) f=1044 TT=2520.1 T1=1527.58	SAT (TO) f=1792 TT=19969.4 T1=904.69	SAT (TO) f=1792 TT=20004.699 T1=14965.86	SAT (TO) f=2020 TT=2400.06 T1=1483.51	SAT (TO) f=1508 TT=2400.03 T1=121.03	SAT (TO) f=1208 TT=2400.66 T1=245.62	SAT (TO) f=1028 TT=2400.14 T1=694.66	No Cert. TT=2400.05	No Cert. TT=2400.1	SAT (TO) f=864 TT=2400.06 T1=1074.5	SAT (TO) f=988 TT=2400.09 T1=2154.43	SAT (TO) f=3516 TT=2400.09 T1=1798.5	SAT (TO) f=1136 TT=2400.15 T1=1482.5	SAT (TO) f=1564 TT=2402.61 T1=2249.63	SAT (TO) f=1512 TT=2520.26 T1=2459.55
LowAutocorrelation/ LowAutocorrelation-m1-s1/ LowAutocorrelation-084.xml	SAT TO f=782 TT=2520.15 T1=1590.8	SAT (TO) f=1690 TT=2520.07 T1=576.45	SAT (TO) f=1438 TT=19975.5 T1=408.53	SAT (TO) f=958 TT=19870.301 T1=2159.99	SAT (TO) f=1498 TT=2520.1 T1=2111.82	SAT (TO) f=1498 TT=2520.03 T1=2120.28	SAT (TO) f=1446 TT=2520.13 T1=12	SAT (TO) f=1446 TT=2520.09 T1=11.84	SAT (TO) f=1046 TT=2520.14 T1=134.6	SAT (TO) f=2798 TT=2520.1 T1=2520	SAT (TO) f=2358 TT=2519.79 T1=2520.01	SAT (TO) f=834 TT=2519.82 T1=668.63	SAT (TO) f=1066 TT=2520.14 T1=1649.99	SAT (TO) f=5522 TT=2520.09 T1=2022.5	SAT (TO) f=782 TT=2520.15 T1=1590.8	SAT (TO) f=1822 TT=20031.5 T1=2121.21	SAT (TO) f=1830 TT=20015 T1=3965.12	SAT (TO) f=1690 TT=2400.08 T1=565.17	Wrong Opt. f=116074 TT=29.851 T1=9.02	Wrong Opt. f=110694 TT=29.966 T1=8.96	SAT (TO) f=1046 TT=2400.14 T1=132.85	No Cert. TT=2400.07	No Cert. TT=2400.11	SAT (TO) f=834 TT=2400.11 T1=672.46	SAT (TO) f=1054 TT=2400.15 T1=888.33	SAT (TO) f=5522 TT=2400.11 T1=2121.66	SAT (TO) f=1242 TT=2400.26 T1=1489.99	SAT (TO) f=1654 TT=2400.22 T1=1081.42	SAT (TO) f=1654 TT=2520.14 T1=1083.22
LowAutocorrelation/ LowAutocorrelation-m1-s1/ LowAutocorrelation-096.xml	SAT TO f=1188 TT=2519.84 T1=2296.78	SAT (TO) f=2568 TT=2520.03 T1=167.23	SAT (TO) f=1960 TT=20088.801 T1=1910.36	SAT (TO) f=1960 TT=19939.301 T1=1947.46	SAT (TO) f=1960 TT=2520.09 T1=1147.92	SAT (TO) f=1960 TT=2520.04 T1=1138.35	SAT (TO) f=2248 TT=2520.07 T1=108.47	SAT (TO) f=2248 TT=2524.39 T1=107.91	SAT (TO) f=1456 TT=2520.16 T1=357.32	SAT (TO) f=3292 TT=2519.77 T1=2520	SAT (TO) f=3396 TT=2519.87 T1=2520.01	SAT (TO) f=1188 TT=2519.84 T1=2296.78	SAT (TO) f=1492 TT=2520.09 T1=1581.95	SAT (TO) f=7484 TT=2520.12 T1=2397.42	SAT (TO) f=1332 TT=2520.1 T1=1554.74	SAT (TO) f=4836 TT=20051.6 T1=1974.28	SAT (TO) f=4284 TT=20026.199 T1=12433.36	SAT (TO) f=2568 TT=2400.1 T1=166.13	Wrong Opt. f=199320 TT=39.588 T1=10.57	SAT (TO) f=2236 TT=2400.02 T1=60.91	SAT (TO) f=1456 TT=2400.15 T1=456.26	No Cert. TT=2400.02	No Cert. TT=2400.08	SAT (TO) f=1236 TT=2400.04 T1=2365.87	SAT (TO) f=1388 TT=2400.1 T1=1616.72	SAT (TO) f=7712 TT=2400.12 T1=2343.21	SAT (TO) f=1344 TT=2400.13 T1=1303.18	SAT (TO) f=2312 TT=2400.23 T1=1617.02	SAT (TO) f=2312 TT=2520.15 T1=1542.04
Opd/Opd-sum-large/ Opd-02-350-100.xml	OPT f=0 TT=1.08 T1=0.79	OPT f=0 TT=1.747 T1=0.86	OPT f=0 TT=5.083 T1=1.16	OPT f=0 TT=4.14 T1=0.97	OPT f=0 TT=1.653 T1=0.84	OPT f=0 TT=1.649 T1=0.79	OPT f=0 TT=13.283 T1=7.54	OPT f=0 TT=14.553 T1=7.56	OPT f=0 TT=20.84 T1=9.09	OPT f=0 TT=1012.33 T1=1012.39	? (TO) TT=2519.92	OPT f=0 TT=1.114 T1=1.21	SAT (TO) f=0 TT=2520.08 T1=48.74	OPT f=0 TT=5.299 T1=2.18	OPT f=0 TT=6.538 T1=2.57	OPT f=0 TT=57.205 T1=44.61	OPT f=0 TT=54.571 T1=53.96	OPT f=0 TT=2.077 T1=0.86	OPT f=0 TT=3.556 T1=0.93	OPT f=0 TT=4.276 T1=1.03	OPT f=0 TT=25.624 T1=9.08	OPT f=0 TT=1022.74 T1=1022.83	? (TO) TT=2400.03	OPT f=0 TT=1.08 T1=1.07	SAT (TO) f=0 TT=2400.04 T1=51.22	OPT f=0 TT=6.625 T1=2.06	OPT f=0 TT=5.206 T1=1.73	OPT f=0 TT=71.186 T1=44.41	OPT f=0 TT=51.389 T1=39.57
Opd/Opd-sum-large/ Opd-03-035-010.xml	OPT f=0 TT=0.027 T1=0.04	OPT f=0 TT=1.147 T1=0.67	OPT f=0 TT=1.405 T1=0.58	OPT f=0 TT=1.379 T1=0.58	OPT f=0 TT=0.969 T1=0.59	OPT f=0 TT=0.984 T1=0.67	OPT f=0 TT=1.211 T1=0.67	OPT f=0 TT=1.195 T1=0.67	OPT f=0 TT=10.051 T1=4.5	? (TO) TT=2520	? (TO) TT=2519.96	OPT f=0 TT=0.027 T1=0.09	SAT (TO) f=0 TT=2520.08 T1=4.74	OPT f=0 TT=1.546 T1=0.96	OPT f=0 TT=1.552 T1=0.95	OPT f=0 TT=7.541 T1=1.9	OPT f=0 TT=7.816 T1=7.48	OPT f=0 TT=1.328 T1=0.65	OPT f=0 TT=1.498 T1=0.61	OPT f=0 TT=1.493 T1=0.61	OPT f=0 TT=12.053 T1=5.05	? (TO) TT=2400.04	? (TO) TT=2400.03	OPT f=0 TT=0.043 T1=0.04	SAT (TO) f=0 TT=2400.06 T1=1.01	OPT f=0 TT=1.697 T1=0.85	OPT f=0 TT=1.694 T1=0.85	OPT f=0 TT=4.306 T1=1.43	OPT f=0 TT=2.947 T1=1.64
Opd/Opd-sum-large/ Opd-07-035-010.xml	OPT f=2 TT=1.563 T1=1.22	OPT f=2 TT=2.739 T1=1.41	OPT f=2 TT=5.638 T1=1.22	OPT f=2 TT=5.664 T1=1.22	OPT f=2 TT=16.912 T1=14.63	OPT f=2 TT=17.038 T1=14.73	OPT f=2 TT=31.788 T1=23.68	OPT f=2 TT=31.313 T1=23.07	OPT f=2 TT=220.08 T1=196.3	SAT (TO) f=10 TT=2519.82 T1=0.67	? (TO) TT=2520.06	OPT f=2 TT=1.563 T1=1.66	SAT (TO) f=2 TT=2520.07 T1=126.09	OPT f=2 TT=9.483 T1=5.33	OPT f=2 TT=1802.14 T1=64.28	OPT f=2 TT=13.238 T1=2.85	OPT f=2 TT=10.538 T1=9.57	OPT f=2 TT=3.015 T1=1.29	OPT f=2 TT=12.244 T1=2.09	OPT f=2 TT=10.783 T1=1.93	OPT f=2 TT=238.944 T1=208.18	? (TO) TT=2400.09	? (TO) TT=2400.01	OPT f=2 TT=1.574 T1=1.57	SAT (TO) f=2 TT=2400.05 T1=119.43	OPT f=2 TT=9.823 T1=5.13	OPT f=2 TT=1736.52 T1=42.98	OPT f=2 TT=14.815 T1=10.93	OPT f=2 TT=18.867 T1=15.4
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
Opd/Opd-sum-large/ Opd-07-350-100.xml	SAT TO f=22 TT=19965.9 T1=41.81	SAT (TO) f=98 TT=2520.11 T1=1.72	SAT (TO) f=20 TT=20099.9 T1=2255.83	SAT (TO) f=23 TT=20097.5 T1=886.2	? (TO) TT=2520.03	SAT (TO) f=46 TT=2520.1 T1=831.09	? (TO) TT=2520.05	SAT (TO) f=95 TT=2520.05 T1=562.73	? (TO) TT=2522.1	? (TO) TT=2520.08	? (TO) TT=2520.02	SAT (TO) f=24 TT=2519.78 T1=2475.98	SAT (TO) f=51 TT=2520.11 T1=2380.94	SAT (TO) f=47 TT=2520.07 T1=2261.36	SAT (TO) f=59 TT=2520.11 T1=1697.16	SAT (TO) f=22 TT=19965.9 T1=41.81	SAT (TO) f=23 TT=19955.301 T1=350.78	SAT (TO) f=98 TT=2400.08 T1=1.53	SAT (TO) f=100 TT=2400.55 T1=254.98	SAT (TO) f=100 TT=2400.68 T1=269.46	? (TO) TT=2405.49	? (TO) TT=2400.09	? (TO) TT=2400.01	SAT (TO) f=24 TT=2400.08 T1=2333.18	SAT (TO) f=73 TT=2400.11 T1=1895.25	SAT (TO) f=100 TT=2400.11 T1=1.45	SAT (TO) f=58 TT=2400.12 T1=1587.83	? (TO) TT=2400.14	? (TO) TT=2520.11
Opd/Opd-sum-large/ Opd-10-325-100.xml	SAT TO f=28 TT=20060.301 T1=884.87	SAT (TO) f=99 TT=2520.08 T1=1.76	SAT (TO) f=99 TT=20099.9 T1=20.35	SAT (TO) f=35 TT=20089.5 T1=1891.56	SAT (TO) f=98 TT=2520.03 T1=150.45	SAT (TO) f=51 TT=2520.06 T1=437.02	SAT (TO) f=100 TT=2520.09 T1=678.02	? (TO) TT=2520.1	? (TO) TT=2523.29	? (TO) TT=2519.99	? (TO) TT=2520.01	SAT (TO) f=39 TT=2519.9 T1=1777.86	SAT (TO) f=79 TT=2520.13 T1=2044.79	SAT (TO) f=83 TT=2520.12 T1=2457.15	SAT (TO) f=79 TT=2520.05 T1=1724.47	SAT (TO) f=28 TT=20060.301 T1=884.87	SAT (TO) f=30 TT=20066.801 T1=5688.23	SAT (TO) f=99 TT=2400.1 T1=1.59	SAT (TO) f=99 TT=2400.17 T1=41.04	SAT (TO) f=99 TT=2400.77 T1=40.04	? (TO) TT=2408.63	? (TO) TT=2400.08	? (TO) TT=2400.07	SAT (TO) f=39 TT=2400.01 T1=1836.59	SAT (TO) f=71 TT=2400.14 T1=1674.48	SAT (TO) f=100 TT=2400.07 T1=1.71	SAT (TO) f=80 TT=2400.18 T1=1630.54	? (TO) TT=2400.15	? (TO) TT=2520.15
Opd/Opd-sum-large/ Opd-10-360-120.xml	SAT TO f=37 TT=20056.5 T1=1278.35	SAT (TO) f=119 TT=2520.05 T1=1.84	SAT (TO) f=120 TT=20100.5 T1=7.16	SAT (TO) f=50 TT=20076.4 T1=2287.23	? (TO) TT=2520.04	SAT (TO) f=77 TT=2520.11 T1=1246.33	SAT (TO) f=119 TT=2520.06 T1=705.21	SAT (TO) f=120 TT=2520.1 T1=871.31	? (TO) TT=2523.69	? (TO) TT=2520	? (TO) TT=2520.06	SAT (TO) f=56 TT=2519.78 T1=1315.01	SAT (TO) f=98 TT=2520.12 T1=2195.82	SAT (TO) f=120 TT=2520.1 T1=1.84	SAT (TO) f=84 TT=2520.15 T1=2452.2	SAT (TO) f=37 TT=20056.5 T1=1278.35	SAT (TO) f=39 TT=20060 T1=16897.42	SAT (TO) f=119 TT=2400.09 T1=1.83	SAT (TO) f=120 TT=2400.22 T1=9.77	SAT (TO) f=120 TT=2400.45 T1=9.53	? (TO) TT=2409.56	? (TO) TT=2400.11	? (TO) TT=2400.09	SAT (TO) f=56 TT=2400.04 T1=1364.46	SAT (TO) f=109 TT=2400.06 T1=986.69	SAT (TO) f=120 TT=2400.2 T1=1.73	SAT (TO) f=100 TT=2400.07 T1=1474.24	? (TO) TT=2400.17	? (TO) TT=2520.1
Opd/Opd-sum-large/ Opd-12-350-100.xml	SAT TO f=38 TT=2400.1 T1=2183.84	SAT (TO) f=98 TT=2520.12 T1=2.51	SAT (TO) f=100 TT=20084.1 T1=108.56	SAT (TO) f=47 TT=20062 T1=1963.95	? (TO) TT=2520.03	? (TO) TT=2520.09	? (TO) TT=2520.12	SAT (TO) f=70 TT=2520.12 T1=2083.39	? (TO) TT=2524.82	? (TO) TT=2519.97	? (TO) TT=2519.86	SAT (TO) f=38 TT=2519.79 T1=2193.88	SAT (TO) f=92 TT=2520.12 T1=708.34	SAT (TO) f=100 TT=2520.1 T1=2.02	SAT (TO) f=91 TT=2520.13 T1=1528.45	SAT (TO) f=64 TT=20056.199 T1=2035.79	SAT (TO) f=97 TT=20061.801 T1=1332.17	SAT (TO) f=98 TT=2400.09 T1=2.48	SAT (TO) f=100 TT=2400.1 T1=202.57	SAT (TO) f=100 TT=2400.63 T1=196.28	? (TO) TT=2411.78	? (TO) TT=2400.03	? (TO) TT=2400.04	SAT (TO) f=38 TT=2400.1 T1=2183.84	SAT (TO) f=71 TT=2400.1 T1=1996.89	SAT (TO) f=100 TT=2400.1 T1=1.92	SAT (TO) f=86 TT=2400.23 T1=873.8	? (TO) TT=2400.2	? (TO) TT=2520.12
Opd/Opd-sum-large/ Opd-13-035-010.xml	OPT f=3 TT=0.801 T1=0.82	OPT f=3 TT=3.913 T1=1.96	OPT f=3 TT=26.191 T1=3.94	OPT f=3 TT=14.449 T1=2.4	OPT f=3 TT=4.897 T1=2.47	OPT f=3 TT=4.863 T1=2.51	OPT f=3 TT=21.583 T1=14.92	OPT f=3 TT=22.156 T1=14.8	SAT (TO) f=4 TT=2520.11 T1=185.32	SAT (TO) f=10 TT=2520.02 T1=1.27	? (TO) TT=2519.96	OPT f=3 TT=0.801 T1=0.87	SAT (TO) f=3 TT=2520.09 T1=261.16	OPT f=3 TT=4.433 T1=1.87	OPT f=3 TT=3.923 T1=1.67	OPT f=3 TT=13.024 T1=2.73	OPT f=3 TT=13.838 T1=12.75	OPT f=3 TT=4.558 T1=2	OPT f=3 TT=30.769 T1=4.59	OPT f=3 TT=46.036 T1=6.42	SAT (TO) f=4 TT=2400.1 T1=173.82	No Cert. TT=2400.02	? (TO) TT=2400.07	OPT f=3 TT=0.839 T1=0.82	SAT (TO) f=3 TT=2400.11 T1=397.91	OPT f=3 TT=5.491 T1=1.74	OPT f=3 TT=4.707 T1=1.57	OPT f=3 TT=91.326 T1=85.84	OPT f=3 TT=122.976 T1=118.61
Opd/Opd-sum-large/ Opd-14-035-010.xml	OPT f=3 TT=0.433 T1=0.51	OPT f=3 TT=6.13 T1=4.37	OPT f=3 TT=34.257 T1=4.89	OPT f=3 TT=31.792 T1=4.61	OPT f=3 TT=5.393 T1=2.86	OPT f=3 TT=5.259 T1=2.74	OPT f=3 TT=19.535 T1=9.47	OPT f=3 TT=19.859 T1=9.67	SAT (TO) f=4 TT=2520.06 T1=55.85	SAT (TO) f=10 TT=2519.85 T1=1.38	? (TO) TT=2519.58	OPT f=3 TT=0.433 T1=0.51	SAT (TO) f=3 TT=2520.05 T1=508.55	OPT f=3 TT=166.918 T1=162.1	OPT f=3 TT=1810.94 T1=38.49	OPT f=3 TT=17.525 T1=3.4	OPT f=3 TT=15.61 T1=14.49	OPT f=3 TT=6.64 T1=4.28	OPT f=3 TT=52.154 T1=7.19	OPT f=3 TT=49.162 T1=6.85	SAT (TO) f=4 TT=2400.06 T1=56.68	No Cert. TT=2400.04	? (TO) TT=2400.1	OPT f=3 TT=0.521 T1=0.51	SAT (TO) f=3 TT=2400.11 T1=484.88	OPT f=3 TT=169.467 T1=163.04	OPT f=3 TT=1749.47 T1=176.17	OPT f=3 TT=140.405 T1=134.82	OPT f=3 TT=183.471 T1=178.73
Opd/Opd-sum-large/ Opd-29-350-100.xml	SAT TO f=80 TT=2520.07 T1=879.92	SAT (TO) f=99 TT=2520.09 T1=7.59	? (TO) TT=20057.5	SAT (TO) f=80 TT=20005.4 T1=1362.89	? (TO) TT=2520.07	SAT (TO) f=80 TT=2520.07 T1=879.92	? (TO) TT=2520.04	? (TO) TT=2520.05	? (TO) TT=2527.75	? (TO) TT=2519.63	? (TO) TT=2519.89	? (TO) TT=2519.87	SAT (TO) f=100 TT=2520.16 T1=21.85	SAT (TO) f=100 TT=2520.12 T1=4.4	SAT (TO) f=100 TT=2520.14 T1=4.43	SAT (TO) f=97 TT=20006.4 T1=906.86	SAT (TO) f=98 TT=20022.801 T1=6708.83	SAT (TO) f=99 TT=2400.06 T1=7.62	? (TO) TT=2400.34	? (TO) TT=2400.54	? (TO) TT=2415.37	? (TO) TT=2400.1	? (TO) TT=2400.1	? (TO) TT=2400.06	SAT (TO) f=100 TT=2400.14 T1=33.05	SAT (TO) f=100 TT=2400.15 T1=4.46	SAT (TO) f=99 TT=2400.09 T1=519.37	? (TO) TT=2416.27	? (TO) TT=2528.11
Opd/Opd-sum-large/ Opd-46-035-010.xml	SAT TO f=4 TT=2400.07 T1=53.54	SAT (TO) f=6 TT=2520.22 T1=80.98	SAT (TO) f=5 TT=20056.6 T1=141.38	SAT (TO) f=5 TT=20058 T1=141.35	SAT (TO) f=5 TT=2520.07 T1=134.07	SAT (TO) f=5 TT=2520.04 T1=133.43	SAT (TO) f=5 TT=2520.08 T1=142.72	SAT (TO) f=5 TT=2521.17 T1=142.48	? (TO) TT=2526.12	SAT (TO) f=10 TT=2519.89 T1=9.45	? (TO) TT=2520.04	SAT (TO) f=4 TT=2519.93 T1=114.48	SAT (TO) f=5 TT=2520.14 T1=855.35	SAT (TO) f=9 TT=2520.11 T1=3.83	SAT (TO) f=5 TT=2520.13 T1=201.11	SAT (TO) f=4 TT=20040.6 T1=53.54	SAT (TO) f=5 TT=20055 T1=72.64	SAT (TO) f=6 TT=2400.27 T1=83.77	SAT (TO) f=6 TT=2400.08 T1=112.52	SAT (TO) f=6 TT=2400.15 T1=117.6	? (TO) TT=2414.22	No Cert. TT=2400.06	? (TO) TT=2400.01	SAT (TO) f=4 TT=2400.07 T1=92.03	SAT (TO) f=5 TT=2400.11 T1=644.24	SAT (TO) f=9 TT=2400.12 T1=3.36	SAT (TO) f=6 TT=2400.08 T1=241.54	SAT (TO) f=6 TT=2400.35 T1=1514.3	SAT (TO) f=6 TT=2520.28 T1=1530.98
Opd/Opd-sum-large/ Opd-46-350-100.xml	SAT TO f=96 TT=2400.15 T1=1563.18	SAT (TO) f=99 TT=2520.1 T1=17.76	? (TO) TT=19994.801	SAT (TO) f=98 TT=19845.199 T1=221.52	? (TO) TT=2520.13	? (TO) TT=2520.1	? (TO) TT=2520.1	? (TO) TT=2520.04	? (TO) TT=2527.91	? (TO) TT=2520.03	? (TO) TT=2520	? (TO) TT=2519.48	SAT (TO) f=100 TT=2520.11 T1=767.57	SAT (TO) f=100 TT=2520.14 T1=9.01	SAT (TO) f=98 TT=2520.18 T1=1466.45	SAT (TO) f=99 TT=19950.4 T1=2377.12	SAT (TO) f=99 TT=19961.4 T1=19144.32	SAT (TO) f=99 TT=2400.07 T1=18.05	? (TO) TT=2400.4	? (TO) TT=2400.4	? (TO) TT=2415.5	? (TO) TT=2400.16	? (TO) TT=2400.19	? (TO) TT=2400.08	SAT (TO) f=100 TT=2400.15 T1=89.32	SAT (TO) f=100 TT=2400.15 T1=9.67	SAT (TO) f=96 TT=2400.15 T1=1563.18	? (TO) TT=2416.27	? TT=1439
Opd/Opd-sum-small/ Opd-09-037-012.xml	OPT f=3 TT=44.46 T1=42.75	OPT f=3 TT=44.46 T1=42.75	OPT f=3 TT=2573.78 T1=323.1	SAT (TO) f=4 TT=20099 T1=1.09	SAT (TO) f=4 TT=2520.08 T1=3.14	SAT (TO) f=4 TT=2520.04 T1=3.09	SAT (TO) f=4 TT=2520.07 T1=19.01	SAT (TO) f=4 TT=2520.1 T1=19.16	SAT (TO) f=4 TT=2520.11 T1=1956.49	SAT (TO) f=12 TT=2520 T1=1.14	? (TO) TT=2520.04	OPT f=3 TT=803.672 T1=803.8	SAT (TO) f=3 TT=2520.04 T1=878.63	SAT (TO) f=4 TT=2520.04 T1=1.75	SAT (TO) f=4 TT=2520.04 T1=1.63	SAT (TO) f=4 TT=19917.1 T1=2.81	OPT f=3 TT=77.767 T1=76.93	OPT f=3 TT=45.612 T1=43.28	OPT f=3 TT=937.293 T1=118.3	SAT (TO) f=4 TT=2400.45 T1=1.25	SAT (TO) f=4 TT=2400.15 T1=2092.08	SAT (TO) f=12 TT=2400.06 T1=1.14	? (TO) TT=2400.04	OPT f=3 TT=801.499 T1=801.57	SAT (TO) f=4 TT=2400.12 T1=115.68	SAT (TO) f=4 TT=2400.03 T1=1.45	SAT (TO) f=4 TT=2400.09 T1=1.62	OPT f=3 TT=135.129 T1=130.62	OPT f=3 TT=168.607 T1=164.37
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
Opd/Opd-sum-small/ Opd-10-026-004.xml	OPT f=1 TT=0.138 T1=0.16	OPT f=1 TT=1.604 T1=0.84	OPT f=1 TT=3.412 T1=0.91	OPT f=1 TT=3.189 T1=0.88	OPT f=1 TT=2.74 T1=1.16	OPT f=1 TT=2.548 T1=1.15	OPT f=1 TT=10.249 T1=3.86	OPT f=1 TT=9.642 T1=29.59	OPT f=1 TT=17.547 T1=6.93	OPT f=1 TT=3.665 T1=3.74	OPT f=1 TT=1129 T1=1129.04	OPT f=1 TT=0.138 T1=0.23	SAT (TO) f=1 TT=2520.04 T1=16.15	OPT f=1 TT=2.188 T1=1.18	OPT f=1 TT=2.207 T1=1.14	OPT f=1 TT=10.582 T1=2.61	OPT f=1 TT=10.226 T1=9.15	OPT f=1 TT=1.846 T1=0.76	OPT f=1 TT=3.785 T1=1.04	OPT f=1 TT=3.792 T1=0.97	OPT f=1 TT=21.777 T1=6.71	OPT f=1 TT=3.748 T1=3.74	OPT f=1 TT=1159.58 T1=1159.69	OPT f=1 TT=0.173 T1=0.16	SAT (TO) f=1 TT=2400.06 T1=17.33	OPT f=1 TT=2.583 T1=1.07	OPT f=1 TT=2.664 T1=1.09	OPT f=1 TT=15.451 T1=11.3	OPT f=1 TT=16.676 T1=13.52
Opd/Opd-sum-small/ Opd-10-031-009.xml	OPT f=2 TT=4.062 T1=2.49	OPT f=2 TT=4.062 T1=2.59	OPT f=2 TT=14.525 T1=2.37	OPT f=2 TT=15.543 T1=2.49	SAT (TO) f=3 TT=2520.09 T1=1.91	SAT (TO) f=3 TT=2520.13 T1=1.37	OPT f=2 TT=968.101 T1=937.02	OPT f=2 TT=970.487 T1=938.05	SAT (TO) f=3 TT=2520.14 T1=8.91	SAT (TO) f=9 TT=2520.02 T1=0.48	? (TO) TT=2519.98	OPT f=2 TT=50.048 T1=50.13	SAT (TO) f=2 TT=2520.11 T1=187.16	SAT (TO) f=3 TT=2520.08 T1=1.49	SAT (TO) f=3 TT=2520.1 T1=1.46	OPT f=2 TT=1955.91 T1=248.36	OPT f=2 TT=285.502 T1=284.78	OPT f=2 TT=4.379 T1=2.49	OPT f=2 TT=29.471 T1=4.25	OPT f=2 TT=30.477 T1=4.42	SAT (TO) f=3 TT=2400.1 T1=9.06	? (TO) TT=2400.03	? (TO) TT=2400.03	OPT f=2 TT=46.306 T1=46.3	SAT (TO) f=2 TT=2400.15 T1=206.33	SAT (TO) f=3 TT=2400.04 T1=1.38	SAT (TO) f=3 TT=2400.03 T1=1.43	OPT f=2 TT=69.561 T1=65.1	OPT f=2 TT=63.839 T1=60.66
Opd/Opd-sum-small/ Opd-10-038-010.xml	OPT f=2 TT=3.751 T1=2.13	OPT f=2 TT=3.751 T1=2.13	OPT f=2 TT=19.783 T1=2.99	OPT f=2 TT=19.326 T1=2.97	SAT (TO) f=3 TT=2520.03 T1=2.43	SAT (TO) f=3 TT=2520.09 T1=2.46	SAT (TO) f=3 TT=2520.02 T1=16.89	SAT (TO) f=3 TT=2520.05 T1=16.29	SAT (TO) f=3 TT=2520.14 T1=10.28	SAT (TO) f=10 TT=2519.85 T1=1.5	? (TO) TT=2520.04	OPT f=2 TT=12.997 T1=13.09	SAT (TO) f=3 TT=2520.1 T1=80.75	OPT f=2 TT=60.932 T1=56.68	SAT (TO) f=3 TT=2520.1 T1=1.67	OPT f=2 TT=18.386 T1=3.46	OPT f=2 TT=15.5 T1=14.61	OPT f=2 TT=4.013 T1=2.14	OPT f=2 TT=36.101 T1=5.12	OPT f=2 TT=37.608 T1=5.35	SAT (TO) f=3 TT=2400.08 T1=10.2	No Cert. TT=2400.03	? (TO) TT=2400.1	OPT f=2 TT=13.141 T1=13.13	SAT (TO) f=2 TT=2400.04 T1=894.09	OPT f=2 TT=62.179 T1=57.78	SAT (TO) f=3 TT=2400.13 T1=1.59	OPT f=2 TT=103.079 T1=98.19	OPT f=2 TT=143.476 T1=139.45
Opd/Opd-sum-small/ Opd-19-019-009.xml	OPT f=4 TT=13781.5 T1=1727.85	SAT (TO) f=5 TT=2520.05 T1=3.07	OPT f=4 TT=14626.8 T1=1833.81	OPT f=4 TT=13781.5 T1=1727.85	SAT (TO) f=5 TT=2520.09 T1=5.33	SAT (TO) f=5 TT=2520.05 T1=5.39	SAT (TO) f=5 TT=2520.08 T1=14.1	SAT (TO) f=5 TT=2520.03 T1=35.13	SAT (TO) f=5 TT=2520.14 T1=19.78	SAT (TO) f=7 TT=2519.91 T1=149.41	SAT (TO) f=8 TT=2520.06 T1=3.29	SAT (TO) f=5 TT=2519.96 T1=3.01	SAT (TO) f=5 TT=2520.09 T1=103.12	SAT (TO) f=5 TT=2520.02 T1=12.57	SAT (TO) f=5 TT=2520.03 T1=59.73	SAT (TO) f=5 TT=19989.801 T1=3.3	SAT (TO) f=5 TT=19962.699 T1=19.52	SAT (TO) f=5 TT=2400.09 T1=3.07	OPT f=4 TT=49.895 T1=6.9	OPT f=4 TT=55.452 T1=7.62	SAT (TO) f=5 TT=2400.09 T1=19.42	No Cert. TT=2400.07	No Cert. TT=2400.09	SAT (TO) f=5 TT=2400.08 T1=3	SAT (TO) f=4 TT=2400.11 T1=127.74	SAT (TO) f=5 TT=2400.06 T1=11.21	SAT (TO) f=5 TT=2400.09 T1=7.23	SAT (TO) f=5 TT=2400.18 T1=51.83	SAT (TO) f=5 TT=2520.18 T1=51.6
OpenStacks/OpenStacks-m2c-s1/ OpenStacks-m2c-Miller-19.xml	SAT TO f=13 TT=2400.07 T1=0.74	SAT (TO) f=13 TT=2520.04 T1=14.07	SAT (TO) f=13 TT=20051.5 T1=11.52	SAT (TO) f=13 TT=20052.1 T1=11.5	SAT (TO) f=13 TT=2520.12 T1=303.29	SAT (TO) f=13 TT=2520.03 T1=302.52	SAT (TO) f=13 TT=2520.06 T1=277.65	SAT (TO) f=13 TT=2520.06 T1=297.43	SAT (TO) f=13 TT=2520.08 T1=26.21	SAT (TO) f=14 TT=2520.05 T1=4.86	SAT (TO) f=13 TT=2519.76 T1=43.08	SAT (TO) f=13 TT=2519.91 T1=0.78	? (TO) TT=2520.14	? (TO) TT=2520.1	? (TO) TT=2520.07	? (TO) TT=20013.1	? (TO) TT=19992.5	SAT (TO) f=13 TT=2400.09 T1=13.94	SAT (TO) f=13 TT=2400.1 T1=10.6	Wrong Opt. f=17 TT=16.555 T1=7	SAT (TO) f=13 TT=2400.08 T1=26.6	No Cert. TT=2400.03	No Cert. TT=2400.03	SAT (TO) f=13 TT=2400.07 T1=0.74	? (TO) TT=2400.09	? (TO) TT=2400.13	? (TO) TT=2400.05	? TT=2217.17	? TT=2174.38
OpenStacks/OpenStacks-m2c-s1/ OpenStacks-m2c-nrwsSmall-4-1.xml	OPT f=3 TT=0.433 T1=0.5	OPT f=3 TT=4.737 T1=2.15	OPT f=3 TT=21.21 T1=3.3	OPT f=3 TT=23.127 T1=3.54	OPT f=3 TT=30.83 T1=20.2	OPT f=3 TT=29.798 T1=19.41	OPT f=3 TT=31.221 T1=20.79	OPT f=3 TT=31.493 T1=20.66	SAT (TO) f=5 TT=2520.07 T1=5.73	OPT f=3 TT=12.584 T1=10.53	OPT f=3 TT=12.431 T1=11.65	OPT f=3 TT=0.44 T1=0.52	SAT (TO) f=3 TT=2520.04 T1=232.91	SAT (TO) f=5 TT=2520.1 T1=2347.06	OPT f=3 TT=1961.28 T1=195.99	OPT f=3 TT=183.735 T1=24.88	OPT f=3 TT=376.256 T1=312.41	OPT f=3 TT=4.6 T1=2.09	OPT f=3 TT=35.181 T1=9.25	OPT f=3 TT=15.553 T1=4.41	SAT (TO) f=5 TT=2400.1 T1=5.59	OPT f=3 TT=12.687 T1=10.68	OPT f=3 TT=12.584 T1=11.73	OPT f=3 TT=0.433 T1=0.5	SAT (TO) f=3 TT=2400.03 T1=201.29	SAT (TO) f=5 TT=2400.1 T1=2308.3	OPT f=3 TT=1853.99 T1=198.18	SAT (TO) f=9 TT=2400.26 T1=1352.79	SAT (TO) f=9 TT=2520.2 T1=1347.15
OpenStacks/OpenStacks-m2c-s1/ OpenStacks-m2c-pb-10-10-1.xml	OPT f=5 TT=0.069 T1=0.09	OPT f=5 TT=1.911 T1=0.92	OPT f=5 TT=6.129 T1=0.94	OPT f=5 TT=5.361 T1=0.91	OPT f=5 TT=2.471 T1=0.82	OPT f=5 TT=2.473 T1=0.8	OPT f=5 TT=5.172 T1=0.74	OPT f=5 TT=5.191 T1=0.73	OPT f=5 TT=12.462 T1=5.75	OPT f=5 TT=0.794 T1=0.1	OPT f=5 TT=0.343 T1=0.09	OPT f=5 TT=0.069 T1=0.12	SAT (TO) f=5 TT=2520.03 T1=4.26	OPT f=5 TT=6.223 T1=2.5	SAT (TO) f=5 TT=2520.08 T1=2.99	OPT f=5 TT=12.322 T1=2.28	OPT f=5 TT=11.921 T1=7.64	OPT f=5 TT=1.938 T1=0.91	OPT f=5 TT=4.376 T1=1	OPT f=5 TT=4.316 T1=1.02	OPT f=5 TT=12.336 T1=5.31	OPT f=5 TT=0.795 T1=0.12	OPT f=5 TT=0.341 T1=0.08	OPT f=5 TT=0.069 T1=0.12	SAT (TO) f=5 TT=2400.09 T1=52.83	OPT f=5 TT=6.257 T1=2.44	SAT (TO) f=5 TT=2400.12 T1=2.2	OPT f=5 TT=224.149 T1=33.68	OPT f=5 TT=281.961 T1=42.95
OpenStacks/OpenStacks-m2c-s1/ OpenStacks-m2c-pb-10-20-1.xml	OPT f=7 TT=211.078 T1=0.12	OPT f=7 TT=214.839 T1=1.05	OPT f=7 TT=5872.89 T1=1.77	OPT f=7 TT=982.332 T1=1.73	SAT (TO) f=7 TT=2520.07 T1=1.43	SAT (TO) f=7 TT=2520.05 T1=1.4	SAT (TO) f=7 TT=2520.09 T1=1.56	SAT (TO) f=7 TT=2520.08 T1=1.56	SAT (TO) f=7 TT=2520.1 T1=5.56	SAT (TO) f=7 TT=2520.04 T1=0.07	SAT (TO) f=7 TT=2519.78 T1=0.19	OPT f=7 TT=282.489 T1=0.18	SAT (TO) f=7 TT=2520.09 T1=62.85	SAT (TO) f=7 TT=2520.11 T1=60.1	SAT (TO) f=7 TT=2520.05 T1=58.23	SAT (TO) f=7 TT=19091.301 T1=4.15	SAT (TO) f=7 TT=14414.3 T1=16.26	OPT f=7 TT=211.078 T1=1.05	OPT f=7 TT=464.639 T1=1.75	OPT f=7 TT=637.25 T1=1.6	SAT (TO) f=7 TT=2400.12 T1=5.4	? (TO) TT=2400.07	? (TO) TT=2400.06	OPT f=7 TT=288.71 T1=0.12	SAT (TO) f=7 TT=2400.1 T1=57.37	SAT (TO) f=7 TT=2400.03 T1=60.22	SAT (TO) f=7 TT=2400.07 T1=59.63	SAT (TO) f=8 TT=2400.17 T1=2315.92	SAT (TO) f=8 TT=2520.21 T1=2303.93
OpenStacks/OpenStacks-m2c-s1/ OpenStacks-m2c-pb-20-20-1.xml	SAT TO f=11 TT=2400.04 T1=0.25	SAT (TO) f=11 TT=2520.06 T1=2.02	SAT (TO) f=11 TT=20098.6 T1=6.3	SAT (TO) f=11 TT=20099.4 T1=11.85	SAT (TO) f=11 TT=2520.11 T1=205.81	SAT (TO) f=11 TT=2520.11 T1=205.83	SAT (TO) f=11 TT=2520.02 T1=285.78	SAT (TO) f=11 TT=2520.07 T1=285.37	SAT (TO) f=11 TT=2520.14 T1=7.35	SAT (TO) f=12 TT=2520.04 T1=1.95	SAT (TO) f=12 TT=2520.01 T1=1.36	SAT (TO) f=11 TT=2519.8 T1=0.25	SAT (TO) f=11 TT=2520.09 T1=458.56	SAT (TO) f=13 TT=2520.03 T1=59.92	SAT (TO) f=11 TT=2520.07 T1=324.06	SAT (TO) f=11 TT=19995 T1=4.62	SAT (TO) f=11 TT=19971 T1=21.05	SAT (TO) f=11 TT=2400.08 T1=1.94	SAT (TO) f=11 TT=2400.11 T1=12.43	SAT (TO) f=11 TT=2400.31 T1=35.23	SAT (TO) f=11 TT=2400.1 T1=7.7	No Cert. TT=2400.01	No Cert. TT=2400.03	SAT (TO) f=11 TT=2400.09 T1=0.26	SAT (TO) f=11 TT=2400.04 T1=373.82	SAT (TO) f=13 TT=2400.08 T1=62.93	SAT (TO) f=11 TT=2400.1 T1=389.33	? (TO) TT=2407.99	? (TO) TT=2527.87
OpenStacks/ OpenStacks-m2c-s1/ OpenStacks-m2c-sp-4-1.xml	OPT f=9 TT=718.455 T1=0.77	OPT f=9 TT=718.455 T1=3.59	OPT f=9 TT=847.024 T1=6.09	OPT f=9 TT=830.274 T1=7.62	SAT (TO) f=9 TT=2520.06 T1=5.99	SAT (TO) f=9 TT=2520.08 T1=6.11	SAT (TO) f=9 TT=2520.03 T1=10.26	SAT (TO) f=9 TT=2520.04 T1=10.47	SAT (TO) f=9 TT=2520.1 T1=40.5	SAT (TO) f=10 TT=2520.06 T1=474.41	SAT (TO) f=9 TT=2520.07 T1=1.15	OPT f=9 TT=1643.29 T1=0.79	SAT (TO) f=9 TT=2520.02 T1=346.44	SAT (TO) f=11 TT=2520.12 T1=2300.31	SAT (TO) f=9 TT=2520.11 T1=397.9	SAT (TO) f=11 TT=20047.1 T1=5.39	SAT (TO) f=11 TT=20059.699 T1=22.92	OPT f=9 TT=719.377 T1=3.74	OPT f=9 TT=1537.4 T1=8.94	Wrong Opt. f=12 TT=9.139 T1=3.03	SAT (TO) f=9 TT=2400.15 T1=46.01	SAT (TO) f=10 TT=2400.03 T1=480.12	SAT (TO) f=9 TT=2400.1 T1=1.17	OPT f=9 TT=1662.52 T1=0.77	SAT (TO) f=9 TT=2400.05 T1=1041.38	SAT (TO) f=11 TT=2400.04 T1=2288.47	SAT (TO) f=9 TT=2400.07 T1=204.34	? (TO) TT=2400.16	? (TO) TT=2520.16
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
OpenStacks/ OpenStacks-m2c-s1/ OpenStacks-m2c-tiny.xml	OPT f=3 TT=0.017 T1=0.01	OPT f=3 TT=1.531 T1=0.77	OPT f=3 TT=2.801 T1=0.73	OPT f=3 TT=2.884 T1=0.75	OPT f=3 TT=1.713 T1=0.75	OPT f=3 TT=1.856 T1=0.73	OPT f=3 TT=2.197 T1=0.71	OPT f=3 TT=2.151 T1=0.71	OPT f=3 TT=10.022 T1=4.3	OPT f=3 TT=0.025 T1=0.07	OPT f=3 TT=0.017 T1=0.01	OPT f=3 TT=0.019 T1=0.1	SAT (TO) f=3 TT=2520.11 T1=4.83	OPT f=3 TT=2.832 T1=1.33	OPT f=3 TT=2.906 T1=1.36	OPT f=3 TT=9.848 T1=2.29	OPT f=3 TT=9.051 T1=6.74	OPT f=3 TT=1.525 T1=0.79	OPT f=3 TT=1.796 T1=0.87	OPT f=3 TT=1.761 T1=0.81	OPT f=3 TT=9.958 T1=4.47	OPT f=3 TT=0.025 T1=0.1	OPT f=3 TT=0.017 T1=0.07	OPT f=3 TT=0.018 T1=0.1	SAT (TO) f=3 TT=2400.04 T1=5	OPT f=3 TT=2.866 T1=1.28	OPT f=3 TT=2.88 T1=1.33	OPT f=3 TT=11.567 T1=4.77	OPT f=3 TT=11.465 T1=4.68
OpenStacks/OpenStacks-m2c-s1/ OpenStacks-m2c-wbo-10-10-1.xml	OPT f=3 TT=0.041 T1=0.04	OPT f=3 TT=1.797 T1=0.86	OPT f=3 TT=3.527 T1=0.88	OPT f=3 TT=3.807 T1=0.91	OPT f=3 TT=2.345 T1=0.83	OPT f=3 TT=2.307 T1=0.83	OPT f=3 TT=3.168 T1=0.79	OPT f=3 TT=3.149 T1=0.8	OPT f=3 TT=11.276 T1=4.57	OPT f=3 TT=0.078 T1=0.08	OPT f=3 TT=0.092 T1=0.04	OPT f=3 TT=0.043 T1=0.12	SAT (TO) f=3 TT=2520.11 T1=39.5	OPT f=3 TT=2.093 T1=1.01	OPT f=3 TT=2.122 T1=1.2	OPT f=3 TT=10.767 T1=2.22	OPT f=3 TT=10.991 T1=7.36	OPT f=3 TT=1.835 T1=0.9	OPT f=3 TT=2.172 T1=0.88	OPT f=3 TT=2.159 T1=0.92	OPT f=3 TT=11.715 T1=4.79	OPT f=3 TT=0.078 T1=0.08	OPT f=3 TT=0.092 T1=0.12	OPT f=3 TT=0.041 T1=0.11	SAT (TO) f=3 TT=2400.06 T1=37.16	OPT f=3 TT=2.082 T1=1.03	OPT f=3 TT=2.113 T1=1.13	OPT f=3 TT=71.366 T1=25.13	OPT f=3 TT=71.429 T1=25.12
OpenStacks/OpenStacks-m2c-s1/ OpenStacks-m2c-wbo-10-20-1.xml	OPT f=5 TT=98.546 T1=0.17	OPT f=5 TT=358.789 T1=1.38	OPT f=5 TT=5361.98 T1=2.81	OPT f=5 TT=340.842 T1=2.92	SAT (TO) f=5 TT=2520.08 T1=10.09	SAT (TO) f=5 TT=2520.06 T1=9.95	SAT (TO) f=5 TT=2520.11 T1=4.21	SAT (TO) f=5 TT=2520.07 T1=4.41	SAT (TO) f=5 TT=2520.06 T1=5.43	SAT (TO) f=5 TT=2520.09 T1=0.17	SAT (TO) f=5 TT=2520.05 T1=1.55	OPT f=5 TT=99.167 T1=0.17	? (TO) TT=2520.04	SAT (TO) f=5 TT=2520.09 T1=27.9	SAT (TO) f=5 TT=2520.07 T1=29.4	SAT (TO) f=5 TT=4299.42 T1=3.19	SAT (TO) f=5 TT=3723.31 T1=11.39	OPT f=5 TT=364.841 T1=1.29	OPT f=5 TT=335.731 T1=3.94	OPT f=5 TT=290.671 T1=2.59	SAT (TO) f=5 TT=2400.09 T1=5.44	? (TO) TT=2400.05	? (TO) TT=2400.02	OPT f=5 TT=98.546 T1=0.18	? (TO) TT=2400.1	SAT (TO) f=5 TT=2400.06 T1=27.33	SAT (TO) f=5 TT=2400.09 T1=29.08	SAT (TO) f=8 TT=2400.23 T1=2096.48	SAT (TO) f=8 TT=2520.17 T1=2079.12
OpenStacks/OpenStacks-m2c-s1/ OpenStacks-m2c-wbo-10-30-1.xml	OPT f=6 TT=644.396 T1=4.75	SAT (TO) f=6 TT=2520.11 T1=6.37	OPT f=6 TT=4040.61 T1=4.92	OPT f=6 TT=644.396 T1=4.75	SAT (TO) f=6 TT=2520.07 T1=259.82	SAT (TO) f=6 TT=2520.07 T1=274.24	SAT (TO) f=6 TT=2520.08 T1=55.6	SAT (TO) f=6 TT=2520.07 T1=56.06	SAT (TO) f=6 TT=2520.15 T1=7.32	SAT (TO) f=6 TT=2520 T1=922.28	SAT (TO) f=6 TT=2520 T1=7.89	SAT (TO) f=6 TT=2519.78 T1=0.47	SAT (TO) f=6 TT=2520.05 T1=1480.07	? (TO) TT=2520.08	? (TO) TT=2520.07	SAT (TO) f=6 TT=19944.6 T1=447.28	SAT (TO) f=6 TT=19941.801 T1=3044.33	SAT (TO) f=6 TT=2400.08 T1=6.42	OPT f=6 TT=689.035 T1=6.97	OPT f=6 TT=491.014 T1=4.92	SAT (TO) f=6 TT=2400.14 T1=7.39	SAT (TO) f=6 TT=2400.03 T1=921.79	SAT (TO) f=6 TT=2400.05 T1=8.1	SAT (TO) f=6 TT=2400.09 T1=0.47	SAT (TO) f=6 TT=2400.12 T1=1527	? (TO) TT=2400.03	? (TO) TT=2400.06	? (TO) TT=2400.22	? (TO) TT=2520.2
OpenStacks/OpenStacks-m2c-s1/ OpenStacks-m2c-wbo-15-30-1.xml	OPT f=4 TT=148.51 T1=14.01	OPT f=4 TT=152.962 T1=14.51	OPT f=4 TT=1161.06 T1=14.4	OPT f=4 TT=691.03 T1=16.68	OPT f=4 TT=186.755 T1=43.06	OPT f=4 TT=178.823 T1=41.46	SAT (TO) f=4 TT=2520.07 T1=678.3	SAT (TO) f=4 TT=2520.13 T1=699.97	SAT (TO) f=5 TT=2520.07 T1=232.92	SAT (TO) f=5 TT=2520.01 T1=760.14	SAT (TO) f=5 TT=2519.81 T1=44.45	OPT f=4 TT=336.938 T1=15.38	SAT (TO) f=4 TT=2520.08 T1=808.62	SAT (TO) f=10 TT=2520.09 T1=293.26	SAT (TO) f=4 TT=2520.09 T1=620.38	SAT (TO) f=6 TT=20041 T1=6.45	SAT (TO) f=6 TT=20047.5 T1=24.36	OPT f=4 TT=148.51 T1=14.01	OPT f=4 TT=428.153 T1=45.95	OPT f=4 TT=584.834 T1=97.68	SAT (TO) f=5 TT=2400.13 T1=189.22	No Cert. TT=2400.05	No Cert. TT=2400.09	OPT f=4 TT=336.261 T1=14.7	SAT (TO) f=5 TT=2400.14 T1=508.5	SAT (TO) f=10 TT=2400.12 T1=314.78	SAT (TO) f=4 TT=2400.12 T1=748.04	? (TO) TT=2400.19	? (TO) TT=2520.12
OpenStacks/OpenStacks-m2c-s1/ OpenStacks-m2c-wbop-10-20-1.xml	OPT f=5 TT=58.04 T1=0.57	OPT f=5 TT=292.7 T1=2.02	OPT f=5 TT=9858.39 T1=1.99	OPT f=5 TT=379.488 T1=3.51	SAT (TO) f=5 TT=2520.08 T1=8.86	SAT (TO) f=5 TT=2520.03 T1=8.86	SAT (TO) f=5 TT=2520.08 T1=3.44	SAT (TO) f=5 TT=2520.03 T1=3.31	SAT (TO) f=5 TT=2520.09 T1=6.37	SAT (TO) f=5 TT=2520.03 T1=0.43	SAT (TO) f=5 TT=2519.9 T1=0.22	OPT f=5 TT=59.416 T1=0.6	SAT (TO) f=5 TT=2520.05 T1=147.26	SAT (TO) f=6 TT=2520.04 T1=317.34	SAT (TO) f=5 TT=2520.11 T1=106.68	OPT f=5 TT=2049.73 T1=5.36	OPT f=5 TT=1312.62 T1=27.9	OPT f=5 TT=289.95 T1=1.99	OPT f=5 TT=333.047 T1=5.97	OPT f=5 TT=242.33 T1=6.24	SAT (TO) f=5 TT=2400.11 T1=6.33	? (TO) TT=2400.05	? (TO) TT=2400.04	OPT f=5 TT=58.04 T1=0.57	SAT (TO) f=5 TT=2400.02 T1=100.19	SAT (TO) f=6 TT=2400.04 T1=322.75	SAT (TO) f=5 TT=2400.04 T1=78.4	SAT (TO) f=7 TT=2400.18 T1=658.48	SAT (TO) f=7 TT=2520.27 T1=702.75
OpenStacks/OpenStacks-m2c-s1/ OpenStacks-m2c-wbop-10-30-1.xml	OPT f=6 TT=1476.07 T1=3.29	SAT (TO) f=6 TT=2520.06 T1=11.04	OPT f=6 TT=3913.43 T1=3.89	OPT f=6 TT=1476.07 T1=3.29	SAT (TO) f=6 TT=2520.06 T1=9.44	SAT (TO) f=6 TT=2520.11 T1=10.1	SAT (TO) f=6 TT=2520.08 T1=3.36	SAT (TO) f=6 TT=2520.04 T1=3.52	SAT (TO) f=7 TT=2520.1 T1=6.44	SAT (TO) f=7 TT=2520.02 T1=0.82	SAT (TO) f=7 TT=2520.09 T1=0.47	SAT (TO) f=6 TT=2520.08 T1=0.3	? (TO) TT=2520.09	? (TO) TT=2520.07	? (TO) TT=2520.11	SAT (TO) f=6 TT=19906.4 T1=2070.74	SAT (TO) f=6 TT=19894.6 T1=16770.881	SAT (TO) f=6 TT=2400.02 T1=10.92	OPT f=6 TT=243.403 T1=4.84	OPT f=6 TT=624.799 T1=9.8	SAT (TO) f=7 TT=2400.14 T1=6.57	SAT (TO) f=7 TT=2400.09 T1=0.88	SAT (TO) f=7 TT=2400.1 T1=0.56	SAT (TO) f=6 TT=2400.07 T1=0.29	? (TO) TT=2400.11	? (TO) TT=2400.12	? (TO) TT=2400.1	? (TO) TT=2400.34	? (TO) TT=2520.33
OpenStacks/OpenStacks-m2c-s1/ OpenStacks-m2c-wbp-10-20-1.xml	OPT f=6 TT=39.318 T1=0.26	OPT f=6 TT=39.318 T1=1.61	OPT f=6 TT=966.506 T1=1.74	OPT f=6 TT=834.433 T1=1.87	OPT f=6 TT=2364.43 T1=2.6	OPT f=6 TT=2376.42 T1=2.71	SAT (TO) f=6 TT=2520.08 T1=4.33	OPT f=6 TT=2491.9 T1=3.99	SAT (TO) f=6 TT=2520.12 T1=5.8	SAT (TO) f=6 TT=2520.1 T1=8.8	SAT (TO) f=6 TT=2519.7 T1=5.15	OPT f=6 TT=63.789 T1=0.26	SAT (TO) f=6 TT=2520.06 T1=193.67	SAT (TO) f=7 TT=2520.07 T1=111.39	SAT (TO) f=6 TT=2520.09 T1=151.82	OPT f=6 TT=2259.77 T1=4.93	OPT f=6 TT=3664.04 T1=24.41	OPT f=6 TT=40.695 T1=1.68	OPT f=6 TT=527.001 T1=2.24	OPT f=6 TT=360.463 T1=2.08	SAT (TO) f=6 TT=2400.05 T1=5.81	? (TO) TT=2400.08	? (TO) TT=2400.06	OPT f=6 TT=67.652 T1=0.3	SAT (TO) f=6 TT=2400.08 T1=210.71	SAT (TO) f=7 TT=2400.04 T1=110.22	SAT (TO) f=6 TT=2400.08 T1=146.73	SAT (TO) f=9 TT=2400.31 T1=2387.51	SAT (TO) f=9 TT=2520.26 T1=2507.91
OpenStacks/OpenStacks-m2c-s1/ OpenStacks-m2c-wbp-15-15-1.xml	OPT f=4 TT=0.072 T1=0.11	OPT f=4 TT=2.503 T1=1.11	OPT f=4 TT=8.278 T1=1.41	OPT f=4 TT=7.154 T1=1.36	OPT f=4 TT=7.913 T1=3.78	OPT f=4 TT=7.786 T1=3.68	OPT f=4 TT=15.74 T1=4.28	OPT f=4 TT=14.617 T1=4.12	OPT f=4 TT=124.37 T1=7.89	OPT f=4 TT=2.656 T1=0.36	OPT f=4 TT=0.91 T1=0.19	OPT f=4 TT=0.073 T1=0.11	SAT (TO) f=4 TT=2520.12 T1=179.92	OPT f=4 TT=24.082 T1=19.65	OPT f=4 TT=1814.01 T1=135.32	OPT f=4 TT=62.267 T1=8.11	OPT f=4 TT=68.072 T1=56.3	OPT f=4 TT=2.471 T1=1.06	OPT f=4 TT=5.869 T1=1.71	OPT f=4 TT=5.936 T1=1.72	OPT f=4 TT=118.763 T1=7.79	OPT f=4 TT=2.67 T1=0.39	OPT f=4 TT=0.905 T1=0.25	OPT f=4 TT=0.072 T1=0.11	SAT (TO) f=4 TT=2400.06 T1=192.37	OPT f=4 TT=24.303 T1=20.11	OPT f=4 TT=1732.27 T1=138.77	SAT (TO) f=4 TT=2400.22 T1=1911.14	SAT (TO) f=4 TT=2520.15 T1=2099.06
OpenStacks/OpenStacks-m2c-s1/ OpenStacks-m2c-wbp-15-30-1.xml	OPT f=6 TT=1109.65 T1=4.7	OPT f=6 TT=1117.54 T1=7.32	OPT f=6 TT=13267.8 T1=5.13	OPT f=6 TT=7565.25 T1=4.7	SAT (TO) f=6 TT=2520.11 T1=225.37	SAT (TO) f=6 TT=2520.07 T1=216.2	SAT (TO) f=6 TT=2520.08 T1=1540.9	SAT (TO) f=6 TT=2520.07 T1=1526.11	SAT (TO) f=9 TT=2520.09 T1=6.89	SAT (TO) f=7 TT=2520.04 T1=61.58	SAT (TO) f=7 TT=2519.91 T1=1746.71	OPT f=6 TT=2001.36 T1=6.84	SAT (TO) f=6 TT=2520.09 T1=784.07	SAT (TO) f=10 TT=2520.09 T1=230.5	SAT (TO) f=6 TT=2520.04 T1=536.39	SAT (TO) f=6 TT=20053.301 T1=127.21	SAT (TO) f=6 TT=20057.699 T1=1080.06	OPT f=6 TT=1109.65 T1=7.05	Wrong Opt. f=12 TT=6.697 T1=2.52	SAT (TO) f=6 TT=2400.2 T1=14.7	SAT (TO) f=9 TT=2400.07 T1=7.02	No Cert. TT=2400.04	No Cert. TT=2400.1	OPT f=6 TT=2032.35 T1=6.58	SAT (TO) f=6 TT=2400.04 T1=528.58	SAT (TO) f=10 TT=2400.03 T1=233.81	SAT (TO) f=6 TT=2400.06 T1=508.23	? (TO) TT=2400.32	? (TO) TT=2520.14
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
PseudoBoolean/ PseudoBoolean-opt-dimacs/ Pb-aim-050-3-4-yes1-1.xml	OPT f=50 TT=0.046 T1=0.03	OPT f=50 TT=1.437 T1=0.79	OPT f=50 TT=2.831 T1=0.76	OPT f=50 TT=2.468 T1=0.73	OPT f=50 TT=1.165 T1=0.55	OPT f=50 TT=1.185 T1=0.79	OPT f=50 TT=1.571 T1=0.65	OPT f=50 TT=1.564 T1=0.78	OPT f=50 TT=8.342 T1=3.81	OPT f=50 TT=0.072 T1=0.13	OPT f=50 TT=0.088 T1=0.16	OPT f=50 TT=0.046 T1=0.11	SAT (TO) f=50 TT=2520.07 T1=0.94	OPT f=50 TT=1.481 T1=0.93	OPT f=50 TT=1.507 T1=0.8	OPT f=50 TT=4.101 T1=1.55	OPT f=50 TT=3.927 T1=3.38	OPT f=50 TT=1.571 T1=0.7	OPT f=50 TT=2.854 T1=0.8	OPT f=50 TT=3.019 T1=0.82	OPT f=50 TT=9.657 T1=3.78	OPT f=50 TT=0.112 T1=0.04	OPT f=50 TT=0.139 T1=0.03	OPT f=50 TT=0.065 T1=0.03	SAT (TO) f=50 TT=2400.11 T1=0.84	OPT f=50 TT=1.606 T1=1.2	OPT f=50 TT=1.615 T1=0.81	OPT f=50 TT=1.131 T1=0.52	OPT f=50 TT=0.958 T1=0.45
PseudoBoolean/ PseudoBoolean-opt-dimacs/ Pb-ii08a1.xml	OPT f=54 TT=2.219 T1=0.05	OPT f=54 TT=3.385 T1=0.8	OPT f=54 TT=12.364 T1=0.7	OPT f=54 TT=28.759 T1=0.69	OPT f=54 TT=16.92 T1=0.76	OPT f=54 TT=16.414 T1=0.84	OPT f=54 TT=74.704 T1=1.66	OPT f=54 TT=76.027 T1=1.91	OPT f=54 TT=15.271 T1=4.24	OPT f=54 TT=13.739 T1=13.85	OPT f=54 TT=8.903 T1=8.95	OPT f=54 TT=5.708 T1=0.12	SAT (TO) f=54 TT=2520.06 T1=1.54	OPT f=54 TT=2.75 T1=0.99	OPT f=54 TT=2.859 T1=0.88	OPT f=54 TT=7.36 T1=1.85	OPT f=54 TT=8.426 T1=5.41	OPT f=54 TT=3.598 T1=0.75	OPT f=54 TT=41.429 T1=0.76	OPT f=54 TT=37.916 T1=0.77	OPT f=54 TT=18.369 T1=4.08	OPT f=54 TT=14.012 T1=0.02	OPT f=54 TT=9.091 T1=0.02	OPT f=54 TT=5.772 T1=0.05	SAT (TO) f=54 TT=2400.06 T1=2.15	OPT f=54 TT=2.893 T1=0.93	OPT f=54 TT=2.832 T1=0.99	OPT f=54 TT=2.682 T1=0.58	OPT f=54 TT=2.219 T1=0.51
PseudoBoolean/ PseudoBoolean-opt-dimacs/ Pb-ii8d2.xml	SAT TO f=547 TT=2400.01 T1=1079.13	SAT (TO) f=580 TT=2520.05 T1=39.43	SAT (TO) f=662 TT=20077.1 T1=1.96	SAT (TO) f=662 TT=20055.9 T1=1.95	SAT (TO) f=608 TT=2520.05 T1=2.91	SAT (TO) f=608 TT=2520.09 T1=3	SAT (TO) f=706 TT=2520.12 T1=1065.29	SAT (TO) f=706 TT=2520.06 T1=995.01	SAT (TO) f=561 TT=2520.06 T1=47.94	SAT (TO) f=627 TT=2519.83 T1=2520	SAT (TO) f=717 TT=2520.08 T1=2519.9	SAT (TO) f=547 TT=2519.81 T1=1079.13	SAT (TO) f=554 TT=2520.08 T1=20.24	SAT (TO) f=761 TT=2520.11 T1=2181.38	SAT (TO) f=554 TT=2520.11 T1=349.49	SAT (TO) f=746 TT=19886.5 T1=1942.07	SAT (TO) f=746 TT=19924.1 T1=15972.21	SAT (TO) f=580 TT=2400.07 T1=37.1	SAT (TO) f=662 TT=2400.3 T1=2.33	SAT (TO) f=662 TT=2400.07 T1=2.38	SAT (TO) f=561 TT=2400.11 T1=47.4	No Cert. TT=2400.04	No Cert. TT=2400.05	SAT (TO) f=547 TT=2400.01 T1=1095.92	SAT (TO) f=554 TT=2400.16 T1=36.86	SAT (TO) f=761 TT=2400.08 T1=2158.16	SAT (TO) f=554 TT=2400.07 T1=268.46	SAT (TO) f=709 TT=2400.88 T1=1.77	SAT (TO) f=709 TT=2520.31 T1=1.66
PseudoBoolean/ PseudoBoolean-opt-domset/ Pb-domset-v500-e2000-w30-mw19-11.xml	SAT TO f=202 TT=2520.05 T1=1170.73	SAT (TO) f=211 TT=2520.02 T1=28.4	SAT (TO) f=215 TT=19885.9 T1=29.02	SAT (TO) f=215 TT=19852 T1=29.47	SAT (TO) f=222 TT=2520.05 T1=296.17	SAT (TO) f=222 TT=2520.08 T1=271.77	SAT (TO) f=226 TT=2520.05 T1=0.84	SAT (TO) f=226 TT=2520.1 T1=0.71	SAT (TO) f=224 TT=2520.06 T1=115.36	SAT (TO) f=225 TT=2519.9 T1=2520	SAT (TO) f=221 TT=2520.03 T1=2519.9	SAT (TO) f=220 TT=2519.88 T1=1478.09	SAT (TO) f=208 TT=2520.09 T1=2011.13	SAT (TO) f=352 TT=2520.11 T1=2010.75	SAT (TO) f=202 TT=2520.05 T1=1170.73	SAT (TO) f=349 TT=19896.5 T1=2502.1	SAT (TO) f=350 TT=19904.9 T1=14475.73	SAT (TO) f=211 TT=2400.03 T1=28.25	SAT (TO) f=216 TT=2400.74 T1=23.95	SAT (TO) f=215 TT=2400.13 T1=74.52	SAT (TO) f=224 TT=2400.17 T1=121.54	No Cert. TT=2400.07	No Cert. TT=2400.1	SAT (TO) f=220 TT=2400.02 T1=1502.54	SAT (TO) f=204 TT=2400.13 T1=2140.32	SAT (TO) f=352 TT=2400.08 T1=2096.46	SAT (TO) f=213 TT=2400.03 T1=1310.86	SAT (TO) f=251 TT=2400.4 T1=1.71	SAT (TO) f=251 TT=2520.32 T1=1.68
PseudoBoolean/ PseudoBoolean-opt-factor/ Pb-factor-S9-P071-Q409.xml	OPT f=71 TT=0.049 T1=0.07	OPT f=71 TT=2.488 T1=1.11	OPT f=71 TT=2.242 T1=0.71	OPT f=71 TT=2.386 T1=0.74	OPT f=71 TT=1.374 T1=0.6	OPT f=71 TT=1.379 T1=0.69	OPT f=71 TT=3.424 T1=1.2	OPT f=71 TT=3.407 T1=1.2	OPT f=71 TT=10.116 T1=4.55	OPT f=71 TT=0.068 T1=0.15	OPT f=71 TT=0.073 T1=0.07	OPT f=71 TT=0.049 T1=0.1	SAT (TO) f=71 TT=2520.11 T1=2.36	OPT f=71 TT=1.526 T1=0.79	OPT f=71 TT=1.551 T1=0.8	OPT f=71 TT=5.361 T1=2.16	OPT f=71 TT=5.43 T1=4.84	OPT f=71 TT=3.381 T1=1.17	OPT f=71 TT=2.435 T1=0.78	OPT f=71 TT=2.602 T1=0.81	OPT f=71 TT=11.071 T1=4.31	OPT f=71 TT=0.11 T1=0.1	OPT f=71 TT=0.12 T1=0.11	OPT f=71 TT=0.074 T1=0.07	SAT (TO) f=71 TT=2400.1 T1=5.95	OPT f=71 TT=1.923 T1=1.23	OPT f=71 TT=1.887 T1=0.89	? (TO) TT=2400.21	? (TO) TT=2520.32
PseudoBoolean/ PseudoBoolean-opt-factor/ Pb-factor-S9-P167-Q347.xml	OPT f=167 TT=0.033 T1=0.04	OPT f=167 TT=2.353 T1=1.03	OPT f=167 TT=3.212 T1=0.81	OPT f=167 TT=3.192 T1=0.8	OPT f=167 TT=1.291 T1=0.69	OPT f=167 TT=1.295 T1=0.71	OPT f=167 TT=2.945 T1=0.94	OPT f=167 TT=3.025 T1=0.94	OPT f=167 TT=8.609 T1=3.95	OPT f=167 TT=0.06 T1=0.15	OPT f=167 TT=0.1 T1=0.1	OPT f=167 TT=0.033 T1=0.1	SAT (TO) f=167 TT=2520.05 T1=1.71	OPT f=167 TT=1.731 T1=0.84	OPT f=167 TT=1.72 T1=0.83	OPT f=167 TT=4.738 T1=1.94	OPT f=167 TT=4.822 T1=4.48	OPT f=167 TT=2.735 T1=0.97	OPT f=167 TT=3.273 T1=0.88	OPT f=167 TT=3.626 T1=0.95	OPT f=167 TT=9.933 T1=3.88	OPT f=167 TT=0.068 T1=0.05	OPT f=167 TT=0.151 T1=0.14	OPT f=167 TT=0.057 T1=0.04	SAT (TO) f=167 TT=2400.11 T1=6.75	OPT f=167 TT=2.159 T1=1.25	OPT f=167 TT=1.934 T1=0.88	? (TO) TT=2400.25	? (TO) TT=2520.33
PseudoBoolean/ PseudoBoolean-opt-factor/ Pb-factor-S9-P251-Q379.xml	OPT f=251 TT=0.034 T1=0.05	OPT f=251 TT=2.343 T1=1.1	OPT f=251 TT=4.19 T1=0.95	OPT f=251 TT=5.722 T1=1.07	OPT f=251 TT=1.382 T1=0.62	OPT f=251 TT=1.357 T1=0.74	OPT f=251 TT=3.142 T1=1.16	OPT f=251 TT=3.178 T1=1.17	OPT f=251 TT=8.906 T1=3.87	OPT f=251 TT=0.1 T1=0.18	OPT f=251 TT=0.088 T1=0.08	OPT f=251 TT=0.034 T1=0.11	SAT (TO) f=251 TT=2520.07 T1=0.94	OPT f=251 TT=1.66 T1=0.81	OPT f=251 TT=1.638 T1=0.81	OPT f=251 TT=5.317 T1=2.12	OPT f=251 TT=5.284 T1=5	OPT f=251 TT=2.625 T1=1.01	OPT f=251 TT=3.515 T1=0.93	OPT f=251 TT=3.795 T1=0.9	OPT f=251 TT=10.059 T1=3.86	OPT f=251 TT=0.149 T1=0.12	OPT f=251 TT=0.138 T1=0.04	OPT f=251 TT=0.06 T1=0.05	SAT (TO) f=251 TT=2400.06 T1=0.84	OPT f=251 TT=2.175 T1=1.25	OPT f=251 TT=1.845 T1=0.86	? (TO) TT=2415.91	? (TO) TT=2520.27
PseudoBoolean/ PseudoBoolean-opt-factor/ Pb-factor-S9-P409-Q499.xml	OPT f=409 TT=0.023 T1=0.02	OPT f=409 TT=1.712 T1=0.88	OPT f=409 TT=2.318 T1=0.76	OPT f=409 TT=2.415 T1=0.76	OPT f=409 TT=1.19 T1=0.56	OPT f=409 TT=1.203 T1=0.71	OPT f=409 TT=2.122 T1=0.87	OPT f=409 TT=2.125 T1=0.85	OPT f=409 TT=8.272 T1=3.97	OPT f=409 TT=0.028 T1=0.1	OPT f=409 TT=0.023 T1=0.02	OPT f=409 TT=0.025 T1=0.11	SAT (TO) f=409 TT=2520.1 T1=0.87	OPT f=409 TT=1.447 T1=0.79	OPT f=409 TT=1.452 T1=0.78	OPT f=409 TT=3.989 T1=1.51	OPT f=409 TT=4.044 T1=3.57	OPT f=409 TT=1.979 T1=0.81	OPT f=409 TT=2.618 T1=0.82	OPT f=409 TT=2.642 T1=0.85	OPT f=409 TT=9.726 T1=3.97	OPT f=409 TT=0.051 T1=0.04	OPT f=409 TT=0.04 T1=0.03	OPT f=409 TT=0.041 T1=0.04	SAT (TO) f=409 TT=2400.1 T1=0.87	OPT f=409 TT=1.95 T1=1.38	OPT f=409 TT=1.576 T1=0.83	SAT (TO) f=409 TT=2400.33 T1=2055.57	OPT f=409 TT=2353.75 T1=1837.55
PseudoBoolean/ PseudoBoolean-opt-fs/ Pb-fs-50-250-0-45-90-4-1000.xml	OPT f=-178 TT=248.365 T1=194.79	SAT (TO) f=-110 TT=2520.12 T1=2417.99	SAT (TO) f=-175 TT=20058.199 T1=1072.69	SAT (TO) f=-174 TT=20050.6 T1=1026.94	Wrong Opt. f=-147 TT=774.136 T1=628.85	SAT (TO) f=-140 TT=2520.08 T1=128.45	Wrong Opt. f=-156 TT=2192.01 T1=171.79	SAT (TO) f=-166 TT=2520.11 T1=1211.79	SAT (TO) f=-165 TT=2520.13 T1=71.74	SAT (TO) f=-142 TT=2519.68 T1=2520	SAT (TO) f=-141 TT=2519.81 T1=2520.01	SAT (TO) f=-174 TT=2519.68 T1=1880.93	? TT=5.791	? TT=5.192	? TT=5.383	? TT=5.92	? TT=5.962	SAT (TO) f=-109 TT=2400.05 T1=2121.59	SAT (TO) f=-158 TT=2400.34 T1=295.38	SAT (TO) f=-158 TT=2400.26 T1=203.87	SAT (TO) f=-165 TT=2400.15 T1=73.15	No Cert. TT=2400.03	No Cert. TT=2400.08	SAT (TO) f=-174 TT=2400.07 T1=1857.02	? TT=6.983	? TT=6.745	? TT=6.243	OPT f=-178 TT=259.16 T1=204.04	OPT f=-178 TT=248.365 T1=194.79
PseudoBoolean/ PseudoBoolean-opt-gr/ Pb-gr-05.xml	OPT f=11 TT=0.031 T1=0.04	OPT f=11 TT=1.369 T1=0.74	OPT f=11 TT=2.271 T1=0.73	OPT f=11 TT=2.272 T1=0.75	OPT f=11 TT=1.38 T1=0.74	OPT f=11 TT=1.4 T1=0.74	OPT f=11 TT=2.366 T1=0.87	OPT f=11 TT=2.373 T1=0.87	OPT f=11 TT=9.103 T1=4.2	OPT f=11 TT=0.096 T1=0.16	OPT f=11 TT=0.074 T1=0.18	OPT f=11 TT=0.031 T1=0.1	SAT (TO) f=11 TT=2520.12 T1=3.18	OPT f=11 TT=1.986 T1=1.14	OPT f=11 TT=1.9 T1=0.93	OPT f=11 TT=13.36 T1=2.66	OPT f=11 TT=13.581 T1=10.76	OPT f=11 TT=1.519 T1=0.68	OPT f=11 TT=2.904 T1=0.81	OPT f=11 TT=2.658 T1=0.77	OPT f=11 TT=11.319 T1=4.31	OPT f=11 TT=0.135 T1=0.1	OPT f=11 TT=0.121 T1=0.05	OPT f=11 TT=0.045 T1=0.04	SAT (TO) f=11 TT=2400.06 T1=3.31	OPT f=11 TT=1.981 T1=0.95	OPT f=11 TT=2.11 T1=1.01	OPT f=11 TT=6.128 T1=2.78	OPT f=11 TT=4.799 T1=2.74
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
PseudoBoolean/ PseudoBoolean-opt-logicSynthesis/ Pb-logic-m100-100-30-30-r.xml	OPT f=5 TT=156.126 T1=13.34	OPT f=5 TT=343.346 T1=13.34	OPT f=5 TT=326.752 T1=10.85	OPT f=5 TT=505.953 T1=34.39	OPT f=5 TT=1680.97 T1=1670.79	OPT f=5 TT=1698.54 T1=1684.75	SAT (TO) f=7 TT=2520.06 T1=87.39	SAT (TO) f=7 TT=2520.02 T1=88.35	SAT (TO) f=6 TT=2520.07 T1=185.93	SAT (TO) f=7 TT=2520.06 T1=2519.9	SAT (TO) f=6 TT=2520.02 T1=2520	SAT (TO) f=6 TT=2519.8 T1=0.68	SAT (TO) f=6 TT=2520.1 T1=9.54	OPT f=5 TT=156.126 T1=143.13	SAT (TO) f=6 TT=2520.1 T1=1.7	OPT f=5 TT=204.548 T1=24.25	OPT f=5 TT=224.112 T1=203.04	OPT f=5 TT=346.298 T1=13.82	OPT f=5 TT=584.429 T1=24.75	OPT f=5 TT=810.547 T1=56.1	SAT (TO) f=6 TT=2400.05 T1=192.49	? (TO) TT=2400.09	? (TO) TT=2400.07	SAT (TO) f=6 TT=2400.05 T1=0.62	SAT (TO) f=6 TT=2400.18 T1=5.4	OPT f=5 TT=157.658 T1=142.71	SAT (TO) f=6 TT=2400.13 T1=1.72	OPT f=5 TT=1115.07 T1=701.89	OPT f=5 TT=1342.07 T1=840.84
PseudoBoolean/ PseudoBoolean-opt-marketSplit/ Pb-msplit-7-60-4.xml		? (TO) TT=2520.09	? (TO) TT=20072	? (TO) TT=20083.1	? (TO) TT=2520.08	? (TO) TT=2520.05	? (TO) TT=2520.07	? (TO) TT=2520.02	? (TO) TT=2520.59	? (TO) TT=2520.05	? (TO) TT=2520.06	? (TO) TT=2519.97	? (TO) TT=2514.3	? TT=2519.26	? (TO) TT=2520.1	? (TO) TT=19846.199	? (TO) TT=19847.5	? (TO) TT=2400.04	? (TO) TT=2400.61	? (TO) TT=2400.45	? (TO) TT=2401.17	? (TO) TT=2400.05	? (TO) TT=2400.09	? (TO) TT=2400.03	? (TO) TT=2400.03	? (TO) TT=2400.08	? (TO) TT=2400.11	? (TO) TT=2400.18	? (TO) TT=2520.06
PseudoBoolean/ PseudoBoolean-opt-mps/ Pb-mps-v2-20-10-l152lav.xml		? (TO) TT=2520.09	? (TO) TT=20058.301	? (TO) TT=20034.4	? (TO) TT=2520.1	? (TO) TT=2520.08	? (TO) TT=2520.1	? (TO) TT=2520.08	? (TO) TT=2520.87	? (TO) TT=2519.81	? (TO) TT=2519.71	? (TO) TT=2520.06	? TT=2519.67	? TT=2518.22	? (TO) TT=2520.06	? (TO) TT=19795.6	? (TO) TT=19780.1	? (TO) TT=2400.2	? (TO) TT=2400.57	? (TO) TT=2400.11	? (TO) TT=2401.56	? (TO) TT=2400.08	? (TO) TT=2400	? (TO) TT=2400.07	? (TO) TT=2400.05	? (TO) TT=2400.11	? (TO) TT=2400.05	? (TO) TT=2415.94	? (TO) TT=2528.09
PseudoBoolean/ PseudoBoolean-opt-mps/ Pb-mps-v2-20-10-sentoy.xml	OPT f=-7772 TT=47.227 T1=0.46	OPT f=-7772 TT=702.651 T1=636.65	OPT f=-7772 TT=251.558 T1=9.74	OPT f=-7772 TT=68.157 T1=2.06	OPT f=-7772 TT=723.493 T1=691.52	OPT f=-7772 TT=714.409 T1=682.84	SAT (TO) f=-7723 TT=2520.09 T1=2004.49	SAT (TO) f=-7723 TT=2520.05 T1=1876.83	OPT f=-7772 TT=1864.32 T1=4.75	OPT f=-7772 TT=653.273 T1=653.29	OPT f=-7772 TT=422.681 T1=422.7	OPT f=-7772 TT=47.227 T1=0.51	? TT=1.255	? TT=1.278	? TT=1.3	? TT=1.288	? TT=1.281	OPT f=-7772 TT=705.988 T1=639.27	OPT f=-7772 TT=81.011 T1=8.51	OPT f=-7772 TT=112.253 T1=8.07	OPT f=-7772 TT=1961.83 T1=4.68	OPT f=-7772 TT=672.142 T1=477.07	OPT f=-7772 TT=433.454 T1=377.84	OPT f=-7772 TT=47.377 T1=0.46	? TT=1.38	? TT=1.401	? TT=1.494	? (TO) TT=2400.28	? (TO) TT=2520.31
PseudoBoolean/ PseudoBoolean-opt-radar/ Pb-radar-10-10-45-095-100.xml	SAT TO f=0 TT=2400.07 T1=15.53	SAT (TO) f=3 TT=2520.1 T1=1153.05	SAT (TO) f=6 TT=19953.1 T1=585.11	SAT (TO) f=6 TT=19912.301 T1=603.91	SAT (TO) f=11 TT=2520.07 T1=8.88	SAT (TO) f=11 TT=2520.12 T1=9.17	SAT (TO) f=15 TT=2520.08 T1=1765.94	SAT (TO) f=23 TT=2520.16 T1=726.57	SAT (TO) f=2 TT=2520.06 T1=1191.18	SAT (TO) f=8 TT=2520.07 T1=2520	SAT (TO) f=7 TT=2519.89 T1=2520	SAT (TO) f=0 TT=2520.08 T1=15.53	SAT (TO) f=0 TT=2520.06 T1=848.36	SAT (TO) f=69 TT=2520.12 T1=2295.33	SAT (TO) f=2 TT=2520.07 T1=360.91	SAT (TO) f=60 TT=19901.6 T1=307.52	SAT (TO) f=60 TT=19886.801 T1=2117.08	SAT (TO) f=3 TT=2400.02 T1=1156.14	SAT (TO) f=0 TT=2400.56 T1=12.5	SAT (TO) f=6 TT=2400.72 T1=296.33	SAT (TO) f=2 TT=2400.11 T1=1276.8	SAT (TO) f=9 TT=2400.08 T1=648.22	SAT (TO) f=7 TT=2400.02 T1=10.08	SAT (TO) f=0 TT=2400.07 T1=15.59	SAT (TO) f=0 TT=2400.08 T1=122.45	SAT (TO) f=69 TT=2400.05 T1=2293.86	SAT (TO) f=3 TT=2400.1 T1=816.05	SAT (TO) f=8 TT=2400.43 T1=0.98	SAT (TO) f=8 TT=2520.37 T1=0.94
PseudoBoolean/ PseudoBoolean-opt-routing/ Pb-routing-s3-3-3-1.xml	OPT f=36 TT=0.285 T1=0.2	OPT f=36 TT=2.582 T1=0.91	OPT f=36 TT=6.051 T1=1.13	OPT f=36 TT=12.778 T1=1.61	OPT f=36 TT=2.11 T1=0.78	OPT f=36 TT=2.046 T1=0.89	OPT f=36 TT=4.597 T1=1.15	OPT f=36 TT=4.591 T1=1.16	OPT f=36 TT=15.359 T1=5.46	OPT f=36 TT=0.352 T1=0.44	OPT f=36 TT=0.563 T1=0.56	OPT f=36 TT=0.285 T1=0.21	SAT (TO) f=36 TT=2520.04 T1=1.37	OPT f=36 TT=3.571 T1=1.51	OPT f=36 TT=3.427 T1=1.32	OPT f=36 TT=9.814 T1=2.35	OPT f=36 TT=10.118 T1=8.13	OPT f=36 TT=2.903 T1=0.92	OPT f=36 TT=8.164 T1=1.31	OPT f=36 TT=8.303 T1=1.24	OPT f=36 TT=18.914 T1=5.82	OPT f=36 TT=0.398 T1=0.18	OPT f=36 TT=0.673 T1=0.5	OPT f=36 TT=0.343 T1=0.2	SAT (TO) f=36 TT=2400.07 T1=1.31	OPT f=36 TT=3.75 T1=1.29	OPT f=36 TT=3.835 T1=1.34	OPT f=36 TT=3.688 T1=1.23	OPT f=36 TT=2.993 T1=1.3
PseudoBoolean/ PseudoBoolean-opt-vtxcov/ Pb-vtxcov-v2000-e4000-05.xml	SAT TO f=1128 TT=2400.05 T1=2300.75	SAT (TO) f=1183 TT=2520.06 T1=11.58	SAT (TO) f=1186 TT=19588.699 T1=1349.22	SAT (TO) f=1163 TT=19625.9 T1=17.8	SAT (TO) f=1206 TT=2520.32 T1=1539.81	SAT (TO) f=1206 TT=2520.1 T1=1558.12	SAT (TO) f=1238 TT=2520.05 T1=1.04	SAT (TO) f=1238 TT=2520.1 T1=1.06	SAT (TO) f=1222 TT=2520.13 T1=430.61	SAT (TO) f=1180 TT=2519.99 T1=2520	SAT (TO) f=1179 TT=2520.05 T1=2520	SAT (TO) f=1128 TT=2520.06 T1=2306.94	SAT (TO) f=1161 TT=2520.06 T1=2226.82	SAT (TO) f=1803 TT=2520.08 T1=2437.92	SAT (TO) f=1161 TT=2520.05 T1=1145.53	SAT (TO) f=1802 TT=19876 T1=2296.32	SAT (TO) f=1801 TT=19883 T1=18656.59	SAT (TO) f=1183 TT=2400.07 T1=12.21	SAT (TO) f=1163 TT=2400.48 T1=37.71	SAT (TO) f=1179 TT=2400.51 T1=66.16	SAT (TO) f=1222 TT=2400.09 T1=429.92	No Cert. TT=2400.01	No Cert. TT=2400.05	SAT (TO) f=1128 TT=2400.05 T1=2300.75	SAT (TO) f=1146 TT=2400.11 T1=2048.15	SAT (TO) f=1804 TT=2400.08 T1=2356.93	SAT (TO) f=1151 TT=2400.11 T1=1763.27	SAT (TO) f=1199 TT=2400.35 T1=1021.17	SAT (TO) f=1199 TT=2520.4 T1=1011.99
QuadraticAssignment/ QuadraticAssignment-m1-s1/ QuadraticAssignment-bur26g.xml	SAT TO f=3138098 TT=2400.12 T1=2059.83	SAT (TO) f=3953296 TT=2520.08 T1=1144.28	SAT (TO) f=3495198 TT=20082.9 T1=1809.76	SAT (TO) f=3487775 TT=20070 T1=412.16	SAT (TO) f=3360873 TT=2520.12 T1=2239.96	SAT (TO) f=3360873 TT=2520.08 T1=2346.71	SAT (TO) f=3524895 TT=2520.09 T1=55.93	SAT (TO) f=3524895 TT=2520.06 T1=56.86	SAT (TO) f=3138098 TT=2520.09 T1=2157.84	SAT (TO) f=4370447 TT=2519.95 T1=2520	SAT (TO) f=3837939 TT=2519.92 T1=2520	SAT (TO) f=3181880 TT=2519.65 T1=130.76	SAT (TO) f=3164558 TT=2520.06 T1=2404.5	SAT (TO) f=4874919 TT=2520.07 T1=2042.39	SAT (TO) f=3213558 TT=2520.06 T1=1738.6	SAT (TO) f=4812960 TT=19838.199 T1=756.14	SAT (TO) f=4812960 TT=19843.4 T1=9737.81	SAT (TO) f=3953296 TT=2400.03 T1=1166.49	SAT (TO) f=3622943 TT=2400.61 T1=30.98	SAT (TO) f=3742287 TT=2400.2 T1=208.33	SAT (TO) f=3138098 TT=2400.12 T1=2059.83	No Cert. TT=2400.01	No Cert. TT=2400.07	SAT (TO) f=3181880 TT=2400.08 T1=130.64	SAT (TO) f=3187644 TT=2400.1 T1=2236.82	SAT (TO) f=4874919 TT=2400.09 T1=2068.58	SAT (TO) f=3196043 TT=2400.03 T1=1531.07	? (TO) TT=2400.2	? (TO) TT=2520.11
QuadraticAssignment/ QuadraticAssignment-m1-s1/ QuadraticAssignment-chr15c.xml	OPT f=4752 TT=4.621 T1=0.16	OPT f=4752 TT=4.621 T1=1.16	OPT f=4752 TT=40.705 T1=3.21	OPT f=4752 TT=43.709 T1=3.22	OPT f=4752 TT=52.257 T1=42.38	OPT f=4752 TT=51.767 T1=42.15	OPT f=4752 TT=250.995 T1=233.25	OPT f=4752 TT=249.248 T1=232.39	OPT f=4752 TT=111.912 T1=5.28	OPT f=4752 TT=46.478 T1=46.53	OPT f=4752 TT=66.595 T1=66.59	OPT f=4752 TT=55.943 T1=0.16	SAT (TO) f=4752 TT=2520.06 T1=53.15	OPT f=4752 TT=13.858 T1=6.9	OPT f=4752 TT=14.059 T1=7.03	OPT f=4752 TT=23.15 T1=3.85	OPT f=4752 TT=27.769 T1=22.48	OPT f=4752 TT=4.98 T1=1.04	OPT f=4752 TT=73.841 T1=5.16	OPT f=4752 TT=67.496 T1=3.79	OPT f=4752 TT=80.142 T1=5.19	OPT f=4752 TT=46.457 T1=23.27	OPT f=4752 TT=66.592 T1=63.66	OPT f=4752 TT=56.829 T1=0.16	SAT (TO) f=4752 TT=2400.1 T1=50.22	OPT f=4752 TT=13.903 T1=6.66	OPT f=4752 TT=13.765 T1=6.71	SAT (TO) f=6301 TT=2400.14 T1=1535.66	SAT (TO) f=6301 TT=2520.12 T1=1596.23
QuadraticAssignment/ QuadraticAssignment-m1-s1/ QuadraticAssignment-chr20b.xml	OPT f=1149 TT=3.407 T1=1.46	OPT f=1149 TT=3.407 T1=1.53	OPT f=1149 TT=15.986 T1=2.44	OPT f=1149 TT=9.624 T1=1.52	OPT f=1149 TT=5.594 T1=2.56	OPT f=1149 TT=5.181 T1=2.44	OPT f=1149 TT=8.373 T1=2.56	OPT f=1149 TT=7.724 T1=2.57	OPT f=1149 TT=50.483 T1=31.25	OPT f=1149 TT=26.171 T1=26.27	OPT f=1149 TT=26.316 T1=26.37	OPT f=1149 TT=13.967 T1=5.91	SAT (TO) f=1149 TT=2520.1 T1=26.8	OPT f=1149 TT=96.275 T1=92.52	OPT f=1149 TT=97.22 T1=93.5	OPT f=1149 TT=29.176 T1=5.37	OPT f=1149 TT=28.957 T1=26.68	OPT f=1149 TT=3.958 T1=1.46	OPT f=1149 TT=15.927 T1=2.39	OPT f=1149 TT=20.594 T1=2.99	OPT f=1149 TT=56.382 T1=33.43	OPT f=1149 TT=26.199 T1=16.56	OPT f=1149 TT=26.437 T1=25.35	OPT f=1149 TT=14.264 T1=5.93	SAT (TO) f=1149 TT=2400.08 T1=33.03	OPT f=1149 TT=99.549 T1=94.06	OPT f=1149 TT=100.077 T1=94.74	SAT (TO) f=1452 TT=2400.12 T1=2372.13	SAT (TO) f=1490 TT=2520.15 T1=2064.38
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
QuadraticAssignment/ QuadraticAssignment-m1-s1/ QuadraticAssignment-esc16d.xml	OPT f=8 TT=13.444 T1=0.01	OPT f=8 TT=13.471 T1=0.76	OPT f=8 TT=218.206 T1=0.85	OPT f=8 TT=83.273 T1=0.8	OPT f=8 TT=47.526 T1=0.96	OPT f=8 TT=47.627 T1=0.94	OPT f=8 TT=85.986 T1=2.02	OPT f=8 TT=86.161 T1=1.94	OPT f=8 TT=554.677 T1=9.03	OPT f=8 TT=131.501 T1=131.59	OPT f=8 TT=96.151 T1=96.2	OPT f=8 TT=158.207 T1=0.1	SAT (TO) f=8 TT=2520.08 T1=15.47	OPT f=8 TT=96.305 T1=74.18	OPT f=8 TT=2011.79 T1=2.01	OPT f=8 TT=115.684 T1=12.49	OPT f=8 TT=80.634 T1=64.97	OPT f=8 TT=13.444 T1=0.71	OPT f=8 TT=153.409 T1=1.05	OPT f=8 TT=146.309 T1=0.89	OPT f=8 TT=562.773 T1=9.26	OPT f=8 TT=131.232 T1=0.04	OPT f=8 TT=97.094 T1=0.01	OPT f=8 TT=157.453 T1=0.01	SAT (TO) f=8 TT=2400.08 T1=20.3	OPT f=8 TT=100.965 T1=76.34	OPT f=8 TT=1844.03 T1=17.62	OPT f=8 TT=160.401 T1=10.5	OPT f=8 TT=174.863 T1=12.08
QuadraticAssignment/ QuadraticAssignment-m1-s1/ QuadraticAssignment-esc32a.xml	SAT TO f=66 TT=2400.05 T1=15.02	SAT (TO) f=73 TT=2520.08 T1=749.94	SAT (TO) f=73 TT=20093.801 T1=726.91	SAT (TO) f=73 TT=20091.4 T1=732.54	SAT (TO) f=73 TT=2520.07 T1=657.04	SAT (TO) f=73 TT=2520.06 T1=655.53	SAT (TO) f=72 TT=2520.06 T1=1623.92	SAT (TO) f=72 TT=2520.09 T1=1620.07	SAT (TO) f=75 TT=2520.11 T1=2120.91	SAT (TO) f=93 TT=2520.02 T1=2519.9	SAT (TO) f=84 TT=2520.04 T1=2520	SAT (TO) f=66 TT=2519.7 T1=15.1	SAT (TO) f=67 TT=2520.05 T1=1003.45	SAT (TO) f=111 TT=2520.1 T1=1103.58	SAT (TO) f=66 TT=2520.06 T1=1055.01	SAT (TO) f=122 TT=19847.1 T1=2345.04	SAT (TO) f=113 TT=19852.301 T1=15199.51	SAT (TO) f=73 TT=2400.03 T1=758.56	SAT (TO) f=77 TT=2400.06 T1=9.34	Wrong Opt. f=171 TT=4.735 T1=1.25	SAT (TO) f=75 TT=2400.16 T1=2049.39	SAT (TO) f=93 TT=2400.04 T1=1923.1	SAT (TO) f=84 TT=2400.03 T1=0.75	SAT (TO) f=66 TT=2400.05 T1=15.02	SAT (TO) f=69 TT=2400.08 T1=2139.51	SAT (TO) f=111 TT=2400.09 T1=1120.51	SAT (TO) f=71 TT=2400.05 T1=1306.64	SAT (TO) f=180 TT=2400.19 T1=998.51	SAT (TO) f=180 TT=2520.25 T1=1009.94
QuadraticAssignment/ QuadraticAssignment-m1-s1/ QuadraticAssignment-esc32d.xml	SAT TO f=100 TT=2400.04 T1=527.97	SAT (TO) f=105 TT=2520.02 T1=1461.49	SAT (TO) f=101 TT=20079.199 T1=1507.22	SAT (TO) f=101 TT=20082 T1=1532.68	SAT (TO) f=103 TT=2520.1 T1=1645.6	SAT (TO) f=103 TT=2520.08 T1=1645.84	SAT (TO) f=102 TT=2520.05 T1=775.77	SAT (TO) f=102 TT=2520.06 T1=774.1	SAT (TO) f=108 TT=2520.16 T1=2103.31	SAT (TO) f=110 TT=2520.03 T1=2520	SAT (TO) f=110 TT=2520.01 T1=2519.8	SAT (TO) f=100 TT=2519.8 T1=1254.01	SAT (TO) f=102 TT=2520.03 T1=997.65	SAT (TO) f=133 TT=2520.07 T1=1851.55	SAT (TO) f=102 TT=2520.09 T1=1348.78	SAT (TO) f=123 TT=19899.6 T1=408.69	SAT (TO) f=124 TT=19892.5 T1=1169.31	SAT (TO) f=105 TT=2400.06 T1=1492.11	SAT (TO) f=103 TT=2400.35 T1=274.46	SAT (TO) f=104 TT=2400 T1=55.39	SAT (TO) f=112 TT=2400.1 T1=1591.01	SAT (TO) f=110 TT=2400.04 T1=23.04	SAT (TO) f=110 TT=2400.07 T1=8.8	SAT (TO) f=100 TT=2400.04 T1=1281.94	SAT (TO) f=104 TT=2400.05 T1=2087.39	SAT (TO) f=133 TT=2400.08 T1=1857.26	SAT (TO) f=100 TT=2400.05 T1=527.97	SAT (TO) f=151 TT=2400.35 T1=55.72	SAT (TO) f=151 TT=2520.25 T1=58.91
QuadraticAssignment/ QuadraticAssignment-m1-s1/ QuadraticAssignment-lipa20b.xml	SAT TO f=13638 TT=19961.5 T1=1.05	SAT (TO) f=16246 TT=2520.02 T1=494.26	SAT (TO) f=13638 TT=19970.5 T1=1.13	SAT (TO) f=13638 TT=19961.5 T1=1.05	SAT (TO) f=16051 TT=2520.14 T1=586.45	SAT (TO) f=16051 TT=2520.08 T1=598.91	SAT (TO) f=16208 TT=2520.06 T1=2410.9	SAT (TO) f=16208 TT=2520.11 T1=2442.36	SAT (TO) f=15686 TT=2520.08 T1=655.95	SAT (TO) f=16264 TT=2519.99 T1=2520	SAT (TO) f=16492 TT=2519.83 T1=2520	SAT (TO) f=15586 TT=2519.86 T1=118.81	SAT (TO) f=15673 TT=2520.13 T1=302.12	SAT (TO) f=16815 TT=2520.13 T1=1536.59	SAT (TO) f=15804 TT=2520.05 T1=518.3	SAT (TO) f=16582 TT=19924.6 T1=2113.43	SAT (TO) f=16647 TT=19880 T1=6439.9	SAT (TO) f=16246 TT=2400.09 T1=511.3	SAT (TO) f=13638 TT=2400.05 T1=1.35	SAT (TO) f=13638 TT=2400.08 T1=1.11	SAT (TO) f=15686 TT=2400.09 T1=807.11	No Cert. TT=2400.06	No Cert. TT=2400.03	SAT (TO) f=15586 TT=2400.04 T1=119.18	SAT (TO) f=15661 TT=2400.07 T1=2280.01	SAT (TO) f=16815 TT=2400.12 T1=1550.03	SAT (TO) f=15307 TT=2400.03 T1=887.05	SAT (TO) f=17495 TT=2400.23 T1=59.12	SAT (TO) f=17495 TT=2520.39 T1=59.09
QuadraticAssignment/ QuadraticAssignment-m1-s1/ QuadraticAssignment-nug20.xml	SAT TO f=1287 TT=2400.07 T1=1440.66	SAT (TO) f=1436 TT=2520.05 T1=1594.03	SAT (TO) f=1417 TT=20039.301 T1=64.56	SAT (TO) f=1320 TT=19982.6 T1=1418.42	SAT (TO) f=1393 TT=2520.06 T1=195.36	SAT (TO) f=1393 TT=2520.07 T1=195.95	SAT (TO) f=1417 TT=2520.06 T1=2236.28	SAT (TO) f=1417 TT=2520.08 T1=2308.96	SAT (TO) f=1307 TT=2520.08 T1=1152.43	SAT (TO) f=1438 TT=2520.1 T1=2520	SAT (TO) f=1463 TT=2519.84 T1=2520	SAT (TO) f=1287 TT=2520.01 T1=1504.99	SAT (TO) f=1309 TT=2520.1 T1=516.5	SAT (TO) f=1465 TT=2520.09 T1=2404.53	SAT (TO) f=1323 TT=2520.12 T1=1059.72	SAT (TO) f=1508 TT=19888 T1=865.54	SAT (TO) f=1480 TT=19897.5 T1=13306.04	SAT (TO) f=1436 TT=2400.04 T1=1636.27	SAT (TO) f=1441 TT=2400.2 T1=97.51	SAT (TO) f=1440 TT=2400.37 T1=77.26	SAT (TO) f=1307 TT=2400.09 T1=1163.23	No Cert. TT=2400.03	No Cert. TT=2400.07	SAT (TO) f=1287 TT=2400.07 T1=1440.66	SAT (TO) f=1307 TT=2400.06 T1=904.83	SAT (TO) f=1465 TT=2400.09 T1=2334.15	SAT (TO) f=1309 TT=2400.1 T1=1339.37	SAT (TO) f=1591 TT=2400.25 T1=1229.28	SAT (TO) f=1591 TT=2520.18 T1=1282.88
QuadraticAssignment/ QuadraticAssignment-m1-s1/ QuadraticAssignment-nug21.xml	SAT TO f=1228 TT=2520.05 T1=1360.6	SAT (TO) f=1413 TT=2520.06 T1=2136.53	SAT (TO) f=1352 TT=20021.9 T1=172.01	SAT (TO) f=1352 TT=19989.301 T1=1861.53	SAT (TO) f=1336 TT=2520.09 T1=828.47	SAT (TO) f=1336 TT=2520.11 T1=816.67	SAT (TO) f=1379 TT=2520.21 T1=1438.24	SAT (TO) f=1379 TT=2520.03 T1=1374.72	SAT (TO) f=1276 TT=2520.09 T1=688.19	SAT (TO) f=1448 TT=2520.1 T1=2519.9	SAT (TO) f=1463 TT=2520.09 T1=2519.9	SAT (TO) f=1233 TT=2519.93 T1=126.98	SAT (TO) f=1228 TT=2520.05 T1=1360.6	SAT (TO) f=1379 TT=2520.09 T1=1219.68	SAT (TO) f=1245 TT=2520.02 T1=833.8	SAT (TO) f=1368 TT=19877.6 T1=1246.73	SAT (TO) f=1375 TT=19888.4 T1=14254.38	SAT (TO) f=1413 TT=2400.1 T1=2182.06	Wrong Opt. f=1617 TT=7.743 T1=1.65	SAT (TO) f=1384 TT=2400.45 T1=205.75	SAT (TO) f=1276 TT=2400.16 T1=727.26	No Cert. TT=2400.02	No Cert. TT=2400.08	SAT (TO) f=1233 TT=2400.09 T1=122	SAT (TO) f=1248 TT=2400.12 T1=2293.62	SAT (TO) f=1379 TT=2400.1 T1=1269.01	SAT (TO) f=1242 TT=2400.06 T1=1302.06	SAT (TO) f=1651 TT=2400.17 T1=2320.5	SAT (TO) f=1651 TT=2520.22 T1=2242.17
QuadraticAssignment/ QuadraticAssignment-m1-s1/ QuadraticAssignment-nug30.xml	SAT TO f=3153 TT=2520.1 T1=2105.37	SAT (TO) f=3673 TT=2520.04 T1=497.96	SAT (TO) f=3430 TT=20004.699 T1=1532.6	SAT (TO) f=3494 TT=20011 T1=1098.43	SAT (TO) f=3375 TT=2520.03 T1=1083.65	SAT (TO) f=3375 TT=2520.07 T1=1076.81	SAT (TO) f=3394 TT=2520.02 T1=2059.17	SAT (TO) f=3394 TT=2520.12 T1=2124.97	SAT (TO) f=3240 TT=2520.16 T1=414.99	SAT (TO) f=3716 TT=2519.84 T1=2520	SAT (TO) f=3684 TT=2520.05 T1=2519.8	SAT (TO) f=3159 TT=2520.08 T1=2505.83	SAT (TO) f=3153 TT=2520.1 T1=2105.37	? (TO) TT=2520.02	? (TO) TT=2520.07	SAT (TO) f=3616 TT=20039.801 T1=607.15	SAT (TO) f=3529 TT=20026.699 T1=2277.09	SAT (TO) f=3673 TT=2400.12 T1=492.34	SAT (TO) f=3529 TT=2400.03 T1=248.54	SAT (TO) f=3413 TT=2400.31 T1=57.58	SAT (TO) f=3240 TT=2400.07 T1=460.21	No Cert. TT=2400.08	No Cert. TT=2400.09	SAT (TO) f=3166 TT=2400.07 T1=842.98	SAT (TO) f=3173 TT=2400.09 T1=2005.23	? (TO) TT=2400.04	? (TO) TT=2400.09	? (TO) TT=2400.13	? (TO) TT=2520.1
QuadraticAssignment/ QuadraticAssignment-m1-s1/ QuadraticAssignment-sko100a.xml	SAT TO f=79853 TT=2519.98 T1=2478.76	SAT (TO) f=87599 TT=2520.09 T1=217.77	SAT (TO) f=87627 TT=17196.801 T1=1090.05	SAT (TO) f=87368 TT=17919.6 T1=2117.19	? (TO) TT=2520.12	? (TO) TT=2520.11	? (TO) TT=2520.13	? (TO) TT=2520.09	? TT=2018.98	SAT (TO) f=87786 TT=2519.65 T1=2520	SAT (TO) f=87690 TT=2519.98 T1=2520.01	SAT (TO) f=79853 TT=2519.98 T1=2478.76	? (TO) TT=2520.06	? (TO) TT=2520.06	? (TO) TT=2520.15	? TT=8173.47	? TT=3152.91	SAT (TO) f=87599 TT=2400.04 T1=226.22	? TT=836.505	? TT=827.945	? (TO) TT=2415.83	No Cert. TT=2400.1	No Cert. TT=2400.06	SAT (TO) f=79942 TT=2400.27 T1=2344.89	? (TO) TT=2400.05	? (TO) TT=2400.15	? (TO) TT=2400.04	? TT=1769.25	? TT=1513.6
QuadraticAssignment/ QuadraticAssignment-m1-s1/ QuadraticAssignment-sko81.xml	SAT TO f=47363 TT=2520.02 T1=2495.16	SAT (TO) f=52690 TT=2520.08 T1=111.06	SAT (TO) f=50469 TT=19355.6 T1=2171.23	SAT (TO) f=50469 TT=19004.6 T1=2162.67	SAT (TO) f=50469 TT=2520.08 T1=1580.31	SAT (TO) f=50469 TT=2520.03 T1=1610.16	SAT (TO) f=50537 TT=2520.12 T1=1351.44	SAT (TO) f=50537 TT=2520.08 T1=1351.05	? TT=1741.11	SAT (TO) f=53487 TT=2519.69 T1=2520	SAT (TO) f=52699 TT=2519.61 T1=2520.01	SAT (TO) f=47363 TT=2520.02 T1=2495.16	? (TO) TT=2520.09	? (TO) TT=2520.45	? (TO) TT=2520.09	? (TO) TT=19254	? (TO) TT=19976.199	SAT (TO) f=52690 TT=2400.1 T1=110.85	SAT (TO) f=52530 TT=2400.75 T1=405.34	SAT (TO) f=52941 TT=2400.44 T1=191.51	? (TO) TT=2416.68	No Cert. TT=2400.02	No Cert. TT=2400.09	SAT (TO) f=47389 TT=2400.09 T1=2379.03	? (TO) TT=2400.13	? (TO) TT=2400.06	? (TO) TT=2400.07	? (TO) TT=2416.09	? TT=1723.12
QuadraticAssignment/ QuadraticAssignment-m1-s1/ QuadraticAssignment-ste36c.xml	SAT TO f=4280744 TT=2400.02 T1=1324.45	SAT (TO) f=6903757 TT=2520.1 T1=1.47	SAT (TO) f=6216781 TT=20048.5 T1=659.71	SAT (TO) f=5643696 TT=20031.801 T1=2002.45	SAT (TO) f=5564611 TT=2520.02 T1=2061.09	SAT (TO) f=5564611 TT=2520.1 T1=2041.05	SAT (TO) f=5838074 TT=2520.12 T1=959.87	SAT (TO) f=5838074 TT=2520.07 T1=940.34	SAT (TO) f=4425460 TT=2520.08 T1=1259.25	SAT (TO) f=7670520 TT=2520.1 T1=2519.9	SAT (TO) f=7590561 TT=2520.01 T1=2520	SAT (TO) f=4280744 TT=2519.76 T1=1324.45	SAT (TO) f=5253772 TT=2520.11 T1=2211.17	SAT (TO) f=6908913 TT=2520.11 T1=1365.31	SAT (TO) f=5141384 TT=2520.05 T1=1748.16	SAT (TO) f=6908913 TT=19892.5 T1=778.39	SAT (TO) f=6908913 TT=19907.301 T1=9376.61	SAT (TO) f=6903757 TT=2400.04 T1=1.41	SAT (TO) f=6072570 TT=2400.29 T1=428.56	SAT (TO) f=6424812 TT=2400.4 T1=417.48	SAT (TO) f=4425460 TT=2400.51 T1=1197.3	No Cert. TT=2400.1	No Cert. TT=2400.07	SAT (TO) f=4280744 TT=2400.02 T1=1343.01	SAT (TO) f=5241924 TT=2400.05 T1=2212.97	SAT (TO) f=6908913 TT=2400.08 T1=1339.68	SAT (TO) f=4815481 TT=2400.39 T1=1609.39	? TT=1515.59	? TT=661.463
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
QuadraticAssignment/ QuadraticAssignment-m1-s1/ QuadraticAssignment-tai10b.xml	OPT f=58937 TT=0.763 T1=0.08	OPT f=58937 TT=2.492 T1=1.22	OPT f=58937 TT=6.621 T1=0.85	OPT f=58937 TT=4.982 T1=0.9	OPT f=58937 TT=5.408 T1=2.17	OPT f=58937 TT=5.329 T1=2.12	OPT f=58937 TT=16.757 T1=8.47	OPT f=58937 TT=17.015 T1=8.52	OPT f=58937 TT=14.153 T1=5.14	OPT f=58937 TT=0.763 T1=0.85	Signal TT=0.928	OPT f=58937 TT=2.552 T1=0.16	SAT (TO) f=58937 TT=2520.04 T1=5.59	OPT f=58937 TT=5.845 T1=3.86	OPT f=58937 TT=5.948 T1=3.87	OPT f=58937 TT=13.59 T1=3.39	OPT f=58937 TT=13.128 T1=12.93	OPT f=58937 TT=3.206 T1=1.17	OPT f=58937 TT=7.64 T1=0.94	OPT f=58937 TT=8.57 T1=1.02	OPT f=58937 TT=17.922 T1=5.57	OPT f=58937 TT=0.823 T1=0.7	Signal TT=0.994	OPT f=58937 TT=2.6 T1=0.08	SAT (TO) f=58937 TT=2400.07 T1=7.71	OPT f=58937 TT=6.596 T1=3.84	OPT f=58937 TT=6.41 T1=4.07	OPT f=58937 TT=1698.05 T1=1657.92	OPT f=58937 TT=1765.85 T1=1729.84
QuadraticAssignment/ QuadraticAssignment-m1-s1/ QuadraticAssignment-tai12a.xml	OPT f=112208 TT=14116.1 T1=954.19	SAT (TO) f=115352 TT=2520.09 T1=2307.81	SAT (TO) f=112208 TT=20041 T1=991.58	SAT (TO) f=112208 TT=20012.5 T1=22.65	SAT (TO) f=112208 TT=2520.07 T1=1479.58	SAT (TO) f=112208 TT=2520.1 T1=1494.69	SAT (TO) f=119430 TT=2520.08 T1=2349.59	SAT (TO) f=119430 TT=2520.03 T1=2319.75	SAT (TO) f=114546 TT=2520.13 T1=570.27	SAT (TO) f=119956 TT=2519.83 T1=2520	SAT (TO) f=119429 TT=2519.83 T1=2520	SAT (TO) f=115352 TT=2519.79 T1=20.82	SAT (TO) f=116082 TT=2520.05 T1=879.51	SAT (TO) f=127108 TT=2520.04 T1=276.84	SAT (TO) f=112208 TT=2520.03 T1=143.63	OPT f=112208 TT=16276.6 T1=954.19	OPT f=112208 TT=14116.1 T1=6724.55	SAT (TO) f=115352 TT=2400.05 T1=2254.53	SAT (TO) f=115726 TT=2400.28 T1=31.96	SAT (TO) f=112208 TT=2400.03 T1=51.5	SAT (TO) f=114546 TT=2400.11 T1=570.46	? (TO) TT=2400.06	? (TO) TT=2400.04	SAT (TO) f=115352 TT=2400.04 T1=20.55	SAT (TO) f=115352 TT=2400.07 T1=144.91	SAT (TO) f=127108 TT=2400.03 T1=285.79	SAT (TO) f=115352 TT=2400.06 T1=286.55	SAT (TO) f=130124 TT=2400.2 T1=213.91	SAT (TO) f=130124 TT=2520.26 T1=244.2
QuadraticAssignment/ QuadraticAssignment-m1-s1/ QuadraticAssignment-tai15a.xml	SAT TO f=195391 TT=2400.01 T1=1193.05	SAT (TO) f=203793 TT=2520.02 T1=941.18	SAT (TO) f=198908 TT=19823.5 T1=837.92	SAT (TO) f=196492 TT=19493.9 T1=322.85	SAT (TO) f=199153 TT=2520.06 T1=283.36	SAT (TO) f=199153 TT=2520.1 T1=276.46	SAT (TO) f=204043 TT=2520.03 T1=995.25	SAT (TO) f=204043 TT=2520.05 T1=992.69	SAT (TO) f=198845 TT=2520.06 T1=63.66	SAT (TO) f=207907 TT=2520.01 T1=2520	SAT (TO) f=207076 TT=2520.03 T1=2520	SAT (TO) f=195391 TT=2520.07 T1=1246.25	SAT (TO) f=198839 TT=2520.13 T1=1825.42	SAT (TO) f=211898 TT=2520.09 T1=59.72	SAT (TO) f=198092 TT=2520.05 T1=1739.52	SAT (TO) f=203258 TT=19881.199 T1=1260.26	SAT (TO) f=203258 TT=19905 T1=5993.76	SAT (TO) f=203793 TT=2400.08 T1=968.96	SAT (TO) f=200006 TT=2400.79 T1=113.62	SAT (TO) f=205458 TT=2400.03 T1=386.72	SAT (TO) f=198845 TT=2400.13 T1=69.32	? (TO) TT=2400.1	? (TO) TT=2400.02	SAT (TO) f=195391 TT=2400.01 T1=1193.05	SAT (TO) f=197522 TT=2400.05 T1=695.21	SAT (TO) f=211898 TT=2400.06 T1=61.88	SAT (TO) f=201621 TT=2400.14 T1=215.56	SAT (TO) f=250281 TT=2400.31 T1=6.43	SAT (TO) f=250281 TT=2520.26 T1=6.64
QuadraticAssignment/ QuadraticAssignment-m1-s1/ QuadraticAssignment-tai80a.xml	SAT TO f=7129639 TT=2519.7 T1=2419.99	SAT (TO) f=7640304 TT=2520.1 T1=774.78	SAT (TO) f=7348514 TT=18963.5 T1=2144.82	SAT (TO) f=7348514 TT=18558.5 T1=1991.45	SAT (TO) f=7348514 TT=2520.06 T1=1801.88	SAT (TO) f=7348514 TT=2520.09 T1=1804.18	SAT (TO) f=7346382 TT=2520.06 T1=1862.95	SAT (TO) f=7346382 TT=2520.12 T1=1863.49	SAT f=7870242 TT=2029.28 T1=187.65	SAT (TO) f=7687952 TT=2519.76 T1=2520	SAT (TO) f=7706841 TT=2519.96 T1=2520.01	SAT (TO) f=7129639 TT=2519.7 T1=2419.99	SAT (TO) f=7445065 TT=2520.15 T1=2283.6	SAT (TO) f=7684328 TT=2520.14 T1=1000.38	SAT (TO) f=7499862 TT=2520.14 T1=1764.25	? TT=1677.22	SAT (TO) f=7608475 TT=18593.4 T1=2799.19	SAT (TO) f=7640304 TT=2400.08 T1=784.39	SAT (TO) f=7566572 TT=2400.42 T1=394.57	SAT (TO) f=7566572 TT=2400.67 T1=420.47	? (TO) TT=2416.3	No Cert. TT=2400.06	No Cert. TT=2400.1	SAT (TO) f=7136293 TT=2400.11 T1=2356.17	SAT (TO) f=7491603 TT=2400.08 T1=2256.96	SAT (TO) f=7684328 TT=2400.09 T1=990.79	SAT (TO) f=7458180 TT=2400.15 T1=1704.39	? TT=1161.88	? TT=499.662
QueenAttacking/ QueenAttacking-m1-s1/ QueenAttacking-03.xml	UNSAT TT=0.019	UNSAT TT=1.061	UNSAT TT=1.383	UNSAT TT=1.399	UNSAT TT=0.92	UNSAT TT=0.945	UNSAT TT=0.993	UNSAT TT=0.99	UNSAT TT=7.462	UNSAT TT=0.021	UNSAT TT=0.019	UNSAT TT=0.054	UNSAT TT=1.192	UNSAT TT=1.187	UNSAT TT=1.209	UNSAT TT=1.236	UNSAT TT=1.237	UNSAT TT=1.297	UNSAT TT=1.541	UNSAT TT=1.54	UNSAT TT=9.921	UNSAT TT=0.029	UNSAT TT=0.026	UNSAT TT=0.07	UNSAT TT=1.285	UNSAT TT=1.352	UNSAT TT=1.28	UNSAT TT=1.143	UNSAT TT=1.039
QueenAttacking/ QueenAttacking-m1-s1/ QueenAttacking-04.xml	UNSAT TT=0.288	UNSAT TT=1.779	UNSAT TT=7.064	UNSAT TT=7.546	UNSAT TT=3.778	UNSAT TT=3.791	UNSAT TT=8.104	UNSAT TT=7.969	UNSAT TT=10.369	UNSAT TT=0.288	UNSAT TT=0.326	UNSAT TT=64.091	UNSAT TT=3.149	UNSAT TT=2.951	UNSAT TT=2.92	UNSAT TT=10.293	UNSAT TT=9.877	UNSAT TT=2.194	UNSAT TT=9.696	UNSAT TT=8.654	UNSAT TT=12.096	UNSAT TT=0.318	UNSAT TT=0.379	UNSAT TT=65.45	UNSAT TT=3.899	UNSAT TT=3.125	UNSAT TT=3.074	UNSAT TT=3.699	UNSAT TT=3.056
QueenAttacking/ QueenAttacking-m1-s1/ QueenAttacking-06.xml	OPT f=0 TT=18.094 T1=3.14	OPT f=0 TT=19.772 T1=16.88	OPT f=0 TT=15.897 T1=2.61	OPT f=0 TT=19.954 T1=3.14	OPT f=0 TT=70.081 T1=64.91	OPT f=0 TT=73.631 T1=68.65	OPT f=0 TT=140.187 T1=126.38	OPT f=0 TT=142.052 T1=129.02	OPT f=0 TT=26.387 T1=16.23	OPT f=0 TT=18.094 T1=18.14	OPT f=0 TT=70.631 T1=70.71	OPT f=0 TT=2378.09 T1=2377.99	SAT (TO) f=0 TT=2520.05 T1=60.6	OPT f=0 TT=58.955 T1=56.18	OPT f=0 TT=58.95 T1=55.97	OPT f=0 TT=29.225 T1=9.01	OPT f=0 TT=23.788 T1=22.93	OPT f=0 TT=21.291 T1=18.2	OPT f=0 TT=21.189 T1=3.36	OPT f=0 TT=26.545 T1=4.05	OPT f=0 TT=30.393 T1=16.74	OPT f=0 TT=18.318 T1=18.32	OPT f=0 TT=70.306 T1=70.31	? (TO) TT=2400.03	SAT (TO) f=0 TT=2400.09 T1=21.21	OPT f=0 TT=59.742 T1=55.91	OPT f=0 TT=59.823 T1=55.87	OPT f=0 TT=512.237 T1=502.26	OPT f=0 TT=525.48 T1=520.59
QueenAttacking/ QueenAttacking-m1-s1/ QueenAttacking-07.xml	OPT f=0 TT=5.113 T1=1.97	OPT f=0 TT=561.896 T1=558.49	OPT f=0 TT=15.204 T1=3	OPT f=0 TT=16.005 T1=3.22	OPT f=0 TT=5.142 T1=1.83	OPT f=0 TT=5.113 T1=1.97	OPT f=0 TT=5.752 T1=2.25	OPT f=0 TT=5.811 T1=2.17	OPT f=0 TT=2091.21 T1=2059.87	SAT (TO) f=2 TT=2519.76 T1=2520	SAT (TO) f=2 TT=2520.01 T1=2519.9	SAT (TO) f=2 TT=2519.96 T1=316.12	? (TO) TT=2520.07	? (TO) TT=2520.03	? (TO) TT=2520.06	? (TO) TT=19883.1	? (TO) TT=19871	OPT f=0 TT=599.813 T1=595.31	OPT f=0 TT=21.762 T1=3.75	OPT f=0 TT=21.962 T1=3.86	OPT f=0 TT=2168.98 T1=2109.86	? (TO) TT=2400.11	? (TO) TT=2400.05	SAT (TO) f=2 TT=2400.1 T1=324.16	? (TO) TT=2400.09	? (TO) TT=2400.06	? (TO) TT=2400.08	SAT (TO) f=3 TT=2400.25 T1=1228.54	SAT (TO) f=3 TT=2520.25 T1=1249.69
QueenAttacking/ QueenAttacking-m1-s1/ QueenAttacking-08.xml	OPT f=0 TT=1196.9 T1=153.15	SAT (TO) f=3 TT=2520.1 T1=2217.32	OPT f=0 TT=3105.29 T1=392	OPT f=0 TT=1196.9 T1=153.15	SAT (TO) f=2 TT=2520.07 T1=274.39	SAT (TO) f=2 TT=2520.04 T1=269.92	SAT (TO) f=3 TT=2520.04 T1=241.56	SAT (TO) f=3 TT=2520.09 T1=234.02	SAT (TO) f=1 TT=2520.08 T1=2253.09	SAT (TO) f=3 TT=2520.1 T1=2519.9	SAT (TO) f=4 TT=2519.99 T1=2520	? (TO) TT=2519.78	? (TO) TT=2520.06	? (TO) TT=2520.07	? (TO) TT=2520.09	SAT (TO) f=1 TT=3826.69 T1=186.51	SAT (TO) f=1 TT=6935.51 T1=5030.79	SAT (TO) f=3 TT=2400.12 T1=2178.04	OPT f=0 TT=246.343 T1=33.39	OPT f=0 TT=503.721 T1=65.88	SAT (TO) f=2 TT=2400.06 T1=626.69	? (TO) TT=2400.01	? (TO) TT=2400.08	? (TO) TT=2400.02	? (TO) TT=2400.11	? (TO) TT=2400.08	? (TO) TT=2400.1	? (TO) TT=2400.51	? (TO) TT=2520.84
QueenAttacking/ QueenAttacking-m1-s1/ QueenAttacking-09.xml	SAT TO f=6 TT=19973.1 T1=283.34	SAT (TO) f=7 TT=2520.05 T1=1363.97	SAT (TO) f=6 TT=19985 T1=278.52	SAT (TO) f=6 TT=19973.1 T1=283.34	SAT (TO) f=7 TT=2520.12 T1=2462.44	SAT (TO) f=7 TT=2520.04 T1=2439.93	SAT (TO) f=7 TT=2520.07 T1=491.24	SAT (TO) f=7 TT=2520.09 T1=491.75	? (TO) TT=2520.62	? (TO) TT=2519.91	? (TO) TT=2520.04	? (TO) TT=2519.79	? (TO) TT=2520.11	? (TO) TT=2520.07	? (TO) TT=2520.1	? (TO) TT=19916.301	? (TO) TT=19892.9	SAT (TO) f=7 TT=2400.2 T1=1339.83	SAT (TO) f=5 TT=2400.03 T1=217.36	SAT (TO) f=7 TT=2400.39 T1=114.4	? (TO) TT=2401.36	? (TO) TT=2400.04	? (TO) TT=2400.08	? (TO) TT=2400.05	? (TO) TT=2400.06	? (TO) TT=2400.07	? (TO) TT=2400.11	? (TO) TT=2400.21	? (TO) TT=2520.22
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
QueenAttacking/ QueenAttacking-m1-s1/ QueenAttacking-10.xml	SAT TO f=9 TT=2520.05 T1=113.03	? (TO) TT=2520.09	SAT (TO) f=9 TT=19859.9 T1=130.44	SAT (TO) f=9 TT=19869.5 T1=127.54	SAT (TO) f=9 TT=2520.11 T1=120.57	SAT (TO) f=9 TT=2520.05 T1=113.03	? (TO) TT=2520.04	? (TO) TT=2520.05	? (TO) TT=2520.68	? (TO) TT=2519.6	? (TO) TT=2520.02	? (TO) TT=2520.1	? (TO) TT=2520.06	? (TO) TT=2520.08	? (TO) TT=2520.04	SAT (TO) f=9 TT=19926 T1=1481.63	SAT (TO) f=12 TT=19994.5 T1=8254.28	? (TO) TT=2400.11	SAT (TO) f=9 TT=2400.16 T1=224.38	SAT (TO) f=9 TT=2400.23 T1=233.39	? (TO) TT=2401.45	? (TO) TT=2400.01	? (TO) TT=2400.02	? (TO) TT=2400.05	? (TO) TT=2400.03	? (TO) TT=2400.11	? (TO) TT=2400.1	? (TO) TT=2400.35	? (TO) TT=2520.29
QueenAttacking/ QueenAttacking-m1-s1/ QueenAttacking-11.xml	SAT TO f=13 TT=20012.4 T1=97.82	? (TO) TT=2520.02	SAT (TO) f=13 TT=20002.1 T1=92.96	SAT (TO) f=13 TT=20012.4 T1=97.82	? (TO) TT=2520.09	? (TO) TT=2520.04	? (TO) TT=2520.04	? (TO) TT=2520.08	? (TO) TT=2520.82	? (TO) TT=2519.94	? (TO) TT=2520.05	? (TO) TT=2519.96	? (TO) TT=2520.06	? (TO) TT=2520.13	? (TO) TT=2520.13	? (TO) TT=19980.1	? (TO) TT=19951.801	? (TO) TT=2400.05	SAT (TO) f=13 TT=2400.77 T1=112.05	SAT (TO) f=13 TT=2400.23 T1=113.8	? (TO) TT=2401.63	? (TO) TT=2400.05	? (TO) TT=2400.06	? (TO) TT=2400.08	? (TO) TT=2400.08	? (TO) TT=2400.08	? (TO) TT=2400.07	? (TO) TT=2400.3	? (TO) TT=2520.24
QueenAttacking/ QueenAttacking-m1-s1/ QueenAttacking-12.xml	SAT TO f=17 TT=19964.4 T1=440.48	? (TO) TT=2520.07	SAT (TO) f=17 TT=19958.699 T1=391.08	SAT (TO) f=17 TT=19964.4 T1=440.48	? (TO) TT=2520.04	? (TO) TT=2520.04	? (TO) TT=2520.04	? (TO) TT=2520.07	SAT (TO) f=26 TT=2520.04 T1=2428.06	? (TO) TT=2520.03	? (TO) TT=2520.06	? (TO) TT=2520.07	? (TO) TT=2520.12	? (TO) TT=2520.05	? (TO) TT=2520.04	SAT (TO) f=28 TT=19997.5 T1=2022.42	SAT (TO) f=32 TT=19995.5 T1=7796.28	? (TO) TT=2400.11	? (TO) TT=2400.41	? (TO) TT=2400.62	SAT (TO) f=27 TT=2400.07 T1=1882.31	? (TO) TT=2400.06	? (TO) TT=2400.08	? (TO) TT=2400.04	? (TO) TT=2400.06	? (TO) TT=2400.11	? (TO) TT=2400.11	? (TO) TT=2400.26	? (TO) TT=2522.28
QueenAttacking/ QueenAttacking-m1-s1/ QueenAttacking-13.xml	SAT TO f=20 TT=19880.199 T1=1090.14	? (TO) TT=2520.11	SAT (TO) f=20 TT=19881.9 T1=1092.07	SAT (TO) f=20 TT=19880.199 T1=1090.14	? (TO) TT=2520.03	? (TO) TT=2520.03	? (TO) TT=2520.06	? (TO) TT=2520.03	? (TO) TT=2520.97	? (TO) TT=2519.7	? (TO) TT=2519.9	? (TO) TT=2519.79	? (TO) TT=2520.03	? (TO) TT=2520.13	? (TO) TT=2520.11	? (TO) TT=20031.6	? (TO) TT=20033.699	? (TO) TT=2400.08	SAT (TO) f=20 TT=2400.82 T1=300.98	SAT (TO) f=20 TT=2400.77 T1=306.37	? (TO) TT=2402.08	? (TO) TT=2400.04	? (TO) TT=2400.02