2017 XCSP3 competition: fast COP track (sequential and parallel solvers): results by benchmark

Results by benchmark for category optimization problem (COP)

This page displays the results of the different solvers for each benchmark for category optimization problem (COP)

REMINDER

Keep in mind that the 'Best result' columns only provide the best result given by one of the solvers. This 'Best result' may be wrong in case of an UNSATISFIABLE or OPTIMUM FOUND answer (because there's no efficient way to check these answers).

Description of a cell contents:

Cell example	Meaning
Answer	Solver result
f=...	value of the objective function for the model reported by the solver
TT=...	Total Time (TT): this is the CPU time (in seconds) used by the solver until termination. This time is only meaningful for complete solvers because incomplete solvers will always run until they time out

Remember that CPU time and wall clock time are two very different notions. The CPU time represents the time during which the instructions of the solver were executed by the processor. The wall clock time represents how much time ellapsed on the clock. For a same event, the CPU time may be either smaller or greater than the wall clock time depending on the number of threads of execution and the number of processors.

Meaning of some abbreviations:

Abbreviation	Meaning
f=...	Value of the objective function
TO	Time Out
MO	Mem. Out (out of memory)

Meaning of the different colors:

Color	Meaning
text	the solver cannot handle this instance
text	the solver gave no answer
text	the solver could give an answer (SAT)
text	the solver gave a definitive answer (OPTIMUM FOUND or UNSAT)
text	the solver performed better than the other ones on that instance (complete solvers point of view)
text	the solver performed better than the other ones on that instance (incomplete solvers point of view)
text	the solver was ended by a signal or other problem
text	the solver gave an incomplete answer
text	the solver gave a wrong answer

For better readability, you may choose to hide some solvers:
AbsCon-basic 2017-06-11 (complete)
choco-solver 4.0.5 par (2017-07-26) (complete)
choco-solver 4.0.5 par (2017-08-09) (complete)
choco-solver 4.0.5 par (2017-08-18) (complete)
choco-solver 4.0.5 seq (2017-07-26) (complete)
choco-solver 4.0.5 seq (2017-08-09) (complete)
choco-solver 4.0.5 seq (2017-08-18) (complete)
choco-solver 5a (2017-07-26) (complete)
choco-solver 5a (2017-08-18) (complete)
Concrete 3.4 (complete)
cosoco 1.1 (complete)
cosoco 1.12 (complete)
cosoco-sat 1.12 (complete)
Mistral-2.0 2017-07-28 (complete)
OscaR - ALNS 2017-07-26 (complete)
OscaR - Conflict Ordering 2017-07-26 (complete)
OscaR - Hybrid 2017-07-26 (complete)
OscaR - Parallel with EPS 2017-07-26 (complete)
OscaR - Parallel with EPS 2017-08-22 (complete)
sat4j-CSP 2017-07-05 (complete)

Bench name	Best results on this instance	AbsCon-basic 2017-06-11 (complete)	choco-solver 4.0.5 par (2017-07-26) (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-07-26) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.1 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	sat4j-CSP 2017-07-05 (complete)
BinPacking/ BinPacking-mdd-ft/ BinPacking-mdd-ft120-11.xml	SAT TO f=7 TT=249.924 T1=27.44	SAT (TO) f=5 TT=244.536 T1=111.38	SAT (TO) f=5 TT=1920.45 T1=91.43	SAT (TO) f=5 TT=1966.24 T1=179.3	SAT (TO) f=2 TT=1984.28 T1=204.58	? (TO) TT=245.56	? (TO) TT=246.619	? (TO) TT=246.585	? (TO) TT=248.38	? (TO) TT=249.219	? (TO) TT=260.809	? (TO) TT=251.891	? (TO) TT=240.003	? (TO) TT=240.01	? (TO) TT=251.921	SAT (TO) f=5 TT=249.692 T1=40.49	SAT (TO) f=6 TT=246.189 T1=16.14	SAT (TO) f=7 TT=249.924 T1=210.26	SAT (TO) f=7 TT=1921.15 T1=27.44	SAT (TO) f=7 TT=1882.69 T1=183.48	? (TO) TT=252.101
BinPacking/ BinPacking-mdd-ft/ BinPacking-mdd-ft120-13.xml	SAT TO f=7 TT=244.456 T1=34.42	SAT (TO) f=7 TT=244.456 T1=217.22	SAT (TO) f=7 TT=1920.74 T1=39.07	SAT (TO) f=7 TT=1989.46 T1=45.59	SAT (TO) f=7 TT=1982.97 T1=37.02	SAT (TO) f=0 TT=246.33 T1=236.71	SAT (TO) f=0 TT=246.246 T1=233.47	SAT (TO) f=0 TT=246.517 T1=235.7	SAT (TO) f=0 TT=249.9 T1=220.78	? (TO) TT=249.094	? (TO) TT=258.893	? (TO) TT=251.949	? (TO) TT=240.008	? (TO) TT=251.916	? (TO) TT=251.893	SAT (TO) f=7 TT=249.585 T1=46.57	SAT (TO) f=3 TT=245.669 T1=112.88	SAT (TO) f=5 TT=250.348 T1=51.65	SAT (TO) f=7 TT=1920.75 T1=34.42	SAT (TO) f=7 TT=1870.98 T1=125.98	? (TO) TT=252.139
BinPacking/ BinPacking-mdd-ft/ BinPacking-mdd-ft120-15.xml	SAT TO f=6 TT=249.138 T1=22.93	SAT (TO) f=5 TT=244.511 T1=103.87	SAT (TO) f=4 TT=1920.31 T1=213.09	SAT (TO) f=4 TT=1976.37 T1=112.98	SAT (TO) f=5 TT=1974.47 T1=243.31	SAT (TO) f=0 TT=245.482 T1=147.39	SAT (TO) f=0 TT=246.694 T1=129.46	SAT (TO) f=0 TT=246.625 T1=145.6	SAT (TO) f=0 TT=249.49 T1=144.73	SAT (TO) f=0 TT=249.284 T1=146.3	? (TO) TT=257.486	? (TO) TT=251.916	? (TO) TT=240.04	? (TO) TT=240.028	SAT (TO) f=6 TT=251.862 T1=34.91	SAT (TO) f=6 TT=249.138 T1=52.99	SAT (TO) f=4 TT=244.998 T1=10.96	SAT (TO) f=6 TT=249.39 T1=75.95	SAT (TO) f=6 TT=1921.43 T1=22.93	SAT (TO) f=6 TT=1900.59 T1=83.63	? (TO) TT=252.122
BinPacking/ BinPacking-mdd-ft/ BinPacking-mdd-ft249-19.xml		? (TO) TT=243.806	? (TO) TT=1920.74	? (TO) TT=1943.66	? (TO) TT=1940.47	? (TO) TT=245.15	? (TO) TT=245.24	? (TO) TT=245.164	? (TO) TT=245.42	? (TO) TT=245.567	? (TO) TT=255.23	? (TO) TT=251.972	? (TO) TT=251.942	? (TO) TT=240.012	? (TO) TT=251.86	? (TO) TT=242.63	? (TO) TT=242.682	? (TO) TT=242.617	? (TO) TT=255.07	? (TO) TT=255.842	? (TO) TT=259.926
BinPacking/ BinPacking-mdd-ft/ BinPacking-mdd-ft501-07.xml		? (TO) TT=244.859	? (TO) TT=1746.25	? (TO) TT=1772.2	? (TO) TT=1757.29	? (TO) TT=247.13	? (TO) TT=247.17	? (TO) TT=246.786	? (TO) TT=247.97	? (TO) TT=247.183	? (TO) TT=259.432	? (TO) TT=251.971	? (TO) TT=251.956	? (TO) TT=240.016	? (TO) TT=251.93	? (TO) TT=242.286	? (TO) TT=243.013	? (TO) TT=242.718	? (TO) TT=255.838	? (TO) TT=255.632	? (TO) TT=260.226
BinPacking/ BinPacking-mdd-sw100/ BinPacking-mdd-sw100-03.xml	SAT TO f=0 TT=240.01 T1=0.31	SAT (TO) f=0 TT=244.864 T1=5.47	? (TO) TT=1920.13	? (TO) TT=1963.27	? (TO) TT=1962.95	? (TO) TT=245.347	? (TO) TT=245.63	? (TO) TT=245.25	? (TO) TT=248.69	? (TO) TT=249.075	SAT (TO) f=0 TT=252.161 T1=28.66	SAT (TO) f=0 TT=251.944 T1=0.35	SAT (TO) f=0 TT=240.01 T1=0.31	? (TO) TT=240.023	? (TO) TT=251.815	? (TO) TT=243.295	? (TO) TT=242.523	? (TO) TT=242.568	? (TO) TT=256.585	? (TO) TT=256.465	? (TO) TT=259.96
BinPacking/ BinPacking-mdd-sw100/ BinPacking-mdd-sw100-43.xml	SAT TO f=0 TT=251.878 T1=0.4	? (TO) TT=245.592	? (TO) TT=1920.21	? (TO) TT=1966.05	? (TO) TT=1965.89	? (TO) TT=245.82	? (TO) TT=245.745	? (TO) TT=245.746	? (TO) TT=249.67	? (TO) TT=249.348	? (TO) TT=253.617	SAT (TO) f=0 TT=251.923 T1=0.37	SAT (TO) f=0 TT=251.878 T1=0.4	? (TO) TT=251.946	? (TO) TT=251.857	? (TO) TT=242.686	? (TO) TT=242.567	? (TO) TT=242.95	? (TO) TT=256.352	? (TO) TT=256.12	? (TO) TT=260.079
BinPacking/ BinPacking-mdd-sw100/ BinPacking-mdd-sw100-63.xml	SAT TO f=0 TT=245.266 T1=5.08	SAT (TO) f=0 TT=245.266 T1=5.08	? (TO) TT=1920.29	? (TO) TT=1967.81	? (TO) TT=1964.9	? (TO) TT=245.02	? (TO) TT=245.284	? (TO) TT=245.435	? (TO) TT=247.74	? (TO) TT=249.315	? (TO) TT=265.659	? (TO) TT=251.969	? (TO) TT=251.921	? (TO) TT=240.011	? (TO) TT=251.903	? (TO) TT=242.466	? (TO) TT=242.536	? (TO) TT=242.519	? (TO) TT=256.371	? (TO) TT=256.509	? (TO) TT=260.028
BinPacking/ BinPacking-mdd-sw100/ BinPacking-mdd-sw100-70.xml	SAT TO f=0 TT=245.106 T1=5.57	SAT (TO) f=0 TT=245.106 T1=5.57	? (TO) TT=1920.16	? (TO) TT=1956.47	? (TO) TT=1959.67	? (TO) TT=245.715	? (TO) TT=246.239	? (TO) TT=245.985	? (TO) TT=249.58	? (TO) TT=250.134	? (TO) TT=266.582	? (TO) TT=251.935	? (TO) TT=251.91	? (TO) TT=240.001	? (TO) TT=251.89	? (TO) TT=242.902	? (TO) TT=242.876	? (TO) TT=242.7	? (TO) TT=255.859	? (TO) TT=256.565	? (TO) TT=259.83
BinPacking/ BinPacking-mdd-sw100/ BinPacking-mdd-sw100-75.xml	SAT TO f=0 TT=244.743 T1=4.98	SAT (TO) f=0 TT=244.743 T1=4.98	? (TO) TT=1920.63	? (TO) TT=1962.08	? (TO) TT=1962.47	? (TO) TT=245.73	? (TO) TT=245.925	? (TO) TT=245.711	? (TO) TT=249.2	? (TO) TT=248.766	? (TO) TT=264.334	? (TO) TT=251.955	? (TO) TT=240.042	? (TO) TT=240.025	? (TO) TT=251.916	? (TO) TT=243.05	? (TO) TT=242.453	? (TO) TT=242.739	? (TO) TT=256.804	? (TO) TT=256.347	? (TO) TT=260.149
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	choco-solver 4.0.5 par (2017-07-26) (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-07-26) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.1 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	sat4j-CSP 2017-07-05 (complete)
BinPacking/ BinPacking-mdd-sw100/ BinPacking-mdd-sw100-92.xml	SAT TO f=0 TT=240.036 T1=0.31	SAT (TO) f=0 TT=245.652 T1=5.49	SAT (TO) f=0 TT=1920.71 T1=77.33	? (TO) TT=1967.03	SAT (TO) f=0 TT=1960.65 T1=76.67	? (TO) TT=245.3	? (TO) TT=245.66	? (TO) TT=245.523	? (TO) TT=247.74	? (TO) TT=248.125	? (TO) TT=265.462	SAT (TO) f=0 TT=251.928 T1=0.4	SAT (TO) f=0 TT=240.036 T1=0.31	? (TO) TT=240.03	? (TO) TT=251.904	? (TO) TT=242.612	? (TO) TT=242.851	? (TO) TT=242.742	? (TO) TT=256.519	? (TO) TT=256.451	? (TO) TT=260.315
BinPacking/ BinPacking-mdd-sw120/ BinPacking-mdd-sw120-20.xml	SAT TO f=0 TT=246.761 T1=199.1	SAT (TO) f=0 TT=246.761 T1=199.1	? (TO) TT=1920.11	? (TO) TT=1943.57	? (TO) TT=1940.88	? (TO) TT=246.25	? (TO) TT=246.401	? (TO) TT=246.29	? (TO) TT=249.64	? (TO) TT=249.036	? (TO) TT=256.13	? (TO) TT=251.935	? (TO) TT=251.941	? (TO) TT=251.873	? (TO) TT=251.89	? (TO) TT=245.866	? (TO) TT=246.07	? (TO) TT=242.915	? (TO) TT=261.839	? (TO) TT=262.275	? (TO) TT=259.289
BinPacking/ BinPacking-mdd-sw120/ BinPacking-mdd-sw120-30.xml	SAT TO f=0 TT=240.031 T1=0.84	SAT (TO) f=0 TT=245.356 T1=12.07	SAT (TO) f=0 TT=1920.6 T1=240.93	? (TO) TT=1947.91	SAT (TO) f=0 TT=1952.92 T1=240.95	SAT (TO) f=0 TT=246.07 T1=109.33	SAT (TO) f=0 TT=246.588 T1=107.49	SAT (TO) f=0 TT=246.239 T1=105.13	SAT (TO) f=0 TT=249.03 T1=113.39	SAT (TO) f=0 TT=249.235 T1=110.93	? (TO) TT=267.078	SAT (TO) f=0 TT=251.925 T1=0.93	SAT (TO) f=0 TT=240.042 T1=0.84	SAT (TO) f=0 TT=240.031 T1=1.65	? (TO) TT=251.905	? (TO) TT=242.553	? (TO) TT=242.632	? (TO) TT=242.65	? (TO) TT=256.586	? (TO) TT=256.326	? (TO) TT=260.1
BinPacking/ BinPacking-mdd-sw120/ BinPacking-mdd-sw120-63.xml	SAT TO f=0 TT=246.065 T1=0.53	SAT (TO) f=0 TT=246.065 T1=9.78	? (TO) TT=1920.08	? (TO) TT=1954.78	? (TO) TT=1954.64	? (TO) TT=246.37	? (TO) TT=245.944	? (TO) TT=246.406	? (TO) TT=249.92	? (TO) TT=250.31	? (TO) TT=264.581	SAT (TO) f=0 TT=251.903 T1=0.56	SAT (TO) f=0 TT=251.949 T1=0.53	? (TO) TT=240.014	? (TO) TT=251.896	? (TO) TT=242.625	? (TO) TT=242.802	? (TO) TT=242.774	? (TO) TT=256.377	? (TO) TT=256.225	? (TO) TT=260.298
BinPacking/ BinPacking-mdd-sw120/ BinPacking-mdd-sw120-83.xml	SAT TO f=0 TT=245.548 T1=3.81	SAT (TO) f=0 TT=245.548 T1=30.4	SAT (TO) f=0 TT=1920.4 T1=13.15	SAT (TO) f=0 TT=1942.1 T1=13.19	SAT (TO) f=0 TT=1939.93 T1=13.4	? (TO) TT=246.47	? (TO) TT=246.899	? (TO) TT=247.447	? (TO) TT=250.14	? (TO) TT=250.081	? (TO) TT=266.225	SAT (TO) f=0 TT=251.928 T1=3.58	SAT (TO) f=0 TT=251.916 T1=3.81	? (TO) TT=251.929	SAT (TO) f=0 TT=251.828 T1=76.6	? (TO) TT=242.894	? (TO) TT=242.813	? (TO) TT=243.199	? (TO) TT=256.814	? (TO) TT=256.689	? (TO) TT=254.291
BinPacking/ BinPacking-mdd-sw120/ BinPacking-mdd-sw120-91.xml	SAT TO f=0 TT=240.01 T1=2.13	SAT (TO) f=0 TT=245.373 T1=9.55	SAT (TO) f=0 TT=1920.48 T1=11.81	SAT (TO) f=0 TT=1946.11 T1=11.93	SAT (TO) f=0 TT=1947.97 T1=12.17	SAT (TO) f=0 TT=246.14 T1=37.32	SAT (TO) f=0 TT=245.975 T1=38.76	SAT (TO) f=0 TT=246.339 T1=38.16	SAT (TO) f=0 TT=248.85 T1=39.82	SAT (TO) f=0 TT=248.958 T1=40.15	? (TO) TT=267.916	SAT (TO) f=0 TT=251.911 T1=7.43	SAT (TO) f=0 TT=251.868 T1=7.29	SAT (TO) f=0 TT=240.01 T1=11.97	SAT (TO) f=0 TT=251.882 T1=2.13	? (TO) TT=242.654	? (TO) TT=242.675	? (TO) TT=242.689	? (TO) TT=256.356	? (TO) TT=256.635	? (TO) TT=260.162
BinPacking/ BinPacking-mdd-sw120/ BinPacking-mdd-sw120-99.xml	SAT TO f=0 TT=245.692 T1=191.38	SAT (TO) f=0 TT=245.692 T1=191.38	? (TO) TT=1920.62	? (TO) TT=1947.66	? (TO) TT=1947.56	? (TO) TT=246.475	? (TO) TT=246.568	? (TO) TT=246.756	? (TO) TT=249.65	? (TO) TT=251.672	? (TO) TT=262.681	? (TO) TT=251.966	? (TO) TT=251.898	? (TO) TT=240.018	? (TO) TT=251.891	? (TO) TT=245.746	? (TO) TT=245.886	? (TO) TT=246.1	? (TO) TT=262.08	? (TO) TT=261.464	? (TO) TT=259.945
BinPacking/ BinPacking-sum-ft/ BinPacking-sum-ft060-11.xml	SAT TO f=2 TT=242.523 T1=1.58	SAT (TO) f=2 TT=242.523 T1=48.64	SAT (TO) f=2 TT=1920.58 T1=4.71	SAT (TO) f=2 TT=2006.47 T1=5.51	SAT (TO) f=2 TT=2005.83 T1=4.16	? (TO) TT=244.72	? (TO) TT=244.418	? (TO) TT=244.625	? (TO) TT=252.238	? (TO) TT=252.917	SAT (TO) f=2 TT=253.324 T1=14.73	? (TO) TT=251.942	? (TO) TT=240.005	? (TO) TT=240.022	SAT (TO) f=2 TT=251.988 T1=1.58	? (TO) TT=244.328	? (TO) TT=244.822	? (TO) TT=243.85	? (TO) TT=1920.75	? (TO) TT=1980.78	? (TO) TT=247.098
BinPacking/ BinPacking-sum-s28/ BinPacking-sum-s28-561.xml		? (TO) TT=242.18	? (TO) TT=1920.33	? (TO) TT=1982.06	? (TO) TT=1974.74	? (TO) TT=243.38	? (TO) TT=243.536	? (TO) TT=243.564	? (TO) TT=250.46	? (TO) TT=250.606	? (TO) TT=263.729	? (TO) TT=251.87	? (TO) TT=251.942	? (TO) TT=240.063	? (TO) TT=251.835	? (TO) TT=246.632	? (TO) TT=246.354	? (TO) TT=246.771	? (TO) TT=1744.36	? (TO) TT=1734.74	? (TO) TT=260.004
BinPacking/ BinPacking-sum-skj1/ BinPacking-sum-n1c3w4d.xml	OPT f=8 TT=75.32 T1=34.02	SAT (TO) f=5 TT=242.315 T1=171.9	SAT (TO) f=7 TT=1920.34 T1=133.75	SAT (TO) f=7 TT=2006.57 T1=141.03	SAT (TO) f=7 TT=2004.48 T1=134.03	? (TO) TT=244.61	? (TO) TT=243.956	? (TO) TT=243.856	? (TO) TT=253.57	? (TO) TT=253.373	? (TO) TT=251.201	? (TO) TT=251.92	? (TO) TT=240.007	? (TO) TT=251.858	OPT f=8 TT=75.32 T1=34.02	? (TO) TT=244.035	? (TO) TT=244.142	? (TO) TT=243.998	SAT (TO) f=3 TT=1921.39 T1=8.74	SAT (TO) f=5 TT=1745.02 T1=100.67	? (TO) TT=244.182
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	choco-solver 4.0.5 par (2017-07-26) (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-07-26) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.1 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	sat4j-CSP 2017-07-05 (complete)
BinPacking/ BinPacking-sum-skj1/ BinPacking-sum-n1c3w4r.xml	SAT TO f=7 TT=244.27 T1=3.83	SAT (TO) f=4 TT=242.583 T1=98.6	SAT (TO) f=7 TT=1920.49 T1=53.23	SAT (TO) f=7 TT=2007.07 T1=55.71	SAT (TO) f=7 TT=2005.81 T1=54.74	? (TO) TT=243.79	? (TO) TT=243.95	? (TO) TT=243.547	? (TO) TT=252.5	? (TO) TT=252.655	? (TO) TT=251.021	? (TO) TT=251.951	? (TO) TT=240.031	? (TO) TT=240.01	SAT (TO) f=7 TT=251.936 T1=3.83	SAT (TO) f=7 TT=249.881 T1=15.43	SAT (TO) f=7 TT=244.27 T1=45.61	SAT (TO) f=7 TT=249.665 T1=90.24	SAT (TO) f=4 TT=1920.66 T1=44.1	SAT (TO) f=1 TT=1979.77 T1=67.29	? (TO) TT=244.676
BinPacking/ BinPacking-sum-skj1/ BinPacking-sum-n3c3w4h.xml	SAT TO f=33 TT=2002.48 T1=5.33	? (TO) TT=242.578	SAT (TO) f=33 TT=1920.6 T1=5.58	SAT (TO) f=33 TT=2002.48 T1=5.38	SAT (TO) f=33 TT=2002.6 T1=5.33	? (TO) TT=243.9	? (TO) TT=244.367	? (TO) TT=244.195	? (TO) TT=251.36	? (TO) TT=251.731	? (TO) TT=254.369	? (TO) TT=251.921	? (TO) TT=251.95	? (TO) TT=240.037	? (TO) TT=251.878	? (TO) TT=245.18	? (TO) TT=245.456	? (TO) TT=245.13	? (TO) TT=1921.26	? (TO) TT=1946.88	? (TO) TT=252.158
BinPacking/ BinPacking-sum-skj1/ BinPacking-sum-n4c2w2n.xml	SAT TO f=87 TT=1972.46 T1=8.27	? (TO) TT=242.233	SAT (TO) f=87 TT=1920.25 T1=7.97	SAT (TO) f=87 TT=1972.46 T1=8.27	SAT (TO) f=87 TT=1983.08 T1=8.53	? (TO) TT=243.41	? (TO) TT=243.276	? (TO) TT=243.496	? (TO) TT=247.28	? (TO) TT=247.382	? (TO) TT=262.236	? (TO) TT=251.872	? (TO) TT=240.037	? (TO) TT=240.037	? (TO) TT=251.871	? (TO) TT=247.399	? (TO) TT=246.93	? (TO) TT=247.072	? (TO) TT=1614.54	? (TO) TT=1619.07	? (TO) TT=260.027
BinPacking/ BinPacking-sum-skj1/ BinPacking-sum-n4c3w4o.xml	SAT TO f=93 TT=1989.67 T1=3.87	? (TO) TT=242.679	SAT (TO) f=93 TT=1920.61 T1=5.2	SAT (TO) f=93 TT=1999.16 T1=3.87	SAT (TO) f=93 TT=1989.67 T1=4.33	? (TO) TT=243.415	? (TO) TT=243.395	? (TO) TT=243.469	? (TO) TT=248.69	? (TO) TT=248.759	? (TO) TT=258.153	? (TO) TT=251.898	? (TO) TT=251.94	? (TO) TT=251.921	? (TO) TT=251.955	? (TO) TT=247.019	? (TO) TT=247.036	? (TO) TT=247.597	? (TO) TT=1921.52	? (TO) TT=1907.5	? (TO) TT=260.105
BinPacking/ BinPacking-sum-skj2/ BinPacking-sum-n1w4b2r0.xml		? (TO) TT=241.934	? (TO) TT=1920.33	? (TO) TT=2006.91	? (TO) TT=2004.77	? (TO) TT=243.32	? (TO) TT=243.699	? (TO) TT=244.047	? (TO) TT=252.4	? (TO) TT=252.33	? (TO) TT=259.503	? (TO) TT=251.895	? (TO) TT=240.035	? (TO) TT=240.011	? (TO) TT=251.983	? (TO) TT=244.226	? (TO) TT=245.214	? (TO) TT=244.558	? (TO) TT=1921.06	? (TO) TT=1982.58	? (TO) TT=246.511
BinPacking/ BinPacking-sum-skj2/ BinPacking-sum-n1w4b3r4.xml		? (TO) TT=241.771	? (TO) TT=1920.13	? (TO) TT=2006.69	? (TO) TT=2005.54	? (TO) TT=242.9	? (TO) TT=243.256	? (TO) TT=243.465	? (TO) TT=251.07	? (TO) TT=251.338	? (TO) TT=255.896	? (TO) TT=251.902	? (TO) TT=251.936	? (TO) TT=251.887	? (TO) TT=251.881	? (TO) TT=243.511	? (TO) TT=243.365	? (TO) TT=243.866	? (TO) TT=1920.15	? (TO) TT=1975.19	? (TO) TT=252.732
BinPacking/ BinPacking-sum-skj2/ BinPacking-sum-n2w3b3r1.xml		? (TO) TT=242.013	? (TO) TT=1920.73	? (TO) TT=2008.1	? (TO) TT=2007.62	? (TO) TT=243.2	? (TO) TT=243.642	? (TO) TT=243.583	? (TO) TT=251.02	? (TO) TT=250.934	? (TO) TT=255.592	? (TO) TT=251.929	? (TO) TT=240.007	? (TO) TT=251.876	? (TO) TT=251.882	? (TO) TT=244.337	? (TO) TT=244.117	? (TO) TT=243.386	? (TO) TT=1921.11	? (TO) TT=1972.53	? (TO) TT=259.846
BinPacking/ BinPacking-sum-skj2/ BinPacking-sum-n2w4b2r4.xml	SAT TO f=0 TT=2007.14 T1=6.67	? (TO) TT=242.111	SAT (TO) f=0 TT=1920.26 T1=85.7	SAT (TO) f=0 TT=2008.13 T1=6.67	SAT (TO) f=0 TT=2007.14 T1=91.96	? (TO) TT=244.91	? (TO) TT=244.886	? (TO) TT=244.783	? (TO) TT=252.29	? (TO) TT=252.47	? (TO) TT=255.078	? (TO) TT=251.937	? (TO) TT=240.042	? (TO) TT=240.034	? (TO) TT=251.935	? (TO) TT=243.823	? (TO) TT=243.974	? (TO) TT=243.619	? (TO) TT=1921.27	? (TO) TT=1980.37	? (TO) TT=252.067
BinPacking/ BinPacking-sum-skj2/ BinPacking-sum-n3w3b3r7.xml		? (TO) TT=242.28	? (TO) TT=1920.68	? (TO) TT=1981.14	? (TO) TT=1984.12	? (TO) TT=243.77	? (TO) TT=244.001	? (TO) TT=243.793	? (TO) TT=249.82	? (TO) TT=249.73	? (TO) TT=260.184	? (TO) TT=251.964	? (TO) TT=251.961	? (TO) TT=240.022	? (TO) TT=251.986	? (TO) TT=244.532	? (TO) TT=243.976	? (TO) TT=244.317	? (TO) TT=1920.77	? (TO) TT=1946.96	? (TO) TT=260.25
BinPacking/ BinPacking-sum-skj2/ BinPacking-sum-n3w4b3r3.xml		? (TO) TT=242.075	? (TO) TT=1920.5	? (TO) TT=1996.01	? (TO) TT=1994.59	? (TO) TT=243.923	? (TO) TT=243.888	? (TO) TT=244.028	? (TO) TT=250.72	? (TO) TT=250.38	? (TO) TT=260.636	? (TO) TT=251.894	? (TO) TT=240.004	? (TO) TT=240.021	? (TO) TT=251.851	? (TO) TT=244.539	? (TO) TT=244.706	? (TO) TT=244.621	? (TO) TT=1920.8	? (TO) TT=1952.94	? (TO) TT=260.416
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	choco-solver 4.0.5 par (2017-07-26) (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-07-26) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.1 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	sat4j-CSP 2017-07-05 (complete)
BinPacking/ BinPacking-sum-skj2/ BinPacking-sum-n4w2b3r4.xml		? (TO) TT=242.459	? (TO) TT=1920.65	? (TO) TT=1987.48	? (TO) TT=1984.12	? (TO) TT=243.26	? (TO) TT=243.193	? (TO) TT=243.035	? (TO) TT=248.57	? (TO) TT=248.786	? (TO) TT=271.737	? (TO) TT=251.957	? (TO) TT=251.923	? (TO) TT=240.234	? (TO) TT=251.939	? (TO) TT=246.053	? (TO) TT=245.973	? (TO) TT=246.11	? (TO) TT=1808.42	? (TO) TT=1800.55	? (TO) TT=260.278
BinPacking/ BinPacking-sum-skj2/ BinPacking-sum-n4w3b2r8.xml		? (TO) TT=242.494	? (TO) TT=1920.38	? (TO) TT=1977.15	? (TO) TT=1968.11	? (TO) TT=243.413	? (TO) TT=243.573	? (TO) TT=243.856	? (TO) TT=248.48	? (TO) TT=248.326	? (TO) TT=260.676	? (TO) TT=251.892	? (TO) TT=251.909	? (TO) TT=240.014	? (TO) TT=251.886	? (TO) TT=245.562	? (TO) TT=245.989	? (TO) TT=245.784	? (TO) TT=1920.89	? (TO) TT=1960.07	? (TO) TT=260.093
BinPacking/ BinPacking-sum-skj2/ BinPacking-sum-n4w4b3r4.xml		? (TO) TT=242.309	? (TO) TT=1920.72	? (TO) TT=1978.07	? (TO) TT=1984.07	? (TO) TT=243.38	? (TO) TT=243.393	? (TO) TT=243.593	? (TO) TT=249.54	? (TO) TT=249.649	? (TO) TT=264.968	? (TO) TT=251.878	? (TO) TT=251.945	? (TO) TT=240.007	? (TO) TT=251.847	? (TO) TT=244.756	? (TO) TT=245.935	? (TO) TT=245.219	? (TO) TT=1920.63	? (TO) TT=1813.72	? (TO) TT=258.433
BinPacking/ BinPacking-sum-sw100/ BinPacking-sum-sw100-11.xml		? (TO) TT=241.764	? (TO) TT=1920.15	? (TO) TT=2008.01	? (TO) TT=2005.96	? (TO) TT=244.39	? (TO) TT=243.699	? (TO) TT=244.284	? (TO) TT=252.1	? (TO) TT=252.65	? (TO) TT=253.938	? (TO) TT=251.979	? (TO) TT=251.958	? (TO) TT=240.022	? (TO) TT=251.888	? (TO) TT=244.476	? (TO) TT=244.402	? (TO) TT=244.52	? (TO) TT=1920.94	? (TO) TT=1975.68	? (TO) TT=247.522
BinPacking/ BinPacking-tab-ft/ BinPacking-tab-ft060-06.xml	SAT TO f=3 TT=243.576 T1=2.3	SAT (TO) f=3 TT=243.576 T1=6.81	SAT (TO) f=3 TT=1920.79 T1=22.13	SAT (TO) f=3 TT=1998.14 T1=15.54	SAT (TO) f=3 TT=1999.9 T1=44.88	SAT (TO) f=2 TT=244.357 T1=107.1	SAT (TO) f=2 TT=245.348 T1=106.76	SAT (TO) f=2 TT=244.491 T1=107.8	SAT (TO) f=1 TT=247.39 T1=51.18	SAT (TO) f=1 TT=247.821 T1=53.51	? (TO) TT=255.793	SAT (TO) f=0 TT=251.952 T1=0.27	SAT (TO) f=0 TT=240.034 T1=0.2	? (TO) TT=240.032	SAT (TO) f=3 TT=251.874 T1=2.3	SAT (TO) f=3 TT=248.905 T1=17.88	SAT (TO) f=2 TT=244.31 T1=1.33	SAT (TO) f=3 TT=249.855 T1=4.79	SAT (TO) f=3 TT=1921.03 T1=3.69	SAT (TO) f=3 TT=1993.88 T1=15.52	? (TO) TT=252.133
BinPacking/ BinPacking-tab-ft/ BinPacking-tab-ft120-10.xml	SAT TO f=7 TT=245.119 T1=15.23	SAT (TO) f=7 TT=245.119 T1=161.18	SAT (TO) f=6 TT=1920.15 T1=161.05	SAT (TO) f=5 TT=1854.36 T1=176.62	SAT (TO) f=5 TT=1845.03 T1=164.25	? (TO) TT=244.79	? (TO) TT=245.122	? (TO) TT=245.181	? (TO) TT=248.47	? (TO) TT=248.308	? (TO) TT=259.29	? (TO) TT=251.932	? (TO) TT=251.921	? (TO) TT=240.008	? (TO) TT=251.84	SAT (TO) f=7 TT=250.13 T1=36.79	SAT (TO) f=6 TT=244.573 T1=18.21	SAT (TO) f=7 TT=248.261 T1=76.64	SAT (TO) f=7 TT=1921.33 T1=15.23	SAT (TO) f=7 TT=1966.44 T1=81.68	? (TO) TT=260.435
BinPacking/ BinPacking-tab-ft/ BinPacking-tab-ft120-15.xml	SAT TO f=6 TT=247.696 T1=12.42	SAT (TO) f=5 TT=244.404 T1=230.58	SAT (TO) f=2 TT=1920.76 T1=91.72	SAT (TO) f=2 TT=1938.74 T1=221.82	SAT (TO) f=2 TT=1925.45 T1=82.16	? (TO) TT=244.588	? (TO) TT=244.767	? (TO) TT=244.733	? (TO) TT=247.658	? (TO) TT=247.699	? (TO) TT=258.558	? (TO) TT=251.904	? (TO) TT=251.926	? (TO) TT=240.014	? (TO) TT=251.866	SAT (TO) f=5 TT=249.503 T1=137.14	SAT (TO) f=4 TT=244.427 T1=2.9	SAT (TO) f=6 TT=247.696 T1=188.73	SAT (TO) f=6 TT=1921.27 T1=12.42	SAT (TO) f=6 TT=1973.14 T1=66.75	? (TO) TT=255.751
BinPacking/ BinPacking-tab-ft/ BinPacking-tab-ft120-19.xml	SAT TO f=6 TT=245.028 T1=14.43	SAT (TO) f=6 TT=245.028 T1=71.79	SAT (TO) f=3 TT=1920.1 T1=112.55	SAT (TO) f=4 TT=1885.83 T1=129.39	SAT (TO) f=4 TT=1857.78 T1=171.03	? (TO) TT=244.86	? (TO) TT=244.958	? (TO) TT=245.036	? (TO) TT=248.02	? (TO) TT=248.051	? (TO) TT=259.38	? (TO) TT=251.967	? (TO) TT=251.953	? (TO) TT=240.018	? (TO) TT=251.917	SAT (TO) f=5 TT=248.879 T1=42.35	SAT (TO) f=3 TT=244.449 T1=3.59	SAT (TO) f=6 TT=247.6 T1=192.26	SAT (TO) f=6 TT=1921.23 T1=14.43	SAT (TO) f=6 TT=1961.94 T1=56.48	? (TO) TT=260.001
BinPacking/ BinPacking-tab-ft/ BinPacking-tab-ft249-06.xml	SAT TO f=9 TT=257.388 T1=84.15	? (TO) TT=246.603	? (TO) TT=1761.47	? (TO) TT=1763.43	? (TO) TT=1761.51	? (TO) TT=243.64	? (TO) TT=243.669	? (TO) TT=243.73	? (TO) TT=244.072	? (TO) TT=244.304	? (TO) TT=257.225	? (TO) TT=251.895	? (TO) TT=251.913	? (TO) TT=251.923	? (TO) TT=252.008	SAT (TO) f=9 TT=257.818 T1=84.15	SAT (TO) f=7 TT=253.728 T1=19.42	SAT (TO) f=9 TT=257.388 T1=236.56	SAT (TO) f=9 TT=1572.26 T1=195.69	SAT (TO) f=8 TT=1559.65 T1=1181.62	? (TO) TT=252.311
BinPacking/ BinPacking-tab-ft/ BinPacking-tab-ft249-09.xml	SAT TO f=15 TT=259.264 T1=151.19	? (TO) TT=246.677	? (TO) TT=1727.02	? (TO) TT=1715.17	? (TO) TT=1736.68	? (TO) TT=243.91	? (TO) TT=243.866	? (TO) TT=244.008	? (TO) TT=243.91	? (TO) TT=244.006	? (TO) TT=256.671	? (TO) TT=251.922	? (TO) TT=251.96	? (TO) TT=251.877	? (TO) TT=240.021	SAT (TO) f=15 TT=259.264 T1=151.19	SAT (TO) f=11 TT=255.177 T1=31.2	SAT (TO) f=15 TT=261.955 T1=197.54	SAT (TO) f=8 TT=1562.78 T1=218.01	SAT (TO) f=6 TT=1543.13 T1=1365.97	? (TO) TT=258.504
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	choco-solver 4.0.5 par (2017-07-26) (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-07-26) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.1 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	sat4j-CSP 2017-07-05 (complete)
BinPacking/BinPacking-tab-fu/ BinPacking-tab-fu0120-17.xml	SAT TO f=22 TT=251.893 T1=55.72	SAT (TO) f=21 TT=244.633 T1=79.39	? (TO) TT=1920.76	? (TO) TT=1907.35	? (TO) TT=1907.61	? (TO) TT=245.34	? (TO) TT=245.608	? (TO) TT=245.481	? (TO) TT=253.28	? (TO) TT=253.379	? (TO) TT=259.557	? (TO) TT=251.946	? (TO) TT=251.908	? (TO) TT=240.009	SAT (TO) f=22 TT=251.893 T1=163.82	SAT (TO) f=21 TT=249.801 T1=39.83	SAT (TO) f=21 TT=244.642 T1=4.73	SAT (TO) f=21 TT=249.298 T1=4.36	SAT (TO) f=22 TT=1425.83 T1=55.72	SAT (TO) f=21 TT=1422.56 T1=69.61	? (TO) TT=259.863
BinPacking/BinPacking-tab-fu/ BinPacking-tab-fu0250-08.xml	SAT TO f=38 TT=257.722 T1=151.63	? (TO) TT=245.726	? (TO) TT=857.138	? (TO) TT=972.638	? (TO) TT=850.003	? (TO) TT=247.89	? (TO) TT=247.906	? (TO) TT=248.062	? (TO) TT=253.26	? (TO) TT=253.079	? (TO) TT=257.609	? (TO) TT=251.929	? (TO) TT=251.881	? (TO) TT=240.024	? (TO) TT=251.977	SAT (TO) f=38 TT=257.722 T1=151.63	SAT (TO) f=37 TT=252.613 T1=44.88	SAT (TO) f=35 TT=257.748 T1=206.65	? (TO) TT=270.511	? (TO) TT=270.315	? (TO) TT=259.899
BinPacking/BinPacking-tab-fu/ BinPacking-tab-fu0250-15.xml		? (TO) TT=246.255	? (TO) TT=434.434	? (TO) TT=491.606	? (TO) TT=657.898	? (TO) TT=247.78	? (TO) TT=247.801	? (TO) TT=247.694	? (TO) TT=250.18	? (TO) TT=250.586	? (TO) TT=258.221	? (TO) TT=251.899	? (TO) TT=251.914	? (TO) TT=251.882	? (TO) TT=252.013	? (TO) TT=253.095	? (TO) TT=252.642	? (TO) TT=252.531	? (TO) TT=270.801	? (TO) TT=270.773	? (TO) TT=253.422
BinPacking/BinPacking-tab-fu/ BinPacking-tab-fu0500-09.xml	SAT TO f=31 TT=252.125 T1=215.09	? (TO) TT=252.398	? (TO) TT=321.241	? (TO) TT=320.568	? (TO) TT=320.01	? (TO) TT=256.61	? (TO) TT=256.243	? (TO) TT=256.157	? (TO) TT=255.05	? (TO) TT=256.611	? (TO) TT=259.725	? (TO) TT=251.918	? (TO) TT=240.029	? (TO) TT=240.035	? (TO) TT=240.236	SAT (TO) f=0 TT=252.091 T1=83.65	SAT (TO) f=31 TT=252.125 T1=215.09	SAT (TO) f=14 TT=252.075 T1=165.95	? (TO) TT=304.332	? (TO) TT=296.837	? (TO) TT=259.864
BinPacking/BinPacking-tab-fu/ BinPacking-tab-fu0500-12.xml	SAT TO f=72 TT=252.066 T1=192.34	? (TO) TT=252.15	? (TO) TT=312.482	? (TO) TT=321.225	? (TO) TT=313.109	? (TO) TT=255.36	? (TO) TT=254.556	? (TO) TT=254.605	? (TO) TT=254.67	? (TO) TT=257.129	? (TO) TT=259.805	? (TO) TT=251.912	? (TO) TT=251.904	? (TO) TT=240.024	? (TO) TT=240.225	SAT (TO) f=0 TT=252.138 T1=69.52	SAT (TO) f=55 TT=252.177 T1=182.27	SAT (TO) f=72 TT=252.066 T1=192.34	? (TO) TT=299.025	? (TO) TT=296.533	? (TO) TT=260.094
BinPacking/ BinPacking-tab-sw100/ BinPacking-tab-sw100-15.xml	SAT TO f=0 TT=240.122 T1=31.09	SAT (TO) f=0 TT=256.091 T1=31.09	? (TO) TT=743.211	? TT=476.111	? (TO) TT=721.506	? TT=141.716	? TT=138.473	SAT (TO) f=0 TT=264.124 T1=182.75	? TT=143.636	? (TO) TT=271.419	? (TO) TT=254.47	SAT (TO) f=0 TT=251.922 T1=35.09	SAT (TO) f=0 TT=251.914 T1=35.32	? (TO) TT=240.029	SAT (TO) f=0 TT=240.122 T1=34.79	SAT (TO) f=0 TT=252.118 T1=61.77	SAT (TO) f=0 TT=252.127 T1=59.67	SAT (TO) f=0 TT=252.056 T1=64.85	? (TO) TT=744.277	? (TO) TT=739.716	? (TO) TT=259.852
BinPacking/ BinPacking-tab-sw100/ BinPacking-tab-sw100-74.xml	SAT TO f=0 TT=240.031 T1=17.9	SAT (TO) f=0 TT=249.588 T1=17.9	? TT=462.883	? TT=473.412	? TT=474.365	SAT (TO) f=0 TT=252.051 T1=156.93	SAT (TO) f=0 TT=252.131 T1=156.72	SAT (TO) f=0 TT=264.075 T1=155.01	SAT (TO) f=0 TT=252.184 T1=174.93	SAT (TO) f=0 TT=264.165 T1=173.84	SAT (TO) f=0 TT=252.082 T1=93.06	SAT (TO) f=0 TT=251.944 T1=154.12	SAT (TO) f=0 TT=240.031 T1=154.28	? (TO) TT=240.006	? (TO) TT=240.113	SAT (TO) f=0 TT=252.11 T1=39.45	SAT (TO) f=0 TT=252.14 T1=38.08	SAT (TO) f=0 TT=252.131 T1=32.35	? (TO) TT=982.974	? (TO) TT=1064.68	? (TO) TT=259.991
BinPacking/ BinPacking-tab-sw120/ BinPacking-tab-sw120-10.xml	SAT TO f=1 TT=254.027 T1=83.73	SAT (TO) f=1 TT=254.027 T1=83.73	? TT=517.999	? TT=481.862	? TT=482.785	? TT=165.194	? TT=167.038	? TT=173.745	? TT=162.139	? TT=165.024	? (TO) TT=253.932	? (TO) TT=251.903	? (TO) TT=240.062	? (TO) TT=240.058	? (TO) TT=240.263	SAT (TO) f=0 TT=252.128 T1=89.53	SAT (TO) f=0 TT=252.105 T1=96.25	SAT (TO) f=0 TT=252.088 T1=90.38	? (TO) TT=686.839	? (TO) TT=608.408	? (TO) TT=260.154
BinPacking/ BinPacking-tab-sw120/ BinPacking-tab-sw120-31.xml	SAT TO f=0 TT=252.078 T1=46.52	SAT (TO) f=0 TT=260.961 T1=46.52	? TT=442.268	? TT=475.038	? TT=405.637	? TT=160.663	? TT=160.391	? TT=165.394	? TT=151.3	? TT=146.836	? (TO) TT=253.682	? (TO) TT=251.876	? (TO) TT=251.932	? (TO) TT=240	? (TO) TT=240.168	SAT (TO) f=0 TT=252.162 T1=86.19	SAT (TO) f=0 TT=252.078 T1=82.94	SAT (TO) f=0 TT=252.099 T1=84.88	? (TO) TT=671.632	? (TO) TT=745.537	? (TO) TT=260.222
BinPacking/ BinPacking-tab-sw120/ BinPacking-tab-sw120-41.xml	SAT TO f=0 TT=252.086 T1=48	SAT (TO) f=0 TT=254.578 T1=48	? TT=443.974	? TT=480.052	? TT=508.368	? TT=153.593	? TT=153.335	? TT=173.419	? TT=150.803	? TT=151.068	? (TO) TT=255.869	? (TO) TT=251.905	? (TO) TT=240.029	? (TO) TT=240.022	? (TO) TT=240.242	SAT (TO) f=0 TT=252.112 T1=87.83	SAT (TO) f=0 TT=252.16 T1=87.66	SAT (TO) f=0 TT=252.086 T1=90.24	? (TO) TT=655.006	? (TO) TT=675.635	? (TO) TT=260.089
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	choco-solver 4.0.5 par (2017-07-26) (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-07-26) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.1 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	sat4j-CSP 2017-07-05 (complete)
BinPacking/ BinPacking-tab-sw120/ BinPacking-tab-sw120-50.xml	SAT TO f=0 TT=251.921 T1=51.59	SAT (TO) f=0 TT=254.249 T1=63.99	? TT=537.959	? TT=460.787	? TT=499.538	? TT=155.216	? TT=154.006	? TT=151.348	? TT=161.034	? TT=153.332	? (TO) TT=253.973	SAT (TO) f=0 TT=251.943 T1=51.32	SAT (TO) f=0 TT=251.921 T1=51.59	? (TO) TT=240.038	? (TO) TT=240.308	SAT (TO) f=0 TT=252.151 T1=88.77	SAT (TO) f=0 TT=252.167 T1=88.46	SAT (TO) f=0 TT=252.095 T1=86.56	? (TO) TT=602.272	? (TO) TT=705.32	? (TO) TT=260.008
BusScheduling/ BusScheduling-cnt-s1/ BusScheduling-cnt-c1a.xml	SAT TO f=29 TT=251.626 T1=69.62	SAT (TO) f=31 TT=243.558 T1=212.1	SAT (TO) f=36 TT=1920.48 T1=2.47	SAT (TO) f=36 TT=2004.64 T1=2.35	SAT (TO) f=36 TT=2004.05 T1=2.43	? (TO) TT=242.96	? (TO) TT=243.086	? (TO) TT=243.016	? (TO) TT=250.66	? (TO) TT=251.234	SAT (TO) f=29 TT=259.66 T1=69.62	? (TO) TT=251.886	? (TO) TT=251.938	? (TO) TT=251.848	SAT (TO) f=29 TT=251.626 T1=188.22	? (TO) TT=243.454	? (TO) TT=243.666	? (TO) TT=243.551	SAT (TO) f=31 TT=1921.1 T1=252.58	SAT (TO) f=31 TT=1827.77 T1=1794.99	? (TO) TT=252.127
BusScheduling/ BusScheduling-cnt-s1/ BusScheduling-cnt-c1.xml	SAT TO f=28 TT=251.879 T1=40.18	SAT (TO) f=31 TT=243.236 T1=211.61	SAT (TO) f=31 TT=1920.22 T1=24.23	SAT (TO) f=31 TT=2006.16 T1=22.72	SAT (TO) f=31 TT=2006.37 T1=24.01	? (TO) TT=243.09	? (TO) TT=243.313	? (TO) TT=243.156	? (TO) TT=250.62	? (TO) TT=251.619	SAT (TO) f=29 TT=252.723 T1=194.31	? (TO) TT=251.969	? (TO) TT=251.938	? (TO) TT=240.031	SAT (TO) f=28 TT=251.879 T1=40.18	? (TO) TT=243.227	SAT (TO) f=31 TT=243.232 T1=32.1	SAT (TO) f=33 TT=249.352 T1=21.28	SAT (TO) f=31 TT=1921.06 T1=56.38	SAT (TO) f=31 TT=1949.5 T1=377.59	? (TO) TT=249.384
BusScheduling/ BusScheduling-cnt-s1/ BusScheduling-cnt-r1a.xml	SAT TO f=11 TT=2005.25 T1=26.44	SAT (TO) f=14 TT=243.023 T1=43.18	SAT (TO) f=11 TT=1920.41 T1=26.34	SAT (TO) f=11 TT=2005.25 T1=28.53	SAT (TO) f=11 TT=2005.76 T1=26.44	SAT (TO) f=16 TT=243.34 T1=17.57	SAT (TO) f=16 TT=244.392 T1=15.7	SAT (TO) f=16 TT=244.019 T1=16.17	SAT (TO) f=17 TT=253.69 T1=104.92	SAT (TO) f=17 TT=254.774 T1=106.18	SAT (TO) f=13 TT=254.739 T1=21.32	SAT (TO) f=15 TT=251.95 T1=252	SAT (TO) f=15 TT=251.95 T1=252	SAT (TO) f=16 TT=240.004 T1=240	SAT (TO) f=13 TT=251.912 T1=11.8	SAT (TO) f=12 TT=246.815 T1=7.75	SAT (TO) f=14 TT=242.974 T1=43.23	SAT (TO) f=12 TT=246.535 T1=77.93	SAT (TO) f=13 TT=1921.28 T1=17.28	SAT (TO) f=13 TT=1894.91 T1=22.32	? (TO) TT=250.575
BusScheduling/ BusScheduling-cnt-s1/ BusScheduling-cnt-r1.xml	SAT TO f=11 TT=2005.4 T1=213.82	SAT (TO) f=13 TT=243.184 T1=91.65	SAT (TO) f=11 TT=1920 T1=204.74	SAT (TO) f=11 TT=2005.4 T1=217.44	SAT (TO) f=11 TT=2005.98 T1=213.82	SAT (TO) f=14 TT=244.09 T1=168.3	SAT (TO) f=14 TT=244.05 T1=166.86	SAT (TO) f=14 TT=244.246 T1=171.57	SAT (TO) f=16 TT=255.15 T1=15.96	SAT (TO) f=16 TT=255.447 T1=15.71	SAT (TO) f=13 TT=252.737 T1=35.87	SAT (TO) f=15 TT=251.954 T1=252	SAT (TO) f=15 TT=251.931 T1=252	SAT (TO) f=15 TT=240.012 T1=240	SAT (TO) f=12 TT=251.872 T1=49.46	SAT (TO) f=13 TT=245.618 T1=23.05	SAT (TO) f=14 TT=242.623 T1=15.55	SAT (TO) f=13 TT=249.212 T1=62.8	SAT (TO) f=13 TT=1921.36 T1=9	SAT (TO) f=13 TT=1952.7 T1=13.3	? (TO) TT=246.774
BusScheduling/ BusScheduling-cnt-s1/ BusScheduling-cnt-r2.xml	SAT TO f=14 TT=242.406 T1=12.97	SAT (TO) f=14 TT=242.406 T1=177.68	SAT (TO) f=14 TT=1920.21 T1=51.06	SAT (TO) f=15 TT=2005.79 T1=9.95	SAT (TO) f=14 TT=2005.8 T1=37.62	SAT (TO) f=17 TT=243.52 T1=49.17	SAT (TO) f=17 TT=243.315 T1=48.13	SAT (TO) f=17 TT=243.609 T1=49.15	SAT (TO) f=18 TT=254.65 T1=67.71	SAT (TO) f=18 TT=254.634 T1=65.98	SAT (TO) f=14 TT=253.648 T1=17.94	SAT (TO) f=17 TT=251.931 T1=252.01	SAT (TO) f=17 TT=240.032 T1=240	SAT (TO) f=18 TT=251.902 T1=252	SAT (TO) f=14 TT=251.948 T1=12.97	SAT (TO) f=15 TT=247.841 T1=18.26	SAT (TO) f=17 TT=242.654 T1=1.32	SAT (TO) f=15 TT=248.954 T1=52.17	SAT (TO) f=15 TT=1921 T1=12.54	SAT (TO) f=15 TT=1935.34 T1=25.02	? (TO) TT=247.04
BusScheduling/ BusScheduling-cnt-s1/ BusScheduling-cnt-r3.xml		? (TO) TT=244.382	? (TO) TT=1920.45	? (TO) TT=1956.76	? (TO) TT=1957.3	? (TO) TT=242.72	? (TO) TT=243.003	? (TO) TT=242.877	? (TO) TT=242.75	? (TO) TT=243.251	? (TO) TT=258.818	? (TO) TT=251.917	? (TO) TT=240.004	? (TO) TT=240.051	? (TO) TT=251.883	? (TO) TT=247.22	? (TO) TT=246.796	? (TO) TT=247.05	? (TO) TT=262.576	? (TO) TT=263.09	? (TO) TT=253.241
BusScheduling/ BusScheduling-cnt-s1/ BusScheduling-cnt-r4.xml	SAT TO f=28 TT=251.934 T1=5.43	SAT (TO) f=29 TT=242.499 T1=55.09	SAT (TO) f=28 TT=1920.67 T1=42.6	SAT (TO) f=28 TT=2005.9 T1=55.55	SAT (TO) f=28 TT=2006.48 T1=53.78	? (TO) TT=243.85	? (TO) TT=243.946	? (TO) TT=243.605	? (TO) TT=251.72	? (TO) TT=253.208	SAT (TO) f=28 TT=253.649 T1=5.43	? (TO) TT=251.928	? (TO) TT=251.925	? (TO) TT=240.015	SAT (TO) f=28 TT=251.934 T1=75.42	SAT (TO) f=30 TT=248.489 T1=1.75	SAT (TO) f=29 TT=242.881 T1=26.84	SAT (TO) f=30 TT=249.612 T1=7.33	SAT (TO) f=28 TT=1921.07 T1=140.1	SAT (TO) f=28 TT=1963.22 T1=1084.16	? (TO) TT=244.914
BusScheduling/ BusScheduling-cnt-s1/ BusScheduling-cnt-r5.xml		? (TO) TT=242.3	? (TO) TT=1920.65	? (TO) TT=2006.66	? (TO) TT=2005.63	? (TO) TT=243.86	? (TO) TT=243.918	? (TO) TT=243.837	? (TO) TT=250.72	? (TO) TT=250.664	? (TO) TT=251.204	? (TO) TT=251.869	? (TO) TT=251.922	? (TO) TT=251.934	? (TO) TT=251.888	? (TO) TT=242.68	? (TO) TT=242.529	? (TO) TT=242.655	? (TO) TT=1921.48	? (TO) TT=1965.68	? (TO) TT=245.119
BusScheduling/ BusScheduling-cnt-s1/ BusScheduling-cnt-t1.xml	OPT f=7 TT=0.015 T1=0.01	OPT f=7 TT=1.214 T1=0.69	OPT f=7 TT=1.568 T1=0.65	OPT f=7 TT=1.58 T1=0.54	OPT f=7 TT=1.571 T1=0.54	OPT f=7 TT=1.035 T1=0.57	OPT f=7 TT=1.055 T1=0.6	OPT f=7 TT=1.033 T1=0.48	OPT f=7 TT=1.9 T1=0.83	OPT f=7 TT=1.823 T1=0.62	OPT f=7 TT=7.66 T1=3.52	OPT f=7 TT=0.015 T1=0.12	OPT f=7 TT=0.015 T1=0.01	OPT f=7 TT=0.019 T1=0.02	OPT f=7 TT=0.022 T1=0.11	SAT (TO) f=7 TT=246.65 T1=0.95	OPT f=7 TT=1.32 T1=0.85	OPT f=7 TT=1.325 T1=1.11	OPT f=7 TT=3.163 T1=1.75	OPT f=7 TT=3.242 T1=2.54	OPT f=7 TT=1.611 T1=0.67
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	choco-solver 4.0.5 par (2017-07-26) (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-07-26) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.1 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	sat4j-CSP 2017-07-05 (complete)
BusScheduling/ BusScheduling-cnt-s1/ BusScheduling-cnt-t2.xml	SAT TO f=20 TT=1921.28 T1=207.89	SAT (TO) f=21 TT=242.668 T1=91.5	SAT (TO) f=21 TT=1920.67 T1=15.91	SAT (TO) f=21 TT=2006.43 T1=85.96	SAT (TO) f=21 TT=2005.96 T1=71.63	? (TO) TT=243.503	? (TO) TT=243.025	? (TO) TT=243.245	? (TO) TT=252.53	? (TO) TT=252.552	SAT (TO) f=21 TT=253.29 T1=7.27	? (TO) TT=251.9	? (TO) TT=251.923	? (TO) TT=251.89	SAT (TO) f=21 TT=251.913 T1=4.62	SAT (TO) f=21 TT=249.135 T1=142.8	SAT (TO) f=21 TT=242.851 T1=55.01	SAT (TO) f=22 TT=249.578 T1=1.47	SAT (TO) f=20 TT=1921.28 T1=207.89	SAT (TO) f=20 TT=1962 T1=1551.04	? (TO) TT=247.255
ChessboardColoration/ ChessboardColoration-int-s1/ ChessboardColoration-int-05-05.xml	OPT f=2 TT=0.123 T1=0.17	OPT f=2 TT=1.569 T1=0.87	? (TO) TT=892.068	? (TO) TT=812.583	? (TO) TT=791.254	OPT f=2 TT=40.974 T1=28.59	OPT f=2 TT=40.336 T1=28.46	OPT f=2 TT=41.72 T1=28.69	OPT f=2 TT=41.169 T1=28.58	OPT f=2 TT=41.044 T1=28.36	OPT f=2 TT=11.357 T1=4.87	OPT f=2 TT=0.121 T1=0.19	OPT f=2 TT=0.123 T1=0.22	OPT f=2 TT=0.124 T1=0.17	OPT f=2 TT=0.264 T1=0.29	SAT (TO) f=2 TT=252.056 T1=50.54	OPT f=2 TT=91.233 T1=49.21	OPT f=2 TT=87.404 T1=47.79	? (TO) TT=916.139	? (TO) TT=932.876	OPT f=2 TT=4.55 T1=2.36
ChessboardColoration/ ChessboardColoration-int-s1/ ChessboardColoration-int-11-11.xml	SAT TO f=3 TT=244.416 T1=3.52	SAT (TO) f=3 TT=244.416 T1=3.52	SAT (TO) f=3 TT=1837.47 T1=162.52	SAT (TO) f=3 TT=1759.36 T1=154.92	SAT (TO) f=3 TT=1767.41 T1=153.54	? (TO) TT=246.82	? (TO) TT=246.745	? (TO) TT=247.019	SAT (TO) f=3 TT=256.99 T1=168.41	SAT (TO) f=3 TT=257.231 T1=168.94	SAT (TO) f=98 TT=252.12 T1=63.32	SAT (TO) f=3 TT=251.945 T1=4.99	SAT (TO) f=3 TT=251.892 T1=5.12	SAT (TO) f=3 TT=251.967 T1=4.01	SAT (TO) f=3 TT=251.962 T1=94.12	SAT (TO) f=3 TT=252.016 T1=137.31	SAT (TO) f=3 TT=248.701 T1=6.99	SAT (TO) f=3 TT=250.31 T1=7.07	SAT (TO) f=4 TT=801.693 T1=11.23	SAT (TO) f=3 TT=561.931 T1=73.42	? (TO) TT=260.169
ChessboardColoration/ ChessboardColoration-int-s1/ ChessboardColoration-int-12-12.xml	SAT TO f=3 TT=240.003 T1=9.71	SAT (TO) f=3 TT=244.923 T1=9.71	SAT (TO) f=4 TT=1716.95 T1=142.5	SAT (TO) f=4 TT=1126.79 T1=246.89	SAT (TO) f=4 TT=1504.65 T1=197.54	? (TO) TT=247.12	? (TO) TT=247.936	? (TO) TT=247.369	SAT (TO) f=3 TT=253.9 T1=201.21	SAT (TO) f=3 TT=254.862 T1=206.64	SAT (TO) f=139 TT=252.112 T1=167.95	SAT (TO) f=3 TT=251.932 T1=10.32	SAT (TO) f=3 TT=251.879 T1=10.4	SAT (TO) f=3 TT=240.003 T1=10.61	SAT (TO) f=3 TT=251.892 T1=104.72	SAT (TO) f=4 TT=254.052 T1=46.24	SAT (TO) f=4 TT=249.267 T1=12.05	SAT (TO) f=4 TT=253.07 T1=12.04	SAT (TO) f=3 TT=767.416 T1=184.32	SAT (TO) f=4 TT=841.188 T1=131.86	? (TO) TT=254.828
ChessboardColoration/ ChessboardColoration-int-s1/ ChessboardColoration-int-13-13.xml	SAT TO f=3 TT=245.227 T1=16.53	SAT (TO) f=3 TT=245.227 T1=16.53	SAT (TO) f=6 TT=713.5 T1=189.47	SAT (TO) f=6 TT=649.784 T1=198.6	SAT (TO) f=6 TT=627.253 T1=202.07	? (TO) TT=246.17	? (TO) TT=246.457	? (TO) TT=246.612	? (TO) TT=250.31	? (TO) TT=250.639	SAT (TO) f=166 TT=252.085 T1=39.36	SAT (TO) f=4 TT=251.921 T1=9.24	SAT (TO) f=4 TT=251.921 T1=9.33	SAT (TO) f=4 TT=240.005 T1=8.27	SAT (TO) f=4 TT=251.86 T1=107.62	SAT (TO) f=4 TT=258.156 T1=55.2	SAT (TO) f=4 TT=251.381 T1=22.8	SAT (TO) f=4 TT=252.653 T1=22.83	SAT (TO) f=4 TT=902.985 T1=32.51	SAT (TO) f=4 TT=913.466 T1=232.02	? (TO) TT=260.323
ChessboardColoration/ ChessboardColoration-int-s1/ ChessboardColoration-int-15-15.xml	SAT TO f=4 TT=249.962 T1=15.13	SAT (TO) f=4 TT=249.962 T1=34.11	SAT (TO) f=12 TT=274.859 T1=8.09	SAT (TO) f=10 TT=282.976 T1=8.45	SAT (TO) f=12 TT=273.376 T1=7.9	? (TO) TT=244.44	? (TO) TT=244.333	? (TO) TT=244.7	? (TO) TT=244.74	? (TO) TT=244.904	SAT (TO) f=223 TT=252.116 T1=68.32	SAT (TO) f=4 TT=251.814 T1=15.11	SAT (TO) f=4 TT=251.905 T1=15.13	SAT (TO) f=4 TT=251.819 T1=23.89	SAT (TO) f=5 TT=251.889 T1=134.21	SAT (TO) f=224 TT=254.568 T1=3.18	SAT (TO) f=4 TT=254.528 T1=65.49	SAT (TO) f=7 TT=264.696 T1=209.99	SAT (TO) f=4 TT=1240.27 T1=136.73	SAT (TO) f=5 TT=1376.68 T1=721.89	? (TO) TT=256.836
ChessboardColoration/ ChessboardColoration-int-s1/ ChessboardColoration-int-20-20.xml	SAT TO f=5 TT=240.064 T1=94.39	? (TO) TT=261.81	SAT (TO) f=18 TT=311.72 T1=29.23	SAT (TO) f=17 TT=316.292 T1=29.09	SAT (TO) f=17 TT=304.452 T1=25.96	? (TO) TT=247.15	? (TO) TT=247.178	? (TO) TT=246.687	? (TO) TT=249.31	? (TO) TT=249.368	? (TO) TT=254.084	SAT (TO) f=6 TT=251.996 T1=64	SAT (TO) f=6 TT=240.102 T1=64.13	SAT (TO) f=5 TT=240.064 T1=94.39	? (TO) TT=251.904	SAT (TO) f=399 TT=252.724 T1=8.64	SAT (TO) f=339 TT=252.81 T1=209.04	? (TO) TT=258.462	SAT (TO) f=374 TT=1921.31 T1=258.47	SAT (TO) f=376 TT=1870.54 T1=1835.49	? (TO) TT=259.777
ChessboardColoration/ ChessboardColoration-int-s1/ ChessboardColoration-int-25-25.xml	SAT TO f=8 TT=240.202 T1=209.6	? (TO) TT=260.378	SAT (TO) f=22 TT=390.668 T1=76.41	SAT (TO) f=23 TT=420.603 T1=85.46	SAT (TO) f=22 TT=396.258 T1=79.19	? (TO) TT=252.76	? (TO) TT=253.778	? (TO) TT=253.324	? (TO) TT=256.1	? (TO) TT=256.089	? (TO) TT=255.573	SAT (TO) f=8 TT=240.269 T1=210.64	SAT (TO) f=8 TT=240.202 T1=209.6	SAT (TO) f=9 TT=240.554 T1=209.9	? (TO) TT=251.881	SAT (TO) f=624 TT=252.796 T1=31.34	SAT (TO) f=614 TT=253.07 T1=172.69	SAT (TO) f=624 TT=252.971 T1=31.47	SAT (TO) f=624 TT=1701.47 T1=195.07	SAT (TO) f=624 TT=1745.26 T1=1400.05	? (TO) TT=259.957
ChessboardColoration/ ChessboardColoration-int-s1/ ChessboardColoration-int-35-35.xml	SAT TO f=34 TT=960.651 T1=180.96	? (TO) TT=259.905	SAT (TO) f=33 TT=1028.01 T1=195.86	SAT (TO) f=34 TT=1120.04 T1=215.01	SAT (TO) f=34 TT=960.651 T1=180.96	? (TO) TT=252.105	? (TO) TT=252.062	? (TO) TT=264.106	? (TO) TT=252.05	? (TO) TT=264.135	? (TO) TT=259.032	? (MO) TT=212.943	? (MO) TT=215.492	? (MO) TT=213.554	? (TO) TT=251.964	? (TO) TT=252.08	? (TO) TT=255.805	? (TO) TT=252.088	? (TO) TT=966.182	? (TO) TT=1034.81	? (TO) TT=260.084
ChessboardColoration/ ChessboardColoration-int-s1/ ChessboardColoration-int-40-40.xml		? (TO) TT=260.285	? (TO) TT=1304.72	? (TO) TT=1269.46	? (TO) TT=1328.53	? (TO) TT=252.05	? (TO) TT=252.057	? (TO) TT=264.092	? (TO) TT=252.127	? (TO) TT=264.126	? (TO) TT=256.268	? (MO) TT=172.707	? (MO) TT=174.695	? (MO) TT=174.724	? (TO) TT=251.964	? (TO) TT=259.828	? (TO) TT=253.519	? (TO) TT=255.889	? (TO) TT=589.387	? (TO) TT=488.606	? (TO) TT=256.066
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	choco-solver 4.0.5 par (2017-07-26) (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-07-26) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.1 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	sat4j-CSP 2017-07-05 (complete)
ChessboardColoration/ ChessboardColoration-int-s2/ ChessboardColoration-int-04-06.xml	OPT f=1 TT=0.109 T1=0.11	OPT f=1 TT=1.507 T1=0.79	OPT f=1 TT=753.882 T1=234.37	OPT f=1 TT=758.873 T1=227.38	OPT f=1 TT=795.83 T1=239.68	OPT f=1 TT=26.606 T1=20.07	OPT f=1 TT=26.38 T1=19.9	OPT f=1 TT=26.385 T1=19.8	OPT f=1 TT=26.78 T1=20.15	OPT f=1 TT=26.028 T1=19.57	OPT f=1 TT=11.39 T1=4.99	OPT f=1 TT=0.109 T1=0.21	OPT f=1 TT=0.11 T1=0.11	OPT f=1 TT=0.109 T1=0.11	OPT f=1 TT=0.215 T1=0.31	SAT (TO) f=1 TT=252.678 T1=42.73	OPT f=1 TT=59.44 T1=34.22	OPT f=1 TT=59.542 T1=33.87	OPT f=1 TT=762.559 T1=204.92	OPT f=1 TT=755.255 T1=754.61	OPT f=1 TT=4.058 T1=2.03
ChessboardColoration/ ChessboardColoration-int-s2/ ChessboardColoration-int-07-09.xml	OPT f=2 TT=0.933 T1=0.92	OPT f=2 TT=3.247 T1=1.26	OPT f=2 TT=26.974 T1=6.29	OPT f=2 TT=26.44 T1=6.19	OPT f=2 TT=23.569 T1=3.65	OPT f=2 TT=22.963 T1=15.99	OPT f=2 TT=20.833 T1=15.12	OPT f=2 TT=22.424 T1=15.4	OPT f=2 TT=25.951 T1=14.61	OPT f=2 TT=26.128 T1=14.54	OPT f=2 TT=41.573 T1=25.73	OPT f=2 TT=0.942 T1=0.99	OPT f=2 TT=0.933 T1=0.92	OPT f=2 TT=1.001 T1=0.99	OPT f=2 TT=4.023 T1=4.06	SAT (TO) f=2 TT=252.724 T1=43.16	OPT f=2 TT=5.705 T1=2.19	OPT f=2 TT=5.629 T1=1.99	OPT f=2 TT=20.413 T1=4.07	OPT f=2 TT=19.533 T1=18.56	OPT f=2 TT=203.46 T1=176.76
ChessboardColoration/ ChessboardColoration-int-s2/ ChessboardColoration-int-09-11.xml	SAT TO f=3 TT=240.022 T1=2.19	SAT (TO) f=3 TT=243.632 T1=2.19	SAT (TO) f=3 TT=1920.13 T1=47.32	SAT (TO) f=3 TT=1842.77 T1=50.54	SAT (TO) f=3 TT=1847.67 T1=50.5	SAT (TO) f=3 TT=246.95 T1=90.27	SAT (TO) f=3 TT=247.177 T1=90.48	SAT (TO) f=3 TT=247.039 T1=89.77	SAT (TO) f=3 TT=254.405 T1=106.54	SAT (TO) f=3 TT=254.463 T1=106.09	SAT (TO) f=4 TT=263.943 T1=68.42	SAT (TO) f=3 TT=251.939 T1=2.7	SAT (TO) f=3 TT=240.022 T1=2.59	SAT (TO) f=3 TT=251.931 T1=2.73	SAT (TO) f=3 TT=251.906 T1=8.34	SAT (TO) f=3 TT=252.123 T1=21.53	SAT (TO) f=3 TT=249.5 T1=4.21	SAT (TO) f=3 TT=250.647 T1=4.23	SAT (TO) f=3 TT=964.998 T1=7.34	SAT (TO) f=3 TT=859.314 T1=37.88	? (TO) TT=260.163
ChessboardColoration/ ChessboardColoration-int-s2/ ChessboardColoration-int-15-17.xml	SAT TO f=4 TT=240.009 T1=24.37	SAT (TO) f=4 TT=252.154 T1=91.93	SAT (TO) f=13 TT=278.354 T1=10.25	SAT (TO) f=13 TT=277.879 T1=9.87	SAT (TO) f=13 TT=276.979 T1=9.92	? (TO) TT=245.06	? (TO) TT=244.907	? (TO) TT=245.38	? (TO) TT=245.39	? (TO) TT=245.611	SAT (TO) f=254 TT=252.117 T1=93.16	SAT (TO) f=4 TT=251.914 T1=24.24	SAT (TO) f=4 TT=240.009 T1=24.37	SAT (TO) f=4 TT=251.921 T1=77.06	? (TO) TT=251.898	SAT (TO) f=254 TT=252.098 T1=4.13	SAT (TO) f=5 TT=254.703 T1=109.45	SAT (TO) f=7 TT=260.65 T1=184.09	SAT (TO) f=5 TT=1658.34 T1=175.61	SAT (TO) f=4 TT=1538.57 T1=1290.78	? (TO) TT=260.139
ChessboardColoration/ ChessboardColoration-int-s2/ ChessboardColoration-int-16-18.xml	SAT TO f=4 TT=253.7 T1=152.85	SAT (TO) f=4 TT=253.7 T1=152.85	SAT (TO) f=14 TT=280.279 T1=11.9	SAT (TO) f=14 TT=279.033 T1=11.74	SAT (TO) f=14 TT=282.25 T1=12.34	? (TO) TT=245.87	? (TO) TT=245.912	? (TO) TT=246.187	? (TO) TT=246.07	? (TO) TT=246.25	SAT (TO) f=286 TT=252.114 T1=153.43	SAT (TO) f=5 TT=251.898 T1=29.35	SAT (TO) f=5 TT=251.939 T1=29.26	SAT (TO) f=5 TT=240.052 T1=30.97	? (TO) TT=251.831	SAT (TO) f=287 TT=259.696 T1=5.21	SAT (TO) f=5 TT=258.126 T1=183.06	SAT (TO) f=13 TT=252.043 T1=205.22	SAT (TO) f=122 TT=1920.87 T1=250.26	SAT (TO) f=111 TT=1931.1 T1=1929.48	? (TO) TT=260.276
ChessboardColoration/ ChessboardColoration-int-s2/ ChessboardColoration-int-17-19.xml	SAT TO f=5 TT=240.05 T1=36.77	SAT (TO) f=5 TT=254.611 T1=75.19	SAT (TO) f=14 TT=303.497 T1=17.83	SAT (TO) f=15 TT=293.675 T1=17.89	SAT (TO) f=15 TT=294.733 T1=14.47	? (TO) TT=246.9	? (TO) TT=246.28	? (TO) TT=246.914	? (TO) TT=247.15	? (TO) TT=246.58	SAT (TO) f=322 TT=252.378 T1=181.19	SAT (TO) f=5 TT=251.956 T1=46.9	SAT (TO) f=5 TT=251.952 T1=46.71	SAT (TO) f=5 TT=240.05 T1=36.77	? (TO) TT=251.958	SAT (TO) f=322 TT=258.56 T1=6.69	SAT (TO) f=145 TT=257.858 T1=239.82	? (TO) TT=257.898	SAT (TO) f=244 TT=1921.12 T1=249.41	SAT (TO) f=235 TT=1924.28 T1=1915.59	? (TO) TT=259.258
ChessboardColoration/ ChessboardColoration-int-s2/ ChessboardColoration-int-23-25.xml	SAT TO f=6 TT=240.267 T1=135.23	? (TO) TT=260.136	SAT (TO) f=21 TT=382.898 T1=66.18	SAT (TO) f=20 TT=394.796 T1=65.88	SAT (TO) f=21 TT=381.72 T1=65.86	? (TO) TT=250.86	? (TO) TT=250.819	? (TO) TT=251.517	? (TO) TT=254.19	? (TO) TT=254.488	? (TO) TT=254.178	SAT (TO) f=6 TT=240.13 T1=134.57	SAT (TO) f=6 TT=240.267 T1=135.23	SAT (TO) f=7 TT=240.463 T1=199.84	? (TO) TT=251.948	SAT (TO) f=22 TT=252.141 T1=192.09	SAT (TO) f=558 TT=252.102 T1=200.56	SAT (TO) f=572 TT=252.293 T1=193.59	SAT (TO) f=571 TT=1741.11 T1=209.74	SAT (TO) f=571 TT=1725.88 T1=1687.52	? (TO) TT=259.954
ChessboardColoration/ ChessboardColoration-int-s2/ ChessboardColoration-int-28-30.xml	SAT TO f=26 TT=527.803 T1=166.28	? (TO) TT=259.938	SAT (TO) f=26 TT=533.801 T1=168.93	SAT (TO) f=26 TT=536.809 T1=170.34	SAT (TO) f=26 TT=527.803 T1=166.28	? (TO) TT=260.8	? (TO) TT=260.76	? (TO) TT=261.095	? (TO) TT=252.064	? (TO) TT=264.079	? (TO) TT=254.194	? (TO) TT=240.648	? (TO) TT=240.529	? (MO) TT=203.383	? (TO) TT=251.904	SAT (TO) f=839 TT=253.525 T1=90.57	SAT (TO) f=836 TT=252.134 T1=166.17	SAT (TO) f=839 TT=252.148 T1=86.03	? (TO) TT=1535.56	? (TO) TT=1517.12	? (TO) TT=259.839
Cutstock/ Cutstock-zinc-s1/ Cutstock-t02-3.xml	SAT TO f=158 TT=2006.21 T1=3.16	? (TO) TT=242.232	SAT (TO) f=158 TT=1920.16 T1=3.81	SAT (TO) f=158 TT=2006.53 T1=3.16	SAT (TO) f=158 TT=2006.21 T1=3.63	? (TO) TT=244.49	? (TO) TT=244.887	? (TO) TT=244.748	? (TO) TT=254.74	? (TO) TT=253.356	SAT (TO) f=161 TT=261.641 T1=10.68	? (TO) TT=251.938	? (TO) TT=251.937	? (TO) TT=240.035	SAT (TO) f=159 TT=251.952 T1=43.75	SAT (TO) f=175 TT=251.164 T1=1.91	SAT (TO) f=167 TT=246.73 T1=30.25	SAT (TO) f=175 TT=253.786 T1=30.61	SAT (TO) f=161 TT=1921.14 T1=7.75	SAT (TO) f=164 TT=1964.59 T1=26.24	? (TO) TT=259.969
Cutstock/ Cutstock-zinc-s1/ Cutstock-t02-6.xml	SAT TO f=119 TT=251.897 T1=2.11	? (TO) TT=242.148	SAT (TO) f=119 TT=1920.08 T1=2.06	SAT (TO) f=119 TT=2006.71 T1=2.13	SAT (TO) f=119 TT=2006.87 T1=2.11	? (TO) TT=243.511	? (TO) TT=243.186	? (TO) TT=243.678	? (TO) TT=257.7	? (TO) TT=254.456	SAT (TO) f=123 TT=252.081 T1=10.01	? (TO) TT=251.914	? (TO) TT=251.95	? (TO) TT=240.031	SAT (TO) f=119 TT=251.897 T1=6.96	SAT (TO) f=130 TT=250.453 T1=1.14	SAT (TO) f=126 TT=246.257 T1=1.36	SAT (TO) f=126 TT=252.794 T1=1.35	SAT (TO) f=121 TT=1921.42 T1=5.65	SAT (TO) f=121 TT=1965.89 T1=18.26	? (TO) TT=260.107
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	choco-solver 4.0.5 par (2017-07-26) (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-07-26) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.1 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	sat4j-CSP 2017-07-05 (complete)
Cutstock/ Cutstock-zinc-s1/ Cutstock-t04-1.xml	SAT TO f=217 TT=1990.55 T1=24.02	? (TO) TT=242.713	SAT (TO) f=217 TT=1920.61 T1=26.11	SAT (TO) f=217 TT=1990.55 T1=25.1	SAT (TO) f=217 TT=1995.03 T1=24.02	? (TO) TT=245.332	? (TO) TT=245.09	? (TO) TT=245.861	? (TO) TT=253.81	? (TO) TT=254.093	? (TO) TT=253.256	? (TO) TT=251.9	? (TO) TT=251.886	? (TO) TT=240.045	? (TO) TT=251.928	SAT (TO) f=240 TT=252.664 T1=3.33	SAT (TO) f=226 TT=246.488 T1=135.34	SAT (TO) f=227 TT=253.54 T1=13.92	SAT (TO) f=219 TT=1921.34 T1=9.37	SAT (TO) f=218 TT=1960.04 T1=39.26	? (TO) TT=257.347
Cutstock/ Cutstock-zinc-s1/ Cutstock-t04-6.xml	SAT TO f=199 TT=251.943 T1=18.89	? (TO) TT=242.838	SAT (TO) f=199 TT=1920.64 T1=18.51	SAT (TO) f=199 TT=1993.75 T1=18.89	SAT (TO) f=199 TT=1993.94 T1=19.68	? (TO) TT=243.495	? (TO) TT=243.545	? (TO) TT=244.123	? (TO) TT=253.26	? (TO) TT=253.415	? (TO) TT=264.868	? (TO) TT=251.945	? (TO) TT=251.94	? (TO) TT=240.057	SAT (TO) f=199 TT=251.943 T1=224.44	SAT (TO) f=223 TT=251.294 T1=99.4	SAT (TO) f=200 TT=244.913 T1=5.86	SAT (TO) f=200 TT=252.5 T1=5.79	SAT (TO) f=200 TT=1921.56 T1=45.87	SAT (TO) f=199 TT=1937.23 T1=76.98	? (TO) TT=253.906
Cutstock/ Cutstock-zinc-s1/ Cutstock-t07-8.xml	OPT f=43 TT=0.291 T1=0.38	OPT f=43 TT=3.096 T1=1.33	OPT f=43 TT=7.004 T1=1.45	OPT f=43 TT=5.967 T1=1.12	OPT f=43 TT=5.457 T1=1.1	OPT f=43 TT=63.884 T1=57.2	OPT f=43 TT=63.308 T1=56.6	OPT f=43 TT=63.392 T1=56.51	SAT (TO) f=49 TT=252.92 T1=104.42	SAT (TO) f=49 TT=252.027 T1=104.91	OPT f=43 TT=68.436 T1=12.15	SAT (TO) f=47 TT=251.975 T1=252	SAT (TO) f=47 TT=251.966 T1=252	OPT f=43 TT=1.277 T1=1.27	OPT f=43 TT=0.291 T1=0.38	SAT (TO) f=43 TT=250.991 T1=48.4	OPT f=43 TT=2.305 T1=1.19	OPT f=43 TT=2.309 T1=1.21	OPT f=43 TT=13.843 T1=4.5	OPT f=43 TT=13.772 T1=13.22	? (TO) TT=260.062
Cutstock/ Cutstock-zinc-s1/ Cutstock-t08-5.xml	SAT TO f=533 TT=1935.94 T1=232.18	? (TO) TT=244.218	SAT (TO) f=533 TT=1920.15 T1=240.5	SAT (TO) f=533 TT=1949.53 T1=232.18	SAT (TO) f=533 TT=1935.94 T1=243.74	SAT (TO) f=617 TT=245.41 T1=61.74	SAT (TO) f=617 TT=245.031 T1=62.42	SAT (TO) f=617 TT=245.36 T1=63.87	? (TO) TT=249.6	? (TO) TT=249.768	? (TO) TT=253.401	? (TO) TT=251.943	? (TO) TT=251.852	? (TO) TT=240.126	? (TO) TT=251.915	SAT (TO) f=644 TT=251.733 T1=3.33	SAT (TO) f=550 TT=247.389 T1=8.15	SAT (TO) f=550 TT=254.162 T1=8.46	SAT (TO) f=552 TT=543.998 T1=29.26	SAT (TO) f=560 TT=570.629 T1=83.11	? (TO) TT=259.955
Cutstock/ Cutstock-zinc-s1/ Cutstock-t08-9.xml	OPT f=476 TT=12.897 T1=6.95	SAT (TO) f=637 TT=245.2 T1=4.76	OPT f=476 TT=1476.08 T1=182.91	SAT (TO) f=488 TT=1963.08 T1=251.92	SAT (TO) f=479 TT=1950.07 T1=251.31	SAT (TO) f=594 TT=244.22 T1=236.81	SAT (TO) f=566 TT=244.529 T1=233.92	SAT (TO) f=583 TT=244.512 T1=238.47	? (TO) TT=249.74	? (TO) TT=249.836	? (TO) TT=253.285	? (TO) TT=251.903	? (TO) TT=251.934	? (TO) TT=240.046	SAT (TO) f=551 TT=251.868 T1=238.78	SAT (TO) f=637 TT=251.971 T1=138.78	OPT f=476 TT=12.897 T1=12.22	OPT f=476 TT=13.387 T1=6.95	OPT f=476 TT=51.161 T1=16.36	OPT f=476 TT=51.121 T1=50.88	? (TO) TT=260.075
Cutstock/ Cutstock-zinc-s1/ Cutstock-t13-1.xml	OPT f=63 TT=0.609 T1=0.63	OPT f=63 TT=3.012 T1=1.28	OPT f=63 TT=7.324 T1=1.26	OPT f=63 TT=7.486 T1=1.03	OPT f=63 TT=11.325 T1=1.32	OPT f=63 TT=16.899 T1=9.42	OPT f=63 TT=16.28 T1=9.26	OPT f=63 TT=16.601 T1=9.4	SAT (TO) f=67 TT=253.81 T1=62.23	SAT (TO) f=67 TT=254.842 T1=61.47	OPT f=63 TT=234.288 T1=5.24	OPT f=63 TT=2.793 T1=2.84	OPT f=63 TT=2.772 T1=2.83	OPT f=63 TT=4.025 T1=4.02	OPT f=63 TT=0.609 T1=0.63	SAT (TO) f=63 TT=250.946 T1=95.91	OPT f=63 TT=2.59 T1=1.27	OPT f=63 TT=2.711 T1=1.29	OPT f=63 TT=16.868 T1=6.79	OPT f=63 TT=18.106 T1=17.08	? (TO) TT=258.838
Cutstock/ Cutstock-zinc-s1/ Cutstock-t15-1.xml	OPT f=123 TT=7.252 T1=2.69	OPT f=123 TT=22.802 T1=17.66	OPT f=123 TT=59.875 T1=5.79	OPT f=123 TT=82.029 T1=5.77	OPT f=123 TT=70.823 T1=5.57	SAT (TO) f=148 TT=245.53 T1=39.43	SAT (TO) f=148 TT=245.939 T1=39.82	SAT (TO) f=148 TT=246.032 T1=39.69	SAT (TO) f=159 TT=253.92 T1=86.04	SAT (TO) f=159 TT=253.877 T1=85.96	? (TO) TT=253.096	? (TO) TT=251.949	? (TO) TT=251.958	SAT (TO) f=166 TT=251.905 T1=252	OPT f=123 TT=39.43 T1=37.04	SAT (TO) f=166 TT=251.99 T1=104.12	OPT f=123 TT=7.376 T1=2.73	OPT f=123 TT=7.252 T1=2.69	OPT f=123 TT=36.234 T1=9.63	OPT f=123 TT=42.995 T1=42.22	? (TO) TT=259.985
Cutstock/ Cutstock-zinc-s1/ Cutstock-t15-2.xml	OPT f=122 TT=154.98 T1=10.97	SAT (TO) f=122 TT=243.444 T1=5.36	SAT (TO) f=122 TT=1920.21 T1=6.67	SAT (TO) f=122 TT=2004.7 T1=6.86	SAT (TO) f=122 TT=2004.05 T1=7.59	SAT (TO) f=147 TT=245.31 T1=99.33	SAT (TO) f=147 TT=245.366 T1=99.36	SAT (TO) f=147 TT=245.393 T1=98.35	? (TO) TT=251.6	? (TO) TT=251.484	? (TO) TT=262.452	? (TO) TT=251.943	? (TO) TT=251.928	? (TO) TT=251.896	SAT (TO) f=122 TT=251.942 T1=11.95	SAT (TO) f=169 TT=251.913 T1=198.07	SAT (TO) f=123 TT=246.61 T1=24.92	SAT (TO) f=137 TT=254.556 T1=4.31	OPT f=122 TT=273.626 T1=10.97	OPT f=122 TT=154.98 T1=45.27	? (TO) TT=260.025
Cutstock/ Cutstock-zinc-s1/ Cutstock-t15-3.xml	SAT TO f=102 TT=2005.33 T1=4.8	SAT (TO) f=107 TT=243.146 T1=140.43	SAT (TO) f=102 TT=1920.47 T1=5.8	SAT (TO) f=102 TT=2005.33 T1=4.8	SAT (TO) f=102 TT=2005.36 T1=4.93	SAT (TO) f=138 TT=244.73 T1=36.19	SAT (TO) f=138 TT=245.539 T1=36.46	SAT (TO) f=138 TT=244.778 T1=35.71	? (TO) TT=254.09	? (TO) TT=254.038	SAT (TO) f=106 TT=252.109 T1=75.89	? (TO) TT=251.934	? (TO) TT=251.935	? (TO) TT=251.884	SAT (TO) f=105 TT=251.926 T1=25.01	SAT (TO) f=146 TT=250.498 T1=1.72	SAT (TO) f=112 TT=246.117 T1=5.15	SAT (TO) f=112 TT=252.807 T1=5.51	SAT (TO) f=108 TT=1947.41 T1=11.98	SAT (TO) f=117 TT=1951.21 T1=72.64	? (TO) TT=260.082
Cutstock/ Cutstock-zinc-s1/ Cutstock-t15-7.xml	OPT f=171 TT=8.278 T1=2.87	OPT f=171 TT=8.278 T1=2.87	OPT f=171 TT=41.182 T1=4.04	OPT f=171 TT=44.619 T1=4.18	OPT f=171 TT=46.994 T1=4.27	OPT f=171 TT=29.975 T1=25.53	OPT f=171 TT=29.952 T1=25.52	OPT f=171 TT=29.643 T1=25.32	? (TO) TT=251.25	? (TO) TT=250.894	SAT (TO) f=171 TT=264.06 T1=33.8	? (TO) TT=251.943	? (TO) TT=251.9	OPT f=171 TT=197.911 T1=197.9	OPT f=171 TT=18.708 T1=17.27	SAT (TO) f=196 TT=250.891 T1=162.93	OPT f=171 TT=8.467 T1=3.98	OPT f=171 TT=9.914 T1=4.3	OPT f=171 TT=60.615 T1=12.08	OPT f=171 TT=53.88 T1=53.3	? (TO) TT=260.116
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	choco-solver 4.0.5 par (2017-07-26) (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-07-26) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.1 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	sat4j-CSP 2017-07-05 (complete)
Cutstock/ Cutstock-zinc-s1/ Cutstock-t16-0.xml	SAT TO f=1611 TT=1948.77 T1=222.86	? (TO) TT=248.59	SAT (TO) f=1611 TT=1920.31 T1=245.1	SAT (TO) f=1611 TT=1955.29 T1=222.86	SAT (TO) f=1611 TT=1948.77 T1=247.11	? (TO) TT=245.96	? (TO) TT=246.261	? (TO) TT=245.405	? (TO) TT=247.334	? (TO) TT=247.461	? (TO) TT=255.965	? (TO) TT=240.064	? (TO) TT=240.114	? (TO) TT=240.587	? (TO) TT=251.852	? (TO) TT=246.94	? (TO) TT=249.24	? (TO) TT=248.054	? (TO) TT=1594.61	? (TO) TT=1590.95	? TT=194.343
Cutstock/ Cutstock-zinc-s1/ Cutstock-t16-1.xml	SAT TO f=1510 TT=1975.21 T1=240.19	? (TO) TT=247.109	SAT (TO) f=1511 TT=1920.45 T1=190.39	SAT (TO) f=1510 TT=1975.21 T1=240.19	SAT (TO) f=1511 TT=1978.39 T1=191.86	? (TO) TT=245.17	? (TO) TT=245.451	? (TO) TT=245.703	? (TO) TT=247.32	? (TO) TT=247.247	? (TO) TT=255.625	? (TO) TT=240.042	? (TO) TT=240.118	? (TO) TT=240.487	? (TO) TT=251.872	? (TO) TT=247.806	? (TO) TT=249.394	? (TO) TT=248.791	? (TO) TT=1632.04	? (TO) TT=1634.54	? TT=173.844
Cutstock/ Cutstock-zinc-s1/ Cutstock-t16-5.xml	SAT TO f=1170 TT=1724.09 T1=970.97	? (TO) TT=246.349	SAT (TO) f=1240 TT=1920.79 T1=213.59	SAT (TO) f=1240 TT=1935.31 T1=234.89	SAT (TO) f=1240 TT=1909.51 T1=225.58	? (TO) TT=244.666	? (TO) TT=244.595	? (TO) TT=244.86	? (TO) TT=248.57	? (TO) TT=247.551	? (TO) TT=255.085	? (TO) TT=240.008	? (TO) TT=240.037	? (TO) TT=240.416	? (TO) TT=251.807	? (TO) TT=247.263	? (TO) TT=247.073	? (TO) TT=247.612	? (TO) TT=1725.23	SAT (TO) f=1170 TT=1724.09 T1=970.97	? TT=121.872
Cutstock/ Cutstock-zinc-s1/ Cutstock-t16-6.xml	SAT TO f=1094 TT=1127.57 T1=154.52	? (TO) TT=247.075	SAT (TO) f=1367 TT=1920.15 T1=240.59	SAT (TO) f=1367 TT=1957 T1=227.16	SAT (TO) f=1368 TT=1975.78 T1=179.91	? (TO) TT=245.061	? (TO) TT=245.599	? (TO) TT=245.61	? (TO) TT=245.99	? (TO) TT=245.961	? (TO) TT=255.316	? (TO) TT=240.01	? (TO) TT=240.054	? (TO) TT=240.312	? (TO) TT=251.915	? (TO) TT=247.803	? (TO) TT=247.966	? (TO) TT=248.17	SAT (TO) f=1094 TT=1127.57 T1=154.52	? (TO) TT=1144.94	? TT=147.685
Cutstock/ Cutstock-zinc-s1/ Cutstock-t16-7.xml	SAT TO f=1808 TT=1956.1 T1=184.08	? (TO) TT=246.924	No Cert. TT=1920.73	SAT (TO) f=1808 TT=1961.07 T1=184.08	SAT (TO) f=1808 TT=1956.1 T1=217.6	? (TO) TT=245.65	? (TO) TT=246.102	? (TO) TT=246.084	? (TO) TT=247.32	? (TO) TT=247.26	? (TO) TT=256.362	? (TO) TT=240.058	? (TO) TT=240.135	? (TO) TT=240.656	? (TO) TT=251.954	SAT (TO) f=1810 TT=252.138 T1=101.73	? (TO) TT=249.302	? (TO) TT=249.055	? (TO) TT=1551.43	? (TO) TT=1543.93	? TT=206.097
Fastfood/ Fastfood-m1-s1/ Fastfood-ff06.xml	OPT f=2 TT=0.186 T1=0.24	OPT f=2 TT=3.292 T1=1.29	OPT f=2 TT=19.312 T1=3.34	OPT f=2 TT=19.956 T1=3.31	OPT f=2 TT=19.139 T1=3.22	OPT f=2 TT=2.498 T1=1.01	OPT f=2 TT=2.529 T1=0.91	OPT f=2 TT=2.522 T1=0.92	OPT f=2 TT=4.209 T1=1.33	OPT f=2 TT=4.093 T1=1.15	OPT f=2 TT=15.553 T1=6.14	OPT f=2 TT=0.225 T1=0.28	OPT f=2 TT=0.228 T1=0.31	OPT f=2 TT=0.287 T1=0.37	OPT f=2 TT=0.186 T1=0.24	SAT (TO) f=2 TT=249.804 T1=22.75	OPT f=2 TT=3.527 T1=1.5	OPT f=2 TT=3.674 T1=1.49	OPT f=2 TT=13.743 T1=3.81	OPT f=2 TT=13.758 T1=7.51	SAT (TO) f=6 TT=246.434 T1=214.92
Fastfood/ Fastfood-m1-s1/ Fastfood-ff15.xml	OPT f=1 TT=0.221 T1=0.21	OPT f=1 TT=3.184 T1=1.23	OPT f=1 TT=28.305 T1=4.6	OPT f=1 TT=29.633 T1=4.5	OPT f=1 TT=29.781 T1=4.56	OPT f=1 TT=3.016 T1=1.2	OPT f=1 TT=2.992 T1=1.27	OPT f=1 TT=3.115 T1=1.08	OPT f=1 TT=4.072 T1=1.24	OPT f=1 TT=3.855 T1=1.15	OPT f=1 TT=16.755 T1=6.6	OPT f=1 TT=0.223 T1=0.27	OPT f=1 TT=0.221 T1=0.21	OPT f=1 TT=0.304 T1=0.3	OPT f=1 TT=0.233 T1=0.26	SAT (TO) f=1 TT=249.352 T1=2.65	OPT f=1 TT=3.472 T1=1.51	OPT f=1 TT=3.431 T1=1.52	OPT f=1 TT=10.043 T1=2.49	OPT f=1 TT=10.013 T1=8.99	SAT (TO) f=3 TT=246.288 T1=226.56
Fastfood/ Fastfood-m1-s1/ Fastfood-ff16.xml	OPT f=1916 TT=0.32 T1=0.27	OPT f=1916 TT=4.431 T1=1.6	OPT f=1916 TT=10.528 T1=2.03	OPT f=1916 TT=9.44 T1=1.77	OPT f=1916 TT=12.149 T1=2.21	OPT f=1916 TT=34.351 T1=6.57	OPT f=1916 TT=34.413 T1=6.54	OPT f=1916 TT=34.418 T1=6.46	OPT f=1916 TT=61.732 T1=50.09	OPT f=1916 TT=61.265 T1=49.34	OPT f=1916 TT=18.764 T1=6.43	OPT f=1916 TT=1.559 T1=1.65	OPT f=1916 TT=1.548 T1=1.54	OPT f=1916 TT=1.03 T1=1.03	OPT f=1916 TT=0.32 T1=0.27	SAT (TO) f=1916 TT=249.355 T1=37.2	OPT f=1916 TT=3.285 T1=1.48	OPT f=1916 TT=3.315 T1=1.5	OPT f=1916 TT=22.665 T1=9.82	OPT f=1916 TT=23.351 T1=22.84	SAT (TO) f=1916 TT=244.537 T1=209.32
Fastfood/ Fastfood-m1-s1/ Fastfood-ff18.xml	OPT f=1143 TT=6.385 T1=0.68	OPT f=1143 TT=29.117 T1=8.77	OPT f=1143 TT=31.818 T1=4.99	OPT f=1143 TT=28.698 T1=4.51	OPT f=1143 TT=30.262 T1=4.59	SAT (TO) f=1165 TT=243.74 T1=224.01	SAT (TO) f=1165 TT=243.795 T1=227.88	SAT (TO) f=1165 TT=244.227 T1=227.46	SAT (TO) f=1143 TT=250.38 T1=237.03	SAT (TO) f=1144 TT=250.681 T1=207.96	OPT f=1143 TT=120.746 T1=7.12	OPT f=1143 TT=36.692 T1=36.79	OPT f=1143 TT=36.288 T1=36.28	OPT f=1143 TT=18.027 T1=18.02	OPT f=1143 TT=6.385 T1=0.68	SAT (TO) f=1143 TT=249.325 T1=28.63	OPT f=1143 TT=7.337 T1=2.9	OPT f=1143 TT=7.336 T1=2.93	OPT f=1143 TT=63.046 T1=22.6	OPT f=1143 TT=68.763 T1=64.41	SAT (TO) f=1273 TT=245.344 T1=190.86
Fastfood/ Fastfood-m1-s1/ Fastfood-ff32.xml	OPT f=5708 TT=0.037 T1=0.04	OPT f=5708 TT=1.406 T1=0.8	OPT f=5708 TT=2.984 T1=0.95	OPT f=5708 TT=2.902 T1=0.84	OPT f=5708 TT=3.103 T1=0.86	OPT f=5708 TT=1.395 T1=0.71	OPT f=5708 TT=1.393 T1=0.73	OPT f=5708 TT=1.387 T1=0.57	OPT f=5708 TT=1.817 T1=0.72	OPT f=5708 TT=1.799 T1=0.6	? TT=6.281	OPT f=5708 TT=0.044 T1=0.1	OPT f=5708 TT=0.044 T1=0.11	OPT f=5708 TT=0.047 T1=0.04	OPT f=5708 TT=0.037 T1=0.16	SAT (TO) f=5708 TT=247.559 T1=1.31	OPT f=5708 TT=1.659 T1=1.11	OPT f=5708 TT=1.636 T1=0.95	OPT f=5708 TT=3.646 T1=1.51	OPT f=5708 TT=3.39 T1=3.06	OPT f=5708 TT=5.195 T1=2.17
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	choco-solver 4.0.5 par (2017-07-26) (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-07-26) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.1 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	sat4j-CSP 2017-07-05 (complete)
Fastfood/ Fastfood-m1-s1/ Fastfood-ff37.xml	OPT f=644 TT=1.322 T1=1.25	OPT f=644 TT=10.243 T1=3.23	OPT f=644 TT=14.808 T1=2.52	OPT f=644 TT=17.948 T1=2.83	OPT f=644 TT=15.207 T1=2.5	OPT f=644 TT=51.163 T1=40.61	OPT f=644 TT=51.864 T1=40.7	OPT f=644 TT=51.668 T1=40.5	OPT f=644 TT=158.829 T1=84.4	OPT f=644 TT=159.417 T1=84.55	OPT f=644 TT=25.198 T1=4.98	OPT f=644 TT=5.973 T1=6.07	OPT f=644 TT=5.948 T1=5.94	OPT f=644 TT=4.053 T1=4.14	OPT f=644 TT=1.322 T1=1.25	SAT (TO) f=644 TT=249.418 T1=79.44	OPT f=644 TT=5.17 T1=2.05	OPT f=644 TT=4.778 T1=1.97	OPT f=644 TT=15.711 T1=4.9	OPT f=644 TT=15.1 T1=12.72	SAT (TO) f=658 TT=243.985 T1=238.71
Fastfood/ Fastfood-m1-s1/ Fastfood-ff41.xml	OPT f=14 TT=0.385 T1=0.33	OPT f=14 TT=4.001 T1=1.71	OPT f=14 TT=27.827 T1=4.26	OPT f=14 TT=30.091 T1=4.3	OPT f=14 TT=29.677 T1=4.22	OPT f=14 TT=4.082 T1=1.38	OPT f=14 TT=4.061 T1=1.37	OPT f=14 TT=3.977 T1=1.2	OPT f=14 TT=8.664 T1=2.47	OPT f=14 TT=9.353 T1=2.39	OPT f=14 TT=19.509 T1=6.23	OPT f=14 TT=1.801 T1=1.85	OPT f=14 TT=1.799 T1=1.89	OPT f=14 TT=1.647 T1=1.64	OPT f=14 TT=0.385 T1=0.33	SAT (TO) f=14 TT=250.424 T1=49.14	OPT f=14 TT=6.144 T1=2.41	OPT f=14 TT=5.811 T1=2.32	OPT f=14 TT=25.725 T1=7.32	OPT f=14 TT=24.842 T1=20.25	SAT (TO) f=175 TT=245.9 T1=210.72
Fastfood/ Fastfood-m1-s1/ Fastfood-ff44.xml	OPT f=3 TT=0.133 T1=0.13	OPT f=3 TT=3.045 T1=1.24	OPT f=3 TT=28.894 T1=4.61	OPT f=3 TT=24.867 T1=4.03	OPT f=3 TT=25.913 T1=4.24	OPT f=3 TT=2.937 T1=1.18	OPT f=3 TT=2.929 T1=1.06	OPT f=3 TT=2.873 T1=1.03	OPT f=3 TT=5.273 T1=1.8	OPT f=3 TT=5.559 T1=1.86	OPT f=3 TT=15.615 T1=6.09	OPT f=3 TT=0.137 T1=0.18	OPT f=3 TT=0.133 T1=0.13	OPT f=3 TT=0.172 T1=0.17	OPT f=3 TT=0.196 T1=0.24	SAT (TO) f=3 TT=250.09 T1=18.33	OPT f=3 TT=3.805 T1=1.88	OPT f=3 TT=3.721 T1=1.87	OPT f=3 TT=20.488 T1=6.41	OPT f=3 TT=20.228 T1=18.62	SAT (TO) f=28 TT=245.648 T1=188.34
Fastfood/ Fastfood-m1-s1/ Fastfood-ff46.xml	OPT f=1 TT=0.084 T1=0.08	OPT f=1 TT=2.403 T1=1.03	OPT f=1 TT=27.651 T1=4.51	OPT f=1 TT=26.974 T1=4.34	OPT f=1 TT=26.633 T1=4.27	OPT f=1 TT=2.359 T1=1.07	OPT f=1 TT=2.512 T1=1.03	OPT f=1 TT=2.543 T1=0.9	OPT f=1 TT=3.109 T1=1.02	OPT f=1 TT=3.288 T1=0.93	OPT f=1 TT=14.699 T1=5.87	OPT f=1 TT=0.086 T1=0.15	OPT f=1 TT=0.084 T1=0.08	OPT f=1 TT=0.127 T1=0.12	OPT f=1 TT=0.166 T1=0.22	SAT (TO) f=1 TT=249.782 T1=1.52	OPT f=1 TT=3.184 T1=1.4	OPT f=1 TT=3.134 T1=1.38	OPT f=1 TT=9.014 T1=2.29	OPT f=1 TT=9.919 T1=8.71	OPT f=1 TT=146.449 T1=115.87
Fastfood/ Fastfood-m1-s1/ Fastfood-ff54.xml	OPT f=3420 TT=0.419 T1=0.33	OPT f=3420 TT=6.164 T1=2.6	OPT f=3420 TT=15.266 T1=2.31	OPT f=3420 TT=13.536 T1=2.27	OPT f=3420 TT=15.011 T1=2.46	OPT f=3420 TT=61.499 T1=47.74	OPT f=3420 TT=61.332 T1=48.12	OPT f=3420 TT=60.32 T1=46.55	OPT f=3420 TT=78.213 T1=50.95	OPT f=3420 TT=80.129 T1=52.12	OPT f=3420 TT=28.041 T1=7.65	OPT f=3420 TT=2.625 T1=2.67	OPT f=3420 TT=2.6 T1=2.65	OPT f=3420 TT=1.883 T1=1.99	OPT f=3420 TT=0.419 T1=0.33	SAT (TO) f=3420 TT=249.406 T1=10.76	OPT f=3420 TT=3.833 T1=1.58	OPT f=3420 TT=3.66 T1=1.49	OPT f=3420 TT=31.367 T1=14.19	OPT f=3420 TT=28.822 T1=27.53	SAT (TO) f=3458 TT=244.777 T1=176.49
Fastfood/ Fastfood-m1-s1/ Fastfood-ff57.xml	OPT f=1334 TT=19.114 T1=6.95	SAT (TO) f=1348 TT=242.912 T1=238.37	OPT f=1334 TT=98.113 T1=13.63	OPT f=1334 TT=77.894 T1=9.3	OPT f=1334 TT=91.679 T1=12.39	SAT (TO) f=1760 TT=244.47 T1=171.74	SAT (TO) f=1760 TT=244.829 T1=173.48	SAT (TO) f=1760 TT=244.473 T1=171.96	SAT (TO) f=1798 TT=250.4 T1=72.99	SAT (TO) f=1798 TT=249.912 T1=73.24	SAT (TO) f=1334 TT=256.354 T1=7.46	SAT (TO) f=1342 TT=251.889 T1=252.01	SAT (TO) f=1365 TT=240.04 T1=240	OPT f=1334 TT=131.965 T1=131.96	OPT f=1334 TT=39.642 T1=19.76	SAT (TO) f=1334 TT=249.015 T1=80.79	OPT f=1334 TT=19.114 T1=6.95	SAT (TO) f=1334 TT=250.65 T1=7.55	OPT f=1334 TT=156.516 T1=32.18	OPT f=1334 TT=143.479 T1=141.72	SAT (TO) f=3858 TT=245.89 T1=174.6
Fastfood/ Fastfood-m1-s1/ Fastfood-ff65.xml	OPT f=63 TT=6.106 T1=1.48	OPT f=63 TT=6.471 T1=2.19	OPT f=63 TT=41.464 T1=4.58	OPT f=63 TT=43.757 T1=5.24	OPT f=63 TT=36.672 T1=4.12	OPT f=63 TT=9.629 T1=3.99	OPT f=63 TT=10.601 T1=3.89	OPT f=63 TT=9.749 T1=3.86	OPT f=63 TT=37.108 T1=18.68	OPT f=63 TT=36.445 T1=18.28	OPT f=63 TT=36.441 T1=6.4	OPT f=63 TT=9.113 T1=9.21	OPT f=63 TT=9.063 T1=9.16	OPT f=63 TT=6.106 T1=6.2	OPT f=63 TT=6.719 T1=1.48	SAT (TO) f=63 TT=248.551 T1=40.75	OPT f=63 TT=6.576 T1=2.92	OPT f=63 TT=6.95 T1=2.94	OPT f=63 TT=34.359 T1=8.23	OPT f=63 TT=34.671 T1=32.73	SAT (TO) f=116 TT=245.452 T1=179.6
Fastfood/ Fastfood-m1-s1/ Fastfood-ff69.xml	OPT f=6119 TT=0.04 T1=0.05	OPT f=6119 TT=1.478 T1=0.8	OPT f=6119 TT=3.213 T1=1.03	OPT f=6119 TT=3.154 T1=0.83	OPT f=6119 TT=3.182 T1=0.83	OPT f=6119 TT=1.465 T1=0.66	OPT f=6119 TT=1.455 T1=0.66	OPT f=6119 TT=1.427 T1=0.56	OPT f=6119 TT=1.95 T1=0.72	OPT f=6119 TT=2 T1=0.58	? TT=5.892	OPT f=6119 TT=0.048 T1=0.1	OPT f=6119 TT=0.048 T1=0.11	OPT f=6119 TT=0.051 T1=0.05	OPT f=6119 TT=0.04 T1=0.11	SAT (TO) f=6119 TT=248.238 T1=1.31	OPT f=6119 TT=1.702 T1=0.92	OPT f=6119 TT=1.719 T1=0.96	OPT f=6119 TT=3.976 T1=1.58	OPT f=6119 TT=3.892 T1=3.34	OPT f=6119 TT=7.687 T1=1.83
Fastfood/ Fastfood-m1-s1/ Fastfood-ff71.xml	OPT f=16 TT=0.344 T1=0.25	OPT f=16 TT=3.149 T1=1.31	OPT f=16 TT=20.96 T1=3.38	OPT f=16 TT=19.699 T1=3.16	OPT f=16 TT=21.307 T1=3.2	OPT f=16 TT=3.297 T1=1.22	OPT f=16 TT=3.39 T1=1.13	OPT f=16 TT=3.221 T1=1.1	OPT f=16 TT=8.016 T1=2.43	OPT f=16 TT=8.013 T1=2.26	OPT f=16 TT=17.751 T1=5.97	OPT f=16 TT=0.868 T1=0.97	OPT f=16 TT=0.875 T1=0.87	OPT f=16 TT=0.782 T1=0.78	OPT f=16 TT=0.344 T1=0.25	SAT (TO) f=16 TT=249.652 T1=46.21	OPT f=16 TT=4.364 T1=1.69	OPT f=16 TT=4.545 T1=1.88	OPT f=16 TT=20.178 T1=5.99	OPT f=16 TT=20.67 T1=18.92	SAT (TO) f=24 TT=246.107 T1=233.54
Fastfood/ Fastfood-m1-s1/ Fastfood-ff76.xml	OPT f=310 TT=9.398 T1=1.19	OPT f=310 TT=23.093 T1=16.05	OPT f=310 TT=72.838 T1=7.6	OPT f=310 TT=76.576 T1=6.37	OPT f=310 TT=96.233 T1=9.15	OPT f=310 TT=118.384 T1=108.57	OPT f=310 TT=118.539 T1=108.32	OPT f=310 TT=121.489 T1=111.19	SAT (TO) f=321 TT=253.62 T1=187.84	SAT (TO) f=321 TT=252.51 T1=187.74	OPT f=310 TT=93.825 T1=8.83	OPT f=310 TT=21.535 T1=21.63	OPT f=310 TT=21.505 T1=21.54	OPT f=310 TT=27.559 T1=27.65	OPT f=310 TT=29.415 T1=1.19	SAT (TO) f=310 TT=250.221 T1=134.9	OPT f=310 TT=9.398 T1=5.44	OPT f=310 TT=9.973 T1=5.65	OPT f=310 TT=53.779 T1=11.4	OPT f=310 TT=56.129 T1=44.15	SAT (TO) f=389 TT=244.674 T1=177.17
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	choco-solver 4.0.5 par (2017-07-26) (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-07-26) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.1 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	sat4j-CSP 2017-07-05 (complete)
Fastfood/ Fastfood-m1-s1/ Fastfood-ff77.xml	OPT f=125 TT=1.302 T1=0.96	OPT f=125 TT=4.795 T1=2.06	OPT f=125 TT=15.516 T1=2.6	OPT f=125 TT=17.447 T1=2.75	OPT f=125 TT=14.134 T1=2.42	OPT f=125 TT=7.73 T1=3.62	OPT f=125 TT=8.121 T1=3.58	OPT f=125 TT=8.451 T1=3.52	OPT f=125 TT=17.711 T1=6.57	OPT f=125 TT=18.42 T1=6.58	OPT f=125 TT=17.039 T1=5.07	OPT f=125 TT=2.418 T1=2.48	OPT f=125 TT=2.402 T1=2.4	OPT f=125 TT=2.111 T1=2.11	OPT f=125 TT=1.302 T1=0.96	SAT (TO) f=125 TT=249.282 T1=14.34	OPT f=125 TT=4.78 T1=1.89	OPT f=125 TT=4.87 T1=2.03	OPT f=125 TT=17.182 T1=5.12	OPT f=125 TT=15.972 T1=15.38	OPT f=125 TT=217.501 T1=203.22
Fastfood/ Fastfood-m1-s1/ Fastfood-ff84.xml	OPT f=770 TT=0.128 T1=0.12	OPT f=770 TT=2.831 T1=1.18	OPT f=770 TT=7.543 T1=1.54	OPT f=770 TT=6.762 T1=1.33	OPT f=770 TT=6.729 T1=1.32	OPT f=770 TT=9.074 T1=3.44	OPT f=770 TT=9.267 T1=3.39	OPT f=770 TT=8.991 T1=3.31	OPT f=770 TT=25.823 T1=10.09	OPT f=770 TT=23.461 T1=9.59	OPT f=770 TT=12.764 T1=4.92	OPT f=770 TT=0.586 T1=0.68	OPT f=770 TT=0.589 T1=0.58	OPT f=770 TT=0.318 T1=0.31	OPT f=770 TT=0.128 T1=0.12	SAT (TO) f=770 TT=249.617 T1=11.74	OPT f=770 TT=2.849 T1=1.21	OPT f=770 TT=2.959 T1=1.23	OPT f=770 TT=14.133 T1=6.37	OPT f=770 TT=13.889 T1=13.1	OPT f=770 TT=42.088 T1=30.68
GolombRuler/ GolombRuler-a3-s1/ GolombRuler-05-a3.xml	OPT f=11 TT=0.024 T1=0.09	OPT f=11 TT=3.235 T1=1.18	OPT f=11 TT=1.415 T1=0.71	OPT f=11 TT=1.421 T1=0.57	OPT f=11 TT=1.398 T1=0.58	OPT f=11 TT=1.48 T1=0.72	OPT f=11 TT=1.484 T1=0.63	OPT f=11 TT=1.477 T1=0.64	OPT f=11 TT=2.066 T1=0.92	OPT f=11 TT=2.062 T1=0.8	OPT f=11 TT=8.722 T1=4.05	OPT f=11 TT=0.036 T1=0.1	OPT f=11 TT=0.035 T1=0.09	OPT f=11 TT=0.303 T1=0.37	OPT f=11 TT=0.024 T1=0.13	SAT (TO) f=11 TT=247.349 T1=1.05	OPT f=11 TT=1.775 T1=0.99	OPT f=11 TT=1.809 T1=1.35	OPT f=11 TT=9.111 T1=3.1	OPT f=11 TT=9.563 T1=8.5	OPT f=11 TT=18.081 T1=6.97
GolombRuler/ GolombRuler-a3-s1/ GolombRuler-06-a3.xml	OPT f=17 TT=0.037 T1=0.13	OPT f=17 TT=8.63 T1=2.04	OPT f=17 TT=1.694 T1=0.76	OPT f=17 TT=1.743 T1=0.63	OPT f=17 TT=1.765 T1=0.64	OPT f=17 TT=1.106 T1=0.65	OPT f=17 TT=1.076 T1=0.5	OPT f=17 TT=1.113 T1=0.52	OPT f=17 TT=1.564 T1=0.75	OPT f=17 TT=1.552 T1=0.62	OPT f=17 TT=9.635 T1=4.38	OPT f=17 TT=0.305 T1=0.25	OPT f=17 TT=0.309 T1=0.26	OPT f=17 TT=0.586 T1=0.53	OPT f=17 TT=0.037 T1=0.13	SAT (TO) f=17 TT=247.933 T1=1.09	OPT f=17 TT=2.038 T1=1.08	OPT f=17 TT=2.074 T1=1.13	OPT f=17 TT=13.805 T1=3.69	OPT f=17 TT=10.526 T1=9.84	OPT f=17 TT=24.233 T1=10.25
GolombRuler/ GolombRuler-a3-s1/ GolombRuler-07-a3.xml	OPT f=25 TT=0.087 T1=0.16	OPT f=25 TT=125.184 T1=4.46	OPT f=25 TT=2.995 T1=0.82	OPT f=25 TT=2.717 T1=0.66	OPT f=25 TT=2.866 T1=0.68	OPT f=25 TT=2.281 T1=0.79	OPT f=25 TT=2.216 T1=0.84	OPT f=25 TT=2.211 T1=0.68	OPT f=25 TT=5.795 T1=1.36	OPT f=25 TT=5.869 T1=1.21	OPT f=25 TT=10.223 T1=4.7	OPT f=25 TT=2.217 T1=1.23	OPT f=25 TT=2.214 T1=1.22	OPT f=25 TT=2.099 T1=0.77	OPT f=25 TT=0.087 T1=0.16	SAT (TO) f=25 TT=247.551 T1=1.24	OPT f=25 TT=2.255 T1=1.11	OPT f=25 TT=2.22 T1=1.13	OPT f=25 TT=13.067 T1=3.98	OPT f=25 TT=14.757 T1=14.1	OPT f=25 TT=58.417 T1=33.77
GolombRuler/ GolombRuler-a3-s1/ GolombRuler-08-a3.xml	OPT f=34 TT=0.337 T1=0.16	SAT (TO) f=34 TT=242.214 T1=44.49	OPT f=34 TT=6.082 T1=0.97	OPT f=34 TT=6.612 T1=0.79	OPT f=34 TT=6.21 T1=0.88	OPT f=34 TT=6.804 T1=2.92	OPT f=34 TT=7.21 T1=3.08	OPT f=34 TT=6.66 T1=2.76	OPT f=34 TT=37.708 T1=24.03	OPT f=34 TT=38.89 T1=24.39	OPT f=34 TT=11.823 T1=4.96	OPT f=34 TT=22.683 T1=8.14	OPT f=34 TT=22.815 T1=8.16	OPT f=34 TT=18.768 T1=16.44	OPT f=34 TT=0.337 T1=0.16	SAT (TO) f=34 TT=247.914 T1=5.37	OPT f=34 TT=2.928 T1=1.2	OPT f=34 TT=2.965 T1=1.18	OPT f=34 TT=17.371 T1=5.15	OPT f=34 TT=17.972 T1=17.5	OPT f=34 TT=215.517 T1=102.26
GolombRuler/ GolombRuler-a3-s1/ GolombRuler-09-a3.xml	OPT f=44 TT=4.951 T1=1.12	SAT (TO) f=49 TT=242.361 T1=125.94	OPT f=44 TT=9.585 T1=1.28	OPT f=44 TT=11.799 T1=1.32	OPT f=44 TT=12.259 T1=1.35	OPT f=44 TT=65.618 T1=46.43	OPT f=44 TT=66.926 T1=47.73	OPT f=44 TT=64.212 T1=45.78	SAT (TO) f=44 TT=248.14 T1=62.48	SAT (TO) f=44 TT=248.528 T1=62.89	OPT f=44 TT=15.446 T1=6.79	SAT (TO) f=44 TT=251.939 T1=166.02	SAT (TO) f=44 TT=251.928 T1=167.45	OPT f=44 TT=110.704 T1=83.1	OPT f=44 TT=4.951 T1=1.12	SAT (TO) f=44 TT=248.403 T1=10.36	OPT f=44 TT=5.048 T1=2.86	OPT f=44 TT=5.667 T1=3.22	OPT f=44 TT=48.225 T1=9.32	OPT f=44 TT=44.327 T1=43.56	? (TO) TT=260.093
GolombRuler/ GolombRuler-a3-s1/ GolombRuler-10-a3.xml	OPT f=55 TT=12.032 T1=2.21	SAT (TO) f=62 TT=242.452 T1=153.56	OPT f=55 TT=31.378 T1=2.47	OPT f=55 TT=29.778 T1=2.21	OPT f=55 TT=28.553 T1=2.26	SAT (TO) f=60 TT=243.98 T1=118.83	SAT (TO) f=60 TT=244.36 T1=119.87	SAT (TO) f=60 TT=244.303 T1=120.93	SAT (TO) f=60 TT=249.37 T1=10.18	SAT (TO) f=60 TT=250.656 T1=10.91	OPT f=55 TT=37.589 T1=20.33	SAT (TO) f=60 TT=251.909 T1=182.69	SAT (TO) f=60 TT=251.917 T1=182.21	SAT (TO) f=62 TT=251.936 T1=234.72	OPT f=55 TT=26.846 T1=4.8	SAT (TO) f=55 TT=247.396 T1=33.1	OPT f=55 TT=12.032 T1=6.99	OPT f=55 TT=12.159 T1=7.04	OPT f=55 TT=753.277 T1=96.97	OPT f=55 TT=734.432 T1=724.59	SAT (TO) f=75 TT=252.197 T1=185.59
GolombRuler/ GolombRuler-a3-s1/ GolombRuler-12-a3.xml	SAT TO f=85 TT=1999.78 T1=215.85	SAT (TO) f=117 TT=242.838 T1=57.23	SAT (TO) f=90 TT=1920.07 T1=193.19	SAT (TO) f=85 TT=2004.24 T1=218.9	SAT (TO) f=85 TT=1999.78 T1=215.85	SAT (TO) f=102 TT=243.52 T1=210.34	SAT (TO) f=102 TT=243.598 T1=213.58	SAT (TO) f=102 TT=244.263 T1=211.11	SAT (TO) f=103 TT=249.81 T1=146.75	SAT (TO) f=103 TT=249.863 T1=149.19	SAT (TO) f=93 TT=250.553 T1=55.41	SAT (TO) f=109 TT=251.923 T1=53.81	SAT (TO) f=109 TT=251.913 T1=53.6	SAT (TO) f=109 TT=240.011 T1=10.9	SAT (TO) f=93 TT=251.838 T1=162.84	? (TO) TT=242.955	SAT (TO) f=94 TT=243.228 T1=222.19	SAT (TO) f=94 TT=248.501 T1=199.43	SAT (TO) f=498 TT=1921.21 T1=138.02	SAT (TO) f=496 TT=1954.96 T1=1847.76	SAT (TO) f=186 TT=252.187 T1=147.41
GolombRuler/ GolombRuler-a3-s1/ GolombRuler-14-a3.xml	SAT TO f=135 TT=2001.99 T1=46.04	SAT (TO) f=168 TT=242.61 T1=228.1	SAT (TO) f=135 TT=1920.11 T1=43.69	SAT (TO) f=135 TT=2004.96 T1=47.23	SAT (TO) f=135 TT=2001.99 T1=46.04	SAT (TO) f=163 TT=243.82 T1=195	SAT (TO) f=163 TT=243.935 T1=193.89	SAT (TO) f=163 TT=243.824 T1=192.88	SAT (TO) f=177 TT=250.77 T1=220.9	SAT (TO) f=177 TT=250.368 T1=224.64	SAT (TO) f=149 TT=251.551 T1=129.54	SAT (TO) f=184 TT=251.911 T1=245.26	SAT (TO) f=184 TT=251.951 T1=245.35	SAT (TO) f=171 TT=251.894 T1=209.03	SAT (TO) f=146 TT=251.939 T1=9.9	? (TO) TT=242.44	SAT (TO) f=146 TT=243.317 T1=35.41	SAT (TO) f=144 TT=250.17 T1=136.52	? (TO) TT=1920.45	? (TO) TT=1940.77	? (TO) TT=259.877
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	choco-solver 4.0.5 par (2017-07-26) (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-07-26) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.1 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	sat4j-CSP 2017-07-05 (complete)
GolombRuler/ GolombRuler-a3-s1/ GolombRuler-15-a3.xml	SAT TO f=164 TT=2000.47 T1=249.86	SAT (TO) f=203 TT=242.256 T1=59.63	SAT (TO) f=165 TT=1920.05 T1=57.43	SAT (TO) f=165 TT=2003.87 T1=60.98	SAT (TO) f=164 TT=2000.47 T1=249.86	SAT (TO) f=193 TT=244.38 T1=107.33	SAT (TO) f=193 TT=245.114 T1=107.73	SAT (TO) f=193 TT=244.939 T1=116.68	SAT (TO) f=201 TT=250.398 T1=210.56	SAT (TO) f=201 TT=250.725 T1=210.67	? (TO) TT=250.342	? (TO) TT=251.96	? (TO) TT=251.952	? (TO) TT=240.056	SAT (TO) f=174 TT=251.891 T1=79.4	? (TO) TT=242.726	? (TO) TT=245.088	? (TO) TT=244.547	? (TO) TT=1921.36	? (TO) TT=1924.94	? (TO) TT=259.93
GolombRuler/ GolombRuler-a3-s1/ GolombRuler-16-a3.xml	SAT TO f=196 TT=2000.05 T1=138.55	SAT (TO) f=251 TT=242.524 T1=71.88	SAT (TO) f=196 TT=1920.4 T1=152.96	SAT (TO) f=196 TT=2003.52 T1=147.74	SAT (TO) f=196 TT=2000.05 T1=138.55	SAT (TO) f=265 TT=243.84 T1=149.68	SAT (TO) f=265 TT=244.135 T1=148.89	SAT (TO) f=265 TT=244.086 T1=148.36	SAT (TO) f=281 TT=249.7 T1=140.86	SAT (TO) f=281 TT=249.825 T1=141.06	? (TO) TT=249.658	? (TO) TT=251.924	? (TO) TT=251.947	SAT (TO) f=271 TT=240.081 T1=229.91	SAT (TO) f=206 TT=251.861 T1=131.89	? (TO) TT=242.423	? (TO) TT=244.512	? (TO) TT=244.775	? (TO) TT=1921.08	? (TO) TT=1916.73	? (TO) TT=260.024
GolombRuler/ GolombRuler-a3-s1/ GolombRuler-17-a3.xml	SAT TO f=236 TT=251.94 T1=174.8	SAT (TO) f=324 TT=242.849 T1=184.5	SAT (TO) f=237 TT=1920.71 T1=230.76	SAT (TO) f=237 TT=2003.14 T1=225.54	SAT (TO) f=237 TT=1995.01 T1=229.1	SAT (TO) f=266 TT=245.45 T1=132.41	SAT (TO) f=266 TT=244.996 T1=137	SAT (TO) f=266 TT=244.978 T1=151.11	SAT (TO) f=295 TT=251.29 T1=36.94	SAT (TO) f=295 TT=250.879 T1=36.92	? (TO) TT=250.032	? (TO) TT=251.888	? (TO) TT=240.002	SAT (TO) f=307 TT=240.07 T1=159.86	SAT (TO) f=236 TT=251.94 T1=174.8	? (TO) TT=242.472	? (TO) TT=244.188	? (TO) TT=244.484	? (TO) TT=1921.07	? (TO) TT=1905.03	? (TO) TT=259.959
GolombRuler/ GolombRuler-a3-s1/ GolombRuler-19-a3.xml	SAT TO f=319 TT=1977.92 T1=250.89	? (TO) TT=241.994	SAT (TO) f=322 TT=1920.1 T1=133.12	SAT (TO) f=322 TT=2003.19 T1=148.91	SAT (TO) f=319 TT=1977.92 T1=250.89	SAT (TO) f=415 TT=244.026 T1=8.19	SAT (TO) f=415 TT=244.162 T1=8.1	SAT (TO) f=415 TT=244.451 T1=8.17	? (TO) TT=251.64	? (TO) TT=251.152	? (TO) TT=249.969	? (TO) TT=251.898	? (TO) TT=251.912	? (TO) TT=240.061	SAT (TO) f=336 TT=251.957 T1=9.25	? (TO) TT=242.265	? (TO) TT=242.256	? (TO) TT=242.452	? (TO) TT=1920.82	? (TO) TT=1862.56	? (TO) TT=259.309
GolombRuler/ GolombRuler-a3-s1/ GolombRuler-21-a3.xml	SAT TO f=416 TT=2001.25 T1=141.4	? (TO) TT=241.832	SAT (TO) f=416 TT=1920.28 T1=143.17	SAT (TO) f=416 TT=2003.32 T1=141.4	SAT (TO) f=416 TT=2001.25 T1=141.43	? (TO) TT=243.86	? (TO) TT=243.928	? (TO) TT=243.983	? (TO) TT=250.9	? (TO) TT=251.011	? (TO) TT=250.787	? (TO) TT=251.963	? (TO) TT=251.951	? (TO) TT=240.413	SAT (TO) f=448 TT=251.917 T1=168	? (TO) TT=242.285	? (TO) TT=242.523	? (TO) TT=242.552	? (TO) TT=1765.64	? (TO) TT=1767.16	? (TO) TT=260.108
GolombRuler/ GolombRuler-a3-s1/ GolombRuler-25-a3.xml	SAT TO f=672 TT=1988.32 T1=137.84	? (TO) TT=241.676	SAT (TO) f=672 TT=1920.12 T1=137.21	SAT (TO) f=672 TT=2004.64 T1=137.84	SAT (TO) f=672 TT=1988.32 T1=151.63	? (TO) TT=243.88	? (TO) TT=243.937	? (TO) TT=243.986	? (TO) TT=252.27	? (TO) TT=253.368	? (TO) TT=251.496	? (TO) TT=251.966	? (TO) TT=251.948	? (TO) TT=240.627	SAT (TO) f=715 TT=251.909 T1=191.46	? (TO) TT=242.46	? (TO) TT=243.66	? (TO) TT=243.638	? (TO) TT=1612.28	? (TO) TT=1610.87	? (TO) TT=257.727
GolombRuler/ GolombRuler-a3-s1/ GolombRuler-26-a3.xml	SAT TO f=730 TT=2003.6 T1=53.59	? (TO) TT=241.898	SAT (TO) f=730 TT=1920.17 T1=55.74	SAT (TO) f=730 TT=2005.08 T1=54.41	SAT (TO) f=730 TT=2003.6 T1=53.59	? (TO) TT=244.51	? (TO) TT=244.475	? (TO) TT=244.361	? (TO) TT=251.39	? (TO) TT=251.335	? (TO) TT=251.028	? (TO) TT=251.896	? (TO) TT=251.932	? (MO) TT=27.486	SAT (TO) f=810 TT=251.904 T1=245.15	? (TO) TT=242.438	? (TO) TT=244.291	? (TO) TT=244.334	? (TO) TT=1558.18	? (TO) TT=1555.33	? (TO) TT=259.976
GolombRuler/ GolombRuler-a3-s1/ GolombRuler-27-a3.xml	SAT TO f=817 TT=1993.12 T1=77.35	? (TO) TT=242.06	SAT (TO) f=817 TT=1920.01 T1=79.05	SAT (TO) f=817 TT=2003.27 T1=77.35	SAT (TO) f=817 TT=1993.12 T1=79.04	? (TO) TT=244.19	? (TO) TT=244.437	? (TO) TT=244.413	? (TO) TT=252.2	? (TO) TT=251.818	? (TO) TT=251.784	? (TO) TT=251.919	? (TO) TT=251.913	? (MO) TT=28.985	SAT (TO) f=868 TT=251.961 T1=214.97	? (TO) TT=242.641	? (TO) TT=242.849	? (TO) TT=242.672	? (TO) TT=1516.91	? (TO) TT=1517.65	? (TO) TT=260.26
GolombRuler/ GolombRuler-a3-s1/ GolombRuler-28-a3.xml	SAT TO f=877 TT=2003.88 T1=247.16	? (TO) TT=241.936	SAT (TO) f=894 TT=1920.56 T1=108.57	SAT (TO) f=877 TT=2003.88 T1=247.16	SAT (TO) f=894 TT=1994.28 T1=110.23	? (TO) TT=243.77	? (TO) TT=243.951	? (TO) TT=243.885	? (TO) TT=249.14	? (TO) TT=249.482	? (TO) TT=251.784	? (TO) TT=251.892	? (TO) TT=251.937	? (MO) TT=27.463	SAT (TO) f=925 TT=251.931 T1=131.64	? (TO) TT=242.609	? (TO) TT=242.778	? (TO) TT=242.83	? (TO) TT=1450.34	? (TO) TT=1448.46	? (TO) TT=256.637
GolombRuler/ GolombRuler-a4-s1/ GolombRuler-05-a4.xml	OPT f=11 TT=0.071 T1=0.07	OPT f=11 TT=1.282 T1=0.72	OPT f=11 TT=2.908 T1=0.86	OPT f=11 TT=2.78 T1=0.73	OPT f=11 TT=2.785 T1=0.77	OPT f=11 TT=1.153 T1=0.66	OPT f=11 TT=1.152 T1=0.66	OPT f=11 TT=1.133 T1=0.54	OPT f=11 TT=1.415 T1=0.68	OPT f=11 TT=1.479 T1=0.6	OPT f=11 TT=10.016 T1=4.43	OPT f=11 TT=0.072 T1=0.13	OPT f=11 TT=0.071 T1=0.07	OPT f=11 TT=0.116 T1=0.11	OPT f=11 TT=0.074 T1=0.16	SAT (TO) f=11 TT=248.185 T1=1.02	OPT f=11 TT=1.78 T1=0.93	OPT f=11 TT=1.806 T1=0.99	OPT f=11 TT=7.15 T1=2.15	OPT f=11 TT=6.806 T1=6.22	OPT f=11 TT=52.03 T1=19.18
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	choco-solver 4.0.5 par (2017-07-26) (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-07-26) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.1 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	sat4j-CSP 2017-07-05 (complete)
GolombRuler/ GolombRuler-a4-s1/ GolombRuler-06-a4.xml	OPT f=17 TT=0.213 T1=0.25	OPT f=17 TT=1.634 T1=0.84	OPT f=17 TT=7.789 T1=1.17	OPT f=17 TT=7.951 T1=1.11	OPT f=17 TT=8.647 T1=1	OPT f=17 TT=2.144 T1=0.73	OPT f=17 TT=2.055 T1=0.77	OPT f=17 TT=2.032 T1=0.62	OPT f=17 TT=5.084 T1=1.62	OPT f=17 TT=6.189 T1=1.74	OPT f=17 TT=12.226 T1=5.07	OPT f=17 TT=0.289 T1=0.3	OPT f=17 TT=0.291 T1=0.33	OPT f=17 TT=0.285 T1=0.27	OPT f=17 TT=0.213 T1=0.25	SAT (TO) f=17 TT=247.676 T1=1.23	OPT f=17 TT=1.997 T1=1.04	OPT f=17 TT=2.049 T1=1.06	OPT f=17 TT=7.399 T1=2.29	OPT f=17 TT=8.075 T1=7.72	OPT f=17 TT=201.355 T1=71.49
GolombRuler/ GolombRuler-a4-s1/ GolombRuler-09-a4.xml	OPT f=44 TT=6.793 T1=2.52	OPT f=44 TT=33.729 T1=20.49	Wrong Opt. f=46 TT=71.294 T1=10.24	OPT f=44 TT=1236.06 T1=19.76	OPT f=44 TT=1183.85 T1=20.07	SAT (TO) f=44 TT=243.742 T1=113.62	SAT (TO) f=44 TT=243.783 T1=113.22	SAT (TO) f=44 TT=243.187 T1=108.63	SAT (TO) f=44 TT=249.958 T1=239.51	SAT (TO) f=44 TT=248.536 T1=196.76	OPT f=44 TT=47.639 T1=20.14	OPT f=44 TT=65.654 T1=34.6	OPT f=44 TT=61.444 T1=32.67	OPT f=44 TT=47.266 T1=45.83	SAT (TO) f=45 TT=251.87 T1=10.35	SAT (TO) f=44 TT=247.284 T1=7.18	OPT f=44 TT=6.793 T1=2.52	OPT f=44 TT=7.147 T1=2.67	OPT f=44 TT=17.92 T1=4.32	OPT f=44 TT=17.481 T1=14.23	? (TO) TT=260.057
GolombRuler/ GolombRuler-a4-s1/ GolombRuler-10-a4.xml	OPT f=55 TT=37.236 T1=16.55	SAT (TO) f=55 TT=242.597 T1=196.2	Wrong Opt. f=60 TT=198.548 T1=21.91	SAT (TO) f=60 TT=2001.69 T1=37.31	SAT (TO) f=55 TT=1983.98 T1=25.65	SAT (TO) f=63 TT=244.6 T1=191.18	SAT (TO) f=63 TT=244.785 T1=192.45	SAT (TO) f=63 TT=244.584 T1=191.75	SAT (TO) f=63 TT=250.273 T1=156.47	SAT (TO) f=60 TT=250.527 T1=222.1	OPT f=55 TT=189.426 T1=43.53	SAT (TO) f=62 TT=251.952 T1=163.27	SAT (TO) f=62 TT=251.894 T1=150.08	SAT (TO) f=55 TT=240.002 T1=171.52	SAT (TO) f=61 TT=251.919 T1=19.08	SAT (TO) f=59 TT=247.473 T1=59.36	OPT f=55 TT=37.236 T1=16.55	SAT (TO) f=55 TT=247.675 T1=78.44	OPT f=55 TT=72.275 T1=32.86	OPT f=55 TT=50.808 T1=28.2	? (TO) TT=260.127
GolombRuler/ GolombRuler-a4-s1/ GolombRuler-12-a4.xml	SAT TO f=91 TT=247.715 T1=196.22	SAT (TO) f=103 TT=243.603 T1=154.14	Wrong Opt. f=104 TT=858.354 T1=79.3	SAT (TO) f=100 TT=1666.59 T1=246.54	SAT (TO) f=96 TT=1594.58 T1=247.73	SAT (TO) f=105 TT=244.41 T1=235.7	SAT (TO) f=105 TT=243.663 T1=233.25	SAT (TO) f=109 TT=243.882 T1=205.63	SAT (TO) f=108 TT=251.996 T1=222.24	SAT (TO) f=115 TT=251.624 T1=157.17	SAT (TO) f=94 TT=258.839 T1=235.29	SAT (TO) f=95 TT=251.938 T1=172.1	SAT (TO) f=95 TT=251.889 T1=163.2	SAT (TO) f=95 TT=251.886 T1=48.67	SAT (TO) f=105 TT=251.904 T1=241.87	SAT (TO) f=91 TT=247.715 T1=207.43	SAT (TO) f=94 TT=243.716 T1=66.98	SAT (TO) f=94 TT=248.186 T1=112.98	SAT (TO) f=92 TT=266.028 T1=208.33	SAT (TO) f=91 TT=266.841 T1=196.22	? (TO) TT=256.812
GolombRuler/ GolombRuler-a4-s1/ GolombRuler-13-a4.xml	SAT TO f=114 TT=258.901 T1=217.99	SAT (TO) f=134 TT=243.982 T1=221.34	SAT (TO) f=127 TT=1920.34 T1=218.91	SAT (TO) f=129 TT=989.185 T1=234.83	SAT (TO) f=129 TT=1026.18 T1=234.74	SAT (TO) f=127 TT=244.25 T1=225.32	SAT (TO) f=127 TT=244.392 T1=224.45	SAT (TO) f=127 TT=244.731 T1=224.4	SAT (TO) f=129 TT=247.08 T1=230.63	SAT (TO) f=134 TT=247.928 T1=205.05	SAT (TO) f=114 TT=258.901 T1=217.99	SAT (TO) f=135 TT=251.893 T1=95.63	SAT (TO) f=135 TT=251.91 T1=93.33	SAT (TO) f=134 TT=240.023 T1=199.28	SAT (TO) f=136 TT=251.946 T1=131.5	SAT (TO) f=117 TT=247.707 T1=202.44	SAT (TO) f=478 TT=243.546 T1=40.41	SAT (TO) f=115 TT=248.462 T1=151.78	SAT (TO) f=133 TT=268.964 T1=246.65	SAT (TO) f=117 TT=269.309 T1=225.99	? (TO) TT=260.052
GolombRuler/ GolombRuler-a4-s1/ GolombRuler-14-a4.xml	SAT TO f=143 TT=249.395 T1=68.51	SAT (TO) f=165 TT=244.221 T1=218.5	SAT (TO) f=159 TT=748.108 T1=226.76	SAT (TO) f=168 TT=427.731 T1=200.76	SAT (TO) f=148 TT=1971.57 T1=136.68	SAT (TO) f=158 TT=245.136 T1=239.85	SAT (TO) f=158 TT=245.76 T1=239.2	SAT (TO) f=159 TT=245.011 T1=231.44	SAT (TO) f=165 TT=247.52 T1=238.4	SAT (TO) f=165 TT=247.97 T1=234.48	SAT (TO) f=148 TT=261.014 T1=222.67	SAT (TO) f=162 TT=251.947 T1=69.5	SAT (TO) f=162 TT=251.88 T1=69.16	SAT (TO) f=162 TT=240.01 T1=26.38	SAT (TO) f=160 TT=251.828 T1=209	SAT (TO) f=144 TT=247.969 T1=142.92	SAT (TO) f=170 TT=243.983 T1=112.08	SAT (TO) f=143 TT=249.395 T1=68.51	SAT (TO) f=151 TT=272.01 T1=213.69	SAT (TO) f=153 TT=269.351 T1=175.01	? (TO) TT=260.268
GolombRuler/ GolombRuler-a4-s1/ GolombRuler-15-a4.xml	SAT TO f=171 TT=249.758 T1=95.71	SAT (TO) f=209 TT=246.716 T1=151.83	SAT (TO) f=187 TT=1948.63 T1=157.22	SAT (TO) f=193 TT=544.739 T1=201.31	SAT (TO) f=192 TT=964.425 T1=49.54	SAT (TO) f=199 TT=244.706 T1=234.96	SAT (TO) f=199 TT=244.912 T1=234.61	SAT (TO) f=199 TT=244.764 T1=233.72	SAT (TO) f=201 TT=250.08 T1=56.98	SAT (TO) f=201 TT=250.007 T1=57.39	SAT (TO) f=181 TT=262.328 T1=239.27	SAT (TO) f=196 TT=251.857 T1=108.03	SAT (TO) f=196 TT=251.867 T1=108.2	SAT (TO) f=201 TT=251.777 T1=199.46	SAT (TO) f=212 TT=251.832 T1=21.34	SAT (TO) f=175 TT=248.492 T1=168.43	SAT (TO) f=476 TT=244.27 T1=174.47	SAT (TO) f=171 TT=249.758 T1=95.71	SAT (TO) f=191 TT=267.216 T1=30.04	SAT (TO) f=188 TT=266.325 T1=94.71	? (TO) TT=258.004
GolombRuler/ GolombRuler-a4-s1/ GolombRuler-17-a4.xml	SAT TO f=248 TT=248.728 T1=181.84	? (TO) TT=250.577	SAT (TO) f=266 TT=1920.37 T1=259.99	SAT (TO) f=267 TT=1899.93 T1=238.94	SAT (TO) f=276 TT=1577.04 T1=21.2	SAT (TO) f=276 TT=251.29 T1=84.37	SAT (TO) f=276 TT=251.77 T1=84.01	SAT (TO) f=276 TT=251.883 T1=82.27	SAT (TO) f=275 TT=252.094 T1=119.38	SAT (TO) f=276 TT=264.101 T1=137.47	SAT (TO) f=262 TT=252.117 T1=217.96	SAT (TO) f=271 TT=251.958 T1=163.57	SAT (TO) f=271 TT=251.92 T1=164.68	SAT (TO) f=283 TT=240.018 T1=239.57	SAT (TO) f=291 TT=251.932 T1=180.36	SAT (TO) f=248 TT=248.728 T1=181.84	SAT (TO) f=500 TT=244.291 T1=1.69	SAT (TO) f=262 TT=249.21 T1=206.91	SAT (TO) f=283 TT=268.595 T1=9.56	SAT (TO) f=260 TT=269.274 T1=70.54	? (TO) TT=260.083
GolombRuler/ GolombRuler-a4-s1/ GolombRuler-18-a4.xml	SAT TO f=296 TT=250.634 T1=134.41	? (TO) TT=251.472	SAT (TO) f=323 TT=365.328 T1=40.72	SAT (TO) f=323 TT=363.645 T1=32.24	SAT (TO) f=323 TT=361.486 T1=34.14	? (TO) TT=248.271	? (TO) TT=249.222	SAT (TO) f=311 TT=250.931 T1=135.52	? (TO) TT=260.85	? (TO) TT=260.669	SAT (TO) f=309 TT=252.121 T1=211.93	? (TO) TT=251.926	? (TO) TT=251.994	SAT (TO) f=315 TT=240.041 T1=216.9	SAT (TO) f=323 TT=251.845 T1=96.21	SAT (TO) f=302 TT=249.411 T1=127.28	SAT (TO) f=496 TT=244.725 T1=30.43	SAT (TO) f=296 TT=250.634 T1=134.41	SAT (TO) f=298 TT=282.027 T1=146.95	SAT (TO) f=296 TT=279.661 T1=177.13	? (TO) TT=256.124
GolombRuler/ GolombRuler-a4-s1/ GolombRuler-19-a4.xml	SAT TO f=329 TT=248.836 T1=216.04	SAT (TO) f=401 TT=254.817 T1=186.41	SAT (TO) f=351 TT=1654.33 T1=62.46	SAT (TO) f=351 TT=1690.28 T1=59.7	SAT (TO) f=351 TT=1666 T1=59.75	SAT (TO) f=373 TT=246.81 T1=55.65	SAT (TO) f=373 TT=246.757 T1=56.6	SAT (TO) f=373 TT=246.722 T1=56.37	SAT (TO) f=373 TT=256.25 T1=80.5	SAT (TO) f=373 TT=255.438 T1=80.16	SAT (TO) f=362 TT=252.104 T1=216.78	? (TO) TT=251.94	? (TO) TT=240.036	? (TO) TT=240.059	SAT (TO) f=351 TT=251.937 T1=134.45	SAT (TO) f=329 TT=248.836 T1=216.04	SAT (TO) f=500 TT=244.585 T1=1.97	SAT (TO) f=331 TT=248.775 T1=177.13	SAT (TO) f=337 TT=1921.21 T1=214.41	SAT (TO) f=338 TT=1972.84 T1=1803.35	? (TO) TT=257.227
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	choco-solver 4.0.5 par (2017-07-26) (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-07-26) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.1 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	sat4j-CSP 2017-07-05 (complete)
GolombRuler/ GolombRuler-a4-s1/ GolombRuler-21-a4.xml	SAT TO f=432 TT=249.993 T1=200.65	? (TO) TT=252.048	SAT (TO) f=465 TT=1513.92 T1=200.57	SAT (TO) f=552 TT=469.512 T1=150.46	SAT (TO) f=545 TT=478.184 T1=166.95	SAT (TO) f=1000 TT=248.69 T1=179.29	SAT (TO) f=1000 TT=248.765 T1=177.66	SAT (TO) f=1000 TT=249.317 T1=175.68	? (TO) TT=252.093	? (TO) TT=264.143	SAT (TO) f=890 TT=252.122 T1=223.81	? (TO) TT=240.03	? (TO) TT=240.075	? (TO) TT=240.126	SAT (TO) f=465 TT=251.791 T1=228.16	SAT (TO) f=435 TT=248.348 T1=217.5	SAT (TO) f=1000 TT=245.882 T1=2.35	SAT (TO) f=432 TT=249.993 T1=200.65	SAT (TO) f=445 TT=280.87 T1=193.39	SAT (TO) f=485 TT=282.569 T1=52.55	? (TO) TT=260.032
GolombRuler/ GolombRuler-a4-s1/ GolombRuler-23-a4.xml	SAT TO f=554 TT=249.02 T1=212.1	? (TO) TT=252.042	SAT (TO) f=656 TT=792.929 T1=130.73	SAT (TO) f=626 TT=796.174 T1=244.42	SAT (TO) f=656 TT=620.835 T1=132.16	SAT (TO) f=616 TT=253.09 T1=188.08	SAT (TO) f=616 TT=252.026 T1=186.54	SAT (TO) f=616 TT=251.817 T1=187.78	? (TO) TT=252.077	? (TO) TT=266.159	SAT (TO) f=999 TT=252.128 T1=162.16	? (TO) TT=240.085	? (TO) TT=240.199	? (TO) TT=240.22	? (TO) TT=251.952	SAT (TO) f=554 TT=249.02 T1=212.1	SAT (TO) f=1000 TT=245.481 T1=2.59	SAT (TO) f=587 TT=249.427 T1=161.26	SAT (TO) f=577 TT=303.663 T1=210.3	SAT (TO) f=605 TT=305.12 T1=103.06	? (TO) TT=260.175
GolombRuler/ GolombRuler-a4-s1/ GolombRuler-24-a4.xml	SAT TO f=612 TT=247.588 T1=99.21	? (TO) TT=252.122	SAT (TO) f=746 TT=839.227 T1=62.75	SAT (TO) f=715 TT=867.022 T1=99.29	SAT (TO) f=678 TT=1898.92 T1=145.32	? (TO) TT=252.227	? (TO) TT=252.068	? (TO) TT=252.807	? (TO) TT=260.051	? (TO) TT=265.939	SAT (TO) f=999 TT=252.135 T1=217.95	? (TO) TT=240.1	? (TO) TT=240.128	? (TO) TT=240.253	SAT (TO) f=715 TT=251.968 T1=173.87	SAT (TO) f=612 TT=247.588 T1=99.21	SAT (TO) f=1000 TT=245.819 T1=2.84	SAT (TO) f=669 TT=248.659 T1=135.44	SAT (TO) f=651 TT=334.407 T1=211.39	SAT (TO) f=652 TT=357.6 T1=345.53	? (TO) TT=260.182
GolombRuler/ GolombRuler-a4-s1/ GolombRuler-25-a4.xml	SAT TO f=713 TT=248.217 T1=239.19	? (TO) TT=252.083	SAT (TO) f=821 TT=795.2 T1=179.18	SAT (TO) f=821 TT=742.297 T1=170.23	SAT (TO) f=779 TT=1051.67 T1=205.51	? (TO) TT=251.86	? (TO) TT=251.594	? (TO) TT=251.21	? (TO) TT=260.11	? (TO) TT=264.14	? (TO) TT=254.143	? (TO) TT=240.127	? (TO) TT=240.164	? (TO) TT=240.32	? (TO) TT=251.917	SAT (TO) f=713 TT=248.217 T1=239.19	SAT (TO) f=1000 TT=245.604 T1=2.89	SAT (TO) f=715 TT=248.097 T1=178.57	SAT (TO) f=718 TT=979.998 T1=213.56	SAT (TO) f=718 TT=889.445 T1=789.7	? (TO) TT=256.736
GolombRuler/ GolombRuler-a4-s1/ GolombRuler-27-a4.xml	SAT TO f=857 TT=1920.78 T1=201.48	? (TO) TT=260.06	No Cert. TT=980.281	SAT (TO) f=969 TT=967.513 T1=246.47	No Cert. TT=935.512	? (TO) TT=262.98	? (TO) TT=260.859	? (TO) TT=260.581	? (TO) TT=252.091	? (TO) TT=264.245	? (TO) TT=254.166	? (TO) TT=240.223	? (TO) TT=240.279	? (TO) TT=240.25	? (TO) TT=251.98	SAT (TO) f=1000 TT=247.351 T1=3.47	SAT (TO) f=1000 TT=246.155 T1=3.5	SAT (TO) f=889 TT=248.575 T1=212	SAT (TO) f=857 TT=1920.78 T1=201.48	SAT (TO) f=862 TT=1934.55 T1=1608.47	? (TO) TT=259.295
GolombRuler/ GolombRuler-a4-s1/ GolombRuler-28-a4.xml	SAT TO f=965 TT=1921.34 T1=217.49	? (TO) TT=260.418	? (TO) TT=1920.41	? (TO) TT=1853.55	? (TO) TT=1838.16	? (TO) TT=252.565	? (TO) TT=252.065	? (TO) TT=252.661	? (TO) TT=260.145	? (TO) TT=272.153	? (TO) TT=254.316	? (TO) TT=240.26	? (TO) TT=240.357	? (TO) TT=240.327	? (TO) TT=251.952	SAT (TO) f=1000 TT=248.232 T1=60.15	SAT (TO) f=1000 TT=246.228 T1=57.61	SAT (TO) f=1000 TT=247.866 T1=58.08	SAT (TO) f=965 TT=1921.34 T1=217.49	SAT (TO) f=966 TT=1928.22 T1=1742.52	? (TO) TT=260.161
GraphColoring/GraphColoring-m1-fixed/ GraphColoring-qwhdec-o50-h825-bal-1.xml		? (TO) TT=248.389	? (TO) TT=1920.04	? (TO) TT=1938.79	? (TO) TT=1935.07	? (TO) TT=249.12	? (TO) TT=249.373	? (TO) TT=249.018	? (TO) TT=251.97	? (TO) TT=251.902	? (TO) TT=252.662	? (TO) TT=252.035	? (TO) TT=251.858	? (MO) TT=138.344	? (TO) TT=251.901	? (TO) TT=251.475	? (TO) TT=252.056	? (TO) TT=252.271	? (TO) TT=1921.37	? (TO) TT=1951.22	? (TO) TT=260.007
GraphColoring/ GraphColoring-m1-fixed/ GraphColoring-qwhopt-o5-h10-1.xml	OPT f=4 TT=0.074 T1=0.16	OPT f=4 TT=1.126 T1=0.72	OPT f=4 TT=1.487 T1=0.79	OPT f=4 TT=1.477 T1=0.65	OPT f=4 TT=1.476 T1=0.65	OPT f=4 TT=0.95 T1=0.62	OPT f=4 TT=0.947 T1=0.62	OPT f=4 TT=0.932 T1=0.48	OPT f=4 TT=1.018 T1=0.62	OPT f=4 TT=0.971 T1=0.49	OPT f=4 TT=6.924 T1=3.67	OPT f=4 TT=0.093 T1=0.14	OPT f=4 TT=0.096 T1=0.19	OPT f=4 TT=0.095 T1=0.16	OPT f=4 TT=0.074 T1=0.16	SAT (TO) f=4 TT=248.142 T1=1.25	OPT f=4 TT=1.283 T1=0.92	OPT f=4 TT=1.291 T1=0.88	OPT f=4 TT=5.538 T1=1.86	OPT f=4 TT=5.734 T1=5.25	OPT f=4 TT=1.486 T1=0.63
GraphColoring/ GraphColoring-m1-mono/ GraphColoring-2-fullins-3.xml	OPT f=4 TT=0.146 T1=0.19	OPT f=4 TT=1.168 T1=0.72	OPT f=4 TT=2.323 T1=0.9	OPT f=4 TT=2.517 T1=0.73	OPT f=4 TT=2.72 T1=0.76	OPT f=4 TT=1.229 T1=0.68	OPT f=4 TT=1.227 T1=0.58	OPT f=4 TT=1.223 T1=0.55	OPT f=4 TT=1.627 T1=0.69	OPT f=4 TT=1.649 T1=0.57	OPT f=4 TT=9.422 T1=4.24	OPT f=4 TT=0.184 T1=0.24	OPT f=4 TT=0.183 T1=0.23	OPT f=4 TT=0.195 T1=0.19	OPT f=4 TT=0.146 T1=0.24	SAT (TO) f=4 TT=248.994 T1=0.99	OPT f=4 TT=1.619 T1=0.99	OPT f=4 TT=1.614 T1=0.94	OPT f=4 TT=8.458 T1=2.17	OPT f=4 TT=8.015 T1=6.99	OPT f=4 TT=7.456 T1=4.28
GraphColoring/ GraphColoring-m1-mono/ GraphColoring-3-fullins-3.xml	OPT f=5 TT=0.249 T1=0.33	OPT f=5 TT=1.46 T1=0.76	OPT f=5 TT=3.425 T1=0.99	OPT f=5 TT=3.453 T1=0.87	OPT f=5 TT=3.375 T1=0.88	OPT f=5 TT=1.637 T1=0.81	OPT f=5 TT=1.645 T1=0.7	OPT f=5 TT=1.65 T1=0.65	OPT f=5 TT=2.998 T1=0.78	OPT f=5 TT=3.011 T1=0.68	OPT f=5 TT=11.939 T1=4.96	OPT f=5 TT=0.316 T1=0.41	OPT f=5 TT=0.318 T1=0.39	OPT f=5 TT=0.342 T1=0.33	OPT f=5 TT=0.249 T1=0.33	SAT (TO) f=5 TT=248.258 T1=1.05	OPT f=5 TT=3.006 T1=1.14	OPT f=5 TT=3.009 T1=1.14	OPT f=5 TT=12.296 T1=2.7	OPT f=5 TT=11.703 T1=9.48	OPT f=5 TT=33.247 T1=27.38
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	choco-solver 4.0.5 par (2017-07-26) (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-07-26) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.1 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	sat4j-CSP 2017-07-05 (complete)
GraphColoring/ GraphColoring-m1-mono/ GraphColoring-3-fullins-5.xml	SAT TO f=7 TT=245.151 T1=2.71	SAT (TO) f=7 TT=245.151 T1=2.71	SAT (TO) f=7 TT=1920.73 T1=8.86	SAT (TO) f=7 TT=1969.07 T1=9.04	SAT (TO) f=7 TT=1966.78 T1=9.48	SAT (TO) f=7 TT=246.73 T1=2.99	SAT (TO) f=7 TT=247.107 T1=2.88	SAT (TO) f=7 TT=246.698 T1=2.81	SAT (TO) f=7 TT=250.84 T1=3.31	SAT (TO) f=7 TT=249.901 T1=3.26	SAT (TO) f=1768 TT=262.615 T1=239.26	SAT (TO) f=7 TT=251.97 T1=30.64	SAT (TO) f=7 TT=251.835 T1=31.12	? (TO) TT=68.844	SAT (TO) f=7 TT=251.897 T1=26.95	SAT (TO) f=7 TT=255.483 T1=77.63	SAT (TO) f=1556 TT=261.401 T1=239.6	SAT (TO) f=7 TT=256.422 T1=126.98	SAT (TO) f=2028 TT=1357.73 T1=235.09	SAT (TO) f=2028 TT=1231.04 T1=1215.69	? (TO) TT=260.295
GraphColoring/ GraphColoring-m1-mono/ GraphColoring-4-insertions-3.xml	OPT f=3 TT=33.344 T1=0.69	SAT (TO) f=3 TT=241.267 T1=0.71	OPT f=3 TT=388.08 T1=0.81	OPT f=3 TT=402.085 T1=0.69	OPT f=3 TT=384.362 T1=0.69	SAT (TO) f=3 TT=245.33 T1=0.68	SAT (TO) f=3 TT=244.287 T1=0.64	SAT (TO) f=3 TT=244.482 T1=0.6	SAT (TO) f=3 TT=250.28 T1=0.73	SAT (TO) f=3 TT=250.175 T1=0.62	SAT (TO) f=3 TT=248.986 T1=4.43	SAT (TO) f=3 TT=252.044 T1=0.14	SAT (TO) f=3 TT=251.914 T1=0.24	SAT (TO) f=3 TT=240.031 T1=0.16	SAT (TO) f=3 TT=251.906 T1=0.2	SAT (TO) f=3 TT=248.424 T1=1.09	OPT f=3 TT=33.344 T1=1.06	SAT (TO) f=3 TT=247.206 T1=1.04	OPT f=3 TT=82.749 T1=2.22	OPT f=3 TT=85.453 T1=9.17	OPT f=3 TT=58.558 T1=22.72
GraphColoring/ GraphColoring-m1-mono/ GraphColoring-ash331GPIA.xml	OPT f=3 TT=2.93 T1=1.1	OPT f=3 TT=3.802 T1=1.43	OPT f=3 TT=8.701 T1=2.01	OPT f=3 TT=7.433 T1=1.76	OPT f=3 TT=8.837 T1=1.96	OPT f=3 TT=3.129 T1=1.22	OPT f=3 TT=3.193 T1=1.1	OPT f=3 TT=3.219 T1=1.11	OPT f=3 TT=5.623 T1=1.34	OPT f=3 TT=5.253 T1=1.23	OPT f=3 TT=72.402 T1=56.39	OPT f=3 TT=3.911 T1=3.97	OPT f=3 TT=3.809 T1=3.85	OPT f=3 TT=14.647 T1=14.36	OPT f=3 TT=2.93 T1=3	SAT (TO) f=3 TT=245.837 T1=28.26	OPT f=3 TT=23.295 T1=18.07	OPT f=3 TT=22.831 T1=17.93	SAT (TO) f=438 TT=1921.52 T1=251.07	SAT (TO) f=450 TT=1928.32 T1=1923.46	? (TO) TT=260.249
GraphColoring/ GraphColoring-m1-mono/ GraphColoring-dsjc-250-1.xml	SAT TO f=8 TT=242.198 T1=0.99	SAT (TO) f=8 TT=242.198 T1=1.25	SAT (TO) f=8 TT=1920.54 T1=2.3	SAT (TO) f=8 TT=2004.52 T1=2.02	SAT (TO) f=8 TT=2003.27 T1=2.13	SAT (TO) f=8 TT=243.45 T1=1.08	SAT (TO) f=8 TT=244.292 T1=1.09	SAT (TO) f=8 TT=243.462 T1=0.99	SAT (TO) f=8 TT=249.18 T1=1.51	SAT (TO) f=8 TT=249.105 T1=1.46	SAT (TO) f=8 TT=255.837 T1=13.4	SAT (TO) f=8 TT=252.045 T1=2.92	SAT (TO) f=8 TT=251.947 T1=2.99	SAT (TO) f=8 TT=251.868 T1=3.66	SAT (TO) f=8 TT=251.905 T1=2.35	SAT (TO) f=8 TT=251.158 T1=16.07	SAT (TO) f=8 TT=245.906 T1=11.93	SAT (TO) f=8 TT=250.433 T1=8.42	SAT (TO) f=9 TT=1921.25 T1=10.77	SAT (TO) f=9 TT=1989.04 T1=63.36	? (TO) TT=260.15
GraphColoring/ GraphColoring-m1-mono/ GraphColoring-dsjc-250-9.xml	SAT TO f=78 TT=251.924 T1=22.59	SAT (TO) f=85 TT=244.175 T1=2.99	SAT (TO) f=86 TT=1920.41 T1=119.12	SAT (TO) f=86 TT=1991.92 T1=47.39	SAT (TO) f=84 TT=1992.13 T1=142.44	SAT (TO) f=87 TT=245.45 T1=3.52	SAT (TO) f=87 TT=246.105 T1=3.62	SAT (TO) f=87 TT=245.635 T1=3.42	SAT (TO) f=84 TT=249.51 T1=218.38	SAT (TO) f=84 TT=248.872 T1=215.63	SAT (TO) f=80 TT=258.834 T1=104.71	SAT (TO) f=87 TT=252.029 T1=25.94	SAT (TO) f=87 TT=251.919 T1=25.97	SAT (TO) f=86 TT=251.851 T1=46.7	SAT (TO) f=78 TT=251.924 T1=22.59	SAT (TO) f=90 TT=248.399 T1=94.94	SAT (TO) f=86 TT=247.741 T1=83.55	SAT (TO) f=91 TT=253.321 T1=162.99	SAT (TO) f=89 TT=1920.86 T1=161.51	SAT (TO) f=89 TT=1932.39 T1=1371.86	? (TO) TT=256.301
GraphColoring/ GraphColoring-m1-mono/ GraphColoring-dsjc-500-5.xml	SAT TO f=59 TT=251.921 T1=143.35	SAT (TO) f=62 TT=246.059 T1=6.15	SAT (TO) f=62 TT=1920.43 T1=101.07	SAT (TO) f=63 TT=1973.42 T1=8.47	SAT (TO) f=62 TT=1974.19 T1=22.92	SAT (TO) f=63 TT=246.37 T1=3.12	SAT (TO) f=63 TT=246.29 T1=2.99	SAT (TO) f=63 TT=246.284 T1=2.94	SAT (TO) f=62 TT=250.34 T1=3.98	SAT (TO) f=62 TT=250.144 T1=3.83	SAT (TO) f=401 TT=262.458 T1=239.45	SAT (TO) f=63 TT=251.996 T1=142.1	SAT (TO) f=63 TT=251.904 T1=143.92	SAT (TO) f=62 TT=209.342 T1=169.27	SAT (TO) f=59 TT=251.921 T1=143.35	SAT (TO) f=67 TT=254.933 T1=71.16	SAT (TO) f=66 TT=251.958 T1=215.48	SAT (TO) f=65 TT=252.879 T1=130.24	SAT (TO) f=407 TT=1785.53 T1=251.27	SAT (TO) f=349 TT=1776.49 T1=1769.04	? (TO) TT=260.033
GraphColoring/ GraphColoring-m1-mono/ GraphColoring-games120.xml	OPT f=8 TT=0.911 T1=0.56	OPT f=8 TT=2.62 T1=0.82	OPT f=8 TT=20.1 T1=1.04	OPT f=8 TT=13.525 T1=0.94	OPT f=8 TT=14.139 T1=0.95	OPT f=8 TT=6.858 T1=0.75	OPT f=8 TT=5.633 T1=0.75	OPT f=8 TT=4.987 T1=0.61	OPT f=8 TT=18.51 T1=0.95	OPT f=8 TT=18.801 T1=0.64	OPT f=8 TT=13.373 T1=5.65	OPT f=8 TT=0.964 T1=0.64	OPT f=8 TT=0.966 T1=0.64	OPT f=8 TT=0.911 T1=0.65	OPT f=8 TT=1.473 T1=0.56	SAT (TO) f=8 TT=248.762 T1=1.73	OPT f=8 TT=8.013 T1=1.73	SAT (TO) f=8 TT=246.69 T1=1.8	OPT f=8 TT=62.558 T1=3.17	OPT f=8 TT=85.415 T1=13.75	SAT (TO) f=8 TT=256.991 T1=225.53
GraphColoring/ GraphColoring-m1-mono/ GraphColoring-lei450-25d.xml	SAT TO f=26 TT=240.039 T1=2.53	SAT (TO) f=26 TT=243.86 T1=2.53	SAT (TO) f=26 TT=1920.6 T1=5.93	SAT (TO) f=26 TT=1998 T1=4.91	SAT (TO) f=26 TT=1996.25 T1=5.42	SAT (TO) f=26 TT=245.2 T1=6.38	SAT (TO) f=26 TT=244.734 T1=5.87	SAT (TO) f=26 TT=244.817 T1=5.67	SAT (TO) f=26 TT=250.04 T1=4.36	SAT (TO) f=26 TT=250.475 T1=4.3	SAT (TO) f=26 TT=259.019 T1=52.25	SAT (TO) f=26 TT=251.991 T1=16.71	SAT (TO) f=26 TT=251.944 T1=16.91	SAT (TO) f=26 TT=240.039 T1=20.03	SAT (TO) f=26 TT=251.875 T1=12.43	SAT (TO) f=27 TT=248.279 T1=38.15	SAT (TO) f=28 TT=249.294 T1=38.76	SAT (TO) f=27 TT=249.754 T1=61.28	SAT (TO) f=30 TT=1921.11 T1=173.33	SAT (TO) f=28 TT=1923.28 T1=927.47	? (TO) TT=256.027
GraphColoring/ GraphColoring-m1-mono/ GraphColoring-mug100-25.xml	OPT f=3 TT=7.04 T1=0.67	SAT (TO) f=3 TT=241.302 T1=0.75	SAT (TO) f=3 TT=1683.5 T1=0.72	SAT (TO) f=3 TT=1673.56 T1=0.71	SAT (TO) f=3 TT=1697.25 T1=0.71	SAT (TO) f=3 TT=243.949 T1=0.77	SAT (TO) f=3 TT=244.301 T1=0.98	SAT (TO) f=3 TT=244.753 T1=0.65	OPT f=3 TT=7.243 T1=0.83	OPT f=3 TT=7.04 T1=0.67	SAT (TO) f=3 TT=249.695 T1=4.7	SAT (TO) f=3 TT=252.044 T1=0.15	SAT (TO) f=3 TT=251.955 T1=0.2	SAT (TO) f=3 TT=251.896 T1=0.29	SAT (TO) f=3 TT=251.939 T1=0.21	SAT (TO) f=3 TT=248.977 T1=1.11	SAT (TO) f=3 TT=243.758 T1=1.05	SAT (TO) f=3 TT=247.156 T1=1.1	SAT (TO) f=3 TT=759.884 T1=2.42	SAT (TO) f=3 TT=627.129 T1=10.89	OPT f=3 TT=58.265 T1=50.94
GraphColoring/ GraphColoring-m1-mono/ GraphColoring-queen8-8.xml	SAT TO f=8 TT=242.452 T1=0.87	SAT (TO) f=8 TT=242.452 T1=0.98	SAT (TO) f=8 TT=1920.15 T1=1.45	SAT (TO) f=8 TT=1999.15 T1=1.36	SAT (TO) f=8 TT=1994.37 T1=1.92	SAT (TO) f=8 TT=244.13 T1=5.8	SAT (TO) f=8 TT=244.162 T1=5.84	SAT (TO) f=8 TT=244.557 T1=5.81	SAT (TO) f=8 TT=247.5 T1=9.99	SAT (TO) f=8 TT=247.343 T1=9.79	SAT (TO) f=8 TT=249.219 T1=11.52	SAT (TO) f=8 TT=252.014 T1=3.54	SAT (TO) f=8 TT=251.943 T1=3.62	SAT (TO) f=8 TT=251.938 T1=0.87	SAT (TO) f=8 TT=251.95 T1=0.99	SAT (TO) f=8 TT=247.998 T1=61.96	SAT (TO) f=8 TT=243.619 T1=30.51	SAT (TO) f=9 TT=247.352 T1=1.24	SAT (TO) f=8 TT=1921.15 T1=6.7	SAT (TO) f=8 TT=1981.74 T1=44.43	SAT (TO) f=8 TT=246.711 T1=91.54
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	choco-solver 4.0.5 par (2017-07-26) (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-07-26) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.1 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	sat4j-CSP 2017-07-05 (complete)
GraphColoring/ GraphColoring-m1-mono/ GraphColoring-wap01a.xml	SAT TO f=42 TT=251.894 T1=158.5	SAT (TO) f=43 TT=246.289 T1=34.42	SAT (TO) f=44 TT=1920.28 T1=124.12	SAT (TO) f=43 TT=1918.98 T1=233.29	SAT (TO) f=44 TT=1913.71 T1=190.72	SAT (TO) f=43 TT=247.21 T1=103.16	SAT (TO) f=43 TT=247.251 T1=102.64	SAT (TO) f=43 TT=247.296 T1=102.75	SAT (TO) f=44 TT=252.07 T1=62.23	SAT (TO) f=44 TT=252.092 T1=60.83	SAT (TO) f=2183 TT=261.244 T1=239.85	SAT (TO) f=42 TT=251.994 T1=157.86	SAT (TO) f=42 TT=251.894 T1=158.5	? (MO) TT=126.752	SAT (TO) f=42 TT=251.936 T1=247.35	SAT (TO) f=2367 TT=252.125 T1=25.97	SAT (TO) f=2287 TT=252.168 T1=218.1	SAT (TO) f=2360 TT=252.114 T1=44.61	? (TO) TT=1053.47	? (TO) TT=1074.4	? (TO) TT=260.206
GraphColoring/ GraphColoring-m1-mono/ GraphColoring-wap06a.xml	SAT TO f=40 TT=245.195 T1=39.29	SAT (TO) f=40 TT=245.195 T1=230.86	SAT (TO) f=40 TT=1920.73 T1=128.22	SAT (TO) f=41 TT=1973.48 T1=35.73	SAT (TO) f=40 TT=1977.67 T1=124.17	SAT (TO) f=40 TT=247.01 T1=136.76	SAT (TO) f=40 TT=246.704 T1=139.95	SAT (TO) f=40 TT=247.353 T1=142.98	SAT (TO) f=40 TT=251.1 T1=76.66	SAT (TO) f=40 TT=250.223 T1=76.27	SAT (TO) f=42 TT=260.939 T1=190.08	SAT (TO) f=40 TT=251.957 T1=71.44	SAT (TO) f=40 TT=251.809 T1=82.57	? (MO) TT=64.793	SAT (TO) f=40 TT=251.804 T1=39.29	SAT (TO) f=44 TT=252.242 T1=79.94	SAT (TO) f=331 TT=254.106 T1=239.86	SAT (TO) f=45 TT=258.942 T1=214.92	SAT (TO) f=919 TT=1922.65 T1=255.87	SAT (TO) f=921 TT=1838.53 T1=1815.25	? (TO) TT=260.189
GraphColoring/ GraphColoring-m1-mono/ GraphColoring-zeroin-i-3.xml	OPT f=29 TT=23.614 T1=11.32	SAT (TO) f=29 TT=243.089 T1=1.17	SAT (TO) f=29 TT=1920.13 T1=1.7	SAT (TO) f=29 TT=2003.9 T1=1.45	SAT (TO) f=29 TT=2002.53 T1=1.57	SAT (TO) f=29 TT=243.76 T1=1.03	SAT (TO) f=29 TT=243.536 T1=1.04	SAT (TO) f=29 TT=243.444 T1=0.93	SAT (TO) f=29 TT=246.73 T1=1.1	SAT (TO) f=29 TT=246.29 T1=0.93	OPT f=29 TT=23.614 T1=11.32	SAT (TO) f=29 TT=252.04 T1=3.26	SAT (TO) f=29 TT=251.927 T1=3.25	SAT (TO) f=29 TT=240.012 T1=3.53	SAT (TO) f=29 TT=251.943 T1=2.54	SAT (TO) f=29 TT=250.702 T1=3.39	SAT (TO) f=30 TT=245.691 T1=4.12	SAT (TO) f=29 TT=251.689 T1=8.28	SAT (TO) f=29 TT=1921.46 T1=11.82	SAT (TO) f=29 TT=1983.09 T1=64.56	? (TO) TT=260.304
Knapsack/ Knapsack-m1-s30/ Knapsack-30-100-04.xml	OPT f=1129 TT=0.249 T1=0.05	OPT f=1129 TT=2.859 T1=1.51	OPT f=1129 TT=5.283 T1=1.07	OPT f=1129 TT=7.507 T1=1.04	OPT f=1129 TT=5.147 T1=0.61	OPT f=1129 TT=4.61 T1=1.72	OPT f=1129 TT=6.333 T1=1.98	OPT f=1129 TT=4.716 T1=1.6	OPT f=1129 TT=26.667 T1=12.65	OPT f=1129 TT=25.796 T1=12.75	OPT f=1129 TT=15.067 T1=3.56	OPT f=1129 TT=1.213 T1=0.86	OPT f=1129 TT=1.193 T1=0.87	OPT f=1129 TT=1.035 T1=1.07	OPT f=1129 TT=0.249 T1=0.05	SAT (TO) f=1129 TT=246.661 T1=2.26	OPT f=1129 TT=1.71 T1=0.96	OPT f=1129 TT=1.72 T1=0.97	OPT f=1129 TT=5.621 T1=1.76	OPT f=1129 TT=5.94 T1=5.59	OPT f=1129 TT=126.148 T1=22.29
Knapsack/ Knapsack-m1-s30/ Knapsack-30-100-06.xml	OPT f=1188 TT=0.339 T1=0.09	OPT f=1188 TT=3.887 T1=2.7	OPT f=1188 TT=5.413 T1=0.83	OPT f=1188 TT=4.519 T1=0.77	OPT f=1188 TT=5.467 T1=0.89	OPT f=1188 TT=4.607 T1=1.66	OPT f=1188 TT=3.561 T1=1.32	OPT f=1188 TT=4.549 T1=1.51	OPT f=1188 TT=21.422 T1=6.83	OPT f=1188 TT=20.968 T1=6.6	OPT f=1188 TT=11.042 T1=4	OPT f=1188 TT=0.981 T1=1.04	OPT f=1188 TT=0.966 T1=1.03	OPT f=1188 TT=1.206 T1=1.1	OPT f=1188 TT=0.339 T1=0.09	SAT (TO) f=1188 TT=246.905 T1=2.33	OPT f=1188 TT=1.797 T1=1	OPT f=1188 TT=1.82 T1=1	OPT f=1188 TT=6.312 T1=1.86	OPT f=1188 TT=5.846 T1=5.42	OPT f=1188 TT=59.327 T1=19.71
Knapsack/ Knapsack-m1-s30/ Knapsack-30-100-16.xml	OPT f=885 TT=0.282 T1=0.1	OPT f=885 TT=6.564 T1=5.2	OPT f=885 TT=6.405 T1=1.22	OPT f=885 TT=5.914 T1=0.73	OPT f=885 TT=7.624 T1=1.17	OPT f=885 TT=6.922 T1=2.78	OPT f=885 TT=5.296 T1=2.46	OPT f=885 TT=5.358 T1=2.33	OPT f=885 TT=31.487 T1=14.98	OPT f=885 TT=30.996 T1=14.94	OPT f=885 TT=23.818 T1=3.51	OPT f=885 TT=2.115 T1=2.04	OPT f=885 TT=2.084 T1=2	OPT f=885 TT=2.309 T1=2.18	OPT f=885 TT=0.282 T1=0.1	SAT (TO) f=885 TT=246.859 T1=10.38	OPT f=885 TT=1.919 T1=0.94	OPT f=885 TT=1.924 T1=1.01	OPT f=885 TT=7.054 T1=1.82	OPT f=885 TT=7.114 T1=6.13	OPT f=885 TT=134.425 T1=65.32
Knapsack/ Knapsack-m1-s40/ Knapsack-40-150-00.xml	OPT f=932 TT=5.926 T1=0.08	OPT f=932 TT=197.035 T1=168.86	OPT f=932 TT=30.368 T1=1.76	OPT f=932 TT=100.383 T1=3.62	OPT f=932 TT=28.444 T1=2	OPT f=932 TT=98.431 T1=10.77	OPT f=932 TT=98.208 T1=10.85	OPT f=932 TT=97.913 T1=10.82	SAT (TO) f=927 TT=252.45 T1=47.55	SAT (TO) f=927 TT=253.741 T1=45.75	SAT (TO) f=932 TT=252.155 T1=3.69	OPT f=932 TT=26.583 T1=20.31	OPT f=932 TT=26.052 T1=19.93	OPT f=932 TT=29.011 T1=18.9	OPT f=932 TT=15.221 T1=0.08	SAT (TO) f=932 TT=246.694 T1=10.36	OPT f=932 TT=5.981 T1=3.78	OPT f=932 TT=5.926 T1=3.74	OPT f=932 TT=20.119 T1=3.44	OPT f=932 TT=19.269 T1=17.67	SAT (TO) f=897 TT=243.564 T1=226.74
Knapsack/ Knapsack-m1-s40/ Knapsack-40-150-07.xml	OPT f=1021 TT=6.26 T1=0.06	OPT f=1021 TT=197.29 T1=188.12	OPT f=1021 TT=37.391 T1=1.67	OPT f=1021 TT=108.747 T1=14.98	OPT f=1021 TT=45.606 T1=7.28	OPT f=1021 TT=188.723 T1=27.09	OPT f=1021 TT=191.455 T1=27.71	OPT f=1021 TT=192.944 T1=29.51	SAT (TO) f=1005 TT=251.57 T1=84.88	SAT (TO) f=1005 TT=252.417 T1=85.09	SAT (TO) f=1021 TT=252.111 T1=3.42	OPT f=1021 TT=39.051 T1=20.78	OPT f=1021 TT=38.488 T1=20.48	OPT f=1021 TT=20.691 T1=19.07	OPT f=1021 TT=15.204 T1=0.06	SAT (TO) f=1021 TT=246.387 T1=9.2	OPT f=1021 TT=6.26 T1=3.41	OPT f=1021 TT=6.36 T1=3.53	OPT f=1021 TT=13.258 T1=2.45	OPT f=1021 TT=14.355 T1=11.58	SAT (TO) f=1005 TT=244.324 T1=232.24
Knapsack/ Knapsack-m1-s40/ Knapsack-40-150-08.xml	OPT f=887 TT=3.624 T1=0.11	OPT f=887 TT=136.81 T1=114.77	OPT f=887 TT=16.883 T1=1.6	OPT f=887 TT=43.342 T1=1.58	OPT f=887 TT=17.289 T1=1.24	OPT f=887 TT=51.436 T1=17.13	OPT f=887 TT=53.091 T1=17.65	OPT f=887 TT=53.32 T1=17.26	SAT (TO) f=886 TT=252.37 T1=130.11	SAT (TO) f=886 TT=252.101 T1=131.65	SAT (TO) f=887 TT=250.73 T1=3.75	OPT f=887 TT=15.029 T1=13.04	OPT f=887 TT=14.931 T1=13.01	OPT f=887 TT=13.131 T1=11.87	OPT f=887 TT=6.65 T1=0.11	SAT (TO) f=887 TT=246.664 T1=4.93	OPT f=887 TT=3.624 T1=2.65	OPT f=887 TT=3.798 T1=3.09	OPT f=887 TT=11.97 T1=2.55	OPT f=887 TT=12.738 T1=11.65	SAT (TO) f=821 TT=242.952 T1=238.43
Knapsack/ Knapsack-m1-s40/ Knapsack-40-150-12.xml	OPT f=954 TT=6.321 T1=0.09	OPT f=954 TT=154.093 T1=146.09	OPT f=954 TT=44.103 T1=1.17	OPT f=954 TT=113.693 T1=1.05	OPT f=954 TT=42.515 T1=1.09	OPT f=954 TT=72.07 T1=6.31	OPT f=954 TT=66.636 T1=5	OPT f=954 TT=67.663 T1=5.04	SAT (TO) f=947 TT=253.43 T1=167.58	SAT (TO) f=947 TT=253.154 T1=172.44	SAT (TO) f=954 TT=252.104 T1=3.51	OPT f=954 TT=46.442 T1=45.3	OPT f=954 TT=46.201 T1=44.98	OPT f=954 TT=26.775 T1=20.16	OPT f=954 TT=14.874 T1=0.09	SAT (TO) f=954 TT=246.971 T1=1.99	OPT f=954 TT=6.321 T1=4.87	OPT f=954 TT=6.429 T1=4.96	OPT f=954 TT=11.613 T1=2.79	OPT f=954 TT=11.352 T1=10.7	? (TO) TT=241.556
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	choco-solver 4.0.5 par (2017-07-26) (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-07-26) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.1 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	sat4j-CSP 2017-07-05 (complete)
Knapsack/ Knapsack-m1-s40/ Knapsack-40-150-16.xml	OPT f=886 TT=7.316 T1=0.1	OPT f=886 TT=132.095 T1=118.49	OPT f=886 TT=48.773 T1=1.68	OPT f=886 TT=114.455 T1=3.75	OPT f=886 TT=63.083 T1=1.77	OPT f=886 TT=61.593 T1=18.54	OPT f=886 TT=66.902 T1=20.3	OPT f=886 TT=66.531 T1=20.24	SAT (TO) f=874 TT=253.39 T1=84.09	SAT (TO) f=874 TT=253.306 T1=84.67	OPT f=886 TT=197.915 T1=4.08	OPT f=886 TT=80.561 T1=76.33	OPT f=886 TT=80.129 T1=75.93	OPT f=886 TT=48.139 T1=41.63	OPT f=886 TT=17.755 T1=0.1	SAT (TO) f=886 TT=246.593 T1=9.87	OPT f=886 TT=7.316 T1=5.44	OPT f=886 TT=7.52 T1=5.66	OPT f=886 TT=21.711 T1=3.37	OPT f=886 TT=23.884 T1=20	SAT (TO) f=881 TT=244.256 T1=84.94
Knapsack/ Knapsack-m1-s50/ Knapsack-50-200-16.xml	OPT f=1429 TT=59.4 T1=0.12	SAT (TO) f=1274 TT=241.441 T1=235.56	OPT f=1429 TT=170.735 T1=1.48	OPT f=1429 TT=196.349 T1=1.29	OPT f=1429 TT=183.56 T1=1.44	SAT (TO) f=1399 TT=245.67 T1=150.71	SAT (TO) f=1399 TT=245.407 T1=150.3	SAT (TO) f=1399 TT=245.945 T1=151.81	SAT (TO) f=1346 TT=254.12 T1=212.26	SAT (TO) f=1346 TT=253.644 T1=211.62	SAT (TO) f=1429 TT=252.067 T1=4.14	SAT (TO) f=1300 TT=251.968 T1=242.82	SAT (TO) f=1300 TT=251.903 T1=240.49	SAT (TO) f=1312 TT=240.033 T1=237.27	OPT f=1429 TT=182.19 T1=0.12	SAT (TO) f=1429 TT=246.355 T1=10.69	OPT f=1429 TT=59.4 T1=52.59	SAT (TO) f=1429 TT=246.773 T1=63.35	OPT f=1429 TT=90.424 T1=12.45	OPT f=1429 TT=93.425 T1=93.24	SAT (TO) f=1172 TT=242.998 T1=183.35
Knapsack/ Knapsack-m1-s50/ Knapsack-50-200-17.xml	OPT f=992 TT=44.849 T1=1.41	SAT (TO) f=937 TT=241.43 T1=204.58	OPT f=992 TT=314.731 T1=2.09	OPT f=992 TT=234.21 T1=2.14	OPT f=992 TT=360.558 T1=1.41	SAT (TO) f=982 TT=245.089 T1=236.76	SAT (TO) f=982 TT=245.141 T1=232.14	SAT (TO) f=982 TT=245.899 T1=235.87	SAT (TO) f=945 TT=253.71 T1=191.98	SAT (TO) f=945 TT=252.3 T1=189.49	SAT (TO) f=992 TT=252.085 T1=3.83	SAT (TO) f=966 TT=251.943 T1=235.19	SAT (TO) f=967 TT=251.952 T1=251.18	SAT (TO) f=955 TT=240.028 T1=154.04	SAT (TO) f=992 TT=251.831 T1=0.11	SAT (TO) f=992 TT=246.495 T1=21.17	OPT f=992 TT=44.849 T1=21.17	SAT (TO) f=992 TT=246.936 T1=41.39	OPT f=992 TT=56.282 T1=6.69	OPT f=992 TT=56.065 T1=46.23	? (TO) TT=241.563
Knapsack/ Knapsack-m1-s50/ Knapsack-50-200-18.xml	OPT f=937 TT=12.95 T1=0.07	SAT (TO) f=902 TT=242.158 T1=224.53	OPT f=937 TT=75.738 T1=1	OPT f=937 TT=122.651 T1=2.15	OPT f=937 TT=76.462 T1=2.17	SAT (TO) f=926 TT=245.75 T1=135.13	SAT (TO) f=926 TT=247.425 T1=138.73	SAT (TO) f=926 TT=246.001 T1=132.53	SAT (TO) f=897 TT=254.2 T1=128.07	SAT (TO) f=897 TT=254.27 T1=128.97	SAT (TO) f=937 TT=252.07 T1=3.76	OPT f=937 TT=123.801 T1=80.66	OPT f=937 TT=123.062 T1=80.22	OPT f=937 TT=101.817 T1=96.77	OPT f=937 TT=48.404 T1=0.07	SAT (TO) f=937 TT=246.744 T1=18.5	OPT f=937 TT=12.95 T1=10.58	SAT (TO) f=937 TT=246.582 T1=32.72	OPT f=937 TT=29.173 T1=4.54	OPT f=937 TT=29.915 T1=28.77	? (TO) TT=241.657
Knapsack/ Knapsack-m1-s60/ Knapsack-60-250-03.xml	OPT f=1358 TT=148.872 T1=1.68	SAT (TO) f=1127 TT=241.563 T1=145.44	OPT f=1358 TT=733.614 T1=1.38	OPT f=1358 TT=394.635 T1=3.8	OPT f=1358 TT=915.374 T1=1.68	SAT (TO) f=1329 TT=245.9 T1=124.07	SAT (TO) f=1329 TT=245.035 T1=107.28	SAT (TO) f=1329 TT=245.111 T1=109.26	SAT (TO) f=1258 TT=251.911 T1=176.3	SAT (TO) f=1258 TT=252.682 T1=174.18	SAT (TO) f=1358 TT=252.074 T1=3.79	SAT (TO) f=1090 TT=251.901 T1=203.77	SAT (TO) f=1090 TT=251.957 T1=200.76	SAT (TO) f=1232 TT=251.926 T1=229.39	SAT (TO) f=1358 TT=251.915 T1=0.09	SAT (TO) f=1358 TT=246.793 T1=99.02	OPT f=1358 TT=148.872 T1=125.76	SAT (TO) f=1358 TT=246.939 T1=42.36	OPT f=1358 TT=224.558 T1=26.98	OPT f=1358 TT=199.156 T1=182.22	SAT (TO) f=1186 TT=243.811 T1=187.44
Knapsack/ Knapsack-m1-s60/ Knapsack-60-250-05.xml	OPT f=1333 TT=96.642 T1=2.03	SAT (TO) f=1121 TT=241.577 T1=192.19	OPT f=1333 TT=417.464 T1=3.09	OPT f=1333 TT=295.97 T1=2.37	OPT f=1333 TT=371.713 T1=2.03	SAT (TO) f=1243 TT=245.56 T1=80.53	SAT (TO) f=1243 TT=245.24 T1=78.14	SAT (TO) f=1243 TT=245.718 T1=80.15	SAT (TO) f=1239 TT=254.26 T1=119.91	SAT (TO) f=1239 TT=252.278 T1=118.37	SAT (TO) f=1333 TT=252.14 T1=3.68	SAT (TO) f=1204 TT=251.905 T1=136.75	SAT (TO) f=1204 TT=251.952 T1=135.68	SAT (TO) f=1212 TT=240.008 T1=179.64	SAT (TO) f=1333 TT=251.921 T1=0.09	SAT (TO) f=1333 TT=246.677 T1=30.3	OPT f=1333 TT=96.642 T1=29.79	SAT (TO) f=1333 TT=246.814 T1=30.13	OPT f=1333 TT=116.311 T1=7.81	OPT f=1333 TT=124.251 T1=59.66	? (TO) TT=241.857
Knapsack/ Knapsack-m1-s60/ Knapsack-60-250-06.xml	OPT f=1134 TT=153.263 T1=6.06	SAT (TO) f=986 TT=241.403 T1=214.32	OPT f=1134 TT=674.787 T1=87.95	OPT f=1134 TT=289.372 T1=6.06	OPT f=1134 TT=513.069 T1=6.56	SAT (TO) f=1095 TT=245.43 T1=77.07	SAT (TO) f=1095 TT=245.158 T1=74.31	SAT (TO) f=1095 TT=246.028 T1=94.85	SAT (TO) f=1049 TT=252.485 T1=49.05	SAT (TO) f=1049 TT=253.146 T1=48.57	SAT (TO) f=1134 TT=252.054 T1=4.08	SAT (TO) f=1064 TT=251.948 T1=203.47	SAT (TO) f=1064 TT=251.927 T1=201.09	SAT (TO) f=1073 TT=251.887 T1=249.53	SAT (TO) f=1134 TT=251.96 T1=0.08	SAT (TO) f=1134 TT=246.641 T1=132.63	OPT f=1134 TT=153.263 T1=67.79	SAT (TO) f=1132 TT=246.625 T1=109.34	OPT f=1134 TT=200.923 T1=15.95	OPT f=1134 TT=200.851 T1=125.2	? (TO) TT=241.531
Knapsack/ Knapsack-m1-s60/ Knapsack-60-250-07.xml	OPT f=1058 TT=169.91 T1=1.49	SAT (TO) f=936 TT=241.496 T1=209.08	OPT f=1058 TT=483.649 T1=2.81	OPT f=1058 TT=281.578 T1=1.49	OPT f=1058 TT=513.512 T1=1.69	SAT (TO) f=1030 TT=245.29 T1=66.14	SAT (TO) f=1030 TT=245.158 T1=68.13	SAT (TO) f=1030 TT=245.719 T1=67.02	SAT (TO) f=994 TT=252.22 T1=210.76	SAT (TO) f=994 TT=252.668 T1=205.6	SAT (TO) f=1058 TT=252.127 T1=4.16	SAT (TO) f=994 TT=251.613 T1=106.25	SAT (TO) f=994 TT=251.948 T1=105	SAT (TO) f=974 TT=240.005 T1=98.48	SAT (TO) f=1058 TT=251.935 T1=0.1	SAT (TO) f=1058 TT=246.839 T1=74.29	OPT f=1058 TT=169.91 T1=75.77	SAT (TO) f=1052 TT=246.927 T1=45.14	OPT f=1058 TT=405.474 T1=15.24	OPT f=1058 TT=331.067 T1=89.16	? (TO) TT=241.769
Knapsack/ Knapsack-m1-s60/ Knapsack-60-250-13.xml	OPT f=1477 TT=86.64 T1=11.01	SAT (TO) f=1217 TT=241.392 T1=202.66	OPT f=1477 TT=476.515 T1=18.1	OPT f=1477 TT=445.931 T1=38.22	OPT f=1477 TT=469.896 T1=11.01	SAT (TO) f=1447 TT=245.59 T1=227.5	SAT (TO) f=1447 TT=245.065 T1=228.81	SAT (TO) f=1447 TT=245.062 T1=227.15	SAT (TO) f=1293 TT=251.27 T1=8.37	SAT (TO) f=1293 TT=252.556 T1=8.5	SAT (TO) f=1477 TT=252.128 T1=5.17	SAT (TO) f=1331 TT=251.914 T1=194.82	SAT (TO) f=1331 TT=251.933 T1=193.26	SAT (TO) f=1386 TT=240.034 T1=226.63	SAT (TO) f=1477 TT=251.927 T1=0.13	SAT (TO) f=1477 TT=246.406 T1=85.81	OPT f=1477 TT=86.64 T1=49.64	SAT (TO) f=1477 TT=246.787 T1=20.87	OPT f=1477 TT=95.083 T1=11.18	OPT f=1477 TT=89.854 T1=68.43	? (TO) TT=241.611
Knapsack/ Knapsack-m1-s60/ Knapsack-60-250-17.xml	OPT f=1220 TT=554.28 T1=1.77	SAT (TO) f=1027 TT=241.573 T1=230.23	OPT f=1220 TT=1143.38 T1=1.79	OPT f=1220 TT=554.28 T1=1.86	OPT f=1220 TT=1027.3 T1=1.77	SAT (TO) f=1116 TT=245.48 T1=135.47	SAT (TO) f=1116 TT=244.975 T1=136.03	SAT (TO) f=1116 TT=244.891 T1=136.47	SAT (TO) f=1076 TT=252.91 T1=121.24	SAT (TO) f=1076 TT=253.776 T1=118.98	SAT (TO) f=1220 TT=252.121 T1=3.83	SAT (TO) f=1076 TT=251.945 T1=245.18	SAT (TO) f=1076 TT=251.95 T1=242.08	SAT (TO) f=1078 TT=240.012 T1=166.5	SAT (TO) f=1220 TT=251.887 T1=0.12	SAT (TO) f=1220 TT=247.323 T1=15.64	SAT (TO) f=1220 TT=241.425 T1=144.72	SAT (TO) f=1220 TT=247.022 T1=56.62	OPT f=1220 TT=621.003 T1=35.35	OPT f=1220 TT=666.848 T1=355.42	SAT (TO) f=1031 TT=243.024 T1=234.07
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	choco-solver 4.0.5 par (2017-07-26) (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-07-26) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.1 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	sat4j-CSP 2017-07-05 (complete)
LowAutocorrelation/ LowAutocorrelation-m1-s1/ LowAutocorrelation-004.xml	OPT f=2 TT=0.014 T1=0.01	OPT f=2 TT=1.072 T1=0.85	OPT f=2 TT=1.167 T1=0.67	OPT f=2 TT=1.154 T1=0.55	OPT f=2 TT=1.144 T1=0.55	OPT f=2 TT=0.884 T1=0.6	OPT f=2 TT=0.873 T1=0.46	OPT f=2 TT=0.871 T1=0.46	OPT f=2 TT=0.967 T1=0.61	OPT f=2 TT=0.937 T1=0.48	OPT f=2 TT=6.387 T1=3.46	OPT f=2 TT=0.014 T1=0.07	OPT f=2 TT=0.014 T1=0.08	OPT f=2 TT=0.015 T1=0.01	OPT f=2 TT=0.022 T1=0.11	SAT (TO) f=2 TT=246.843 T1=0.9	OPT f=2 TT=1.129 T1=0.87	OPT f=2 TT=1.13 T1=0.83	OPT f=2 TT=2.01 T1=1.21	OPT f=2 TT=1.973 T1=1.56	OPT f=2 TT=0.595 T1=0.46
LowAutocorrelation/ LowAutocorrelation-m1-s1/ LowAutocorrelation-011.xml	OPT f=5 TT=0.128 T1=0.12	OPT f=5 TT=1.923 T1=0.93	OPT f=5 TT=2.944 T1=0.96	OPT f=5 TT=2.611 T1=0.81	OPT f=5 TT=2.828 T1=0.81	OPT f=5 TT=1.487 T1=0.72	OPT f=5 TT=1.498 T1=0.73	OPT f=5 TT=1.469 T1=0.58	OPT f=5 TT=4.349 T1=1.02	OPT f=5 TT=4.35 T1=0.93	OPT f=5 TT=10.033 T1=4.49	OPT f=5 TT=0.145 T1=0.19	OPT f=5 TT=0.147 T1=0.24	OPT f=5 TT=0.128 T1=0.12	OPT f=5 TT=0.157 T1=0.2	SAT (TO) f=5 TT=248.06 T1=2.07	OPT f=5 TT=1.515 T1=0.94	OPT f=5 TT=1.528 T1=0.9	OPT f=5 TT=6.336 T1=1.84	OPT f=5 TT=6.72 T1=4.81	OPT f=5 TT=1.121 T1=0.63
LowAutocorrelation/ LowAutocorrelation-m1-s1/ LowAutocorrelation-013.xml	OPT f=6 TT=0.259 T1=0.29	OPT f=6 TT=1.692 T1=0.84	OPT f=6 TT=3.874 T1=0.91	OPT f=6 TT=4.35 T1=0.83	OPT f=6 TT=3.888 T1=0.82	OPT f=6 TT=1.74 T1=0.74	OPT f=6 TT=1.752 T1=0.6	OPT f=6 TT=1.752 T1=0.6	OPT f=6 TT=7.156 T1=0.85	OPT f=6 TT=6.841 T1=0.74	OPT f=6 TT=13.814 T1=4.32	OPT f=6 TT=0.457 T1=0.51	OPT f=6 TT=0.458 T1=0.52	OPT f=6 TT=0.856 T1=0.85	OPT f=6 TT=0.259 T1=0.29	SAT (TO) f=6 TT=249.245 T1=2.32	OPT f=6 TT=2.017 T1=1.03	OPT f=6 TT=2.01 T1=0.99	OPT f=6 TT=7.615 T1=1.93	OPT f=6 TT=7.087 T1=4.65	OPT f=6 TT=1.773 T1=0.76
LowAutocorrelation/ LowAutocorrelation-m1-s1/ LowAutocorrelation-015.xml	OPT f=15 TT=1.921 T1=0.83	OPT f=15 TT=4.268 T1=1.25	OPT f=15 TT=13.083 T1=1.12	OPT f=15 TT=11.237 T1=0.94	OPT f=15 TT=9.749 T1=0.94	OPT f=15 TT=9.599 T1=2.23	OPT f=15 TT=9.216 T1=2.14	OPT f=15 TT=9.135 T1=2.08	OPT f=15 TT=29.639 T1=3.87	OPT f=15 TT=32.559 T1=3.66	OPT f=15 TT=41.577 T1=7.72	OPT f=15 TT=1.894 T1=1.95	OPT f=15 TT=1.921 T1=1.92	OPT f=15 TT=3.14 T1=3.14	OPT f=15 TT=2.838 T1=0.9	SAT (TO) f=15 TT=248.686 T1=3.11	OPT f=15 TT=4.032 T1=1.08	OPT f=15 TT=202.887 T1=1.09	OPT f=15 TT=8.097 T1=2.09	OPT f=15 TT=7.9 T1=4.96	OPT f=15 TT=2.489 T1=0.83
LowAutocorrelation/ LowAutocorrelation-m1-s1/ LowAutocorrelation-020.xml	OPT f=26 TT=21.412 T1=2.18	OPT f=26 TT=147.337 T1=31.28	OPT f=26 TT=154.73 T1=2.26	OPT f=26 TT=151.932 T1=2.7	OPT f=26 TT=151.135 T1=2.25	SAT (TO) f=26 TT=243.77 T1=43.14	SAT (TO) f=26 TT=243.819 T1=42.68	SAT (TO) f=26 TT=244.229 T1=43.51	SAT (TO) f=26 TT=254.8 T1=36.98	SAT (TO) f=26 TT=254.917 T1=37.09	SAT (TO) f=26 TT=258.077 T1=113.48	OPT f=26 TT=127.826 T1=127.89	OPT f=26 TT=126.485 T1=126.56	OPT f=26 TT=75.746 T1=75.74	OPT f=26 TT=153.933 T1=9.97	SAT (TO) f=26 TT=249.724 T1=3.97	OPT f=26 TT=26.303 T1=2.18	SAT (TO) f=26 TT=248.568 T1=2.2	OPT f=26 TT=21.59 T1=2.46	OPT f=26 TT=21.412 T1=7.11	OPT f=26 TT=33.785 T1=7.89
LowAutocorrelation/ LowAutocorrelation-m1-s1/ LowAutocorrelation-033.xml	SAT TO f=64 TT=1921.04 T1=221.81	SAT (TO) f=164 TT=243.005 T1=9.43	SAT (TO) f=104 TT=1920.5 T1=234.81	SAT (TO) f=104 TT=2002.34 T1=202.18	SAT (TO) f=108 TT=2001.7 T1=226.3	SAT (TO) f=124 TT=244.65 T1=39.41	SAT (TO) f=124 TT=244.581 T1=39.57	SAT (TO) f=124 TT=244.253 T1=39.69	SAT (TO) f=172 TT=254.405 T1=12.89	SAT (TO) f=172 TT=254.239 T1=11.8	SAT (TO) f=92 TT=258.923 T1=25.85	SAT (TO) f=120 TT=251.961 T1=252	SAT (TO) f=120 TT=240.006 T1=240	SAT (TO) f=208 TT=240.035 T1=240	SAT (TO) f=88 TT=251.848 T1=189.38	SAT (TO) f=124 TT=251.413 T1=231.8	SAT (TO) f=124 TT=244.445 T1=162.4	SAT (TO) f=132 TT=250.882 T1=28.17	SAT (TO) f=64 TT=1921.04 T1=221.81	SAT (TO) f=72 TT=1986.31 T1=660.34	SAT (TO) f=120 TT=243.07 T1=200.95
LowAutocorrelation/ LowAutocorrelation-m1-s1/ LowAutocorrelation-036.xml	SAT TO f=102 TT=1920.72 T1=111.68	SAT (TO) f=214 TT=242.976 T1=7.39	SAT (TO) f=182 TT=1920.73 T1=100.96	SAT (TO) f=178 TT=2004.91 T1=224.51	SAT (TO) f=122 TT=2003.61 T1=91.72	SAT (TO) f=190 TT=244.45 T1=49.79	SAT (TO) f=190 TT=244.425 T1=50.05	SAT (TO) f=190 TT=245.067 T1=52.02	SAT (TO) f=210 TT=254.92 T1=67.85	SAT (TO) f=210 TT=254.709 T1=72.58	SAT (TO) f=134 TT=252.117 T1=203.06	SAT (TO) f=250 TT=251.954 T1=252	SAT (TO) f=250 TT=251.916 T1=252	SAT (TO) f=146 TT=240.028 T1=240	SAT (TO) f=130 TT=251.838 T1=238.17	SAT (TO) f=166 TT=250.175 T1=66.47	SAT (TO) f=226 TT=244.838 T1=116.27	SAT (TO) f=150 TT=251.759 T1=82.76	SAT (TO) f=102 TT=1920.72 T1=111.68	SAT (TO) f=102 TT=1987 T1=357.7	SAT (TO) f=170 TT=243.165 T1=215.84
LowAutocorrelation/ LowAutocorrelation-m1-s1/ LowAutocorrelation-038.xml	SAT TO f=127 TT=1921.35 T1=161.14	SAT (TO) f=343 TT=243.631 T1=99.41	SAT (TO) f=199 TT=1920.03 T1=149.04	SAT (TO) f=167 TT=2002.46 T1=64.04	SAT (TO) f=191 TT=2002.53 T1=123.55	SAT (TO) f=215 TT=244.3 T1=5.55	SAT (TO) f=215 TT=244.648 T1=5.64	SAT (TO) f=215 TT=244.585 T1=5.56	SAT (TO) f=215 TT=255.77 T1=81.7	SAT (TO) f=215 TT=255.709 T1=81.33	SAT (TO) f=167 TT=252.097 T1=19.98	SAT (TO) f=503 TT=251.923 T1=252	SAT (TO) f=503 TT=251.931 T1=252	SAT (TO) f=247 TT=240.004 T1=240	SAT (TO) f=151 TT=251.913 T1=58.46	SAT (TO) f=183 TT=251.032 T1=36.79	SAT (TO) f=271 TT=244.282 T1=198.43	SAT (TO) f=191 TT=250.741 T1=111.16	SAT (TO) f=127 TT=1921.35 T1=161.14	SAT (TO) f=127 TT=1988.19 T1=1342.61	SAT (TO) f=191 TT=243.132 T1=88.54
LowAutocorrelation/ LowAutocorrelation-m1-s1/ LowAutocorrelation-040.xml	SAT TO f=168 TT=1987.84 T1=1474.9	SAT (TO) f=280 TT=243.368 T1=201.88	SAT (TO) f=208 TT=1920.62 T1=123	SAT (TO) f=188 TT=2003.01 T1=169.69	SAT (TO) f=200 TT=2003.99 T1=245.09	SAT (TO) f=236 TT=245.48 T1=1.22	SAT (TO) f=236 TT=245.765 T1=1.17	SAT (TO) f=236 TT=245.143 T1=1.11	SAT (TO) f=236 TT=253.456 T1=3.92	SAT (TO) f=236 TT=253.235 T1=3.89	SAT (TO) f=220 TT=252.094 T1=116.85	SAT (TO) f=500 TT=251.958 T1=252	SAT (TO) f=500 TT=251.902 T1=252	SAT (TO) f=356 TT=240.032 T1=240	SAT (TO) f=188 TT=251.846 T1=54.59	SAT (TO) f=184 TT=251.246 T1=62.34	SAT (TO) f=324 TT=244.34 T1=171.5	SAT (TO) f=196 TT=251.342 T1=186.67	SAT (TO) f=172 TT=1920.74 T1=131.97	SAT (TO) f=168 TT=1987.84 T1=1474.9	SAT (TO) f=204 TT=244.269 T1=43.14
LowAutocorrelation/ LowAutocorrelation-m1-s1/ LowAutocorrelation-042.xml	SAT TO f=157 TT=1921.3 T1=7.28	SAT (TO) f=437 TT=243.61 T1=27.49	SAT (TO) f=253 TT=1920.35 T1=155.87	SAT (TO) f=261 TT=2001.47 T1=231.16	SAT (TO) f=229 TT=2000.52 T1=86.21	SAT (TO) f=253 TT=244.36 T1=50.14	SAT (TO) f=253 TT=244.452 T1=51.17	SAT (TO) f=253 TT=244.49 T1=50.83	SAT (TO) f=269 TT=252.942 T1=151.75	SAT (TO) f=269 TT=253.333 T1=146.57	SAT (TO) f=237 TT=252.124 T1=17.56	SAT (TO) f=309 TT=251.875 T1=252	SAT (TO) f=309 TT=251.938 T1=252	SAT (TO) f=341 TT=240.015 T1=240	SAT (TO) f=221 TT=251.878 T1=140.18	SAT (TO) f=213 TT=251.216 T1=99.04	SAT (TO) f=341 TT=244.234 T1=63.48	SAT (TO) f=237 TT=251.773 T1=170.13	SAT (TO) f=157 TT=1921.3 T1=7.28	SAT (TO) f=157 TT=1987 T1=42.28	SAT (TO) f=253 TT=243.536 T1=228.93
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	choco-solver 4.0.5 par (2017-07-26) (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-07-26) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.1 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	sat4j-CSP 2017-07-05 (complete)
LowAutocorrelation/ LowAutocorrelation-m1-s1/ LowAutocorrelation-054.xml	SAT TO f=343 TT=1993.4 T1=63.83	SAT (TO) f=823 TT=244.604 T1=43.08	SAT (TO) f=399 TT=1920.34 T1=47.52	SAT (TO) f=479 TT=1992.01 T1=92.65	SAT (TO) f=343 TT=1993.4 T1=63.83	SAT (TO) f=511 TT=245.13 T1=3.79	SAT (TO) f=511 TT=245.463 T1=3.96	SAT (TO) f=511 TT=246.185 T1=3.69	SAT (TO) f=711 TT=255.2 T1=115.05	SAT (TO) f=711 TT=254.107 T1=119.36	SAT (TO) f=439 TT=252.149 T1=41.65	SAT (TO) f=591 TT=251.908 T1=252	SAT (TO) f=591 TT=251.907 T1=252	SAT (TO) f=583 TT=240.006 T1=240	SAT (TO) f=367 TT=251.941 T1=105.69	SAT (TO) f=455 TT=251.307 T1=103.03	SAT (TO) f=1031 TT=245.373 T1=215.42	SAT (TO) f=463 TT=251.293 T1=163.25	SAT (TO) f=551 TT=1920.87 T1=105.82	SAT (TO) f=551 TT=1984.8 T1=1008.59	SAT (TO) f=535 TT=244.906 T1=140.54
LowAutocorrelation/ LowAutocorrelation-m1-s1/ LowAutocorrelation-055.xml	SAT TO f=411 TT=251.902 T1=138.88	SAT (TO) f=783 TT=244.088 T1=41.13	SAT (TO) f=543 TT=1920.14 T1=229.12	SAT (TO) f=487 TT=2002.41 T1=34.84	SAT (TO) f=603 TT=2002.43 T1=31.09	SAT (TO) f=571 TT=245.06 T1=98.76	SAT (TO) f=571 TT=245.443 T1=97.77	SAT (TO) f=571 TT=245.145 T1=97.68	SAT (TO) f=751 TT=254.46 T1=207.44	SAT (TO) f=751 TT=254.148 T1=208.08	SAT (TO) f=423 TT=252.156 T1=76.77	SAT (TO) f=983 TT=251.918 T1=252.01	SAT (TO) f=983 TT=251.926 T1=252	SAT (TO) f=831 TT=240.006 T1=240.01	SAT (TO) f=411 TT=251.902 T1=138.88	SAT (TO) f=451 TT=251.974 T1=193.54	SAT (TO) f=1211 TT=245.438 T1=239.28	SAT (TO) f=603 TT=252.229 T1=184.11	SAT (TO) f=511 TT=1921.31 T1=239.53	SAT (TO) f=547 TT=1989.01 T1=1847.4	SAT (TO) f=515 TT=245.038 T1=62.99
LowAutocorrelation/ LowAutocorrelation-m1-s1/ LowAutocorrelation-057.xml	SAT TO f=468 TT=252.102 T1=35.64	SAT (TO) f=888 TT=244.822 T1=162.6	SAT (TO) f=512 TT=1920.03 T1=19.08	SAT (TO) f=512 TT=1996.42 T1=18.2	SAT (TO) f=560 TT=1993.34 T1=185.12	SAT (TO) f=620 TT=246.27 T1=5.7	SAT (TO) f=620 TT=246.147 T1=5.72	SAT (TO) f=620 TT=246.387 T1=5.57	SAT (TO) f=708 TT=252.79 T1=95.83	SAT (TO) f=708 TT=251.905 T1=91.72	SAT (TO) f=468 TT=252.102 T1=35.64	SAT (TO) f=772 TT=251.914 T1=252	SAT (TO) f=772 TT=251.931 T1=252	SAT (TO) f=732 TT=251.904 T1=252	SAT (TO) f=472 TT=251.935 T1=27.95	SAT (TO) f=556 TT=251.087 T1=238.45	SAT (TO) f=1420 TT=245.359 T1=187.5	SAT (TO) f=632 TT=251.947 T1=144.1	SAT (TO) f=608 TT=1920.82 T1=170.14	SAT (TO) f=644 TT=1981.51 T1=1938.1	SAT (TO) f=656 TT=244.894 T1=52.31
LowAutocorrelation/ LowAutocorrelation-m1-s1/ LowAutocorrelation-069.xml	SAT TO f=598 TT=251.939 T1=162.69	SAT (TO) f=1830 TT=245.443 T1=63.75	SAT (TO) f=970 TT=1920.71 T1=236.41	SAT (TO) f=1094 TT=1999.68 T1=223.83	SAT (TO) f=982 TT=1949.05 T1=206.32	SAT (TO) f=906 TT=247.35 T1=95.44	SAT (TO) f=906 TT=246.909 T1=94.37	SAT (TO) f=906 TT=246.556 T1=96.03	SAT (TO) f=1174 TT=251.68 T1=18.45	SAT (TO) f=1174 TT=252.411 T1=18.76	SAT (TO) f=706 TT=252.118 T1=112.81	SAT (TO) f=2090 TT=251.912 T1=252	SAT (TO) f=2090 TT=251.857 T1=252	SAT (TO) f=1838 TT=251.856 T1=252.01	SAT (TO) f=598 TT=251.939 T1=162.69	SAT (TO) f=834 TT=251.999 T1=135.35	SAT (TO) f=3054 TT=245.546 T1=119.15	SAT (TO) f=902 TT=251.539 T1=201.81	SAT (TO) f=1058 TT=1920.88 T1=64.16	SAT (TO) f=1058 TT=1985.7 T1=694.35	SAT (TO) f=1106 TT=248.686 T1=187.93
LowAutocorrelation/ LowAutocorrelation-m1-s1/ LowAutocorrelation-081.xml	SAT TO f=1032 TT=251.895 T1=130.3	SAT (TO) f=2820 TT=245.632 T1=66.77	SAT (TO) f=1476 TT=1920.2 T1=97.2	SAT (TO) f=1472 TT=1961.7 T1=93.99	SAT (TO) f=1476 TT=1954.93 T1=101.82	SAT (TO) f=1476 TT=246.35 T1=54.84	SAT (TO) f=1476 TT=246.43 T1=54.56	SAT (TO) f=1476 TT=246.513 T1=54.54	SAT (TO) f=1636 TT=253.74 T1=31.17	SAT (TO) f=1636 TT=253.664 T1=30.59	SAT (TO) f=1056 TT=252.117 T1=175.15	SAT (TO) f=2152 TT=251.909 T1=252.01	SAT (TO) f=2152 TT=251.874 T1=252	SAT (TO) f=4760 TT=251.816 T1=252	SAT (TO) f=1032 TT=251.895 T1=130.3	SAT (TO) f=1144 TT=252.437 T1=162.46	SAT (TO) f=4440 TT=246.07 T1=170.64	SAT (TO) f=1936 TT=251.462 T1=164.03	SAT (TO) f=2096 TT=1921.01 T1=183.6	SAT (TO) f=2156 TT=1982.34 T1=1777.96	SAT (TO) f=1632 TT=254.73 T1=212.32
LowAutocorrelation/ LowAutocorrelation-m1-s1/ LowAutocorrelation-084.xml	SAT TO f=970 TT=252.895 T1=202.62	SAT (TO) f=2690 TT=245.966 T1=141.71	SAT (TO) f=1690 TT=1920.16 T1=212.61	SAT (TO) f=1654 TT=1870.85 T1=236.61	SAT (TO) f=1654 TT=1884.75 T1=248.36	SAT (TO) f=1562 TT=246.7 T1=214.05	SAT (TO) f=1562 TT=247.324 T1=213.79	SAT (TO) f=1562 TT=247.048 T1=213.41	SAT (TO) f=1446 TT=258.72 T1=11.96	SAT (TO) f=1446 TT=260.168 T1=11.98	SAT (TO) f=1046 TT=252.093 T1=133.3	SAT (TO) f=2798 TT=251.855 T1=252.01	SAT (TO) f=2798 TT=251.859 T1=252	SAT (TO) f=2490 TT=251.888 T1=252.01	SAT (TO) f=1078 TT=251.896 T1=210.74	SAT (TO) f=1466 TT=252.602 T1=124.08	SAT (TO) f=6306 TT=246.292 T1=228.76	SAT (TO) f=970 TT=252.895 T1=202.62	SAT (TO) f=2002 TT=1920.93 T1=225.73	SAT (TO) f=2086 TT=1980.69 T1=1979.12	SAT (TO) f=1998 TT=253.42 T1=110.48
LowAutocorrelation/ LowAutocorrelation-m1-s1/ LowAutocorrelation-096.xml	SAT TO f=1300 TT=251.919 T1=244.46	SAT (TO) f=2568 TT=246.566 T1=165.15	SAT (TO) f=2036 TT=1920.62 T1=191.37	SAT (TO) f=2036 TT=1934.1 T1=205.06	SAT (TO) f=2036 TT=1837.38 T1=214.08	SAT (TO) f=2036 TT=247 T1=101.3	SAT (TO) f=2036 TT=247.205 T1=101.34	SAT (TO) f=2036 TT=246.859 T1=101.73	SAT (TO) f=2248 TT=256.35 T1=108.92	SAT (TO) f=2248 TT=255.342 T1=107.94	SAT (TO) f=1604 TT=252.118 T1=176.22	SAT (TO) f=3676 TT=251.813 T1=252.01	SAT (TO) f=3676 TT=251.904 T1=252.01	SAT (TO) f=3636 TT=251.906 T1=252.01	SAT (TO) f=1300 TT=251.919 T1=244.46	SAT (TO) f=1744 TT=253.533 T1=228.93	SAT (TO) f=8844 TT=246.268 T1=215.22	SAT (TO) f=2752 TT=253.337 T1=193.03	SAT (TO) f=5664 TT=1921.62 T1=189.59	SAT (TO) f=5664 TT=1973.3 T1=1433.22	SAT (TO) f=2824 TT=262.708 T1=236.66
Opd/Opd-sum-large/ Opd-02-350-100.xml	OPT f=0 TT=1.045 T1=0.7	OPT f=0 TT=1.734 T1=0.89	OPT f=0 TT=5.613 T1=1.24	OPT f=0 TT=3.393 T1=0.86	OPT f=0 TT=4.583 T1=1.02	OPT f=0 TT=1.649 T1=0.81	OPT f=0 TT=1.667 T1=0.84	OPT f=0 TT=1.578 T1=0.7	OPT f=0 TT=15.278 T1=7.47	OPT f=0 TT=13.09 T1=7.28	OPT f=0 TT=20.831 T1=9.03	? (TO) TT=252.035	? (TO) TT=251.924	? (TO) TT=251.93	OPT f=0 TT=1.045 T1=1.12	SAT (TO) f=0 TT=251.444 T1=28.13	OPT f=0 TT=6.256 T1=2.57	OPT f=0 TT=6.421 T1=2.51	OPT f=0 TT=55.641 T1=43.01	OPT f=0 TT=54.813 T1=54.66	OPT f=0 TT=51.407 T1=39.22
Opd/Opd-sum-large/ Opd-03-035-010.xml	OPT f=0 TT=0.026 T1=0.13	OPT f=0 TT=1.146 T1=0.72	OPT f=0 TT=1.372 T1=0.68	OPT f=0 TT=1.258 T1=0.56	OPT f=0 TT=1.319 T1=0.57	OPT f=0 TT=0.982 T1=0.6	OPT f=0 TT=0.965 T1=0.72	OPT f=0 TT=0.951 T1=0.48	OPT f=0 TT=1.167 T1=0.67	OPT f=0 TT=1.177 T1=0.56	OPT f=0 TT=9.957 T1=4.44	? (TO) TT=252.045	? (TO) TT=251.959	? (TO) TT=240.037	OPT f=0 TT=0.026 T1=0.13	SAT (TO) f=0 TT=249.849 T1=3.48	OPT f=0 TT=1.54 T1=0.95	OPT f=0 TT=1.551 T1=0.94	OPT f=0 TT=7.367 T1=2.01	OPT f=0 TT=8.122 T1=7.5	OPT f=0 TT=2.747 T1=1.6
Opd/Opd-sum-large/ Opd-07-035-010.xml	OPT f=2 TT=1.544 T1=1.32	OPT f=2 TT=2.743 T1=1.42	OPT f=2 TT=6.799 T1=1.45	OPT f=2 TT=7.818 T1=1.49	OPT f=2 TT=6.516 T1=1.32	OPT f=2 TT=17.063 T1=14.79	OPT f=2 TT=16.787 T1=14.36	OPT f=2 TT=16.759 T1=14.42	OPT f=2 TT=31.416 T1=23.53	OPT f=2 TT=31.168 T1=22.99	OPT f=2 TT=222.762 T1=198.67	SAT (TO) f=10 TT=252.046 T1=0.57	SAT (TO) f=10 TT=251.951 T1=0.65	? (TO) TT=240.02	OPT f=2 TT=1.544 T1=1.64	SAT (TO) f=2 TT=249.207 T1=25.99	OPT f=2 TT=8.499 T1=5.07	OPT f=2 TT=191.409 T1=16.08	OPT f=2 TT=12.699 T1=2.76	OPT f=2 TT=10.224 T1=9.41	OPT f=2 TT=16.477 T1=13.73
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	choco-solver 4.0.5 par (2017-07-26) (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-07-26) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.1 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	sat4j-CSP 2017-07-05 (complete)
Opd/Opd-sum-large/ Opd-07-350-100.xml	SAT TO f=22 TT=1920.95 T1=49.69	SAT (TO) f=98 TT=242.853 T1=1.73	? (TO) TT=1920.22	SAT (TO) f=25 TT=2005.4 T1=165.04	SAT (TO) f=24 TT=1999.26 T1=225.55	? (TO) TT=244.25	? (TO) TT=244.369	SAT (TO) f=48 TT=244.374 T1=181.23	? (TO) TT=250.54	SAT (TO) f=98 TT=250.117 T1=118.38	? (TO) TT=254.212	? (TO) TT=252.03	? (TO) TT=251.952	? (TO) TT=251.958	SAT (TO) f=40 TT=251.86 T1=239.15	SAT (TO) f=95 TT=250.266 T1=209.77	SAT (TO) f=100 TT=247.408 T1=1.57	SAT (TO) f=96 TT=251.679 T1=118.22	SAT (TO) f=22 TT=1920.95 T1=49.69	SAT (TO) f=22 TT=1987.97 T1=338.13	? (TO) TT=252.11
Opd/Opd-sum-large/ Opd-10-325-100.xml	SAT TO f=43 TT=1994.32 T1=27.23	SAT (TO) f=99 TT=242.765 T1=1.71	SAT (TO) f=99 TT=1920.57 T1=24.3	SAT (TO) f=99 TT=2003.77 T1=20.51	SAT (TO) f=43 TT=1994.32 T1=27.23	SAT (TO) f=98 TT=244.041 T1=147	SAT (TO) f=98 TT=243.907 T1=145.73	SAT (TO) f=65 TT=244.311 T1=138.53	? (TO) TT=247.28	? (TO) TT=247.801	? (TO) TT=265.696	? (TO) TT=252.038	? (TO) TT=251.934	? (TO) TT=251.941	SAT (TO) f=53 TT=251.898 T1=209.75	SAT (TO) f=99 TT=250.103 T1=74.5	SAT (TO) f=100 TT=245.132 T1=1.75	SAT (TO) f=96 TT=249.946 T1=99.4	SAT (TO) f=82 TT=1921.61 T1=238.66	SAT (TO) f=83 TT=1988.87 T1=1963.99	? (TO) TT=252.159
Opd/Opd-sum-large/ Opd-10-360-120.xml	SAT TO f=62 TT=251.91 T1=233.53	SAT (TO) f=119 TT=242.8 T1=1.87	SAT (TO) f=120 TT=1920.33 T1=6.3	SAT (TO) f=120 TT=2003.14 T1=6.6	SAT (TO) f=64 TT=1992.18 T1=102.06	? (TO) TT=244.04	? (TO) TT=244.071	SAT (TO) f=90 TT=244.544 T1=56.49	SAT (TO) f=120 TT=247.76 T1=147.67	? (TO) TT=247.187	? (TO) TT=255.799	? (TO) TT=251.955	? (TO) TT=251.924	? (TO) TT=240.016	SAT (TO) f=62 TT=251.91 T1=233.53	SAT (TO) f=118 TT=249.354 T1=77.23	SAT (TO) f=120 TT=245.855 T1=1.84	SAT (TO) f=118 TT=250.706 T1=66.97	SAT (TO) f=110 TT=1921.11 T1=223.16	SAT (TO) f=106 TT=1988.76 T1=1917.63	? (TO) TT=252.141
Opd/Opd-sum-large/ Opd-12-350-100.xml	SAT TO f=56 TT=1987.23 T1=33.56	SAT (TO) f=98 TT=242.741 T1=2.58	SAT (TO) f=100 TT=1920.44 T1=115.77	SAT (TO) f=100 TT=2002 T1=103.63	SAT (TO) f=56 TT=1987.23 T1=33.56	? (TO) TT=243.8	? (TO) TT=243.739	? (TO) TT=244.685	? (TO) TT=248.635	? (TO) TT=246.987	? (TO) TT=269.124	? (TO) TT=252.056	? (TO) TT=251.95	? (TO) TT=251.896	SAT (TO) f=76 TT=251.967 T1=247.79	SAT (TO) f=100 TT=249.673 T1=8.35	SAT (TO) f=100 TT=244.64 T1=1.98	SAT (TO) f=98 TT=251.992 T1=133.53	SAT (TO) f=94 TT=1921.13 T1=211.37	SAT (TO) f=93 TT=1987.74 T1=1813.63	? (TO) TT=252.072
Opd/Opd-sum-large/ Opd-13-035-010.xml	OPT f=3 TT=0.789 T1=0.88	OPT f=3 TT=3.915 T1=1.96	OPT f=3 TT=34.49 T1=5.07	OPT f=3 TT=26.908 T1=3.97	OPT f=3 TT=16.848 T1=2.7	OPT f=3 TT=4.914 T1=2.42	OPT f=3 TT=4.743 T1=2.45	OPT f=3 TT=4.747 T1=2.36	OPT f=3 TT=22.25 T1=14.96	OPT f=3 TT=20.631 T1=14.28	SAT (TO) f=4 TT=252.126 T1=175.84	SAT (TO) f=10 TT=252.045 T1=1.19	SAT (TO) f=10 TT=251.946 T1=1.26	? (TO) TT=240.024	OPT f=3 TT=0.789 T1=0.88	SAT (TO) f=4 TT=249.848 T1=135.85	OPT f=3 TT=3.562 T1=1.61	OPT f=3 TT=3.713 T1=1.59	OPT f=3 TT=13.703 T1=2.93	OPT f=3 TT=16.034 T1=15.48	OPT f=3 TT=121.313 T1=116.44
Opd/Opd-sum-large/ Opd-14-035-010.xml	OPT f=3 TT=0.488 T1=0.56	OPT f=3 TT=6.135 T1=4.33	OPT f=3 TT=94.592 T1=12.63	OPT f=3 TT=87.586 T1=11.63	OPT f=3 TT=90.027 T1=11.89	OPT f=3 TT=5.281 T1=2.71	OPT f=3 TT=5.619 T1=2.7	OPT f=3 TT=5.412 T1=2.61	OPT f=3 TT=19.124 T1=9.36	OPT f=3 TT=19.165 T1=9.25	SAT (TO) f=4 TT=261.051 T1=53.08	SAT (TO) f=10 TT=251.972 T1=1.35	SAT (TO) f=10 TT=251.942 T1=1.37	? (TO) TT=240.041	OPT f=3 TT=0.488 T1=0.56	SAT (TO) f=4 TT=250.939 T1=29.64	OPT f=3 TT=172.058 T1=166.78	SAT (TO) f=4 TT=250.573 T1=2.87	OPT f=3 TT=16.863 T1=3.46	OPT f=3 TT=15.621 T1=14.26	OPT f=3 TT=175.003 T1=170.42
Opd/Opd-sum-large/ Opd-29-350-100.xml	SAT TO f=96 TT=1908.95 T1=114.21	SAT (TO) f=99 TT=244.697 T1=7.85	? (TO) TT=1920.45	? (TO) TT=1965.85	SAT (TO) f=96 TT=1908.95 T1=114.21	? (TO) TT=247.54	? (TO) TT=247.657	? (TO) TT=247.582	? (TO) TT=251.95	? (TO) TT=252.659	? (TO) TT=255.226	? (TO) TT=252.064	? (TO) TT=251.949	? (TO) TT=240.037	? (TO) TT=251.795	SAT (TO) f=350 TT=263.062 T1=2.69	SAT (TO) f=100 TT=251.949 T1=4.53	SAT (TO) f=100 TT=262.456 T1=4.58	SAT (TO) f=100 TT=1921.96 T1=15.68	SAT (TO) f=100 TT=1946.85 T1=72.11	? (TO) TT=260.116
Opd/Opd-sum-large/ Opd-46-035-010.xml	SAT TO f=4 TT=251.901 T1=20.88	SAT (TO) f=6 TT=243.011 T1=82.95	SAT (TO) f=6 TT=1920.71 T1=70.67	SAT (TO) f=5 TT=1996.05 T1=160.96	SAT (TO) f=5 TT=1996.02 T1=228.86	SAT (TO) f=5 TT=244.48 T1=135.53	SAT (TO) f=5 TT=244.399 T1=133.63	SAT (TO) f=5 TT=244.567 T1=132.65	SAT (TO) f=5 TT=251.406 T1=142.36	SAT (TO) f=5 TT=251.309 T1=142.18	? (TO) TT=257.999	SAT (TO) f=10 TT=252.048 T1=9.25	SAT (TO) f=10 TT=251.944 T1=9.44	? (TO) TT=240.036	SAT (TO) f=4 TT=251.901 T1=88.5	SAT (TO) f=10 TT=249.755 T1=9.41	SAT (TO) f=9 TT=246.849 T1=3.5	SAT (TO) f=9 TT=251.05 T1=100.61	SAT (TO) f=4 TT=1921.51 T1=20.88	SAT (TO) f=4 TT=1985.3 T1=113.76	? (TO) TT=248.239
Opd/Opd-sum-large/ Opd-46-350-100.xml	SAT TO f=98 TT=1753.7 T1=225.58	SAT (TO) f=99 TT=244.494 T1=18.36	? (TO) TT=1920.63	? (TO) TT=1888.54	SAT (TO) f=98 TT=1753.7 T1=225.58	? (TO) TT=255.27	? (TO) TT=255.024	? (TO) TT=255.758	? (TO) TT=260.93	? (TO) TT=261.753	? (TO) TT=261.995	? (TO) TT=252.069	? (TO) TT=251.962	? (TO) TT=240.085	? (TO) TT=251.914	SAT (TO) f=350 TT=252.135 T1=4.96	SAT (TO) f=100 TT=252.162 T1=8.28	SAT (TO) f=100 TT=252.876 T1=9.03	SAT (TO) f=100 TT=1921.09 T1=51.4	SAT (TO) f=100 TT=1883.87 T1=303.42	? (TO) TT=260.217
Opd/Opd-sum-small/ Opd-09-037-012.xml	OPT f=3 TT=44.655 T1=43.02	OPT f=3 TT=44.655 T1=43.02	SAT (TO) f=4 TT=1920.09 T1=1.25	SAT (TO) f=4 TT=2007.07 T1=1.13	SAT (TO) f=4 TT=2007.51 T1=1.1	SAT (TO) f=4 TT=243.5 T1=3.14	SAT (TO) f=4 TT=242.522 T1=2.94	SAT (TO) f=4 TT=242.847 T1=3	SAT (TO) f=4 TT=254.58 T1=19	SAT (TO) f=4 TT=253.613 T1=19.01	SAT (TO) f=5 TT=252.081 T1=8.97	SAT (TO) f=12 TT=251.949 T1=1.15	SAT (TO) f=12 TT=251.959 T1=1.13	? (TO) TT=240.016	SAT (TO) f=4 TT=251.922 T1=0.59	SAT (TO) f=4 TT=251.153 T1=27.21	SAT (TO) f=4 TT=246.457 T1=1.76	SAT (TO) f=4 TT=249.912 T1=1.82	SAT (TO) f=4 TT=1921.4 T1=3.12	SAT (TO) f=4 TT=1988.48 T1=12.09	OPT f=3 TT=169.518 T1=165.76
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	choco-solver 4.0.5 par (2017-07-26) (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-07-26) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.1 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	sat4j-CSP 2017-07-05 (complete)
Opd/Opd-sum-small/ Opd-10-026-004.xml	OPT f=1 TT=0.135 T1=0.21	OPT f=1 TT=1.618 T1=0.92	OPT f=1 TT=3.613 T1=1.07	OPT f=1 TT=3.662 T1=0.96	OPT f=1 TT=3.323 T1=0.92	OPT f=1 TT=2.515 T1=1.12	OPT f=1 TT=2.421 T1=1.01	OPT f=1 TT=2.534 T1=1.01	OPT f=1 TT=8.665 T1=3.55	OPT f=1 TT=10.108 T1=3.77	OPT f=1 TT=17.209 T1=6.66	OPT f=1 TT=3.681 T1=3.79	OPT f=1 TT=3.649 T1=3.7	SAT (TO) f=3 TT=240.018 T1=0.32	OPT f=1 TT=0.135 T1=0.21	SAT (TO) f=1 TT=249.854 T1=10.64	OPT f=1 TT=2.46 T1=1.26	OPT f=1 TT=2.503 T1=1.23	OPT f=1 TT=11.083 T1=2.89	OPT f=1 TT=9.049 T1=7.55	OPT f=1 TT=18.315 T1=14.81
Opd/Opd-sum-small/ Opd-10-031-009.xml	OPT f=2 TT=4.097 T1=2.37	OPT f=2 TT=4.097 T1=2.61	OPT f=2 TT=14.897 T1=2.54	OPT f=2 TT=14.843 T1=2.37	OPT f=2 TT=14.737 T1=2.38	SAT (TO) f=3 TT=242.99 T1=1.28	SAT (TO) f=3 TT=242.886 T1=1.22	SAT (TO) f=3 TT=243.077 T1=1.2	SAT (TO) f=3 TT=255.319 T1=9.06	SAT (TO) f=3 TT=253.604 T1=9.12	SAT (TO) f=3 TT=252.062 T1=9.02	SAT (TO) f=9 TT=252.02 T1=0.44	SAT (TO) f=9 TT=251.943 T1=0.5	? (TO) TT=240.007	OPT f=2 TT=50.432 T1=50.51	SAT (TO) f=3 TT=250.302 T1=33.98	SAT (TO) f=3 TT=245.451 T1=1.43	SAT (TO) f=3 TT=250.87 T1=1.63	OPT f=2 TT=809.044 T1=103.06	OPT f=2 TT=565.12 T1=564.32	OPT f=2 TT=70.681 T1=67.13
Opd/Opd-sum-small/ Opd-10-038-010.xml	OPT f=2 TT=3.822 T1=2.18	OPT f=2 TT=3.822 T1=2.18	OPT f=2 TT=22.867 T1=3.52	OPT f=2 TT=21.928 T1=3.3	OPT f=2 TT=20.081 T1=3.07	SAT (TO) f=3 TT=242.874 T1=2.48	SAT (TO) f=3 TT=242.622 T1=2.27	SAT (TO) f=3 TT=242.966 T1=2.23	SAT (TO) f=3 TT=253.37 T1=16.6	SAT (TO) f=3 TT=253.582 T1=16.1	SAT (TO) f=3 TT=252.142 T1=10.35	SAT (TO) f=10 TT=251.966 T1=1.49	SAT (TO) f=10 TT=251.955 T1=1.5	? (TO) TT=240.003	OPT f=2 TT=11.94 T1=12.03	SAT (TO) f=3 TT=251.143 T1=29.58	OPT f=2 TT=62.645 T1=57.48	SAT (TO) f=3 TT=250.442 T1=1.71	OPT f=2 TT=19.705 T1=3.73	OPT f=2 TT=34.705 T1=33.72	OPT f=2 TT=130.475 T1=126.44
Opd/Opd-sum-small/ Opd-19-019-009.xml	SAT TO f=5 TT=242.128 T1=3.04	SAT (TO) f=5 TT=242.128 T1=3.09	SAT (TO) f=5 TT=1920.37 T1=18.31	SAT (TO) f=5 TT=2006.34 T1=17.76	SAT (TO) f=5 TT=2005.96 T1=18.1	SAT (TO) f=5 TT=243.643 T1=5.25	SAT (TO) f=5 TT=244.015 T1=5.22	SAT (TO) f=5 TT=244.05 T1=5.29	SAT (TO) f=5 TT=251.03 T1=13.48	SAT (TO) f=5 TT=251.08 T1=13.45	SAT (TO) f=5 TT=252.158 T1=19.51	SAT (TO) f=7 TT=252.041 T1=148.24	SAT (TO) f=7 TT=251.907 T1=149.62	SAT (TO) f=8 TT=240.003 T1=3.28	SAT (TO) f=5 TT=251.882 T1=3.04	SAT (TO) f=6 TT=250.503 T1=20.17	SAT (TO) f=5 TT=246.556 T1=11.89	SAT (TO) f=6 TT=250.052 T1=1.32	SAT (TO) f=5 TT=1921.43 T1=3.63	SAT (TO) f=5 TT=1992.75 T1=14.81	SAT (TO) f=5 TT=244.216 T1=52.36
OpenStacks/OpenStacks-m2c-s1/ OpenStacks-m2c-Miller-19.xml	SAT TO f=13 TT=244.711 T1=0.79	SAT (TO) f=13 TT=244.711 T1=13.86	SAT (TO) f=13 TT=1920.17 T1=11.27	SAT (TO) f=13 TT=1961.82 T1=11	SAT (TO) f=13 TT=1961.97 T1=10.88	SAT (TO) f=14 TT=245.11 T1=212.55	SAT (TO) f=14 TT=246.105 T1=208.06	SAT (TO) f=14 TT=245.411 T1=213.21	SAT (TO) f=14 TT=252.244 T1=127.74	SAT (TO) f=14 TT=253.094 T1=119.91	SAT (TO) f=13 TT=261.772 T1=27.45	SAT (TO) f=14 TT=251.913 T1=4.97	SAT (TO) f=14 TT=240.022 T1=4.84	SAT (TO) f=13 TT=251.968 T1=43.63	SAT (TO) f=13 TT=251.813 T1=0.79	? (TO) TT=244.883	? (TO) TT=244.51	? (TO) TT=244.324	? (TO) TT=1921.48	? (TO) TT=1965.43	? (TO) TT=260.107
OpenStacks/OpenStacks-m2c-s1/ OpenStacks-m2c-nrwsSmall-4-1.xml	OPT f=3 TT=0.433 T1=0.53	OPT f=3 TT=4.44 T1=2.12	OPT f=3 TT=22.683 T1=3.58	OPT f=3 TT=22.795 T1=3.54	OPT f=3 TT=23.695 T1=3.63	OPT f=3 TT=29.832 T1=20.72	OPT f=3 TT=30.529 T1=19.72	OPT f=3 TT=29.625 T1=19.31	OPT f=3 TT=32.645 T1=21.58	OPT f=3 TT=32.025 T1=20.88	SAT (TO) f=5 TT=262.254 T1=5.55	OPT f=3 TT=12.596 T1=10.6	OPT f=3 TT=12.615 T1=10.56	OPT f=3 TT=12.423 T1=11.52	OPT f=3 TT=0.433 T1=0.53	SAT (TO) f=3 TT=251.331 T1=35.84	SAT (TO) f=6 TT=246.438 T1=64.57	SAT (TO) f=3 TT=251.79 T1=82.35	OPT f=3 TT=270.195 T1=35.38	OPT f=3 TT=195.304 T1=190.65	? (TO) TT=249.078
OpenStacks/OpenStacks-m2c-s1/ OpenStacks-m2c-pb-10-10-1.xml	OPT f=5 TT=0.068 T1=0.02	OPT f=5 TT=1.94 T1=0.91	OPT f=5 TT=6.822 T1=1.12	OPT f=5 TT=6.734 T1=0.98	OPT f=5 TT=6.363 T1=0.97	OPT f=5 TT=2.448 T1=0.8	OPT f=5 TT=2.479 T1=0.73	OPT f=5 TT=2.627 T1=0.62	OPT f=5 TT=5.27 T1=0.89	OPT f=5 TT=5.19 T1=0.73	OPT f=5 TT=12.013 T1=5.78	OPT f=5 TT=0.79 T1=0.08	OPT f=5 TT=0.798 T1=0.13	OPT f=5 TT=0.339 T1=0.02	OPT f=5 TT=0.068 T1=0.1	SAT (TO) f=5 TT=248.336 T1=12.31	OPT f=5 TT=6.068 T1=2.41	OPT f=5 TT=204.914 T1=2	OPT f=5 TT=12.316 T1=2.43	OPT f=5 TT=14.36 T1=7.45	OPT f=5 TT=213.4 T1=31.71
OpenStacks/OpenStacks-m2c-s1/ OpenStacks-m2c-pb-10-20-1.xml	OPT f=7 TT=214.635 T1=1.08	OPT f=7 TT=214.635 T1=1.08	SAT (TO) f=7 TT=1920.79 T1=1.91	SAT (TO) f=7 TT=2005.94 T1=1.78	OPT f=7 TT=1441.8 T1=1.78	SAT (TO) f=7 TT=244.89 T1=1.42	SAT (TO) f=7 TT=244.914 T1=1.34	SAT (TO) f=7 TT=244.899 T1=1.27	SAT (TO) f=7 TT=253.92 T1=1.79	SAT (TO) f=7 TT=251.796 T1=1.57	SAT (TO) f=7 TT=257.463 T1=5.41	SAT (TO) f=7 TT=251.978 T1=0.12	SAT (TO) f=7 TT=251.967 T1=0.12	SAT (TO) f=7 TT=240.019 T1=0.12	SAT (TO) f=7 TT=251.891 T1=0.17	SAT (TO) f=7 TT=250.911 T1=68.94	SAT (TO) f=7 TT=245.533 T1=59.39	SAT (TO) f=7 TT=250.173 T1=53.6	SAT (TO) f=7 TT=1920.67 T1=3.87	SAT (TO) f=7 TT=1984.51 T1=18.95	SAT (TO) f=9 TT=249.732 T1=240.2
OpenStacks/OpenStacks-m2c-s1/ OpenStacks-m2c-pb-20-20-1.xml	SAT TO f=11 TT=244.642 T1=0.25	SAT (TO) f=11 TT=244.642 T1=1.94	SAT (TO) f=11 TT=1920.69 T1=5.59	SAT (TO) f=11 TT=2002.15 T1=11.73	SAT (TO) f=11 TT=2004 T1=5.72	SAT (TO) f=11 TT=244.71 T1=209.41	SAT (TO) f=11 TT=244.826 T1=209.25	SAT (TO) f=11 TT=244.72 T1=211.65	SAT (TO) f=12 TT=250.43 T1=5.15	SAT (TO) f=12 TT=254.016 T1=5.08	SAT (TO) f=11 TT=260.719 T1=9.17	SAT (TO) f=12 TT=251.967 T1=2	SAT (TO) f=12 TT=240.007 T1=1.95	SAT (TO) f=12 TT=240.031 T1=1.31	SAT (TO) f=11 TT=251.933 T1=0.25	SAT (TO) f=12 TT=252.088 T1=83.47	SAT (TO) f=13 TT=246.128 T1=63.33	SAT (TO) f=11 TT=252.478 T1=146.52	SAT (TO) f=11 TT=1920.87 T1=4.57	SAT (TO) f=11 TT=1985.24 T1=37.74	? (TO) TT=256.716
OpenStacks/ OpenStacks-m2c-s1/ OpenStacks-m2c-sp-4-1.xml	SAT TO f=9 TT=244.656 T1=0.83	SAT (TO) f=9 TT=244.656 T1=3.58	OPT f=9 TT=1478.76 T1=7.12	SAT (TO) f=9 TT=1996.6 T1=8.17	SAT (TO) f=9 TT=1996.98 T1=6.26	SAT (TO) f=9 TT=246 T1=6.05	SAT (TO) f=9 TT=246.567 T1=5.93	SAT (TO) f=9 TT=246.35 T1=6.01	SAT (TO) f=9 TT=254.31 T1=11.27	SAT (TO) f=9 TT=252.78 T1=10.3	SAT (TO) f=9 TT=259.71 T1=44.72	SAT (TO) f=11 TT=251.905 T1=0.95	SAT (TO) f=11 TT=251.939 T1=0.93	SAT (TO) f=9 TT=251.873 T1=1.18	SAT (TO) f=9 TT=251.916 T1=0.83	SAT (TO) f=10 TT=251.286 T1=64.02	SAT (TO) f=12 TT=246.127 T1=6.83	SAT (TO) f=9 TT=252.413 T1=129.37	SAT (TO) f=10 TT=1921.45 T1=156.06	SAT (TO) f=11 TT=1988.14 T1=22.38	? (TO) TT=252.27
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	choco-solver 4.0.5 par (2017-07-26) (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-07-26) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.1 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	sat4j-CSP 2017-07-05 (complete)
OpenStacks/ OpenStacks-m2c-s1/ OpenStacks-m2c-tiny.xml	OPT f=3 TT=0.016 T1=0.01	OPT f=3 TT=1.529 T1=0.82	OPT f=3 TT=3.626 T1=0.85	OPT f=3 TT=2.807 T1=0.81	OPT f=3 TT=3.041 T1=0.72	OPT f=3 TT=1.725 T1=0.79	OPT f=3 TT=1.723 T1=0.63	OPT f=3 TT=1.754 T1=0.64	OPT f=3 TT=2.173 T1=0.84	OPT f=3 TT=2.174 T1=0.72	OPT f=3 TT=10.107 T1=4.24	OPT f=3 TT=0.025 T1=0.07	OPT f=3 TT=0.025 T1=0.01	OPT f=3 TT=0.016 T1=0.01	OPT f=3 TT=0.02 T1=0.1	SAT (TO) f=3 TT=248.309 T1=1.84	OPT f=3 TT=2.833 T1=1.36	OPT f=3 TT=2.863 T1=1.36	OPT f=3 TT=9.255 T1=2.41	OPT f=3 TT=8.938 T1=7.43	OPT f=3 TT=12.415 T1=5.21
OpenStacks/OpenStacks-m2c-s1/ OpenStacks-m2c-wbo-10-10-1.xml	OPT f=3 TT=0.041 T1=0.02	OPT f=3 TT=1.861 T1=0.9	OPT f=3 TT=3.466 T1=0.99	OPT f=3 TT=3.327 T1=0.86	OPT f=3 TT=3.621 T1=0.88	OPT f=3 TT=2.27 T1=0.82	OPT f=3 TT=2.24 T1=0.67	OPT f=3 TT=2.32 T1=0.68	OPT f=3 TT=3.009 T1=0.93	OPT f=3 TT=3.277 T1=0.78	OPT f=3 TT=12.034 T1=4.95	OPT f=3 TT=0.079 T1=0.08	OPT f=3 TT=0.079 T1=0.02	OPT f=3 TT=0.091 T1=0.04	OPT f=3 TT=0.041 T1=0.11	SAT (TO) f=3 TT=247.856 T1=9.94	OPT f=3 TT=2.081 T1=1.07	OPT f=3 TT=2.107 T1=1.09	OPT f=3 TT=12.332 T1=2.5	OPT f=3 TT=11.19 T1=7.35	OPT f=3 TT=81.857 T1=30.45
OpenStacks/OpenStacks-m2c-s1/ OpenStacks-m2c-wbo-10-20-1.xml	OPT f=5 TT=103.108 T1=0.18	SAT (TO) f=5 TT=244.091 T1=1.3	OPT f=5 TT=358.167 T1=2.97	SAT (TO) f=5 TT=2005.89 T1=2.98	OPT f=5 TT=585.57 T1=2.95	SAT (TO) f=5 TT=243.77 T1=9.87	SAT (TO) f=5 TT=243.827 T1=10.07	SAT (TO) f=5 TT=243.879 T1=9.73	SAT (TO) f=5 TT=249.85 T1=4.32	SAT (TO) f=5 TT=249.767 T1=4.18	SAT (TO) f=5 TT=259.103 T1=5.53	SAT (TO) f=5 TT=251.934 T1=0.24	SAT (TO) f=5 TT=240.001 T1=0.17	SAT (TO) f=5 TT=240.006 T1=1.55	OPT f=5 TT=103.108 T1=0.18	? (TO) TT=244.933	SAT (TO) f=5 TT=245.005 T1=26.81	SAT (TO) f=5 TT=250.312 T1=30.95	SAT (TO) f=5 TT=1921.4 T1=3.11	SAT (TO) f=5 TT=1133.85 T1=12.81	? (TO) TT=249.982
OpenStacks/OpenStacks-m2c-s1/ OpenStacks-m2c-wbo-10-30-1.xml	OPT f=6 TT=519.283 T1=7.38	SAT (TO) f=6 TT=244.552 T1=6.3	OPT f=6 TT=1023.65 T1=8.74	SAT (TO) f=6 TT=1998.23 T1=5.29	OPT f=6 TT=519.283 T1=7.38	SAT (TO) f=7 TT=245.7 T1=2.75	SAT (TO) f=7 TT=245.419 T1=2.62	SAT (TO) f=7 TT=245.594 T1=2.61	SAT (TO) f=6 TT=252.72 T1=56.56	SAT (TO) f=6 TT=251.939 T1=55.29	SAT (TO) f=6 TT=258.695 T1=7.41	SAT (TO) f=7 TT=251.925 T1=0.35	SAT (TO) f=7 TT=251.949 T1=0.31	SAT (TO) f=6 TT=240.017 T1=7.94	SAT (TO) f=6 TT=251.856 T1=0.5	? (TO) TT=245.953	? (TO) TT=245.248	? (TO) TT=244.688	SAT (TO) f=7 TT=1921.47 T1=39.52	SAT (TO) f=7 TT=1983.25 T1=288.52	? (TO) TT=252.154
OpenStacks/OpenStacks-m2c-s1/ OpenStacks-m2c-wbo-15-30-1.xml	OPT f=4 TT=153.288 T1=12.96	OPT f=4 TT=153.288 T1=14.7	OPT f=4 TT=1293.15 T1=49.78	OPT f=4 TT=1711.72 T1=12.96	OPT f=4 TT=865.933 T1=37.84	OPT f=4 TT=184.181 T1=42.83	OPT f=4 TT=185.536 T1=43.06	OPT f=4 TT=184.653 T1=42.68	SAT (TO) f=5 TT=253.72 T1=14.39	SAT (TO) f=5 TT=252.418 T1=13.73	SAT (TO) f=5 TT=261.4 T1=225.15	SAT (TO) f=6 TT=251.941 T1=47.69	SAT (TO) f=6 TT=240.039 T1=48.24	SAT (TO) f=5 TT=240.02 T1=44.71	SAT (TO) f=4 TT=251.881 T1=14.47	SAT (TO) f=7 TT=246.463 T1=229.74	SAT (TO) f=11 TT=244.9 T1=114.08	SAT (TO) f=6 TT=248.012 T1=158.12	SAT (TO) f=6 TT=1921.07 T1=5.86	SAT (TO) f=6 TT=1987.61 T1=25.34	? (TO) TT=252.306
OpenStacks/OpenStacks-m2c-s1/ OpenStacks-m2c-wbop-10-20-1.xml	OPT f=5 TT=59.03 T1=0.58	SAT (TO) f=5 TT=243.712 T1=2.06	OPT f=5 TT=496.245 T1=2.65	SAT (TO) f=5 TT=2005.79 T1=3.58	OPT f=5 TT=645.727 T1=1.94	SAT (TO) f=5 TT=243.96 T1=8.84	SAT (TO) f=5 TT=243.935 T1=8.87	SAT (TO) f=5 TT=244.129 T1=8.82	SAT (TO) f=5 TT=248.77 T1=3.4	SAT (TO) f=5 TT=250.391 T1=3.38	SAT (TO) f=5 TT=256.388 T1=6.19	SAT (TO) f=5 TT=251.895 T1=0.53	SAT (TO) f=5 TT=251.941 T1=0.48	SAT (TO) f=5 TT=240.013 T1=0.21	OPT f=5 TT=59.03 T1=0.58	SAT (TO) f=5 TT=251.876 T1=31.72	SAT (TO) f=7 TT=246.022 T1=12.79	SAT (TO) f=5 TT=251.25 T1=35.04	SAT (TO) f=5 TT=1921.3 T1=5.31	OPT f=5 TT=1712.15 T1=30.24	? (TO) TT=249.834
OpenStacks/OpenStacks-m2c-s1/ OpenStacks-m2c-wbop-10-30-1.xml	SAT TO f=6 TT=244.184 T1=0.36	SAT (TO) f=6 TT=244.184 T1=10.8	OPT f=6 TT=1021.14 T1=3.4	SAT (TO) f=6 TT=1997.84 T1=3.75	SAT (TO) f=6 TT=1998.98 T1=3.52	SAT (TO) f=6 TT=245.23 T1=9.56	SAT (TO) f=6 TT=245.462 T1=9.62	SAT (TO) f=6 TT=245.471 T1=9.43	SAT (TO) f=6 TT=255.93 T1=3.61	SAT (TO) f=6 TT=255.213 T1=3.21	SAT (TO) f=7 TT=252.141 T1=6.45	SAT (TO) f=7 TT=251.945 T1=0.87	SAT (TO) f=7 TT=240.028 T1=0.82	SAT (TO) f=7 TT=251.898 T1=0.55	SAT (TO) f=6 TT=251.865 T1=0.36	? (TO) TT=244.889	? (TO) TT=244.577	? (TO) TT=244.12	? (TO) TT=1921.3	? (TO) TT=1976.71	? (TO) TT=252.199
OpenStacks/OpenStacks-m2c-s1/ OpenStacks-m2c-wbp-10-20-1.xml	OPT f=6 TT=39.637 T1=0.3	OPT f=6 TT=39.637 T1=1.63	OPT f=6 TT=988.774 T1=1.95	OPT f=6 TT=962.205 T1=1.8	OPT f=6 TT=700.44 T1=1.79	SAT (TO) f=6 TT=243.914 T1=2.7	SAT (TO) f=6 TT=244.17 T1=2.59	SAT (TO) f=6 TT=244.103 T1=2.58	SAT (TO) f=6 TT=253.62 T1=4.16	SAT (TO) f=6 TT=252.156 T1=4.15	SAT (TO) f=6 TT=257.719 T1=6.36	SAT (TO) f=6 TT=251.917 T1=8.84	SAT (TO) f=6 TT=240.039 T1=8.68	SAT (TO) f=6 TT=251.963 T1=5.15	OPT f=6 TT=68.751 T1=0.3	SAT (TO) f=6 TT=251.01 T1=37.26	SAT (TO) f=7 TT=245.755 T1=109.05	SAT (TO) f=6 TT=251.232 T1=42.48	SAT (TO) f=6 TT=1921.44 T1=5.46	SAT (TO) f=6 TT=1984.94 T1=21.74	? (TO) TT=249.829
OpenStacks/OpenStacks-m2c-s1/ OpenStacks-m2c-wbp-15-15-1.xml	OPT f=4 TT=0.075 T1=0.14	OPT f=4 TT=2.51 T1=1.05	OPT f=4 TT=9.369 T1=1.88	OPT f=4 TT=12.06 T1=2.07	OPT f=4 TT=8.719 T1=1.54	OPT f=4 TT=8.031 T1=3.75	OPT f=4 TT=8.022 T1=3.79	OPT f=4 TT=7.868 T1=3.58	OPT f=4 TT=13.745 T1=4.16	OPT f=4 TT=15.941 T1=4.29	OPT f=4 TT=118.906 T1=7.88	OPT f=4 TT=2.664 T1=0.35	OPT f=4 TT=2.657 T1=0.29	OPT f=4 TT=0.901 T1=0.18	OPT f=4 TT=0.075 T1=0.14	SAT (TO) f=4 TT=250.411 T1=38.61	OPT f=4 TT=24.534 T1=19.85	OPT f=4 TT=218.855 T1=30.85	OPT f=4 TT=63.539 T1=8.37	OPT f=4 TT=72.176 T1=57.74	SAT (TO) f=8 TT=245.46 T1=240.2
OpenStacks/OpenStacks-m2c-s1/ OpenStacks-m2c-wbp-15-30-1.xml	SAT TO f=6 TT=245.379 T1=4.73	SAT (TO) f=6 TT=246.498 T1=7.33	SAT (TO) f=6 TT=1920.16 T1=4.88	SAT (TO) f=6 TT=1994.85 T1=5.19	SAT (TO) f=6 TT=1995.21 T1=4.73	SAT (TO) f=6 TT=245.56 T1=216.22	SAT (TO) f=6 TT=245.379 T1=223.9	SAT (TO) f=6 TT=245.542 T1=223.81	SAT (TO) f=7 TT=253.47 T1=5.26	SAT (TO) f=7 TT=255.454 T1=5.58	SAT (TO) f=9 TT=260.008 T1=6.95	SAT (TO) f=7 TT=251.956 T1=62.19	SAT (TO) f=7 TT=240.027 T1=61	SAT (TO) f=8 TT=240.009 T1=0.64	SAT (TO) f=6 TT=251.896 T1=6.81	SAT (TO) f=6 TT=247.605 T1=158.77	SAT (TO) f=10 TT=245.513 T1=233.21	? (TO) TT=244.634	SAT (TO) f=6 TT=1921.07 T1=209.56	SAT (TO) f=6 TT=1990.64 T1=355.37	? (TO) TT=252.347
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	choco-solver 4.0.5 par (2017-07-26) (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-07-26) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.1 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	sat4j-CSP 2017-07-05 (complete)
PseudoBoolean/ PseudoBoolean-opt-dimacs/ Pb-aim-050-3-4-yes1-1.xml	OPT f=50 TT=0.046 T1=0.1	OPT f=50 TT=1.44 T1=0.81	OPT f=50 TT=2.742 T1=0.85	OPT f=50 TT=3.194 T1=0.75	OPT f=50 TT=2.585 T1=0.75	OPT f=50 TT=1.18 T1=0.68	OPT f=50 TT=1.162 T1=0.55	OPT f=50 TT=1.159 T1=0.55	OPT f=50 TT=1.522 T1=0.79	OPT f=50 TT=1.542 T1=0.67	OPT f=50 TT=8.317 T1=4.13	OPT f=50 TT=0.072 T1=0.12	OPT f=50 TT=0.073 T1=0.12	OPT f=50 TT=0.088 T1=0.14	OPT f=50 TT=0.046 T1=0.1	SAT (TO) f=50 TT=247.243 T1=0.94	OPT f=50 TT=1.501 T1=0.92	OPT f=50 TT=1.53 T1=0.98	OPT f=50 TT=3.998 T1=1.69	OPT f=50 TT=3.953 T1=3.68	OPT f=50 TT=0.951 T1=0.56
PseudoBoolean/ PseudoBoolean-opt-dimacs/ Pb-ii08a1.xml	OPT f=54 TT=2.181 T1=0.12	OPT f=54 TT=3.421 T1=0.8	OPT f=54 TT=22.324 T1=0.82	OPT f=54 TT=28.504 T1=0.71	OPT f=54 TT=22.434 T1=0.69	OPT f=54 TT=20.593 T1=0.89	OPT f=54 TT=18.011 T1=0.9	OPT f=54 TT=16.786 T1=0.75	OPT f=54 TT=77.465 T1=1.94	OPT f=54 TT=75.591 T1=1.69	OPT f=54 TT=15.739 T1=4.22	OPT f=54 TT=13.846 T1=13.89	OPT f=54 TT=13.782 T1=13.78	OPT f=54 TT=8.965 T1=9.04	OPT f=54 TT=5.667 T1=0.12	SAT (TO) f=54 TT=247.746 T1=2.37	OPT f=54 TT=2.79 T1=1.05	OPT f=54 TT=2.747 T1=1.02	OPT f=54 TT=7.956 T1=2.01	OPT f=54 TT=8.08 T1=5.41	OPT f=54 TT=2.181 T1=0.63
PseudoBoolean/ PseudoBoolean-opt-dimacs/ Pb-ii8d2.xml	SAT TO f=561 TT=259.948 T1=46.56	SAT (TO) f=580 TT=243.388 T1=36.99	SAT (TO) f=662 TT=1920.57 T1=2.14	SAT (TO) f=662 TT=2003.14 T1=2.01	SAT (TO) f=662 TT=2003.63 T1=1.95	SAT (TO) f=608 TT=245.18 T1=3.06	SAT (TO) f=608 TT=245.277 T1=2.94	SAT (TO) f=608 TT=244.99 T1=2.83	SAT (TO) f=711 TT=252.9 T1=4.45	SAT (TO) f=711 TT=253.92 T1=4.41	SAT (TO) f=561 TT=259.948 T1=46.56	SAT (TO) f=627 TT=251.911 T1=252	SAT (TO) f=627 TT=251.874 T1=252	SAT (TO) f=717 TT=251.961 T1=252	SAT (TO) f=605 TT=251.965 T1=249.24	SAT (TO) f=795 TT=249.942 T1=211.68	SAT (TO) f=790 TT=243.905 T1=238.03	SAT (TO) f=638 TT=250.448 T1=208.89	SAT (TO) f=751 TT=1921.03 T1=149.48	SAT (TO) f=750 TT=1984.18 T1=1910.11	SAT (TO) f=709 TT=246.439 T1=1.72
PseudoBoolean/ PseudoBoolean-opt-domset/ Pb-domset-v500-e2000-w30-mw19-11.xml	SAT TO f=211 TT=242.164 T1=28.47	SAT (TO) f=211 TT=242.164 T1=28.47	SAT (TO) f=216 TT=1920.57 T1=10.13	SAT (TO) f=215 TT=1993.73 T1=34.43	SAT (TO) f=215 TT=1988.12 T1=29.97	SAT (TO) f=225 TT=243.52 T1=3.01	SAT (TO) f=225 TT=243.568 T1=3.1	SAT (TO) f=225 TT=243.669 T1=2.92	SAT (TO) f=226 TT=255.6 T1=0.87	SAT (TO) f=226 TT=253.658 T1=0.72	SAT (TO) f=224 TT=252.112 T1=118.54	SAT (TO) f=225 TT=251.938 T1=252	SAT (TO) f=225 TT=251.952 T1=252	SAT (TO) f=221 TT=240.024 T1=240	SAT (TO) f=228 TT=251.919 T1=186.35	SAT (TO) f=212 TT=249.419 T1=167.04	SAT (TO) f=359 TT=242.515 T1=128.25	SAT (TO) f=212 TT=248.62 T1=155.4	SAT (TO) f=357 TT=1921.3 T1=170.38	SAT (TO) f=357 TT=1981.67 T1=1314.02	SAT (TO) f=251 TT=243.434 T1=1.87
PseudoBoolean/ PseudoBoolean-opt-factor/ Pb-factor-S9-P071-Q409.xml	OPT f=71 TT=0.049 T1=0.07	OPT f=71 TT=2.729 T1=1.22	OPT f=71 TT=2.213 T1=0.84	OPT f=71 TT=2.22 T1=0.7	OPT f=71 TT=2.252 T1=0.71	OPT f=71 TT=1.367 T1=0.72	OPT f=71 TT=1.388 T1=0.86	OPT f=71 TT=1.367 T1=0.61	OPT f=71 TT=3.338 T1=1.3	OPT f=71 TT=3.243 T1=1.14	OPT f=71 TT=9.351 T1=4.35	OPT f=71 TT=0.068 T1=0.12	OPT f=71 TT=0.067 T1=0.17	OPT f=71 TT=0.072 T1=0.07	OPT f=71 TT=0.049 T1=0.11	SAT (TO) f=71 TT=247.131 T1=3.88	OPT f=71 TT=1.545 T1=0.93	OPT f=71 TT=1.56 T1=0.95	OPT f=71 TT=5.211 T1=2.26	OPT f=71 TT=5.314 T1=4.85	? (TO) TT=253.103
PseudoBoolean/ PseudoBoolean-opt-factor/ Pb-factor-S9-P167-Q347.xml	OPT f=167 TT=0.032 T1=0.1	OPT f=167 TT=2.144 T1=1.02	OPT f=167 TT=3.423 T1=0.94	OPT f=167 TT=2.903 T1=0.8	OPT f=167 TT=2.523 T1=0.77	OPT f=167 TT=1.308 T1=0.69	OPT f=167 TT=1.287 T1=0.57	OPT f=167 TT=1.303 T1=0.58	OPT f=167 TT=2.923 T1=1.08	OPT f=167 TT=2.985 T1=0.94	OPT f=167 TT=8.065 T1=3.95	OPT f=167 TT=0.063 T1=0.13	OPT f=167 TT=0.062 T1=0.11	OPT f=167 TT=0.1 T1=0.1	OPT f=167 TT=0.032 T1=0.12	SAT (TO) f=167 TT=247.435 T1=9.5	OPT f=167 TT=1.73 T1=1.11	OPT f=167 TT=1.761 T1=1.16	OPT f=167 TT=4.81 T1=2.13	OPT f=167 TT=4.673 T1=4.16	? (TO) TT=253.354
PseudoBoolean/ PseudoBoolean-opt-factor/ Pb-factor-S9-P251-Q379.xml	OPT f=251 TT=0.034 T1=0.08	OPT f=251 TT=2.289 T1=1.07	OPT f=251 TT=5.148 T1=1.13	OPT f=251 TT=4.965 T1=1.04	OPT f=251 TT=4.283 T1=0.94	OPT f=251 TT=1.366 T1=0.73	OPT f=251 TT=1.386 T1=0.86	OPT f=251 TT=1.35 T1=0.61	OPT f=251 TT=3.056 T1=1.26	OPT f=251 TT=3.153 T1=1.16	OPT f=251 TT=8.679 T1=3.87	OPT f=251 TT=0.098 T1=0.21	OPT f=251 TT=0.097 T1=0.15	OPT f=251 TT=0.089 T1=0.08	OPT f=251 TT=0.034 T1=0.09	SAT (TO) f=251 TT=247.235 T1=0.94	OPT f=251 TT=1.665 T1=0.96	OPT f=251 TT=1.701 T1=1.31	OPT f=251 TT=4.993 T1=2.24	OPT f=251 TT=5.222 T1=4.8	? (TO) TT=253.148
PseudoBoolean/ PseudoBoolean-opt-factor/ Pb-factor-S9-P409-Q499.xml	OPT f=409 TT=0.022 T1=0.02	OPT f=409 TT=1.764 T1=0.9	OPT f=409 TT=2.647 T1=0.97	OPT f=409 TT=2.309 T1=0.76	OPT f=409 TT=2.492 T1=0.78	OPT f=409 TT=1.184 T1=0.69	OPT f=409 TT=1.2 T1=0.7	OPT f=409 TT=1.183 T1=0.57	OPT f=409 TT=2.12 T1=0.96	OPT f=409 TT=2.127 T1=0.86	OPT f=409 TT=8.19 T1=3.95	OPT f=409 TT=0.028 T1=0.12	OPT f=409 TT=0.029 T1=0.08	OPT f=409 TT=0.022 T1=0.02	OPT f=409 TT=0.025 T1=0.09	SAT (TO) f=409 TT=248.032 T1=0.91	OPT f=409 TT=1.462 T1=0.93	OPT f=409 TT=1.472 T1=0.95	OPT f=409 TT=3.875 T1=1.69	OPT f=409 TT=4.14 T1=3.59	? (TO) TT=253.454
PseudoBoolean/ PseudoBoolean-opt-fs/ Pb-fs-50-250-0-45-90-4-1000.xml	OPT f=-178 TT=247.142 T1=195.1	SAT (TO) f=-94 TT=248.477 T1=210.96	SAT (TO) f=-161 TT=1920.57 T1=116.42	SAT (TO) f=-160 TT=1968.71 T1=138.38	SAT (TO) f=-163 TT=1959.35 T1=234.5	SAT (TO) f=-143 TT=247.28 T1=220.81	SAT (TO) f=-143 TT=246.535 T1=222.01	SAT (TO) f=-140 TT=246.565 T1=128.17	SAT (TO) f=-156 TT=253.838 T1=172.54	SAT (TO) f=-153 TT=259.95 T1=160.59	SAT (TO) f=-165 TT=263.451 T1=69.43	SAT (TO) f=-129 TT=251.83 T1=252.01	SAT (TO) f=-129 TT=251.808 T1=252.01	SAT (TO) f=-125 TT=251.785 T1=252.01	SAT (TO) f=-142 TT=251.88 T1=246.3	? TT=5.088	? TT=4.914	? TT=5.081	? TT=5.469	? TT=5.629	OPT f=-178 TT=247.142 T1=195.1
PseudoBoolean/ PseudoBoolean-opt-gr/ Pb-gr-05.xml	OPT f=11 TT=0.03 T1=0.07	OPT f=11 TT=1.369 T1=0.76	OPT f=11 TT=2.624 T1=0.83	OPT f=11 TT=2.306 T1=0.74	OPT f=11 TT=2.35 T1=0.73	OPT f=11 TT=1.396 T1=0.74	OPT f=11 TT=1.375 T1=0.62	OPT f=11 TT=1.386 T1=0.62	OPT f=11 TT=2.4 T1=0.96	OPT f=11 TT=2.339 T1=0.86	OPT f=11 TT=8.928 T1=4.37	OPT f=11 TT=0.096 T1=0.16	OPT f=11 TT=0.095 T1=0.19	OPT f=11 TT=0.072 T1=0.07	OPT f=11 TT=0.03 T1=0.14	SAT (TO) f=11 TT=247.535 T1=2.87	OPT f=11 TT=1.943 T1=1.14	OPT f=11 TT=1.895 T1=1.11	OPT f=11 TT=13.735 T1=2.58	OPT f=11 TT=14.334 T1=10.81	OPT f=11 TT=5.212 T1=2.98
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	choco-solver 4.0.5 par (2017-07-26) (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-07-26) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.1 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	sat4j-CSP 2017-07-05 (complete)
PseudoBoolean/ PseudoBoolean-opt-logicSynthesis/ Pb-logic-m100-100-30-30-r.xml	OPT f=5 TT=155.431 T1=2.78	SAT (TO) f=5 TT=241.403 T1=13.58	OPT f=5 TT=372.002 T1=15.39	OPT f=5 TT=274.9 T1=2.78	OPT f=5 TT=516.14 T1=35.25	SAT (TO) f=7 TT=243.21 T1=5.08	SAT (TO) f=7 TT=243.327 T1=5.1	SAT (TO) f=7 TT=243.05 T1=5.07	SAT (TO) f=7 TT=255.08 T1=87.09	SAT (TO) f=7 TT=254.421 T1=87.25	SAT (TO) f=6 TT=252.137 T1=184.58	SAT (TO) f=7 TT=251.953 T1=252	SAT (TO) f=7 TT=240.039 T1=240	SAT (TO) f=7 TT=240.042 T1=240	SAT (TO) f=6 TT=251.926 T1=0.68	SAT (TO) f=5 TT=247.809 T1=107.81	OPT f=5 TT=155.431 T1=142.4	SAT (TO) f=6 TT=247.074 T1=1.78	OPT f=5 TT=244.968 T1=30.22	OPT f=5 TT=218.117 T1=198.69	SAT (TO) f=6 TT=242.832 T1=3.1
PseudoBoolean/ PseudoBoolean-opt-marketSplit/ Pb-msplit-7-60-4.xml		? (TO) TT=241.546	? (TO) TT=1920.29	? (TO) TT=2001.36	? (TO) TT=2001.01	? (TO) TT=243.28	? (TO) TT=243.416	? (TO) TT=244.374	? (TO) TT=251.1	? (TO) TT=251.57	? (TO) TT=252.5	? (TO) TT=251.95	? (TO) TT=251.941	? (TO) TT=240.039	? (TO) TT=251.887	? (TO) TT=241.056	? (TO) TT=241.089	? (TO) TT=241.044	? (TO) TT=1920.91	? (TO) TT=1977.63	? (TO) TT=245.511
PseudoBoolean/ PseudoBoolean-opt-mps/ Pb-mps-v2-20-10-l152lav.xml		? (TO) TT=242.198	? (TO) TT=1920.51	? (TO) TT=2006.56	? (TO) TT=2006.15	? (TO) TT=245.172	? (TO) TT=244.299	? (TO) TT=243.56	? (TO) TT=257.86	? (TO) TT=256.547	? (TO) TT=258.958	? (TO) TT=251.953	? (TO) TT=251.897	? (TO) TT=240.01	? (TO) TT=251.856	? (TO) TT=242.074	? (TO) TT=242.098	? (TO) TT=242.209	? (TO) TT=1921.07	? (TO) TT=1904.69	? (TO) TT=260.023
PseudoBoolean/ PseudoBoolean-opt-mps/ Pb-mps-v2-20-10-sentoy.xml	OPT f=-7772 TT=47.081 T1=0.51	SAT (TO) f=-7612 TT=241.936 T1=201.46	OPT f=-7772 TT=46.057 T1=4.5	OPT f=-7772 TT=283.976 T1=20.1	OPT f=-7772 TT=58.626 T1=2.73	SAT (TO) f=-7758 TT=242.5 T1=134.73	SAT (TO) f=-7758 TT=242.435 T1=135.09	SAT (TO) f=-7758 TT=242.24 T1=140.94	SAT (TO) f=-7621 TT=251.14 T1=182.11	SAT (TO) f=-7621 TT=251.831 T1=191.51	SAT (TO) f=-7772 TT=252.072 T1=4.54	SAT (TO) f=-7705 TT=251.911 T1=252	SAT (TO) f=-7705 TT=251.918 T1=252	SAT (TO) f=-7707 TT=240.011 T1=240	OPT f=-7772 TT=47.081 T1=0.51	? TT=1.265	? TT=1.256	? TT=1.257	? TT=1.303	? TT=1.276	? (TO) TT=252.213
PseudoBoolean/ PseudoBoolean-opt-radar/ Pb-radar-10-10-45-095-100.xml	SAT TO f=0 TT=251.938 T1=4.51	SAT (TO) f=4 TT=242.151 T1=0.89	SAT (TO) f=7 TT=1920.47 T1=77.78	SAT (TO) f=0 TT=1994.09 T1=4.51	SAT (TO) f=7 TT=1992.58 T1=76.93	SAT (TO) f=11 TT=244.76 T1=9.02	SAT (TO) f=11 TT=244.421 T1=9.13	SAT (TO) f=11 TT=243.863 T1=8.25	SAT (TO) f=27 TT=256.35 T1=39.62	SAT (TO) f=27 TT=257.041 T1=40.06	SAT (TO) f=4 TT=252.095 T1=190.11	SAT (TO) f=10 TT=251.973 T1=252	SAT (TO) f=10 TT=240.041 T1=240	SAT (TO) f=7 TT=240.008 T1=240	SAT (TO) f=0 TT=251.938 T1=15.5	SAT (TO) f=3 TT=249.078 T1=33.91	SAT (TO) f=74 TT=243.664 T1=61.14	SAT (TO) f=3 TT=249.353 T1=81.71	SAT (TO) f=61 TT=1920.65 T1=125.49	SAT (TO) f=60 TT=1978.59 T1=1318.64	SAT (TO) f=8 TT=243.542 T1=1.04
PseudoBoolean/ PseudoBoolean-opt-routing/ Pb-routing-s3-3-3-1.xml	OPT f=36 TT=0.288 T1=0.2	OPT f=36 TT=2.457 T1=0.92	OPT f=36 TT=7.372 T1=1.47	OPT f=36 TT=6.931 T1=1.22	OPT f=36 TT=5.826 T1=1.1	OPT f=36 TT=2.111 T1=0.88	OPT f=36 TT=2.087 T1=0.89	OPT f=36 TT=2.113 T1=0.77	OPT f=36 TT=4.605 T1=1.14	OPT f=36 TT=4.574 T1=1.02	OPT f=36 TT=15.9 T1=5.61	OPT f=36 TT=0.344 T1=0.44	OPT f=36 TT=0.342 T1=0.34	OPT f=36 TT=0.563 T1=0.56	OPT f=36 TT=0.288 T1=0.2	SAT (TO) f=36 TT=247.78 T1=1.32	OPT f=36 TT=3.606 T1=1.64	OPT f=36 TT=3.57 T1=1.44	OPT f=36 TT=10.317 T1=2.63	OPT f=36 TT=10.454 T1=8.9	OPT f=36 TT=2.844 T1=1.24
PseudoBoolean/ PseudoBoolean-opt-vtxcov/ Pb-vtxcov-v2000-e4000-05.xml	SAT TO f=1163 TT=2004.46 T1=17.65	SAT (TO) f=1183 TT=242.922 T1=11.81	SAT (TO) f=1186 TT=1920.55 T1=191.73	SAT (TO) f=1188 TT=1999.97 T1=126.9	SAT (TO) f=1163 TT=2004.46 T1=17.65	SAT (TO) f=1228 TT=244.57 T1=213.53	SAT (TO) f=1228 TT=245.318 T1=215.9	SAT (TO) f=1228 TT=244.799 T1=216.76	SAT (TO) f=1238 TT=258.69 T1=1.22	SAT (TO) f=1238 TT=254.497 T1=1.08	SAT (TO) f=1237 TT=258.589 T1=195.78	SAT (TO) f=1180 TT=251.965 T1=252	SAT (TO) f=1180 TT=251.926 T1=252	SAT (TO) f=1179 TT=251.913 T1=252	SAT (TO) f=1219 TT=251.376 T1=235.88	SAT (TO) f=1182 TT=249.062 T1=201.49	SAT (TO) f=1816 TT=243.291 T1=230.74	SAT (TO) f=1210 TT=249.079 T1=185.09	SAT (TO) f=1814 TT=1920.84 T1=238.38	SAT (TO) f=1814 TT=1987.72 T1=1946.95	SAT (TO) f=1200 TT=246.964 T1=136.99
QuadraticAssignment/ QuadraticAssignment-m1-s1/ QuadraticAssignment-bur26g.xml	SAT TO f=3169398 TT=252.085 T1=90.11	SAT (TO) f=4089367 TT=242.655 T1=171.37	SAT (TO) f=3348866 TT=1920.3 T1=72.68	SAT (TO) f=3604414 TT=1993.47 T1=13.74	SAT (TO) f=3600643 TT=1992.63 T1=42.03	SAT (TO) f=3509127 TT=245.44 T1=145.58	SAT (TO) f=3509127 TT=245.491 T1=142.17	SAT (TO) f=3509127 TT=245.841 T1=145.13	SAT (TO) f=3524895 TT=252.149 T1=57.23	SAT (TO) f=3524895 TT=264.117 T1=56.35	SAT (TO) f=3169398 TT=252.085 T1=90.11	SAT (TO) f=4380016 TT=251.971 T1=252.01	SAT (TO) f=4380016 TT=251.913 T1=252	SAT (TO) f=3837939 TT=240.038 T1=240.01	SAT (TO) f=3181880 TT=251.842 T1=127.79	SAT (TO) f=3271610 TT=247.748 T1=237.55	SAT (TO) f=4937352 TT=243.079 T1=226.47	SAT (TO) f=3187657 TT=247.701 T1=177.4	SAT (TO) f=4932078 TT=1774.41 T1=230.02	SAT (TO) f=4932078 TT=1773.29 T1=1682.39	? (TO) TT=252.077
QuadraticAssignment/ QuadraticAssignment-m1-s1/ QuadraticAssignment-chr15c.xml	OPT f=4752 TT=4.56 T1=0.2	OPT f=4752 TT=4.56 T1=1.27	OPT f=4752 TT=38.804 T1=2.65	OPT f=4752 TT=39.155 T1=2.89	OPT f=4752 TT=39.184 T1=2.57	OPT f=4752 TT=51.999 T1=42.13	OPT f=4752 TT=52.115 T1=42.05	OPT f=4752 TT=51.904 T1=41.57	OPT f=4752 TT=253.21 T1=233.42	OPT f=4752 TT=249.357 T1=231.18	OPT f=4752 TT=95.631 T1=5.16	OPT f=4752 TT=46.38 T1=46.44	OPT f=4752 TT=46.621 T1=46.67	OPT f=4752 TT=66.358 T1=66.35	OPT f=4752 TT=56.085 T1=0.2	SAT (TO) f=4752 TT=247.752 T1=35.32	OPT f=4752 TT=13.432 T1=6.68	OPT f=4752 TT=14.087 T1=7.01	OPT f=4752 TT=30.719 T1=4.64	OPT f=4752 TT=25.25 T1=22.38	SAT (TO) f=9243 TT=245.363 T1=201.03
QuadraticAssignment/ QuadraticAssignment-m1-s1/ QuadraticAssignment-chr20b.xml	OPT f=1149 TT=3.484 T1=1.51	OPT f=1149 TT=3.484 T1=1.51	OPT f=1149 TT=15.21 T1=2.51	OPT f=1149 TT=10.038 T1=1.58	OPT f=1149 TT=16.742 T1=2.52	OPT f=1149 TT=5.374 T1=2.46	OPT f=1149 TT=5.118 T1=2.46	OPT f=1149 TT=5.867 T1=2.68	OPT f=1149 TT=8.477 T1=2.55	OPT f=1149 TT=8.128 T1=2.42	OPT f=1149 TT=53.145 T1=32.98	OPT f=1149 TT=26.083 T1=26.12	OPT f=1149 TT=26.056 T1=26.14	OPT f=1149 TT=26.414 T1=26.41	OPT f=1149 TT=14.13 T1=5.91	SAT (TO) f=1149 TT=248.041 T1=7.82	OPT f=1149 TT=97.452 T1=93.65	OPT f=1149 TT=215.802 T1=37.2	OPT f=1149 TT=30.346 T1=4.77	OPT f=1149 TT=32.058 T1=31.67	SAT (TO) f=1938 TT=245.883 T1=106.66
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	choco-solver 4.0.5 par (2017-07-26) (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-07-26) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.1 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	sat4j-CSP 2017-07-05 (complete)
QuadraticAssignment/ QuadraticAssignment-m1-s1/ QuadraticAssignment-esc16d.xml	OPT f=8 TT=13.314 T1=0.1	OPT f=8 TT=13.314 T1=0.86	OPT f=8 TT=87.184 T1=1.15	OPT f=8 TT=204.688 T1=0.91	OPT f=8 TT=108.243 T1=0.95	OPT f=8 TT=47.937 T1=0.99	OPT f=8 TT=47.958 T1=0.95	OPT f=8 TT=47.936 T1=0.83	OPT f=8 TT=87.437 T1=2.04	OPT f=8 TT=86.676 T1=1.83	SAT (TO) f=8 TT=251.998 T1=9.01	OPT f=8 TT=131.901 T1=131.99	OPT f=8 TT=131.233 T1=131.3	OPT f=8 TT=96.204 T1=96.2	OPT f=8 TT=153.4 T1=0.1	SAT (TO) f=8 TT=247.636 T1=4.64	OPT f=8 TT=97.258 T1=74.69	SAT (TO) f=8 TT=248.001 T1=2.96	OPT f=8 TT=119.99 T1=13.66	OPT f=8 TT=122.54 T1=100.63	OPT f=8 TT=156.215 T1=10.74
QuadraticAssignment/ QuadraticAssignment-m1-s1/ QuadraticAssignment-esc32a.xml	SAT TO f=66 TT=251.924 T1=14.9	SAT (TO) f=75 TT=243.248 T1=193.87	SAT (TO) f=80 TT=1920.01 T1=3.88	SAT (TO) f=80 TT=2005.84 T1=4.02	SAT (TO) f=80 TT=2005.58 T1=3.99	SAT (TO) f=80 TT=245.13 T1=2.87	SAT (TO) f=80 TT=245.123 T1=2.99	SAT (TO) f=80 TT=245.843 T1=2.88	SAT (TO) f=76 TT=252.62 T1=2.87	SAT (TO) f=76 TT=252.553 T1=2.79	SAT (TO) f=87 TT=257.538 T1=210.6	SAT (TO) f=95 TT=251.971 T1=252	SAT (TO) f=95 TT=251.927 T1=252	SAT (TO) f=84 TT=240.036 T1=240	SAT (TO) f=66 TT=251.924 T1=14.9	SAT (TO) f=68 TT=248.861 T1=179.63	SAT (TO) f=130 TT=243.613 T1=237.56	SAT (TO) f=70 TT=249.136 T1=162.21	SAT (TO) f=150 TT=1920.97 T1=243.68	SAT (TO) f=140 TT=1980.14 T1=1832.93	SAT (TO) f=196 TT=250.281 T1=152.67
QuadraticAssignment/ QuadraticAssignment-m1-s1/ QuadraticAssignment-esc32d.xml	SAT TO f=101 TT=251.952 T1=28.01	SAT (TO) f=106 TT=242.931 T1=155.17	SAT (TO) f=101 TT=1920.62 T1=7.11	SAT (TO) f=107 TT=2005.54 T1=91.09	SAT (TO) f=107 TT=2005.14 T1=91.81	SAT (TO) f=104 TT=245.041 T1=15.75	SAT (TO) f=104 TT=245.477 T1=15.67	SAT (TO) f=104 TT=245.235 T1=15.71	SAT (TO) f=105 TT=253.55 T1=102.14	SAT (TO) f=105 TT=255.484 T1=101.33	SAT (TO) f=116 TT=254.937 T1=98.84	SAT (TO) f=110 TT=252.044 T1=252	SAT (TO) f=110 TT=251.94 T1=252	SAT (TO) f=110 TT=240.026 T1=240	SAT (TO) f=101 TT=251.952 T1=28.01	SAT (TO) f=103 TT=248.726 T1=75.91	SAT (TO) f=135 TT=244.065 T1=169.85	SAT (TO) f=102 TT=249.785 T1=58.42	SAT (TO) f=129 TT=1921.02 T1=91.95	SAT (TO) f=128 TT=1986.48 T1=1055.15	SAT (TO) f=151 TT=255.626 T1=58.91
QuadraticAssignment/ QuadraticAssignment-m1-s1/ QuadraticAssignment-lipa20b.xml	SAT TO f=13638 TT=1998.38 T1=1.05	SAT (TO) f=16409 TT=243.124 T1=191.17	SAT (TO) f=13638 TT=1920.02 T1=1.16	SAT (TO) f=13638 TT=2002.45 T1=1.09	SAT (TO) f=13638 TT=1998.38 T1=1.05	SAT (TO) f=16417 TT=246.695 T1=199.11	SAT (TO) f=16417 TT=246.144 T1=202.36	SAT (TO) f=16417 TT=246.603 T1=200.64	SAT (TO) f=16210 TT=256.8 T1=178.44	SAT (TO) f=16210 TT=256.47 T1=175.12	SAT (TO) f=15814 TT=258.871 T1=159.54	SAT (TO) f=16524 TT=251.976 T1=252	SAT (TO) f=16524 TT=251.875 T1=252	SAT (TO) f=16520 TT=240.028 T1=240	SAT (TO) f=15586 TT=251.876 T1=123.98	SAT (TO) f=15863 TT=248.217 T1=48.57	SAT (TO) f=16927 TT=243.471 T1=128.61	SAT (TO) f=15764 TT=249.121 T1=106.54	SAT (TO) f=16794 TT=1921.23 T1=224.3	SAT (TO) f=16794 TT=1985.34 T1=1947.19	SAT (TO) f=17495 TT=250.356 T1=57.53
QuadraticAssignment/ QuadraticAssignment-m1-s1/ QuadraticAssignment-nug20.xml	SAT TO f=1309 TT=249.508 T1=22.95	SAT (TO) f=1465 TT=243.263 T1=106.36	SAT (TO) f=1417 TT=1920.16 T1=62.3	SAT (TO) f=1415 TT=2004.59 T1=93.56	SAT (TO) f=1395 TT=2000.87 T1=215.41	SAT (TO) f=1393 TT=244.34 T1=197.03	SAT (TO) f=1393 TT=244.474 T1=194.11	SAT (TO) f=1393 TT=244.459 T1=193.56	SAT (TO) f=1435 TT=256.14 T1=202.42	SAT (TO) f=1435 TT=255.69 T1=203.16	SAT (TO) f=1322 TT=256.798 T1=17.51	SAT (TO) f=1459 TT=251.947 T1=252	SAT (TO) f=1459 TT=251.96 T1=252	SAT (TO) f=1463 TT=251.913 T1=252	SAT (TO) f=1309 TT=251.838 T1=22.95	SAT (TO) f=1309 TT=249.508 T1=174.83	SAT (TO) f=1504 TT=243.908 T1=50.18	SAT (TO) f=1322 TT=249.325 T1=163.37	SAT (TO) f=1503 TT=1920.74 T1=160.7	SAT (TO) f=1511 TT=1989.29 T1=918.35	? (TO) TT=246.208
QuadraticAssignment/ QuadraticAssignment-m1-s1/ QuadraticAssignment-nug21.xml	SAT TO f=1233 TT=251.934 T1=123.34	SAT (TO) f=1433 TT=243.111 T1=69.64	SAT (TO) f=1390 TT=1920.23 T1=24.64	SAT (TO) f=1359 TT=1994.59 T1=26.52	SAT (TO) f=1366 TT=1996.48 T1=159.15	SAT (TO) f=1359 TT=244.11 T1=85.07	SAT (TO) f=1359 TT=244.394 T1=83.74	SAT (TO) f=1359 TT=244.5 T1=82.64	SAT (TO) f=1405 TT=255.63 T1=61.49	SAT (TO) f=1405 TT=256.047 T1=60.46	SAT (TO) f=1291 TT=258.271 T1=72.2	SAT (TO) f=1496 TT=252.042 T1=252	SAT (TO) f=1496 TT=251.95 T1=252	SAT (TO) f=1485 TT=251.96 T1=252	SAT (TO) f=1233 TT=251.934 T1=123.34	SAT (TO) f=1249 TT=248.576 T1=236.39	SAT (TO) f=1407 TT=243.934 T1=213.1	SAT (TO) f=1240 TT=249.084 T1=152.78	SAT (TO) f=1391 TT=1921.11 T1=11.26	SAT (TO) f=1391 TT=1990.86 T1=98.35	? (TO) TT=249.47
QuadraticAssignment/ QuadraticAssignment-m1-s1/ QuadraticAssignment-nug30.xml	SAT TO f=3175 TT=251.867 T1=242	SAT (TO) f=3754 TT=242.78 T1=60.44	SAT (TO) f=3466 TT=1920 T1=97.62	SAT (TO) f=3519 TT=1991.16 T1=230.26	SAT (TO) f=3572 TT=1994.83 T1=44.11	SAT (TO) f=3521 TT=245.254 T1=76.69	SAT (TO) f=3521 TT=245.224 T1=76.84	SAT (TO) f=3521 TT=245.286 T1=77.72	SAT (TO) f=3535 TT=257.38 T1=86.07	SAT (TO) f=3535 TT=260.346 T1=82.73	SAT (TO) f=3250 TT=262.657 T1=232.44	SAT (TO) f=3777 TT=251.963 T1=252	SAT (TO) f=3777 TT=251.932 T1=252	SAT (TO) f=3705 TT=251.889 T1=252	SAT (TO) f=3175 TT=251.867 T1=242	SAT (TO) f=3225 TT=249.288 T1=221.18	? (TO) TT=243.535	? (TO) TT=243.552	SAT (TO) f=3688 TT=1920.76 T1=21.99	SAT (TO) f=3658 TT=1995.28 T1=1446.7	? (TO) TT=252.072
QuadraticAssignment/ QuadraticAssignment-m1-s1/ QuadraticAssignment-sko100a.xml	SAT TO f=86326 TT=240.208 T1=238.46	SAT (TO) f=87599 TT=261.78 T1=218.79	? (TO) TT=448.754	? (TO) TT=431.621	? (TO) TT=431.214	? (TO) TT=252.85	? (TO) TT=252.892	? (TO) TT=253.311	? (TO) TT=259.492	? (TO) TT=259.806	? (TO) TT=260.187	SAT (TO) f=88814 TT=251.932 T1=252.01	SAT (TO) f=88814 TT=251.916 T1=252.01	SAT (TO) f=88518 TT=240.005 T1=240.01	SAT (TO) f=86326 TT=240.208 T1=238.46	? (TO) TT=252.079	? (TO) TT=252.123	? (TO) TT=252.111	? (TO) TT=1730.24	? (TO) TT=1744.37	? (TO) TT=253.694
QuadraticAssignment/ QuadraticAssignment-m1-s1/ QuadraticAssignment-sko81.xml	SAT TO f=50175 TT=252.034 T1=249.29	SAT (TO) f=52690 TT=251.833 T1=108.73	SAT (TO) f=53678 TT=806.317 T1=250.36	SAT (TO) f=53184 TT=1104.72 T1=242.53	SAT (TO) f=52941 TT=1236.64 T1=147.61	? (TO) TT=247.06	? (TO) TT=246.813	? (TO) TT=246.908	? (TO) TT=253.693	? (TO) TT=253.85	? (TO) TT=260.046	SAT (TO) f=53545 TT=251.873 T1=252.01	SAT (TO) f=53545 TT=251.922 T1=252.01	SAT (TO) f=53702 TT=240.004 T1=240	SAT (TO) f=50175 TT=252.034 T1=249.29	? (TO) TT=254.569	? (TO) TT=255.467	? (TO) TT=255.925	? (TO) TT=1921.18	? (TO) TT=1893.77	? (TO) TT=256.892
QuadraticAssignment/ QuadraticAssignment-m1-s1/ QuadraticAssignment-ste36c.xml	SAT TO f=4575483 TT=252.154 T1=199.64	SAT (TO) f=6903757 TT=242.986 T1=1.44	SAT (TO) f=6363041 TT=1920.36 T1=108.41	SAT (TO) f=6410869 TT=1904.32 T1=95.42	SAT (TO) f=6411012 TT=1902.25 T1=167.31	SAT (TO) f=6089385 TT=244.48 T1=200.5	SAT (TO) f=6089385 TT=244.567 T1=196.98	SAT (TO) f=6089385 TT=244.598 T1=198.14	SAT (TO) f=6527516 TT=252.95 T1=228.33	SAT (TO) f=6527516 TT=253.163 T1=230.83	SAT (TO) f=4575483 TT=252.154 T1=199.64	SAT (TO) f=7687596 TT=251.957 T1=252	SAT (TO) f=7687596 TT=251.912 T1=252	SAT (TO) f=7590561 TT=240.001 T1=240	SAT (TO) f=4605589 TT=251.854 T1=202.84	SAT (TO) f=5706413 TT=247.667 T1=237.46	SAT (TO) f=6958736 TT=244.145 T1=218.13	SAT (TO) f=5788759 TT=248.561 T1=182.46	SAT (TO) f=6948204 TT=1921.26 T1=126.58	SAT (TO) f=6948204 TT=1855.59 T1=1449.85	? (TO) TT=254.065
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	choco-solver 4.0.5 par (2017-07-26) (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-07-26) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.1 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	sat4j-CSP 2017-07-05 (complete)
QuadraticAssignment/ QuadraticAssignment-m1-s1/ QuadraticAssignment-tai10b.xml	OPT f=58937 TT=0.765 T1=0.12	OPT f=58937 TT=2.473 T1=1.21	OPT f=58937 TT=5.701 T1=1.01	OPT f=58937 TT=7.986 T1=0.91	OPT f=58937 TT=7.505 T1=0.86	OPT f=58937 TT=5.858 T1=2.12	OPT f=58937 TT=5.97 T1=2.03	OPT f=58937 TT=5.295 T1=2	OPT f=58937 TT=17.546 T1=8.53	OPT f=58937 TT=16.864 T1=8.52	OPT f=58937 TT=15.411 T1=4.93	OPT f=58937 TT=0.77 T1=0.85	OPT f=58937 TT=0.765 T1=0.83	Signal TT=0.967	OPT f=58937 TT=2.579 T1=0.12	SAT (TO) f=58937 TT=248.068 T1=3.86	OPT f=58937 TT=6.221 T1=4.03	OPT f=58937 TT=6.106 T1=3.95	OPT f=58937 TT=13.155 T1=3.4	OPT f=58937 TT=14.857 T1=14.34	SAT (TO) f=149211 TT=245.023 T1=133.79
QuadraticAssignment/ QuadraticAssignment-m1-s1/ QuadraticAssignment-tai12a.xml	SAT TO f=112208 TT=2003.23 T1=29.28	SAT (TO) f=120198 TT=242.268 T1=60.79	SAT (TO) f=119777 TT=1920.16 T1=69.66	SAT (TO) f=112208 TT=2003.23 T1=29.28	SAT (TO) f=116851 TT=1999.44 T1=74.82	SAT (TO) f=118395 TT=245.02 T1=142.46	SAT (TO) f=118395 TT=244.234 T1=143.24	SAT (TO) f=118395 TT=244.71 T1=143.54	SAT (TO) f=121996 TT=254.82 T1=151.51	SAT (TO) f=121996 TT=254.849 T1=148.98	SAT (TO) f=119651 TT=254.605 T1=4.83	SAT (TO) f=120194 TT=252.041 T1=252	SAT (TO) f=120194 TT=251.96 T1=252	SAT (TO) f=120966 TT=240.024 T1=240	SAT (TO) f=115352 TT=251.926 T1=20.64	SAT (TO) f=115352 TT=248.056 T1=175.14	SAT (TO) f=128966 TT=242.705 T1=198.68	SAT (TO) f=115352 TT=249.066 T1=90.5	SAT (TO) f=124003 TT=1921.03 T1=231.72	SAT (TO) f=124003 TT=1976.21 T1=1894.66	SAT (TO) f=143234 TT=245.172 T1=90.5
QuadraticAssignment/ QuadraticAssignment-m1-s1/ QuadraticAssignment-tai15a.xml	SAT TO f=195605 TT=251.938 T1=1.69	SAT (TO) f=206676 TT=242.112 T1=117.83	SAT (TO) f=202503 TT=1920.67 T1=244.38	SAT (TO) f=203191 TT=1666.25 T1=172.62	SAT (TO) f=203191 TT=1991.43 T1=130.27	SAT (TO) f=209702 TT=246.71 T1=45.58	SAT (TO) f=209702 TT=246.933 T1=45.33	SAT (TO) f=209702 TT=247.149 T1=43.75	SAT (TO) f=208112 TT=255.66 T1=214.91	SAT (TO) f=208112 TT=256.091 T1=221.5	SAT (TO) f=198845 TT=256.931 T1=57.93	SAT (TO) f=207907 TT=252.043 T1=252	SAT (TO) f=207907 TT=251.889 T1=252	SAT (TO) f=210445 TT=251.934 T1=252	SAT (TO) f=195605 TT=251.938 T1=1.69	SAT (TO) f=198327 TT=248.672 T1=22.03	SAT (TO) f=211898 TT=243.062 T1=60.7	SAT (TO) f=199085 TT=249.142 T1=103.7	SAT (TO) f=206366 TT=1921.3 T1=233.76	SAT (TO) f=207696 TT=1980.22 T1=1408.64	SAT (TO) f=250281 TT=247.816 T1=6.43
QuadraticAssignment/ QuadraticAssignment-m1-s1/ QuadraticAssignment-tai80a.xml	SAT TO f=7376034 TT=251.92 T1=245.82	SAT (TO) f=7699440 TT=249.176 T1=51.76	SAT (TO) f=7696083 TT=766.917 T1=205.85	SAT (TO) f=7696083 TT=780.84 T1=203.59	SAT (TO) f=7696083 TT=684.382 T1=225.15	SAT (TO) f=7447576 TT=249.11 T1=196.94	SAT (TO) f=7447576 TT=250.383 T1=161.09	SAT (TO) f=7447576 TT=250.34 T1=196.21	SAT (TO) f=7447576 TT=253.15 T1=202.74	SAT (TO) f=7447576 TT=255.112 T1=201.99	? (TO) TT=259.812	SAT (TO) f=7692307 TT=252.023 T1=252.01	SAT (TO) f=7692307 TT=251.88 T1=252	SAT (TO) f=7840197 TT=240.071 T1=240.01	SAT (TO) f=7376034 TT=251.92 T1=245.82	SAT (TO) f=7771339 TT=262.179 T1=12.6	SAT (TO) f=7689140 TT=252.152 T1=106.87	SAT (TO) f=7699179 TT=252.059 T1=24.58	? (TO) TT=336.779	? (TO) TT=364.288	? (TO) TT=260.099
QueenAttacking/ QueenAttacking-m1-s1/ QueenAttacking-03.xml	UNSAT TT=0.018	UNSAT TT=1.073	UNSAT TT=1.426	UNSAT TT=1.388	UNSAT TT=1.403	UNSAT TT=0.933	UNSAT TT=0.917	UNSAT TT=0.92	UNSAT TT=0.976	UNSAT TT=0.974	UNSAT TT=8.16	UNSAT TT=0.021	UNSAT TT=0.021	UNSAT TT=0.018	UNSAT TT=0.053	UNSAT TT=1.195	UNSAT TT=1.19	UNSAT TT=1.199	UNSAT TT=1.256	UNSAT TT=1.23	UNSAT TT=1.057
QueenAttacking/ QueenAttacking-m1-s1/ QueenAttacking-04.xml	UNSAT TT=0.289	UNSAT TT=1.775	UNSAT TT=8.365	UNSAT TT=9.026	UNSAT TT=8.327	UNSAT TT=3.802	UNSAT TT=3.732	UNSAT TT=3.942	UNSAT TT=8.012	UNSAT TT=6.978	UNSAT TT=10.273	UNSAT TT=0.291	UNSAT TT=0.289	UNSAT TT=0.325	UNSAT TT=64.318	UNSAT TT=3.3	UNSAT TT=2.921	UNSAT TT=2.694	UNSAT TT=11.003	UNSAT TT=10.871	UNSAT TT=3.201
QueenAttacking/ QueenAttacking-m1-s1/ QueenAttacking-06.xml	OPT f=0 TT=18.088 T1=3.58	OPT f=0 TT=20.195 T1=17.09	OPT f=0 TT=21.963 T1=3.51	OPT f=0 TT=23.565 T1=3.58	OPT f=0 TT=24.508 T1=3.72	OPT f=0 TT=71.25 T1=66.07	OPT f=0 TT=77.542 T1=72.95	OPT f=0 TT=70.523 T1=65.34	OPT f=0 TT=139.206 T1=126.56	OPT f=0 TT=134.734 T1=124.18	OPT f=0 TT=26.786 T1=16.38	OPT f=0 TT=18.168 T1=18.25	OPT f=0 TT=18.088 T1=18.16	OPT f=0 TT=70.841 T1=70.84	SAT (TO) f=1 TT=251.853 T1=139.63	SAT (TO) f=0 TT=247.68 T1=35.54	OPT f=0 TT=59.697 T1=56.94	OPT f=0 TT=215.724 T1=49.47	OPT f=0 TT=25.647 T1=7.93	OPT f=0 TT=21.426 T1=20.99	SAT (TO) f=1 TT=243.486 T1=80.94
QueenAttacking/ QueenAttacking-m1-s1/ QueenAttacking-07.xml	OPT f=0 TT=5.088 T1=1.84	SAT (TO) f=2 TT=243.173 T1=18.87	OPT f=0 TT=16.689 T1=3.39	OPT f=0 TT=17.567 T1=3.22	OPT f=0 TT=16.93 T1=3.37	OPT f=0 TT=5.236 T1=1.95	OPT f=0 TT=5.103 T1=1.84	OPT f=0 TT=5.088 T1=1.95	OPT f=0 TT=5.669 T1=2.07	OPT f=0 TT=5.808 T1=1.99	SAT (TO) f=1 TT=253.85 T1=58.58	SAT (TO) f=2 TT=251.945 T1=252	SAT (TO) f=2 TT=251.909 T1=252	? (TO) TT=251.915	SAT (TO) f=3 TT=251.914 T1=213.58	? (TO) TT=242.826	? (TO) TT=242.803	? (TO) TT=242.86	? (TO) TT=1921.32	? (TO) TT=1983.33	? (TO) TT=243.845
QueenAttacking/ QueenAttacking-m1-s1/ QueenAttacking-08.xml	OPT f=0 TT=917.346 T1=117.66	SAT (TO) f=6 TT=243.671 T1=195.97	SAT (TO) f=3 TT=1920.71 T1=76.26	SAT (TO) f=3 TT=1988.55 T1=35.54	OPT f=0 TT=917.346 T1=117.66	SAT (TO) f=3 TT=246.33 T1=66.76	SAT (TO) f=3 TT=246.823 T1=67.56	SAT (TO) f=3 TT=246.586 T1=66.65	SAT (TO) f=3 TT=255.83 T1=233.98	SAT (TO) f=3 TT=255.263 T1=236.34	SAT (TO) f=5 TT=254.632 T1=217.1	? (TO) TT=251.971	? (TO) TT=251.944	SAT (TO) f=5 TT=240.024 T1=240	? (TO) TT=251.816	? (TO) TT=243.674	? (TO) TT=243.597	? (TO) TT=243.831	SAT (TO) f=3 TT=1921.34 T1=64.1	SAT (TO) f=2 TT=1985.82 T1=321.03	? (TO) TT=244.297
QueenAttacking/ QueenAttacking-m1-s1/ QueenAttacking-09.xml	SAT TO f=7 TT=1980.86 T1=121.92	SAT (TO) f=12 TT=244.875 T1=141.76	SAT (TO) f=7 TT=1920.38 T1=124.23	SAT (TO) f=7 TT=1981.12 T1=121.92	SAT (TO) f=7 TT=1980.86 T1=128.15	? (TO) TT=246	? (TO) TT=246.486	? (TO) TT=246.156	? (TO) TT=253.46	? (TO) TT=253.827	? (TO) TT=254.809	? (TO) TT=251.895	? (TO) TT=240.007	? (TO) TT=240.021	? (TO) TT=251.924	? (TO) TT=243.282	? (TO) TT=243.612	? (TO) TT=243.915	? (TO) TT=1920.72	? (TO) TT=1989.69	? (TO) TT=245.525
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	choco-solver 4.0.5 par (2017-07-26) (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-07-26) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.1 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	sat4j-CSP 2017-07-05 (complete)
QueenAttacking/ QueenAttacking-m1-s1/ QueenAttacking-10.xml	SAT TO f=9 TT=245.982 T1=113.59	? (TO) TT=243.675	SAT (TO) f=9 TT=1920.67 T1=125.4	SAT (TO) f=9 TT=1956.01 T1=140.71	SAT (TO) f=9 TT=1953.52 T1=135.28	SAT (TO) f=9 TT=246.47 T1=118.96	SAT (TO) f=9 TT=247.096 T1=113.59	SAT (TO) f=9 TT=245.982 T1=119.74	? (TO) TT=255.97	? (TO) TT=255.495	? (TO) TT=254.923	? (TO) TT=251.941	? (TO) TT=251.911	? (TO) TT=240.032	? (TO) TT=251.872	? (TO) TT=243.498	? (TO) TT=244.315	? (TO) TT=243.581	SAT (TO) f=24 TT=1920.61 T1=99.12	SAT (TO) f=17 TT=1993.36 T1=1623.49	? (TO) TT=245.895
QueenAttacking/ QueenAttacking-m1-s1/ QueenAttacking-11.xml	SAT TO f=13 TT=1937.08 T1=94.26	? (TO) TT=242.431	SAT (TO) f=13 TT=1920.36 T1=92.03	SAT (TO) f=13 TT=1937.08 T1=94.26	SAT (TO) f=13 TT=1937.31 T1=94.83	? (TO) TT=245.98	? (TO) TT=246.346	? (TO) TT=246.347	? (TO) TT=254.917	? (TO) TT=255.194	? (TO) TT=256.47	? (TO) TT=251.88	? (TO) TT=251.944	? (TO) TT=240.007	? (TO) TT=251.935	? (TO) TT=243.968	? (TO) TT=243.828	? (TO) TT=244.06	? (TO) TT=1921.28	? (TO) TT=1983.38	? (TO) TT=246.403
QueenAttacking/ QueenAttacking-m1-s1/ QueenAttacking-12.xml		? (TO) TT=242.602	? (TO) TT=1920.64	? (TO) TT=1884.69	? (TO) TT=1886.72	? (TO) TT=246.52	? (TO) TT=246.287	? (TO) TT=246.743	? (TO) TT=256.73	? (TO) TT=256.888	? (TO) TT=256.484	? (TO) TT=251.961	? (TO) TT=251.966	? (TO) TT=251.888	? (TO) TT=251.9	? (TO) TT=244.15	? (TO) TT=243.97	? (TO) TT=244.007	? (TO) TT=1920.92	? (TO) TT=1976.04	? (TO) TT=247.911
QueenAttacking/ QueenAttacking-m1-s1/ QueenAttacking-13.xml		? (TO) TT=243.097	? (TO) TT=1809.12	? (TO) TT=1812.45	? (TO) TT=1810.82	? (TO) TT=246.05	? (TO) TT=245.971	? (TO) TT=246.308	? (TO) TT=255.82	? (TO) TT=257.292	? (TO) TT=257.95	? (TO) TT=251.942	? (TO) TT=240.005	? (TO) TT=240.026	? (TO) TT=251.831	? (TO) TT=244.608	? (TO) TT=244.833	? (TO) TT=244.397	? (TO) TT=1921.1	? (TO) TT=1960.45	? (TO) TT=250.9
QueenAttacking/ QueenAttacking-m1-s1/ QueenAttacking-14.xml		? (TO) TT=242.833	? (TO) TT=1689.75	? (TO) TT=1690.5	? (TO) TT=1692.09	? (TO) TT=246.22	? (TO) TT=246.716	? (TO) TT=246.677	? (TO) TT=255.629	? (TO) TT=256.22	? (TO) TT=257.16	? (TO) TT=251.923	? (TO) TT=251.941	? (TO) TT=251.915	? (TO) TT=251.907	? (TO) TT=245.045	? (TO) TT=244.946	? (TO) TT=244.866	? (TO) TT=1921.02	? (TO) TT=1931.33	? (TO) TT=252.411
QueenAttacking/ QueenAttacking-m1-s1/ QueenAttacking-15.xml		? (TO) TT=243.448	? (TO) TT=1517.37	? (TO) TT=1518.38	? (TO) TT=1519.07	? (TO) TT=247.298	? (TO) TT=247.06	? (TO) TT=246.753	? (TO) TT=255.4	? (TO) TT=255.359	? (TO) TT=258.379	? (TO) TT=251.943	? (TO) TT=251.961	? (TO) TT=240.004	? (TO) TT=251.914	? (TO) TT=246.909	? (TO) TT=246.624	? (TO) TT=246.677	? (TO) TT=1920.98	? (TO) TT=1899.76	? (TO) TT=253.227
QueenAttacking/ QueenAttacking-m1-s1/ QueenAttacking-16.xml		? (TO) TT=243.458	? (TO) TT=1267.69	? (TO) TT=1264.36	? (TO) TT=1269.02	? (TO) TT=247.99	? (TO) TT=248.071	? (TO) TT=248.186	? (TO) TT=254.17	? (TO) TT=254.565	? (TO) TT=258.698	? (TO) TT=251.926	? (TO) TT=251.954	? (TO) TT=251.872	? (TO) TT=251.939	? (TO) TT=249.516	? (TO) TT=249.096	? (TO) TT=249.246	? (TO) TT=1921.28	? (TO) TT=1852.43	? (TO) TT=263.5
QueenAttacking/ QueenAttacking-m1-s1/ QueenAttacking-17.xml		? (TO) TT=243.016	? (TO) TT=1270.67	? (TO) TT=1269.48	? (TO) TT=1262.41	? (TO) TT=246.29	? (TO) TT=246.317	? (TO) TT=246.289	? (TO) TT=250.08	? (TO) TT=250.273	? (TO) TT=260.339	? (TO) TT=251.955	? (TO) TT=251.951	? (TO) TT=240.009	? (TO) TT=251.879	? (TO) TT=251.384	? (TO) TT=252.058	? (TO) TT=251.794	? (TO) TT=1791.66	? (TO) TT=1775.58	? (TO) TT=262.415
QueenAttacking/ QueenAttacking-m1-s1/ QueenAttacking-18.xml		? (TO) TT=243.112	? (TO) TT=982.066	? (TO) TT=986.156	? (TO) TT=962.508	? (TO) TT=247.3	? (TO) TT=247.423	? (TO) TT=246.463	? (TO) TT=251.39	? (TO) TT=251.612	? (TO) TT=261.746	? (TO) TT=251.937	? (TO) TT=251.949	? (TO) TT=251.875	? (TO) TT=251.898	? (TO) TT=254.815	? (TO) TT=254.559	? (TO) TT=255.122	? (TO) TT=1707.31	? (TO) TT=1706.16	? (TO) TT=252.111
QueenAttacking/ QueenAttacking-m1-s1/ QueenAttacking-19.xml		? (TO) TT=243.113	? (TO) TT=603.536	? (TO) TT=585.046	? (TO) TT=572.794	? (TO) TT=247.816	? (TO) TT=248.009	? (TO) TT=248.173	? (TO) TT=251.92	? (TO) TT=251.577	? (TO) TT=261.718	? (TO) TT=251.901	? (TO) TT=251.944	? (TO) TT=251.989	? (TO) TT=251.935	? (TO) TT=259.424	? (TO) TT=258.471	? (TO) TT=258.681	? (TO) TT=1545.19	? (TO) TT=1538.69	? (TO) TT=252.129
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	choco-solver 4.0.5 par (2017-07-26) (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-07-26) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.1 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	sat4j-CSP 2017-07-05 (complete)
QueenAttacking/ QueenAttacking-m1-s1/ QueenAttacking-20.xml		? (TO) TT=243.108	? (TO) TT=328.976	? (TO) TT=325.826	? (TO) TT=331.59	? (TO) TT=249.6	? (TO) TT=249.334	? (TO) TT=250.128	? (TO) TT=253.2	? (TO) TT=253.751	? (TO) TT=261.778	? (TO) TT=251.927	? (TO) TT=251.903	? (TO) TT=240.03	? (TO) TT=251.926	? (TO) TT=264.024	? (TO) TT=252.125	? (TO) TT=252.04	? (TO) TT=1407.76	? (TO) TT=1399.63	? (TO) TT=258.707
Rack/Rack-m1c-s1/ Rack-m1c-r1.xml	OPT f=550 TT=0.008 T1=0	OPT f=550 TT=1.254 T1=0.69	OPT f=550 TT=1.593 T1=0.76	OPT f=550 TT=1.526 T1=0.63	OPT f=550 TT=1.565 T1=0.64	OPT f=550 TT=1.044 T1=0.76	OPT f=550 TT=1.033 T1=0.61	OPT f=550 TT=1.02 T1=0.5	OPT f=550 TT=1.363 T1=0.64	OPT f=550 TT=1.329 T1=0.55	OPT f=550 TT=7.066 T1=3.71	OPT f=550 TT=0.008 T1=0.06	OPT f=550 TT=0.008 T1=0.08	OPT f=550 TT=0.009 T1=0	OPT f=550 TT=0.012 T1=0.1	SAT (TO) f=550 TT=247.273 T1=1.4	OPT f=550 TT=1.354 T1=0.91	OPT f=550 TT=1.358 T1=0.88	OPT f=550 TT=6.126 T1=2.02	OPT f=550 TT=6.082 T1=4.23	OPT f=550 TT=1.399 T1=0.66
Rack/Rack-m1c-s1/ Rack-m1c-r2.xml	OPT f=1100 TT=5.786 T1=0.1	OPT f=1100 TT=19.857 T1=0.81	OPT f=1100 TT=42.436 T1=0.94	OPT f=1100 TT=42.518 T1=0.79	OPT f=1100 TT=40.34 T1=0.71	OPT f=1100 TT=26.274 T1=0.77	OPT f=1100 TT=25.357 T1=0.76	OPT f=1100 TT=25.122 T1=0.61	SAT (TO) f=1100 TT=252.17 T1=1.5	SAT (TO) f=1100 TT=252.555 T1=1.33	SAT (TO) f=1100 TT=263.292 T1=4.32	OPT f=1100 TT=208.359 T1=208.41	OPT f=1100 TT=207.866 T1=207.91	OPT f=1100 TT=184.86 T1=184.84	OPT f=1100 TT=69.496 T1=0.1	SAT (TO) f=1100 TT=247.236 T1=6.14	OPT f=1100 TT=5.786 T1=0.99	SAT (TO) f=1100 TT=247.308 T1=0.96	OPT f=1100 TT=13.589 T1=2.43	OPT f=1100 TT=13.043 T1=5.45	SAT (TO) f=1100 TT=244.821 T1=1.57
Rack/Rack-m1c-s1/ Rack-m1c-r3.xml	SAT TO f=1200 TT=240.002 T1=0.11	SAT (TO) f=1200 TT=241.905 T1=0.78	SAT (TO) f=1200 TT=1920.18 T1=0.88	SAT (TO) f=1200 TT=1990.16 T1=0.74	SAT (TO) f=1200 TT=1994.8 T1=0.75	SAT (TO) f=1200 TT=244.42 T1=1.35	SAT (TO) f=1200 TT=244.155 T1=1.54	SAT (TO) f=1200 TT=244.529 T1=1.23	SAT (TO) f=1200 TT=254.23 T1=1.63	SAT (TO) f=1200 TT=254.753 T1=1.56	SAT (TO) f=1200 TT=252.85 T1=4.19	SAT (TO) f=1200 TT=251.908 T1=252	SAT (TO) f=1200 TT=240.006 T1=240	SAT (TO) f=1200 TT=240.002 T1=240	SAT (TO) f=1200 TT=251.902 T1=0.11	SAT (TO) f=1200 TT=247.832 T1=1.98	SAT (TO) f=1200 TT=243.16 T1=2.44	SAT (TO) f=1200 TT=248.411 T1=2.43	SAT (TO) f=1200 TT=1825.96 T1=1.86	SAT (TO) f=1200 TT=1869.3 T1=5.08	SAT (TO) f=1200 TT=242.48 T1=3.94
Rack/Rack-m1c-s1/ Rack-m1c-r4.xml	OPT f=1150 TT=421.848 T1=2.13	SAT (TO) f=1150 TT=241.614 T1=0.83	SAT (TO) f=1150 TT=1920.27 T1=0.92	SAT (TO) f=1150 TT=1979.93 T1=0.8	SAT (TO) f=1150 TT=1982.6 T1=0.77	SAT (TO) f=1150 TT=243.94 T1=0.74	SAT (TO) f=1150 TT=244.128 T1=0.72	SAT (TO) f=1150 TT=244.488 T1=0.59	SAT (TO) f=1150 TT=254.39 T1=1.2	SAT (TO) f=1150 TT=253.854 T1=1.06	SAT (TO) f=1150 TT=263.739 T1=4.93	Signal TT=0.005	Signal TT=0.005	Signal TT=0.005	Signal TT=0.006	SAT (TO) f=1150 TT=248.19 T1=3.26	SAT (TO) f=1150 TT=243.278 T1=1.53	SAT (TO) f=1150 TT=247.751 T1=1.54	OPT f=1150 TT=454.594 T1=2.13	OPT f=1150 TT=421.848 T1=5.84	SAT (TO) f=1150 TT=244.299 T1=2.74
Ramsey/ Ramsey-int-s1/ Ramsey-int-09.xml	OPT f=2 TT=0.098 T1=0.09	OPT f=2 TT=1.384 T1=0.78	OPT f=2 TT=49.48 T1=17.33	OPT f=2 TT=50.736 T1=17.39	OPT f=2 TT=50.032 T1=17.26	OPT f=2 TT=3.473 T1=2.33	OPT f=2 TT=3.482 T1=2.32	OPT f=2 TT=3.437 T1=2.16	OPT f=2 TT=3.663 T1=2.32	OPT f=2 TT=3.641 T1=2.21	OPT f=2 TT=27.235 T1=4.46	OPT f=2 TT=0.099 T1=0.14	OPT f=2 TT=0.098 T1=0.09	OPT f=2 TT=0.106 T1=0.1	OPT f=2 TT=0.198 T1=0.25	SAT (TO) f=2 TT=248.363 T1=5.28	OPT f=2 TT=7.376 T1=4.48	OPT f=2 TT=7.34 T1=4.03	OPT f=2 TT=78.897 T1=16.57	OPT f=2 TT=71.464 T1=70.9	OPT f=2 TT=3.34 T1=1.54
Ramsey/ Ramsey-int-s1/ Ramsey-int-10.xml	OPT f=2 TT=0.142 T1=0.15	OPT f=2 TT=1.586 T1=0.87	OPT f=2 TT=209.054 T1=65.83	OPT f=2 TT=224.544 T1=67.87	OPT f=2 TT=213.386 T1=66.28	OPT f=2 TT=10.394 T1=7.08	OPT f=2 TT=10.529 T1=7.08	OPT f=2 TT=10.346 T1=6.88	OPT f=2 TT=10.86 T1=7.16	OPT f=2 TT=11.091 T1=6.99	OPT f=2 TT=131.098 T1=5.25	OPT f=2 TT=0.141 T1=0.2	OPT f=2 TT=0.142 T1=0.2	OPT f=2 TT=0.153 T1=0.15	OPT f=2 TT=0.284 T1=0.3	SAT (TO) f=2 TT=258.173 T1=13.72	OPT f=2 TT=20.371 T1=10.54	OPT f=2 TT=20.533 T1=11.27	OPT f=2 TT=244.438 T1=49.24	OPT f=2 TT=244.661 T1=243.58	OPT f=2 TT=4.947 T1=2.5
Ramsey/ Ramsey-int-s1/ Ramsey-int-11.xml	OPT f=2 TT=0.2 T1=0.19	OPT f=2 TT=1.71 T1=1	OPT f=2 TT=712.03 T1=216.16	OPT f=2 TT=739.563 T1=220.86	OPT f=2 TT=862.747 T1=234.17	OPT f=2 TT=31.026 T1=21.34	OPT f=2 TT=31.973 T1=21.59	OPT f=2 TT=32.525 T1=21.54	OPT f=2 TT=32.932 T1=21.73	OPT f=2 TT=33.133 T1=21.62	SAT (TO) f=2 TT=249.583 T1=5.05	OPT f=2 TT=0.203 T1=0.26	OPT f=2 TT=0.2 T1=0.19	OPT f=2 TT=0.211 T1=0.21	OPT f=2 TT=0.47 T1=0.42	SAT (TO) f=2 TT=252.105 T1=34.88	OPT f=2 TT=52.522 T1=27.48	OPT f=2 TT=52.708 T1=27.48	OPT f=2 TT=801.957 T1=164.47	OPT f=2 TT=659.352 T1=657.14	OPT f=2 TT=10.5 T1=7.2
Ramsey/ Ramsey-int-s1/ Ramsey-int-14.xml	OPT f=2 TT=0.441 T1=0.51	OPT f=2 TT=3.536 T1=2	? (TO) TT=505.627	? (TO) TT=511.503	? (TO) TT=529.136	? (TO) TT=260.203	? (TO) TT=257.573	? (TO) TT=272.106	? (TO) TT=260.203	? (TO) TT=271.67	SAT (TO) f=3 TT=253.228 T1=6.44	OPT f=2 TT=0.442 T1=0.51	OPT f=2 TT=0.441 T1=0.51	OPT f=2 TT=3.263 T1=3.23	OPT f=2 TT=108.061 T1=107.97	? (TO) TT=259.822	? (TO) TT=259.954	? (TO) TT=258.258	? (TO) TT=1156.18	? (TO) TT=1144.17	OPT f=2 TT=82.628 T1=69.79
Ramsey/ Ramsey-int-s1/ Ramsey-int-15.xml	OPT f=2 TT=5.284 T1=5.26	OPT f=2 TT=58.084 T1=55.9	? (TO) TT=518.638	? (TO) TT=509.717	? (TO) TT=546.784	? (TO) TT=253.5	? (TO) TT=252.099	? (TO) TT=272.117	? (TO) TT=256.139	? (TO) TT=271.812	SAT (TO) f=3 TT=253.684 T1=7.12	OPT f=2 TT=5.219 T1=5.26	OPT f=2 TT=5.284 T1=5.26	OPT f=2 TT=25.853 T1=25.85	SAT (TO) f=3 TT=251.842 T1=1.91	SAT (TO) f=3 TT=249.421 T1=21.88	SAT (TO) f=3 TT=246.66 T1=3.08	SAT (TO) f=3 TT=248.625 T1=2.44	SAT (TO) f=3 TT=771.083 T1=3.82	SAT (TO) f=3 TT=770.442 T1=20.06	OPT f=2 TT=149.689 T1=130.79
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	choco-solver 4.0.5 par (2017-07-26) (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-07-26) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.1 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	sat4j-CSP 2017-07-05 (complete)
Ramsey/ Ramsey-int-s1/ Ramsey-int-18.xml	SAT TO f=3 TT=243.024 T1=1	SAT (TO) f=3 TT=243.024 T1=1.28	SAT (TO) f=3 TT=1920.32 T1=4.76	SAT (TO) f=3 TT=2005.6 T1=3.59	SAT (TO) f=3 TT=1999.39 T1=5.34	? (TO) TT=245.69	? (TO) TT=245.703	? (TO) TT=246.041	SAT (TO) f=3 TT=253.55 T1=24.38	SAT (TO) f=3 TT=252.875 T1=23.66	SAT (TO) f=3 TT=254.151 T1=11.56	SAT (TO) f=3 TT=251.908 T1=1.02	SAT (TO) f=3 TT=251.953 T1=1	SAT (TO) f=3 TT=251.903 T1=1.32	SAT (TO) f=3 TT=251.921 T1=4.52	SAT (TO) f=3 TT=249.855 T1=26.8	SAT (TO) f=3 TT=246.212 T1=6.25	SAT (TO) f=3 TT=246.752 T1=5.69	SAT (TO) f=3 TT=787.989 T1=7.81	SAT (TO) f=3 TT=790.175 T1=50.99	SAT (TO) f=147 TT=252.197 T1=76.21
Ramsey/ Ramsey-int-s1/ Ramsey-int-21.xml	SAT TO f=3 TT=240.016 T1=1.59	SAT (TO) f=3 TT=243.659 T1=1.9	SAT (TO) f=3 TT=1920.09 T1=22.56	SAT (TO) f=3 TT=2004.19 T1=12.79	SAT (TO) f=3 TT=2004.5 T1=22.66	? (TO) TT=245.15	? (TO) TT=245.174	? (TO) TT=245.651	SAT (TO) f=3 TT=256 T1=56.93	SAT (TO) f=3 TT=255.511 T1=55.35	SAT (TO) f=4 TT=258.268 T1=25.21	SAT (TO) f=3 TT=251.968 T1=1.64	SAT (TO) f=3 TT=251.93 T1=1.59	SAT (TO) f=3 TT=240.016 T1=2.29	SAT (TO) f=3 TT=251.967 T1=17.43	SAT (TO) f=3 TT=249.688 T1=50.45	SAT (TO) f=3 TT=247.191 T1=24.41	SAT (TO) f=3 TT=249.923 T1=23.97	SAT (TO) f=3 TT=845.376 T1=20.18	SAT (TO) f=3 TT=816.08 T1=95.41	? (TO) TT=260.098
Ramsey/ Ramsey-int-s1/ Ramsey-int-24.xml	SAT TO f=3 TT=243.611 T1=2.55	SAT (TO) f=3 TT=243.611 T1=2.67	SAT (TO) f=4 TT=1920.48 T1=17.48	SAT (TO) f=4 TT=1954.9 T1=14.88	SAT (TO) f=4 TT=1973.16 T1=17.83	? (TO) TT=246.02	? (TO) TT=245.759	? (TO) TT=246.074	SAT (TO) f=259 TT=251.59 T1=228.41	SAT (TO) f=258 TT=253.336 T1=239.72	SAT (TO) f=4 TT=258.264 T1=58.66	SAT (TO) f=3 TT=251.948 T1=2.53	SAT (TO) f=3 TT=251.94 T1=2.55	SAT (TO) f=3 TT=251.89 T1=3.94	SAT (TO) f=3 TT=251.886 T1=107.44	SAT (TO) f=4 TT=250.641 T1=58.16	SAT (TO) f=3 TT=249.05 T1=61.17	SAT (TO) f=4 TT=250.926 T1=64.98	SAT (TO) f=3 TT=997.459 T1=52.54	SAT (TO) f=3 TT=995.397 T1=389.99	? (TO) TT=260.291
Ramsey/ Ramsey-int-s1/ Ramsey-int-27.xml	SAT TO f=3 TT=240.011 T1=3.55	SAT (TO) f=3 TT=244.438 T1=10.91	SAT (TO) f=4 TT=1920.66 T1=63.65	SAT (TO) f=4 TT=1905.42 T1=63.19	SAT (TO) f=4 TT=1885.31 T1=85.55	? (TO) TT=245.18	? (TO) TT=245.368	? (TO) TT=246.001	? (TO) TT=252.73	? (TO) TT=251.426	SAT (TO) f=4 TT=261.666 T1=132.34	SAT (TO) f=3 TT=251.886 T1=3.68	SAT (TO) f=3 TT=240.011 T1=3.55	SAT (TO) f=3 TT=240.063 T1=6.6	SAT (TO) f=4 TT=251.908 T1=52.67	SAT (TO) f=5 TT=249.907 T1=58.76	SAT (TO) f=4 TT=250.736 T1=158.34	SAT (TO) f=6 TT=251.611 T1=197.03	SAT (TO) f=3 TT=1463.46 T1=150.53	SAT (TO) f=3 TT=1414.52 T1=1075.18	? (TO) TT=260.07
Ramsey/ Ramsey-int-s1/ Ramsey-int-34.xml	SAT TO f=4 TT=240.326 T1=7.39	SAT (TO) f=4 TT=247.538 T1=7.7	SAT (TO) f=17 TT=1920.61 T1=242.59	SAT (TO) f=27 TT=1719.54 T1=105.32	SAT (TO) f=6 TT=1626.91 T1=156.3	? (TO) TT=247.15	? (TO) TT=247.351	? (TO) TT=247.29	? (TO) TT=249.94	? (TO) TT=250.024	SAT (TO) f=369 TT=252.113 T1=224.07	SAT (TO) f=4 TT=251.869 T1=7.48	SAT (TO) f=4 TT=251.903 T1=7.39	SAT (TO) f=4 TT=240.326 T1=19.75	SAT (TO) f=4 TT=251.899 T1=128.66	SAT (TO) f=12 TT=251.606 T1=205.9	SAT (TO) f=471 TT=250.773 T1=239.52	SAT (TO) f=15 TT=252.485 T1=113.67	SAT (TO) f=540 TT=1921.4 T1=249.08	SAT (TO) f=540 TT=1923.28 T1=1880.41	? (TO) TT=260.106
Ramsey/ Ramsey-int-s1/ Ramsey-int-38.xml	SAT TO f=4 TT=251.828 T1=10.87	SAT (TO) f=4 TT=252.17 T1=12.86	SAT (TO) f=31 TT=1920.2 T1=89.68	SAT (TO) f=31 TT=1366.92 T1=190.05	SAT (TO) f=31 TT=1675.06 T1=147.12	? (TO) TT=247.19	? (TO) TT=247.185	? (TO) TT=247.252	? (TO) TT=249.09	? (TO) TT=249.812	SAT (TO) f=586 TT=252.133 T1=221.71	SAT (TO) f=4 TT=251.857 T1=11.03	SAT (TO) f=4 TT=251.828 T1=10.87	? (MO) TT=37.179	? (TO) TT=251.914	SAT (TO) f=18 TT=251.7 T1=107.55	SAT (TO) f=659 TT=251.834 T1=235.88	SAT (TO) f=36 TT=253.46 T1=184.87	SAT (TO) f=695 TT=1921 T1=239.48	SAT (TO) f=695 TT=1888.47 T1=1745.66	? (TO) TT=260.388
Ramsey/ Ramsey-int-s1/ Ramsey-int-40.xml	SAT TO f=4 TT=251.882 T1=12.79	SAT (TO) f=4 TT=255.249 T1=17.18	SAT (TO) f=33 TT=1408.19 T1=202.94	SAT (TO) f=33 TT=1872.48 T1=122.75	SAT (TO) f=33 TT=1993.76 T1=117.22	? (TO) TT=246.64	? (TO) TT=246.743	? (TO) TT=246.622	? (TO) TT=248.8	? (TO) TT=248.734	SAT (TO) f=687 TT=252.1 T1=223.29	SAT (TO) f=4 TT=252.003 T1=12.51	SAT (TO) f=4 TT=251.983 T1=12.79	? (MO) TT=39.374	SAT (TO) f=4 TT=251.882 T1=244.01	SAT (TO) f=18 TT=252.846 T1=217.57	SAT (TO) f=746 TT=251.351 T1=238.17	SAT (TO) f=757 TT=252.189 T1=189.65	SAT (TO) f=775 TT=1921.61 T1=227.69	SAT (TO) f=775 TT=1865.2 T1=1667.94	? (TO) TT=260.147
Ramsey/ Ramsey-int-s1/ Ramsey-int-41.xml	SAT TO f=4 TT=251.899 T1=13.79	SAT (TO) f=4 TT=255.317 T1=19.75	SAT (TO) f=34 TT=1920.75 T1=151.18	SAT (TO) f=34 TT=1993.64 T1=126.5	SAT (TO) f=35 TT=948.13 T1=167.44	? (TO) TT=246.39	? (TO) TT=246.365	? (TO) TT=246.623	? (TO) TT=248.73	? (TO) TT=248.859	SAT (TO) f=743 TT=252.078 T1=220.76	SAT (TO) f=4 TT=251.866 T1=13.88	SAT (TO) f=4 TT=251.899 T1=13.79	? (MO) TT=41.205	? (TO) TT=251.873	SAT (TO) f=38 TT=253.218 T1=151.34	SAT (TO) f=792 TT=251.562 T1=233.89	SAT (TO) f=810 TT=253.831 T1=185.76	SAT (TO) f=815 TT=1921.3 T1=255.74	SAT (TO) f=816 TT=1874.31 T1=1612.61	? (TO) TT=259.909
Ramsey/ Ramsey-int-s1/ Ramsey-int-44.xml	SAT TO f=4 TT=240.083 T1=17.54	SAT (TO) f=4 TT=258.549 T1=49.02	SAT (TO) f=37 TT=1920.37 T1=160.51	SAT (TO) f=37 TT=1988.13 T1=147.1	SAT (TO) f=39 TT=392.389 T1=136.27	? (TO) TT=246.86	? (TO) TT=246.836	? (TO) TT=246.764	? (TO) TT=249.07	? (TO) TT=247.616	SAT (TO) f=893 TT=252.191 T1=220.18	SAT (TO) f=4 TT=251.99 T1=17.38	SAT (TO) f=4 TT=240.083 T1=17.54	? (MO) TT=38.167	? (TO) TT=251.938	SAT (TO) f=22 TT=253.417 T1=197.64	SAT (TO) f=928 TT=253.074 T1=234.04	SAT (TO) f=940 TT=254.272 T1=166.23	SAT (TO) f=944 TT=1802.3 T1=194.03	SAT (TO) f=944 TT=1803.19 T1=1371.75	? (TO) TT=260.064
Ramsey/ Ramsey-int-s1/ Ramsey-int-46.xml	SAT TO f=4 TT=240.042 T1=20.57	SAT (TO) f=4 TT=252.09 T1=59.47	SAT (TO) f=41 TT=407.538 T1=185.95	SAT (TO) f=40 TT=1479.83 T1=27.28	SAT (TO) f=39 TT=1987.44 T1=188.57	? (TO) TT=246.74	? (TO) TT=246.617	? (TO) TT=246.993	? (TO) TT=247.25	? (TO) TT=247.8	SAT (TO) f=991 TT=252.152 T1=215.59	SAT (TO) f=4 TT=251.946 T1=20.55	SAT (TO) f=4 TT=240.042 T1=20.57	? (MO) TT=41.963	? (TO) TT=251.904	SAT (TO) f=44 TT=254.641 T1=219.79	SAT (TO) f=1021 TT=253.672 T1=230.33	SAT (TO) f=1024 TT=255.643 T1=202.26	SAT (TO) f=1034 TT=1772.07 T1=151.45	SAT (TO) f=1034 TT=1816.64 T1=965.34	? (TO) TT=260.145
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	choco-solver 4.0.5 par (2017-07-26) (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-07-26) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.1 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	sat4j-CSP 2017-07-05 (complete)
Ramsey/ Ramsey-int-s1/ Ramsey-int-47.xml	SAT TO f=4 TT=252.004 T1=22.05	SAT (TO) f=4 TT=252.078 T1=149.16	SAT (TO) f=40 TT=1920.66 T1=198.54	SAT (TO) f=41 TT=1592.79 T1=27.68	SAT (TO) f=42 TT=412.067 T1=216.7	? (TO) TT=246.97	? (TO) TT=247.217	? (TO) TT=246.659	? (TO) TT=247.26	? (TO) TT=248.088	SAT (TO) f=1043 TT=252.112 T1=217.8	SAT (TO) f=4 TT=240 T1=22.25	SAT (TO) f=4 TT=252.004 T1=22.05	? (MO) TT=43.587	? (TO) TT=251.894	SAT (TO) f=1072 TT=255.439 T1=184.73	SAT (TO) f=1069 TT=253.638 T1=227.16	SAT (TO) f=1068 TT=255.88 T1=145.5	SAT (TO) f=1080 TT=1754.68 T1=171.67	SAT (TO) f=1080 TT=1746.3 T1=1172.97	? (TO) TT=260.377
Ramsey/ Ramsey-int-s1/ Ramsey-int-49.xml	SAT TO f=4 TT=240.111 T1=25.12	SAT (TO) f=5 TT=252.112 T1=44.44	SAT (TO) f=44 TT=442.855 T1=10.24	SAT (TO) f=44 TT=455.383 T1=10.46	SAT (TO) f=45 TT=300.339 T1=18.47	? (TO) TT=244.87	? (TO) TT=244.816	? (TO) TT=245.649	? (TO) TT=245.52	? (TO) TT=245.72	SAT (TO) f=1144 TT=252.077 T1=216.81	SAT (TO) f=4 TT=252.043 T1=25.34	SAT (TO) f=4 TT=240.111 T1=25.12	? (MO) TT=47.479	? (TO) TT=251.833	SAT (TO) f=1162 TT=255.386 T1=157.08	SAT (TO) f=1167 TT=253.934 T1=222.02	SAT (TO) f=1175 TT=256.895 T1=25.39	SAT (TO) f=1175 TT=1705.46 T1=243.41	SAT (TO) f=1175 TT=1705.38 T1=1677.25	? (TO) TT=253.297
Rcpsp/Rcpsp-m1-j120/ Rcpsp-j120-02-03.xml	OPT f=92 TT=18.488 T1=11.13	? (NS) TT=1.772	OPT f=92 TT=213.86 T1=11.79	OPT f=92 TT=1040.54 T1=32.59	OPT f=92 TT=411.696 T1=14.75	SAT (TO) f=95 TT=248.27 T1=78.52	SAT (TO) f=95 TT=247.829 T1=78.57	SAT (TO) f=95 TT=246.225 T1=77.83	SAT (TO) f=95 TT=259.096 T1=148.08	SAT (TO) f=95 TT=261.883 T1=148.73	SAT (TO) f=96 TT=252.509 T1=18.72	? (NS) TT=0.21	? (NS) TT=0.205	? (NS) TT=0.205	SAT (TO) f=92 TT=251.923 T1=17.97	SAT (TO) f=93 TT=249.543 T1=193.52	OPT f=92 TT=18.488 T1=11.13	OPT f=92 TT=19.841 T1=11.65	OPT f=92 TT=76.777 T1=17.37	OPT f=92 TT=61.84 T1=54.71	? (TO) TT=259.982
Rcpsp/Rcpsp-m1-j120/ Rcpsp-j120-02-05.xml	OPT f=103 TT=7.955 T1=3.49	? (NS) TT=1.714	OPT f=103 TT=24.037 T1=4.29	OPT f=103 TT=29.118 T1=4.19	OPT f=103 TT=24.086 T1=3.52	OPT f=103 TT=25.283 T1=5.81	OPT f=103 TT=24.762 T1=5.59	OPT f=103 TT=24.409 T1=5.36	OPT f=103 TT=77.954 T1=65.82	OPT f=103 TT=90.913 T1=69.51	SAT (TO) f=105 TT=251.352 T1=11.12	? (NS) TT=0.206	? (NS) TT=0.203	? (NS) TT=0.206	OPT f=103 TT=13.984 T1=12.76	SAT (TO) f=107 TT=248.98 T1=170.97	OPT f=103 TT=7.955 T1=3.49	OPT f=103 TT=8.072 T1=3.55	OPT f=103 TT=28.319 T1=9.04	OPT f=103 TT=27.551 T1=27.27	? (TO) TT=259.782
Rcpsp/Rcpsp-m1-j120/ Rcpsp-j120-23-09.xml	OPT f=107 TT=3.238 T1=1.05	? (NS) TT=1.794	OPT f=107 TT=4.092 T1=1.2	OPT f=107 TT=4.719 T1=1.16	OPT f=107 TT=4.196 T1=1.05	OPT f=107 TT=3.328 T1=1.37	OPT f=107 TT=3.293 T1=1.22	OPT f=107 TT=3.238 T1=1.19	OPT f=107 TT=5.177 T1=1.83	OPT f=107 TT=4.922 T1=1.64	OPT f=107 TT=37.567 T1=27.76	? (NS) TT=0.249	? (NS) TT=0.248	? (NS) TT=0.258	OPT f=107 TT=6.922 T1=6.92	SAT (TO) f=107 TT=248.802 T1=2.82	OPT f=107 TT=5.527 T1=3.03	OPT f=107 TT=5.743 T1=2.99	OPT f=107 TT=24.745 T1=7.28	OPT f=107 TT=23.967 T1=23.77	? (TO) TT=260.074
Rcpsp/Rcpsp-m1-j120/ Rcpsp-j120-46-04.xml	SAT TO f=180 TT=251.876 T1=208.02	? (NS) TT=1.791	SAT (TO) f=189 TT=1920.21 T1=232.22	SAT (TO) f=190 TT=2005.19 T1=96.11	SAT (TO) f=191 TT=2002.02 T1=58.48	SAT (TO) f=197 TT=246.06 T1=205.63	SAT (TO) f=196 TT=247.871 T1=238.6	SAT (TO) f=197 TT=247.109 T1=207.3	SAT (TO) f=199 TT=257.89 T1=180.04	SAT (TO) f=199 TT=261.544 T1=183.42	? (TO) TT=249.897	? (NS) TT=0.286	? (NS) TT=0.288	? (NS) TT=0.283	SAT (TO) f=180 TT=251.876 T1=208.02	SAT (TO) f=192 TT=249.605 T1=157.01	SAT (TO) f=594 TT=243.852 T1=25.18	SAT (TO) f=192 TT=249.881 T1=183.78	SAT (TO) f=649 TT=1920.06 T1=172.37	SAT (TO) f=649 TT=1818.8 T1=1198.52	? (TO) TT=260.174
Rcpsp/Rcpsp-m1-j120/ Rcpsp-j120-50-04.xml	SAT TO f=100 TT=244.859 T1=38.56	? (NS) TT=1.761	SAT (TO) f=101 TT=1920.34 T1=25.09	SAT (TO) f=101 TT=2005.69 T1=15.24	SAT (TO) f=101 TT=2005.86 T1=21.82	SAT (TO) f=106 TT=247.95 T1=3.15	SAT (TO) f=106 TT=246.518 T1=2.65	SAT (TO) f=106 TT=247.83 T1=3.09	SAT (TO) f=104 TT=261.7 T1=89.03	SAT (TO) f=104 TT=264.115 T1=91.72	SAT (TO) f=104 TT=251.718 T1=44.73	? (NS) TT=0.314	? (NS) TT=0.293	? (NS) TT=0.279	SAT (TO) f=101 TT=251.829 T1=31.14	SAT (TO) f=102 TT=249.819 T1=172.52	SAT (TO) f=100 TT=244.859 T1=48.55	SAT (TO) f=101 TT=248.638 T1=6.63	SAT (TO) f=100 TT=269.01 T1=38.56	SAT (TO) f=102 TT=271.65 T1=33.63	? (TO) TT=259.872
Rcpsp/Rcpsp-m1-j120/ Rcpsp-j120-50-05.xml	OPT f=100 TT=7.294 T1=2.51	? (NS) TT=1.776	OPT f=100 TT=16.948 T1=2.98	OPT f=100 TT=14.628 T1=2.51	OPT f=100 TT=14.32 T1=2.51	OPT f=100 TT=9.303 T1=3.37	OPT f=100 TT=8.259 T1=3.02	OPT f=100 TT=8.703 T1=3.06	OPT f=100 TT=21.273 T1=8.47	OPT f=100 TT=20.278 T1=8.08	OPT f=100 TT=151.269 T1=140.66	? (NS) TT=0.288	? (NS) TT=0.284	? (NS) TT=0.285	OPT f=100 TT=25.168 T1=25.07	SAT (TO) f=100 TT=250.064 T1=108.88	OPT f=100 TT=7.521 T1=4.15	OPT f=100 TT=7.294 T1=4.1	OPT f=100 TT=35.561 T1=13.77	OPT f=100 TT=37.642 T1=37.47	? (TO) TT=260.257
Rcpsp/Rcpsp-m1-j30/ Rcpsp-j30-22-06.xml	OPT f=52 TT=0.292 T1=0.41	? (NS) TT=1.118	OPT f=52 TT=2.704 T1=0.93	OPT f=52 TT=2.995 T1=0.84	OPT f=52 TT=2.693 T1=0.82	OPT f=52 TT=3.48 T1=1.42	OPT f=52 TT=3.353 T1=1.26	OPT f=52 TT=3.618 T1=1.35	OPT f=52 TT=4.909 T1=1.8	OPT f=52 TT=4.87 T1=1.77	OPT f=52 TT=9.75 T1=4.6	? (NS) TT=0.067	? (NS) TT=0.067	? (NS) TT=0.066	OPT f=52 TT=0.292 T1=0.41	SAT (TO) f=52 TT=248.848 T1=1.36	OPT f=52 TT=2.002 T1=1.08	OPT f=52 TT=1.968 T1=1.1	OPT f=52 TT=9.574 T1=3.31	OPT f=52 TT=9.575 T1=8.61	? TT=1.847
Rcpsp/Rcpsp-m1-j30/ Rcpsp-j30-36-01.xml	OPT f=66 TT=0.205 T1=0.3	? (NS) TT=1.159	OPT f=66 TT=1.69 T1=0.79	OPT f=66 TT=1.654 T1=0.67	OPT f=66 TT=1.682 T1=0.68	OPT f=66 TT=1.085 T1=0.65	OPT f=66 TT=1.067 T1=0.53	OPT f=66 TT=1.082 T1=0.53	OPT f=66 TT=1.149 T1=0.67	OPT f=66 TT=1.133 T1=0.55	OPT f=66 TT=9.96 T1=4.45	? (NS) TT=0.078	? (NS) TT=0.078	? (NS) TT=0.079	OPT f=66 TT=0.205 T1=0.3	SAT (TO) f=66 TT=246.674 T1=0.98	OPT f=66 TT=1.685 T1=0.97	OPT f=66 TT=1.671 T1=1.02	OPT f=66 TT=8.358 T1=2.83	OPT f=66 TT=8.556 T1=8.37	? TT=2.396
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	choco-solver 4.0.5 par (2017-07-26) (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-07-26) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.1 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	sat4j-CSP 2017-07-05 (complete)
Rcpsp/Rcpsp-m1-j30/ Rcpsp-j30-40-08.xml	OPT f=57 TT=0.305 T1=0.37	? (NS) TT=1.154	OPT f=57 TT=1.883 T1=0.87	OPT f=57 TT=1.896 T1=0.7	OPT f=57 TT=1.84 T1=0.68	OPT f=57 TT=1.102 T1=0.62	OPT f=57 TT=1.067 T1=0.53	OPT f=57 TT=1.092 T1=0.53	OPT f=57 TT=1.154 T1=0.71	OPT f=57 TT=1.124 T1=0.55	OPT f=57 TT=10.194 T1=4.59	? (NS) TT=0.081	? (NS) TT=0.078	? (NS) TT=0.077	OPT f=57 TT=0.305 T1=0.37	SAT (TO) f=57 TT=246.282 T1=1.02	OPT f=57 TT=1.912 T1=1.12	OPT f=57 TT=1.912 T1=1.11	OPT f=57 TT=10.391 T1=4.22	OPT f=57 TT=11.276 T1=11.25	? TT=2.529
Rcpsp/Rcpsp-m1-j30/ Rcpsp-j30-43-06.xml	OPT f=58 TT=0.507 T1=0.55	? (NS) TT=1.157	OPT f=58 TT=2.474 T1=0.92	OPT f=58 TT=2.455 T1=0.79	OPT f=58 TT=2.485 T1=0.78	OPT f=58 TT=1.704 T1=0.95	OPT f=58 TT=1.722 T1=0.86	OPT f=58 TT=1.686 T1=0.72	OPT f=58 TT=1.892 T1=0.86	OPT f=58 TT=1.845 T1=0.76	OPT f=58 TT=10.063 T1=4.61	? (NS) TT=0.078	? (NS) TT=0.086	? (NS) TT=0.077	OPT f=58 TT=0.507 T1=0.55	SAT (TO) f=58 TT=248.216 T1=1.51	OPT f=58 TT=2.093 T1=1.11	OPT f=58 TT=2.118 T1=1.17	OPT f=58 TT=11.455 T1=3.99	OPT f=58 TT=11.786 T1=10.99	? TT=2.508
Rcpsp/Rcpsp-m1-j60/ Rcpsp-j60-13-09.xml	SAT TO f=107 TT=251.831 T1=26.72	? (NS) TT=1.27	SAT (TO) f=107 TT=1920.28 T1=240.77	SAT (TO) f=109 TT=2005.86 T1=45.07	SAT (TO) f=108 TT=2005.08 T1=237.71	SAT (TO) f=119 TT=246.47 T1=1.59	SAT (TO) f=119 TT=248.363 T1=1.41	SAT (TO) f=119 TT=247.35 T1=1.45	SAT (TO) f=116 TT=259.59 T1=7.16	SAT (TO) f=116 TT=258.108 T1=6.03	SAT (TO) f=110 TT=250.755 T1=188.31	? (NS) TT=0.109	? (NS) TT=0.107	? (NS) TT=0.106	SAT (TO) f=107 TT=251.831 T1=26.72	SAT (TO) f=110 TT=250.226 T1=146.32	SAT (TO) f=108 TT=244.498 T1=112.66	SAT (TO) f=111 TT=251.358 T1=85.32	? (TO) TT=1920.73	? (TO) TT=1848.09	? TT=15.785
Rcpsp/Rcpsp-m1-j60/ Rcpsp-j60-24-03.xml	OPT f=67 TT=1.495 T1=0.65	? (NS) TT=1.273	OPT f=67 TT=2.505 T1=0.9	OPT f=67 TT=2.256 T1=0.76	OPT f=67 TT=2.429 T1=0.78	OPT f=67 TT=1.515 T1=0.85	OPT f=67 TT=1.531 T1=0.67	OPT f=67 TT=1.495 T1=0.65	OPT f=67 TT=1.656 T1=0.83	OPT f=67 TT=1.582 T1=0.68	OPT f=67 TT=13.406 T1=5.64	? (NS) TT=0.125	? (NS) TT=0.132	? (NS) TT=0.126	OPT f=67 TT=1.794 T1=1.82	SAT (TO) f=67 TT=248.23 T1=1.1	OPT f=67 TT=3.482 T1=1.59	OPT f=67 TT=3.507 T1=1.59	OPT f=67 TT=19.123 T1=8.91	OPT f=67 TT=17.918 T1=17.02	? TT=15.668
Rcpsp/Rcpsp-m1-j60/ Rcpsp-j60-36-08.xml	OPT f=69 TT=0.784 T1=0.59	? (NS) TT=1.284	OPT f=69 TT=2.184 T1=0.86	OPT f=69 TT=2.209 T1=0.76	OPT f=69 TT=2.123 T1=0.75	OPT f=69 TT=1.312 T1=0.72	OPT f=69 TT=1.305 T1=0.64	OPT f=69 TT=1.293 T1=0.59	OPT f=69 TT=1.375 T1=0.75	OPT f=69 TT=1.36 T1=0.63	OPT f=69 TT=11.836 T1=5.3	? (NS) TT=0.146	? (NS) TT=0.163	? (NS) TT=0.146	OPT f=69 TT=0.784 T1=0.83	SAT (TO) f=69 TT=246.652 T1=1.06	OPT f=69 TT=2.624 T1=1.32	OPT f=69 TT=2.717 T1=1.72	OPT f=69 TT=10.847 T1=3.74	OPT f=69 TT=11.921 T1=11.45	? TT=19.507
Rcpsp/Rcpsp-m1-j90/ Rcpsp-j90-07-04.xml	OPT f=86 TT=2.124 T1=0.87	? (NS) TT=1.485	OPT f=86 TT=3.252 T1=1.03	OPT f=86 TT=3.297 T1=0.95	OPT f=86 TT=3.575 T1=0.95	OPT f=86 TT=2.124 T1=0.94	OPT f=86 TT=2.136 T1=1	OPT f=86 TT=2.167 T1=0.87	OPT f=86 TT=2.216 T1=1.02	OPT f=86 TT=2.211 T1=0.9	OPT f=86 TT=16.196 T1=7.58	? (NS) TT=0.158	? (NS) TT=0.155	? (NS) TT=0.178	OPT f=86 TT=7.582 T1=7.6	SAT (TO) f=86 TT=249.085 T1=1.26	OPT f=86 TT=4.846 T1=2.22	OPT f=86 TT=5.395 T1=2.29	OPT f=86 TT=30.935 T1=12.82	OPT f=86 TT=32.678 T1=32.12	? TT=61.871
Rcpsp/Rcpsp-m1-j90/ Rcpsp-j90-09-06.xml	SAT TO f=126 TT=251.9 T1=162.28	? (NS) TT=1.537	SAT (TO) f=131 TT=1920.28 T1=219.52	SAT (TO) f=130 TT=2005.41 T1=36.06	SAT (TO) f=129 TT=2005.03 T1=126.25	SAT (TO) f=136 TT=248.215 T1=15.17	SAT (TO) f=136 TT=246.939 T1=14.65	SAT (TO) f=136 TT=246.128 T1=13.95	SAT (TO) f=137 TT=259.21 T1=36.31	SAT (TO) f=137 TT=260.243 T1=35.85	SAT (TO) f=137 TT=252.969 T1=22.58	? (NS) TT=0.174	? (NS) TT=0.155	? (NS) TT=0.153	SAT (TO) f=126 TT=251.9 T1=162.28	SAT (TO) f=132 TT=250.098 T1=157.33	SAT (TO) f=130 TT=244.691 T1=159.36	SAT (TO) f=134 TT=251.089 T1=133.95	SAT (TO) f=500 TT=1780.98 T1=244.02	SAT (TO) f=499 TT=1781.86 T1=1674.05	? TT=67.559
Rcpsp/Rcpsp-m1-j90/ Rcpsp-j90-26-08.xml	SAT TO f=83 TT=244.285 T1=7.06	? (NS) TT=1.559	SAT (TO) f=83 TT=1920.65 T1=26	SAT (TO) f=83 TT=2005.76 T1=78.12	SAT (TO) f=83 TT=2005.25 T1=201.58	SAT (TO) f=87 TT=248.14 T1=152.21	SAT (TO) f=87 TT=246.059 T1=152.5	SAT (TO) f=87 TT=245.891 T1=152.01	SAT (TO) f=89 TT=258.02 T1=91.59	SAT (TO) f=89 TT=261.335 T1=93.21	SAT (TO) f=86 TT=252.507 T1=17.37	? (NS) TT=0.192	? (NS) TT=0.192	? (NS) TT=0.185	SAT (TO) f=83 TT=251.841 T1=34.77	SAT (TO) f=83 TT=249.764 T1=218.08	SAT (TO) f=83 TT=244.285 T1=7.06	SAT (TO) f=84 TT=248.888 T1=4.22	SAT (TO) f=83 TT=285.726 T1=41.42	SAT (TO) f=83 TT=299.2 T1=99.27	? TT=110.197
Rcpsp/Rcpsp-m1-j90/ Rcpsp-j90-37-03.xml	OPT f=132 TT=593.182 T1=144.99	? (NS) TT=1.496	SAT (TO) f=133 TT=1920.08 T1=214.88	SAT (TO) f=133 TT=2005.49 T1=176.51	SAT (TO) f=133 TT=2004.8 T1=153.73	SAT (TO) f=138 TT=246.938 T1=84.9	SAT (TO) f=138 TT=247.542 T1=84.63	SAT (TO) f=138 TT=247.82 T1=87.82	SAT (TO) f=137 TT=263.465 T1=48.49	SAT (TO) f=137 TT=264.053 T1=49.45	SAT (TO) f=147 TT=252.672 T1=14.7	? (NS) TT=0.223	? (NS) TT=0.215	? (NS) TT=0.215	SAT (TO) f=134 TT=251.9 T1=58.86	SAT (TO) f=139 TT=249.034 T1=229.53	SAT (TO) f=140 TT=244.263 T1=235.6	SAT (TO) f=136 TT=251.048 T1=61.94	OPT f=132 TT=593.182 T1=144.99	OPT f=132 TT=613.832 T1=557.25	? TT=100.637
Scheduling/ Scheduling-fs-taillard/ Taillard-fs-020-05-0.xml	SAT TO f=1290 TT=250.475 T1=10.22	SAT (TO) f=1364 TT=241.945 T1=29.57	SAT (TO) f=1344 TT=1740.16 T1=232.56	SAT (TO) f=1347 TT=1846.47 T1=249.69	SAT (TO) f=1344 TT=1811.34 T1=218.94	SAT (TO) f=1375 TT=247.46 T1=163.94	SAT (TO) f=1375 TT=246.832 T1=124.94	SAT (TO) f=1375 TT=247.407 T1=166.69	? (TO) TT=252.112	SAT (TO) f=1377 TT=262.948 T1=219.12	? (TO) TT=253.57	? (NS) TT=0.116	? (NS) TT=0.116	? (NS) TT=0.116	SAT (TO) f=1290 TT=251.985 T1=10.22	SAT (TO) f=1290 TT=250.475 T1=148.4	SAT (TO) f=1343 TT=245.719 T1=1.36	SAT (TO) f=1290 TT=252.261 T1=67	SAT (TO) f=1296 TT=1921.38 T1=119.39	SAT (TO) f=1297 TT=1890.63 T1=76.74	? (TO) TT=259.181
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	choco-solver 4.0.5 par (2017-07-26) (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-07-26) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.1 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	sat4j-CSP 2017-07-05 (complete)
Scheduling/ Scheduling-fs-taillard/ Taillard-fs-020-05-2.xml	SAT TO f=1107 TT=252.008 T1=77.68	? (TO) TT=241.6	? (TO) TT=1920.71	? (TO) TT=2002.99	? (TO) TT=2001.6	? (TO) TT=246.37	? (TO) TT=247.036	? (TO) TT=247.16	? (TO) TT=257.54	? (TO) TT=256.313	? (TO) TT=252.892	? (NS) TT=0.116	? (NS) TT=0.116	? (NS) TT=0.115	SAT (TO) f=1107 TT=252.008 T1=77.68	? (TO) TT=243.566	? (TO) TT=243.942	? (TO) TT=244.579	SAT (TO) f=1113 TT=1920.9 T1=245.12	SAT (TO) f=1115 TT=1887.91 T1=1085.64	? (TO) TT=257.028
Scheduling/ Scheduling-fs-taillard/ Taillard-fs-020-05-8.xml	SAT TO f=1253 TT=1903.67 T1=987.45	? (TO) TT=241.675	? (TO) TT=1920.21	? (TO) TT=2002.49	? (TO) TT=1997.25	? (TO) TT=246.275	? (TO) TT=246.005	? (TO) TT=246.541	? (TO) TT=255.68	? (TO) TT=252.574	? (TO) TT=252.872	? (NS) TT=0.115	? (NS) TT=0.119	? (NS) TT=0.122	SAT (TO) f=1278 TT=252.011 T1=99.83	SAT (TO) f=1270 TT=251.113 T1=206.22	SAT (TO) f=1329 TT=244.36 T1=3.4	SAT (TO) f=1321 TT=250.8 T1=200.32	SAT (TO) f=1281 TT=1920.87 T1=100.84	SAT (TO) f=1253 TT=1903.67 T1=987.45	? (TO) TT=260.186
Scheduling/ Scheduling-fs-taillard/ Taillard-fs-020-10-7.xml		? (TO) TT=241.827	? (TO) TT=1920.69	? (TO) TT=2001.97	? (TO) TT=2000.68	? (TO) TT=246.578	? (TO) TT=246.81	? (TO) TT=247.008	? (TO) TT=255.68	? (TO) TT=253.048	? (TO) TT=254.733	? (NS) TT=0.223	? (NS) TT=0.226	? (NS) TT=0.254	? (TO) TT=252.011	? (TO) TT=244.394	? (TO) TT=245.22	? (TO) TT=246.339	? (TO) TT=1921.12	? (TO) TT=1875.24	? (TO) TT=260.179
Scheduling/ Scheduling-fs-taillard/ Taillard-fs-050-05-1.xml		? (TO) TT=242.245	? (TO) TT=1920.24	? (TO) TT=2005.66	? (TO) TT=2003.64	? (TO) TT=245.45	? (TO) TT=245.682	? (TO) TT=245.351	? (TO) TT=260.221	? (TO) TT=256.991	? (TO) TT=258.662	? (NS) TT=0.308	? (NS) TT=0.3	? (NS) TT=0.288	? (TO) TT=252.02	? (TO) TT=243.603	? (TO) TT=245.563	? (TO) TT=246.129	? (TO) TT=1588.78	? (TO) TT=1591.52	? (TO) TT=260.29
Scheduling/ Scheduling-fs-taillard/ Taillard-fs-050-05-8.xml		? (TO) TT=241.805	? (TO) TT=1920.41	? (TO) TT=2006	? (TO) TT=2003.67	? (TO) TT=245.17	? (TO) TT=246.862	? (TO) TT=246.394	? (TO) TT=256.78	? (TO) TT=254.088	? (TO) TT=261.138	? (NS) TT=0.293	? (NS) TT=0.299	? (NS) TT=0.295	? (TO) TT=252.005	? (TO) TT=244.001	? (TO) TT=244.524	? (TO) TT=245.054	? (TO) TT=1607.26	? (TO) TT=1613.38	? (TO) TT=260.358
Scheduling/ Scheduling-fs-taillard/ Taillard-fs-050-05-9.xml	SAT TO f=2881 TT=249.396 T1=43.02	? (TO) TT=241.882	? (TO) TT=1920.45	? (TO) TT=2004.8	? (TO) TT=2002.54	? (TO) TT=247.63	? (TO) TT=248.066	? (TO) TT=246.988	? (TO) TT=255.01	? (TO) TT=254.517	? (TO) TT=259.02	? (NS) TT=0.304	? (NS) TT=0.293	? (NS) TT=0.295	? (TO) TT=252.007	SAT (TO) f=2881 TT=249.396 T1=43.02	? (TO) TT=244.654	? (TO) TT=244.159	SAT (TO) f=2881 TT=1605.13 T1=116.52	SAT (TO) f=2881 TT=1603.67 T1=485.56	? (TO) TT=259.323
Scheduling/ Scheduling-fs-taillard/ Taillard-fs-050-10-6.xml		? (TO) TT=242.231	? (TO) TT=1920.52	? (TO) TT=2005.51	? (TO) TT=2005.32	? (TO) TT=244.44	? (TO) TT=245.345	? (TO) TT=245.6	? (TO) TT=251.28	? (TO) TT=250.47	? (TO) TT=264.373	? (NS) TT=0.572	? (NS) TT=0.587	? (NS) TT=0.584	? (TO) TT=252.003	? (TO) TT=245.308	? (TO) TT=245.862	? (TO) TT=244.785	? (TO) TT=1414.4	? (TO) TT=1403.7	? (TO) TT=260.108
Scheduling/ Scheduling-fs-taillard/ Taillard-fs-050-10-9.xml		? (TO) TT=242.32	? (TO) TT=1920.19	? (TO) TT=2005.48	? (TO) TT=2005.72	? (TO) TT=246.95	? (TO) TT=246.886	? (TO) TT=246.185	? (TO) TT=253.3	? (TO) TT=253.03	? (TO) TT=264.221	? (NS) TT=0.588	? (NS) TT=0.591	? (NS) TT=0.604	? (TO) TT=252.002	? (TO) TT=244.791	? (TO) TT=245.005	? (TO) TT=245.081	? (TO) TT=1422.48	? (TO) TT=1424.13	? (TO) TT=260.339
Scheduling/ Scheduling-fs-taillard/ Taillard-fs-050-20-1.xml		? (TO) TT=242.857	? (TO) TT=1920.2	? (TO) TT=2004.94	? (TO) TT=2004.32	? (TO) TT=245.98	? (TO) TT=244.724	? (TO) TT=245.079	? (TO) TT=249.97	? (TO) TT=249.073	? (TO) TT=269.864	? (NS) TT=1.17	? (NS) TT=1.218	? (NS) TT=1.167	? (TO) TT=251.923	? (TO) TT=247.265	? (TO) TT=247.39	? (TO) TT=247.539	? (TO) TT=1048.83	? (TO) TT=1065.79	? (TO) TT=260
Scheduling/ Scheduling-fs-taillard/ Taillard-fs-100-05-1.xml		? (TO) TT=242.731	? (TO) TT=1920.79	? (TO) TT=2004.26	? (TO) TT=2003.23	? (TO) TT=246.24	? (TO) TT=247.351	? (TO) TT=246.449	? (TO) TT=253.51	? (TO) TT=255.748	? (TO) TT=268.906	? (NS) TT=0.615	? (NS) TT=0.6	? (NS) TT=0.608	? (TO) TT=251.926	? (TO) TT=244.393	? (TO) TT=245.099	? (TO) TT=244.601	? (TO) TT=858.675	? (TO) TT=858.349	? (TO) TT=253.769
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	choco-solver 4.0.5 par (2017-07-26) (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-07-26) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.1 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	sat4j-CSP 2017-07-05 (complete)
Scheduling/ Scheduling-fs-taillard/ Taillard-fs-100-05-3.xml		? (TO) TT=242.46	? (TO) TT=1920.02	? (TO) TT=2004.87	? (TO) TT=2002.38	? (TO) TT=247.74	? (TO) TT=245.867	? (TO) TT=246.641	? (TO) TT=249.91	? (TO) TT=251.203	? (TO) TT=267.856	? (NS) TT=0.617	? (NS) TT=0.615	? (NS) TT=0.61	? (TO) TT=251.934	? (TO) TT=244.522	? (TO) TT=245.252	? (TO) TT=245.068	? (TO) TT=870.044	? (TO) TT=673.681	? (TO) TT=260.177
Scheduling/ Scheduling-fs-taillard/ Taillard-fs-100-05-7.xml		? (TO) TT=242.498	? (TO) TT=1920.25	? (TO) TT=2005.12	? (TO) TT=2003.75	? (TO) TT=247.01	? (TO) TT=247.01	? (TO) TT=246.986	? (TO) TT=252.89	? (TO) TT=252.325	? (TO) TT=269.012	? (NS) TT=0.618	? (NS) TT=0.602	? (NS) TT=0.612	? (TO) TT=251.996	? (TO) TT=244.268	? (TO) TT=244.51	? (TO) TT=244.081	? (TO) TT=883.473	? (TO) TT=882.54	? (TO) TT=252.335
Scheduling/ Scheduling-fs-taillard/ Taillard-fs-100-10-5.xml		? (TO) TT=242.901	? (TO) TT=1920.55	? (TO) TT=2005.23	? (TO) TT=2004.58	? (TO) TT=244.96	? (TO) TT=247.202	? (TO) TT=247.225	? (TO) TT=252.84	? (TO) TT=252.851	? (TO) TT=259.202	? (NS) TT=1.215	? (NS) TT=1.226	? (NS) TT=1.208	? (TO) TT=251.989	? (TO) TT=245.828	? (TO) TT=246.411	? (TO) TT=246.311	? (TO) TT=261.025	? (TO) TT=261.195	? (TO) TT=260.05
Scheduling/ Scheduling-fs-taillard/ Taillard-fs-100-20-3.xml		? (TO) TT=244.97	? (TO) TT=1920.27	? (TO) TT=2000.88	? (TO) TT=2000.71	? (TO) TT=247.477	? (TO) TT=248.62	? (TO) TT=248.535	? (TO) TT=259.48	? (TO) TT=259.515	? (TO) TT=254.127	? (NS) TT=2.49	? (NS) TT=2.499	? (NS) TT=2.453	? (TO) TT=251.936	? (TO) TT=249.219	? (TO) TT=248.004	? (TO) TT=248.963	? (TO) TT=262.552	? (TO) TT=262.606	? (TO) TT=260.357
Scheduling/ Scheduling-fs-taillard/ Taillard-fs-100-20-6.xml		? (TO) TT=244.827	? (TO) TT=1920.66	? (TO) TT=2003.83	? (TO) TT=2003.78	? (TO) TT=248.65	? (TO) TT=250.139	? (TO) TT=247.799	? (TO) TT=258.83	? (TO) TT=258.26	? (TO) TT=254.137	? (NS) TT=2.456	? (NS) TT=2.544	? (NS) TT=2.7	? (TO) TT=251.928	? (TO) TT=248.381	? (TO) TT=248.296	? (TO) TT=248.315	? (TO) TT=262.917	? (TO) TT=262.746	? (TO) TT=260.045
Scheduling/ Scheduling-fs-taillard/ Taillard-fs-200-10-2.xml		? (TO) TT=247.237	? (TO) TT=1920.44	? (TO) TT=2002.1	? (TO) TT=2001.43	? (TO) TT=247.99	? (TO) TT=247.931	? (TO) TT=249.682	? (TO) TT=249.66	? (TO) TT=249.299	? (TO) TT=254.159	? (NS) TT=2.639	? (NS) TT=2.65	? (NS) TT=2.605	? (TO) TT=252.003	? (TO) TT=247.836	? (TO) TT=247.068	? (TO) TT=247.452	? (TO) TT=261.974	? (TO) TT=263.093	? (TO) TT=253.07
Scheduling/ Scheduling-js-taillard/ Taillard-js-015-15-2.xml	SAT TO f=1222 TT=252.03 T1=46.65	SAT (TO) f=1320 TT=242.95 T1=92.18	SAT (TO) f=1305 TT=1920.6 T1=187	SAT (TO) f=1311 TT=1962.18 T1=246.7	SAT (TO) f=1313 TT=1986.28 T1=149.41	? (TO) TT=246.61	? (TO) TT=249.132	? (TO) TT=246.142	? (TO) TT=257.92	? (TO) TT=257.378	? (TO) TT=254.412	? (NS) TT=0.251	? (NS) TT=0.262	? (NS) TT=0.253	SAT (TO) f=1222 TT=252.03 T1=46.65	? (TO) TT=243.709	? (TO) TT=244.687	? (TO) TT=243.775	? (TO) TT=1921.01	? (TO) TT=1932.51	? (TO) TT=258.837
Scheduling/ Scheduling-js-taillard/ Taillard-js-015-15-4.xml	SAT TO f=1233 TT=251.895 T1=5.65	? (TO) TT=241.776	SAT (TO) f=1311 TT=1920.48 T1=211.27	SAT (TO) f=1313 TT=1966.99 T1=250.11	SAT (TO) f=1322 TT=1962.89 T1=195.28	SAT (TO) f=1320 TT=247.826 T1=102.36	SAT (TO) f=1320 TT=247.728 T1=100.05	SAT (TO) f=1320 TT=248.953 T1=99.18	SAT (TO) f=1317 TT=255.77 T1=11.92	SAT (TO) f=1317 TT=259.339 T1=13.14	? (TO) TT=254.553	? (NS) TT=0.255	? (NS) TT=0.254	? (NS) TT=0.261	SAT (TO) f=1233 TT=251.895 T1=5.65	? (TO) TT=242.509	? (TO) TT=243.178	? (TO) TT=242.983	? (TO) TT=1920.76	? (TO) TT=1929.35	? (TO) TT=259.618
Scheduling/ Scheduling-js-taillard/ Taillard-js-015-15-7.xml	SAT TO f=1229 TT=251.996 T1=151.64	SAT (TO) f=1314 TT=242.995 T1=93.28	SAT (TO) f=1309 TT=1920.17 T1=239.72	SAT (TO) f=1309 TT=1994 T1=170.83	SAT (TO) f=1304 TT=1988.31 T1=89.71	? (TO) TT=246.643	? (TO) TT=248.616	? (TO) TT=248.499	SAT (TO) f=1319 TT=258.48 T1=85.82	SAT (TO) f=1319 TT=259.306 T1=84.02	? (TO) TT=254.936	? (NS) TT=0.255	? (NS) TT=0.257	? (NS) TT=0.257	SAT (TO) f=1229 TT=251.996 T1=151.64	SAT (TO) f=1319 TT=250.868 T1=8.93	SAT (TO) f=1318 TT=246.149 T1=55.09	SAT (TO) f=1297 TT=251.992 T1=122.44	SAT (TO) f=1289 TT=1920.99 T1=225.14	SAT (TO) f=1301 TT=1941.51 T1=147.48	? (TO) TT=259.484
Scheduling/ Scheduling-js-taillard/ Taillard-js-015-15-9.xml	SAT TO f=1259 TT=251.858 T1=15.02	? (TO) TT=241.728	SAT (TO) f=1327 TT=1920.69 T1=140.81	SAT (TO) f=1330 TT=1947.36 T1=204.49	SAT (TO) f=1339 TT=1981.66 T1=32.58	SAT (TO) f=1357 TT=246.83 T1=80.53	SAT (TO) f=1357 TT=245.988 T1=79.11	SAT (TO) f=1357 TT=248.198 T1=81.92	SAT (TO) f=1354 TT=256.65 T1=161.36	SAT (TO) f=1354 TT=262.331 T1=163.08	SAT (TO) f=1306 TT=257.057 T1=154.56	? (NS) TT=0.26	? (NS) TT=0.253	? (NS) TT=0.26	SAT (TO) f=1259 TT=251.858 T1=15.02	SAT (TO) f=1282 TT=250.817 T1=218.63	SAT (TO) f=1358 TT=244.196 T1=4.54	SAT (TO) f=1330 TT=251.798 T1=190.43	SAT (TO) f=1321 TT=1921.31 T1=147.51	SAT (TO) f=1314 TT=1922.11 T1=1671.72	? (TO) TT=260.266
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	choco-solver 4.0.5 par (2017-07-26) (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-07-26) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.1 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	sat4j-CSP 2017-07-05 (complete)
Scheduling/ Scheduling-js-taillard/ Taillard-js-020-15-1.xml	SAT TO f=1406 TT=251.884 T1=154.48	? (TO) TT=241.889	? (TO) TT=1920.71	? (TO) TT=1999.96	? (TO) TT=1998.65	? (TO) TT=245.12	? (TO) TT=245.576	? (TO) TT=246.833	? (TO) TT=254.955	? (TO) TT=254.073	? (TO) TT=256.69	? (NS) TT=0.38	? (NS) TT=0.347	? (NS) TT=0.339	SAT (TO) f=1406 TT=251.884 T1=154.48	? (TO) TT=243.418	? (TO) TT=244.005	? (TO) TT=243.291	? (TO) TT=1921.34	? (TO) TT=1887.71	? (TO) TT=256.255
Scheduling/ Scheduling-js-taillard/ Taillard-js-020-15-4.xml	SAT TO f=1394 TT=251.842 T1=117.19	? (TO) TT=241.87	? (TO) TT=1920.72	? (TO) TT=2001.25	? (TO) TT=1998.86	? (TO) TT=245.44	? (TO) TT=248.137	? (TO) TT=246.403	? (TO) TT=255.34	? (TO) TT=256.43	? (TO) TT=256.353	? (NS) TT=0.346	? (NS) TT=0.345	? (NS) TT=0.338	SAT (TO) f=1394 TT=251.842 T1=117.19	? (TO) TT=243.474	? (TO) TT=243.833	? (TO) TT=244.424	? (TO) TT=1920.76	? (TO) TT=1869.89	? (TO) TT=260.122
Scheduling/ Scheduling-js-taillard/ Taillard-js-020-15-9.xml	SAT TO f=1377 TT=252.015 T1=170.93	? (TO) TT=241.902	? (TO) TT=1920.38	? (TO) TT=2000.24	? (TO) TT=1997.17	? (TO) TT=247.212	? (TO) TT=247.501	? (TO) TT=246.715	? (TO) TT=259.7	? (TO) TT=254.297	? (TO) TT=256.584	? (NS) TT=0.345	? (NS) TT=0.352	? (NS) TT=0.34	SAT (TO) f=1377 TT=252.015 T1=170.93	? (TO) TT=243.329	SAT (TO) f=1461 TT=245.537 T1=74.03	SAT (TO) f=1461 TT=250.118 T1=73.56	? (TO) TT=1921.52	? (TO) TT=1866.43	? (TO) TT=260.266
Scheduling/ Scheduling-js-taillard/ Taillard-js-020-20-2.xml	SAT TO f=1603 TT=252.023 T1=122.15	? (TO) TT=241.864	? (TO) TT=1920.04	? (TO) TT=1997.18	? (TO) TT=1996.55	? (TO) TT=248.92	? (TO) TT=247.385	? (TO) TT=247.45	SAT (TO) f=1666 TT=258.13 T1=159.83	SAT (TO) f=1666 TT=256.751 T1=159.4	? (TO) TT=258.464	? (NS) TT=0.444	? (NS) TT=0.448	? (NS) TT=0.454	SAT (TO) f=1603 TT=252.023 T1=122.15	? (TO) TT=244.675	? (TO) TT=245.347	? (TO) TT=245.025	? (TO) TT=1921.12	? (TO) TT=1861.51	? (TO) TT=259.947
Scheduling/ Scheduling-js-taillard/ Taillard-js-020-20-3.xml	SAT TO f=1690 TT=251.917 T1=149.33	? (TO) TT=242.402	SAT (TO) f=1754 TT=1920.13 T1=26.77	SAT (TO) f=1754 TT=1996.45 T1=28.61	SAT (TO) f=1754 TT=1994.29 T1=27.14	? (TO) TT=246.485	? (TO) TT=246.673	? (TO) TT=248.04	? (TO) TT=262.56	? (TO) TT=259.299	? (TO) TT=258.398	? (NS) TT=0.457	? (NS) TT=0.448	? (NS) TT=0.456	SAT (TO) f=1690 TT=251.917 T1=149.33	? (TO) TT=243.339	? (TO) TT=246.207	? (TO) TT=244.681	? (TO) TT=1921.33	? (TO) TT=1853.35	? (TO) TT=258.006
Scheduling/ Scheduling-js-taillard/ Taillard-js-020-20-7.xml	SAT TO f=1640 TT=251.922 T1=188.07	? (TO) TT=242.042	? (TO) TT=1920.34	? (TO) TT=1998.98	? (TO) TT=1997.28	? (TO) TT=248.37	? (TO) TT=247.641	? (TO) TT=247.286	? (TO) TT=256.35	? (TO) TT=256.433	? (TO) TT=257.625	? (NS) TT=0.466	? (NS) TT=0.455	? (NS) TT=0.454	SAT (TO) f=1640 TT=251.922 T1=188.07	? (TO) TT=244.758	? (TO) TT=245.989	? (TO) TT=244.611	? (TO) TT=1920.82	? (TO) TT=1858.1	? (TO) TT=259.658
Scheduling/ Scheduling-js-taillard/ Taillard-js-020-20-8.xml	SAT TO f=1669 TT=251.899 T1=157.96	? (TO) TT=241.882	? (TO) TT=1920.17	? (TO) TT=1999.84	? (TO) TT=1998.24	? (TO) TT=246.54	? (TO) TT=247.466	? (TO) TT=246.964	? (TO) TT=255.34	? (TO) TT=255.264	? (TO) TT=258.082	? (NS) TT=0.454	? (NS) TT=0.466	? (NS) TT=0.446	SAT (TO) f=1669 TT=251.899 T1=157.96	? (TO) TT=244.689	? (TO) TT=244.812	? (TO) TT=246.212	? (TO) TT=1921.33	? (TO) TT=1861.03	? (TO) TT=260.314
Scheduling/ Scheduling-js-taillard/ Taillard-js-030-15-9.xml		? (TO) TT=242.262	? (TO) TT=1920.01	? (TO) TT=2005.47	? (TO) TT=2005.37	? (TO) TT=246.92	? (TO) TT=246.525	? (TO) TT=247.32	? (TO) TT=253.01	? (TO) TT=253.986	? (TO) TT=259.034	? (NS) TT=0.513	? (NS) TT=0.519	? (NS) TT=0.523	? (TO) TT=251.904	? (TO) TT=244.548	? (TO) TT=244.002	? (TO) TT=244.901	? (TO) TT=1754.84	? (TO) TT=1755.88	? (TO) TT=260.298
Scheduling/ Scheduling-js-taillard/ Taillard-js-030-20-6.xml		? (TO) TT=242.827	? (TO) TT=1920.57	? (TO) TT=2005.1	? (TO) TT=2004.55	? (TO) TT=247.05	? (TO) TT=245.156	? (TO) TT=246.639	? (TO) TT=255.52	? (TO) TT=254.437	? (TO) TT=261.542	? (NS) TT=0.697	? (NS) TT=0.683	? (NS) TT=0.689	? (TO) TT=252.026	? (TO) TT=245.093	? (TO) TT=245.329	? (TO) TT=245.165	? (TO) TT=1728.91	? (TO) TT=1726.72	? (TO) TT=253.559
Scheduling/ Scheduling-js-taillard/ Taillard-js-030-20-8.xml		? (TO) TT=242.803	? (TO) TT=1920.23	? (TO) TT=2005.39	? (TO) TT=2004.45	? (TO) TT=244.808	? (TO) TT=246.548	? (TO) TT=245.883	? (TO) TT=251.564	? (TO) TT=250.324	? (TO) TT=261.854	? (NS) TT=0.716	? (NS) TT=0.67	? (NS) TT=0.691	? (TO) TT=251.888	? (TO) TT=244.808	? (TO) TT=245.529	? (TO) TT=245.1	? (TO) TT=1703.83	? (TO) TT=1701.23	? (TO) TT=260.275
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	choco-solver 4.0.5 par (2017-07-26) (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-07-26) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.1 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	sat4j-CSP 2017-07-05 (complete)
Scheduling/ Scheduling-js-taillard/ Taillard-js-050-15-0.xml		? (TO) TT=242.665	? (TO) TT=1920.55	? (TO) TT=2005.56	? (TO) TT=2005.53	? (TO) TT=246.788	? (TO) TT=247.133	? (TO) TT=247.319	? (TO) TT=250.91	? (TO) TT=252.162	? (TO) TT=266.923	? (NS) TT=0.868	? (NS) TT=0.872	? (NS) TT=0.852	? (TO) TT=251.891	? (TO) TT=245.662	? (TO) TT=247.42	? (TO) TT=246.613	? (TO) TT=1367.1	? (TO) TT=1365.92	? (TO) TT=260.201
Scheduling/ Scheduling-js-taillard/ Taillard-js-050-20-7.xml		? (TO) TT=243.016	? (TO) TT=1920.73	? (TO) TT=2004.58	? (TO) TT=2004.99	? (TO) TT=244.588	? (TO) TT=245.1	? (TO) TT=245.22	? (TO) TT=250.44	? (TO) TT=249.907	? (TO) TT=268.023	? (NS) TT=1.159	? (NS) TT=1.155	? (NS) TT=1.161	? (TO) TT=252.015	? (TO) TT=245.237	? (TO) TT=246.897	? (TO) TT=246.319	? (TO) TT=1278.58	? (TO) TT=1281.3	? (TO) TT=255.187
Scheduling/ Scheduling-js-taillard/ Taillard-js-050-20-9.xml		? (TO) TT=242.996	? (TO) TT=1920.49	? (TO) TT=2005.1	? (TO) TT=2004.4	? (TO) TT=245.66	? (TO) TT=245.926	? (TO) TT=246.433	? (TO) TT=252.07	? (TO) TT=251.754	? (TO) TT=267.104	? (NS) TT=1.169	? (NS) TT=1.19	? (NS) TT=1.175	? (TO) TT=252.011	? (TO) TT=245.083	? (TO) TT=245.846	? (TO) TT=245.518	? (TO) TT=1240.69	? (TO) TT=1239.52	? (TO) TT=260.3
Scheduling/ Scheduling-os-taillard/ Taillard-os-04-04-3.xml	OPT f=250 TT=0.23 T1=0.13	OPT f=250 TT=5.782 T1=2.53	OPT f=250 TT=14.964 T1=1.83	OPT f=250 TT=11.529 T1=1.86	OPT f=250 TT=15.645 T1=2	OPT f=250 TT=6.445 T1=2.24	OPT f=250 TT=6.444 T1=2.25	OPT f=250 TT=6.759 T1=2.19	OPT f=250 TT=20.891 T1=6.63	OPT f=250 TT=16.935 T1=5.55	OPT f=250 TT=15.104 T1=6.31	? (NS) TT=0.024	? (NS) TT=0.023	? (NS) TT=0.023	OPT f=250 TT=0.23 T1=0.13	SAT (TO) f=250 TT=249.566 T1=11.51	OPT f=250 TT=3.101 T1=1.33	OPT f=250 TT=3.053 T1=1.28	OPT f=250 TT=10.1 T1=2.49	OPT f=250 TT=11.988 T1=9.57	? (TO) TT=261.794
Scheduling/ Scheduling-os-taillard/ Taillard-os-04-04-6.xml	OPT f=201 TT=0.454 T1=0.14	OPT f=201 TT=10.952 T1=3.31	OPT f=201 TT=10.784 T1=1.4	OPT f=201 TT=11.016 T1=1.26	OPT f=201 TT=8.409 T1=1.24	OPT f=201 TT=8.952 T1=1.74	OPT f=201 TT=9.2 T1=1.83	OPT f=201 TT=9.602 T1=1.79	OPT f=201 TT=22.183 T1=6.31	OPT f=201 TT=15.816 T1=4.95	OPT f=201 TT=19.457 T1=7.45	? (NS) TT=0.023	? (NS) TT=0.023	? (NS) TT=0.023	OPT f=201 TT=0.454 T1=0.14	SAT (TO) f=201 TT=250.337 T1=6.87	OPT f=201 TT=3.121 T1=1.21	OPT f=201 TT=3.075 T1=1.21	OPT f=201 TT=9.981 T1=2.39	OPT f=201 TT=9.12 T1=7.5	SAT (TO) f=296 TT=255.56 T1=240.21
Scheduling/ Scheduling-os-taillard/ Taillard-os-04-04-8.xml	OPT f=261 TT=0.204 T1=0.24	OPT f=261 TT=6.043 T1=3.1	OPT f=261 TT=17.161 T1=1.57	OPT f=261 TT=16.358 T1=1.35	OPT f=261 TT=18.238 T1=1.32	OPT f=261 TT=6.822 T1=1.69	OPT f=261 TT=7.073 T1=1.76	OPT f=261 TT=6.449 T1=1.52	OPT f=261 TT=17.578 T1=4.89	OPT f=261 TT=17.642 T1=4.54	OPT f=261 TT=16.61 T1=5.94	? (NS) TT=0.023	? (NS) TT=0.024	? (NS) TT=0.023	OPT f=261 TT=0.204 T1=0.24	SAT (TO) f=261 TT=250.103 T1=8.7	OPT f=261 TT=2.555 T1=1.19	OPT f=261 TT=2.749 T1=1.26	OPT f=261 TT=12.135 T1=2.82	OPT f=261 TT=10.829 T1=9.21	? (TO) TT=263.77
Scheduling/ Scheduling-os-taillard/ Taillard-os-05-05-9.xml	OPT f=326 TT=71.386 T1=5.27	SAT (TO) f=326 TT=242.565 T1=107.58	OPT f=326 TT=405.977 T1=11.08	OPT f=326 TT=304.872 T1=8.62	OPT f=326 TT=462.414 T1=6.22	OPT f=326 TT=200.23 T1=22.26	OPT f=326 TT=202.024 T1=22.54	OPT f=326 TT=201.097 T1=22.59	SAT (TO) f=326 TT=258.051 T1=204.16	SAT (TO) f=326 TT=259.02 T1=208.46	SAT (TO) f=326 TT=252.708 T1=30.45	? (NS) TT=0.034	? (NS) TT=0.034	? (NS) TT=0.034	SAT (TO) f=326 TT=251.857 T1=4.7	SAT (TO) f=328 TT=248.792 T1=88.69	OPT f=326 TT=225.673 T1=13.49	SAT (TO) f=328 TT=249.885 T1=41.5	OPT f=326 TT=71.386 T1=5.27	OPT f=326 TT=78.052 T1=36.1	? (TO) TT=252.134
Scheduling/ Scheduling-os-taillard/ Taillard-os-07-07-5.xml	SAT TO f=460 TT=248.889 T1=137.6	? (TO) TT=242.945	SAT (TO) f=462 TT=1741.68 T1=237.76	SAT (TO) f=468 TT=1840.86 T1=201.3	SAT (TO) f=465 TT=1849.04 T1=185.44	SAT (TO) f=460 TT=249.26 T1=137.76	SAT (TO) f=460 TT=248.975 T1=137.6	SAT (TO) f=460 TT=248.889 T1=138.23	SAT (TO) f=488 TT=262.22 T1=212.53	SAT (TO) f=488 TT=260.572 T1=205.39	SAT (TO) f=477 TT=255.737 T1=21.02	? (NS) TT=0.062	? (NS) TT=0.062	? (NS) TT=0.063	SAT (TO) f=461 TT=251.894 T1=111.9	SAT (TO) f=470 TT=250.063 T1=232.1	SAT (TO) f=491 TT=244.353 T1=78.95	SAT (TO) f=469 TT=250.513 T1=133.28	SAT (TO) f=462 TT=1920.64 T1=204.04	SAT (TO) f=462 TT=1985.83 T1=596.71	? (TO) TT=260.248
Scheduling/ Scheduling-os-taillard/ Taillard-os-07-07-6.xml	SAT TO f=436 TT=251.933 T1=70.11	? (TO) TT=243.02	SAT (TO) f=440 TT=1920.38 T1=113.1	SAT (TO) f=436 TT=1921.05 T1=133.21	SAT (TO) f=438 TT=1928.91 T1=100.3	SAT (TO) f=443 TT=248.67 T1=154.69	SAT (TO) f=443 TT=248.251 T1=157.05	SAT (TO) f=443 TT=249.714 T1=158.11	SAT (TO) f=520 TT=260.57 T1=176.93	SAT (TO) f=520 TT=263.023 T1=176.93	SAT (TO) f=437 TT=253.921 T1=17.01	? (NS) TT=0.063	? (NS) TT=0.063	? (NS) TT=0.061	SAT (TO) f=436 TT=251.933 T1=70.11	SAT (TO) f=444 TT=249.858 T1=208.43	SAT (TO) f=455 TT=244.587 T1=16.38	SAT (TO) f=450 TT=250.517 T1=166.22	SAT (TO) f=441 TT=1921.04 T1=216.78	SAT (TO) f=445 TT=1987.65 T1=778.21	? (TO) TT=260.25
Scheduling/ Scheduling-os-taillard/ Taillard-os-07-07-8.xml	OPT f=458 TT=140.115 T1=140.2	? (TO) TT=243.057	OPT f=458 TT=1292.48 T1=176.95	OPT f=458 TT=1388.32 T1=186.13	SAT (TO) f=461 TT=1891.59 T1=142.64	SAT (TO) f=461 TT=248.65 T1=154.48	SAT (TO) f=461 TT=247.738 T1=145.48	SAT (TO) f=461 TT=249.334 T1=153.86	SAT (TO) f=469 TT=252.115 T1=204.74	SAT (TO) f=469 TT=260.693 T1=199.78	SAT (TO) f=467 TT=255.85 T1=12.5	? (NS) TT=0.068	? (NS) TT=0.068	? (NS) TT=0.063	OPT f=458 TT=140.115 T1=140.2	SAT (TO) f=469 TT=249.802 T1=192.08	SAT (TO) f=467 TT=245.667 T1=119.56	SAT (TO) f=463 TT=252.125 T1=162.63	OPT f=458 TT=1318.21 T1=167.8	SAT (TO) f=464 TT=1989.14 T1=1357.07	? (TO) TT=260.198
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	choco-solver 4.0.5 par (2017-07-26) (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-07-26) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.1 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	sat4j-CSP 2017-07-05 (complete)
Scheduling/ Scheduling-os-taillard/ Taillard-os-07-07-9.xml	SAT TO f=404 TT=254.003 T1=60.28	? (TO) TT=243.02	SAT (TO) f=413 TT=1927.23 T1=161.61	SAT (TO) f=407 TT=1883.65 T1=129.05	SAT (TO) f=411 TT=1931.95 T1=81.31	SAT (TO) f=412 TT=249.4 T1=232.87	SAT (TO) f=412 TT=249.17 T1=230.05	SAT (TO) f=412 TT=248.291 T1=232.55	SAT (TO) f=423 TT=252.082 T1=211.37	SAT (TO) f=423 TT=260.768 T1=216.18	SAT (TO) f=404 TT=254.003 T1=60.28	? (NS) TT=0.062	? (NS) TT=0.061	? (NS) TT=0.061	SAT (TO) f=417 TT=251.834 T1=4.6	SAT (TO) f=415 TT=250.964 T1=233.97	SAT (TO) f=436 TT=245.46 T1=7.96	SAT (TO) f=415 TT=251.956 T1=232.97	SAT (TO) f=412 TT=1921.23 T1=153.14	SAT (TO) f=410 TT=1991.33 T1=1681.93	? (TO) TT=260.303
Scheduling/ Scheduling-os-taillard/ Taillard-os-10-10-0.xml	SAT TO f=716 TT=252.465 T1=96.94	? (TO) TT=243.405	SAT (TO) f=740 TT=1920.15 T1=244.71	SAT (TO) f=743 TT=1868.15 T1=247.34	SAT (TO) f=740 TT=1936.68 T1=248.94	? (TO) TT=250.17	? (TO) TT=248.805	? (TO) TT=249.182	? (TO) TT=252.132	? (TO) TT=260.64	? (TO) TT=254.973	? (NS) TT=0.122	? (NS) TT=0.123	? (NS) TT=0.121	? (TO) TT=251.896	SAT (TO) f=716 TT=252.465 T1=96.94	SAT (TO) f=736 TT=246.347 T1=109.83	SAT (TO) f=743 TT=252.977 T1=95.62	SAT (TO) f=734 TT=1921.18 T1=93.02	SAT (TO) f=725 TT=1972.77 T1=1025.75	? (TO) TT=256.77
Scheduling/ Scheduling-os-taillard/ Taillard-os-10-10-1.xml	SAT TO f=620 TT=251.359 T1=202.75	? (TO) TT=243.817	SAT (TO) f=664 TT=1641.36 T1=228.19	SAT (TO) f=649 TT=1532.24 T1=243.28	SAT (TO) f=652 TT=1549.08 T1=249.04	? (TO) TT=249.64	? (TO) TT=250.65	? (TO) TT=248.118	? (TO) TT=252.054	? (TO) TT=264.033	SAT (TO) f=662 TT=257.8 T1=239.93	? (NS) TT=0.136	? (NS) TT=0.126	? (NS) TT=0.126	SAT (TO) f=632 TT=251.89 T1=179.51	SAT (TO) f=620 TT=251.359 T1=202.75	SAT (TO) f=640 TT=246.25 T1=166.42	SAT (TO) f=656 TT=252.113 T1=210.58	SAT (TO) f=625 TT=1920.9 T1=170.62	SAT (TO) f=631 TT=1974.92 T1=322.41	? (TO) TT=259.931
Scheduling/ Scheduling-os-taillard/ Taillard-os-10-10-2.xml	SAT TO f=625 TT=251.876 T1=193.14	? (TO) TT=243.995	SAT (TO) f=663 TT=1920.11 T1=254.34	SAT (TO) f=675 TT=1600.3 T1=251.87	SAT (TO) f=666 TT=1881.69 T1=241.55	? (TO) TT=249.98	? (TO) TT=247.942	? (TO) TT=247.936	? (TO) TT=262.66	? (TO) TT=263.944	? (TO) TT=254.729	? (NS) TT=0.122	? (NS) TT=0.127	? (NS) TT=0.121	SAT (TO) f=625 TT=251.876 T1=193.14	? (TO) TT=245.894	? (TO) TT=246.51	? (TO) TT=247.822	SAT (TO) f=640 TT=1921.18 T1=222.74	SAT (TO) f=638 TT=1967.1 T1=467.59	? (TO) TT=260.277
Scheduling/ Scheduling-os-taillard/ Taillard-os-10-10-6.xml	SAT TO f=681 TT=1577.75 T1=246.9	? (TO) TT=244.091	SAT (TO) f=687 TT=1744.9 T1=247.35	SAT (TO) f=681 TT=1577.75 T1=246.9	SAT (TO) f=702 TT=1872.26 T1=239.81	SAT (TO) f=718 TT=248.27 T1=206.95	SAT (TO) f=718 TT=247.437 T1=173.21	SAT (TO) f=718 TT=248.697 T1=211.47	? (TO) TT=252.04	? (TO) TT=260.189	? (TO) TT=255.469	? (NS) TT=0.154	? (NS) TT=0.124	? (NS) TT=0.121	? (TO) TT=251.876	? (TO) TT=245.864	SAT (TO) f=703 TT=247.058 T1=109.63	SAT (TO) f=696 TT=251.252 T1=202.73	SAT (TO) f=688 TT=1920.77 T1=240.87	SAT (TO) f=692 TT=1973.82 T1=1700.98	? (TO) TT=259.87
Scheduling/ Scheduling-os-taillard/ Taillard-os-10-10-9.xml	SAT TO f=648 TT=1726.14 T1=251.73	? (TO) TT=243.727	SAT (TO) f=666 TT=1682.21 T1=244.13	SAT (TO) f=663 TT=1604.95 T1=251.42	SAT (TO) f=648 TT=1726.14 T1=251.73	? (TO) TT=249.83	? (TO) TT=247.112	? (TO) TT=249.16	? (TO) TT=263.98	? (TO) TT=261.317	? (TO) TT=254.055	? (NS) TT=0.123	? (NS) TT=0.124	? (NS) TT=0.119	? (TO) TT=251.918	SAT (TO) f=665 TT=250.378 T1=182.18	SAT (TO) f=676 TT=244.645 T1=120.58	SAT (TO) f=660 TT=252.422 T1=191.87	SAT (TO) f=653 TT=1920.98 T1=188.85	SAT (TO) f=649 TT=1974.97 T1=1467.07	? (TO) TT=260.038
Scheduling/ Scheduling-os-taillard/ Taillard-os-15-15-2.xml		? (TO) TT=245.659	? (TO) TT=1920.29	? (TO) TT=2004.05	? (TO) TT=2001.08	? (TO) TT=253.83	? (TO) TT=250.806	? (TO) TT=251.727	? (TO) TT=252.12	? (TO) TT=264.121	? (TO) TT=260.076	? (NS) TT=0.275	? (NS) TT=0.273	? (NS) TT=0.281	? (TO) TT=251.89	? (TO) TT=247.081	? (TO) TT=246.088	? (TO) TT=246.709	? (TO) TT=1920.91	? (TO) TT=1912	? (TO) TT=260.308
Scheduling/ Scheduling-os-taillard/ Taillard-os-15-15-8.xml		? (TO) TT=244.305	? (TO) TT=1920.22	? (TO) TT=2003.33	? (TO) TT=2004.22	? (TO) TT=251.482	? (TO) TT=253.22	? (TO) TT=252.673	? (TO) TT=260.84	? (TO) TT=261.802	? (TO) TT=260.374	? (NS) TT=0.302	? (NS) TT=0.274	? (NS) TT=0.283	? (TO) TT=251.921	? (TO) TT=246.637	? (TO) TT=245.725	? (TO) TT=246.118	? (TO) TT=1921.22	? (TO) TT=1910.12	? (TO) TT=260.276
Scheduling/ Scheduling-os-taillard/ Taillard-os-20-20-8.xml		? (TO) TT=245.149	? (TO) TT=1920.6	? (TO) TT=2004.76	? (TO) TT=2000.71	? (TO) TT=249.577	? (TO) TT=250.15	? (TO) TT=248.928	? (TO) TT=255.43	? (TO) TT=258.359	? (TO) TT=265.36	? (NS) TT=0.499	? (NS) TT=0.557	? (NS) TT=0.493	? (TO) TT=251.917	? (TO) TT=246.926	? (TO) TT=246.701	? (TO) TT=247.479	? (TO) TT=1687.8	? (TO) TT=1741.58	? (TO) TT=260.243
Scheduling/ Scheduling-os-taillard/ Taillard-os-20-20-9.xml		? (TO) TT=245.277	? (TO) TT=1920.17	? (TO) TT=2005.29	? (TO) TT=1999.32	? (TO) TT=249.81	? (TO) TT=251.112	? (TO) TT=249.762	? (TO) TT=259.3	? (TO) TT=254.251	? (TO) TT=264.945	? (NS) TT=0.488	? (NS) TT=0.48	? (NS) TT=0.488	? (TO) TT=251.912	? (TO) TT=246.393	? (TO) TT=247.087	? (TO) TT=247.38	? (TO) TT=1749.77	? (TO) TT=1745.6	? (TO) TT=259.926
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	choco-solver 4.0.5 par (2017-07-26) (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-07-26) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.1 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	sat4j-CSP 2017-07-05 (complete)
StillLife/ StillLife-m1-s1/ StillLife-03-05.xml	OPT f=8 TT=0.007 T1=0	OPT f=8 TT=1.255 T1=0.72	OPT f=8 TT=1.582 T1=0.71	OPT f=8 TT=1.522 T1=0.58	OPT f=8 TT=1.59 T1=0.58	OPT f=8 TT=1.022 T1=0.58	OPT f=8 TT=1.017 T1=0.61	OPT f=8 TT=0.999 T1=0.46	OPT f=8 TT=1.302 T1=0.63	OPT f=8 TT=1.287 T1=0.49	OPT f=8 TT=6.835 T1=3.64	OPT f=8 TT=0.009 T1=0.06	OPT f=8 TT=0.007 T1=0.07	OPT f=8 TT=0.009 T1=0	OPT f=8 TT=0.01 T1=0.06	SAT (TO) f=8 TT=247.833 T1=1.08	OPT f=8 TT=1.267 T1=0.84	OPT f=8 TT=1.275 T1=0.89	OPT f=8 TT=2.843 T1=1.35	OPT f=8 TT=2.974 T1=2.69	OPT f=8 TT=1.08 T1=0.56
StillLife/ StillLife-m1-s1/ StillLife-03-06.xml	OPT f=10 TT=0.014 T1=0.07	OPT f=10 TT=1.334 T1=0.76	OPT f=10 TT=1.658 T1=0.72	OPT f=10 TT=1.788 T1=0.61	OPT f=10 TT=1.673 T1=0.59	OPT f=10 TT=1.069 T1=0.61	OPT f=10 TT=1.092 T1=0.65	OPT f=10 TT=1.062 T1=0.48	OPT f=10 TT=1.547 T1=0.67	OPT f=10 TT=1.545 T1=0.93	OPT f=10 TT=8.135 T1=3.8	OPT f=10 TT=0.013 T1=0.08	OPT f=10 TT=0.014 T1=0.12	OPT f=10 TT=0.014 T1=0.1	OPT f=10 TT=0.015 T1=0.07	SAT (TO) f=10 TT=247.557 T1=1.65	OPT f=10 TT=1.364 T1=0.88	OPT f=10 TT=1.362 T1=0.88	OPT f=10 TT=3.76 T1=1.46	OPT f=10 TT=3.387 T1=3.09	OPT f=10 TT=1.072 T1=0.57
StillLife/ StillLife-m1-s1/ StillLife-03-10.xml	OPT f=16 TT=0.259 T1=0.12	OPT f=16 TT=4.094 T1=1.36	OPT f=16 TT=3.699 T1=0.84	OPT f=16 TT=4.229 T1=0.69	OPT f=16 TT=4.389 T1=0.69	OPT f=16 TT=1.84 T1=0.82	OPT f=16 TT=1.868 T1=0.78	OPT f=16 TT=1.839 T1=0.65	OPT f=16 TT=5.874 T1=0.95	OPT f=16 TT=5.841 T1=0.84	OPT f=16 TT=11.522 T1=4.23	OPT f=16 TT=0.289 T1=0.16	OPT f=16 TT=0.287 T1=0.13	OPT f=16 TT=0.369 T1=0.22	OPT f=16 TT=0.259 T1=0.12	SAT (TO) f=16 TT=248.189 T1=2.79	OPT f=16 TT=2.839 T1=1.15	OPT f=16 TT=2.756 T1=1.16	OPT f=16 TT=8.254 T1=2.42	OPT f=16 TT=8.358 T1=6.88	OPT f=16 TT=1.555 T1=0.73
StillLife/ StillLife-m1-s1/ StillLife-03-11.xml	OPT f=18 TT=0.408 T1=0.08	OPT f=18 TT=4.509 T1=1.99	OPT f=18 TT=5.455 T1=1.03	OPT f=18 TT=4.398 T1=0.79	OPT f=18 TT=5.043 T1=0.8	OPT f=18 TT=2.528 T1=0.92	OPT f=18 TT=2.458 T1=0.87	OPT f=18 TT=2.512 T1=0.77	OPT f=18 TT=8.188 T1=1.63	OPT f=18 TT=8.391 T1=1.67	OPT f=18 TT=13.833 T1=6.05	OPT f=18 TT=0.996 T1=0.98	OPT f=18 TT=0.991 T1=0.94	OPT f=18 TT=0.408 T1=0.39	OPT f=18 TT=0.774 T1=0.08	SAT (TO) f=18 TT=247.951 T1=5.99	OPT f=18 TT=3.839 T1=1.71	OPT f=18 TT=190.976 T1=9.81	OPT f=18 TT=8.743 T1=2.61	OPT f=18 TT=8.559 T1=7.75	OPT f=18 TT=2.071 T1=0.87
StillLife/ StillLife-m1-s1/ StillLife-04-05.xml	OPT f=12 TT=0.013 T1=0.01	OPT f=12 TT=1.448 T1=0.76	OPT f=12 TT=1.772 T1=0.73	OPT f=12 TT=1.794 T1=0.63	OPT f=12 TT=1.899 T1=0.63	OPT f=12 TT=1.121 T1=0.59	OPT f=12 TT=1.072 T1=0.63	OPT f=12 TT=1.089 T1=0.49	OPT f=12 TT=1.641 T1=0.64	OPT f=12 TT=1.647 T1=0.54	OPT f=12 TT=8.159 T1=3.88	OPT f=12 TT=0.013 T1=0.07	OPT f=12 TT=0.013 T1=0.07	OPT f=12 TT=0.019 T1=0.01	OPT f=12 TT=0.013 T1=0.08	SAT (TO) f=12 TT=247.391 T1=1.79	OPT f=12 TT=1.522 T1=0.93	OPT f=12 TT=1.558 T1=1.3	OPT f=12 TT=4.393 T1=2.02	OPT f=12 TT=4.56 T1=3.8	OPT f=12 TT=1.107 T1=0.58
StillLife/ StillLife-m1-s1/ StillLife-05-06.xml	OPT f=16 TT=0.188 T1=0.02	OPT f=16 TT=4.644 T1=1.66	OPT f=16 TT=3.48 T1=0.75	OPT f=16 TT=2.986 T1=0.64	OPT f=16 TT=3.01 T1=0.64	OPT f=16 TT=1.911 T1=0.6	OPT f=16 TT=1.908 T1=0.65	OPT f=16 TT=1.89 T1=0.49	OPT f=16 TT=5.66 T1=0.7	OPT f=16 TT=5.991 T1=0.53	OPT f=16 TT=12.38 T1=3.94	OPT f=16 TT=0.365 T1=0.09	OPT f=16 TT=0.365 T1=0.06	OPT f=16 TT=0.188 T1=0.02	OPT f=16 TT=0.456 T1=0.12	SAT (TO) f=16 TT=248.139 T1=1.18	OPT f=16 TT=3.279 T1=1.33	OPT f=16 TT=3.239 T1=1.33	OPT f=16 TT=6.924 T1=2.19	OPT f=16 TT=6.983 T1=6.31	OPT f=16 TT=2.04 T1=0.74
StillLife/ StillLife-m1-s1/ StillLife-06-13.xml	SAT TO f=40 TT=242.075 T1=0.29	SAT (TO) f=35 TT=242.834 T1=105.8	SAT (TO) f=40 TT=1920.75 T1=1.2	SAT (TO) f=40 TT=1994.18 T1=1.01	SAT (TO) f=40 TT=1994.38 T1=1.13	SAT (TO) f=40 TT=243.34 T1=13.39	SAT (TO) f=40 TT=243.016 T1=13.49	SAT (TO) f=40 TT=243.757 T1=13.31	SAT (TO) f=40 TT=254.06 T1=79.28	SAT (TO) f=40 TT=252.986 T1=78.96	SAT (TO) f=40 TT=260.352 T1=19.61	SAT (TO) f=39 TT=252.043 T1=80.02	SAT (TO) f=39 TT=251.932 T1=79.58	SAT (TO) f=38 TT=240.023 T1=7.29	SAT (TO) f=40 TT=251.935 T1=0.29	SAT (TO) f=40 TT=248.442 T1=17.37	SAT (TO) f=31 TT=243.114 T1=212.87	SAT (TO) f=40 TT=247.73 T1=31.7	SAT (TO) f=36 TT=1921.16 T1=113.49	SAT (TO) f=38 TT=1979.97 T1=1764.22	SAT (TO) f=40 TT=242.075 T1=7.13
StillLife/ StillLife-m1-s1/ StillLife-08-10.xml	SAT TO f=44 TT=242.292 T1=1.65	SAT (TO) f=36 TT=244.525 T1=226.12	SAT (TO) f=44 TT=1920.51 T1=1.61	SAT (TO) f=44 TT=1991.96 T1=1.77	SAT (TO) f=44 TT=1992.36 T1=1.65	SAT (TO) f=43 TT=243.47 T1=145.45	SAT (TO) f=43 TT=243.926 T1=153.31	SAT (TO) f=43 TT=243.197 T1=147.59	SAT (TO) f=40 TT=253.78 T1=18.07	SAT (TO) f=40 TT=254.85 T1=17.94	SAT (TO) f=41 TT=259.934 T1=156.44	SAT (TO) f=43 TT=252.043 T1=20.95	SAT (TO) f=43 TT=251.88 T1=21.21	SAT (TO) f=42 TT=251.894 T1=73.15	SAT (TO) f=44 TT=251.82 T1=6.94	SAT (TO) f=44 TT=248.13 T1=5.37	SAT (TO) f=30 TT=243.053 T1=55.02	SAT (TO) f=44 TT=248.52 T1=57.95	SAT (TO) f=36 TT=1920.96 T1=30.51	SAT (TO) f=38 TT=1977.96 T1=1454.8	SAT (TO) f=44 TT=242.292 T1=45.25
StillLife/ StillLife-m1-s1/ StillLife-08-13.xml	SAT TO f=56 TT=247.93 T1=7.31	SAT (TO) f=40 TT=243.472 T1=166.02	SAT (TO) f=56 TT=1920.62 T1=7.08	SAT (TO) f=56 TT=1993.03 T1=7.71	SAT (TO) f=56 TT=1994.9 T1=7.31	SAT (TO) f=53 TT=244.35 T1=55.66	SAT (TO) f=53 TT=244.055 T1=53.43	SAT (TO) f=53 TT=244.571 T1=55.7	SAT (TO) f=54 TT=252.71 T1=143.27	SAT (TO) f=54 TT=254.052 T1=139.07	SAT (TO) f=54 TT=258.485 T1=146.37	SAT (TO) f=51 TT=252.044 T1=220.66	SAT (TO) f=51 TT=251.924 T1=220.08	SAT (TO) f=54 TT=251.909 T1=30.12	SAT (TO) f=56 TT=251.786 T1=10.06	SAT (TO) f=56 TT=247.93 T1=101.02	SAT (TO) f=34 TT=243.154 T1=181.92	SAT (TO) f=53 TT=248.976 T1=40.43	SAT (TO) f=41 TT=1921.12 T1=135.76	SAT (TO) f=41 TT=1978.22 T1=1391.42	SAT (TO) f=51 TT=242.486 T1=16.3
StillLife/ StillLife-m1-s1/ StillLife-09-12.xml	SAT TO f=57 TT=247.861 T1=1.98	SAT (TO) f=40 TT=243.204 T1=196.32	SAT (TO) f=57 TT=1920.58 T1=2.29	SAT (TO) f=57 TT=1996.39 T1=1.98	SAT (TO) f=57 TT=1993.52 T1=2.26	SAT (TO) f=54 TT=244.178 T1=63.49	SAT (TO) f=54 TT=243.769 T1=62.17	SAT (TO) f=54 TT=244.331 T1=61.83	SAT (TO) f=54 TT=253.37 T1=158.86	SAT (TO) f=54 TT=254.185 T1=160.58	SAT (TO) f=55 TT=257.956 T1=46.12	SAT (TO) f=51 TT=252.045 T1=154.53	SAT (TO) f=51 TT=251.948 T1=154.78	SAT (TO) f=51 TT=240.025 T1=187.5	SAT (TO) f=56 TT=251.828 T1=1.02	SAT (TO) f=57 TT=247.861 T1=26.62	SAT (TO) f=32 TT=243.308 T1=104.31	SAT (TO) f=56 TT=248.499 T1=37.13	SAT (TO) f=44 TT=1920.56 T1=211.15	SAT (TO) f=43 TT=1980.98 T1=1495.67	SAT (TO) f=55 TT=242.375 T1=89.96
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	choco-solver 4.0.5 par (2017-07-26) (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-07-26) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.1 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	sat4j-CSP 2017-07-05 (complete)
StillLife/ StillLife-m1-s1/ StillLife-10-11.xml	SAT TO f=59 TT=247.516 T1=2.08	SAT (TO) f=38 TT=244.59 T1=223.79	SAT (TO) f=59 TT=1920.49 T1=2.59	SAT (TO) f=59 TT=1991.31 T1=2.08	SAT (TO) f=59 TT=1993.05 T1=2.18	SAT (TO) f=54 TT=243.529 T1=16.87	SAT (TO) f=54 TT=243.681 T1=16.54	SAT (TO) f=54 TT=243.972 T1=16.68	SAT (TO) f=56 TT=254.76 T1=68.29	SAT (TO) f=56 TT=253.952 T1=69.25	SAT (TO) f=57 TT=258.704 T1=48.07	SAT (TO) f=57 TT=252.043 T1=93.46	SAT (TO) f=57 TT=251.957 T1=93.22	SAT (TO) f=55 TT=240.025 T1=16.26	SAT (TO) f=59 TT=251.964 T1=50.01	SAT (TO) f=59 TT=247.516 T1=48.11	SAT (TO) f=32 TT=243.116 T1=231.42	SAT (TO) f=56 TT=248.215 T1=185.5	SAT (TO) f=40 TT=1920.88 T1=230.65	SAT (TO) f=40 TT=1977.29 T1=1047.38	SAT (TO) f=55 TT=242.223 T1=53.38
StillLife/ StillLife-m1-s1/ StillLife-10-12.xml	SAT TO f=64 TT=248.037 T1=106.64	SAT (TO) f=41 TT=243.212 T1=165.67	SAT (TO) f=63 TT=1920.07 T1=44.82	SAT (TO) f=63 TT=1994.62 T1=45.74	SAT (TO) f=63 TT=1994.35 T1=44.69	SAT (TO) f=59 TT=243.69 T1=10.26	SAT (TO) f=59 TT=243.76 T1=10.11	SAT (TO) f=59 TT=243.429 T1=10.22	SAT (TO) f=58 TT=252.62 T1=105.99	SAT (TO) f=58 TT=254.089 T1=102.54	SAT (TO) f=58 TT=258.132 T1=130.05	SAT (TO) f=59 TT=252.01 T1=231.45	SAT (TO) f=59 TT=251.914 T1=233.52	SAT (TO) f=55 TT=240.023 T1=40.08	SAT (TO) f=63 TT=251.929 T1=30.27	SAT (TO) f=63 TT=248.543 T1=230.57	SAT (TO) f=32 TT=242.962 T1=155.68	SAT (TO) f=64 TT=248.037 T1=106.64	SAT (TO) f=45 TT=1921.11 T1=112.16	SAT (TO) f=45 TT=1979.18 T1=833.57	SAT (TO) f=57 TT=243.275 T1=95.01
StillLife/ StillLife-m1-s1/ StillLife-10-14.xml	SAT TO f=74 TT=1992.88 T1=29.76	SAT (TO) f=39 TT=243.157 T1=228.08	SAT (TO) f=74 TT=1920.02 T1=29.58	SAT (TO) f=74 TT=1992.88 T1=33.49	SAT (TO) f=74 TT=1993.28 T1=29.76	SAT (TO) f=69 TT=243.86 T1=14.19	SAT (TO) f=69 TT=244.112 T1=14.03	SAT (TO) f=69 TT=244.183 T1=13.94	SAT (TO) f=67 TT=255.85 T1=154.97	SAT (TO) f=67 TT=255.225 T1=154.83	SAT (TO) f=71 TT=257.329 T1=229.76	SAT (TO) f=64 TT=252.005 T1=179.94	SAT (TO) f=64 TT=251.91 T1=179.82	SAT (TO) f=61 TT=240.023 T1=211.56	SAT (TO) f=69 TT=251.957 T1=36.73	SAT (TO) f=73 TT=248.167 T1=63.24	SAT (TO) f=31 TT=243.422 T1=204.47	SAT (TO) f=72 TT=248.498 T1=73.18	SAT (TO) f=48 TT=1921.2 T1=242.89	SAT (TO) f=48 TT=1978.24 T1=1429.77	SAT (TO) f=55 TT=243.196 T1=1.42
StillLife/ StillLife-m1-s1/ StillLife-11-12.xml	SAT TO f=70 TT=251.945 T1=124.48	SAT (TO) f=39 TT=244.405 T1=230.81	SAT (TO) f=69 TT=1920.47 T1=134.72	SAT (TO) f=67 TT=1993.12 T1=5.88	SAT (TO) f=69 TT=1994.68 T1=139.85	SAT (TO) f=66 TT=243.84 T1=144.67	SAT (TO) f=66 TT=244.309 T1=144.01	SAT (TO) f=66 TT=243.741 T1=136.7	SAT (TO) f=63 TT=254.79 T1=13.21	SAT (TO) f=63 TT=252.868 T1=12.97	SAT (TO) f=67 TT=257.793 T1=194.51	SAT (TO) f=56 TT=252.013 T1=116.66	SAT (TO) f=56 TT=251.944 T1=116.3	SAT (TO) f=59 TT=251.868 T1=122.53	SAT (TO) f=70 TT=251.945 T1=124.48	SAT (TO) f=68 TT=248.263 T1=92.54	SAT (TO) f=32 TT=243.296 T1=158.21	SAT (TO) f=67 TT=248.788 T1=70.33	SAT (TO) f=47 TT=1920.67 T1=55.97	SAT (TO) f=47 TT=1978.53 T1=436.63	SAT (TO) f=64 TT=243.542 T1=50.25
StillLife/ StillLife-m1-s1/ StillLife-11-14.xml	SAT TO f=80 TT=248.943 T1=121.92	SAT (TO) f=43 TT=242.884 T1=192.23	SAT (TO) f=79 TT=1920.69 T1=151.45	SAT (TO) f=79 TT=1996.51 T1=146.01	SAT (TO) f=79 TT=1991.77 T1=152.68	SAT (TO) f=74 TT=244.06 T1=3.88	SAT (TO) f=74 TT=244.258 T1=3.88	SAT (TO) f=74 TT=244.329 T1=3.61	SAT (TO) f=74 TT=255.56 T1=18.3	SAT (TO) f=74 TT=255.809 T1=18.04	SAT (TO) f=75 TT=257.244 T1=53.75	SAT (TO) f=60 TT=252.044 T1=221.12	SAT (TO) f=61 TT=251.921 T1=248.8	SAT (TO) f=78 TT=240.023 T1=192.4	SAT (TO) f=80 TT=251.9 T1=225.94	SAT (TO) f=78 TT=248.094 T1=185.02	SAT (TO) f=30 TT=243.129 T1=178.27	SAT (TO) f=80 TT=248.943 T1=121.92	SAT (TO) f=48 TT=1920.72 T1=225.98	SAT (TO) f=47 TT=1977.27 T1=1425.17	SAT (TO) f=73 TT=243.459 T1=159.89
StillLife/ StillLife-m1-s1/ StillLife-11-15.xml	SAT TO f=86 TT=251.97 T1=31.93	SAT (TO) f=41 TT=243.076 T1=181.51	SAT (TO) f=83 TT=1920.37 T1=39.54	SAT (TO) f=83 TT=1993.83 T1=37.58	SAT (TO) f=83 TT=1992.54 T1=36.5	SAT (TO) f=80 TT=243.75 T1=5.65	SAT (TO) f=80 TT=243.29 T1=5.7	SAT (TO) f=80 TT=243.82 T1=5.62	SAT (TO) f=78 TT=253.489 T1=6.07	SAT (TO) f=78 TT=254.38 T1=6.13	SAT (TO) f=82 TT=256.987 T1=143.18	SAT (TO) f=58 TT=252.045 T1=170.66	SAT (TO) f=58 TT=251.937 T1=175.14	SAT (TO) f=52 TT=251.865 T1=54.35	SAT (TO) f=86 TT=251.97 T1=31.93	SAT (TO) f=83 TT=248.275 T1=200.92	SAT (TO) f=30 TT=243.644 T1=234.67	SAT (TO) f=82 TT=249.763 T1=178.85	SAT (TO) f=50 TT=1920.96 T1=98.96	SAT (TO) f=52 TT=1975.23 T1=1922.39	SAT (TO) f=64 TT=243.485 T1=1.71
StillLife/ StillLife-m1-s1/ StillLife-12-12.xml	SAT TO f=76 TT=249.001 T1=30.99	SAT (TO) f=42 TT=243.985 T1=151.92	SAT (TO) f=73 TT=1920.02 T1=15.07	SAT (TO) f=73 TT=1995.92 T1=22.95	SAT (TO) f=74 TT=1992.21 T1=19.74	SAT (TO) f=70 TT=243.84 T1=95.43	SAT (TO) f=70 TT=243.305 T1=94.82	SAT (TO) f=70 TT=243.572 T1=93.15	SAT (TO) f=69 TT=255.3 T1=49.67	SAT (TO) f=69 TT=255.028 T1=48.62	SAT (TO) f=74 TT=257.467 T1=42.81	SAT (TO) f=50 TT=252.042 T1=241.76	SAT (TO) f=50 TT=251.907 T1=243.57	SAT (TO) f=58 TT=240.024 T1=207.85	SAT (TO) f=76 TT=251.846 T1=111.54	SAT (TO) f=76 TT=249.001 T1=30.99	SAT (TO) f=32 TT=243.246 T1=184.97	SAT (TO) f=76 TT=249.66 T1=76.67	SAT (TO) f=47 TT=1920.97 T1=171.91	SAT (TO) f=48 TT=1979.2 T1=1974.4	SAT (TO) f=64 TT=243.111 T1=10.16
StillLife/ StillLife-wst-s1/ StillLife-wastage-03.xml	OPT f=6 TT=0.033 T1=0.07	OPT f=6 TT=1.498 T1=0.81	OPT f=6 TT=2.465 T1=0.89	OPT f=6 TT=2.298 T1=0.76	OPT f=6 TT=2.29 T1=0.76	OPT f=6 TT=1.237 T1=0.68	OPT f=6 TT=1.19 T1=0.71	OPT f=6 TT=1.222 T1=0.55	OPT f=6 TT=1.225 T1=0.69	OPT f=6 TT=1.232 T1=0.57	OPT f=6 TT=8.771 T1=4.27	OPT f=6 TT=0.033 T1=0.13	OPT f=6 TT=0.033 T1=0.07	OPT f=6 TT=0.034 T1=0.1	OPT f=6 TT=0.049 T1=0.14	SAT (TO) f=6 TT=246.653 T1=1	OPT f=6 TT=1.545 T1=0.97	OPT f=6 TT=1.541 T1=0.94	OPT f=6 TT=6.352 T1=1.86	OPT f=6 TT=6.334 T1=4.18	OPT f=6 TT=14.646 T1=10.47
StillLife/ StillLife-wst-s1/ StillLife-wastage-07.xml	OPT f=28 TT=0.601 T1=0.57	OPT f=28 TT=4.478 T1=1.84	OPT f=28 TT=3.962 T1=1.19	OPT f=28 TT=3.618 T1=1.02	OPT f=28 TT=4.089 T1=1.06	OPT f=28 TT=3.795 T1=1.36	OPT f=28 TT=3.729 T1=1.38	OPT f=28 TT=3.577 T1=1.24	OPT f=28 TT=22.884 T1=12.05	OPT f=28 TT=20.315 T1=11.23	OPT f=28 TT=47.411 T1=33.64	OPT f=28 TT=0.602 T1=0.55	OPT f=28 TT=0.601 T1=0.57	OPT f=28 TT=1.297 T1=1.24	OPT f=28 TT=2.881 T1=2.84	SAT (TO) f=28 TT=248.956 T1=17.93	OPT f=28 TT=4.899 T1=2.7	OPT f=28 TT=5.113 T1=2.76	OPT f=28 TT=10.606 T1=2.62	OPT f=28 TT=10.75 T1=9.69	? (TO) TT=248.69
StillLife/ StillLife-wst-s1/ StillLife-wastage-08.xml	OPT f=36 TT=3.494 T1=1.31	OPT f=36 TT=6.729 T1=3.72	OPT f=36 TT=5.959 T1=1.47	OPT f=36 TT=6.111 T1=1.38	OPT f=36 TT=5.438 T1=1.31	OPT f=36 TT=23.767 T1=19.06	OPT f=36 TT=23.172 T1=19.03	OPT f=36 TT=23.217 T1=18.9	OPT f=36 TT=49.78 T1=35.92	OPT f=36 TT=48.019 T1=35.58	OPT f=36 TT=135.527 T1=97.8	OPT f=36 TT=3.515 T1=3.24	OPT f=36 TT=3.494 T1=3.22	OPT f=36 TT=8.789 T1=8.38	OPT f=36 TT=13.341 T1=13.34	SAT (TO) f=36 TT=248.799 T1=31.37	OPT f=36 TT=27.336 T1=22.73	OPT f=36 TT=194.276 T1=24.18	OPT f=36 TT=27.632 T1=5.06	OPT f=36 TT=30.425 T1=28.11	? (TO) TT=250.039
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	choco-solver 4.0.5 par (2017-07-26) (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-07-26) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.1 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	sat4j-CSP 2017-07-05 (complete)
StillLife/ StillLife-wst-s1/ StillLife-wastage-09.xml	OPT f=43 TT=23.671 T1=2.93	OPT f=43 TT=23.671 T1=11.37	OPT f=43 TT=50.254 T1=3.04	OPT f=43 TT=50.441 T1=2.93	OPT f=43 TT=52.027 T1=3.05	OPT f=43 TT=30.002 T1=10.42	OPT f=43 TT=28.825 T1=10.17	OPT f=43 TT=30.868 T1=10.49	OPT f=43 TT=56.552 T1=18.77	OPT f=43 TT=58.366 T1=19.02	SAT (TO) f=41 TT=262.942 T1=9.15	OPT f=43 TT=142.169 T1=23.79	OPT f=43 TT=141.601 T1=23.69	OPT f=43 TT=197.774 T1=69.3	OPT f=43 TT=217.761 T1=38.1	SAT (TO) f=42 TT=248.178 T1=34.44	SAT (TO) f=42 TT=244.614 T1=175.17	SAT (TO) f=43 TT=249.29 T1=212.7	OPT f=43 TT=408.882 T1=11.64	OPT f=43 TT=368.21 T1=70.36	? (TO) TT=257.085
StillLife/ StillLife-wst-s1/ StillLife-wastage-14.xml	SAT TO f=103 TT=251.891 T1=66.2	SAT (TO) f=91 TT=243.674 T1=87.65	SAT (TO) f=100 TT=1920.25 T1=153.41	SAT (TO) f=101 TT=2003.63 T1=183.58	SAT (TO) f=100 TT=2003.35 T1=151.73	SAT (TO) f=84 TT=244.78 T1=124.4	SAT (TO) f=84 TT=244.389 T1=125.03	SAT (TO) f=84 TT=244.766 T1=122.1	SAT (TO) f=88 TT=256.95 T1=221.37	SAT (TO) f=88 TT=256.423 T1=225.79	SAT (TO) f=94 TT=252.099 T1=210.58	SAT (TO) f=56 TT=252.041 T1=138.88	SAT (TO) f=56 TT=251.922 T1=139.39	SAT (TO) f=60 TT=240.012 T1=233.06	SAT (TO) f=103 TT=251.891 T1=66.2	SAT (TO) f=98 TT=248.762 T1=104.14	SAT (TO) f=75 TT=245.246 T1=234.28	SAT (TO) f=96 TT=250.317 T1=67.3	SAT (TO) f=86 TT=1921.17 T1=182.35	SAT (TO) f=87 TT=1990.62 T1=1347.87	? (TO) TT=252.168
StillLife/ StillLife-wst-s1/ StillLife-wastage-15.xml	SAT TO f=116 TT=251.901 T1=53.72	SAT (TO) f=106 TT=243.779 T1=20.61	SAT (TO) f=114 TT=1920.04 T1=148.29	SAT (TO) f=114 TT=2003.01 T1=143.98	SAT (TO) f=114 TT=1998.04 T1=153.28	SAT (TO) f=94 TT=245.3 T1=206.01	SAT (TO) f=95 TT=244.905 T1=237.3	SAT (TO) f=95 TT=245.253 T1=237.46	SAT (TO) f=100 TT=256.37 T1=216.54	SAT (TO) f=100 TT=257.491 T1=218.65	SAT (TO) f=111 TT=252.088 T1=209.09	SAT (TO) f=49 TT=252.008 T1=223.09	SAT (TO) f=49 TT=251.935 T1=223.32	SAT (TO) f=56 TT=251.913 T1=166.73	SAT (TO) f=116 TT=251.901 T1=53.72	SAT (TO) f=101 TT=248.749 T1=187.69	SAT (TO) f=77 TT=244.611 T1=40.83	SAT (TO) f=96 TT=251.395 T1=208.45	SAT (TO) f=93 TT=1921.3 T1=192.76	SAT (TO) f=91 TT=1992.99 T1=193.42	? (TO) TT=255.787
StillLife/ StillLife-wst-s1/ StillLife-wastage-24.xml	SAT TO f=289 TT=251.842 T1=204.43	SAT (TO) f=204 TT=245.133 T1=217.9	SAT (TO) f=269 TT=1920.4 T1=163.47	SAT (TO) f=269 TT=1991.28 T1=148.33	SAT (TO) f=269 TT=1992.52 T1=163.5	SAT (TO) f=238 TT=245.82 T1=25.7	SAT (TO) f=238 TT=245.786 T1=25.63	SAT (TO) f=238 TT=246.102 T1=26.06	SAT (TO) f=231 TT=255.96 T1=46.36	SAT (TO) f=231 TT=255.616 T1=46.99	SAT (TO) f=253 TT=252.144 T1=174.93	SAT (TO) f=47 TT=252.032 T1=154.42	SAT (TO) f=47 TT=251.932 T1=154.56	SAT (TO) f=45 TT=240.014 T1=142.29	SAT (TO) f=289 TT=251.842 T1=204.43	SAT (TO) f=167 TT=247.689 T1=58.67	SAT (TO) f=180 TT=245.045 T1=37.56	SAT (TO) f=190 TT=248.885 T1=72.22	SAT (TO) f=196 TT=1921.42 T1=105.16	SAT (TO) f=196 TT=1987.47 T1=1495.77	? (TO) TT=260.08
StillLife/ StillLife-wst-s1/ StillLife-wastage-26.xml	SAT TO f=338 TT=251.815 T1=223.64	SAT (TO) f=204 TT=245.211 T1=216.67	SAT (TO) f=318 TT=1920.3 T1=8.69	SAT (TO) f=318 TT=1983.96 T1=8.44	SAT (TO) f=318 TT=1986.46 T1=8.2	SAT (TO) f=267 TT=246.23 T1=80.53	SAT (TO) f=267 TT=246.464 T1=81.13	SAT (TO) f=267 TT=246.641 T1=81.44	SAT (TO) f=269 TT=258.59 T1=19.15	SAT (TO) f=269 TT=260.201 T1=20.3	SAT (TO) f=314 TT=252.115 T1=213.52	SAT (TO) f=59 TT=252.032 T1=238.24	SAT (TO) f=59 TT=251.941 T1=239.22	SAT (TO) f=49 TT=240.044 T1=185.62	SAT (TO) f=338 TT=251.815 T1=223.64	SAT (TO) f=188 TT=248.228 T1=66.19	SAT (TO) f=199 TT=244.944 T1=31.83	SAT (TO) f=202 TT=250.694 T1=67.07	SAT (TO) f=229 TT=1921.16 T1=41.98	SAT (TO) f=229 TT=1986.44 T1=308.1	? (TO) TT=255.027
StillLife/ StillLife-wst-s1/ StillLife-wastage-27.xml	SAT TO f=367 TT=251.811 T1=228.59	SAT (TO) f=198 TT=245.875 T1=223.52	SAT (TO) f=341 TT=1920.71 T1=8.9	SAT (TO) f=341 TT=1992.43 T1=7.34	SAT (TO) f=341 TT=1992.75 T1=7.84	SAT (TO) f=289 TT=246.12 T1=16.21	SAT (TO) f=289 TT=246.212 T1=16.07	SAT (TO) f=289 TT=245.985 T1=16.1	SAT (TO) f=282 TT=257.965 T1=172.55	SAT (TO) f=282 TT=256.993 T1=157.76	SAT (TO) f=322 TT=252.108 T1=110.81	SAT (TO) f=44 TT=251.994 T1=63.26	SAT (TO) f=44 TT=251.92 T1=61.76	SAT (TO) f=49 TT=240.107 T1=91.75	SAT (TO) f=367 TT=251.811 T1=228.59	SAT (TO) f=195 TT=247.703 T1=58.81	SAT (TO) f=246 TT=244.893 T1=148.47	SAT (TO) f=248 TT=250.786 T1=57.38	SAT (TO) f=236 TT=1921.56 T1=162.25	SAT (TO) f=235 TT=1983.62 T1=815.92	? (TO) TT=259.991
StillLife/ StillLife-wst-s1/ StillLife-wastage-28.xml	SAT TO f=386 TT=251.796 T1=247.45	SAT (TO) f=239 TT=246.394 T1=169.05	SAT (TO) f=364 TT=1920.19 T1=170.03	SAT (TO) f=364 TT=1984.28 T1=172.08	SAT (TO) f=364 TT=1983.69 T1=173.01	SAT (TO) f=303 TT=246.62 T1=202.16	SAT (TO) f=303 TT=246.259 T1=197.88	SAT (TO) f=303 TT=246.481 T1=198.69	SAT (TO) f=309 TT=256.99 T1=36.8	SAT (TO) f=309 TT=257.301 T1=36.27	SAT (TO) f=346 TT=252.078 T1=177.44	SAT (TO) f=60 TT=252.03 T1=8.72	SAT (TO) f=60 TT=251.923 T1=8.94	SAT (TO) f=69 TT=252.051 T1=96.24	SAT (TO) f=386 TT=251.796 T1=247.45	SAT (TO) f=229 TT=248.62 T1=66.01	SAT (TO) f=242 TT=245.232 T1=64.68	SAT (TO) f=268 TT=248.461 T1=91.38	SAT (TO) f=242 TT=1921.18 T1=162.78	SAT (TO) f=241 TT=1983.02 T1=843.64	? (TO) TT=260.004
StillLife/ StillLife-wst-s1/ StillLife-wastage-29.xml	SAT TO f=413 TT=251.876 T1=217.01	SAT (TO) f=231 TT=246.133 T1=220.61	SAT (TO) f=387 TT=1920.16 T1=6.69	SAT (TO) f=387 TT=1985.15 T1=7.26	SAT (TO) f=387 TT=1984.92 T1=7.16	SAT (TO) f=335 TT=245.65 T1=15.02	SAT (TO) f=335 TT=246.083 T1=14.81	SAT (TO) f=335 TT=246.115 T1=14.56	SAT (TO) f=324 TT=257.07 T1=71.68	SAT (TO) f=324 TT=256.661 T1=71.44	SAT (TO) f=378 TT=252.128 T1=154.08	SAT (TO) f=65 TT=252.03 T1=10.55	SAT (TO) f=65 TT=251.909 T1=10.79	SAT (TO) f=43 TT=240.001 T1=178.81	SAT (TO) f=413 TT=251.876 T1=217.01	SAT (TO) f=244 TT=248.797 T1=185.9	SAT (TO) f=291 TT=245.208 T1=4.52	SAT (TO) f=292 TT=250.39 T1=12.08	SAT (TO) f=272 TT=1920.91 T1=95.67	SAT (TO) f=273 TT=1983.36 T1=1054.47	? (TO) TT=260.235
StillLife/ StillLife-wst-s1/ StillLife-wastage-32.xml	SAT TO f=491 TT=251.978 T1=164.4	SAT (TO) f=257 TT=246.86 T1=235.37	SAT (TO) f=475 TT=1920.79 T1=213.24	SAT (TO) f=475 TT=1965.52 T1=217.89	SAT (TO) f=475 TT=1969.77 T1=209.95	SAT (TO) f=398 TT=245.7 T1=239.66	SAT (TO) f=363 TT=245.843 T1=178.35	SAT (TO) f=363 TT=245.866 T1=180.32	SAT (TO) f=403 TT=257.37 T1=14.18	SAT (TO) f=403 TT=257.201 T1=14.25	SAT (TO) f=455 TT=252.161 T1=193.33	SAT (TO) f=151 TT=252.021 T1=153.07	SAT (TO) f=151 TT=251.897 T1=148.49	SAT (TO) f=70 TT=240.154 T1=169.47	SAT (TO) f=491 TT=251.978 T1=164.4	SAT (TO) f=316 TT=248.967 T1=226.81	SAT (TO) f=293 TT=245.677 T1=71.87	SAT (TO) f=363 TT=250.189 T1=238.55	SAT (TO) f=342 TT=1921.48 T1=50.72	SAT (TO) f=344 TT=1978.19 T1=1039.47	? (TO) TT=259.974
StillLife/ StillLife-wst-s1/ StillLife-wastage-37.xml	SAT TO f=636 TT=1884.33 T1=133.83	SAT (TO) f=246 TT=247.163 T1=236.81	SAT (TO) f=636 TT=1920.15 T1=118.36	SAT (TO) f=636 TT=1884.33 T1=141.32	SAT (TO) f=636 TT=1897.59 T1=133.83	SAT (TO) f=532 TT=245.48 T1=123.3	SAT (TO) f=532 TT=245.425 T1=122.62	SAT (TO) f=532 TT=245.901 T1=123.6	SAT (TO) f=531 TT=255.2 T1=63.01	SAT (TO) f=531 TT=255.134 T1=62.4	SAT (TO) f=488 TT=252.17 T1=217.64	SAT (TO) f=129 TT=252 T1=235.88	SAT (TO) f=129 TT=251.92 T1=237.13	SAT (TO) f=27 TT=240.333 T1=87.48	SAT (TO) f=598 TT=251.929 T1=232.91	SAT (TO) f=251 TT=248.622 T1=238.2	SAT (TO) f=478 TT=246.133 T1=220.82	SAT (TO) f=468 TT=251.139 T1=12.74	SAT (TO) f=389 TT=1921.35 T1=206.38	SAT (TO) f=389 TT=1971.82 T1=1643.2	? (TO) TT=260.138
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	choco-solver 4.0.5 par (2017-07-26) (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-07-26) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.1 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	sat4j-CSP 2017-07-05 (complete)
StillLife/ StillLife-wst-s1/ StillLife-wastage-42.xml	SAT TO f=806 TT=1808.87 T1=60.45	SAT (TO) f=110 TT=248.815 T1=220.38	SAT (TO) f=806 TT=1875.01 T1=54.7	SAT (TO) f=806 TT=1808.87 T1=63.85	SAT (TO) f=806 TT=1817.37 T1=60.45	? (TO) TT=244.61	? (TO) TT=245.322	? (TO) TT=245.065	SAT (TO) f=683 TT=254.01 T1=195.93	SAT (TO) f=683 TT=253.706 T1=194.15	SAT (TO) f=585 TT=252.141 T1=217.13	SAT (TO) f=232 TT=251.989 T1=198.46	SAT (TO) f=232 TT=251.871 T1=197.64	SAT (TO) f=39 TT=240.582 T1=223.14	SAT (TO) f=716 TT=251.878 T1=248.57	SAT (TO) f=394 TT=250.074 T1=3.65	SAT (TO) f=519 TT=245.793 T1=62.89	SAT (TO) f=574 TT=251.183 T1=131.63	SAT (TO) f=588 TT=1921.43 T1=92.89	SAT (TO) f=588 TT=1959.96 T1=563.44	? (TO) TT=260.224
StillLife/ StillLife-wst-s1/ StillLife-wastage-43.xml	SAT TO f=847 TT=1888.7 T1=218.93	SAT (TO) f=75 TT=248.945 T1=202.99	SAT (TO) f=847 TT=1841.61 T1=226.28	SAT (TO) f=846 TT=1842.21 T1=109.29	SAT (TO) f=847 TT=1888.7 T1=218.93	? (TO) TT=244.75	? (TO) TT=244.902	? (TO) TT=244.752	SAT (TO) f=692 TT=252.73 T1=119.73	SAT (TO) f=692 TT=253.646 T1=120.4	SAT (TO) f=398 TT=252.148 T1=215.08	SAT (TO) f=126 TT=251.977 T1=82.22	SAT (TO) f=126 TT=251.899 T1=83.69	SAT (TO) f=35 TT=240.579 T1=177.6	SAT (TO) f=756 TT=251.805 T1=246.7	SAT (TO) f=486 TT=248.6 T1=130.25	SAT (TO) f=669 TT=246.533 T1=42.31	SAT (TO) f=667 TT=249.501 T1=35.85	SAT (TO) f=602 TT=1921.05 T1=237.43	SAT (TO) f=602 TT=1956.15 T1=1843.01	? (TO) TT=260.175
StillLife/ StillLife-wst-s1/ StillLife-wastage-44.xml	SAT TO f=887 TT=1821.27 T1=135.82	SAT (TO) f=134 TT=248.729 T1=233.38	SAT (TO) f=887 TT=1775.37 T1=137.85	SAT (TO) f=887 TT=1821.27 T1=135.82	SAT (TO) f=887 TT=1840.08 T1=136.23	? (TO) TT=244.62	? (TO) TT=244.737	? (TO) TT=244.7	SAT (TO) f=752 TT=255.26 T1=113.5	SAT (TO) f=752 TT=254.735 T1=113.2	SAT (TO) f=289 TT=252.139 T1=215.65	SAT (TO) f=126 TT=251.997 T1=51.13	SAT (TO) f=126 TT=251.904 T1=56.94	? (TO) TT=38.74	SAT (TO) f=643 TT=251.786 T1=249.32	SAT (TO) f=467 TT=250.345 T1=150.76	SAT (TO) f=547 TT=245.589 T1=63.61	SAT (TO) f=542 TT=251.108 T1=5.2	SAT (TO) f=518 TT=1920.86 T1=186.13	SAT (TO) f=518 TT=1957.62 T1=1955.85	? (TO) TT=260.13
StillLife/ StillLife-wst-s1/ StillLife-wastage-50.xml	SAT TO f=1137 TT=1807.03 T1=48.63	SAT (TO) f=94 TT=250.519 T1=157.47	SAT (TO) f=1137 TT=1801.32 T1=51.13	SAT (TO) f=1137 TT=1807.03 T1=50.6	SAT (TO) f=1137 TT=1818.56 T1=48.63	? (TO) TT=244.83	? (TO) TT=244.951	? (TO) TT=244.93	? (TO) TT=247.97	? (TO) TT=248.011	SAT (TO) f=346 TT=252.131 T1=214.69	SAT (TO) f=262 TT=251.985 T1=190.52	SAT (TO) f=262 TT=251.874 T1=200.86	? (MO) TT=32.246	SAT (TO) f=724 TT=251.774 T1=249.49	SAT (TO) f=601 TT=250.263 T1=167.99	SAT (TO) f=696 TT=246.194 T1=123.3	SAT (TO) f=430 TT=248.296 T1=107.12	SAT (TO) f=666 TT=1921.09 T1=234.22	SAT (TO) f=667 TT=1941.26 T1=1423.35	? (TO) TT=259.989
TravellingSalesman/ TravellingSalesman-m1-n100/ TravellingSalesman-100-50-00.xml	SAT TO f=412 TT=246.839 T1=159.5	SAT (TO) f=479 TT=243.308 T1=3.42	SAT (TO) f=466 TT=1920.65 T1=12.27	SAT (TO) f=466 TT=1941.57 T1=11.41	SAT (TO) f=466 TT=1940.46 T1=12.01	SAT (TO) f=497 TT=246.07 T1=74.97	SAT (TO) f=497 TT=245.908 T1=74.03	SAT (TO) f=497 TT=246.183 T1=72.3	SAT (TO) f=524 TT=255.35 T1=73.06	SAT (TO) f=524 TT=256.259 T1=73.47	SAT (TO) f=1712 TT=252.125 T1=158.56	SAT (TO) f=451 TT=251.943 T1=252	SAT (TO) f=451 TT=240.036 T1=240	SAT (TO) f=451 TT=240.002 T1=240	SAT (TO) f=453 TT=251.875 T1=242.05	SAT (TO) f=427 TT=248.192 T1=235.77	SAT (TO) f=3572 TT=243.792 T1=209.54	SAT (TO) f=412 TT=246.839 T1=159.5	SAT (TO) f=3568 TT=1921.25 T1=218.43	SAT (TO) f=3567 TT=1991.11 T1=1959.17	? (TO) TT=260.073
TravellingSalesman/ TravellingSalesman-m1-n100/ TravellingSalesman-100-50-05.xml	SAT TO f=404 TT=247.963 T1=235.13	SAT (TO) f=574 TT=242.873 T1=1.55	SAT (TO) f=457 TT=1920.69 T1=12.23	SAT (TO) f=457 TT=1940.49 T1=11.48	SAT (TO) f=457 TT=1939.26 T1=11.9	SAT (TO) f=482 TT=245.39 T1=183.48	SAT (TO) f=482 TT=245.663 T1=182.25	SAT (TO) f=482 TT=245.7 T1=187.39	SAT (TO) f=469 TT=253.77 T1=9.31	SAT (TO) f=469 TT=253.514 T1=9.23	SAT (TO) f=1500 TT=252.096 T1=171.2	SAT (TO) f=428 TT=251.903 T1=252	SAT (TO) f=428 TT=240.006 T1=240.01	SAT (TO) f=430 TT=251.908 T1=252	SAT (TO) f=500 TT=251.785 T1=248.26	SAT (TO) f=404 TT=247.963 T1=235.13	SAT (TO) f=3678 TT=243.654 T1=191.34	SAT (TO) f=431 TT=247.122 T1=180.48	SAT (TO) f=3655 TT=1921.36 T1=221.27	SAT (TO) f=3658 TT=1990.84 T1=1463.24	? (TO) TT=260.179
TravellingSalesman/ TravellingSalesman-m1-n100/ TravellingSalesman-100-50-08.xml	SAT TO f=443 TT=240.029 T1=240	SAT (TO) f=609 TT=242.878 T1=61.11	SAT (TO) f=457 TT=1920.63 T1=12.5	SAT (TO) f=457 TT=1940.56 T1=11.77	SAT (TO) f=457 TT=1940.28 T1=12.05	SAT (TO) f=526 TT=245.4 T1=5.98	SAT (TO) f=526 TT=245.423 T1=5.85	SAT (TO) f=526 TT=245.64 T1=5.75	SAT (TO) f=505 TT=256.15 T1=40.28	SAT (TO) f=505 TT=254.876 T1=39.81	SAT (TO) f=1552 TT=252.125 T1=164.92	SAT (TO) f=443 TT=251.926 T1=252	SAT (TO) f=443 TT=240.04 T1=240	SAT (TO) f=443 TT=240.029 T1=240	SAT (TO) f=583 TT=251.915 T1=172.34	SAT (TO) f=468 TT=247.933 T1=226.54	SAT (TO) f=3658 TT=243.884 T1=167.09	SAT (TO) f=471 TT=246.494 T1=204.27	SAT (TO) f=3643 TT=1920.99 T1=235.02	SAT (TO) f=3647 TT=1991.6 T1=1648.12	? (TO) TT=256.894
TravellingSalesman/ TravellingSalesman-m1-n150/ TravellingSalesman-150-50-14.xml	SAT TO f=552 TT=251.943 T1=252	SAT (TO) f=614 TT=244.066 T1=3.19	SAT (TO) f=562 TT=1686.77 T1=49.34	SAT (TO) f=562 TT=1689.77 T1=48.8	SAT (TO) f=562 TT=1704.3 T1=45.74	SAT (TO) f=655 TT=246.96 T1=11.56	SAT (TO) f=655 TT=246.925 T1=11.58	SAT (TO) f=655 TT=247.6 T1=11.27	SAT (TO) f=655 TT=250.56 T1=11.99	SAT (TO) f=655 TT=249.993 T1=11.66	? (TO) TT=260.2	SAT (TO) f=552 TT=251.934 T1=252	SAT (TO) f=552 TT=251.943 T1=252	SAT (TO) f=2329 TT=251.962 T1=252.01	SAT (TO) f=739 TT=251.821 T1=232.72	SAT (TO) f=1787 TT=249.983 T1=233.97	SAT (TO) f=5421 TT=246.719 T1=113.14	SAT (TO) f=2267 TT=249.913 T1=157.58	SAT (TO) f=5401 TT=1921.21 T1=244.58	SAT (TO) f=5392 TT=1959.65 T1=1717.25	? (TO) TT=259.123
TravellingSalesman/ TravellingSalesman-m1-n150/ TravellingSalesman-150-50-15.xml	SAT TO f=573 TT=1679.1 T1=49.75	SAT (TO) f=597 TT=244.084 T1=2.9	SAT (TO) f=573 TT=1683.54 T1=49.44	SAT (TO) f=573 TT=1682.89 T1=49.75	SAT (TO) f=573 TT=1679.1 T1=49.99	SAT (TO) f=692 TT=246.67 T1=11.41	SAT (TO) f=692 TT=247.064 T1=11.36	SAT (TO) f=692 TT=247.329 T1=11.17	SAT (TO) f=678 TT=251.23 T1=12.09	SAT (TO) f=678 TT=251.114 T1=11.77	SAT (TO) f=4226 TT=252.108 T1=76.03	SAT (TO) f=586 TT=251.955 T1=252	SAT (TO) f=586 TT=240.001 T1=240	SAT (TO) f=2518 TT=251.95 T1=252.01	SAT (TO) f=703 TT=251.865 T1=251.78	SAT (TO) f=1445 TT=250.18 T1=230.28	SAT (TO) f=5632 TT=247.307 T1=126.51	SAT (TO) f=1845 TT=250.366 T1=203.52	SAT (TO) f=5626 TT=1921.33 T1=187.56	SAT (TO) f=5624 TT=1969.35 T1=1932.7	? (TO) TT=260.135
TravellingSalesman/ TravellingSalesman-m1-n15/ TravellingSalesman-15-30-13.xml	OPT f=104 TT=1128.5 T1=20.39	SAT (TO) f=104 TT=242.781 T1=6.81	SAT (TO) f=104 TT=1920.2 T1=8.83	SAT (TO) f=104 TT=2006.38 T1=6.35	SAT (TO) f=104 TT=2004.75 T1=3.22	SAT (TO) f=104 TT=243.591 T1=2.8	SAT (TO) f=104 TT=243.963 T1=2.76	SAT (TO) f=104 TT=244.385 T1=2.73	SAT (TO) f=104 TT=248.95 T1=57.24	SAT (TO) f=104 TT=250.041 T1=57.55	SAT (TO) f=104 TT=253.12 T1=4.5	SAT (TO) f=104 TT=251.922 T1=252	SAT (TO) f=104 TT=251.932 T1=252	SAT (TO) f=104 TT=240.01 T1=240	SAT (TO) f=104 TT=251.9 T1=0.13	SAT (TO) f=104 TT=247.073 T1=2.74	SAT (TO) f=104 TT=242.725 T1=152.36	SAT (TO) f=104 TT=247.925 T1=30.33	OPT f=104 TT=1128.5 T1=20.39	OPT f=104 TT=1253.54 T1=140.53	SAT (TO) f=141 TT=245.268 T1=45.82
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	choco-solver 4.0.5 par (2017-07-26) (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-07-26) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.1 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	sat4j-CSP 2017-07-05 (complete)
TravellingSalesman/ TravellingSalesman-m1-n20/ TravellingSalesman-20-30-02.xml	SAT TO f=119 TT=248.035 T1=0.41	SAT (TO) f=120 TT=241.94 T1=1.61	SAT (TO) f=119 TT=1920.48 T1=9.21	SAT (TO) f=119 TT=2006.98 T1=10.45	SAT (TO) f=119 TT=2005.99 T1=12.95	SAT (TO) f=120 TT=243.49 T1=46.12	SAT (TO) f=120 TT=243.543 T1=49.14	SAT (TO) f=120 TT=243.869 T1=49.02	SAT (TO) f=119 TT=250.56 T1=182.85	SAT (TO) f=119 TT=252.135 T1=185.2	SAT (TO) f=119 TT=252.07 T1=4.93	SAT (TO) f=127 TT=251.942 T1=252	SAT (TO) f=127 TT=251.951 T1=252	SAT (TO) f=127 TT=240 T1=240	SAT (TO) f=119 TT=251.854 T1=0.41	SAT (TO) f=119 TT=248.035 T1=8.99	SAT (TO) f=221 TT=242.793 T1=190.72	SAT (TO) f=119 TT=248.462 T1=18.82	SAT (TO) f=150 TT=1920.99 T1=242.7	SAT (TO) f=166 TT=1978.61 T1=1580.81	SAT (TO) f=265 TT=245.807 T1=206.26
TravellingSalesman/ TravellingSalesman-m1-n20/ TravellingSalesman-20-30-09.xml	SAT TO f=120 TT=247.562 T1=1.85	SAT (TO) f=124 TT=242.996 T1=129.48	SAT (TO) f=120 TT=1920.37 T1=51.44	SAT (TO) f=120 TT=2006.61 T1=97.12	SAT (TO) f=120 TT=2005.61 T1=50.7	SAT (TO) f=128 TT=243.71 T1=117.35	SAT (TO) f=128 TT=244.58 T1=117.77	SAT (TO) f=128 TT=243.706 T1=119.99	SAT (TO) f=122 TT=250 T1=71.22	SAT (TO) f=122 TT=251.168 T1=70.19	SAT (TO) f=120 TT=252.117 T1=52.85	SAT (TO) f=126 TT=251.938 T1=252	SAT (TO) f=126 TT=251.91 T1=252	SAT (TO) f=129 TT=240.02 T1=240	SAT (TO) f=120 TT=251.883 T1=1.85	SAT (TO) f=120 TT=247.562 T1=16.28	SAT (TO) f=227 TT=242.765 T1=201.51	SAT (TO) f=120 TT=248.53 T1=73.83	SAT (TO) f=160 TT=1920.94 T1=213.37	SAT (TO) f=163 TT=1977.89 T1=1899.83	SAT (TO) f=260 TT=246.546 T1=127.4
TravellingSalesman/ TravellingSalesman-m1-n20/ TravellingSalesman-20-30-18.xml	SAT TO f=104 TT=254.672 T1=34.15	SAT (TO) f=105 TT=242.888 T1=114.64	SAT (TO) f=106 TT=1920.59 T1=0.96	SAT (TO) f=106 TT=2007.04 T1=0.82	SAT (TO) f=106 TT=2005.49 T1=0.9	SAT (TO) f=106 TT=243.824 T1=12.9	SAT (TO) f=106 TT=243.372 T1=12.86	SAT (TO) f=106 TT=243.512 T1=12.91	SAT (TO) f=106 TT=250.88 T1=30.04	SAT (TO) f=106 TT=251.217 T1=30.43	SAT (TO) f=104 TT=254.672 T1=34.15	SAT (TO) f=106 TT=251.954 T1=252	SAT (TO) f=106 TT=251.921 T1=252	SAT (TO) f=105 TT=240.023 T1=240	SAT (TO) f=105 TT=251.949 T1=0.21	SAT (TO) f=105 TT=247.501 T1=7.21	SAT (TO) f=209 TT=242.809 T1=131.13	SAT (TO) f=105 TT=248.14 T1=40.05	SAT (TO) f=185 TT=1920.86 T1=201.97	SAT (TO) f=189 TT=1977.06 T1=1026.99	SAT (TO) f=192 TT=245.972 T1=201.33
TravellingSalesman/ TravellingSalesman-m1-n30/ TravellingSalesman-30-30-18.xml	SAT TO f=127 TT=248.514 T1=52.52	SAT (TO) f=140 TT=242.739 T1=99.18	SAT (TO) f=142 TT=1920.43 T1=16.24	SAT (TO) f=142 TT=2005.12 T1=16.05	SAT (TO) f=142 TT=2002.96 T1=121.11	SAT (TO) f=143 TT=243.74 T1=22.87	SAT (TO) f=143 TT=243.839 T1=22.47	SAT (TO) f=143 TT=244.023 T1=22.55	SAT (TO) f=139 TT=251.41 T1=220.15	SAT (TO) f=139 TT=251.794 T1=215.15	SAT (TO) f=128 TT=256.557 T1=118.36	SAT (TO) f=137 TT=251.949 T1=252	SAT (TO) f=137 TT=251.932 T1=252	SAT (TO) f=141 TT=240.037 T1=240	SAT (TO) f=128 TT=251.926 T1=1.97	SAT (TO) f=131 TT=247.558 T1=19.15	SAT (TO) f=450 TT=242.911 T1=205.99	SAT (TO) f=127 TT=248.514 T1=52.52	SAT (TO) f=442 TT=1921.46 T1=198.44	SAT (TO) f=442 TT=1978.32 T1=1110.96	SAT (TO) f=350 TT=249.785 T1=25.52
TravellingSalesman/ TravellingSalesman-m1-n40/ TravellingSalesman-40-30-19.xml	SAT TO f=142 TT=248.886 T1=104.74	SAT (TO) f=183 TT=243.254 T1=131.34	SAT (TO) f=181 TT=1920.48 T1=1.46	SAT (TO) f=168 TT=2003.17 T1=57.05	SAT (TO) f=181 TT=2004.65 T1=1.35	SAT (TO) f=191 TT=244.1 T1=131.07	SAT (TO) f=191 TT=244.375 T1=131.3	SAT (TO) f=191 TT=244.783 T1=129.57	SAT (TO) f=168 TT=253.15 T1=21.95	SAT (TO) f=168 TT=253.159 T1=21.95	SAT (TO) f=173 TT=257.045 T1=207	SAT (TO) f=155 TT=251.931 T1=252	SAT (TO) f=155 TT=251.959 T1=252	SAT (TO) f=171 TT=240.022 T1=240	SAT (TO) f=164 TT=251.91 T1=43.61	SAT (TO) f=143 TT=247.916 T1=137.61	SAT (TO) f=697 TT=243.105 T1=134.52	SAT (TO) f=142 TT=248.886 T1=104.74	SAT (TO) f=682 TT=1920.8 T1=157.25	SAT (TO) f=676 TT=1980.38 T1=1493.6	SAT (TO) f=525 TT=254.139 T1=22.36
TravellingSalesman/ TravellingSalesman-m1-n45/ TravellingSalesman-45-30-04.xml	SAT TO f=164 TT=248.763 T1=102.22	SAT (TO) f=215 TT=243.021 T1=91.04	SAT (TO) f=184 TT=1920.51 T1=228.36	SAT (TO) f=184 TT=2002.79 T1=229.73	SAT (TO) f=184 TT=2002.87 T1=232.48	SAT (TO) f=184 TT=243.96 T1=41.17	SAT (TO) f=184 TT=244.263 T1=41.17	SAT (TO) f=184 TT=244.316 T1=41.06	SAT (TO) f=186 TT=254.47 T1=116.11	SAT (TO) f=186 TT=254.476 T1=115.77	SAT (TO) f=177 TT=259.273 T1=23.67	SAT (TO) f=179 TT=251.918 T1=252	SAT (TO) f=179 TT=251.944 T1=252	SAT (TO) f=175 TT=240.02 T1=240	SAT (TO) f=184 TT=251.936 T1=49.24	SAT (TO) f=164 TT=248.763 T1=102.22	SAT (TO) f=812 TT=243.37 T1=236.55	SAT (TO) f=170 TT=248.956 T1=127.83	SAT (TO) f=777 TT=1921.29 T1=222.85	SAT (TO) f=768 TT=1982.37 T1=1767.84	SAT (TO) f=644 TT=256.915 T1=28.76
TravellingSalesman/ TravellingSalesman-m1-n45/ TravellingSalesman-45-30-09.xml	SAT TO f=159 TT=251.878 T1=150.39	SAT (TO) f=182 TT=242.676 T1=0.93	SAT (TO) f=196 TT=1920.62 T1=1.53	SAT (TO) f=196 TT=2003.14 T1=1.41	SAT (TO) f=196 TT=2001.37 T1=1.71	SAT (TO) f=200 TT=244.296 T1=14.72	SAT (TO) f=200 TT=244.207 T1=14.61	SAT (TO) f=200 TT=244.15 T1=14.45	SAT (TO) f=199 TT=254.44 T1=90.29	SAT (TO) f=199 TT=254.458 T1=89.59	SAT (TO) f=185 TT=260.014 T1=41.33	SAT (TO) f=185 TT=251.878 T1=252	SAT (TO) f=185 TT=251.947 T1=252	SAT (TO) f=186 TT=251.895 T1=252	SAT (TO) f=159 TT=251.878 T1=150.39	SAT (TO) f=162 TT=249.01 T1=120.16	SAT (TO) f=901 TT=243.312 T1=235.93	SAT (TO) f=168 TT=249.027 T1=56.34	SAT (TO) f=867 TT=1921.12 T1=240.03	SAT (TO) f=885 TT=1984.36 T1=1191.65	? (TO) TT=256.913
TravellingSalesman/ TravellingSalesman-m1-n50/ TravellingSalesman-50-30-01.xml	SAT TO f=175 TT=248.145 T1=56.47	SAT (TO) f=226 TT=242.984 T1=53.26	SAT (TO) f=208 TT=1920.34 T1=65.12	SAT (TO) f=208 TT=2001.1 T1=64.5	SAT (TO) f=208 TT=2000.72 T1=66.6	SAT (TO) f=204 TT=244.41 T1=236.9	SAT (TO) f=204 TT=244.604 T1=237.01	SAT (TO) f=204 TT=244.481 T1=238.19	SAT (TO) f=207 TT=256.054 T1=117.84	SAT (TO) f=207 TT=256.047 T1=117.78	SAT (TO) f=222 TT=261.556 T1=77.22	SAT (TO) f=218 TT=251.977 T1=252	SAT (TO) f=218 TT=240.04 T1=240	SAT (TO) f=201 TT=240.033 T1=240	SAT (TO) f=187 TT=251.932 T1=12.87	SAT (TO) f=175 TT=248.145 T1=56.47	SAT (TO) f=968 TT=243.2 T1=230.35	SAT (TO) f=203 TT=248.813 T1=128.45	SAT (TO) f=923 TT=1921.27 T1=201.38	SAT (TO) f=916 TT=1989.87 T1=1650	? (TO) TT=259.94
TravellingSalesman/ TravellingSalesman-m1-n50/ TravellingSalesman-50-30-05.xml	SAT TO f=180 TT=248.424 T1=179.45	SAT (TO) f=221 TT=242.917 T1=59.79	SAT (TO) f=212 TT=1920.77 T1=1.89	SAT (TO) f=212 TT=2001.25 T1=1.92	SAT (TO) f=212 TT=2001.59 T1=1.97	SAT (TO) f=211 TT=244.77 T1=46.46	SAT (TO) f=211 TT=244.803 T1=45.92	SAT (TO) f=211 TT=244.696 T1=46.54	SAT (TO) f=213 TT=255.85 T1=74.57	SAT (TO) f=213 TT=256.112 T1=75.52	SAT (TO) f=206 TT=261.936 T1=226.52	SAT (TO) f=192 TT=251.956 T1=252	SAT (TO) f=192 TT=240.039 T1=240	SAT (TO) f=192 TT=240.031 T1=240	SAT (TO) f=206 TT=251.917 T1=117.52	SAT (TO) f=181 TT=248.584 T1=135.08	SAT (TO) f=918 TT=243.179 T1=205	SAT (TO) f=180 TT=248.424 T1=179.45	SAT (TO) f=893 TT=1920.86 T1=204.98	SAT (TO) f=894 TT=1990.29 T1=1667.48	? (TO) TT=258.264
TravellingSalesman/ TravellingSalesman-m1-n75/ TravellingSalesman-75-50-02.xml	SAT TO f=330 TT=249.653 T1=160.05	SAT (TO) f=461 TT=242.994 T1=10.6	SAT (TO) f=376 TT=1920.35 T1=5.19	SAT (TO) f=376 TT=1979.18 T1=4.86	SAT (TO) f=376 TT=1978.97 T1=4.94	SAT (TO) f=433 TT=245.09 T1=5.4	SAT (TO) f=433 TT=245.375 T1=5.27	SAT (TO) f=433 TT=245.377 T1=5.44	SAT (TO) f=461 TT=256.14 T1=5.07	SAT (TO) f=461 TT=256.98 T1=5	SAT (TO) f=652 TT=252.093 T1=200.94	SAT (TO) f=401 TT=251.923 T1=252	SAT (TO) f=401 TT=251.93 T1=252	SAT (TO) f=404 TT=240.007 T1=240	SAT (TO) f=406 TT=251.941 T1=239.37	SAT (TO) f=353 TT=248.448 T1=205.32	SAT (TO) f=2462 TT=243.743 T1=28.29	SAT (TO) f=330 TT=249.653 T1=160.05	SAT (TO) f=2412 TT=1921.05 T1=237.33	SAT (TO) f=2415 TT=1996.28 T1=1524.3	? (TO) TT=260.22
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	choco-solver 4.0.5 par (2017-07-26) (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-07-26) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.1 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	sat4j-CSP 2017-07-05 (complete)
TravellingSalesman/ TravellingSalesman-m1-n75/ TravellingSalesman-75-50-15.xml	SAT TO f=348 TT=248.83 T1=209.54	SAT (TO) f=487 TT=243.033 T1=7.23	SAT (TO) f=400 TT=1920.54 T1=5.36	SAT (TO) f=400 TT=1979.1 T1=5.29	SAT (TO) f=400 TT=1979.09 T1=5.12	SAT (TO) f=437 TT=245.17 T1=41.88	SAT (TO) f=437 TT=245.215 T1=42.06	SAT (TO) f=437 TT=245.273 T1=41.19	SAT (TO) f=437 TT=258.159 T1=23.19	SAT (TO) f=437 TT=256.352 T1=22.66	SAT (TO) f=617 TT=252.1 T1=202.99	SAT (TO) f=388 TT=251.93 T1=252	SAT (TO) f=387 TT=251.808 T1=252	SAT (TO) f=391 TT=240.008 T1=240	SAT (TO) f=425 TT=251.907 T1=51.83	SAT (TO) f=348 TT=248.83 T1=209.54	SAT (TO) f=2611 TT=243.477 T1=193.53	SAT (TO) f=367 TT=249.562 T1=157.62	SAT (TO) f=2608 TT=1921.4 T1=242.66	SAT (TO) f=2608 TT=1996.16 T1=1888.62	? (TO) TT=260.087
Vrp/Vrp-zinc-s1/ Vrp-A-n33-k5.xml	SAT TO f=664 TT=251.891 T1=168.01	SAT (TO) f=1503 TT=242.791 T1=167.46	SAT (TO) f=853 TT=1920.32 T1=221.8	SAT (TO) f=848 TT=1994.31 T1=212.2	SAT (TO) f=929 TT=1976.79 T1=247.89	SAT (TO) f=1339 TT=243.76 T1=24.75	SAT (TO) f=1339 TT=245.056 T1=25.73	SAT (TO) f=1339 TT=244.404 T1=25.48	SAT (TO) f=1425 TT=257.957 T1=60.12	SAT (TO) f=1425 TT=254.371 T1=56.07	SAT (TO) f=731 TT=259.008 T1=105.48	SAT (TO) f=1814 TT=251.937 T1=252.01	SAT (TO) f=1814 TT=251.951 T1=252	SAT (TO) f=1597 TT=251.878 T1=252	SAT (TO) f=664 TT=251.891 T1=168.01	SAT (TO) f=1333 TT=247.559 T1=236.57	SAT (TO) f=1608 TT=243.384 T1=166.79	SAT (TO) f=1527 TT=249.419 T1=176.45	SAT (TO) f=1350 TT=1921.01 T1=156.75	SAT (TO) f=1335 TT=1978.73 T1=974.04	SAT (TO) f=1600 TT=252.091 T1=16.44
Vrp/Vrp-zinc-s1/ Vrp-A-n33-k6.xml	SAT TO f=743 TT=251.907 T1=207.07	SAT (TO) f=1372 TT=243.295 T1=191.82	SAT (TO) f=863 TT=1920.4 T1=238.97	SAT (TO) f=908 TT=1976.29 T1=193.65	SAT (TO) f=908 TT=1991.69 T1=245.93	SAT (TO) f=1202 TT=246.13 T1=218.83	SAT (TO) f=1202 TT=244.894 T1=207.25	SAT (TO) f=1202 TT=244.462 T1=215.73	SAT (TO) f=1511 TT=257.08 T1=61.02	SAT (TO) f=1511 TT=253.698 T1=62.44	SAT (TO) f=805 TT=258.482 T1=236.04	SAT (TO) f=1670 TT=251.878 T1=252	SAT (TO) f=1670 TT=251.921 T1=252	SAT (TO) f=1625 TT=240.016 T1=240	SAT (TO) f=743 TT=251.907 T1=207.07	SAT (TO) f=1273 TT=248.161 T1=230.28	SAT (TO) f=1301 TT=243.298 T1=117.63	SAT (TO) f=1339 TT=250.101 T1=158.82	SAT (TO) f=1334 TT=1921.03 T1=144.01	SAT (TO) f=1309 TT=1978.57 T1=899.78	SAT (TO) f=1353 TT=252.17 T1=186.68
Vrp/Vrp-zinc-s1/ Vrp-A-n34-k5.xml	SAT TO f=789 TT=251.904 T1=100.72	SAT (TO) f=1676 TT=243.112 T1=3.72	SAT (TO) f=1002 TT=1920.34 T1=179.03	SAT (TO) f=963 TT=1994.49 T1=247.49	SAT (TO) f=958 TT=2000.75 T1=245.39	SAT (TO) f=1473 TT=245.09 T1=171.82	SAT (TO) f=1473 TT=244.647 T1=169.64	SAT (TO) f=1473 TT=245.505 T1=172.06	SAT (TO) f=1595 TT=253.85 T1=4.39	SAT (TO) f=1595 TT=253.309 T1=3.72	SAT (TO) f=882 TT=259.219 T1=114.86	SAT (TO) f=1883 TT=251.936 T1=252	SAT (TO) f=1883 TT=251.905 T1=252	SAT (TO) f=1888 TT=240.034 T1=240	SAT (TO) f=789 TT=251.904 T1=100.72	SAT (TO) f=1623 TT=249.002 T1=221.41	SAT (TO) f=1562 TT=243.54 T1=36.09	SAT (TO) f=1604 TT=250.251 T1=7.82	SAT (TO) f=1505 TT=1920.77 T1=141.83	SAT (TO) f=1417 TT=1976.61 T1=1934.4	SAT (TO) f=1606 TT=252.118 T1=46.33
Vrp/Vrp-zinc-s1/ Vrp-A-n36-k5.xml	SAT TO f=853 TT=251.895 T1=186.1	SAT (TO) f=1713 TT=243.569 T1=161.43	SAT (TO) f=1023 TT=1920.49 T1=112.26	SAT (TO) f=1747 TT=2003.94 T1=3.65	SAT (TO) f=1063 TT=1996.92 T1=218.47	SAT (TO) f=1747 TT=244.48 T1=2.36	SAT (TO) f=1747 TT=244.704 T1=2.36	SAT (TO) f=1747 TT=244.947 T1=2.28	SAT (TO) f=1798 TT=254.17 T1=3.99	SAT (TO) f=1798 TT=253.491 T1=3.52	SAT (TO) f=947 TT=257.89 T1=107.67	SAT (TO) f=2002 TT=251.95 T1=252	SAT (TO) f=2002 TT=251.94 T1=252	SAT (TO) f=1974 TT=240.008 T1=240	SAT (TO) f=853 TT=251.895 T1=186.1	SAT (TO) f=1769 TT=248.629 T1=212.64	SAT (TO) f=1530 TT=244.133 T1=212.4	SAT (TO) f=1706 TT=249.439 T1=2.19	SAT (TO) f=1342 TT=1920.65 T1=237.48	SAT (TO) f=1356 TT=1968.04 T1=1320.57	SAT (TO) f=1720 TT=252.14 T1=91.36
Vrp/Vrp-zinc-s1/ Vrp-A-n48-k7.xml	SAT TO f=1215 TT=251.958 T1=249.16	SAT (TO) f=2603 TT=243.747 T1=222.56	SAT (TO) f=1548 TT=1920.39 T1=236.77	SAT (TO) f=1792 TT=1969.26 T1=234.4	SAT (TO) f=1486 TT=1988.65 T1=208.98	SAT (TO) f=2319 TT=244.66 T1=17.3	SAT (TO) f=2319 TT=245.451 T1=17.17	SAT (TO) f=2319 TT=244.952 T1=17.32	SAT (TO) f=2681 TT=256.59 T1=4.51	SAT (TO) f=2681 TT=256.313 T1=4.39	SAT (TO) f=1269 TT=258.742 T1=119.99	SAT (TO) f=2786 TT=251.922 T1=252	SAT (TO) f=2786 TT=251.944 T1=252	SAT (TO) f=2947 TT=251.91 T1=252	SAT (TO) f=1215 TT=251.958 T1=249.16	SAT (TO) f=2859 TT=248.324 T1=93.39	SAT (TO) f=2696 TT=245.061 T1=160.79	SAT (TO) f=2801 TT=249.901 T1=9.19	SAT (TO) f=2318 TT=1921.46 T1=109.32	SAT (TO) f=2356 TT=1957.84 T1=686.12	? (TO) TT=252.169
Vrp/Vrp-zinc-s1/ Vrp-A-n60-k9.xml	SAT TO f=1567 TT=251.975 T1=237.21	SAT (TO) f=3520 TT=244.137 T1=58.72	SAT (TO) f=3064 TT=1994.89 T1=24.17	SAT (TO) f=3070 TT=1997.66 T1=21.9	SAT (TO) f=3113 TT=2000.53 T1=11.35	SAT (TO) f=3156 TT=244.66 T1=10.92	SAT (TO) f=3156 TT=244.621 T1=10.87	SAT (TO) f=3156 TT=244.621 T1=10.75	SAT (TO) f=2931 TT=252.32 T1=6.66	SAT (TO) f=2931 TT=252.649 T1=6.63	SAT (TO) f=1717 TT=260.477 T1=235.64	SAT (TO) f=3609 TT=251.924 T1=252	SAT (TO) f=3609 TT=251.94 T1=252	SAT (TO) f=3426 TT=240.02 T1=240	SAT (TO) f=1567 TT=251.975 T1=237.21	SAT (TO) f=3868 TT=247.621 T1=114.6	SAT (TO) f=3723 TT=244.799 T1=211.77	SAT (TO) f=3786 TT=249.825 T1=1.95	SAT (TO) f=3225 TT=1921.38 T1=246.4	SAT (TO) f=3195 TT=1937.93 T1=609.31	? (TO) TT=257.661
Vrp/Vrp-zinc-s1/ Vrp-A-n61-k9.xml	SAT TO f=1295 TT=251.894 T1=213.05	SAT (TO) f=2937 TT=244.706 T1=216.48	SAT (TO) f=2075 TT=1920.66 T1=137.7	SAT (TO) f=1639 TT=1998.07 T1=248.01	SAT (TO) f=1601 TT=1988.94 T1=204.7	SAT (TO) f=2612 TT=244.9 T1=147.55	SAT (TO) f=2612 TT=245.213 T1=146.48	SAT (TO) f=2612 TT=245.264 T1=150.28	SAT (TO) f=2499 TT=254.97 T1=8.06	SAT (TO) f=2499 TT=255.171 T1=8.05	SAT (TO) f=1418 TT=260.226 T1=184.86	SAT (TO) f=2960 TT=251.917 T1=252	SAT (TO) f=2960 TT=251.922 T1=252	SAT (TO) f=2931 TT=240.014 T1=240	SAT (TO) f=1295 TT=251.894 T1=213.05	SAT (TO) f=2936 TT=248.568 T1=1.75	SAT (TO) f=2650 TT=245.137 T1=224.07	SAT (TO) f=2733 TT=250.429 T1=2.05	SAT (TO) f=2677 TT=1921.31 T1=235.47	SAT (TO) f=2677 TT=1941.85 T1=1688.23	? (TO) TT=259.998
Vrp/Vrp-zinc-s1/ Vrp-B-n31-k5.xml	SAT TO f=684 TT=251.928 T1=212.02	SAT (TO) f=1059 TT=243.258 T1=97.8	SAT (TO) f=778 TT=1920.04 T1=241.75	SAT (TO) f=704 TT=1982.03 T1=240.09	SAT (TO) f=836 TT=2003.75 T1=11.13	SAT (TO) f=1092 TT=244.4 T1=6.22	SAT (TO) f=1092 TT=245.361 T1=6.18	SAT (TO) f=1092 TT=244.876 T1=6.05	SAT (TO) f=1155 TT=258.64 T1=35.9	SAT (TO) f=1155 TT=257.697 T1=34.99	SAT (TO) f=810 TT=257.362 T1=238.95	SAT (TO) f=1349 TT=251.921 T1=252	SAT (TO) f=1349 TT=251.948 T1=252	SAT (TO) f=1274 TT=240.031 T1=240	SAT (TO) f=684 TT=251.928 T1=212.02	SAT (TO) f=979 TT=249.656 T1=227.7	SAT (TO) f=1149 TT=243.596 T1=31.85	SAT (TO) f=1072 TT=249.409 T1=170.33	SAT (TO) f=1068 TT=1921.39 T1=119.96	SAT (TO) f=1070 TT=1976.05 T1=1775.68	SAT (TO) f=1425 TT=252.086 T1=224.67
Vrp/Vrp-zinc-s1/ Vrp-B-n45-k5.xml	SAT TO f=776 TT=251.925 T1=238.59	SAT (TO) f=2257 TT=243.561 T1=59.02	SAT (TO) f=990 TT=1920.36 T1=241.66	SAT (TO) f=940 TT=2002.72 T1=130.65	SAT (TO) f=1087 TT=1986.43 T1=216.49	SAT (TO) f=1921 TT=246.03 T1=49.93	SAT (TO) f=1921 TT=244.975 T1=50.44	SAT (TO) f=1921 TT=245.23 T1=50.34	SAT (TO) f=2105 TT=256.13 T1=4.31	SAT (TO) f=2105 TT=256.774 T1=4.57	SAT (TO) f=1070 TT=258.473 T1=205.6	SAT (TO) f=2432 TT=251.931 T1=252	SAT (TO) f=2432 TT=251.937 T1=252	SAT (TO) f=2323 TT=251.958 T1=252	SAT (TO) f=776 TT=251.925 T1=238.59	SAT (TO) f=1768 TT=248.513 T1=111.46	SAT (TO) f=2327 TT=244.258 T1=113.8	SAT (TO) f=2388 TT=250.342 T1=2.45	SAT (TO) f=2041 TT=1921.01 T1=207.47	SAT (TO) f=2031 TT=1966.09 T1=1351.62	? (TO) TT=260.063
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	choco-solver 4.0.5 par (2017-07-26) (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-07-26) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.1 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	sat4j-CSP 2017-07-05 (complete)
Vrp/Vrp-zinc-s1/ Vrp-B-n45-k6.xml	SAT TO f=715 TT=251.917 T1=134.03	SAT (TO) f=1652 TT=244.306 T1=77.96	SAT (TO) f=1263 TT=1920.47 T1=41.99	SAT (TO) f=1017 TT=1891.55 T1=243.97	SAT (TO) f=964 TT=1917.51 T1=237.36	SAT (TO) f=1483 TT=245.49 T1=37.36	SAT (TO) f=1483 TT=247.055 T1=38.19	SAT (TO) f=1483 TT=245.288 T1=37.25	SAT (TO) f=1547 TT=256.96 T1=4.14	SAT (TO) f=1547 TT=254.585 T1=3.58	SAT (TO) f=805 TT=258.832 T1=206.74	SAT (TO) f=1775 TT=251.924 T1=252	SAT (TO) f=1775 TT=251.872 T1=252	SAT (TO) f=1773 TT=240.004 T1=240	SAT (TO) f=715 TT=251.917 T1=134.03	SAT (TO) f=1737 TT=249.618 T1=95.89	SAT (TO) f=1691 TT=244.498 T1=104.9	SAT (TO) f=1745 TT=250.687 T1=5.76	SAT (TO) f=1504 TT=1921.36 T1=241.11	SAT (TO) f=1478 TT=1961.4 T1=1952.67	SAT (TO) f=2537 TT=252.163 T1=156.8
Vrp/Vrp-zinc-s1/ Vrp-B-n50-k8.xml	SAT TO f=1344 TT=251.899 T1=225.48	SAT (TO) f=2487 TT=243.791 T1=142.89	SAT (TO) f=1883 TT=1920.28 T1=55.01	SAT (TO) f=2087 TT=2001.35 T1=68.61	SAT (TO) f=2004 TT=2000.31 T1=229.57	SAT (TO) f=2287 TT=245.006 T1=73.91	SAT (TO) f=2287 TT=244.639 T1=71.08	SAT (TO) f=2287 TT=244.981 T1=70.26	SAT (TO) f=2281 TT=254.26 T1=59.18	SAT (TO) f=2281 TT=254.108 T1=60.13	SAT (TO) f=1635 TT=259.256 T1=213.06	SAT (TO) f=2798 TT=251.87 T1=252	SAT (TO) f=2798 TT=251.95 T1=252	SAT (TO) f=2785 TT=251.918 T1=252.01	SAT (TO) f=1344 TT=251.899 T1=225.48	SAT (TO) f=2561 TT=248.485 T1=90.33	SAT (TO) f=2637 TT=244.63 T1=215.65	SAT (TO) f=2766 TT=250.301 T1=2.51	SAT (TO) f=2305 TT=1921.34 T1=187.18	SAT (TO) f=2301 TT=1955.54 T1=1482.15	? (TO) TT=252.238
Vrp/Vrp-zinc-s1/ Vrp-B-n57-k9.xml	SAT TO f=1706 TT=251.967 T1=245.58	SAT (TO) f=3368 TT=243.858 T1=25.68	SAT (TO) f=2954 TT=1920.42 T1=16.94	SAT (TO) f=2795 TT=2001.99 T1=214.64	SAT (TO) f=2937 TT=2001.1 T1=156.46	SAT (TO) f=2937 TT=244.954 T1=138.24	SAT (TO) f=2937 TT=244.435 T1=134.4	SAT (TO) f=2937 TT=244.341 T1=136.38	SAT (TO) f=3014 TT=253.64 T1=18.83	SAT (TO) f=3014 TT=255.414 T1=18.48	SAT (TO) f=1866 TT=260.498 T1=234.27	SAT (TO) f=3561 TT=251.895 T1=252	SAT (TO) f=3561 TT=251.898 T1=252	SAT (TO) f=3270 TT=240.012 T1=240	SAT (TO) f=1706 TT=251.967 T1=245.58	SAT (TO) f=3691 TT=249.321 T1=1.56	SAT (TO) f=3238 TT=245.042 T1=22.94	SAT (TO) f=3238 TT=249.53 T1=23.46	SAT (TO) f=3028 TT=1921.38 T1=170.52	SAT (TO) f=3014 TT=1947.13 T1=1923.33	? (TO) TT=252.203
Vrp/Vrp-zinc-s1/ Vrp-B-n67-k10.xml	SAT TO f=1157 TT=251.936 T1=249.06	SAT (TO) f=3266 TT=244.32 T1=144.77	SAT (TO) f=1900 TT=1920.58 T1=248.37	SAT (TO) f=1717 TT=1993.55 T1=249.49	SAT (TO) f=2310 TT=1970.39 T1=251.9	SAT (TO) f=2898 TT=245.91 T1=14.16	SAT (TO) f=2898 TT=245.436 T1=13.87	SAT (TO) f=2898 TT=244.967 T1=14.1	SAT (TO) f=2774 TT=255.06 T1=104.1	SAT (TO) f=2774 TT=255.41 T1=105.74	SAT (TO) f=1555 TT=260.828 T1=226.14	SAT (TO) f=3334 TT=251.926 T1=252	SAT (TO) f=3334 TT=251.887 T1=252	SAT (TO) f=3314 TT=251.907 T1=252	SAT (TO) f=1157 TT=251.936 T1=249.06	SAT (TO) f=3556 TT=247.402 T1=1.73	SAT (TO) f=3223 TT=244.86 T1=208.92	SAT (TO) f=3284 TT=249.5 T1=3.97	SAT (TO) f=2795 TT=1921.42 T1=36.97	SAT (TO) f=2795 TT=1924.08 T1=619.06	? (TO) TT=257.388
Vrp/Vrp-zinc-s1/ Vrp-B-n68-k9.xml	SAT TO f=1388 TT=251.928 T1=249.65	SAT (TO) f=3865 TT=244.635 T1=123.04	SAT (TO) f=1840 TT=1920.62 T1=103.54	SAT (TO) f=2376 TT=1735.8 T1=248.08	SAT (TO) f=3039 TT=1997.43 T1=9.98	SAT (TO) f=3215 TT=244.98 T1=74.11	SAT (TO) f=3215 TT=244.966 T1=74.47	SAT (TO) f=3215 TT=245.427 T1=73.59	? (TO) TT=253.52	SAT (TO) f=3088 TT=254.647 T1=198.31	SAT (TO) f=1888 TT=260.96 T1=228.42	SAT (TO) f=3679 TT=251.891 T1=252	SAT (TO) f=3679 TT=251.95 T1=252	SAT (TO) f=3832 TT=240.009 T1=240	SAT (TO) f=1388 TT=251.928 T1=249.65	SAT (TO) f=4274 TT=249.509 T1=1.73	SAT (TO) f=3866 TT=245.302 T1=233.37	SAT (TO) f=3990 TT=249.283 T1=2.42	SAT (TO) f=3461 TT=1921.59 T1=96.28	SAT (TO) f=3461 TT=1919.21 T1=649.4	? (TO) TT=257.385
Vrp/Vrp-zinc-s1/ Vrp-B-n78-k10.xml	SAT TO f=1571 TT=251.902 T1=251.99	SAT (TO) f=4232 TT=246.104 T1=216.2	SAT (TO) f=1892 TT=1920.22 T1=117.27	SAT (TO) f=2126 TT=1998.73 T1=241.45	SAT (TO) f=2117 TT=1995.18 T1=244.75	SAT (TO) f=3294 TT=245.15 T1=24.3	SAT (TO) f=3294 TT=245.125 T1=24.59	SAT (TO) f=3294 TT=245.345 T1=24.84	SAT (TO) f=3453 TT=253.41 T1=157.97	SAT (TO) f=3453 TT=253.336 T1=156.06	SAT (TO) f=2357 TT=261.486 T1=233.05	SAT (TO) f=4381 TT=251.951 T1=252.01	SAT (TO) f=4381 TT=251.928 T1=252	SAT (TO) f=4232 TT=251.94 T1=252	SAT (TO) f=1571 TT=251.902 T1=251.99	SAT (TO) f=4547 TT=246.737 T1=1.93	SAT (TO) f=4119 TT=245.57 T1=71.73	SAT (TO) f=4343 TT=247.077 T1=3.41	SAT (TO) f=3701 TT=1921.45 T1=59.77	SAT (TO) f=3647 TT=1892.75 T1=741.98	? (TO) TT=260.22
Vrp/Vrp-zinc-s1/ Vrp-P-n50-k10.xml	SAT TO f=740 TT=251.902 T1=155.76	SAT (TO) f=1493 TT=243.394 T1=229.31	SAT (TO) f=848 TT=1920.09 T1=240.84	SAT (TO) f=875 TT=2002.43 T1=239.82	SAT (TO) f=925 TT=2002.99 T1=187.65	SAT (TO) f=1393 TT=244.78 T1=161.21	SAT (TO) f=1393 TT=245.227 T1=161.16	SAT (TO) f=1393 TT=245.113 T1=162.13	SAT (TO) f=1554 TT=256.66 T1=5.38	SAT (TO) f=1554 TT=256.36 T1=5.16	SAT (TO) f=780 TT=259.326 T1=165.21	SAT (TO) f=1571 TT=251.97 T1=252	SAT (TO) f=1571 TT=251.95 T1=252	SAT (TO) f=1581 TT=251.909 T1=252.01	SAT (TO) f=740 TT=251.902 T1=155.76	SAT (TO) f=1520 TT=249.806 T1=1.46	SAT (TO) f=1353 TT=244.627 T1=22.98	SAT (TO) f=1406 TT=250.721 T1=1.97	SAT (TO) f=1438 TT=1921.22 T1=201.34	SAT (TO) f=1453 TT=1956.17 T1=1503.41	? (TO) TT=252.128
Vrp/Vrp-zinc-s1/ Vrp-P-n65-k10.xml	SAT TO f=890 TT=251.92 T1=248.67	SAT (TO) f=2205 TT=244.712 T1=84.31	SAT (TO) f=1217 TT=1920.71 T1=240.47	SAT (TO) f=1149 TT=1994.56 T1=249.68	SAT (TO) f=1164 TT=1979.28 T1=250.52	SAT (TO) f=1920 TT=245.49 T1=30.67	SAT (TO) f=1920 TT=243.581 T1=32.46	SAT (TO) f=1920 TT=246.043 T1=30.44	SAT (TO) f=1796 TT=252.72 T1=68.19	SAT (TO) f=1796 TT=252.333 T1=66.61	SAT (TO) f=1067 TT=259.206 T1=231.66	SAT (TO) f=2166 TT=251.913 T1=252	SAT (TO) f=2166 TT=251.881 T1=252	SAT (TO) f=2087 TT=251.893 T1=252	SAT (TO) f=890 TT=251.92 T1=248.67	SAT (TO) f=2304 TT=248.37 T1=1.67	SAT (TO) f=2087 TT=245.986 T1=175.99	SAT (TO) f=2171 TT=249.805 T1=2.11	SAT (TO) f=1899 TT=1921.47 T1=86.25	SAT (TO) f=1888 TT=1926.24 T1=1698.18	? (TO) TT=260.13

Statistics		AbsCon-basic 2017-06-11 (complete)	choco-solver 4.0.5 par (2017-07-26) (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-07-26) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.1 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	sat4j-CSP 2017-07-05 (complete)
Number of times the solver is able to give the best known answer		155	0	194	206	121	121	122	110	110	115	0	124	108	224	48	138	142	161	160	66
Number of times the solver is the best solver from a complete solver point of view (i.e. best known answer and best TT time)		42	0	17	30	1	1	5	0	1	8	0	41	20	128	26	29	21	12	6	4