2017 XCSP3 competition: main track (CSP and COP, sequential and parallel solvers): results by benchmark

Results by benchmark for category all categories

This page displays the results of the different solvers for each benchmark for category all categories

REMINDER

Keep in mind that the 'Best result' columns only provide the best result given by one of the solvers. This 'Best result' may be wrong in case of an UNSATISFIABLE or OPTIMUM FOUND answer (because there's no efficient way to check these answers).

Description of a cell contents:

Cell example	Meaning
Answer	Solver result
f=...	value of the objective function for the model reported by the solver
TT=...	Total Time (TT): this is the CPU time (in seconds) used by the solver until termination. This time is only meaningful for complete solvers because incomplete solvers will always run until they time out

Remember that CPU time and wall clock time are two very different notions. The CPU time represents the time during which the instructions of the solver were executed by the processor. The wall clock time represents how much time ellapsed on the clock. For a same event, the CPU time may be either smaller or greater than the wall clock time depending on the number of threads of execution and the number of processors.

Meaning of some abbreviations:

Abbreviation	Meaning
f=...	Value of the objective function
TO	Time Out
MO	Mem. Out (out of memory)

Meaning of the different colors:

Color	Meaning
text	the solver cannot handle this instance
text	the solver gave no answer
text	the solver could give an answer (SAT)
text	the solver gave a definitive answer (OPTIMUM FOUND or UNSAT)
text	the solver performed better than the other ones on that instance (complete solvers point of view)
text	the solver performed better than the other ones on that instance (incomplete solvers point of view)
text	the solver was ended by a signal or other problem
text	the solver gave an incomplete answer
text	the solver gave a wrong answer

For better readability, you may choose to hide some solvers:
AbsCon-basic 2017-06-11 (complete)
BTD 2017-07-25 (complete)
BTD 2017-08-10 (complete)
choco-solver 4.0.5 par (2017-08-09) (complete)
choco-solver 4.0.5 par (2017-08-18) (complete)
choco-solver 4.0.5 seq (2017-08-09) (complete)
choco-solver 4.0.5 seq (2017-08-18) (complete)
choco-solver 5a (2017-07-26) (complete)
choco-solver 5a (2017-08-18) (complete)
Concrete 3.4 (complete)
cosoco 1.12 (complete)
cosoco-sat 1.12 (complete)
Mistral-2.0 2017-07-28 (complete)
OscaR - ALNS 2017-07-26 (complete)
OscaR - Conflict Ordering 2017-07-26 (complete)
OscaR - Hybrid 2017-07-26 (complete)
OscaR - Parallel with EPS 2017-07-26 (complete)
OscaR - Parallel with EPS 2017-08-22 (complete)
R1: AbsCon-basic 2017-06-11 (complete)
R1: BTD 2017-06-30 (complete)
R1: choco-solver 4.0.5 (2017-07-05) (complete)
R1: choco-solver 5a (2017-07-05) (complete)
R1: Concrete 3.4 (complete)
R1: cosoco 1.1 (complete)
R1: cosoco-sat 1.1 (complete)
R1: Mistral-2.0 2017-06-28 (complete)
R1: OscaR - ALNS 2017-06-30 (complete)
R1: OscaR - Conflict Ordering 2017-06-30 (complete)
R1: OscaR - Hybrid 2017-06-30 (complete)
R1: sat4j-CSP 2017-07-05 (complete)
sat4j-CSP 2017-07-05 (complete)

Bench name	Best results on this instance	AbsCon-basic 2017-06-11 (complete)	BTD 2017-07-25 (complete)	BTD 2017-08-10 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: BTD 2017-06-30 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
AllInterval/ AllInterval-m1-s1/ AllInterval-007.xml	SAT TT=0.006	SAT TT=1.016	SAT TT=0.005	SAT TT=0.006	SAT TT=1.033	SAT TT=1.012	SAT TT=0.883	SAT TT=0.876	SAT TT=0.986	SAT TT=1.015	SAT TT=6.058	SAT TT=0.012	SAT TT=0.012	SAT TT=0.015	No data	SAT TT=1.088	No data	SAT TT=6.394	SAT TT=5.904	SAT TT=1.166	SAT TT=0.008	SAT TT=1.12	SAT TT=1.182	SAT TT=7.092	SAT TT=0.022	SAT TT=0.016	SAT TT=0.026	No data	SAT TT=1.13	No data	SAT TT=0.947	SAT TT=0.693
AllInterval/ AllInterval-m1-s1/ AllInterval-012.xml	SAT TT=0.011	SAT TT=1.104	SAT TT=0.011	SAT TT=0.011	SAT TT=1.091	SAT TT=1.117	SAT TT=0.966	SAT TT=0.96	SAT TT=1.29	SAT TT=1.311	SAT TT=6.073	SAT TT=0.024	SAT TT=0.024	SAT TT=0.025	No data	SAT TT=1.127	No data	SAT TT=44.499	SAT TT=4.632	SAT TT=1.287	SAT TT=0.014	SAT TT=1.237	SAT TT=1.26	SAT TT=7.317	SAT TT=0.031	SAT TT=0.04	SAT TT=0.041	No data	SAT TT=1.184	No data	SAT TT=1.217	SAT TT=1.01
AllInterval/ AllInterval-m1-s1/ AllInterval-016.xml	SAT TT=0.02	SAT TT=1.239	SAT TT=0.02	SAT TT=0.02	SAT TT=1.24	SAT TT=1.202	SAT TT=1.249	SAT TT=1.226	SAT TT=2.667	SAT TT=2.903	SAT TT=6.487	SAT TT=0.047	SAT TT=0.033	SAT TT=0.032	No data	SAT TT=1.173	No data	SAT TT=17748.699	SAT TT=4.639	SAT TT=1.467	SAT TT=0.036	SAT TT=1.389	SAT TT=1.395	SAT TT=8.484	SAT TT=0.082	SAT TT=0.055	SAT TT=0.053	No data	SAT TT=1.172	No data	SAT TT=26.004	SAT TT=25.796
AllInterval/ AllInterval-m1-s1/ AllInterval-035.xml	SAT TT=0.066	SAT TT=1.813	SAT TT=0.314	SAT TT=0.318	SAT TT=1.838	SAT TT=1.833	SAT TT=2.491	SAT TT=3.126	SAT TT=17.734	SAT TT=48.578	SAT TT=8.299	? (TO) TT=2520.05	? (TO) TT=2520.02	SAT TT=0.066	No data	SAT TT=1.393	No data	SAT (TO) TT=19847.301	SAT TT=5.4	SAT TT=2.151	SAT TT=0.346	SAT TT=2.018	SAT TT=2.137	SAT TT=10.19	? (TO) TT=2400.07	? (TO) TT=2400.05	SAT TT=0.156	No data	SAT TT=1.484	No data	? (TO) TT=2400.16	? (TO) TT=2520.1
AllInterval/ AllInterval-m1-s1/ AllInterval-050.xml	SAT TT=0.095	SAT TT=2.557	SAT TT=1.591	SAT TT=1.602	SAT TT=2.184	SAT TT=2.096	SAT TT=8.424	SAT TT=8.77	SAT TT=221.266	SAT TT=8.33	SAT TT=10.712	? (TO) TT=2519.97	? (TO) TT=2520.04	SAT TT=0.095	No data	SAT TT=1.526	No data	SAT (TO) TT=19840.199	SAT TT=6.603	SAT TT=2.876	SAT TT=1.643	SAT TT=2.292	SAT TT=2.521	SAT TT=13.647	? (TO) TT=2400.02	? (TO) TT=2400.05	SAT TT=0.142	No data	SAT TT=1.765	No data	? (TO) TT=2400.09	? (TO) TT=2520.16
AllInterval/ AllInterval-m1-s1/ AllInterval-080.xml	SAT TT=0.16	SAT TT=6.041	SAT TT=14.175	SAT TT=14.152	SAT TT=3.046	SAT TT=2.887	SAT TT=21.578	SAT TT=21.691	? (TO) TT=2520.07	? (TO) TT=2520.17	? (TO) TT=2520.56	? (TO) TT=2520.02	? (TO) TT=2520.05	SAT TT=0.16	No data	SAT TT=1.786	No data	SAT (TO) TT=19878.5	SAT TT=7.925	SAT TT=6.222	SAT TT=14.003	SAT TT=3.31	SAT TT=3.143	? (TO) TT=2401.11	? (TO) TT=2400.01	? (TO) TT=2400.04	SAT TT=1.289	No data	SAT TT=2.126	No data	? (TO) TT=2402.52	? (TO) TT=2520.11
Bibd/Bibd-sc-mini/ Bibd-sc-03-03-01.xml	SAT TT=0.008	SAT TT=1.039	? (NS) TT=0.008	? (NS) TT=0.008	SAT TT=1.011	SAT TT=0.984	SAT TT=0.85	SAT TT=0.845	SAT TT=0.88	SAT TT=0.88	SAT TT=5.962	SAT TT=0.008	SAT TT=0.008	SAT TT=0.01	No data	SAT TT=1.052	No data	SAT TT=1.693	SAT TT=1.7	SAT TT=1.098	? (NS) TT=0.01	SAT TT=1.161	SAT TT=1.266	SAT TT=7.352	SAT TT=0.012	SAT TT=0.012	SAT TT=0.018	No data	SAT TT=1.114	No data	SAT TT=0.692	SAT TT=0.588
Bibd/Bibd-sc-open/ Bibd-sc-56-088-33-21-12.xml		? (problem) TT=69.342	? (NS) TT=1827.67	? (NS) TT=1844.55	? (TO) TT=19899.9	? (TO) TT=19899.301	? (TO) TT=2520.12	? (TO) TT=2520.04	? (TO) TT=2520.1	? (TO) TT=2520.11	? (TO) TT=2527.84	? (MO) TT=18.333	? (MO) TT=18.353	? (TO) TT=2519.75	No data	? (TO) TT=2520.12	No data	? TT=8910.17	? TT=8404.11	? (problem) TT=130.983	? (NS) TT=1855.82	? (TO) TT=2400.21	? (TO) TT=2400.45	? (TO) TT=2415.42	? (MO) TT=18.138	? (MO) TT=19.417	? (TO) TT=2400.03	No data	? (TO) TT=2400.09	No data	? (TO) TT=2400.23	? (TO) TT=2520.16
Bibd/Bibd-sc-open/ Bibd-sc-65-104-40-25-15.xml		? (problem) TT=89.605	? (TO) TT=2519.92	? (TO) TT=2519.73	? (TO) TT=19785.301	? (TO) TT=19783.801	? (TO) TT=2520.07	? (TO) TT=2520.07	? (TO) TT=2520.03	? (TO) TT=2520.08	? (TO) TT=2527.77	? (MO) TT=18.005	? (MO) TT=17.667	? (TO) TT=2519.98	No data	? (TO) TT=2520.11	No data	? (TO) TT=4970.33	? (TO) TT=4813.02	? (problem) TT=157.489	? (TO) TT=2400.04	? (TO) TT=2400.38	? (TO) TT=2400.09	? (TO) TT=2415.46	? (MO) TT=18.026	? (MO) TT=17.838	? (TO) TT=2400.07	No data	? (TO) TT=2400.12	No data	? (TO) TT=2416.21	? TT=1074.6
Bibd/Bibd-sc-open/ Bibd-sc-85-085-36-36-15.xml		? (problem) TT=107.957	? (TO) TT=2519.85	? (TO) TT=2519.68	? (TO) TT=19688.6	? (TO) TT=19676.199	? (TO) TT=2520.42	? (TO) TT=2520.06	? (TO) TT=2520.05	? (TO) TT=2520.36	? (TO) TT=2527.95	? TT=18.541	? (MO) TT=18.677	? (TO) TT=2520.11	No data	? (TO) TT=2520.1	No data	? (TO) TT=2548.34	? (TO) TT=2554.81	? (problem) TT=192.504	? (TO) TT=2400.07	? (TO) TT=2400.12	? (TO) TT=2400.69	? (TO) TT=2415.12	? (MO) TT=18.786	? (MO) TT=20.422	? (TO) TT=2400.07	No data	? (TO) TT=2400.03	No data	? (TO) TT=2416.07	? TT=2284.91
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	BTD 2017-07-25 (complete)	BTD 2017-08-10 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: BTD 2017-06-30 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
Bibd/Bibd-sc-stab2/ Bibd-sc-06-03-06.xml	SAT TT=0.87	SAT TT=4.02	? (NS) TT=0.292	? (NS) TT=0.291	SAT TT=3.7	SAT TT=3.78	SAT TT=2.033	SAT TT=2.005	SAT TT=3.142	SAT TT=3.116	SAT TT=15.076	SAT TT=6.56	SAT TT=1432.09	SAT TT=0.87	No data	SAT TT=6.224	No data	SAT TT=31.495	SAT TT=18.17	SAT TT=4.682	? (NS) TT=0.303	SAT TT=4.708	SAT TT=4.566	SAT TT=20.047	SAT TT=6.527	SAT TT=1437.2	SAT TT=0.946	No data	SAT TT=6.816	No data	SAT TT=6.831	SAT TT=7.308
Bibd/Bibd-sc-stab2/ Bibd-sc-10-05-04.xml	SAT TT=1.66	SAT TT=16.387	? (NS) TT=0.533	? (NS) TT=0.532	SAT TT=6.022	SAT TT=6.216	SAT TT=8.463	SAT TT=9.152	SAT TT=712.149	SAT TT=712.389	SAT TT=25.677	? (TO) TT=2520.01	? (TO) TT=2519.88	SAT TT=1.66	No data	? (TO) TT=2520.1	No data	SAT (TO) TT=19917	SAT TT=482.292	SAT TT=17.259	? (NS) TT=0.586	SAT TT=7.355	SAT TT=6.483	SAT TT=30.345	? (TO) TT=2400.08	? (TO) TT=2400.1	SAT TT=2.676	No data	? (TO) TT=2400.1	No data	SAT TT=21.921	SAT TT=21.694
Bibd/Bibd-sum-open/ Bibd-sum-39-057-19-13-06.xml		? (TO) TT=2520.12	? (NS) TT=0.119	? (NS) TT=0.119	? (TO) TT=19833	? (TO) TT=19883	? (TO) TT=2520.1	? (TO) TT=2520.04	? (TO) TT=2520.05	? (TO) TT=2520.07	? (TO) TT=2527.53	? (TO) TT=2520.06	? (TO) TT=2519.9	? (TO) TT=2519.75	No data	? (TO) TT=2520.09	No data	? (TO) TT=20056.801	? (TO) TT=20068.5	? (TO) TT=2400.37	? (NS) TT=0.166	? (TO) TT=2400.54	? (TO) TT=2400.05	? (TO) TT=2414.82	? (TO) TT=2400.09	? (TO) TT=2400.06	? (TO) TT=2400.05	No data	? (TO) TT=2400.08	No data	? (TO) TT=2400.22	? (TO) TT=2520.19
Bibd/Bibd-sum-open/ Bibd-sum-55-099-27-15-07.xml		? (TO) TT=2520.07	? (NS) TT=0.658	? (NS) TT=0.663	? (TO) TT=20044.801	? (TO) TT=20038.4	? (TO) TT=2520.04	? (TO) TT=2520.02	? (TO) TT=2520.04	? (TO) TT=2520.08	? (TO) TT=2527.79	? (TO) TT=2519.95	? (TO) TT=2520.06	? (TO) TT=2519.64	No data	? (TO) TT=2520.08	No data	? (TO) TT=20051.199	? (TO) TT=20047	? (TO) TT=2400.05	? (NS) TT=0.712	? (TO) TT=2400.19	? (TO) TT=2400.63	? (TO) TT=2415.35	? (TO) TT=2400.07	? (TO) TT=2400.03	? (TO) TT=2400.03	No data	? (TO) TT=2400.08	No data	? (TO) TT=2400.13	? (TO) TT=2520.17
Bibd/Bibd-sum-stab1/ Bibd-sum-12-03-04.xml	SAT TT=6.855	SAT TT=6.855	? (NS) TT=0.034	? (NS) TT=0.034	SAT TT=40.745	SAT TT=45.782	? (TO) TT=2520.03	? (TO) TT=2520.09	? (TO) TT=2520.04	? (TO) TT=2520.06	? (TO) TT=2521.7	? (TO) TT=2519.52	? (TO) TT=2518.86	SAT TT=67.782	No data	? (TO) TT=2520.07	No data	? (TO) TT=19986.1	? (TO) TT=19982.6	SAT TT=7.235	? (NS) TT=0.043	SAT TT=77.438	SAT TT=81.195	? (TO) TT=2404.84	? (TO) TT=2400.04	? (TO) TT=2400.05	SAT TT=714.601	No data	? (TO) TT=2400.05	No data	? (TO) TT=2400.26	? (TO) TT=2520.14
Bibd/Bibd-sum-stab2/ Bibd-sum-07-03-09.xml	SAT TT=0.731	? (TO) TT=2520.04	? (NS) TT=0.013	? (NS) TT=0.014	SAT TT=4.466	SAT TT=5.057	SAT TT=2.113	SAT TT=2.066	? (TO) TT=2520.1	? (TO) TT=2520.08	SAT TT=1221.33	? (TO) TT=2519.8	? (TO) TT=2520.03	SAT TT=0.731	No data	? (TO) TT=2520.03	No data	? (TO) TT=19885.801	? (TO) TT=19891.301	? (TO) TT=2400.1	? (NS) TT=0.022	SAT TT=4.578	SAT TT=4.317	SAT TT=1312.08	? (TO) TT=2400.01	? (TO) TT=2400.02	SAT TT=2.188	No data	? (TO) TT=2400.03	No data	? (TO) TT=2400.16	? (TO) TT=2520.15
Bibd/Bibd-sum-sym/ Bibd-sum-07-077-33-03-11.xml	SAT TT=2.025	? (TO) TT=2520.09	? (NS) TT=0.015	? (NS) TT=0.016	SAT TT=5.695	SAT TT=6.599	? (TO) TT=2520.07	? (TO) TT=2520.1	? (TO) TT=2520.11	? (TO) TT=2520.11	SAT TT=1030.16	? (TO) TT=2519.88	? (TO) TT=2519.85	SAT TT=2.025	No data	? (TO) TT=2520.08	No data	? (TO) TT=19883.4	? (TO) TT=19892	? (TO) TT=2400.1	? (NS) TT=0.028	SAT TT=5.598	SAT TT=5.756	SAT TT=1068.92	? (TO) TT=2400.05	? (TO) TT=2400.02	SAT TT=2.254	No data	? (TO) TT=2400.06	No data	SAT TT=803.186	SAT TT=815.123
Bibd/Bibd-sum-sym/ Bibd-sum-09-084-28-03-07.xml	SAT TT=5.59	SAT TT=6.263	? (NS) TT=0.022	? (NS) TT=0.022	SAT TT=11.588	SAT TT=9.103	SAT TT=480.274	SAT TT=477.957	? (TO) TT=2520.02	? (TO) TT=2520.03	SAT TT=716.654	? (TO) TT=2520	? (TO) TT=2519.96	SAT TT=5.59	No data	? (TO) TT=2520.04	No data	? (TO) TT=19957.801	? (TO) TT=19937.699	SAT TT=6.336	? (NS) TT=0.039	SAT TT=14.494	SAT TT=13.271	SAT TT=700.392	? (TO) TT=2400.02	? (TO) TT=2400.05	SAT TT=39.22	No data	? (TO) TT=2400.07	No data	? (TO) TT=2400.2	? (TO) TT=2520.1
BinPacking/ BinPacking-mdd-ft/ BinPacking-mdd-ft120-11.xml	SAT TO f=7 TT=2400.03 T1=35.2	SAT (TO) f=7 TT=2520.02 T1=294.26	No data	No data	SAT (TO) f=7 TT=20033.1 T1=1275.46	SAT (TO) f=7 TT=20031.5 T1=427.19	SAT (TO) f=0 TT=2520.1 T1=1435.09	SAT (TO) f=0 TT=2520.04 T1=1462.58	SAT (TO) f=0 TT=2520.06 T1=2086.6	SAT (TO) f=0 TT=2520.09 T1=2109.11	? (TO) TT=2521.31	? (TO) TT=2520.03	? (TO) TT=2520	SAT (TO) f=7 TT=2519.79 T1=580.43	SAT (TO) f=7 TT=2520.14 T1=258.63	SAT (TO) f=6 TT=2520.11 T1=12.89	SAT (TO) f=7 TT=2520.08 T1=1788.58	SAT (TO) f=7 TT=19960.4 T1=35.2	SAT (TO) f=7 TT=19962.1 T1=90.87	SAT (TO) f=7 TT=2400.03 T1=263.18	No data	SAT (TO) f=4 TT=2400.67 T1=210.73	SAT (TO) f=6 TT=2400.57 T1=194.59	? (TO) TT=2403.19	? (TO) TT=2400.09	? (TO) TT=2400.05	SAT (TO) f=7 TT=2400.06 T1=551.88	SAT (TO) f=7 TT=2400.13 T1=153.39	SAT (TO) f=6 TT=2400.12 T1=13.87	SAT (TO) f=7 TT=2400.04 T1=44.27	? (TO) TT=2400.22	? (TO) TT=2520.34
BinPacking/ BinPacking-mdd-ft/ BinPacking-mdd-ft120-13.xml	SAT TO f=7 TT=2400.03 T1=31.25	SAT (TO) f=7 TT=2520.03 T1=216.12	No data	No data	SAT (TO) f=7 TT=20054.801 T1=39.55	SAT (TO) f=7 TT=20040.6 T1=41.3	SAT (TO) f=2 TT=2520.11 T1=1418.66	SAT (TO) f=2 TT=2520.09 T1=1423.89	SAT (TO) f=2 TT=2520.04 T1=2351.75	SAT (TO) f=2 TT=2520.03 T1=2375.52	? (TO) TT=2521.3	? (TO) TT=2519.87	SAT (TO) f=0 TT=2520.07 T1=750.13	SAT (TO) f=7 TT=2519.66 T1=612.92	SAT (TO) f=7 TT=2520.12 T1=516.72	SAT (TO) f=5 TT=2520.06 T1=1078.06	SAT (TO) f=7 TT=2520.07 T1=1060.53	SAT (TO) f=7 TT=19947.699 T1=31.25	SAT (TO) f=7 TT=19958.9 T1=97.41	SAT (TO) f=7 TT=2400.03 T1=215.65	No data	SAT (TO) f=7 TT=2400.41 T1=167.25	SAT (TO) f=7 TT=2400.07 T1=163.82	? (TO) TT=2402.67	? (TO) TT=2400.06	? (TO) TT=2400.1	SAT (TO) f=7 TT=2400.07 T1=653.38	SAT (TO) f=7 TT=2400.09 T1=149.18	SAT (TO) f=5 TT=2400.06 T1=1106.4	SAT (TO) f=7 TT=2400.1 T1=628.98	? (TO) TT=2400.15	? (TO) TT=2520.25
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	BTD 2017-07-25 (complete)	BTD 2017-08-10 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: BTD 2017-06-30 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
BinPacking/ BinPacking-mdd-ft/ BinPacking-mdd-ft120-15.xml	SAT TO f=6 TT=2400.08 T1=24.02	SAT (TO) f=6 TT=2520.02 T1=2175.27	No data	No data	SAT (TO) f=3 TT=20024.199 T1=86.57	SAT (TO) f=6 TT=20024.301 T1=800.36	SAT (TO) f=1 TT=2520.12 T1=864.06	SAT (TO) f=1 TT=2520.06 T1=771.78	SAT (TO) f=0 TT=2520.06 T1=156.5	SAT (TO) f=0 TT=2520.06 T1=144.72	? (TO) TT=2521.37	? (TO) TT=2519.84	? (TO) TT=2519.91	SAT (TO) f=6 TT=2519.78 T1=35.3	SAT (TO) f=6 TT=2520.08 T1=1082.73	SAT (TO) f=4 TT=2520.07 T1=13	SAT (TO) f=6 TT=2520.03 T1=220.61	SAT (TO) f=6 TT=19996.5 T1=24.02	SAT (TO) f=6 TT=19984 T1=90.02	SAT (TO) f=6 TT=2400.12 T1=2186.6	No data	SAT (TO) f=4 TT=2400.54 T1=229.01	SAT (TO) f=4 TT=2400.34 T1=235.94	? (TO) TT=2402.47	? (TO) TT=2400.08	? (TO) TT=2400.09	SAT (TO) f=6 TT=2400.08 T1=35.48	SAT (TO) f=6 TT=2400.09 T1=350.91	SAT (TO) f=4 TT=2400.12 T1=13.04	SAT (TO) f=6 TT=2400.14 T1=954.62	? (TO) TT=2400.17	? (TO) TT=2520.26
BinPacking/ BinPacking-mdd-ft/ BinPacking-mdd-ft249-19.xml	SAT TO f=13 TT=2400.06 T1=1791.24	SAT (TO) f=3 TT=2520.04 T1=1356.07	No data	No data	? (TO) TT=20026	? (TO) TT=20031.1	? (TO) TT=2520.08	? (TO) TT=2520.03	? (TO) TT=2520.11	? (TO) TT=2520.05	? (TO) TT=2524.21	? (TO) TT=2519.84	? (TO) TT=2520.01	? (TO) TT=2520.03	SAT (TO) f=13 TT=2520.12 T1=2255.51	SAT (TO) f=3 TT=2520.06 T1=1772.67	SAT (TO) f=12 TT=2520.1 T1=2338.48	? (TO) TT=10182.9	SAT (TO) f=13 TT=11302.6 T1=2973	SAT (TO) f=3 TT=2400.12 T1=1298.57	No data	? (TO) TT=2400.35	? (TO) TT=2400.54	? (TO) TT=2407.02	? (TO) TT=2400.07	? (TO) TT=2400.05	? (TO) TT=2400.11	SAT (TO) f=12 TT=2400.15 T1=1212.37	SAT (TO) f=3 TT=2400.13 T1=1785.88	SAT (TO) f=13 TT=2400.06 T1=1791.24	? (TO) TT=2415.9	? TT=1695.85
BinPacking/ BinPacking-mdd-ft/ BinPacking-mdd-ft501-07.xml		? (TO) TT=2520.08	No data	No data	? (TO) TT=19785.699	? (TO) TT=19801.199	? (TO) TT=2520.07	? (TO) TT=2520.08	? (TO) TT=2520.09	? (TO) TT=2520.03	? (TO) TT=2525.88	? (TO) TT=2519.94	? (TO) TT=2520.03	? (TO) TT=2520.06	? (TO) TT=2520.07	? (TO) TT=2520.04	? (TO) TT=2520.05	? (TO) TT=2531.97	? (TO) TT=2538.9	? (TO) TT=2400.1	No data	? (TO) TT=2400.66	? (TO) TT=2400.44	? (TO) TT=2410.36	? (TO) TT=2400.02	? (TO) TT=2400.09	? (TO) TT=2400.08	? (TO) TT=2400.05	? (TO) TT=2400.1	? (TO) TT=2400.03	? (TO) TT=2416.08	? TT=1684.21
BinPacking/ BinPacking-mdd-sw100/ BinPacking-mdd-sw100-03.xml	SAT TO f=0 TT=2400.03 T1=0.39	SAT (TO) f=0 TT=2520.07 T1=5.59	No data	No data	SAT (TO) f=0 TT=20008.801 T1=1091.72	? (TO) TT=20018.199	? (TO) TT=2520.08	? (TO) TT=2520.04	? (TO) TT=2514.51	? (TO) TT=2520.07	SAT (TO) f=0 TT=2520.09 T1=26.23	SAT (TO) f=0 TT=2520.01 T1=0.39	? (TO) TT=2520.11	SAT (TO) f=0 TT=2519.77 T1=1352.7	? (TO) TT=2520.06	? (TO) TT=2526.4	? (TO) TT=2520.1	? (TO) TT=2579.96	? (TO) TT=2577.72	SAT (TO) f=0 TT=2400.03 T1=5.54	No data	? (TO) TT=2400.59	? (TO) TT=2400.69	SAT (TO) f=0 TT=2400.14 T1=30.71	? (TO) TT=2400.02	? (TO) TT=2400.07	SAT (TO) f=0 TT=2400.03 T1=1399.42	? (TO) TT=2400.04	? (TO) TT=2400.1	? (TO) TT=2400.08	? (TO) TT=2416.33	? TT=1672.34
BinPacking/ BinPacking-mdd-sw100/ BinPacking-mdd-sw100-43.xml	SAT TO f=0 TT=2400.08 T1=0.4	SAT (TO) f=0 TT=2520.02 T1=1945.41	No data	No data	? (TO) TT=20023	? (TO) TT=20022.9	? (TO) TT=2518.35	? (TO) TT=2520.1	? (TO) TT=2520.08	? (TO) TT=2520.11	? (TO) TT=2522.15	SAT (TO) f=0 TT=2519.91 T1=0.4	? (TO) TT=2519.83	? (TO) TT=2519.81	? (TO) TT=2526.72	? (TO) TT=2520.1	? (TO) TT=2520.06	? (TO) TT=2564.22	? (TO) TT=2555.6	SAT (TO) f=0 TT=2400.08 T1=1974.24	No data	? (TO) TT=2400.74	? (TO) TT=2400.06	? (TO) TT=2404.83	? (TO) TT=2400.03	? (TO) TT=2400.04	? (TO) TT=2400.06	? (TO) TT=2401.86	? (TO) TT=2400.07	? (TO) TT=2400.06	? (TO) TT=2415.8	? TT=1673.19
BinPacking/ BinPacking-mdd-sw100/ BinPacking-mdd-sw100-63.xml	SAT TO f=0 TT=2400.03 T1=4.87	SAT (TO) f=0 TT=2520.03 T1=5.06	No data	No data	? (TO) TT=20016.6	? (TO) TT=20016.199	? (TO) TT=2520.1	? (TO) TT=2520.04	? (TO) TT=2520.11	? (TO) TT=2520.03	? (TO) TT=2522.07	? (TO) TT=2519.79	? (TO) TT=2519.8	? (TO) TT=2520.02	? (TO) TT=2520.09	? (TO) TT=2520.11	? (TO) TT=2520.06	? (TO) TT=2556.84	? (TO) TT=2563.18	SAT (TO) f=0 TT=2400.03 T1=4.87	No data	? (TO) TT=2400.29	? (TO) TT=2400.37	? (TO) TT=2404.12	? (TO) TT=2400.06	? (TO) TT=2400.11	? (TO) TT=2400.05	? (TO) TT=2400.05	? (TO) TT=2400.05	? (TO) TT=2400.11	? (TO) TT=2416.29	? TT=1678.15
BinPacking/ BinPacking-mdd-sw100/ BinPacking-mdd-sw100-70.xml	SAT TO f=0 TT=2400.02 T1=5.24	SAT (TO) f=0 TT=2520.02 T1=5.25	No data	No data	? (TO) TT=20010.6	? (TO) TT=20011.4	? (TO) TT=2520.03	? (TO) TT=2520.08	? (TO) TT=2520.11	? (TO) TT=2520.08	? (TO) TT=2522.81	? (TO) TT=2519.93	? (TO) TT=2519.99	? (TO) TT=2519.66	? (TO) TT=2520.09	? (TO) TT=2520.12	? (TO) TT=2520.12	? (TO) TT=2567.93	? (TO) TT=2558.92	SAT (TO) f=0 TT=2400.02 T1=5.24	No data	? (TO) TT=2400.69	? (TO) TT=2400.39	? (TO) TT=2404.91	? (TO) TT=2400.08	? (TO) TT=2400.04	? (TO) TT=2400.07	? (TO) TT=2400.08	? (TO) TT=2400.07	? (TO) TT=2400.08	? (TO) TT=2416.52	? TT=1688.52
BinPacking/ BinPacking-mdd-sw100/ BinPacking-mdd-sw100-75.xml	SAT TO f=0 TT=2400.08 T1=4.94	SAT (TO) f=0 TT=2520.06 T1=5.25	No data	No data	? (TO) TT=20012.199	? (TO) TT=20017.699	? (TO) TT=2520.05	? (TO) TT=2520.05	? (TO) TT=2520.09	? (TO) TT=2520.05	? (TO) TT=2522.63	? (TO) TT=2519.78	? (TO) TT=2520.04	? (TO) TT=2519.82	? (TO) TT=2520.06	? (TO) TT=2520.08	? (TO) TT=2520.02	? (TO) TT=2559.98	? (TO) TT=2568.34	SAT (TO) f=0 TT=2400.08 T1=4.94	No data	? (TO) TT=2400.48	? (TO) TT=2400.66	? (TO) TT=2404.6	? (TO) TT=2400.01	? (TO) TT=2400.09	? (TO) TT=2400.02	? (TO) TT=2400.05	? (TO) TT=2400.03	? (TO) TT=2400.08	? (TO) TT=2416.23	? TT=1696.58
BinPacking/ BinPacking-mdd-sw100/ BinPacking-mdd-sw100-92.xml	SAT TO f=0 TT=2400.05 T1=0.41	SAT (TO) f=0 TT=2520.06 T1=5.53	No data	No data	SAT (TO) f=0 TT=20029.199 T1=792.8	SAT (TO) f=0 TT=20026.1 T1=77.47	? (TO) TT=2520.05	? (TO) TT=2520.05	? (TO) TT=2520.09	? (TO) TT=2520.09	? (TO) TT=2522.59	SAT (TO) f=0 TT=2519.87 T1=0.41	? (TO) TT=2520.05	SAT (TO) f=0 TT=2520.03 T1=694.41	? (TO) TT=2520.07	? (TO) TT=2520.04	? (TO) TT=2520.07	? (TO) TT=2577.83	? (TO) TT=2569.45	SAT (TO) f=0 TT=2400.08 T1=5.25	No data	SAT (TO) f=0 TT=2400.04 T1=125.49	SAT (TO) f=0 TT=2400.04 T1=134.82	? (TO) TT=2406.03	? (TO) TT=2400.06	? (TO) TT=2400.07	SAT (TO) f=0 TT=2400.05 T1=701.43	? (TO) TT=2400.07	? (TO) TT=2400.05	? (TO) TT=2400.05	? (TO) TT=2415.83	? TT=1639.62
BinPacking/ BinPacking-mdd-sw120/ BinPacking-mdd-sw120-20.xml	SAT TO f=0 TT=2400.1 T1=196.97	SAT (TO) f=0 TT=2520.06 T1=198.47	No data	No data	? (TO) TT=20002.301	? (TO) TT=20011.301	? (TO) TT=2520.06	? (TO) TT=2520.07	? (TO) TT=2520.06	? (TO) TT=2520.04	? (TO) TT=2522.73	? (TO) TT=2519.61	? (TO) TT=2520.02	? (TO) TT=2519.65	? (TO) TT=2520.12	? (TO) TT=2520.1	? (TO) TT=2520.93	? (TO) TT=2552.97	? (TO) TT=2602.55	SAT (TO) f=0 TT=2400.1 T1=196.97	No data	? (TO) TT=2400.05	? (TO) TT=2400.28	? (TO) TT=2405.86	? (TO) TT=2400.05	? (TO) TT=2400.08	? (TO) TT=2400.09	? (TO) TT=2400.09	? (TO) TT=2400.05	? (TO) TT=2400.11	? (TO) TT=2415.95	? TT=1685.64
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	BTD 2017-07-25 (complete)	BTD 2017-08-10 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: BTD 2017-06-30 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
BinPacking/ BinPacking-mdd-sw120/ BinPacking-mdd-sw120-30.xml	SAT TO f=0 TT=2400.08 T1=0.9	SAT (TO) f=0 TT=2520.04 T1=12.18	No data	No data	SAT (TO) f=0 TT=20012.1 T1=247.76	SAT (TO) f=0 TT=20043.5 T1=247.89	SAT (TO) f=0 TT=2520.02 T1=105.63	SAT (TO) f=0 TT=2520.07 T1=109.94	SAT (TO) f=0 TT=2520.02 T1=112.86	SAT (TO) f=0 TT=2520.05 T1=117.32	? (TO) TT=2523.02	SAT (TO) f=0 TT=2519.86 T1=0.9	SAT (TO) f=0 TT=2519.87 T1=1.66	SAT (TO) f=0 TT=2519.81 T1=1735.82	? (TO) TT=2520.1	? (TO) TT=2520.09	? (TO) TT=2520.04	? (TO) TT=2580.1	? (TO) TT=2576.02	SAT (TO) f=0 TT=2400.08 T1=12.11	No data	SAT (TO) f=0 TT=2400.57 T1=192.8	SAT (TO) f=0 TT=2400.32 T1=192.92	? (TO) TT=2405.78	? (TO) TT=2400.04	? (TO) TT=2400.04	SAT (TO) f=0 TT=2400.1 T1=1842.55	? (TO) TT=2400.07	? (TO) TT=2400.06	? (TO) TT=2400.1	? (TO) TT=2415.85	? TT=1673.27
BinPacking/ BinPacking-mdd-sw120/ BinPacking-mdd-sw120-63.xml	SAT TO f=0 TT=2400.06 T1=0.57	SAT (TO) f=0 TT=2520.09 T1=9.87	No data	No data	SAT (TO) f=0 TT=20020.199 T1=689.51	SAT (TO) f=0 TT=20026 T1=1899.61	? (TO) TT=2520.1	? (TO) TT=2520.07	? (TO) TT=2520.09	? (TO) TT=2520.02	SAT (TO) f=0 TT=2520.08 T1=2450.4	SAT (TO) f=0 TT=2520.08 T1=0.57	? (TO) TT=2519.65	SAT (TO) f=0 TT=2520.01 T1=652.23	? (TO) TT=2520.12	? (TO) TT=2520.12	? (TO) TT=2520.08	? (TO) TT=2580.43	? (TO) TT=2568.1	SAT (TO) f=0 TT=2400.08 T1=9.81	No data	? (TO) TT=2400.07	? (TO) TT=2400.02	? (TO) TT=2405.78	? (TO) TT=2400.05	? (TO) TT=2400.06	SAT (TO) f=0 TT=2400.06 T1=676.07	? (TO) TT=2400.07	? (TO) TT=2400.09	? (TO) TT=2400.08	? (TO) TT=2415.8	? TT=1760.7
BinPacking/ BinPacking-mdd-sw120/ BinPacking-mdd-sw120-83.xml	SAT TO f=0 TT=2400.07 T1=3.64	SAT (TO) f=0 TT=2520.02 T1=29.78	No data	No data	SAT (TO) f=0 TT=20001.5 T1=13.89	SAT (TO) f=0 TT=20010.4 T1=13.4	? (TO) TT=2520.07	? (TO) TT=2520.09	? (TO) TT=2520.12	? (TO) TT=2520.03	? (TO) TT=2522.7	SAT (TO) f=0 TT=2519.86 T1=3.64	? (TO) TT=2519.84	SAT (TO) f=0 TT=2519.79 T1=75.75	? (TO) TT=2520.09	? (TO) TT=2520.07	? (TO) TT=2520.09	? (TO) TT=2589.08	? (TO) TT=2583.64	SAT (TO) f=0 TT=2400.1 T1=29.68	No data	SAT (TO) f=0 TT=2400.23 T1=15.21	SAT (TO) f=0 TT=2400.57 T1=15.48	? (TO) TT=2406.06	? (TO) TT=2400.05	? (TO) TT=2400.06	SAT (TO) f=0 TT=2400.07 T1=77.08	? (TO) TT=2400.06	? (TO) TT=2400.1	? (TO) TT=2400.11	? (TO) TT=2416.14	? TT=1736.59
BinPacking/ BinPacking-mdd-sw120/ BinPacking-mdd-sw120-91.xml	SAT TO f=0 TT=2400.08 T1=2.15	SAT (TO) f=0 TT=2520.03 T1=9.78	No data	No data	SAT (TO) f=0 TT=20002.9 T1=11.81	SAT (TO) f=0 TT=20023.801 T1=12.33	SAT (TO) f=0 TT=2520.1 T1=39.39	SAT (TO) f=0 TT=2520.06 T1=38.96	SAT (TO) f=0 TT=2520.11 T1=38.87	SAT (TO) f=0 TT=2520.03 T1=40.37	SAT (TO) f=0 TT=2520.07 T1=729.87	SAT (TO) f=0 TT=2520.02 T1=7.19	SAT (TO) f=0 TT=2519.91 T1=12.29	SAT (TO) f=0 TT=2519.74 T1=2.16	? (TO) TT=2520.05	? (TO) TT=2520.12	? (TO) TT=2520.07	? (TO) TT=2574.1	? (TO) TT=2570.96	SAT (TO) f=0 TT=2400.1 T1=9.38	No data	SAT (TO) f=0 TT=2400.46 T1=12.87	SAT (TO) f=0 TT=2400.3 T1=14.3	SAT (TO) f=0 TT=2400.12 T1=773.96	? (TO) TT=2400.03	? (TO) TT=2400.03	SAT (TO) f=0 TT=2400.08 T1=2.15	? (TO) TT=2400.07	? (TO) TT=2400.1	? (TO) TT=2400.04	? (TO) TT=2416.38	? TT=1697.84
BinPacking/ BinPacking-mdd-sw120/ BinPacking-mdd-sw120-99.xml	SAT TO f=0 TT=2400.11 T1=188.58	SAT (TO) f=0 TT=2520.1 T1=198.48	No data	No data	SAT (TO) f=0 TT=20008.4 T1=1407.81	SAT (TO) f=0 TT=20008.801 T1=1039.39	? (TO) TT=2520.05	? (TO) TT=2520.12	? (TO) TT=2520.08	? (TO) TT=2520.04	SAT (TO) f=0 TT=2520.14 T1=1971.68	? (TO) TT=2519.78	? (TO) TT=2519.77	? (TO) TT=2520.02	? (TO) TT=2520.11	? (TO) TT=2520.04	? (TO) TT=2520.07	? (TO) TT=2564.41	? (TO) TT=2557.06	SAT (TO) f=0 TT=2400.11 T1=188.58	No data	? (TO) TT=2400.15	? (TO) TT=2400.44	SAT (TO) f=0 TT=2400.11 T1=1983.2	? (TO) TT=2400.08	? (TO) TT=2400.06	? (TO) TT=2400.06	? (TO) TT=2400.09	? (TO) TT=2400.12	? (TO) TT=2400.11	? (TO) TT=2416.34	? TT=1658.71
BinPacking/ BinPacking-sum-ft/ BinPacking-sum-ft060-11.xml	SAT TO f=2 TT=2400.03 T1=1.61	SAT (TO) f=2 TT=2520.08 T1=47.9	No data	No data	SAT (TO) f=2 TT=20078.5 T1=3.55	SAT (TO) f=2 TT=20068.1 T1=4.52	? (TO) TT=2520.09	? (TO) TT=2520.08	? (TO) TT=2520.16	? (TO) TT=2520.11	SAT (TO) f=2 TT=2520.1 T1=14.69	? (TO) TT=2520.08	? (TO) TT=2519.92	SAT (TO) f=2 TT=2520.09 T1=1.63	? (TO) TT=2520.06	? (TO) TT=2520.11	? (TO) TT=2520.05	? (TO) TT=19880.4	? (TO) TT=19894	SAT (TO) f=2 TT=2400.03 T1=47.88	No data	SAT (TO) f=2 TT=2400.57 T1=6.6	SAT (TO) f=2 TT=2400.34 T1=6.84	SAT (TO) f=2 TT=2400.11 T1=15.38	? (TO) TT=2400.04	? (TO) TT=2400.04	SAT (TO) f=2 TT=2400.06 T1=1.61	? (TO) TT=2400.06	? (TO) TT=2400.02	? (TO) TT=2400.06	SAT (TO) f=0 TT=2400.23 T1=1946.51	SAT (TO) f=0 TT=2520.27 T1=1887.51
BinPacking/ BinPacking-sum-s28/ BinPacking-sum-s28-561.xml		? (TO) TT=2520.06	No data	No data	? (TO) TT=20055.301	? (TO) TT=20053.1	? (TO) TT=2520.12	? (TO) TT=2520.07	? (TO) TT=2520.56	? (TO) TT=2520.11	? (TO) TT=2523.62	? (TO) TT=2520.04	? (TO) TT=2520.01	? (TO) TT=2519.99	? (TO) TT=2520.09	? (TO) TT=2520.08	? (TO) TT=2520.1	? (TO) TT=19788.699	? (TO) TT=19821.4	? (TO) TT=2400.12	No data	? (TO) TT=2400.7	? (TO) TT=2400.24	? (TO) TT=2406.43	? (TO) TT=2400.09	? (TO) TT=2400.04	? (TO) TT=2400.01	? (TO) TT=2400.11	? (TO) TT=2400.08	? (TO) TT=2400.09	? (TO) TT=2416.07	? (problem) TT=1423.87
BinPacking/ BinPacking-sum-skj1/ BinPacking-sum-n1c3w4d.xml	OPT f=8 TT=75.977 T1=34.04	SAT (TO) f=6 TT=2520.1 T1=805.05	No data	No data	SAT (TO) f=8 TT=20070.4 T1=430.84	SAT (TO) f=8 TT=20065.4 T1=441.84	? (TO) TT=2520.07	? (TO) TT=2520.06	? (TO) TT=2520.09	? (TO) TT=2520.04	? (TO) TT=2520.64	? (TO) TT=2520.01	? (TO) TT=2519.76	OPT f=8 TT=75.977 T1=34.04	? (TO) TT=2520.06	? (TO) TT=2520.1	? (TO) TT=2520.04	SAT (TO) f=5 TT=14647.5 T1=816.53	SAT (TO) f=5 TT=14920.1 T1=352.76	SAT (TO) f=6 TT=2400.07 T1=818.06	No data	SAT (TO) f=7 TT=2400.71 T1=45.43	SAT (TO) f=7 TT=2400.1 T1=44.68	? (TO) TT=2401.27	? (TO) TT=2400.09	? (TO) TT=2400.03	OPT f=8 TT=77.025 T1=34.69	? (TO) TT=2400.11	? (TO) TT=2400.04	? (TO) TT=2400.1	SAT (TO) f=1 TT=2403.18 T1=2283.06	? (TO) TT=2520.16
BinPacking/ BinPacking-sum-skj1/ BinPacking-sum-n1c3w4r.xml	OPT f=7 TT=1984.32 T1=1411.43	SAT (TO) f=4 TT=2520.11 T1=98.71	No data	No data	SAT (TO) f=7 TT=20091.6 T1=52.6	SAT (TO) f=7 TT=20077.699 T1=53.08	? (TO) TT=2520.05	? (TO) TT=2520.05	? (TO) TT=2520.09	? (TO) TT=2520.11	? (TO) TT=2520.59	? (TO) TT=2519.77	? (TO) TT=2520.06	SAT (TO) f=7 TT=2519.85 T1=3.83	SAT (TO) f=7 TT=2520.03 T1=44.05	SAT (TO) f=7 TT=2520.08 T1=45.14	SAT (TO) f=7 TT=2520.06 T1=46.94	SAT (TO) f=6 TT=11590.9 T1=60.53	SAT (TO) f=6 TT=18681 T1=9926.04	SAT (TO) f=4 TT=2400.04 T1=99.03	No data	SAT (TO) f=6 TT=2400.73 T1=183.79	SAT (TO) f=6 TT=2400.59 T1=250.3	? (TO) TT=2401.21	? (TO) TT=2400.06	? (TO) TT=2400.06	SAT (TO) f=7 TT=2400.05 T1=3.87	SAT (TO) f=7 TT=2400.09 T1=86.11	SAT (TO) f=7 TT=2400.13 T1=46.24	SAT (TO) f=7 TT=2400.07 T1=47.74	OPT f=7 TT=1984.32 T1=1411.43	OPT f=7 TT=2177.37 T1=1554.78
BinPacking/ BinPacking-sum-skj1/ BinPacking-sum-n3c3w4h.xml	SAT TO f=33 TT=20094.801 T1=5.57	? (TO) TT=2520.05	No data	No data	SAT (TO) f=33 TT=20102.199 T1=4.82	SAT (TO) f=33 TT=20094.801 T1=5.57	? (TO) TT=2520.03	? (TO) TT=2520.07	? (TO) TT=2520.11	? (TO) TT=2520.05	? (TO) TT=2521.1	? (TO) TT=2520.02	? (TO) TT=2519.87	? (TO) TT=2520.1	? (TO) TT=2520.06	? (TO) TT=2520.09	? (TO) TT=2520.11	? (TO) TT=19923.699	? (TO) TT=19940.1	? (TO) TT=2400.06	No data	SAT (TO) f=32 TT=2400.18 T1=1.74	SAT (TO) f=32 TT=2400.58 T1=2.02	? (TO) TT=2402.49	? (TO) TT=2400.07	? (TO) TT=2400.08	? (TO) TT=2400.03	? (TO) TT=2400.07	? (TO) TT=2400.08	? (TO) TT=2400.11	? (TO) TT=2400.19	? (TO) TT=2520.2
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	BTD 2017-07-25 (complete)	BTD 2017-08-10 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: BTD 2017-06-30 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
BinPacking/ BinPacking-sum-skj1/ BinPacking-sum-n4c2w2n.xml	SAT TO f=87 TT=20045.199 T1=6.95	? (TO) TT=2520.03	No data	No data	SAT (TO) f=87 TT=20029.199 T1=9.33	SAT (TO) f=87 TT=20045.199 T1=6.95	? (TO) TT=2520.05	? (TO) TT=2520.14	? (TO) TT=2520.02	? (TO) TT=2520.04	? (TO) TT=2522.02	? (TO) TT=2520.06	? (TO) TT=2519.83	? (TO) TT=2519.78	? (TO) TT=2520.07	? (TO) TT=2520.08	? (TO) TT=2520.08	? (TO) TT=19645.1	? (TO) TT=19647.801	? (TO) TT=2400.06	No data	SAT (TO) f=87 TT=2400.1 T1=11.52	SAT (TO) f=87 TT=2400.57 T1=13.38	? (TO) TT=2407.25	? (TO) TT=2400.08	? (TO) TT=2400.06	? (TO) TT=2400.11	? (TO) TT=2400.12	? (TO) TT=2400.05	? (TO) TT=2400.13	? (TO) TT=2415.89	? TT=1429.88
BinPacking/ BinPacking-sum-skj1/ BinPacking-sum-n4c3w4o.xml	SAT TO f=93 TT=20067.6 T1=5.41	? (TO) TT=2520.09	No data	No data	SAT (TO) f=93 TT=20062.6 T1=5.06	SAT (TO) f=93 TT=20067.6 T1=5.41	? (TO) TT=2520.02	? (TO) TT=2520.09	? (TO) TT=2520.06	? (TO) TT=2520.05	? (TO) TT=2521.97	? (TO) TT=2520.02	? (TO) TT=2519.89	? (TO) TT=2520.08	? (TO) TT=2520.07	? (TO) TT=2520.04	? (TO) TT=2520.08	? (TO) TT=19928.1	? (TO) TT=19910.801	? (TO) TT=2400.03	No data	SAT (TO) f=94 TT=2400.36 T1=68.68	SAT (TO) f=94 TT=2400.01 T1=67.53	? (TO) TT=2404.76	? (TO) TT=2400.08	? (TO) TT=2400.01	? (TO) TT=2400.07	? (TO) TT=2400.08	? (TO) TT=2400.1	? (TO) TT=2400.1	? (TO) TT=2416.38	? TT=1749.71
BinPacking/ BinPacking-sum-skj2/ BinPacking-sum-n1w4b2r0.xml		? (TO) TT=2520.07	No data	No data	? (TO) TT=20081.4	? (TO) TT=20064	? (TO) TT=2520.04	? (TO) TT=2520.12	? (TO) TT=2520.07	? (TO) TT=2520.06	? (TO) TT=2520.6	? (TO) TT=2519.75	? (TO) TT=2519.7	? (TO) TT=2520.02	? (TO) TT=2520.02	? (TO) TT=2520.08	? (TO) TT=2520.05	? (TO) TT=19876.699	? (TO) TT=19881.4	? (TO) TT=2400.06	No data	? (TO) TT=2400.04	? (TO) TT=2400.62	? (TO) TT=2401.11	? (TO) TT=2400.08	? (TO) TT=2400.07	? (TO) TT=2400.03	? (TO) TT=2400.1	? (TO) TT=2400.03	? (TO) TT=2400.09	? (TO) TT=2400.21	? (TO) TT=2520.15
BinPacking/ BinPacking-sum-skj2/ BinPacking-sum-n1w4b3r4.xml		? (TO) TT=2520.03	No data	No data	? (TO) TT=20075.9	? (TO) TT=20060.699	? (TO) TT=2520.08	? (TO) TT=2520.07	? (TO) TT=2520.13	? (TO) TT=2520.03	? (TO) TT=2520.7	? (TO) TT=2519.73	? (TO) TT=2520.04	? (TO) TT=2519.64	? (TO) TT=2520.07	? (TO) TT=2520.05	? (TO) TT=2520.09	? (TO) TT=19855.801	? (TO) TT=19882.5	? (TO) TT=2400.08	No data	? (TO) TT=2400.5	? (TO) TT=2400.45	? (TO) TT=2401.41	? (TO) TT=2400.04	? (TO) TT=2400.07	? (TO) TT=2400.05	? (TO) TT=2400.07	? (TO) TT=2400.1	? (TO) TT=2400.04	? (TO) TT=2400.18	? (TO) TT=2520.15
BinPacking/ BinPacking-sum-skj2/ BinPacking-sum-n2w3b3r1.xml	SAT TO f=0 TT=20085.1 T1=579.21	? (TO) TT=2520.04	No data	No data	? (TO) TT=20107.4	SAT (TO) f=0 TT=20085.1 T1=579.21	? (TO) TT=2520.12	? (TO) TT=2520.11	? (TO) TT=2520.02	? (TO) TT=2520.06	? (TO) TT=2520.98	? (TO) TT=2520.11	? (TO) TT=2519.78	? (TO) TT=2519.73	? (TO) TT=2520.11	? (TO) TT=2520.05	? (TO) TT=2520.1	? (TO) TT=19918	? (TO) TT=19899.4	? (TO) TT=2400.04	No data	? (TO) TT=2400.68	? (TO) TT=2400.43	? (TO) TT=2402.27	? (TO) TT=2400.07	? (TO) TT=2400.05	? (TO) TT=2400.06	? (TO) TT=2400.08	? (TO) TT=2400.09	? (TO) TT=2400.06	? (TO) TT=2416.16	? TT=1622.15
BinPacking/ BinPacking-sum-skj2/ BinPacking-sum-n2w4b2r4.xml	SAT TO f=0 TT=20086.801 T1=87.49	? (TO) TT=2520.08	No data	No data	SAT (TO) f=0 TT=20101.6 T1=6.44	SAT (TO) f=0 TT=20086.801 T1=87.49	? (TO) TT=2520.05	? (TO) TT=2520.1	? (TO) TT=2520.03	? (TO) TT=2520.09	? (TO) TT=2520.73	? (TO) TT=2520.04	? (TO) TT=2520.07	? (TO) TT=2519.79	? (TO) TT=2520.11	? (TO) TT=2520.07	? (TO) TT=2520.05	? (TO) TT=19880.6	? (TO) TT=19888.9	? (TO) TT=2400.05	No data	SAT (TO) f=0 TT=2400.3 T1=189.24	SAT (TO) f=0 TT=2400.35 T1=181.2	? (TO) TT=2401.51	? (TO) TT=2400.04	? (TO) TT=2400.09	? (TO) TT=2400.08	? (TO) TT=2400.11	? (TO) TT=2400.07	? (TO) TT=2400.04	? (TO) TT=2400.14	? (TO) TT=2520.19
BinPacking/ BinPacking-sum-skj2/ BinPacking-sum-n3w3b3r7.xml		? (TO) TT=2520.11	No data	No data	? (TO) TT=20075.1	? (TO) TT=20064.5	? (TO) TT=2520.04	? (TO) TT=2520.11	? (TO) TT=2520.08	? (TO) TT=2520.03	? (TO) TT=2521.82	? (TO) TT=2519.98	? (TO) TT=2519.88	? (TO) TT=2519.93	? (TO) TT=2520.05	? (TO) TT=2520.12	? (TO) TT=2520.09	? (TO) TT=19934	? (TO) TT=19958.199	? (TO) TT=2400.11	No data	? (TO) TT=2400.55	? (TO) TT=2400.38	? (TO) TT=2405.6	? (TO) TT=2400.04	? (TO) TT=2400.12	? (TO) TT=2400.01	? (TO) TT=2400.04	? (TO) TT=2400.02	? (TO) TT=2400.09	? (TO) TT=2416.33	? TT=1451.42
BinPacking/ BinPacking-sum-skj2/ BinPacking-sum-n3w4b3r3.xml		? (TO) TT=2520.07	No data	No data	? (TO) TT=20093.301	? (TO) TT=20094.9	? (TO) TT=2520.02	? (TO) TT=2520.08	? (TO) TT=2520.09	? (TO) TT=2520.04	? (TO) TT=2522.01	? (TO) TT=2520.05	? (TO) TT=2519.86	? (TO) TT=2520.03	? (TO) TT=2520.08	? (TO) TT=2520.11	? (TO) TT=2520.1	? (TO) TT=19935	? (TO) TT=19943.199	? (TO) TT=2400.1	No data	? (TO) TT=2400.75	? (TO) TT=2400.77	? (TO) TT=2405.31	? (TO) TT=2400.04	? (TO) TT=2400.03	? (TO) TT=2400.02	? (TO) TT=2400.11	? (TO) TT=2400.1	? (TO) TT=2400.02	? (TO) TT=2416.35	? (problem) TT=1482.34
BinPacking/ BinPacking-sum-skj2/ BinPacking-sum-n4w2b3r4.xml		? (TO) TT=2520.07	No data	No data	? (TO) TT=20028.801	? (TO) TT=20026.801	? (TO) TT=2520.05	? (TO) TT=2520.11	? (TO) TT=2520.12	? (TO) TT=2520.1	? (TO) TT=2525.9	? (TO) TT=2520.05	? (TO) TT=2519.8	? (TO) TT=2519.93	? (TO) TT=2520.11	? (TO) TT=2520.11	? (TO) TT=2520.09	? (TO) TT=19886.801	? (TO) TT=19896	? (TO) TT=2400.05	No data	? (TO) TT=2400.23	? (TO) TT=2400.34	? (TO) TT=2415.52	? (TO) TT=2400.04	? (TO) TT=2400.09	? (TO) TT=2400.1	? (TO) TT=2400.05	? (TO) TT=2400.06	? (TO) TT=2400.1	? (TO) TT=2416.11	? (problem) TT=1407.86
BinPacking/ BinPacking-sum-skj2/ BinPacking-sum-n4w3b2r8.xml		? (TO) TT=2520.06	No data	No data	? (TO) TT=20074.199	? (TO) TT=20054.199	? (TO) TT=2520.09	? (TO) TT=2520.04	? (TO) TT=2520.11	? (TO) TT=2520.04	? (TO) TT=2522.68	? (TO) TT=2520.04	? (TO) TT=2519.98	? (TO) TT=2519.93	? (TO) TT=2520.06	? (TO) TT=2520.05	? (TO) TT=2520.11	? (TO) TT=19925.301	? (TO) TT=19955.1	? (TO) TT=2400.04	No data	? (TO) TT=2400.37	? (TO) TT=2400.2	? (TO) TT=2406.06	? (TO) TT=2400.05	? (TO) TT=2400.01	? (TO) TT=2400.08	? (TO) TT=2400.12	? (TO) TT=2400.11	? (TO) TT=2400.08	? (TO) TT=2416.24	? TT=1464.75
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	BTD 2017-07-25 (complete)	BTD 2017-08-10 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: BTD 2017-06-30 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
BinPacking/ BinPacking-sum-skj2/ BinPacking-sum-n4w4b3r4.xml		? (TO) TT=2520.12	No data	No data	? (TO) TT=19986.1	? (TO) TT=19970	? (TO) TT=2520.13	? (TO) TT=2520.07	? (TO) TT=2520.06	? (TO) TT=2520.03	? (TO) TT=2524.37	? (TO) TT=2519.61	? (TO) TT=2519.87	? (TO) TT=2519.65	? (TO) TT=2520.03	? (TO) TT=2520.03	? (TO) TT=2520.06	? (TO) TT=19852.5	? (TO) TT=19844.301	? (TO) TT=2400.1	No data	? (TO) TT=2400.43	? (TO) TT=2400.77	? (TO) TT=2408.35	? (TO) TT=2400.01	? (TO) TT=2400.02	? (TO) TT=2400.1	? (TO) TT=2400.03	? (TO) TT=2400.02	? (TO) TT=2400.07	? (TO) TT=2416.15	? (problem) TT=1442.48
BinPacking/ BinPacking-sum-sw100/ BinPacking-sum-sw100-11.xml		? (TO) TT=2520.04	No data	No data	? (TO) TT=20104.4	? (TO) TT=20072.5	? (TO) TT=2520.06	? (TO) TT=2520.09	? (TO) TT=2520.07	? (TO) TT=2520.06	? (TO) TT=2520.65	? (TO) TT=2520.02	? (TO) TT=2519.69	? (TO) TT=2519.99	? (TO) TT=2520.12	? (TO) TT=2520.05	? (TO) TT=2520.02	? (TO) TT=19876.6	? (TO) TT=19869.9	? (TO) TT=2400.04	No data	? (TO) TT=2400.79	? (TO) TT=2400.33	? (TO) TT=2401.15	? (TO) TT=2400.02	? (TO) TT=2400.04	? (TO) TT=2400.06	? (TO) TT=2400.1	? (TO) TT=2400.07	? (TO) TT=2400.16	? (TO) TT=2400.13	? (TO) TT=2522.37
BinPacking/ BinPacking-tab-ft/ BinPacking-tab-ft060-06.xml	SAT TO f=3 TT=2400.01 T1=2.3	SAT (TO) f=3 TT=2520.11 T1=6.85	No data	No data	SAT (TO) f=3 TT=20097.699 T1=16.83	SAT (TO) f=3 TT=20080.9 T1=18.73	SAT (TO) f=3 TT=2520.1 T1=1718.91	SAT (TO) f=3 TT=2520.04 T1=1738.46	SAT (TO) f=3 TT=2520.05 T1=531.27	SAT (TO) f=3 TT=2520.11 T1=515.87	? (TO) TT=2520.63	SAT (TO) f=0 TT=2519.9 T1=0.27	SAT (TO) f=1 TT=2520.02 T1=624.93	SAT (TO) f=3 TT=2519.86 T1=2.3	SAT (TO) f=3 TT=2520.05 T1=7.94	SAT (TO) f=3 TT=2520.07 T1=960.94	SAT (TO) f=3 TT=2520.12 T1=9.76	SAT (TO) f=3 TT=19883.699 T1=3.37	SAT (TO) f=3 TT=19923.801 T1=12.9	SAT (TO) f=3 TT=2400.05 T1=6.86	No data	SAT (TO) f=3 TT=2400.03 T1=15.06	SAT (TO) f=3 TT=2400.24 T1=11.17	? (TO) TT=2401.14	? (TO) TT=2400.07	? (TO) TT=2400.04	SAT (TO) f=3 TT=2400.01 T1=2.3	SAT (TO) f=3 TT=2400.1 T1=26.96	SAT (TO) f=3 TT=2400.03 T1=1005.61	SAT (TO) f=3 TT=2400.04 T1=9.01	? (TO) TT=2400.17	? (TO) TT=2520.09
BinPacking/ BinPacking-tab-ft/ BinPacking-tab-ft120-10.xml	SAT TO f=7 TT=2400.06 T1=13.18	SAT (TO) f=7 TT=2520.07 T1=162.86	No data	No data	SAT (TO) f=5 TT=19951.301 T1=168.42	SAT (TO) f=7 TT=19983.4 T1=760.34	? (TO) TT=2520.05	? (TO) TT=2520.07	SAT (TO) f=0 TT=2520.12 T1=816.08	SAT (TO) f=0 TT=2520.12 T1=836.46	? (TO) TT=2521.16	? (TO) TT=2519.72	? (TO) TT=2519.8	SAT (TO) f=7 TT=2520.03 T1=434.99	SAT (TO) f=7 TT=2520.13 T1=696.62	SAT (TO) f=6 TT=2520.12 T1=17.85	SAT (TO) f=7 TT=2520.04 T1=454.26	SAT (TO) f=7 TT=20040.9 T1=13.18	SAT (TO) f=7 TT=20037.6 T1=128.59	SAT (TO) f=7 TT=2400.06 T1=161.71	No data	SAT (TO) f=7 TT=2400.74 T1=281.73	SAT (TO) f=7 TT=2400.57 T1=311.51	? (TO) TT=2402.8	? (TO) TT=2400.07	? (TO) TT=2400.07	SAT (TO) f=7 TT=2400.1 T1=408.99	SAT (TO) f=7 TT=2400.12 T1=1587.04	SAT (TO) f=6 TT=2400.03 T1=18.24	SAT (TO) f=7 TT=2400.09 T1=343.63	? TT=1125.02	? TT=493.992
BinPacking/ BinPacking-tab-ft/ BinPacking-tab-ft120-15.xml	SAT TO f=6 TT=2400.05 T1=11.02	SAT (TO) f=6 TT=2520.11 T1=277.3	No data	No data	SAT (TO) f=4 TT=19984.199 T1=489.28	SAT (TO) f=6 TT=19972.801 T1=1700.41	SAT (TO) f=0 TT=2520.02 T1=284.4	SAT (TO) f=0 TT=2520.09 T1=285.07	SAT (TO) f=0 TT=2520.07 T1=294.32	SAT (TO) f=0 TT=2520.08 T1=297.53	? (TO) TT=2521.3	? (TO) TT=2520.04	? (TO) TT=2520.1	SAT (TO) f=6 TT=2519.94 T1=664.59	SAT (TO) f=6 TT=2520.09 T1=355.67	SAT (TO) f=4 TT=2520.1 T1=2.99	SAT (TO) f=6 TT=2520.07 T1=164.82	SAT (TO) f=6 TT=20049.5 T1=11.02	SAT (TO) f=6 TT=20044.4 T1=69.87	SAT (TO) f=6 TT=2400.05 T1=280.98	No data	SAT (TO) f=6 TT=2400.06 T1=100.3	SAT (TO) f=6 TT=2400.3 T1=106.47	? (TO) TT=2402.82	? (TO) TT=2400.07	? (TO) TT=2400.1	SAT (TO) f=6 TT=2400.1 T1=709.56	SAT (TO) f=6 TT=2400.05 T1=774.5	SAT (TO) f=4 TT=2400.11 T1=2.81	SAT (TO) f=6 TT=2400.05 T1=306.28	? TT=1028.01	? TT=487.734
BinPacking/ BinPacking-tab-ft/ BinPacking-tab-ft120-19.xml	SAT TO f=6 TT=2400.07 T1=12.35	SAT (TO) f=6 TT=2520.06 T1=70.73	No data	No data	SAT (TO) f=5 TT=19997.699 T1=1438.54	SAT (TO) f=5 TT=19981.199 T1=742.1	SAT (TO) f=0 TT=2520.11 T1=412.64	SAT (TO) f=0 TT=2520.1 T1=413.63	SAT (TO) f=1 TT=2520.1 T1=1128.8	SAT (TO) f=1 TT=2520.07 T1=1145.49	? (TO) TT=2521.52	? (TO) TT=2520.03	? (TO) TT=2520.04	SAT (TO) f=6 TT=2519.68 T1=1396.71	SAT (TO) f=6 TT=2520.04 T1=695.1	SAT (TO) f=3 TT=2520.11 T1=3.57	SAT (TO) f=6 TT=2520.09 T1=309.64	SAT (TO) f=6 TT=20032.301 T1=12.35	SAT (TO) f=6 TT=20030 T1=55.61	SAT (TO) f=6 TT=2400.07 T1=70.54	No data	SAT (TO) f=6 TT=2400.25 T1=49.52	SAT (TO) f=6 TT=2400.61 T1=49.3	? (TO) TT=2402.98	? (TO) TT=2400.03	? (TO) TT=2400.03	SAT (TO) f=6 TT=2400.1 T1=1476.86	SAT (TO) f=6 TT=2400.12 T1=1206.06	SAT (TO) f=3 TT=2400.08 T1=3.54	SAT (TO) f=6 TT=2400.11 T1=301.37	? TT=874.731	? TT=354.819
BinPacking/ BinPacking-tab-ft/ BinPacking-tab-ft249-06.xml	SAT TO f=15 TT=2400.08 T1=354.02	SAT (TO) f=5 TT=2520.09 T1=2219.95	No data	No data	? (TO) TT=19847.5	? (TO) TT=19808.801	? (TO) TT=2520.04	? (TO) TT=2520.08	? (TO) TT=2520.09	? (TO) TT=2520.02	? (TO) TT=2523.31	? (TO) TT=2519.36	? (TO) TT=2520	? (TO) TT=2519.94	SAT (TO) f=15 TT=2520.06 T1=926.64	SAT (TO) f=13 TT=2520.1 T1=340.65	SAT (TO) f=15 TT=2520.08 T1=354.02	? (TO) TT=2934.58	SAT (TO) f=9 TT=19628 T1=2989.39	SAT (TO) f=5 TT=2400.09 T1=2234.85	No data	? TT=225.279	? TT=233.895	? (TO) TT=2408.99	? (TO) TT=2400.04	? (TO) TT=2400.06	? (TO) TT=2400.09	SAT (TO) f=15 TT=2400.08 T1=725.95	SAT (TO) f=13 TT=2400.06 T1=336.31	SAT (TO) f=14 TT=2400.12 T1=2300.63	? TT=970.002	? TT=444.478
BinPacking/ BinPacking-tab-ft/ BinPacking-tab-ft249-09.xml	SAT TO f=15 TT=2400.08 T1=312.32	SAT (TO) f=4 TT=2520.09 T1=1528.4	No data	No data	? (TO) TT=19803.199	? (TO) TT=19770.801	? (TO) TT=2520.07	? (TO) TT=2520.05	? (TO) TT=2520.11	? (TO) TT=2520.03	? (TO) TT=2527.76	? (TO) TT=2520.07	? (TO) TT=2520.05	? (TO) TT=2519.99	SAT (TO) f=15 TT=2520.11 T1=947.34	SAT (TO) f=11 TT=2520.11 T1=31.16	SAT (TO) f=15 TT=2520.05 T1=1576.38	? TT=865.23	SAT (TO) f=14 TT=19613.5 T1=4926.38	SAT (TO) f=4 TT=2400.07 T1=1531.78	No data	? TT=248.595	? TT=246.657	? (TO) TT=2414.42	? (TO) TT=2400.1	? (TO) TT=2400.02	? (TO) TT=2400.09	SAT (TO) f=15 TT=2400.1 T1=312.32	SAT (TO) f=11 TT=2400.07 T1=29.13	SAT (TO) f=15 TT=2400.08 T1=450.77	? TT=965.147	? TT=552.334
BinPacking/BinPacking-tab-fu/ BinPacking-tab-fu0120-17.xml	SAT TO f=22 TT=2400.06 T1=37.39	SAT (TO) f=21 TT=2520.12 T1=79.71	No data	No data	? (TO) TT=20005.9	? (TO) TT=20002.4	? (TO) TT=2520.11	? (TO) TT=2520.05	? (TO) TT=2520.07	? (TO) TT=2520.07	? (TO) TT=2521.7	? (TO) TT=2519.77	? (TO) TT=2520.03	SAT (TO) f=22 TT=2519.94 T1=164.99	SAT (TO) f=22 TT=2520.07 T1=480.07	SAT (TO) f=21 TT=2520.11 T1=4.38	SAT (TO) f=22 TT=2520.08 T1=127.57	SAT (TO) f=21 TT=15035.2 T1=31.58	SAT (TO) f=22 TT=15028.7 T1=2087.86	SAT (TO) f=21 TT=2400.11 T1=76.4	No data	? (TO) TT=2400.26	? (TO) TT=2400.12	? (TO) TT=2404.04	? (TO) TT=2400.08	? (TO) TT=2400.07	SAT (TO) f=22 TT=2400.07 T1=177.5	SAT (TO) f=22 TT=2400.06 T1=208.84	SAT (TO) f=21 TT=2400.06 T1=4.33	SAT (TO) f=22 TT=2400.09 T1=37.39	? (TO) TT=2415.76	? TT=2021.21
BinPacking/BinPacking-tab-fu/ BinPacking-tab-fu0250-08.xml	SAT TO f=41 TT=2400.07 T1=498.51	SAT (TO) f=41 TT=2520.06 T1=996.85	No data	No data	? (TO) TT=18866.801	? (TO) TT=18956.801	? (TO) TT=2520.09	? (TO) TT=2520.12	? (TO) TT=2520.04	? (TO) TT=2520.11	? (TO) TT=2524.41	? (TO) TT=2520.08	? (TO) TT=2520.08	? (TO) TT=2519.94	SAT (TO) f=41 TT=2520.14 T1=1657.69	SAT (TO) f=37 TT=2520.06 T1=44.88	SAT (TO) f=41 TT=2520.14 T1=498.51	SAT (TO) f=39 TT=17944 T1=832.87	SAT (TO) f=35 TT=17948.4 T1=17890.15	SAT (TO) f=41 TT=2400.11 T1=1011.17	No data	? (TO) TT=2400.42	? (TO) TT=2400.76	? (TO) TT=2408.97	? (TO) TT=2400.06	? (TO) TT=2400.06	? (TO) TT=2400.1	SAT (TO) f=41 TT=2400.2 T1=1051.17	SAT (TO) f=37 TT=2400.13 T1=45.44	SAT (TO) f=41 TT=2400.07 T1=647.49	? (TO) TT=2416.53	? TT=2087.12
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	BTD 2017-07-25 (complete)	BTD 2017-08-10 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: BTD 2017-06-30 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
BinPacking/BinPacking-tab-fu/ BinPacking-tab-fu0250-15.xml	SAT TO f=37 TT=2400.1 T1=1408.03	SAT (TO) f=37 TT=2520.05 T1=1416.99	No data	No data	? (TO) TT=18735.801	? (TO) TT=18797.6	? (TO) TT=2520.09	? (TO) TT=2520.1	? (TO) TT=2520.08	? (TO) TT=2520.09	? (TO) TT=2525.45	? (TO) TT=2519.76	? (TO) TT=2520.08	? (TO) TT=2519.67	? (TO) TT=2520.11	? (TO) TT=2520.06	? (TO) TT=2520.1	SAT (TO) f=36 TT=3898.33 T1=404.25	SAT (TO) f=36 TT=2944.32 T1=811.88	SAT (TO) f=37 TT=2400.1 T1=1408.03	No data	? TT=461.844	? TT=538.065	? (TO) TT=2412.34	? (TO) TT=2400.07	? (TO) TT=2400.06	? (TO) TT=2400.05	? (TO) TT=2400.08	? (TO) TT=2400.08	? (TO) TT=2400.1	? TT=2363.03	? TT=1198.71
BinPacking/BinPacking-tab-fu/ BinPacking-tab-fu0500-09.xml	SAT TO f=75 TT=2400.11 T1=1143.2	SAT (TO) f=56 TT=2520.07 T1=1809.93	No data	No data	? TT=820.424	? TT=750.465	? (TO) TT=2520.09	? (TO) TT=2520.27	? (TO) TT=2520.05	? (TO) TT=2520.13	? (TO) TT=2527.82	? (TO) TT=2519.84	? (TO) TT=2519.92	? (TO) TT=2520.19	SAT (TO) f=75 TT=2520.07 T1=1143.2	SAT (TO) f=69 TT=2520.12 T1=856.89	SAT (TO) f=75 TT=2520.12 T1=1572.69	? TT=2729.19	? TT=3444.42	SAT (TO) f=56 TT=2400.05 T1=1826.48	No data	? TT=435.212	? TT=423.516	? (TO) TT=2415.38	? (TO) TT=2400.05	? (TO) TT=2400.02	? (TO) TT=2400.18	SAT (TO) f=74 TT=2400.53 T1=1376.74	SAT (TO) f=69 TT=2400.11 T1=858.12	SAT (TO) f=75 TT=2400.11 T1=1364.08	? (TO) TT=2415.24	? TT=2322.61
BinPacking/BinPacking-tab-fu/ BinPacking-tab-fu0500-12.xml	SAT TO f=73 TT=2520.08 T1=2119.45	SAT (TO) f=71 TT=2520.09 T1=2181.37	No data	No data	? TT=706.875	? (TO) TT=11315.4	? (TO) TT=2520.05	? (TO) TT=2520.08	? (TO) TT=2520.06	? (TO) TT=2520.1	? (TO) TT=2527.92	? (TO) TT=2519.97	? (TO) TT=2520	? (TO) TT=2520.16	SAT (TO) f=73 TT=2520.08 T1=2119.45	SAT (TO) f=55 TT=2520.08 T1=175	SAT (TO) f=72 TT=2520.32 T1=1120.19	? TT=1736.15	? TT=2473.28	SAT (TO) f=71 TT=2400.08 T1=2258.66	No data	? TT=441.368	? TT=390.719	? (TO) TT=2415.51	? (TO) TT=2400.01	? (TO) TT=2400.06	? (TO) TT=2400.19	SAT (TO) f=72 TT=2400.07 T1=675.55	SAT (TO) f=55 TT=2400.13 T1=177.24	SAT (TO) f=72 TT=2400.14 T1=1176.25	? (TO) TT=2414.77	? TT=1727.8
BinPacking/ BinPacking-tab-sw100/ BinPacking-tab-sw100-15.xml	SAT TO f=0 TT=2400.09 T1=30.77	SAT (TO) f=0 TT=2520.05 T1=30.77	No data	No data	? (TO) TT=15932.3	? TT=559.353	? TT=146.398	SAT (TO) f=0 TT=2520.12 T1=175.38	SAT (TO) f=0 TT=2521.94 T1=187.98	? TT=142.932	? (TO) TT=2521.99	SAT (TO) f=0 TT=2520.09 T1=35.08	? (TO) TT=2520.03	SAT (TO) f=0 TT=2519.95 T1=34.85	SAT (TO) f=0 TT=2520.15 T1=65.99	SAT (TO) f=0 TT=2520.1 T1=64.98	SAT (TO) f=0 TT=2520.09 T1=60.39	? TT=1189.53	? TT=2200.96	SAT (TO) f=0 TT=2400.13 T1=32.46	No data	? TT=233.425	? TT=214.394	? (TO) TT=2406.46	? (TO) TT=2400.01	? (TO) TT=2400.08	SAT (TO) f=0 TT=2400.13 T1=34.96	SAT (TO) f=0 TT=2400.09 T1=67.95	SAT (TO) f=0 TT=2400.09 T1=75.84	SAT (TO) f=0 TT=2400.12 T1=63.88	? (TO) TT=2416.11	? TT=1688.13
BinPacking/ BinPacking-tab-sw100/ BinPacking-tab-sw100-74.xml	SAT TO f=1 TT=2400.06 T1=96.09	SAT (TO) f=1 TT=2520.04 T1=875.04	No data	No data	? TT=484.257	? TT=492.621	SAT (TO) f=0 TT=2520.12 T1=159.09	SAT (TO) f=0 TT=2520.09 T1=158.66	SAT (TO) f=0 TT=2520.14 T1=171.85	SAT (TO) f=0 TT=2520.08 T1=173.38	SAT (TO) f=1 TT=2520.06 T1=493.57	SAT (TO) f=0 TT=2520.08 T1=155.56	SAT (TO) f=0 TT=2520.04 T1=612.12	SAT (TO) f=0 TT=2520 T1=258.59	SAT (TO) f=1 TT=2520.07 T1=149.07	SAT (TO) f=0 TT=2520.09 T1=37.33	SAT (TO) f=1 TT=2520.04 T1=169.79	? TT=1172.01	? (TO) TT=16464.301	SAT (TO) f=1 TT=2400.12 T1=891.76	No data	? TT=219.443	? TT=225.216	SAT (TO) f=1 TT=2400.09 T1=491.1	? (TO) TT=2400.08	? (TO) TT=2400.01	SAT (TO) f=0 TT=2400.09 T1=262.84	SAT (TO) f=1 TT=2400.06 T1=102.24	SAT (TO) f=0 TT=2400.16 T1=35.32	SAT (TO) f=1 TT=2400.1 T1=96.09	? (TO) TT=2415.7	? TT=2081.48
BinPacking/ BinPacking-tab-sw120/ BinPacking-tab-sw120-10.xml	OPT f=1 TT=679.957 T1=85.19	OPT f=1 TT=679.957 T1=85.19	No data	No data	? TT=493.844	? TT=516.101	? TT=163.708	? TT=164.959	? TT=174.503	? TT=139.487	SAT (TO) f=0 TT=2520.09 T1=266.15	SAT (TO) f=0 TT=2520.09 T1=749.46	? (TO) TT=2520.01	SAT (TO) f=0 TT=2520.02 T1=2244.94	SAT (TO) f=0 TT=2523.74 T1=96.62	SAT (TO) f=1 TT=2520.11 T1=280.94	SAT (TO) f=0 TT=2520.14 T1=89.18	? TT=1525.24	? TT=3343.74	OPT f=1 TT=713.808 T1=88.23	No data	? TT=264.223	? TT=258.441	SAT (TO) f=0 TT=2400.09 T1=275.96	? (TO) TT=2400.07	? (TO) TT=2400.12	SAT (TO) f=0 TT=2400.33 T1=2284.31	SAT (TO) f=0 TT=2403.62 T1=102.14	SAT (TO) f=1 TT=2400.09 T1=303.71	SAT (TO) f=0 TT=2400.15 T1=117.46	? (TO) TT=2416.15	? (TO) TT=2527.99
BinPacking/ BinPacking-tab-sw120/ BinPacking-tab-sw120-31.xml	SAT TO f=0 TT=2400.04 T1=45.29	SAT (TO) f=0 TT=2520.09 T1=45.29	No data	No data	? TT=496.891	? TT=487.467	? TT=147.268	? TT=164.799	? TT=144.811	? TT=150.738	SAT (TO) f=0 TT=2520.09 T1=515.25	? (TO) TT=2520.09	? (TO) TT=2519.64	? (TO) TT=2520.14	SAT (TO) f=0 TT=2520.12 T1=82.67	SAT (TO) f=0 TT=2520.16 T1=78.31	SAT (TO) f=0 TT=2520.07 T1=87.99	? TT=1473.98	? TT=2131.79	SAT (TO) f=0 TT=2400.04 T1=48.74	No data	? TT=215.772	? TT=212.066	SAT (TO) f=0 TT=2400.08 T1=622.26	? (TO) TT=2400.06	? (TO) TT=2400.1	? (TO) TT=2400.47	SAT (TO) f=0 TT=2400.09 T1=80.7	SAT (TO) f=0 TT=2400.12 T1=82.79	SAT (TO) f=0 TT=2400.15 T1=79.64	? (TO) TT=2416.29	? TT=1519.73
BinPacking/ BinPacking-tab-sw120/ BinPacking-tab-sw120-41.xml	SAT TO f=0 TT=2400.14 T1=47.6	SAT (TO) f=0 TT=2520.05 T1=47.6	No data	No data	? TT=483.238	? TT=446.89	? TT=159.307	? TT=149.041	? TT=167.691	? TT=159.293	? (TO) TT=2522.36	? (TO) TT=2520.09	? (TO) TT=2519.88	? (TO) TT=2520.22	SAT (TO) f=0 TT=2520.1 T1=85.74	SAT (TO) f=0 TT=2520.09 T1=90.01	SAT (TO) f=0 TT=2520.13 T1=88.16	? TT=1118.87	? TT=2513.38	SAT (TO) f=0 TT=2400.17 T1=50.93	No data	? TT=241.483	? TT=240.988	? (TO) TT=2405.32	? (TO) TT=2400.09	? (TO) TT=2400.06	? (TO) TT=2400.37	SAT (TO) f=0 TT=2406.17 T1=92.48	SAT (TO) f=0 TT=2400.14 T1=87.08	SAT (TO) f=0 TT=2403.61 T1=88.75	? (TO) TT=2416.24	? TT=1176.04
BinPacking/ BinPacking-tab-sw120/ BinPacking-tab-sw120-50.xml	SAT TO f=0 TT=2400.08 T1=51.49	SAT (TO) f=0 TT=2520.06 T1=62.79	No data	No data	? TT=507.982	? TT=509.645	? TT=155.335	? TT=156.367	? TT=157.693	? TT=166.441	SAT (TO) f=0 TT=2520.15 T1=2391.59	SAT (TO) f=0 TT=2520.07 T1=51.49	? (TO) TT=2520.03	? (TO) TT=2520.12	SAT (TO) f=0 TT=2520.14 T1=83.79	SAT (TO) f=0 TT=2520.33 T1=87.66	SAT (TO) f=0 TT=2520.1 T1=89.87	? TT=1011.76	? TT=2547.81	SAT (TO) f=0 TT=2414.83 T1=66.31	No data	? TT=229.384	? TT=221.764	? (TO) TT=2406.68	? (TO) TT=2400.09	? (TO) TT=2400.04	? (TO) TT=2400.49	SAT (TO) f=0 TT=2408.39 T1=90.98	SAT (TO) f=0 TT=2400.08 T1=102.74	SAT (TO) f=0 TT=2400.13 T1=89.85	? (TO) TT=2415.66	? (TO) TT=2527.92
Blackhole/ Blackhole-m1-s04/ Blackhole-04-3-07.xml	SAT TT=0.018	SAT TT=1.569	? (NS) TT=0.006	? (NS) TT=0.006	SAT TT=1.463	SAT TT=1.445	SAT TT=0.937	SAT TT=0.915	SAT TT=0.961	SAT TT=0.979	SAT TT=6.597	SAT TT=166.101	SAT TT=35.034	SAT TT=0.018	No data	SAT TT=1.196	No data	SAT TT=18.545	SAT TT=4.957	SAT TT=1.886	? (NS) TT=0.01	SAT TT=1.544	SAT TT=1.554	SAT TT=8.32	SAT TT=166.962	SAT TT=35.588	SAT TT=0.03	No data	SAT TT=1.264	No data	SAT TT=3.598	SAT TT=2.943
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	BTD 2017-07-25 (complete)	BTD 2017-08-10 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: BTD 2017-06-30 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
Blackhole/ Blackhole-m1-s04/ Blackhole-04-3-09.xml	SAT TT=0.018	SAT TT=2.357	? (NS) TT=0.007	? (NS) TT=0.006	SAT TT=1.429	SAT TT=1.468	SAT TT=0.95	SAT TT=0.952	SAT TT=0.977	SAT TT=0.967	SAT TT=6.898	SAT TT=1714	SAT TT=406.955	SAT TT=0.018	No data	SAT TT=1.195	No data	SAT TT=15.737	SAT TT=4.766	SAT TT=2.815	? (NS) TT=0.013	SAT TT=1.596	SAT TT=1.536	SAT TT=8.001	SAT TT=1704.28	SAT TT=406.688	SAT TT=0.03	No data	SAT TT=1.214	No data	SAT TT=2.902	SAT TT=2.386
Blackhole/ Blackhole-m1-s07/ Blackhole-07-3-10.xml	SAT TT=0.035	? (TO) TT=2520.05	? (NS) TT=0.007	? (NS) TT=0.007	SAT TT=2.106	SAT TT=1.891	SAT TT=1.222	SAT TT=1.223	SAT TT=2.117	SAT TT=2.104	SAT TT=7.572	? (TO) TT=2520.01	? (TO) TT=2520	SAT TT=0.035	No data	SAT TT=2.702	No data	SAT TT=11889.1	SAT TT=6.488	? (TO) TT=2400.12	? (NS) TT=0.012	SAT TT=2.111	SAT TT=2.297	SAT TT=9.398	? (TO) TT=2400.04	? (TO) TT=2400.04	SAT TT=0.077	No data	SAT TT=3.098	No data	SAT TT=12.237	SAT TT=11.754
Blackhole/ Blackhole-m1-s10/ Blackhole-10-3-01.xml	SAT TT=0.071	? (TO) TT=2520.03	? (NS) TT=0.008	? (NS) TT=0.008	SAT TT=2.841	SAT TT=2.894	SAT TT=1.202	SAT TT=1.197	SAT TT=1.385	SAT TT=1.405	SAT TT=8.707	? (TO) TT=2519.83	? (TO) TT=2520.06	SAT TT=0.071	No data	SAT TT=3.26	No data	SAT (TO) TT=19853.9	SAT TT=7.197	? (TO) TT=2400.05	? (NS) TT=0.011	SAT TT=2.777	SAT TT=2.719	SAT TT=11.468	? (TO) TT=2400.04	? (TO) TT=2400.05	SAT TT=0.106	No data	SAT TT=3.187	No data	SAT TT=68.452	SAT TT=70.163
Blackhole/ Blackhole-m1-s10/ Blackhole-10-3-04.xml	SAT TT=0.09	? (TO) TT=2520.07	? (NS) TT=0.008	? (NS) TT=0.008	SAT TT=3.439	SAT TT=3.392	SAT TT=1.735	SAT TT=1.77	SAT TT=5.359	SAT TT=5.864	SAT TT=8.781	? (TO) TT=2520.02	? (TO) TT=2519.91	SAT TT=0.09	No data	SAT TT=1.68	No data	SAT (TO) TT=19852.699	SAT TT=8.029	? (TO) TT=2400.06	? (NS) TT=0.014	SAT TT=3.731	SAT TT=4.15	SAT TT=10.275	? (TO) TT=2400.05	? (TO) TT=2400.06	SAT TT=0.181	No data	SAT TT=1.94	No data	SAT TT=91.493	SAT TT=89.668
Blackhole/ Blackhole-m1-s13/ Blackhole-13-3-01.xml	UNSAT TT=0.117	? (TO) TT=2520.11	? (NS) TT=0.01	? (NS) TT=0.01	UNSAT TT=2.811	UNSAT TT=2.781	UNSAT TT=1.191	UNSAT TT=1.194	UNSAT TT=1.339	UNSAT TT=1.292	UNSAT TT=7.889	? (TO) TT=2519.19	? (TO) TT=2519.73	UNSAT TT=0.117	No data	UNSAT TT=1.514	No data	UNSAT TT=1.563	UNSAT TT=1.59	? (TO) TT=2400.02	? (NS) TT=0.018	UNSAT TT=2.59	UNSAT TT=2.668	UNSAT TT=9.776	? (TO) TT=2400.05	? (TO) TT=2400.01	UNSAT TT=0.168	No data	UNSAT TT=1.831	No data	UNSAT TT=9.286	UNSAT TT=5.885
Blackhole/ Blackhole-xcsp2-s04/ Blackhole-4-04-2_X2.xml	UNSAT TT=0.225	UNSAT TT=2.136	UNSAT TT=0.34	UNSAT TT=0.34	UNSAT TT=11.764	UNSAT TT=7.971	UNSAT TT=2.971	UNSAT TT=2.883	UNSAT TT=4.843	UNSAT TT=5.041	UNSAT TT=15.437	UNSAT TT=0.225	UNSAT TT=0.141	UNSAT TT=1.486	No data	UNSAT TT=3.016	No data	UNSAT TT=13.524	UNSAT TT=12.072	UNSAT TT=2.672	UNSAT TT=0.391	UNSAT TT=11.393	UNSAT TT=11.085	UNSAT TT=16.307	UNSAT TT=0.277	UNSAT TT=0.181	UNSAT TT=1.69	No data	UNSAT TT=3.179	No data	? (TO) TT=2400.12	? (TO) TT=2520.1
Blackhole/ Blackhole-xcsp2-s04/ Blackhole-4-04-9_X2.xml	UNSAT TT=0.228	UNSAT TT=2.174	UNSAT TT=0.338	UNSAT TT=0.341	UNSAT TT=10.977	UNSAT TT=13.173	UNSAT TT=3.058	UNSAT TT=2.947	UNSAT TT=4.968	UNSAT TT=5.639	UNSAT TT=13.456	UNSAT TT=0.228	UNSAT TT=0.14	UNSAT TT=1.491	No data	UNSAT TT=3.142	No data	UNSAT TT=11.977	UNSAT TT=14.125	UNSAT TT=2.656	UNSAT TT=0.397	UNSAT TT=12.824	UNSAT TT=11.579	UNSAT TT=17.166	UNSAT TT=0.252	UNSAT TT=0.198	UNSAT TT=1.599	No data	UNSAT TT=3.346	No data	? (TO) TT=2400.16	? (TO) TT=2520.12
Blackhole/ Blackhole-xcsp2-s07/ Blackhole-4-07-6_X2.xml	UNSAT TT=2382.8	? (TO) TT=2520.09	? (TO) TT=2519.76	? (TO) TT=2519.81	? (TO) TT=20076.1	? (TO) TT=20074.199	? (TO) TT=2520.08	? (TO) TT=2520.09	? (TO) TT=2520.03	? (TO) TT=2520.1	? (TO) TT=2520.67	? (TO) TT=2519.92	? (TO) TT=2519.69	? (TO) TT=2520.06	No data	? (TO) TT=2520.07	No data	? (TO) TT=19874.699	? (TO) TT=19862.5	? (TO) TT=2400.03	? TT=2400.01	? (TO) TT=2400.48	? (TO) TT=2400.12	? (TO) TT=2401.44	? (TO) TT=2400.08	? (TO) TT=2400.09	? (TO) TT=2400.06	No data	? (TO) TT=2400.05	No data	UNSAT TT=2382.8	? (TO) TT=2520.14
Blackhole/ Blackhole-xcsp2-s07/ Blackhole-4-07h-5_X2.xml		? (TO) TT=2520.02	? (TO) TT=2519.98	? (TO) TT=2519.77	? (TO) TT=20076.4	? (TO) TT=20072.9	? (TO) TT=2520.07	? (TO) TT=2520.09	? (TO) TT=2520.11	? (TO) TT=2520.02	? (TO) TT=2520.57	? (TO) TT=2519.94	? (TO) TT=2519.85	? (TO) TT=2519.67	No data	? (TO) TT=2520.11	No data	? (TO) TT=19853.301	? (TO) TT=19846.801	? (TO) TT=2400.07	? TT=2400.01	? (TO) TT=2400.11	? (TO) TT=2400.32	? (TO) TT=2401.39	? (TO) TT=2400.08	? (TO) TT=2400.07	? (TO) TT=2400.04	No data	? (TO) TT=2400.06	No data	? (TO) TT=2400.14	? (TO) TT=2520.11
Blackhole/ Blackhole-xcsp2-s07/ Blackhole-4-07h-9_X2.xml		? (TO) TT=2520.03	? (TO) TT=2520	? (TO) TT=2519.8	? (TO) TT=20076.699	? (TO) TT=20063.199	? (TO) TT=2520.12	? (TO) TT=2520.04	? (TO) TT=2520.07	? (TO) TT=2520.1	? (TO) TT=2520.64	? (TO) TT=2519.83	? (TO) TT=2519.38	? (TO) TT=2519.73	No data	? (TO) TT=2520.12	No data	? (TO) TT=19855.4	? (TO) TT=19855.801	? (TO) TT=2400.05	? TT=2400.01	? (TO) TT=2400.52	? (TO) TT=2400.58	? (TO) TT=2401.5	? (TO) TT=2400.09	? (TO) TT=2400.1	? (TO) TT=2400.05	No data	? (TO) TT=2400.1	No data	? (TO) TT=2400.07	? (TO) TT=2520.13
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	BTD 2017-07-25 (complete)	BTD 2017-08-10 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: BTD 2017-06-30 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
Blackhole/ Blackhole-xcsp2-s13/ Blackhole-4-13-2_X2.xml		? (TO) TT=2520.08	? (TO) TT=2519.8	? (TO) TT=2519.78	? (TO) TT=20096.6	? (TO) TT=20097.6	? (TO) TT=2520.06	? (TO) TT=2520.11	? (TO) TT=2520.06	? (TO) TT=2520.06	? (TO) TT=2521.01	? (TO) TT=2519.91	? (TO) TT=2519.87	? (TO) TT=2519.89	No data	? (TO) TT=2520.06	No data	? (TO) TT=19846.9	? (TO) TT=19842.6	? (TO) TT=2400.07	? TT=2400.05	? (TO) TT=2400.13	? (TO) TT=2400.46	? (TO) TT=2402.61	? (TO) TT=2400.07	? (TO) TT=2400.06	? (TO) TT=2400.05	No data	? (TO) TT=2400.03	No data	? (TO) TT=2401.4	? (TO) TT=2520.1
BusScheduling/ BusScheduling-cnt-s1/ BusScheduling-cnt-c1a.xml	SAT TO f=29 TT=2400.1 T1=67.42	SAT (TO) f=30 TT=2520.1 T1=663.15	No data	No data	SAT (TO) f=36 TT=20100.199 T1=2.54	SAT (TO) f=36 TT=20095.5 T1=2.51	? (TO) TT=2520.03	? (TO) TT=2520.07	? (TO) TT=2520.1	? (TO) TT=2520.06	SAT (TO) f=29 TT=2520.08 T1=69.25	? (TO) TT=2520.09	? (TO) TT=2520.03	SAT (TO) f=29 TT=2520.07 T1=182.11	? (TO) TT=2520.08	? TT=2519.53	? (TO) TT=2520.2	SAT (TO) f=31 TT=19921.5 T1=249.13	SAT (TO) f=31 TT=19914.9 T1=2007.88	SAT (TO) f=30 TT=2400.03 T1=675.77	No data	SAT (TO) f=35 TT=2400.46 T1=142.09	SAT (TO) f=35 TT=2400.51 T1=139.08	SAT (TO) f=29 TT=2400.14 T1=67.42	? (TO) TT=2400.09	? (TO) TT=2400.08	SAT (TO) f=29 TT=2400.1 T1=176.2	? (TO) TT=2400.1	? (TO) TT=2400.1	? (TO) TT=2400.12	? (TO) TT=2400.19	? (TO) TT=2520.25
BusScheduling/ BusScheduling-cnt-s1/ BusScheduling-cnt-c1.xml	SAT TO f=28 TT=2400.07 T1=35.09	SAT (TO) f=29 TT=2520.11 T1=2462.69	No data	No data	SAT (TO) f=27 TT=20104.1 T1=1285.24	SAT (TO) f=28 TT=20099.6 T1=705.8	? (TO) TT=2520.12	? (TO) TT=2520.02	? (TO) TT=2520.12	? (TO) TT=2520.12	SAT (TO) f=29 TT=2520.05 T1=195.58	? (TO) TT=2519.7	? (TO) TT=2519.94	SAT (TO) f=28 TT=2519.7 T1=36.2	SAT (TO) f=33 TT=2520.05 T1=456.58	SAT f=30 TT=2519.08 T1=1649.65	SAT (TO) f=31 TT=2520.07 T1=30.8	SAT (TO) f=30 TT=19989.6 T1=1338.56	SAT (TO) f=30 TT=19982.1 T1=10461.61	SAT (TO) f=30 TT=2400.03 T1=458.13	No data	SAT (TO) f=31 TT=2400.02 T1=42.38	SAT (TO) f=31 TT=2400.13 T1=45.23	SAT (TO) f=29 TT=2400.13 T1=201.48	? (TO) TT=2400.07	? (TO) TT=2400.08	SAT (TO) f=28 TT=2400.07 T1=35.09	SAT (TO) f=28 TT=2400.1 T1=2232.44	SAT (TO) f=30 TT=2400.04 T1=1644.15	SAT (TO) f=31 TT=2400.1 T1=30.18	? (TO) TT=2400.19	? (TO) TT=2520.78
BusScheduling/ BusScheduling-cnt-s1/ BusScheduling-cnt-r1a.xml	SAT TO f=11 TT=20073.4 T1=27.01	SAT (TO) f=12 TT=2520.08 T1=1073.16	No data	No data	SAT (TO) f=11 TT=20075 T1=26.71	SAT (TO) f=11 TT=20073.4 T1=27.01	SAT (TO) f=15 TT=2520.07 T1=1263.42	SAT (TO) f=15 TT=2520.08 T1=1169.99	SAT (TO) f=16 TT=2520.07 T1=847.12	SAT (TO) f=16 TT=2520.07 T1=860.66	SAT (TO) f=13 TT=2520.14 T1=21.88	SAT (TO) f=15 TT=2520.01 T1=2519.9	SAT (TO) f=15 TT=2519.77 T1=2520	SAT (TO) f=12 TT=2519.98 T1=356.93	SAT (TO) f=12 TT=2520.1 T1=78.03	SAT f=14 TT=2519.27 T1=42.34	SAT (TO) f=12 TT=2520.08 T1=42.46	SAT (TO) f=13 TT=19881.801 T1=17.57	SAT (TO) f=13 TT=19886.199 T1=23.46	SAT (TO) f=12 TT=2400.07 T1=1111.99	No data	SAT (TO) f=11 TT=2400.71 T1=48.94	SAT (TO) f=11 TT=2400.55 T1=50.4	SAT (TO) f=13 TT=2400.1 T1=22.14	No Cert. TT=2400.1	No Cert. TT=2400.04	SAT (TO) f=12 TT=2400.1 T1=368.27	SAT (TO) f=12 TT=2400.16 T1=29.73	SAT (TO) f=14 TT=2400.1 T1=42.16	SAT (TO) f=12 TT=2400.15 T1=15.91	? (TO) TT=2400.12	? (TO) TT=2520.11
BusScheduling/ BusScheduling-cnt-s1/ BusScheduling-cnt-r1.xml	SAT TO f=11 TT=20062.9 T1=219.47	SAT (TO) f=12 TT=2520.02 T1=570	No data	No data	SAT (TO) f=11 TT=20071.801 T1=197.41	SAT (TO) f=11 TT=20062.9 T1=219.47	SAT (TO) f=14 TT=2520.12 T1=169.43	SAT (TO) f=14 TT=2520.1 T1=172.41	SAT (TO) f=16 TT=2520.05 T1=15.71	SAT (TO) f=15 TT=2520.09 T1=2466.69	SAT (TO) f=13 TT=2520.12 T1=36.16	SAT (TO) f=14 TT=2519.23 T1=2520	SAT (TO) f=14 TT=2519.94 T1=2520	SAT (TO) f=12 TT=2519.78 T1=54.67	SAT (TO) f=12 TT=2520.09 T1=1031.38	SAT f=14 TT=2519.16 T1=15.57	SAT (TO) f=12 TT=2520.13 T1=355.34	SAT (TO) f=13 TT=19871.1 T1=9.34	SAT (TO) f=13 TT=19890 T1=13.01	SAT (TO) f=12 TT=2400.04 T1=594	No data	SAT (TO) f=12 TT=2400.05 T1=3.54	SAT (TO) f=12 TT=2400.37 T1=3.55	SAT (TO) f=13 TT=2400.16 T1=36.4	No Cert. TT=2400.11	SAT (TO) f=14 TT=2400.06 T1=416.72	SAT (TO) f=12 TT=2400.07 T1=51.86	SAT (TO) f=12 TT=2400.15 T1=1195.48	SAT (TO) f=14 TT=2400.14 T1=16.31	SAT (TO) f=12 TT=2400.06 T1=614.69	? (TO) TT=2400.22	? (TO) TT=2520.13
BusScheduling/ BusScheduling-cnt-s1/ BusScheduling-cnt-r2.xml	SAT TO f=14 TT=2400.04 T1=12.96	SAT (TO) f=14 TT=2520.1 T1=179.68	No data	No data	SAT (TO) f=14 TT=20065.9 T1=30.01	SAT (TO) f=14 TT=20071.5 T1=43.86	SAT (TO) f=17 TT=2520.04 T1=48.81	SAT (TO) f=17 TT=2520.09 T1=45.15	SAT (TO) f=18 TT=2520.11 T1=66.1	SAT (TO) f=18 TT=2520.1 T1=66.03	SAT (TO) f=14 TT=2520.13 T1=17.81	SAT (TO) f=16 TT=2519.37 T1=2520	SAT (TO) f=17 TT=2520.07 T1=2520	SAT (TO) f=14 TT=2519.79 T1=13	SAT (TO) f=15 TT=2520.1 T1=18.74	SAT f=17 TT=2518.7 T1=1.16	SAT (TO) f=14 TT=2520.11 T1=828.87	SAT (TO) f=15 TT=19855.699 T1=12.26	SAT (TO) f=15 TT=19869.1 T1=25.48	SAT (TO) f=14 TT=2400.09 T1=177.51	No data	SAT (TO) f=14 TT=2400.32 T1=35.9	SAT (TO) f=14 TT=2400.38 T1=17.38	SAT (TO) f=14 TT=2400.1 T1=18.43	No Cert. TT=2400.07	No Cert. TT=2400.11	SAT (TO) f=14 TT=2400.04 T1=12.96	SAT (TO) f=14 TT=2400.14 T1=777.84	SAT (TO) f=17 TT=2400.14 T1=1.29	SAT (TO) f=14 TT=2400.11 T1=2037.74	? (TO) TT=2400.2	? (TO) TT=2524.4
BusScheduling/ BusScheduling-cnt-s1/ BusScheduling-cnt-r3.xml	SAT TO f=17 TT=2400.14 T1=450.72	? (TO) TT=2520.1	No data	No data	? (TO) TT=20052.5	? (TO) TT=20004	? (TO) TT=2520.08	? (TO) TT=2520.08	? (TO) TT=2520.06	? (TO) TT=2520.12	? (TO) TT=2523.87	? (TO) TT=2519.74	? (TO) TT=2520.04	? (TO) TT=2519.79	SAT (TO) f=17 TT=2520.17 T1=450.72	? (TO) TT=2520.07	? (TO) TT=2520.07	SAT (TO) f=17 TT=17199.1 T1=1414.49	SAT (TO) f=17 TT=17204 T1=9596.79	? (TO) TT=2400.09	No data	? (TO) TT=2400.17	? (TO) TT=2400.32	? (TO) TT=2409.06	? (TO) TT=2400.08	? (TO) TT=2400.08	? (TO) TT=2400.07	SAT (TO) f=17 TT=2400.14 T1=452.93	? (TO) TT=2400.03	? (TO) TT=2400.07	? (TO) TT=2416.18	? TT=1702.18
BusScheduling/ BusScheduling-cnt-s1/ BusScheduling-cnt-r4.xml	SAT TO f=26 TT=20038.4 T1=466.18	SAT (TO) f=28 TT=2520.06 T1=2336.87	No data	No data	SAT (TO) f=26 TT=20072.9 T1=476.42	SAT (TO) f=26 TT=20038.4 T1=466.18	? (TO) TT=2520.04	? (TO) TT=2520.11	SAT (TO) f=31 TT=2520.11 T1=432.19	SAT (TO) f=31 TT=2520.06 T1=425.24	SAT (TO) f=28 TT=2520.1 T1=5.26	? (TO) TT=2520.02	SAT (TO) f=30 TT=2520.02 T1=2519.9	SAT (TO) f=27 TT=2519.94 T1=389.93	SAT (TO) f=27 TT=2520.15 T1=2394.16	SAT f=29 TT=2519.21 T1=26.51	SAT (TO) f=29 TT=2520.12 T1=2445.86	SAT (TO) f=28 TT=19936.699 T1=138.94	SAT (TO) f=28 TT=19945.4 T1=1076.54	SAT (TO) f=28 TT=2400.05 T1=2395.67	No data	SAT (TO) f=28 TT=2400.57 T1=93.19	SAT (TO) f=28 TT=2400.33 T1=32.19	SAT (TO) f=28 TT=2400.15 T1=5.39	? (TO) TT=2400.08	No Cert. TT=2400.05	SAT (TO) f=27 TT=2400.02 T1=390.31	SAT (TO) f=30 TT=2400.08 T1=1.72	SAT (TO) f=29 TT=2400.06 T1=25.19	SAT (TO) f=28 TT=2400.09 T1=592.64	SAT (TO) f=28 TT=2402.51 T1=2202.75	SAT (TO) f=28 TT=2522.09 T1=2244.49
BusScheduling/ BusScheduling-cnt-s1/ BusScheduling-cnt-r5.xml		? (TO) TT=2520.11	No data	No data	? (TO) TT=20068.301	? (TO) TT=20060.199	? (TO) TT=2520.07	? (TO) TT=2520.05	? (TO) TT=2520.05	? (TO) TT=2520.09	? (TO) TT=2520.96	? (TO) TT=2519.98	? (TO) TT=2519.8	? (TO) TT=2519.66	? TT=2519.2	? TT=2519.03	? (TO) TT=2520.08	? (TO) TT=20031.199	? (TO) TT=20035.9	? (TO) TT=2400.05	No data	? (TO) TT=2400.16	? (TO) TT=2400.21	? (TO) TT=2402.12	? (TO) TT=2400.01	? (TO) TT=2400.1	? (TO) TT=2400.07	? (TO) TT=2400.11	? (TO) TT=2400.07	? (TO) TT=2400.04	? (TO) TT=2400.26	? (TO) TT=2520.12
BusScheduling/ BusScheduling-cnt-s1/ BusScheduling-cnt-t1.xml	OPT f=7 TT=0.018 T1=0.01	OPT f=7 TT=1.216 T1=0.69	No data	No data	OPT f=7 TT=1.524 T1=0.55	OPT f=7 TT=1.532 T1=0.55	OPT f=7 TT=1.054 T1=0.62	OPT f=7 TT=1.048 T1=0.62	OPT f=7 TT=1.811 T1=0.63	OPT f=7 TT=1.878 T1=0.63	OPT f=7 TT=7.591 T1=3.56	OPT f=7 TT=0.018 T1=0.12	OPT f=7 TT=0.02 T1=0.08	OPT f=7 TT=0.021 T1=0.1	SAT (TO) f=7 TT=2520.11 T1=0.97	OPT f=7 TT=1.315 T1=1.14	OPT f=7 TT=1.315 T1=0.7	OPT f=7 TT=3.276 T1=1.27	OPT f=7 TT=3.141 T1=2.77	OPT f=7 TT=1.494 T1=0.71	No data	OPT f=7 TT=1.813 T1=0.61	OPT f=7 TT=1.979 T1=0.69	OPT f=7 TT=8.922 T1=3.5	OPT f=7 TT=0.027 T1=0.01	OPT f=7 TT=0.035 T1=0.01	OPT f=7 TT=0.029 T1=0.01	SAT (TO) f=7 TT=2400.07 T1=1.02	OPT f=7 TT=1.43 T1=0.75	OPT f=7 TT=1.436 T1=0.76	OPT f=7 TT=1.755 T1=0.59	OPT f=7 TT=1.619 T1=0.68
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	BTD 2017-07-25 (complete)	BTD 2017-08-10 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: BTD 2017-06-30 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
BusScheduling/ BusScheduling-cnt-s1/ BusScheduling-cnt-t2.xml	SAT TO f=20 TT=2400.03 T1=204.63	SAT (TO) f=21 TT=2520.03 T1=92.55	No data	No data	SAT (TO) f=21 TT=20079.9 T1=12.56	SAT (TO) f=21 TT=20083.6 T1=26.49	SAT (TO) f=22 TT=2520.07 T1=924.4	SAT (TO) f=22 TT=2520.09 T1=978.12	? (TO) TT=2522.33	? (TO) TT=2520.17	SAT (TO) f=21 TT=2520.07 T1=7.12	? (TO) TT=2519.89	? (TO) TT=2519.9	SAT (TO) f=20 TT=2520.08 T1=1161.62	SAT (TO) f=22 TT=2520.09 T1=1.49	SAT f=21 TT=2519.16 T1=39.86	SAT (TO) f=21 TT=2520.11 T1=1939.68	SAT (TO) f=20 TT=19973.699 T1=204.63	SAT (TO) f=20 TT=19977.5 T1=1639.66	SAT (TO) f=21 TT=2400.1 T1=94.39	No data	SAT (TO) f=21 TT=2400.18 T1=160.28	SAT (TO) f=21 TT=2400.49 T1=161.7	SAT (TO) f=21 TT=2400.1 T1=7.61	? (TO) TT=2400.09	? (TO) TT=2400.08	SAT (TO) f=20 TT=2400.03 T1=1149.46	SAT (TO) f=22 TT=2400.14 T1=1.41	SAT (TO) f=21 TT=2400.15 T1=38.4	SAT (TO) f=21 TT=2400.11 T1=1855.95	? (TO) TT=2400.24	? (TO) TT=2520.17
CarSequencing/ CarSequencing-m1-gagne/ CarSequencing-200-01.xml		? (TO) TT=2520.07	? (NS) TT=0.017	? (NS) TT=0.016	? (TO) TT=20092.199	? (TO) TT=20071.699	? (TO) TT=2520.09	? (TO) TT=2520.06	? (TO) TT=2520.12	? (TO) TT=2520.09	? (TO) TT=2520.92	? (TO) TT=2519.89	? (TO) TT=2519.85	? (TO) TT=2520.04	No data	? (TO) TT=2520.1	No data	? (TO) TT=19940.199	? (TO) TT=19908.199	? (TO) TT=2400.07	? (NS) TT=0.03	? (TO) TT=2400.03	? (TO) TT=2400.55	? (TO) TT=2403.63	? (TO) TT=2400.09	? (TO) TT=2400.05	? (TO) TT=2400.04	No data	? (TO) TT=2400.08	No data	? (TO) TT=2400.15	? (TO) TT=2520.11
CarSequencing/ CarSequencing-m1-jcr/ CarSequencing-04-72.xml	SAT TT=1596.57	? (TO) TT=2520.08	? (NS) TT=0.01	? (NS) TT=0.01	? (TO) TT=20057.699	? (TO) TT=20071.4	? (TO) TT=2520.11	? (TO) TT=2520.1	? (TO) TT=2520.13	? (TO) TT=2520.05	? (TO) TT=2521	? (TO) TT=2519.96	? (TO) TT=2519.96	SAT TT=2459.21	No data	? (TO) TT=2520.03	No data	? (TO) TT=19886.4	? (TO) TT=19881.699	? (TO) TT=2400.02	? (NS) TT=0.013	SAT TT=714.677	SAT TT=703.15	? (TO) TT=2401.98	? (TO) TT=2400.05	? (TO) TT=2400.04	SAT TT=937.367	No data	? (TO) TT=2400.1	No data	SAT TT=1667.56	SAT TT=1596.57
CarSequencing/ CarSequencing-m1-jcr/ CarSequencing-19-71.xml		? (TO) TT=2520.11	? (NS) TT=0.01	? (NS) TT=0.01	? (TO) TT=20060.801	? (TO) TT=20043.6	? (TO) TT=2520.12	? (TO) TT=2520.13	? (TO) TT=2520.06	? (TO) TT=2520.09	? (TO) TT=2520.99	? (TO) TT=2520.08	? (TO) TT=2519.91	? (TO) TT=2519.84	No data	? (TO) TT=2520.03	No data	? (TO) TT=19913.6	? (TO) TT=19893.9	? (TO) TT=2400.1	? (NS) TT=0.013	? (TO) TT=2400.35	? (TO) TT=2400.47	? (TO) TT=2401.98	? (TO) TT=2400.06	? (TO) TT=2400.06	? (TO) TT=2400.08	No data	? (TO) TT=2400.07	No data	? (TO) TT=2400.15	? (TO) TT=2520.12
CarSequencing/ CarSequencing-m1-jcr/ CarSequencing-60-02.xml	SAT TT=1.181	SAT TT=1195.97	? (NS) TT=0.016	? (NS) TT=0.015	Wrong UNSAT TT=2824.88	SAT TT=7.907	Wrong UNSAT TT=612.457	SAT TT=6.711	Wrong UNSAT TT=178.172	SAT TT=15.64	? (TO) TT=2521.27	SAT TT=1.181	SAT TT=0.834	SAT TT=123.078	No data	? (TO) TT=2520.03	No data	? (TO) TT=19979	? (TO) TT=19932.1	SAT TT=1197.52	? (NS) TT=0.026	? (TO) TT=2400.22	? (TO) TT=2400.29	? (TO) TT=2403.69	SAT TT=1.225	SAT TT=0.874	SAT TT=50.311	No data	? (TO) TT=2400.07	No data	? (TO) TT=2400.23	? (TO) TT=2520.18
CarSequencing/ CarSequencing-m1-jcr/ CarSequencing-80-02.xml	SAT TT=20.809	? (TO) TT=2520.05	? (NS) TT=0.016	? (NS) TT=0.016	? (TO) TT=20097.1	SAT TT=93.861	? (TO) TT=2520.03	SAT TT=1332.13	? (TO) TT=2520.06	SAT TT=322.518	? (TO) TT=2521.13	? (TO) TT=2519.67	SAT TT=40.196	SAT TT=158.333	No data	? (TO) TT=2520.07	No data	SAT (TO) TT=18271.1	SAT TT=20.809	? (TO) TT=2400.05	? (NS) TT=0.03	? (TO) TT=2400.13	? (TO) TT=2400.27	? (TO) TT=2402.14	? (TO) TT=2400.02	SAT TT=39.811	SAT TT=53.602	No data	? (TO) TT=2400.07	No data	? (TO) TT=2400.19	? (TO) TT=2520.14
CarSequencing/ CarSequencing-m1-jcr/ CarSequencing-85-05.xml	SAT TT=25.192	? (TO) TT=2520.06	? (NS) TT=0.017	? (NS) TT=0.016	? (TO) TT=20089	SAT TT=25.192	? (TO) TT=2520.1	? (TO) TT=2520.06	? (TO) TT=2520.06	? (TO) TT=2520.08	? (TO) TT=2521	? (TO) TT=2519.5	? (TO) TT=2520.1	? (TO) TT=2519.71	No data	SAT TT=31.3	No data	SAT (TO) TT=18268.1	SAT TT=44.001	? (TO) TT=2400.05	? (NS) TT=0.022	? (TO) TT=2400.14	? (TO) TT=2400.74	? (TO) TT=2401.9	? (TO) TT=2400.07	? (TO) TT=2400.03	? (TO) TT=2400.08	No data	SAT TT=32.727	No data	? (TO) TT=2400.2	? (TO) TT=2520.19
ChessboardColoration/ ChessboardColoration-int-s1/ ChessboardColoration-int-05-05.xml	OPT f=2 TT=0.121 T1=0.18	OPT f=2 TT=1.572 T1=0.8	No data	No data	? TT=1789.62	? TT=9700.89	OPT f=2 TT=40.999 T1=28.32	OPT f=2 TT=41.261 T1=28.53	OPT f=2 TT=40.602 T1=28.38	OPT f=2 TT=39.483 T1=27.95	OPT f=2 TT=11.256 T1=4.87	OPT f=2 TT=0.121 T1=0.18	OPT f=2 TT=0.124 T1=0.18	OPT f=2 TT=0.262 T1=0.32	SAT (TO) f=2 TT=2520.08 T1=50.88	OPT f=2 TT=82.924 T1=46.72	OPT f=2 TT=90.862 T1=49.07	? TT=2316.07	? TT=1513.27	OPT f=2 TT=1.587 T1=0.8	No data	? TT=288.209	? TT=1632.64	OPT f=2 TT=11.83 T1=4.93	OPT f=2 TT=0.122 T1=0.22	OPT f=2 TT=0.122 T1=0.18	OPT f=2 TT=0.254 T1=0.33	SAT (TO) f=2 TT=2400.1 T1=49.71	OPT f=2 TT=84.041 T1=47.21	OPT f=2 TT=87.267 T1=47.83	OPT f=2 TT=4.478 T1=2.29	OPT f=2 TT=4.577 T1=2.32
ChessboardColoration/ ChessboardColoration-int-s1/ ChessboardColoration-int-11-11.xml	SAT TO f=3 TT=2400.01 T1=3.61	SAT (TO) f=3 TT=2520.05 T1=3.61	No data	No data	SAT (TO) f=3 TT=19657.699 T1=200.44	SAT (TO) f=3 TT=19704 T1=185.38	SAT (TO) f=3 TT=2520.04 T1=1304.14	SAT (TO) f=3 TT=2520.08 T1=1394.48	SAT (TO) f=3 TT=2520.08 T1=168.35	SAT (TO) f=3 TT=2520.05 T1=171.36	SAT (TO) f=4 TT=2520.06 T1=403.58	SAT (TO) f=3 TT=2520.02 T1=4.98	SAT (TO) f=3 TT=2519.84 T1=3.98	SAT (TO) f=3 TT=2519.84 T1=84.98	SAT (TO) f=3 TT=2520.09 T1=534.68	SAT (TO) f=3 TT=2520.09 T1=7.09	SAT (TO) f=3 TT=2520.1 T1=7	SAT (TO) f=3 TT=5224.35 T1=12.07	SAT (TO) f=3 TT=5244.84 T1=149.05	SAT (TO) f=3 TT=2400.05 T1=3.62	No data	SAT (TO) f=3 TT=2400.06 T1=521.08	SAT (TO) f=3 TT=2400.03 T1=487.98	SAT (TO) f=4 TT=2400.11 T1=396.16	? (TO) TT=2400.1	? (TO) TT=2400.1	SAT (TO) f=3 TT=2400.01 T1=87.48	SAT (TO) f=3 TT=2400.06 T1=349.93	SAT (TO) f=3 TT=2400.06 T1=6.86	SAT (TO) f=3 TT=2400.04 T1=6.99	? TT=1217.87	? TT=698.265
ChessboardColoration/ ChessboardColoration-int-s1/ ChessboardColoration-int-12-12.xml	SAT TO f=3 TT=2400.09 T1=9.6	SAT (TO) f=3 TT=2520.08 T1=9.6	No data	No data	SAT (TO) f=3 TT=19381.801 T1=587.17	SAT (TO) f=3 TT=19460.1 T1=1066.83	SAT (TO) f=4 TT=2520.13 T1=466.94	SAT (TO) f=4 TT=2520.12 T1=464.78	SAT (TO) f=3 TT=2520.05 T1=198.69	SAT (TO) f=3 TT=2520.12 T1=198.84	SAT (TO) f=4 TT=2520.14 T1=1048.06	SAT (TO) f=3 TT=2520.09 T1=10.2	SAT (TO) f=3 TT=2519.92 T1=10.57	SAT (TO) f=3 TT=2519.78 T1=105.91	SAT (TO) f=3 TT=2520.11 T1=662.63	SAT (TO) f=4 TT=2520.1 T1=12	SAT (TO) f=4 TT=2520.08 T1=12.05	SAT (TO) f=3 TT=5301.2 T1=53.45	SAT (TO) f=4 TT=7741.95 T1=126.95	SAT (TO) f=3 TT=2400.09 T1=9.63	No data	SAT (TO) f=4 TT=2400.13 T1=302.13	SAT (TO) f=4 TT=2400.37 T1=314.25	SAT (TO) f=4 TT=2400.13 T1=1030.22	? (TO) TT=2400.07	? (TO) TT=2400.04	SAT (TO) f=3 TT=2400.09 T1=108.05	SAT (TO) f=3 TT=2400.12 T1=282.97	SAT (TO) f=4 TT=2400.06 T1=12.3	SAT (TO) f=4 TT=2400.1 T1=12.22	? (problem) TT=1432.23	? (problem) TT=1432.16
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	BTD 2017-07-25 (complete)	BTD 2017-08-10 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: BTD 2017-06-30 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
ChessboardColoration/ ChessboardColoration-int-s1/ ChessboardColoration-int-13-13.xml	SAT TO f=3 TT=2400.12 T1=15.86	SAT (TO) f=3 TT=2520.03 T1=15.86	No data	No data	SAT (TO) f=4 TT=17622.301 T1=624.42	SAT (TO) f=4 TT=19010.699 T1=410.23	SAT (TO) f=168 TT=2520.13 T1=1374.57	SAT (TO) f=168 TT=2520.11 T1=1378.73	SAT (TO) f=4 TT=2520.05 T1=2127.59	SAT (TO) f=4 TT=2520.13 T1=2095.8	SAT (TO) f=160 TT=2520.08 T1=896.76	SAT (TO) f=4 TT=2520.1 T1=9.03	SAT (TO) f=4 TT=2520.03 T1=9.28	SAT (TO) f=4 TT=2519.65 T1=109.22	SAT (TO) f=4 TT=2520.15 T1=253.65	SAT (TO) f=4 TT=2520.08 T1=22.53	SAT (TO) f=4 TT=2520.09 T1=22.94	SAT (TO) f=4 TT=7845.82 T1=32.04	SAT (TO) f=4 TT=7751.32 T1=224.9	SAT (TO) f=3 TT=2400.12 T1=15.96	No data	Wrong Opt. f=5 TT=1745.01 T1=611.23	SAT (TO) f=5 TT=2400.3 T1=668.82	SAT (TO) f=160 TT=2400.11 T1=878.65	? (TO) TT=2400.04	? (TO) TT=2400.09	SAT (TO) f=4 TT=2400.08 T1=104.27	SAT (TO) f=4 TT=2400.06 T1=725.92	SAT (TO) f=4 TT=2400.08 T1=22.52	SAT (TO) f=4 TT=2400.04 T1=22.7	? (problem) TT=1350.56	? (problem) TT=1380.07
ChessboardColoration/ ChessboardColoration-int-s1/ ChessboardColoration-int-15-15.xml	SAT TO f=4 TT=2400.05 T1=15.43	SAT (TO) f=4 TT=2520.07 T1=34.35	No data	No data	SAT (TO) f=6 TT=8960.1 T1=2087.26	SAT (TO) f=6 TT=9318.15 T1=2117.89	SAT (TO) f=205 TT=2520.11 T1=2508.91	SAT (TO) f=203 TT=2520.04 T1=2476.02	SAT (TO) f=219 TT=2520.08 T1=1969.24	SAT (TO) f=219 TT=2520.11 T1=1984.01	SAT (TO) f=219 TT=2520.15 T1=2151.38	SAT (TO) f=4 TT=2520.04 T1=15.43	SAT (TO) f=4 TT=2519.48 T1=24.06	SAT (TO) f=4 TT=2519.77 T1=1436.32	SAT (TO) f=4 TT=2520.15 T1=1501.04	SAT (TO) f=4 TT=2520.12 T1=66.53	SAT (TO) f=4 TT=2520.13 T1=66.24	SAT (TO) f=4 TT=9466.9 T1=804.14	SAT (TO) f=4 TT=8248.47 T1=743.84	SAT (TO) f=4 TT=2400.09 T1=33.56	No data	SAT (TO) f=9 TT=2400.1 T1=838.95	SAT (TO) f=9 TT=2400.17 T1=821.57	SAT (TO) f=219 TT=2400.12 T1=2012.29	? (TO) TT=2400.09	? (TO) TT=2400.07	SAT (TO) f=4 TT=2400.08 T1=1426.25	SAT (TO) f=4 TT=2400.08 T1=472.52	SAT (TO) f=4 TT=2400.08 T1=65.8	SAT (TO) f=4 TT=2400.05 T1=65.51	? (problem) TT=1397.95	? TT=1485.36
ChessboardColoration/ ChessboardColoration-int-s1/ ChessboardColoration-int-20-20.xml	SAT TO f=5 TT=2400.12 T1=99.94	SAT (TO) f=5 TT=2520.09 T1=387.28	No data	No data	SAT (TO) f=17 TT=2580.27 T1=27.81	SAT (TO) f=17 TT=2584.62 T1=28.93	? (TO) TT=2520.1	? (TO) TT=2520.12	? (TO) TT=2520.12	? (TO) TT=2520.09	SAT (TO) f=399 TT=2520.09 T1=372.9	SAT (TO) f=5 TT=2520.1 T1=540.22	SAT (TO) f=5 TT=2519.65 T1=99.94	SAT (TO) f=8 TT=2520.07 T1=1904.07	SAT (TO) f=5 TT=2520.11 T1=1492.45	SAT (TO) f=6 TT=2520.08 T1=767.78	SAT (TO) f=6 TT=2520.09 T1=1055	SAT (TO) f=6 TT=19602.1 T1=2401.63	SAT (TO) f=6 TT=17204.1 T1=11663.98	SAT (TO) f=5 TT=2400.12 T1=388.87	No data	SAT (TO) f=17 TT=2400.04 T1=19.73	SAT (TO) f=17 TT=2400.05 T1=19.43	SAT (TO) f=399 TT=2400.06 T1=366.01	No Cert. TT=2400.18	No Cert. TT=2400.19	SAT (TO) f=8 TT=2400.04 T1=1899.04	SAT (TO) f=7 TT=2400.08 T1=1009.89	SAT (TO) f=6 TT=2400.13 T1=762.6	SAT (TO) f=5 TT=2402.08 T1=1520.62	? TT=1340.15	? TT=1345.07
ChessboardColoration/ ChessboardColoration-int-s1/ ChessboardColoration-int-25-25.xml	SAT TO f=6 TT=2520.25 T1=1722.17	? (problem) TT=782.459	No data	No data	SAT (TO) f=22 TT=2659.91 T1=78.49	SAT (TO) f=22 TT=2665.99 T1=80.11	? (TO) TT=2520.08	? (TO) TT=2520.06	? (TO) TT=2520.13	? (TO) TT=2520.08	? (TO) TT=2528	SAT (TO) f=6 TT=2520.25 T1=1722.17	SAT (TO) f=7 TT=2520.37 T1=278.44	? (TO) TT=2519.91	SAT (TO) f=624 TT=2520.15 T1=31.27	SAT (TO) f=500 TT=2520.14 T1=1899.92	? (TO) TT=2528.25	SAT (TO) f=608 TT=19616.5 T1=2468.13	SAT (TO) f=600 TT=19674.4 T1=19509.711	? (problem) TT=766.163	No data	SAT (TO) f=22 TT=2400 T1=61.31	SAT (TO) f=22 TT=2400 T1=59.56	? (TO) TT=2407.97	No Cert. TT=2400.16	No Cert. TT=2400.43	? (TO) TT=2400.07	SAT (TO) f=624 TT=2401.06 T1=31.12	SAT (TO) f=515 TT=2400.88 T1=1698.64	SAT (TO) f=9 TT=2400.07 T1=841.73	? TT=1368.72	? TT=1284.48
ChessboardColoration/ ChessboardColoration-int-s1/ ChessboardColoration-int-35-35.xml	SAT TO f=33 TT=3312.91 T1=485.02	? (problem) TT=715.411	No data	No data	SAT (TO) f=32 TT=3233.97 T1=460.14	SAT (TO) f=33 TT=3312.91 T1=485.02	? (TO) TT=2520.03	? (TO) TT=2520.12	? (TO) TT=2520.12	? (TO) TT=2520.09	? (TO) TT=2522.28	? (MO) TT=210.92	? (MO) TT=224.316	? (TO) TT=2520.05	SAT (TO) f=1224 TT=2520.86 T1=379.55	SAT (TO) f=1219 TT=2521.82 T1=1080.59	SAT (TO) f=1224 TT=2522.24 T1=314.83	? (exit code) TT=8132.94	? (TO) TT=18728.699	? (problem) TT=897.42	No data	SAT (TO) f=32 TT=2400.02 T1=427.21	SAT (TO) f=32 TT=2400.08 T1=439.67	? (TO) TT=2402.36	? (MO) TT=213.129	? (MO) TT=240.957	? (TO) TT=2400.11	SAT (TO) f=1224 TT=2400.14 T1=417.5	SAT (TO) f=1220 TT=2400.13 T1=938.67	SAT (TO) f=1224 TT=2404.23 T1=326.98	? TT=1350.85	? TT=1374.69
ChessboardColoration/ ChessboardColoration-int-s1/ ChessboardColoration-int-40-40.xml		? (problem) TT=713.955	No data	No data	? TT=5619.21	? TT=5611.49	? (TO) TT=2520.05	? (TO) TT=2520.12	? (TO) TT=2520.15	? (TO) TT=2520.14	? (TO) TT=2528.22	? (MO) TT=174.339	? (MO) TT=173.915	? (TO) TT=2519.99	? (TO) TT=2520.13	? (TO) TT=2520.11	? (TO) TT=2522.28	? (TO) TT=18328.5	? (TO) TT=17193.6	? (problem) TT=744.125	No data	? TT=1831.39	? TT=1644.21	? (TO) TT=2408.1	? (MO) TT=176.403	? (MO) TT=177.6	? (TO) TT=2400.11	? (TO) TT=2408.42	? (TO) TT=2401.8	? (TO) TT=2400.11	? TT=1494.98	? TT=1370.19
ChessboardColoration/ ChessboardColoration-int-s2/ ChessboardColoration-int-04-06.xml	OPT f=1 TT=0.11 T1=0.11	OPT f=1 TT=1.501 T1=0.81	No data	No data	OPT f=1 TT=805.306 T1=233.75	OPT f=1 TT=720.571 T1=226.12	OPT f=1 TT=25.783 T1=19.62	OPT f=1 TT=26.562 T1=19.89	OPT f=1 TT=26.612 T1=19.99	OPT f=1 TT=25.867 T1=19.63	OPT f=1 TT=11.606 T1=5	OPT f=1 TT=0.11 T1=0.18	OPT f=1 TT=0.112 T1=0.11	OPT f=1 TT=0.221 T1=0.3	SAT (TO) f=1 TT=2520.07 T1=41.08	OPT f=1 TT=63.134 T1=35.47	OPT f=1 TT=59.219 T1=34.03	? TT=1581.96	OPT f=1 TT=744.634 T1=743.77	OPT f=1 TT=1.495 T1=0.78	No data	OPT f=1 TT=145.451 T1=88.58	OPT f=1 TT=138.494 T1=86.2	OPT f=1 TT=11.287 T1=4.98	OPT f=1 TT=0.108 T1=0.17	OPT f=1 TT=0.11 T1=0.17	OPT f=1 TT=0.205 T1=0.27	SAT (TO) f=1 TT=2400.1 T1=41.84	OPT f=1 TT=60.715 T1=34.35	OPT f=1 TT=73.141 T1=40.3	OPT f=1 TT=4.176 T1=2.05	OPT f=1 TT=3.751 T1=1.81
ChessboardColoration/ ChessboardColoration-int-s2/ ChessboardColoration-int-07-09.xml	OPT f=2 TT=0.922 T1=0.98	OPT f=2 TT=3.25 T1=1.81	No data	No data	OPT f=2 TT=24.082 T1=4.92	OPT f=2 TT=25.407 T1=6.46	OPT f=2 TT=22.509 T1=15.71	OPT f=2 TT=20.764 T1=15.24	OPT f=2 TT=24.587 T1=14.83	OPT f=2 TT=24.983 T1=14.26	OPT f=2 TT=40.669 T1=25.05	OPT f=2 TT=0.922 T1=0.99	OPT f=2 TT=0.994 T1=0.98	OPT f=2 TT=4.095 T1=4.08	SAT (TO) f=2 TT=2520.1 T1=39.72	OPT f=2 TT=5.873 T1=2.06	OPT f=2 TT=5.539 T1=1.99	OPT f=2 TT=19.389 T1=3.86	OPT f=2 TT=21.433 T1=20.61	OPT f=2 TT=3.232 T1=1.31	No data	OPT f=2 TT=60.501 T1=17.38	OPT f=2 TT=58.037 T1=16.34	OPT f=2 TT=40.205 T1=25.63	OPT f=2 TT=0.939 T1=1.01	OPT f=2 TT=0.969 T1=1.03	OPT f=2 TT=3.879 T1=3.87	SAT (TO) f=2 TT=2400.1 T1=57.61	OPT f=2 TT=5.577 T1=2.57	OPT f=2 TT=5.43 T1=2.01	OPT f=2 TT=204.928 T1=176.93	OPT f=2 TT=204.857 T1=177.69
ChessboardColoration/ ChessboardColoration-int-s2/ ChessboardColoration-int-09-11.xml	SAT TO f=3 TT=2400.03 T1=2.08	SAT (TO) f=3 TT=2520.02 T1=2.09	No data	No data	SAT (TO) f=3 TT=19966.199 T1=42.09	SAT (TO) f=3 TT=20078.301 T1=20.79	SAT (TO) f=3 TT=2520.09 T1=91.1	SAT (TO) f=3 TT=2520.05 T1=87.55	SAT (TO) f=3 TT=2520.1 T1=108.83	SAT (TO) f=3 TT=2520.03 T1=107.12	SAT (TO) f=3 TT=2520.05 T1=332.87	SAT (TO) f=3 TT=2520.01 T1=2.61	SAT (TO) f=3 TT=2520.02 T1=2.73	SAT (TO) f=3 TT=2520.03 T1=8.44	SAT (TO) f=3 TT=2520.05 T1=75.83	SAT (TO) f=3 TT=2520.04 T1=4.18	SAT (TO) f=3 TT=2520.05 T1=4.16	SAT (TO) f=3 TT=5582.77 T1=7.37	SAT (TO) f=3 TT=5636.1 T1=40.5	SAT (TO) f=3 TT=2400.09 T1=2.08	No data	SAT (TO) f=3 TT=2400.15 T1=87.45	SAT (TO) f=3 TT=2400.28 T1=90.47	SAT (TO) f=3 TT=2400.14 T1=324.13	? (TO) TT=2400.1	? (TO) TT=2400.11	SAT (TO) f=3 TT=2400.08 T1=8.14	SAT (TO) f=3 TT=2400.03 T1=67.1	SAT (TO) f=3 TT=2400.07 T1=4.15	SAT (TO) f=3 TT=2400.09 T1=4.36	? (problem) TT=1403.15	? (problem) TT=1453.7
ChessboardColoration/ ChessboardColoration-int-s2/ ChessboardColoration-int-15-17.xml	SAT TO f=4 TT=2400.1 T1=23.56	SAT (TO) f=4 TT=2520.03 T1=90.36	No data	No data	SAT (TO) f=8 TT=4980.59 T1=2231.23	SAT (TO) f=8 TT=10125.7 T1=1490.83	? (TO) TT=2520.1	? (TO) TT=2520.12	? (TO) TT=2520.07	? (TO) TT=2520.05	SAT (TO) f=252 TT=2520.15 T1=2234.59	SAT (TO) f=4 TT=2520.06 T1=23.56	SAT (TO) f=4 TT=2519.88 T1=78.34	SAT (TO) f=5 TT=2519.78 T1=323.88	SAT (TO) f=5 TT=2520.13 T1=813.15	SAT (TO) f=5 TT=2520.05 T1=109.49	SAT (TO) f=4 TT=2520.1 T1=254.73	SAT (TO) f=5 TT=11183.8 T1=199.03	SAT (TO) f=5 TT=11402.4 T1=1525.58	SAT (TO) f=4 TT=2400.1 T1=88.02	No data	SAT (TO) f=11 TT=2400.39 T1=54.04	SAT (TO) f=11 TT=2400.1 T1=1484.51	SAT (TO) f=253 TT=2400.21 T1=2316.19	? (TO) TT=2400.11	? (TO) TT=2400.05	SAT (TO) f=5 TT=2400.09 T1=324.1	SAT (TO) f=4 TT=2400.14 T1=1372.02	SAT (TO) f=5 TT=2400.06 T1=108.36	SAT (TO) f=4 TT=2400.12 T1=328.14	? TT=1295.59	? TT=1305.72
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	BTD 2017-07-25 (complete)	BTD 2017-08-10 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: BTD 2017-06-30 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
ChessboardColoration/ ChessboardColoration-int-s2/ ChessboardColoration-int-16-18.xml	SAT TO f=4 TT=2400.06 T1=154.09	SAT (TO) f=4 TT=2520.05 T1=154.09	No data	No data	SAT (TO) f=10 TT=2926.81 T1=2480.64	SAT (TO) f=11 TT=2671.43 T1=1319.71	? (TO) TT=2520.06	? (TO) TT=2520.06	? (TO) TT=2520.04	? (TO) TT=2520.12	SAT (TO) f=283 TT=2520.08 T1=1722.78	SAT (TO) f=5 TT=2520.08 T1=28.93	SAT (TO) f=5 TT=2520.08 T1=31.05	SAT (TO) f=5 TT=2519.7 T1=1995.09	SAT (TO) f=5 TT=2520.11 T1=642.23	SAT (TO) f=5 TT=2520.13 T1=185.52	SAT (TO) f=5 TT=2520.07 T1=185.72	SAT (TO) f=5 TT=12569.7 T1=388.7	SAT (TO) f=5 TT=11348.5 T1=2265.62	SAT (TO) f=4 TT=2400.06 T1=155.19	No data	SAT (TO) f=13 TT=2400.01 T1=1265.39	SAT (TO) f=13 TT=2400.06 T1=1212	SAT (TO) f=283 TT=2400.13 T1=1803.35	? (TO) TT=2400.05	? (TO) TT=2400.04	SAT (TO) f=5 TT=2400.02 T1=1992.31	SAT (TO) f=5 TT=2400.11 T1=638.64	SAT (TO) f=5 TT=2400.08 T1=183.2	SAT (TO) f=5 TT=2400.07 T1=182.76	? TT=1375.92	? TT=1313.57
ChessboardColoration/ ChessboardColoration-int-s2/ ChessboardColoration-int-17-19.xml	SAT TO f=4 TT=2400.06 T1=538.57	SAT (TO) f=4 TT=2520.05 T1=539.01	No data	No data	SAT (TO) f=12 TT=2711.06 T1=1982.45	SAT (TO) f=12 TT=2688.76 T1=2057.02	? (TO) TT=2520.12	? (TO) TT=2520.07	? (TO) TT=2520.1	? (TO) TT=2520.1	SAT (TO) f=322 TT=2520.09 T1=180.83	SAT (TO) f=5 TT=2520.1 T1=46.68	SAT (TO) f=5 TT=2519.95 T1=36.77	SAT (TO) f=5 TT=2520.03 T1=1947.46	SAT (TO) f=5 TT=2520.11 T1=760.27	SAT (TO) f=5 TT=2520.12 T1=524.55	SAT (TO) f=5 TT=2520.13 T1=1187.57	SAT (TO) f=5 TT=12722.3 T1=620.05	SAT (TO) f=5 TT=12513.7 T1=4158.64	SAT (TO) f=4 TT=2400.06 T1=538.57	No data	SAT (TO) f=13 TT=2400.18 T1=2012.35	SAT (TO) f=14 TT=2400.05 T1=1970.13	SAT (TO) f=322 TT=2400.07 T1=180.44	SAT (TO) f=5 TT=2400.05 T1=46.46	SAT (TO) f=5 TT=2400.07 T1=36.92	SAT (TO) f=5 TT=2400.02 T1=1937.77	SAT (TO) f=5 TT=2400.06 T1=1694.69	SAT (TO) f=5 TT=2400.09 T1=519.42	SAT (TO) f=6 TT=2400.06 T1=577.01	? TT=1299.17	? TT=1255.1
ChessboardColoration/ ChessboardColoration-int-s2/ ChessboardColoration-int-23-25.xml	SAT TO f=6 TT=2519.94 T1=136.98	? (problem) TT=803.052	No data	No data	SAT (TO) f=20 TT=2657.58 T1=64.35	SAT (TO) f=21 TT=2654.94 T1=70.1	? (TO) TT=2520.09	? (TO) TT=2520.07	? (TO) TT=2520.1	? (TO) TT=2520.12	? (TO) TT=2527.86	SAT (TO) f=6 TT=2519.94 T1=136.98	SAT (TO) f=6 TT=2520.17 T1=907.56	? (TO) TT=2519.95	SAT (TO) f=574 TT=2520.12 T1=28.93	SAT (TO) f=347 TT=2520.09 T1=2154.93	SAT (TO) f=553 TT=2520.14 T1=253.99	SAT (TO) f=531 TT=19730.4 T1=2503.43	SAT (TO) f=514 TT=19725.5 T1=19420.68	? (problem) TT=714.533	No data	SAT (TO) f=21 TT=2400.03 T1=45.11	SAT (TO) f=21 TT=2400.07 T1=47.44	? (TO) TT=2407.87	No Cert. TT=2400.1	No Cert. TT=2400.27	? (TO) TT=2400.06	SAT (TO) f=574 TT=2400.09 T1=29.56	SAT (TO) f=366 TT=2400.21 T1=2018.06	SAT (TO) f=554 TT=2400.79 T1=239.23	? TT=1348.72	? TT=1334.77
ChessboardColoration/ ChessboardColoration-int-s2/ ChessboardColoration-int-28-30.xml	SAT TO f=8 TT=2520.9 T1=321.65	? (problem) TT=768.753	No data	No data	SAT (TO) f=26 TT=2804.4 T1=165.84	SAT (TO) f=26 TT=2795.61 T1=172.9	? (TO) TT=2520.11	? (TO) TT=2520.12	? (TO) TT=2520.08	? (TO) TT=2520.05	? (TO) TT=2522.16	SAT (TO) f=8 TT=2520.9 T1=321.65	? (MO) TT=203.754	? (TO) TT=2519.92	SAT (TO) f=839 TT=2520.17 T1=89.84	SAT (TO) f=797 TT=2520.14 T1=1808.52	SAT (TO) f=833 TT=2520.1 T1=845.69	? (TO) TT=19419.1	? (TO) TT=19482	? (problem) TT=774.199	No data	SAT (TO) f=26 TT=2400.07 T1=134.55	SAT (TO) f=26 TT=2400.04 T1=134.67	? (TO) TT=2402.11	No Cert. TT=2400.87	? (MO) TT=206.167	? (TO) TT=2400.06	SAT (TO) f=839 TT=2405.42 T1=88.01	SAT (TO) f=799 TT=2400.09 T1=1707.25	SAT (TO) f=835 TT=2401.61 T1=200.91	? TT=1305.32	? TT=1404.07
ColouredQueens/ ColouredQueens-m1-s1/ ColouredQueens-03.xml	UNSAT TT=0.001	UNSAT TT=0.904	UNSAT TT=0.001	UNSAT TT=0.001	UNSAT TT=1	UNSAT TT=0.968	UNSAT TT=0.753	UNSAT TT=0.747	UNSAT TT=0.842	UNSAT TT=0.827	UNSAT TT=5.207	UNSAT TT=0.004	UNSAT TT=0.005	UNSAT TT=0.004	No data	UNSAT TT=1.007	No data	UNSAT TT=1.04	UNSAT TT=1.053	UNSAT TT=1.072	UNSAT TT=0.002	UNSAT TT=1.245	UNSAT TT=1.072	UNSAT TT=6.123	UNSAT TT=0.006	UNSAT TT=0.006	UNSAT TT=0.006	No data	UNSAT TT=1.131	No data	UNSAT TT=0.638	UNSAT TT=0.549
ColouredQueens/ ColouredQueens-m1-s1/ ColouredQueens-10.xml		? (TO) TT=2520.08	? (TO) TT=2519.98	? (TO) TT=2519.82	? (TO) TT=20070.5	? (TO) TT=20064.699	? (TO) TT=2520.11	? (TO) TT=2520.1	? (TO) TT=2520.12	? (TO) TT=2520.06	? (TO) TT=2520.43	? (TO) TT=2519.99	? (TO) TT=2519.8	? (TO) TT=2519.7	No data	? (TO) TT=2520.07	No data	? (TO) TT=19873	? (TO) TT=19865.1	? (TO) TT=2400.06	? TT=2400	? (TO) TT=2400.3	? (TO) TT=2400.5	? (TO) TT=2401.05	? (TO) TT=2400.01	? (TO) TT=2400.02	? (TO) TT=2400.03	No data	? (TO) TT=2400.04	No data	? (TO) TT=2400.61	? (TO) TT=2520.28
ColouredQueens/ ColouredQueens-m1-s1/ ColouredQueens-11.xml		? (TO) TT=2520.06	? (TO) TT=2519.75	? (TO) TT=2519.7	? (TO) TT=20072.699	? (TO) TT=20069.9	? (TO) TT=2520.03	? (TO) TT=2520.14	? (TO) TT=2520.06	? (TO) TT=2520.28	? (TO) TT=2520.47	? (TO) TT=2519.79	? (TO) TT=2519.7	? (TO) TT=2520.03	No data	? (TO) TT=2520.05	No data	? (TO) TT=19870.9	? (TO) TT=19866.4	? (TO) TT=2400.03	? TT=2400	? (TO) TT=2400.3	? (TO) TT=2400.56	? (TO) TT=2401.09	? (TO) TT=2400.05	? (TO) TT=2400.05	? (TO) TT=2400.02	No data	? (TO) TT=2400.05	No data	? (TO) TT=2400.07	? (TO) TT=2520.17
ColouredQueens/ ColouredQueens-m1-s1/ ColouredQueens-12.xml		? (TO) TT=2520.12	? (TO) TT=2519.82	? (TO) TT=2519.84	? (TO) TT=20067.9	? (TO) TT=20063.199	? (TO) TT=2520.09	? (TO) TT=2520.11	? (TO) TT=2520.09	? (TO) TT=2520.12	? (TO) TT=2520.52	? (TO) TT=2520.06	? (TO) TT=2519.88	? (TO) TT=2519.86	No data	? (TO) TT=2520.05	No data	? (TO) TT=19884.9	? (TO) TT=19881.4	? (TO) TT=2400.12	? TT=2400	? (TO) TT=2400.15	? (TO) TT=2400	? (TO) TT=2401.06	? (TO) TT=2400.06	? (TO) TT=2400.01	? (TO) TT=2400.04	No data	? (TO) TT=2400.11	No data	? (TO) TT=2400.2	? (TO) TT=2520.12
ColouredQueens/ ColouredQueens-m1-s1/ ColouredQueens-14.xml		? (TO) TT=2520.1	? TT=2520	? (TO) TT=2519.8	? (TO) TT=20074.6	? (TO) TT=20061.301	? (TO) TT=2520.13	? (TO) TT=2520.12	? (TO) TT=2520.11	? (TO) TT=2520.05	? (TO) TT=2520.56	? (TO) TT=2520.04	? (TO) TT=2519.65	? (TO) TT=2519.95	No data	? (TO) TT=2520.11	No data	? (TO) TT=19881.9	? (TO) TT=19859.1	? (TO) TT=2400.04	? TT=2400	? (TO) TT=2400.73	? (TO) TT=2400.7	? (TO) TT=2401.18	? (TO) TT=2400.08	? (TO) TT=2400.05	? (TO) TT=2400.1	No data	? (TO) TT=2400.1	No data	? (TO) TT=2400.1	? (TO) TT=2520.16
ColouredQueens/ ColouredQueens-m1-s1/ ColouredQueens-19.xml		? (TO) TT=2520.03	? (TO) TT=2519.98	? (TO) TT=2519.7	? (TO) TT=20070.1	? (TO) TT=20050.5	? (TO) TT=2520.02	? (TO) TT=2520.06	? (TO) TT=2520.11	? (TO) TT=2520.09	? (TO) TT=2520.52	? (TO) TT=2519.97	? (TO) TT=2519.99	? (TO) TT=2519.61	No data	? (TO) TT=2520.09	No data	? (TO) TT=19898.9	? (TO) TT=19881.801	? (TO) TT=2400.02	? TT=2400	? (TO) TT=2400.52	? (TO) TT=2400.21	? (TO) TT=2401.09	? (TO) TT=2400.09	? (TO) TT=2400.07	? (TO) TT=2400.1	No data	? (TO) TT=2400.11	No data	? (TO) TT=2400.39	? (TO) TT=2520.15
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	BTD 2017-07-25 (complete)	BTD 2017-08-10 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: BTD 2017-06-30 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
CostasArray/ CostasArray-m1-s1/ CostasArray-10.xml	SAT TT=0.035	SAT TT=1.23	SAT TT=0.035	SAT TT=0.035	SAT TT=1.898	SAT TT=1.922	SAT TT=1.139	SAT TT=1.137	SAT TT=1.334	SAT TT=1.316	SAT TT=7.529	SAT TT=0.065	SAT TT=0.062	SAT TT=0.088	No data	SAT TT=1.528	No data	SAT TT=14.562	SAT TT=5.503	SAT TT=1.454	SAT TT=0.045	SAT TT=2.246	SAT TT=2.199	SAT TT=8.478	SAT TT=0.108	SAT TT=0.097	SAT TT=0.122	No data	SAT TT=1.678	No data	SAT TT=1.569	SAT TT=1.234
CostasArray/ CostasArray-m1-s1/ CostasArray-11.xml	SAT TT=0.128	SAT TT=1.732	SAT TT=0.157	SAT TT=0.157	SAT TT=2.425	SAT TT=2.396	SAT TT=1.21	SAT TT=1.199	SAT TT=1.802	SAT TT=1.797	SAT TT=7.787	SAT TT=0.167	SAT TT=0.079	SAT TT=0.128	No data	SAT TT=2.293	No data	SAT TT=47.312	SAT TT=5.897	SAT TT=2.184	SAT TT=0.215	SAT TT=2.716	SAT TT=2.684	SAT TT=8.503	SAT TT=0.202	SAT TT=0.107	SAT TT=0.155	No data	SAT TT=2.743	No data	SAT TT=1.977	SAT TT=1.557
CostasArray/ CostasArray-m1-s1/ CostasArray-13.xml	SAT TT=0.194	SAT TT=3.99	SAT TT=0.399	SAT TT=0.398	SAT TT=3.183	SAT TT=3.813	SAT TT=1.543	SAT TT=1.549	SAT TT=3.315	SAT TT=3.363	SAT TT=7.851	SAT TT=0.194	SAT TT=1.537	SAT TT=0.218	No data	SAT TT=3.526	No data	SAT TT=1910.9	SAT TT=7.967	SAT TT=4.471	SAT TT=0.433	SAT TT=3.979	SAT TT=3.873	SAT TT=8.855	SAT TT=0.231	SAT TT=1.565	SAT TT=0.201	No data	SAT TT=3.787	No data	SAT TT=5.101	SAT TT=5.716
CostasArray/ CostasArray-m1-s1/ CostasArray-15.xml	SAT TT=0.311	SAT TT=16.106	SAT TT=11.711	SAT TT=11.707	SAT TT=8.141	SAT TT=10.373	SAT TT=3.458	SAT TT=3.484	SAT TT=12.069	SAT TT=11.38	SAT TT=12.538	SAT TT=8.75	SAT TT=11.061	SAT TT=0.311	No data	SAT TT=66.769	No data	SAT (TO) TT=19873.9	SAT TT=38.104	SAT TT=16.654	SAT TT=11.742	SAT TT=8.634	SAT TT=10.245	SAT TT=13.338	SAT TT=8.697	SAT TT=11.057	SAT TT=1.171	No data	SAT TT=69.633	No data	SAT TT=29.157	SAT TT=28.178
CostasArray/ CostasArray-m1-s1/ CostasArray-16.xml	SAT TT=1.912	SAT TT=81.719	SAT TT=152.626	SAT TT=153.509	SAT TT=49.458	SAT TT=38.611	SAT TT=18.414	SAT TT=18.027	SAT TT=61.036	SAT TT=59.149	SAT TT=18.154	SAT TT=79.869	SAT TT=147.558	SAT TT=1.912	No data	SAT TT=75.088	No data	SAT (TO) TT=19887.1	SAT TT=43.493	SAT TT=85.944	SAT TT=154.733	SAT TT=56.952	SAT TT=58.95	SAT TT=19.875	SAT TT=81.752	SAT TT=150.121	SAT TT=2.154	No data	SAT TT=77.538	No data	SAT TT=70.401	SAT TT=69.905
CostasArray/ CostasArray-m1-s1/ CostasArray-18.xml	SAT TT=28.235	SAT TT=327.127	SAT TT=2304.06	SAT TT=2293.88	SAT TT=220.407	SAT TT=225.241	SAT TT=28.42	SAT TT=28.235	SAT TT=815.828	SAT TT=830.449	SAT TT=1793.9	? (TO) TT=2519.8	SAT TT=2492.07	SAT TT=146.817	No data	SAT TT=1457.55	No data	SAT (TO) TT=19882.6	SAT TT=2717.43	SAT TT=322.623	SAT TT=2295.64	SAT TT=352.134	SAT TT=349.573	SAT TT=1877.32	? (TO) TT=2400.04	? (TO) TT=2400.1	SAT TT=378.733	No data	SAT TT=1481.77	No data	SAT TT=2077.35	SAT TT=2045.7
CoveringArray/ CoveringArray-elt-s1/ CoveringArray-elt-3-04-2-08.xml	SAT TT=0.004	SAT TT=1.069	Wrong UNSAT TT=0.002	SAT TT=0.004	SAT TT=1.369	SAT TT=1.301	SAT TT=0.851	SAT TT=0.86	SAT TT=0.938	SAT TT=0.93	SAT TT=7.067	SAT TT=0.005	SAT TT=0.005	SAT TT=0.008	No data	SAT TT=1.211	No data	SAT TT=24.151	SAT TT=4.881	SAT TT=1.062	Wrong UNSAT TT=0.002	SAT TT=1.082	SAT TT=1.064	SAT TT=7.244	SAT TT=0.005	SAT TT=0.007	SAT TT=0.007	No data	SAT TT=1.208	No data	SAT TT=2.094	SAT TT=2.159
CoveringArray/ CoveringArray-elt-s1/ CoveringArray-elt-3-04-2-09.xml	SAT TT=0.004	SAT TT=1.097	SAT TT=0.004	SAT TT=0.004	SAT TT=1.345	SAT TT=1.286	SAT TT=0.867	SAT TT=0.862	SAT TT=0.935	SAT TT=0.924	SAT TT=7.178	SAT TT=0.005	SAT TT=0.006	SAT TT=0.007	No data	SAT TT=1.209	No data	SAT (TO) TT=8702.91	SAT TT=4.651	SAT TT=1.073	SAT TT=0.004	SAT TT=1.082	SAT TT=1.088	SAT TT=6.723	SAT TT=0.005	SAT TT=0.006	SAT TT=0.007	No data	SAT TT=1.221	No data	SAT TT=2.345	SAT TT=2.3
CoveringArray/ CoveringArray-elt-s1/ CoveringArray-elt-3-06-2-12.xml	SAT TT=0.864	? (TO) TT=2520.06	? (TO) TT=2519.84	? (TO) TT=2519.7	SAT TT=13.489	SAT TT=15.123	? (TO) TT=2520.05	? (TO) TT=2520.1	? (TO) TT=2520.13	? (TO) TT=2520.05	? (TO) TT=2520.55	? (TO) TT=2520.03	? (TO) TT=2520.02	SAT TT=0.864	No data	? (TO) TT=2520.07	No data	? (TO) TT=19857.199	? (TO) TT=19875.1	? (TO) TT=2400.08	? TT=2400	SAT TT=22.822	SAT TT=21.358	? (TO) TT=2400.62	? (TO) TT=2400.01	? (TO) TT=2400.03	SAT TT=0.283	No data	? (TO) TT=2400.11	No data	SAT TT=469.323	SAT TT=470.936
CoveringArray/ CoveringArray-elt-s1/ CoveringArray-elt-3-07-2-12.xml	SAT TT=4.74	? (TO) TT=2520.09	? TT=2520.01	? (TO) TT=2519.82	SAT TT=13.88	SAT TT=12.394	? (TO) TT=2520.12	? (TO) TT=2520.11	? (TO) TT=2520.05	? (TO) TT=2520.09	? (TO) TT=2520.68	? (TO) TT=2520.01	? (TO) TT=2520.05	SAT TT=4.74	No data	? (TO) TT=2520.08	No data	? (TO) TT=19882.699	? (TO) TT=19919.199	? (TO) TT=2400.03	? TT=2400.01	SAT TT=26.179	SAT TT=28.171	? (TO) TT=2400.65	? (TO) TT=2400.03	? (TO) TT=2400.05	SAT TT=1.059	No data	? (TO) TT=2400.08	No data	? (TO) TT=2400.2	? (TO) TT=2520.13
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	BTD 2017-07-25 (complete)	BTD 2017-08-10 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: BTD 2017-06-30 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
CoveringArray/ CoveringArray-elt-s1/ CoveringArray-elt-3-09-2-12.xml	SAT TT=228.916	? (TO) TT=2520.05	? (TO) TT=2519.82	? (TO) TT=2519.69	SAT TT=245.75	SAT TT=236.189	? (TO) TT=2520.11	? (TO) TT=2520.09	? (TO) TT=2520.04	? (TO) TT=2520.04	? (TO) TT=2521.17	? (TO) TT=2520.04	? (TO) TT=2519.91	SAT TT=228.916	No data	? (TO) TT=2520.02	No data	? (TO) TT=19941.4	? (TO) TT=19955.301	? (TO) TT=2400.1	? TT=2400.02	SAT TT=176.226	SAT TT=178.056	? (TO) TT=2401.24	? (TO) TT=2400.05	? (TO) TT=2400.07	SAT TT=405.733	No data	? (TO) TT=2400.06	No data	? (TO) TT=2400.24	? (TO) TT=2520.19
CoveringArray/ CoveringArray-elt-s1/ CoveringArray-elt-3-10-2-12.xml	SAT TT=255.478	? (TO) TT=2520.03	? (TO) TT=2519.81	? (TO) TT=2519.79	SAT TT=218.767	SAT TT=259.246	? (TO) TT=2520.03	? (TO) TT=2520.08	? (TO) TT=2520.12	? (TO) TT=2520.07	? (TO) TT=2521.23	? (TO) TT=2520.09	? (TO) TT=2519.9	SAT TT=255.478	No data	? (TO) TT=2520.08	No data	? (TO) TT=19973.199	? (TO) TT=19979	? (TO) TT=2400.09	? (TO) TT=2400.04	SAT TT=104.525	SAT TT=107.685	? (TO) TT=2401.68	? (TO) TT=2400.04	? (TO) TT=2400.03	SAT TT=120.055	No data	? (TO) TT=2400.04	No data	? (TO) TT=2400.17	? (TO) TT=2520.29
Crossword/ Crossword-m1c-lex-herald/ Crossword-m1c-lex-h1501.xml	SAT TT=0.297	SAT TT=2.503	SAT TT=0.574	SAT TT=0.567	SAT TT=6.466	SAT TT=6.687	SAT TT=2.204	SAT TT=2.229	SAT TT=2.169	SAT TT=2.242	SAT TT=16.791	SAT TT=0.297	SAT TT=2.588	SAT TT=0.487	No data	SAT TT=2.541	No data	SAT (TO) TT=19872.6	SAT (TO) TT=2537.53	SAT TT=2.543	SAT TT=0.54	SAT TT=3.945	SAT TT=3.814	SAT TT=17.976	SAT TT=0.295	SAT TT=2.569	SAT TT=0.239	No data	SAT TT=2.618	No data	? (TO) TT=2400.11	? (TO) TT=2520.17
Crossword/Crossword-m1c-ogd2008-vg/ Crossword-m1c-ogd2008-vg-11-12.xml		? (TO) TT=2520.1	? (TO) TT=2520.08	? (TO) TT=2519.78	? (TO) TT=19671.699	? (TO) TT=19662.6	? (TO) TT=2520.08	? (TO) TT=2520.07	? (TO) TT=2520.1	? (TO) TT=2520.04	? (TO) TT=2525.25	? (TO) TT=2520.03	? (TO) TT=2519.67	? (TO) TT=2520.09	No data	? (TO) TT=2520.09	No data	? (TO) TT=20026.801	? (TO) TT=20025.4	? (TO) TT=2400.06	? (TO) TT=2400.08	? (TO) TT=2400.11	? (TO) TT=2400.38	? (TO) TT=2405.65	? (TO) TT=2400.05	? (TO) TT=2400.09	? (TO) TT=2400.07	No data	? (TO) TT=2400.07	No data	? TT=1335.8	? TT=1515.06
Crossword/Crossword-m1c-ogd2008-vg/ Crossword-m1c-ogd2008-vg-13-13.xml		? (TO) TT=2520.09	? (TO) TT=2519.79	? (TO) TT=2519.81	? (TO) TT=19813.301	? (TO) TT=19802	? (TO) TT=2520.05	? (TO) TT=2520.05	? (TO) TT=2520.12	? (TO) TT=2520.07	? (TO) TT=2525.89	? (TO) TT=2520.05	? (TO) TT=2519.9	? (TO) TT=2519.82	No data	? (TO) TT=2520.08	No data	? (TO) TT=20024	? (TO) TT=20024.699	? (TO) TT=2400.1	? (TO) TT=2400.1	? (TO) TT=2400.15	? (TO) TT=2400.33	? (TO) TT=2405.95	? (TO) TT=2400.03	? (TO) TT=2400.02	? (TO) TT=2400.08	No data	? (TO) TT=2400.09	No data	? TT=2131.25	? TT=2300.82
Crossword/ Crossword-m1c-ogd-herald/ Crossword-m1c-ogd-h2310.xml	SAT TT=2.872	SAT TT=5.111	SAT TT=47.236	SAT TT=47.91	SAT TT=62.63	SAT TT=63.902	SAT TT=8.474	SAT TT=8.07	SAT TT=9.266	SAT TT=9.117	SAT TT=281.142	SAT TT=2.872	SAT TT=85.476	SAT TT=7.776	No data	SAT TT=7.097	No data	SAT (TO) TT=9694.69	SAT (TO) TT=2603.67	SAT TT=5.155	SAT TT=46.894	SAT TT=28.863	SAT TT=29.149	SAT TT=293.032	SAT TT=2.83	SAT TT=83.526	SAT TT=3.136	No data	SAT TT=6.872	No data	? TT=2109.17	? TT=2245.98
Crossword/Crossword-m1c-uk-vg/ Crossword-m1c-uk-vg-4-8.xml	SAT TT=0.338	SAT TT=2.25	SAT TT=2.255	SAT TT=2.338	SAT TT=5.732	SAT TT=5.62	SAT TT=2.195	SAT TT=2.236	SAT TT=2.596	SAT TT=2.602	SAT TT=14.856	SAT TT=0.338	SAT TT=0.324	SAT TT=0.346	No data	SAT TT=2.47	No data	SAT (TO) TT=19860.1	SAT TT=45.664	SAT TT=2.197	SAT TT=2.266	SAT TT=3.969	SAT TT=4.05	SAT TT=16.287	SAT TT=0.338	SAT TT=0.318	SAT TT=0.532	No data	SAT TT=2.446	No data	? (TO) TT=2400.24	? (TO) TT=2520.11
Crossword/ Crossword-m1c-words-puzzle/ Crossword-m1c-words-p20.xml	SAT TT=0.102	SAT TT=1.762	SAT TT=0.103	SAT TT=0.102	SAT TT=3.286	SAT TT=3.21	SAT TT=1.587	SAT TT=1.574	SAT TT=1.749	SAT TT=1.74	SAT TT=13.882	SAT TT=0.102	SAT TT=0.104	SAT TT=0.111	No data	SAT TT=2.059	No data	SAT (TO) TT=8311.1	SAT TT=6.81	SAT TT=1.751	SAT TT=0.101	SAT TT=2.376	SAT TT=2.434	SAT TT=12.302	SAT TT=0.1	SAT TT=0.103	SAT TT=0.11	No data	SAT TT=2.094	No data	? (TO) TT=2400.13	? (TO) TT=2520.18
CryptoPuzzle/CryptoPuzzle-m1-s1/ CryptoPuzzle-black-green-orange.xml	SAT TT=0.014	SAT TT=1.16	SAT TT=0.013	SAT TT=0.014	SAT TT=1.923	SAT TT=1.868	SAT TT=1.113	SAT TT=1.101	SAT TT=1.283	SAT TT=1.281	SAT TT=7.332	SAT TT=0.033	SAT TT=0.025	SAT TT=0.033	No data	SAT TT=1.439	No data	SAT TT=3.05	SAT TT=2.93	SAT TT=1.388	SAT TT=0.024	SAT TT=1.99	SAT TT=1.999	SAT TT=8.99	SAT TT=0.057	SAT TT=0.045	SAT TT=0.055	No data	SAT TT=1.563	No data	SAT TT=1.184	SAT TT=0.957
CryptoPuzzle/CryptoPuzzle-m1-s1/ CryptoPuzzle-cross-roads-danger.xml	SAT TT=0.011	SAT TT=1.097	SAT TT=0.011	SAT TT=0.011	SAT TT=1.692	SAT TT=1.711	SAT TT=1.028	SAT TT=1.018	SAT TT=1.061	SAT TT=1.037	SAT TT=6.472	SAT TT=0.021	SAT TT=0.022	SAT TT=0.031	No data	SAT TT=1.217	No data	SAT TT=2.108	SAT TT=2.102	SAT TT=1.338	SAT TT=0.02	SAT TT=1.728	SAT TT=1.821	SAT TT=8	SAT TT=0.027	SAT TT=0.036	SAT TT=0.052	No data	SAT TT=1.275	No data	SAT TT=0.743	SAT TT=0.658
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	BTD 2017-07-25 (complete)	BTD 2017-08-10 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: BTD 2017-06-30 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
CryptoPuzzle/CryptoPuzzle-m1-s1/ CryptoPuzzle-kyoto-osaka-tokyo.xml	SAT TT=0.012	SAT TT=1.093	SAT TT=0.011	SAT TT=0.012	SAT TT=1.559	SAT TT=1.6	SAT TT=1.002	SAT TT=0.996	SAT TT=1.071	SAT TT=1.019	SAT TT=6.464	SAT TT=0.022	SAT TT=0.021	SAT TT=0.032	No data	SAT TT=1.239	No data	SAT TT=2.316	SAT TT=2.295	SAT TT=1.219	SAT TT=0.019	SAT TT=1.75	SAT TT=1.742	SAT TT=7.484	SAT TT=0.038	SAT TT=0.038	SAT TT=0.049	No data	SAT TT=1.418	No data	SAT TT=0.807	SAT TT=0.741
CryptoPuzzle/CryptoPuzzle-m1-s1/ CryptoPuzzle-monitor-network-internet.xml	SAT TT=0.015	SAT TT=1.134	SAT TT=0.014	SAT TT=0.015	SAT TT=1.818	SAT TT=1.801	SAT TT=1.101	SAT TT=1.104	SAT TT=1.219	SAT TT=1.214	SAT TT=6.499	SAT TT=0.027	SAT TT=0.026	SAT TT=0.04	No data	SAT TT=1.245	No data	SAT TT=2.355	SAT TT=2.337	SAT TT=1.327	SAT TT=0.027	SAT TT=2.009	SAT TT=1.923	SAT TT=8.587	SAT TT=0.037	SAT TT=0.048	SAT TT=0.069	No data	SAT TT=1.475	No data	SAT TT=0.981	SAT TT=0.769
CryptoPuzzle/ CryptoPuzzle-m1-s1/ CryptoPuzzle-no-no-yes.xml	SAT TT=0.007	SAT TT=1.053	SAT TT=0.006	SAT TT=0.007	SAT TT=1.119	SAT TT=1.125	SAT TT=0.895	SAT TT=0.887	SAT TT=0.923	SAT TT=0.911	SAT TT=6	SAT TT=0.014	SAT TT=0.014	SAT TT=0.02	No data	SAT TT=1.106	No data	SAT TT=1.915	SAT TT=1.912	SAT TT=1.275	SAT TT=0.009	SAT TT=1.261	SAT TT=1.23	SAT TT=7.444	SAT TT=0.025	SAT TT=0.025	SAT TT=0.034	No data	SAT TT=1.159	No data	SAT TT=0.609	SAT TT=0.581
CryptoPuzzle/CryptoPuzzle-m1-s1/ CryptoPuzzle-summer-school-coolest.xml	SAT TT=0.013	SAT TT=1.122	SAT TT=0.013	SAT TT=0.013	SAT TT=1.816	SAT TT=1.756	SAT TT=1.07	SAT TT=1.044	SAT TT=1.193	SAT TT=1.148	SAT TT=6.931	SAT TT=0.027	SAT TT=0.023	SAT TT=0.037	No data	SAT TT=1.255	No data	SAT TT=2.306	SAT TT=2.392	SAT TT=1.393	SAT TT=0.021	SAT TT=1.848	SAT TT=1.908	SAT TT=8.389	SAT TT=0.031	SAT TT=0.042	SAT TT=0.059	No data	SAT TT=1.377	No data	SAT TT=0.934	SAT TT=0.743
Cutstock/ Cutstock-zinc-s1/ Cutstock-t02-3.xml	SAT TO f=158 TT=2400.04 T1=3.88	? (TO) TT=2520.09	No data	No data	SAT (TO) f=158 TT=20110 T1=3.52	SAT (TO) f=158 TT=20103.5 T1=3.88	SAT (TO) f=173 TT=2520.02 T1=2218.69	SAT (TO) f=173 TT=2520.03 T1=2217.15	? (TO) TT=2520.11	? (TO) TT=2520.08	SAT (TO) f=161 TT=2520.09 T1=10.76	? (TO) TT=2519.97	? (TO) TT=2520.1	SAT (TO) f=159 TT=2519.98 T1=45.81	SAT (TO) f=158 TT=2520.04 T1=570.88	SAT (TO) f=167 TT=2520.05 T1=31	SAT (TO) f=158 TT=2520.12 T1=623.34	SAT (TO) f=160 TT=19863.1 T1=6.84	SAT (TO) f=162 TT=19865.6 T1=22.84	? (TO) TT=2400.1	No data	SAT (TO) f=158 TT=2400.38 T1=6.71	SAT (TO) f=158 TT=2400.11 T1=5.65	SAT (TO) f=161 TT=2400.09 T1=11.34	? (TO) TT=2400.03	? (TO) TT=2400.05	SAT (TO) f=159 TT=2400.1 T1=45.3	SAT (TO) f=158 TT=2400.18 T1=613.31	SAT (TO) f=167 TT=2400.07 T1=30.35	SAT (TO) f=158 TT=2400.04 T1=685.81	? (TO) TT=2416.21	? (problem) TT=1664.78
Cutstock/ Cutstock-zinc-s1/ Cutstock-t02-6.xml	SAT TO f=118 TT=2400.05 T1=1150.55	? (TO) TT=2520.12	No data	No data	SAT (TO) f=119 TT=20107.4 T1=1.93	SAT (TO) f=119 TT=20100.301 T1=2.09	SAT (TO) f=124 TT=2520.1 T1=1455.99	SAT (TO) f=124 TT=2520.1 T1=1455.36	SAT (TO) f=126 TT=2520.06 T1=1049.92	SAT (TO) f=126 TT=2520.12 T1=1041.52	SAT (TO) f=121 TT=2520.05 T1=674.77	? (TO) TT=2519.68	? (TO) TT=2519.92	SAT (TO) f=119 TT=2519.77 T1=6.93	SAT (TO) f=118 TT=2520.12 T1=1150.55	SAT (TO) f=126 TT=2520.1 T1=1.34	SAT (TO) f=119 TT=2520.09 T1=458.57	SAT (TO) f=119 TT=19854.801 T1=5.56	SAT (TO) f=120 TT=19849.4 T1=100.2	? (TO) TT=2400.04	No data	SAT (TO) f=119 TT=2400.1 T1=8.1	SAT (TO) f=119 TT=2400.38 T1=8.75	SAT (TO) f=121 TT=2400.09 T1=679.5	? (TO) TT=2400.02	? (TO) TT=2400.03	SAT (TO) f=119 TT=2400.02 T1=6.93	SAT (TO) f=118 TT=2400.05 T1=1839.14	SAT (TO) f=126 TT=2400.13 T1=1.3	SAT (TO) f=119 TT=2400.18 T1=415.33	? (TO) TT=2416.38	? TT=1629.42
Cutstock/ Cutstock-zinc-s1/ Cutstock-t04-1.xml	SAT TO f=217 TT=20087.1 T1=25.34	? (TO) TT=2520.09	No data	No data	SAT (TO) f=217 TT=20085.301 T1=25.82	SAT (TO) f=217 TT=20087.1 T1=25.34	? (TO) TT=2520.09	? (TO) TT=2520.05	? (TO) TT=2520.09	? (TO) TT=2520.08	? (TO) TT=2521.3	? (TO) TT=2519.73	? (TO) TT=2519.89	? (TO) TT=2519.8	SAT (TO) f=240 TT=2520.1 T1=3.68	SAT (TO) f=226 TT=2520.09 T1=132.86	SAT (TO) f=227 TT=2520.13 T1=15.17	SAT (TO) f=218 TT=19860.699 T1=10	SAT (TO) f=218 TT=19858.1 T1=32.54	? (TO) TT=2400.1	No data	SAT (TO) f=217 TT=2400.13 T1=207.7	SAT (TO) f=217 TT=2400.52 T1=191.59	? (TO) TT=2403.06	? (TO) TT=2400.02	? (TO) TT=2400.05	? (TO) TT=2400.1	SAT (TO) f=240 TT=2400.24 T1=3.32	SAT (TO) f=226 TT=2400.07 T1=131.25	SAT (TO) f=227 TT=2400.12 T1=14.23	? (TO) TT=2415.82	? (TO) TT=2528.05
Cutstock/ Cutstock-zinc-s1/ Cutstock-t04-6.xml	SAT TO f=199 TT=2400.06 T1=18.49	SAT (TO) f=224 TT=2520.11 T1=701.21	No data	No data	SAT (TO) f=199 TT=20090 T1=18.57	SAT (TO) f=199 TT=20090.199 T1=18.49	? (TO) TT=2520.08	? (TO) TT=2520.05	? (TO) TT=2520.08	? (TO) TT=2520.04	? (TO) TT=2521.15	? (TO) TT=2519.8	? (TO) TT=2519.72	SAT (TO) f=199 TT=2519.82 T1=213.96	SAT (TO) f=222 TT=2520.11 T1=638.29	SAT (TO) f=200 TT=2520.13 T1=6.11	SAT (TO) f=200 TT=2520.15 T1=6.2	SAT (TO) f=199 TT=19847.301 T1=21.78	SAT (TO) f=200 TT=19840.1 T1=99.68	SAT (TO) f=224 TT=2400.03 T1=705.12	No data	SAT (TO) f=199 TT=2400.43 T1=191.77	SAT (TO) f=199 TT=2400.05 T1=193.6	? (TO) TT=2402.54	? (TO) TT=2400.06	? (TO) TT=2400.02	SAT (TO) f=199 TT=2400.06 T1=193.76	SAT (TO) f=213 TT=2400.16 T1=2239.12	SAT (TO) f=200 TT=2400.16 T1=5.82	SAT (TO) f=200 TT=2400.24 T1=6.08	? (TO) TT=2415.74	? TT=1686.3
Cutstock/ Cutstock-zinc-s1/ Cutstock-t07-8.xml	OPT f=43 TT=0.29 T1=0.33	OPT f=43 TT=3.103 T1=1.39	No data	No data	OPT f=43 TT=5.742 T1=1.13	OPT f=43 TT=5.443 T1=1.12	OPT f=43 TT=64.588 T1=57.2	OPT f=43 TT=64.613 T1=57.91	OPT f=43 TT=682.632 T1=641.66	OPT f=43 TT=685.493 T1=644.66	OPT f=43 TT=67.26 T1=12.36	OPT f=43 TT=318.327 T1=318.41	OPT f=43 TT=1.283 T1=1.28	OPT f=43 TT=0.29 T1=0.38	SAT (TO) f=43 TT=2520.09 T1=187.75	OPT f=43 TT=2.308 T1=1.19	OPT f=43 TT=2.272 T1=1.19	OPT f=43 TT=13.11 T1=4.23	OPT f=43 TT=13.578 T1=13.11	OPT f=43 TT=3.091 T1=1.12	No data	OPT f=43 TT=7.347 T1=1.31	OPT f=43 TT=7.686 T1=1.29	OPT f=43 TT=74.624 T1=12.41	OPT f=43 TT=309.995 T1=307.89	OPT f=43 TT=1.315 T1=1.08	OPT f=43 TT=0.344 T1=0.33	SAT (TO) f=43 TT=2400.14 T1=216.85	OPT f=43 TT=2.71 T1=1.12	OPT f=43 TT=2.622 T1=1.07	? (TO) TT=2415.31	? (TO) TT=2528.26
Cutstock/ Cutstock-zinc-s1/ Cutstock-t08-5.xml	SAT TO f=533 TT=2400.02 T1=232.37	? (TO) TT=2520.07	No data	No data	SAT (TO) f=531 TT=20037.5 T1=959.73	SAT (TO) f=533 TT=20050.801 T1=232.37	SAT (TO) f=561 TT=2520.07 T1=2242.53	SAT (TO) f=561 TT=2520.06 T1=2268.27	? (TO) TT=2520.02	? (TO) TT=2520.06	? (TO) TT=2521.34	? (TO) TT=2520.09	? (TO) TT=2519.99	SAT (TO) f=533 TT=2519.96 T1=808.62	SAT (TO) f=639 TT=2520.1 T1=2266.49	SAT (TO) f=550 TT=2520.06 T1=8.7	SAT (TO) f=550 TT=2520.25 T1=8.61	SAT (TO) f=544 TT=7625.73 T1=24.16	SAT (TO) f=536 TT=2651.54 T1=80.51	? (TO) TT=2400.11	No data	SAT (TO) f=604 TT=2400.2 T1=265.57	SAT (TO) f=604 TT=2400.38 T1=264.38	? (TO) TT=2403.96	? (TO) TT=2400.06	? (TO) TT=2400.18	SAT (TO) f=533 TT=2400.02 T1=766.16	SAT (TO) f=613 TT=2400.1 T1=2159.37	SAT (TO) f=550 TT=2400.11 T1=8.18	SAT (TO) f=550 TT=2400.16 T1=8.41	? (TO) TT=2416.22	? (TO) TT=2528.1
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	BTD 2017-07-25 (complete)	BTD 2017-08-10 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: BTD 2017-06-30 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
Cutstock/ Cutstock-zinc-s1/ Cutstock-t08-9.xml	OPT f=476 TT=13.114 T1=7	SAT (TO) f=637 TT=2520.03 T1=5.2	No data	No data	OPT f=476 TT=2491.96 T1=313.33	OPT f=476 TT=1942.65 T1=240.78	OPT f=476 TT=439.241 T1=364.85	OPT f=476 TT=434.086 T1=359.33	SAT (TO) f=597 TT=2520.06 T1=499.18	SAT (TO) f=597 TT=2520.14 T1=511.43	SAT (TO) f=511 TT=2520.13 T1=2418.31	? (TO) TT=2520.03	? (TO) TT=2519.99	OPT f=476 TT=339.348 T1=332.12	SAT (TO) f=526 TT=2520.11 T1=1098.3	OPT f=476 TT=13.846 T1=7.23	OPT f=476 TT=13.114 T1=7	OPT f=476 TT=49.83 T1=17.82	OPT f=476 TT=51.839 T1=51.04	SAT (TO) f=637 TT=2400.05 T1=4.82	No data	SAT (TO) f=527 TT=2400.19 T1=299.91	SAT (TO) f=489 TT=2400.49 T1=305	SAT (TO) f=513 TT=2400.2 T1=2134.5	? (TO) TT=2400.03	? (TO) TT=2400.11	OPT f=476 TT=313.831 T1=306.57	SAT (TO) f=553 TT=2400.22 T1=1445.41	OPT f=476 TT=16.06 T1=7.05	OPT f=476 TT=15.263 T1=7.07	? (TO) TT=2416.02	? (TO) TT=2528.13
Cutstock/ Cutstock-zinc-s1/ Cutstock-t13-1.xml	OPT f=63 TT=0.608 T1=0.56	OPT f=63 TT=3.077 T1=1.29	No data	No data	OPT f=63 TT=11.237 T1=1.41	OPT f=63 TT=8.721 T1=1.23	OPT f=63 TT=16.939 T1=9.45	OPT f=63 TT=16.998 T1=9.42	OPT f=63 TT=546.591 T1=398.88	OPT f=63 TT=548.587 T1=400.42	OPT f=63 TT=234.579 T1=5.3	OPT f=63 TT=2.767 T1=2.88	OPT f=63 TT=4.016 T1=4.01	OPT f=63 TT=0.608 T1=0.62	SAT (TO) f=63 TT=2520.07 T1=318.93	OPT f=63 TT=2.628 T1=1.36	OPT f=63 TT=2.518 T1=1.24	OPT f=63 TT=17.982 T1=6.72	OPT f=63 TT=17.438 T1=17.22	OPT f=63 TT=3.57 T1=1.21	No data	OPT f=63 TT=15.073 T1=1.25	OPT f=63 TT=12.239 T1=1.32	OPT f=63 TT=233.066 T1=5.99	OPT f=63 TT=2.82 T1=2.82	OPT f=63 TT=4.066 T1=3.04	OPT f=63 TT=0.654 T1=0.56	SAT (TO) f=63 TT=2400.12 T1=253.34	OPT f=63 TT=3.356 T1=1.23	OPT f=63 TT=3.354 T1=1.56	? (TO) TT=2416.46	? TT=1598.96
Cutstock/ Cutstock-zinc-s1/ Cutstock-t15-1.xml	OPT f=123 TT=7.496 T1=2.78	OPT f=123 TT=23.046 T1=17.93	No data	No data	OPT f=123 TT=71.193 T1=5.61	OPT f=123 TT=63.651 T1=5.67	SAT (TO) f=142 TT=2520.04 T1=780.72	SAT (TO) f=142 TT=2520.11 T1=793.34	SAT (TO) f=152 TT=2520.1 T1=348.45	SAT (TO) f=152 TT=2520.04 T1=353.59	? (TO) TT=2521.17	SAT (TO) f=167 TT=2520.1 T1=2520	SAT (TO) f=132 TT=2520.04 T1=2519.9	OPT f=123 TT=40.107 T1=37.64	SAT (TO) f=123 TT=2520.06 T1=1402.63	OPT f=123 TT=7.496 T1=2.78	OPT f=123 TT=7.833 T1=2.83	OPT f=123 TT=39.445 T1=10.88	OPT f=123 TT=38.072 T1=37.81	OPT f=123 TT=24.34 T1=18.21	No data	OPT f=123 TT=259.365 T1=15.43	OPT f=123 TT=204.359 T1=12.72	? (TO) TT=2402.5	No Cert. TT=2400.04	No Cert. TT=2400.06	OPT f=123 TT=39.637 T1=37.14	SAT (TO) f=123 TT=2400.14 T1=869.83	OPT f=123 TT=9.3 T1=2.97	OPT f=123 TT=9.492 T1=2.94	? (TO) TT=2416.2	? (problem) TT=1520.04
Cutstock/ Cutstock-zinc-s1/ Cutstock-t15-2.xml	OPT f=122 TT=340.917 T1=5.26	OPT f=122 TT=340.917 T1=5.31	No data	No data	OPT f=122 TT=16185.5 T1=6.87	OPT f=122 TT=4053.07 T1=6.52	SAT (TO) f=147 TT=2520.08 T1=99.58	SAT (TO) f=147 TT=2520.05 T1=100.52	SAT (TO) f=145 TT=2520.06 T1=596.07	SAT (TO) f=145 TT=2520.08 T1=584.68	SAT (TO) f=122 TT=2520.09 T1=1328.08	? (TO) TT=2519.85	? (TO) TT=2519.95	OPT f=122 TT=875.38 T1=12.77	SAT (TO) f=122 TT=2520.09 T1=1173.51	SAT (TO) f=122 TT=2520.13 T1=2267.67	SAT (TO) f=122 TT=2520.07 T1=825.62	SAT (TO) f=126 TT=2600.13 T1=12.33	SAT (TO) f=130 TT=2602.5 T1=2527.99	OPT f=122 TT=344.973 T1=5.26	No data	SAT (TO) f=122 TT=2400.38 T1=26.93	SAT (TO) f=122 TT=2400.38 T1=30.19	SAT (TO) f=122 TT=2400.13 T1=1319.75	? (TO) TT=2400.01	? (TO) TT=2400.04	OPT f=122 TT=844.437 T1=12.29	SAT (TO) f=122 TT=2400.06 T1=983.37	SAT (TO) f=122 TT=2400.07 T1=2311.79	SAT (TO) f=122 TT=2400.16 T1=721.06	? (TO) TT=2416.45	? TT=1421.23
Cutstock/ Cutstock-zinc-s1/ Cutstock-t15-3.xml	SAT TO f=102 TT=2400.12 T1=5.8	SAT (TO) f=103 TT=2520.03 T1=253.28	No data	No data	SAT (TO) f=102 TT=20106.301 T1=5.06	SAT (TO) f=102 TT=20106.1 T1=5.8	SAT (TO) f=126 TT=2520.04 T1=532.36	SAT (TO) f=126 TT=2520.04 T1=521.13	? (TO) TT=2520.04	? (TO) TT=2520.07	SAT (TO) f=106 TT=2520.05 T1=76	? (TO) TT=2519.7	? (TO) TT=2520.01	SAT (TO) f=104 TT=2520.01 T1=2386.02	SAT (TO) f=102 TT=2520.13 T1=1505.54	SAT (TO) f=112 TT=2520.11 T1=5.36	SAT (TO) f=102 TT=2520.11 T1=592.65	SAT (TO) f=112 TT=19853.6 T1=10.28	SAT (TO) f=108 TT=17611.5 T1=46.34	SAT (TO) f=103 TT=2400.08 T1=256.67	No data	SAT (TO) f=102 TT=2400.6 T1=14.01	SAT (TO) f=102 TT=2400.56 T1=13.85	SAT (TO) f=106 TT=2400.09 T1=76.43	? (TO) TT=2400.04	? (TO) TT=2400	SAT (TO) f=104 TT=2400.06 T1=2342.29	SAT (TO) f=102 TT=2400.12 T1=1268.69	SAT (TO) f=112 TT=2400.11 T1=5.2	SAT (TO) f=102 TT=2400.13 T1=766.12	? (TO) TT=2416.44	? (TO) TT=2528.04
Cutstock/ Cutstock-zinc-s1/ Cutstock-t15-7.xml	OPT f=171 TT=8.361 T1=2.78	OPT f=171 TT=8.361 T1=2.83	No data	No data	OPT f=171 TT=47.238 T1=4.15	OPT f=171 TT=43.695 T1=3.9	OPT f=171 TT=29.874 T1=25.64	OPT f=171 TT=28.993 T1=25.01	? (TO) TT=2520.09	? (TO) TT=2520.03	SAT (TO) f=171 TT=2520.09 T1=34.9	OPT f=171 TT=833.852 T1=833.87	OPT f=171 TT=193.594 T1=193.7	OPT f=171 TT=19.664 T1=18.2	SAT (TO) f=171 TT=2520.11 T1=1056.32	OPT f=171 TT=9.792 T1=4.56	OPT f=171 TT=9.578 T1=4.32	OPT f=171 TT=57.425 T1=11.31	OPT f=171 TT=56.247 T1=55.95	OPT f=171 TT=9.286 T1=2.78	No data	OPT f=171 TT=119.87 T1=8.89	OPT f=171 TT=106.18 T1=7.78	SAT (TO) f=171 TT=2400.15 T1=33.93	OPT f=171 TT=855.075 T1=817.75	OPT f=171 TT=188.907 T1=160.4	OPT f=171 TT=18.193 T1=16.77	SAT (TO) f=171 TT=2400.16 T1=921.88	OPT f=171 TT=10.174 T1=4.25	OPT f=171 TT=9.563 T1=4.16	? (TO) TT=2416.27	? TT=1292.99
Cutstock/ Cutstock-zinc-s1/ Cutstock-t16-0.xml	OPT f=1305 TT=569.11 T1=529	? (TO) TT=2520.04	No data	No data	SAT (TO) f=1568 TT=19789.6 T1=2497.16	SAT (TO) f=1569 TT=19808.5 T1=2478.21	? (TO) TT=2520.11	? (TO) TT=2520.04	? (TO) TT=2520.09	? (TO) TT=2520.07	? (TO) TT=2522.93	? (TO) TT=2520.11	? (TO) TT=2520.1	? (TO) TT=2519.62	SAT (TO) f=1614 TT=2520.36 T1=283.77	OPT f=1305 TT=591.573 T1=554.24	SAT (TO) f=1345 TT=2520.2 T1=545.75	SAT (TO) f=1568 TT=5290.69 T1=461	OPT f=1305 TT=3454.99 T1=3451.14	? (TO) TT=2400.05	No data	SAT (TO) f=1613 TT=2400.46 T1=287.05	SAT (TO) f=1614 TT=2400.32 T1=112.17	? (TO) TT=2406.02	? (TO) TT=2400.05	? (TO) TT=2400.41	? (TO) TT=2400.09	SAT (TO) f=1614 TT=2400.19 T1=289.61	OPT f=1305 TT=569.11 T1=529	SAT (TO) f=1345 TT=2400.14 T1=528.8	? TT=254.284	? TT=194.855
Cutstock/ Cutstock-zinc-s1/ Cutstock-t16-1.xml	OPT f=1216 TT=3375.2 T1=538.04	? (TO) TT=2520.06	No data	No data	SAT (TO) f=1472 TT=19753.9 T1=2471.7	SAT (TO) f=1470 TT=19749.801 T1=2499.65	? (TO) TT=2520.11	? (TO) TT=2520.06	? (TO) TT=2520.1	? (TO) TT=2520.1	? (TO) TT=2522.53	? (TO) TT=2519.94	? (TO) TT=2520.21	? (TO) TT=2520.09	SAT (TO) f=1513 TT=2520.16 T1=279.3	? (TO) TT=2520.13	? (TO) TT=2520.06	OPT f=1216 TT=3375.2 T1=538.04	? (TO) TT=8633.46	? (TO) TT=2400.06	No data	SAT (TO) f=1512 TT=2400.68 T1=304.84	SAT (TO) f=1513 TT=2400.12 T1=103.96	? (TO) TT=2404.99	? (TO) TT=2400.06	? (TO) TT=2400.29	? (TO) TT=2400.06	SAT (TO) f=1513 TT=2400.14 T1=293.71	? (TO) TT=2400.12	? (TO) TT=2400.07	? TT=232.664	? TT=174.201
Cutstock/ Cutstock-zinc-s1/ Cutstock-t16-5.xml	SAT TO f=983 TT=19781.199 T1=885.19	? (TO) TT=2520.05	No data	No data	SAT (TO) f=1193 TT=19131.199 T1=2519.91	SAT (TO) f=1187 TT=19006.301 T1=2487.97	? (TO) TT=2520.03	? (TO) TT=2520.06	? (TO) TT=2520.11	? (TO) TT=2520.1	? (TO) TT=2522.48	? (TO) TT=2519.8	? (TO) TT=2520.29	? (TO) TT=2519.95	? (TO) TT=2520.12	? (TO) TT=2520.11	? (TO) TT=2520.04	SAT (TO) f=983 TT=19781.199 T1=885.19	SAT (TO) f=1231 TT=19787.4 T1=1209.95	? (TO) TT=2400.09	No data	SAT (TO) f=1243 TT=2400.07 T1=145.43	SAT (TO) f=1243 TT=2400.45 T1=148	? (TO) TT=2405.73	? (TO) TT=2400.11	? (TO) TT=2400.22	? (TO) TT=2400.11	? (TO) TT=2400.04	? (TO) TT=2400.08	? (TO) TT=2400.07	? TT=171.151	? TT=126.246
Cutstock/ Cutstock-zinc-s1/ Cutstock-t16-6.xml	SAT TO f=1094 TT=3537.1 T1=1523.37	? (TO) TT=2520.11	No data	No data	SAT (TO) f=1328 TT=19773.6 T1=2486.21	SAT (TO) f=1328 TT=19778.199 T1=2505.54	? (TO) TT=2520.08	? (TO) TT=2520.12	? (TO) TT=2520.06	? (TO) TT=2520.04	? (TO) TT=2522.35	? (TO) TT=2520.08	? (TO) TT=2520.29	? (TO) TT=2520.07	? (TO) TT=2520.13	SAT (TO) f=1164 TT=2520.2 T1=432.68	SAT (TO) f=1369 TT=2520.14 T1=319.79	SAT (TO) f=1113 TT=3373.82 T1=194.33	SAT (TO) f=1094 TT=3537.1 T1=1523.37	? (TO) TT=2400.1	No data	SAT (TO) f=1369 TT=2400.26 T1=220.98	SAT (TO) f=1369 TT=2400.29 T1=256.49	? (TO) TT=2407.36	? (TO) TT=2400.06	? (TO) TT=2400.5	? (TO) TT=2400.05	? (TO) TT=2400.04	SAT (TO) f=1164 TT=2400.12 T1=400.35	SAT (TO) f=1369 TT=2400.2 T1=330.07	? TT=199.621	? TT=150.606
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	BTD 2017-07-25 (complete)	BTD 2017-08-10 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: BTD 2017-06-30 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
Cutstock/ Cutstock-zinc-s1/ Cutstock-t16-7.xml	OPT f=1705 TT=392.939 T1=378.99	? (TO) TT=2520.1	No data	No data	SAT (TO) f=1781 TT=19750.6 T1=2455.4	SAT (TO) f=1774 TT=19686.4 T1=2472.01	? (TO) TT=2520.03	? (TO) TT=2520.08	? (TO) TT=2520.1	? (TO) TT=2520.1	? (TO) TT=2523.1	? (TO) TT=2519.84	? (MO) TT=337.139	? (TO) TT=2519.91	SAT (TO) f=1810 TT=2520.54 T1=102.36	OPT f=1705 TT=392.939 T1=378.99	SAT (TO) f=1806 TT=2520.22 T1=373.75	OPT f=1705 TT=4504.82 T1=829.77	OPT f=1705 TT=5251.06 T1=5246.38	? (TO) TT=2400.03	No data	SAT (TO) f=1810 TT=2400.49 T1=138.2	SAT (TO) f=1810 TT=2400.52 T1=133.56	? (TO) TT=2409.12	? (TO) TT=2400.05	? (MO) TT=351.781	? (TO) TT=2400.08	SAT (TO) f=1810 TT=2400.24 T1=102.14	OPT f=1705 TT=397.798 T1=381.01	SAT (TO) f=1806 TT=2401.51 T1=371.87	? TT=247.802	? TT=209.084
DeBruijnSequence/ DeBruijnSequence-m1-s1/ DeBruijnSequence-02-02.xml	SAT TT=0.008	SAT TT=1.07	? (NS) TT=0.007	? (NS) TT=0.007	SAT TT=1.06	SAT TT=1.073	SAT TT=0.861	SAT TT=0.86	SAT TT=0.904	SAT TT=0.903	SAT TT=5.929	SAT TT=0.009	SAT TT=0.01	SAT TT=0.008	No data	SAT TT=1.07	No data	SAT TT=1.73	SAT TT=1.746	SAT TT=1.273	? (NS) TT=0.011	SAT TT=1.337	SAT TT=1.214	SAT TT=7.512	SAT TT=0.014	SAT TT=0.014	SAT TT=0.011	No data	SAT TT=1.138	No data	SAT TT=0.663	SAT TT=0.6
DeBruijnSequence/ DeBruijnSequence-m1-s1/ DeBruijnSequence-02-09.xml	SAT TT=3.178	SAT TT=9.296	? (NS) TT=2.658	? (NS) TT=2.318	SAT TT=67.44	SAT TT=67.58	SAT TT=24.204	SAT TT=22.861	SAT TT=220.701	SAT TT=227.691	SAT TT=85.615	SAT TT=5.357	SAT TT=10.212	SAT TT=3.178	No data	? (TO) TT=2520.07	No data	SAT (TO) TT=19906.5	SAT TT=11787.5	SAT TT=10.552	? (NS) TT=2.347	SAT TT=67.256	SAT TT=69.233	SAT TT=89.25	SAT TT=5.354	SAT TT=10.571	SAT TT=3.102	No data	? (TO) TT=2400.07	No data	? TT=769.845	? TT=506.931
DeBruijnSequence/ DeBruijnSequence-m1-s1/ DeBruijnSequence-03-04.xml	SAT TT=0.188	SAT TT=2.069	? (NS) TT=0.079	? (NS) TT=0.08	SAT TT=5.156	SAT TT=4.424	SAT TT=1.631	SAT TT=1.635	SAT TT=1.945	SAT TT=1.931	SAT TT=9.82	SAT TT=0.277	SAT TT=0.295	SAT TT=0.188	No data	SAT TT=2.051	No data	SAT (TO) TT=19788.801	SAT (TO) TT=5063.92	SAT TT=2.469	? (NS) TT=0.127	SAT TT=4.788	SAT TT=5.232	SAT TT=11.485	SAT TT=0.321	SAT TT=0.349	SAT TT=0.206	No data	SAT TT=2.172	No data	SAT TT=56.314	SAT TT=56.503
DeBruijnSequence/ DeBruijnSequence-m1-s1/ DeBruijnSequence-03-05.xml	SAT TT=0.769	SAT TT=4.245	? (NS) TT=0.381	? (NS) TT=0.381	SAT TT=17.64	SAT TT=17.313	SAT TT=7.103	SAT TT=7.292	SAT TT=15.421	SAT TT=15.594	SAT TT=15.418	SAT TT=1.118	SAT TT=1.667	SAT TT=0.769	No data	SAT TT=6.199	No data	SAT (TO) TT=19887.4	SAT (TO) TT=12568	SAT TT=4.847	? (NS) TT=0.441	SAT TT=21.182	SAT TT=21.985	SAT TT=19.757	SAT TT=1.198	SAT TT=1.742	SAT TT=0.774	No data	SAT TT=8.428	No data	? (TO) TT=2400.14	? (TO) TT=2520.2
DeBruijnSequence/ DeBruijnSequence-m1-s1/ DeBruijnSequence-03-06.xml	SAT TT=3.152	SAT TT=20.406	? (NS) TT=2.882	? (NS) TT=2.649	SAT TT=123.5	SAT TT=127.372	SAT TT=37.725	SAT TT=38.361	SAT TT=250.59	SAT TT=252.817	? (TO) TT=2521.05	SAT TT=4.658	SAT TT=19.746	SAT TT=3.152	No data	? (TO) TT=2520.12	No data	SAT (TO) TT=19914.699	SAT TT=98.424	SAT TT=22.353	? (NS) TT=2.714	SAT TT=161.522	SAT TT=171.184	? (TO) TT=2402.17	SAT TT=4.711	SAT TT=19.279	SAT TT=2.948	No data	? (TO) TT=2400.12	No data	? (TO) TT=2416.24	? TT=2065.37
DeBruijnSequence/ DeBruijnSequence-m1-s1/ DeBruijnSequence-04-05.xml	SAT TT=4.492	SAT TT=56.49	? (NS) TT=4.254	? (NS) TT=4.201	SAT TT=297.414	SAT TT=296.769	SAT TT=120.05	SAT TT=120.026	SAT TT=1542.74	SAT TT=1524.74	? (TO) TT=2521.78	SAT TT=5.763	? (MO) TT=32.013	SAT TT=4.492	No data	SAT TT=193.271	No data	SAT (TO) TT=19766.199	SAT TT=124.386	SAT TT=58.417	? (NS) TT=4.218	SAT TT=407.036	SAT TT=415.497	? (TO) TT=2403.53	SAT TT=5.689	? (MO) TT=32.452	SAT TT=3.993	No data	SAT TT=200.376	No data	? (TO) TT=2416.15	? TT=2269.27
DiamondFree/ DiamondFree-m1-s1/ DiamondFree-013.xml	SAT TT=0.204	SAT TT=2.115	? (NS) TT=0.069	? (NS) TT=0.07	SAT TT=3.83	SAT TT=3.893	SAT TT=1.649	SAT TT=1.627	SAT TT=2.06	SAT TT=2.06	SAT TT=15.748	SAT TT=0.217	SAT TT=0.215	SAT TT=0.204	No data	SAT TT=2.889	No data	SAT TT=15.835	SAT TT=12.001	SAT TT=2.569	? (NS) TT=0.114	SAT TT=4.245	SAT TT=4.538	SAT TT=18.775	SAT TT=0.254	SAT TT=0.239	SAT TT=0.21	No data	SAT TT=3.498	No data	SAT TT=8.556	SAT TT=7.914
DiamondFree/ DiamondFree-m1-s1/ DiamondFree-016.xml	SAT TT=0.356	SAT TT=2.991	? (NS) TT=0.149	? (NS) TT=0.149	SAT TT=5.517	SAT TT=5.211	SAT TT=2.069	SAT TT=2.205	SAT TT=2.315	SAT TT=2.331	SAT TT=17.982	SAT TT=0.356	SAT TT=0.371	SAT TT=0.403	No data	SAT TT=4.376	No data	SAT (TO) TT=19080.301	SAT TT=17.926	SAT TT=3.707	? (NS) TT=0.206	SAT TT=5.905	SAT TT=5.839	SAT TT=23.302	SAT TT=0.401	SAT TT=0.393	SAT TT=0.407	No data	SAT TT=5.08	No data	SAT TT=15.9	SAT TT=14.451
DiamondFree/ DiamondFree-m1-s1/ DiamondFree-025.xml	SAT TT=1.293	SAT TT=6.266	? (NS) TT=1.892	? (NS) TT=1.734	SAT TT=10.855	SAT TT=10.798	SAT TT=5.519	SAT TT=6.473	SAT TT=11.656	SAT TT=16.798	SAT TT=116.557	SAT TT=1.293	SAT TT=1.617	SAT TT=2.214	No data	SAT TT=10.215	No data	SAT (TO) TT=20030.699	SAT TT=51.03	SAT TT=8.476	? (NS) TT=1.744	SAT TT=11.796	SAT TT=12.575	SAT TT=125.568	SAT TT=1.359	SAT TT=1.568	SAT TT=2.17	No data	SAT TT=11.741	No data	SAT TT=210.851	SAT TT=209.044
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	BTD 2017-07-25 (complete)	BTD 2017-08-10 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: BTD 2017-06-30 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
DiamondFree/ DiamondFree-m1-s1/ DiamondFree-027.xml	SAT TT=1.682	SAT TT=8.191	? (NS) TT=2.863	? (NS) TT=2.948	SAT TT=13.805	SAT TT=14.212	SAT TT=4.971	SAT TT=4.908	SAT TT=5.563	SAT TT=5.592	? (TO) TT=2522.34	SAT TT=1.682	SAT TT=1.652	SAT TT=2.782	No data	SAT TT=8.617	No data	SAT (TO) TT=20033	SAT TT=227.838	SAT TT=10.084	? (NS) TT=2.917	SAT TT=14.002	SAT TT=15.223	? (TO) TT=2405.53	SAT TT=1.689	SAT TT=1.701	SAT TT=3.09	No data	SAT TT=9.945	No data	SAT TT=295.272	SAT TT=277.528
DiamondFree/ DiamondFree-m1-s1/ DiamondFree-039.xml	SAT TT=6.321	SAT TT=21.263	? (NS) TT=104.95	? (NS) TT=102.858	SAT TT=35.515	SAT TT=37.689	SAT TT=9.154	SAT TT=9.213	SAT TT=10.07	SAT TT=10.333	? (TO) TT=2527.13	SAT TT=6.321	SAT TT=27.296	SAT TT=20.236	No data	SAT TT=181.356	No data	SAT (TO) TT=20013.5	SAT TT=205.842	SAT TT=25.556	? (NS) TT=99.599	SAT TT=43.883	SAT TT=43.47	? (TO) TT=2412.47	SAT TT=6.357	SAT TT=28.207	SAT TT=19.287	No data	SAT TT=186.386	No data	? (TO) TT=2400.28	? (TO) TT=2520.15
DiamondFree/ DiamondFree-m1-s1/ DiamondFree-055.xml	SAT TT=24.04	SAT TT=68.471	? (NS) TT=1767.95	? (NS) TT=1746.56	SAT TT=199.183	SAT TT=195.734	SAT TT=427.124	SAT TT=411.096	SAT TT=1216.03	SAT TT=1213.49	? (TO) TT=2527.53	SAT TT=24.04	? (TO) TT=2519.77	SAT TT=184.776	No data	SAT TT=136.706	No data	SAT (TO) TT=19873.1	SAT TT=938.986	SAT TT=125.923	? (NS) TT=1756.2	SAT TT=316.59	SAT TT=338.772	? (TO) TT=2415.28	SAT TT=24.367	? (TO) TT=2400.1	SAT TT=216.066	No data	SAT TT=205.494	No data	? (TO) TT=2400.31	? (TO) TT=2520.2
Domino/ Domino-m1-s1/ Domino-100-300.xml	SAT TT=0.01	SAT TT=1.32	SAT TT=2.566	SAT TT=2.584	SAT TT=4.773	SAT TT=5.16	SAT TT=1.595	SAT TT=1.639	SAT TT=1.727	SAT TT=1.73	SAT TT=6.645	SAT TT=0.019	SAT TT=0.353	SAT TT=0.01	No data	SAT TT=1.442	No data	SAT TT=2.828	SAT TT=2.815	SAT TT=1.496	SAT TT=2.711	SAT TT=6.204	SAT TT=6.331	SAT TT=7.857	SAT TT=0.033	SAT TT=0.406	SAT TT=0.014	No data	SAT TT=1.651	No data	SAT TT=23.19	SAT TT=14.999
Domino/ Domino-m1-s1/ Domino-100-500.xml	SAT TT=0.007	SAT TT=1.516	SAT TT=11.005	SAT TT=11.022	SAT TT=7.94	SAT TT=7.519	SAT TT=2.102	SAT TT=2.054	SAT TT=2.231	SAT TT=2.121	SAT TT=6.456	SAT TT=0.038	SAT TT=0.911	SAT TT=0.007	No data	SAT TT=1.541	No data	SAT TT=2.99	SAT TT=3.133	SAT TT=1.74	SAT TT=11.187	SAT TT=10.663	SAT TT=11.231	SAT TT=7.58	SAT TT=0.068	SAT TT=0.939	SAT TT=0.016	No data	SAT TT=1.778	No data	SAT TT=87.98	SAT TT=42.748
Domino/ Domino-m1-s1/ Domino-200-100.xml	SAT TT=0.009	SAT TT=1.322	SAT TT=1.492	SAT TT=1.496	SAT TT=3.369	SAT TT=3.399	SAT TT=1.217	SAT TT=1.263	SAT TT=1.297	SAT TT=1.317	SAT TT=6.549	SAT TT=0.01	SAT TT=0.093	SAT TT=0.009	No data	SAT TT=1.557	No data	SAT TT=2.852	SAT TT=2.845	SAT TT=1.582	SAT TT=1.538	SAT TT=4.248	SAT TT=5.081	SAT TT=7.559	SAT TT=0.014	SAT TT=0.136	SAT TT=0.011	No data	SAT TT=1.629	No data	SAT TT=3.917	SAT TT=2.859
Domino/ Domino-m1-s1/ Domino-200-200.xml	SAT TT=0.011	SAT TT=1.348	SAT TT=6.525	SAT TT=6.563	SAT TT=5.128	SAT TT=4.698	SAT TT=1.564	SAT TT=1.625	SAT TT=1.594	SAT TT=1.603	SAT TT=6.393	SAT TT=0.014	SAT TT=0.324	SAT TT=0.011	No data	SAT TT=1.52	No data	SAT TT=3.045	SAT TT=3.126	SAT TT=1.641	SAT TT=6.625	SAT TT=5.562	SAT TT=6.061	SAT TT=7.499	SAT TT=0.024	SAT TT=0.336	SAT TT=0.013	No data	SAT TT=1.675	No data	SAT TT=25.064	SAT TT=13.669
Domino/ Domino-m1-s1/ Domino-300-300.xml	SAT TT=0.01	SAT TT=1.544	SAT TT=31.921	SAT TT=52.624	SAT TT=9.348	SAT TT=9.653	SAT TT=2.051	SAT TT=2.091	SAT TT=2.159	SAT TT=2.202	SAT TT=6.85	SAT TT=0.026	SAT TT=1.005	SAT TT=0.01	No data	SAT TT=1.692	No data	SAT TT=4.035	SAT TT=3.848	SAT TT=1.847	SAT TT=31.822	SAT TT=12.355	SAT TT=12.559	SAT TT=7.949	SAT TT=0.046	SAT TT=1.013	SAT TT=0.012	No data	SAT TT=1.855	No data	SAT TT=65.212	SAT TT=39.598
Domino/ Domino-m1-s1/ Domino-700-100.xml	SAT TT=0.013	SAT TT=1.437	SAT TT=27.736	SAT TT=28.306	SAT TT=5.908	SAT TT=6.557	SAT TT=1.538	SAT TT=1.633	SAT TT=1.697	SAT TT=1.616	SAT TT=6.879	SAT TT=0.022	SAT TT=0.309	SAT TT=0.013	No data	SAT TT=1.989	No data	SAT TT=4.563	SAT TT=4.699	SAT TT=1.72	SAT TT=27.68	SAT TT=7.21	SAT TT=7.664	SAT TT=8.422	SAT TT=0.037	SAT TT=0.355	SAT TT=0.028	No data	SAT TT=2.058	No data	SAT TT=19.171	SAT TT=9.949
Driver/ Driver-m1-s1/ driverlogw-01c.xml	SAT TT=0.004	SAT TT=1.178	SAT TT=0.004	SAT TT=0.004	SAT TT=1.721	SAT TT=1.75	SAT TT=0.885	SAT TT=0.897	SAT TT=0.988	SAT TT=1.006	SAT TT=7.438	SAT TT=0.008	SAT TT=0.008	SAT TT=0.017	No data	SAT TT=1.28	No data	SAT TT=60.069	SAT TT=5.363	SAT TT=1.358	SAT TT=0.005	SAT TT=2.216	SAT TT=2.005	SAT TT=8.503	SAT TT=0.01	SAT TT=0.014	SAT TT=0.023	No data	SAT TT=1.363	No data	SAT TT=0.994	SAT TT=0.88
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	BTD 2017-07-25 (complete)	BTD 2017-08-10 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: BTD 2017-06-30 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
Driver/ Driver-m1-s1/ driverlogw-02c.xml	SAT TT=0.084	SAT TT=3.468	SAT TT=0.391	SAT TT=0.386	SAT TT=6.888	SAT TT=7.317	SAT TT=2.92	SAT TT=2.854	SAT TT=3.063	SAT TT=3.007	SAT TT=16.228	SAT TT=0.084	SAT TT=0.097	SAT TT=0.304	No data	SAT TT=4.904	No data	SAT (TO) TT=4443.03	SAT TT=14.614	SAT TT=3.929	SAT TT=0.436	SAT TT=7.513	SAT TT=7.61	SAT TT=20.181	SAT TT=0.106	SAT TT=0.151	SAT TT=0.331	No data	SAT TT=5.582	No data	SAT TT=5.247	SAT TT=3.761
Driver/ Driver-m1-s1/ driverlogw-04c.xml	SAT TT=0.093	SAT TT=3.656	SAT TT=0.173	SAT TT=0.171	SAT TT=7.265	SAT TT=8.196	SAT TT=2.797	SAT TT=2.697	SAT TT=2.788	SAT TT=2.917	SAT TT=15.794	SAT TT=0.093	SAT TT=0.104	SAT TT=0.281	No data	SAT TT=4.009	No data	SAT TT=1613.89	SAT TT=22.998	SAT TT=4.261	SAT TT=0.225	SAT TT=7.626	SAT TT=7.321	SAT TT=20.172	SAT TT=0.143	SAT TT=0.156	SAT TT=0.297	No data	SAT TT=5.19	No data	SAT TT=5.012	SAT TT=3.923
Driver/Driver-m1-s1/ driverlogw-08cc.xml	SAT TT=0.209	SAT TT=4.706	SAT TT=2.859	SAT TT=2.774	SAT TT=11.236	SAT TT=13.496	SAT TT=4.078	SAT TT=4.166	SAT TT=4.778	SAT TT=4.871	SAT TT=21.313	SAT TT=0.209	SAT TT=0.213	SAT TT=0.861	No data	SAT TT=4.618	No data	SAT TT=259.275	SAT TT=33.113	SAT TT=6.222	SAT TT=2.766	SAT TT=11.596	SAT TT=12.628	SAT TT=24.565	SAT TT=0.227	SAT TT=0.269	SAT TT=0.956	No data	SAT TT=6.267	No data	SAT TT=7.785	SAT TT=5.631
Driver/ Driver-m1-s1/ driverlogw-08c.xml	SAT TT=0.204	SAT TT=4.627	SAT TT=3.101	SAT TT=2.965	SAT TT=11.742	SAT TT=12.094	SAT TT=4.354	SAT TT=4.42	SAT TT=4.99	SAT TT=5.026	SAT TT=19.206	SAT TT=0.204	SAT TT=0.197	SAT TT=0.841	No data	SAT TT=4.419	No data	SAT TT=251.352	SAT TT=34.674	SAT TT=6.014	SAT TT=2.985	SAT TT=11.423	SAT TT=11.674	SAT TT=28.507	SAT TT=0.22	SAT TT=0.262	SAT TT=0.908	No data	SAT TT=6.079	No data	SAT TT=6.744	SAT TT=5.554
Driver/ Driver-m1-s1/ driverlogw-09.xml	SAT TT=0.607	SAT TT=9.45	SAT TT=14.013	SAT TT=12.461	SAT TT=32.091	SAT TT=35.204	SAT TT=5.858	SAT TT=6.633	SAT TT=7.681	SAT TT=10.43	SAT TT=31.715	SAT TT=0.607	SAT TT=1.22	SAT TT=16.584	No data	SAT TT=12.793	No data	SAT TT=403.268	SAT TT=153.62	SAT TT=11.637	SAT TT=11.9	SAT TT=44.559	SAT TT=44.166	SAT TT=39.342	SAT TT=0.625	SAT TT=1.311	SAT TT=7.681	No data	SAT TT=15.176	No data	SAT TT=12.506	SAT TT=9.815
Dubois/ Dubois-m1-s1/ Dubois-021.xml	UNSAT TT=0.003	UNSAT TT=29.17	UNSAT TT=0.003	UNSAT TT=0.003	UNSAT TT=117.162	UNSAT TT=91.144	UNSAT TT=45.658	UNSAT TT=45.425	UNSAT TT=1.921	UNSAT TT=1.89	UNSAT TT=380.62	UNSAT TT=167.638	UNSAT TT=63.879	UNSAT TT=111.283	No data	UNSAT TT=32.527	No data	UNSAT TT=50.198	UNSAT TT=51.334	UNSAT TT=29.941	UNSAT TT=0.006	UNSAT TT=255.852	UNSAT TT=267.398	UNSAT TT=401.14	UNSAT TT=169.213	UNSAT TT=64.116	UNSAT TT=130.806	No data	UNSAT TT=30.157	No data	UNSAT TT=1.281	UNSAT TT=1.152
Dubois/ Dubois-m1-s1/ Dubois-022.xml	UNSAT TT=0.004	UNSAT TT=77.924	UNSAT TT=0.004	UNSAT TT=0.004	UNSAT TT=179.758	UNSAT TT=71.763	UNSAT TT=98.874	UNSAT TT=102.03	UNSAT TT=4.706	UNSAT TT=4.695	UNSAT TT=746.203	UNSAT TT=368.443	UNSAT TT=144.823	UNSAT TT=130.951	No data	UNSAT TT=60.589	No data	UNSAT TT=84.769	UNSAT TT=89.852	UNSAT TT=80.852	UNSAT TT=0.004	UNSAT TT=119.949	UNSAT TT=131.018	UNSAT TT=820.795	UNSAT TT=365.748	UNSAT TT=146.666	UNSAT TT=137.042	No data	UNSAT TT=65.261	No data	UNSAT TT=1.3	UNSAT TT=1.14
Dubois/ Dubois-m1-s1/ Dubois-025.xml	UNSAT TT=0.004	UNSAT TT=551.144	UNSAT TT=0.004	UNSAT TT=0.004	UNSAT TT=293.528	UNSAT TT=531.128	UNSAT TT=848.17	UNSAT TT=847.81	UNSAT TT=3.172	UNSAT TT=3.155	? (TO) TT=2520.5	? (TO) TT=2520.09	UNSAT TT=943.674	UNSAT TT=1859.58	No data	UNSAT TT=523.737	No data	UNSAT TT=681.374	UNSAT TT=638.957	UNSAT TT=603.085	UNSAT TT=0.007	UNSAT TT=1739.02	UNSAT TT=1741.03	? (TO) TT=2401.15	? (TO) TT=2400.08	UNSAT TT=963.739	UNSAT TT=1806.62	No data	UNSAT TT=513.642	No data	UNSAT TT=1.423	UNSAT TT=1.307
Dubois/ Dubois-m1-s1/ Dubois-050.xml	UNSAT TT=0.007	? (TO) TT=2520.07	UNSAT TT=0.007	UNSAT TT=0.007	? (TO) TT=19806.199	? (TO) TT=19875.5	? (TO) TT=2520.05	? (TO) TT=2520.07	? (TO) TT=2520.06	? (TO) TT=2520.07	? (TO) TT=2520.42	? (TO) TT=2519.71	? (TO) TT=2520.09	? (TO) TT=2519.45	No data	? (TO) TT=2520.12	No data	? (TO) TT=19851.301	? (TO) TT=19854.801	? (TO) TT=2400.06	UNSAT TT=0.013	? (TO) TT=2400.69	? (TO) TT=2400.33	? (TO) TT=2401.08	? (TO) TT=2400.03	? (TO) TT=2400.03	? (TO) TT=2400.07	No data	? (TO) TT=2400.1	No data	UNSAT TT=1.645	UNSAT TT=1.8
Dubois/ Dubois-m1-s1/ Dubois-080.xml	UNSAT TT=0.013	? (TO) TT=2520.08	UNSAT TT=0.013	UNSAT TT=0.013	? (TO) TT=19996.199	? (TO) TT=20033.1	? (TO) TT=2520.25	? (TO) TT=2520.11	? (TO) TT=2520.05	? (TO) TT=2520.06	? (TO) TT=2520.5	? (TO) TT=2520	? (TO) TT=2519.94	? (TO) TT=2519.88	No data	? (TO) TT=2520.11	No data	? (TO) TT=19822.5	? (TO) TT=19841.5	? (TO) TT=2400.09	UNSAT TT=0.02	? (TO) TT=2400.22	? (TO) TT=2400.59	? (TO) TT=2401.1	? (TO) TT=2400.09	? (TO) TT=2400.03	? (TO) TT=2400.05	No data	? (TO) TT=2400.11	No data	UNSAT TT=2.903	UNSAT TT=2.251
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	BTD 2017-07-25 (complete)	BTD 2017-08-10 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: BTD 2017-06-30 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
Dubois/ Dubois-m1-s1/ Dubois-090.xml	UNSAT TT=0.015	? (TO) TT=2520.11	UNSAT TT=0.015	UNSAT TT=0.015	? (TO) TT=19982.199	? (TO) TT=20022.4	? (TO) TT=2520.07	? (TO) TT=2520.1	? (TO) TT=2520.11	? (TO) TT=2520.09	? (TO) TT=2520.51	? (TO) TT=2520	? (TO) TT=2520.01	? (TO) TT=2519.81	No data	? (TO) TT=2520.05	No data	? (TO) TT=19856.301	? (TO) TT=19851.301	? (TO) TT=2400.1	UNSAT TT=0.021	? (TO) TT=2400.4	? (TO) TT=2400	? (TO) TT=2401.08	? (TO) TT=2400.01	? (TO) TT=2400.11	? (TO) TT=2400.02	No data	? (TO) TT=2400.11	No data	UNSAT TT=2.917	UNSAT TT=2.805
Fastfood/ Fastfood-m1-s1/ Fastfood-ff06.xml	OPT f=2 TT=0.191 T1=0.2	OPT f=2 TT=3.442 T1=1.34	No data	No data	OPT f=2 TT=19.107 T1=3.33	OPT f=2 TT=19.235 T1=3.26	OPT f=2 TT=2.509 T1=0.9	OPT f=2 TT=2.556 T1=1.06	OPT f=2 TT=4.133 T1=1.29	OPT f=2 TT=4.176 T1=1.28	OPT f=2 TT=15.939 T1=6.24	OPT f=2 TT=0.231 T1=0.28	OPT f=2 TT=0.289 T1=0.33	OPT f=2 TT=0.191 T1=0.24	SAT (TO) f=2 TT=2520.11 T1=22.65	OPT f=2 TT=3.599 T1=1.53	OPT f=2 TT=3.598 T1=2.06	OPT f=2 TT=13.293 T1=3.39	OPT f=2 TT=13.88 T1=11.3	OPT f=2 TT=3.881 T1=1.2	No data	OPT f=2 TT=24.831 T1=3.96	OPT f=2 TT=26.287 T1=4.16	OPT f=2 TT=22.832 T1=6.65	OPT f=2 TT=0.269 T1=0.25	OPT f=2 TT=0.313 T1=0.29	OPT f=2 TT=0.239 T1=0.2	SAT (TO) f=2 TT=2400.12 T1=20.94	OPT f=2 TT=4.358 T1=1.45	OPT f=2 TT=4.309 T1=1.42	OPT f=2 TT=472.512 T1=391.12	OPT f=2 TT=466.794 T1=388.39
Fastfood/ Fastfood-m1-s1/ Fastfood-ff15.xml	OPT f=1 TT=0.224 T1=0.22	OPT f=1 TT=3.19 T1=1.23	No data	No data	OPT f=1 TT=28.482 T1=4.53	OPT f=1 TT=30.6 T1=4.6	OPT f=1 TT=3.106 T1=1.22	OPT f=1 TT=3.135 T1=1.29	OPT f=1 TT=4.036 T1=1.29	OPT f=1 TT=3.983 T1=1.27	OPT f=1 TT=16.819 T1=6.57	OPT f=1 TT=0.224 T1=0.3	OPT f=1 TT=0.311 T1=0.36	OPT f=1 TT=0.234 T1=0.25	SAT (TO) f=1 TT=2520.09 T1=2.8	OPT f=1 TT=3.515 T1=1.51	OPT f=1 TT=3.414 T1=2.14	OPT f=1 TT=10.483 T1=2.39	OPT f=1 TT=10.473 T1=9.47	OPT f=1 TT=3.964 T1=1.18	No data	OPT f=1 TT=37.049 T1=5.65	OPT f=1 TT=40.827 T1=6.31	OPT f=1 TT=22.939 T1=6.78	OPT f=1 TT=0.275 T1=0.26	OPT f=1 TT=0.358 T1=0.34	OPT f=1 TT=0.269 T1=0.22	SAT (TO) f=1 TT=2400.12 T1=2.37	OPT f=1 TT=4.057 T1=1.39	OPT f=1 TT=4.259 T1=1.44	OPT f=1 TT=527.246 T1=351.01	OPT f=1 TT=533.889 T1=361.17
Fastfood/ Fastfood-m1-s1/ Fastfood-ff16.xml	OPT f=1916 TT=0.319 T1=0.21	OPT f=1916 TT=4.087 T1=1.55	No data	No data	OPT f=1916 TT=10.763 T1=1.85	OPT f=1916 TT=10.995 T1=1.94	OPT f=1916 TT=34.496 T1=6.6	OPT f=1916 TT=33.705 T1=6.6	OPT f=1916 TT=61.245 T1=49.42	OPT f=1916 TT=60.208 T1=48.3	OPT f=1916 TT=18.977 T1=6.04	OPT f=1916 TT=1.552 T1=1.6	OPT f=1916 TT=1.029 T1=1.09	OPT f=1916 TT=0.319 T1=0.28	SAT (TO) f=1916 TT=2520.08 T1=38.95	OPT f=1916 TT=3.35 T1=1.41	OPT f=1916 TT=3.235 T1=1.37	OPT f=1916 TT=22.98 T1=9.66	OPT f=1916 TT=22.906 T1=22.01	OPT f=1916 TT=4.28 T1=1.49	No data	OPT f=1916 TT=12.755 T1=2.18	OPT f=1916 TT=12.724 T1=2.28	OPT f=1916 TT=21.845 T1=6.15	OPT f=1916 TT=1.588 T1=1.56	OPT f=1916 TT=1.039 T1=0.88	OPT f=1916 TT=0.351 T1=0.21	SAT (TO) f=1916 TT=2400.08 T1=34.18	OPT f=1916 TT=4.288 T1=1.43	OPT f=1916 TT=4.006 T1=1.37	OPT f=1916 TT=230.082 T1=184.12	OPT f=1916 TT=272.484 T1=222.02
Fastfood/ Fastfood-m1-s1/ Fastfood-ff18.xml	OPT f=1143 TT=6.268 T1=0.61	OPT f=1143 TT=30.045 T1=8.86	No data	No data	OPT f=1143 TT=31.295 T1=4.91	OPT f=1143 TT=28.675 T1=4.27	OPT f=1143 TT=875.858 T1=506.05	OPT f=1143 TT=862.271 T1=497.27	OPT f=1143 TT=1915.55 T1=239.57	OPT f=1143 TT=1908.61 T1=237.99	OPT f=1143 TT=125.389 T1=6.49	OPT f=1143 TT=36.33 T1=36.34	OPT f=1143 TT=18.043 T1=18.11	OPT f=1143 TT=6.418 T1=0.68	SAT (TO) f=1143 TT=2520.1 T1=170.47	OPT f=1143 TT=7.219 T1=2.92	OPT f=1143 TT=6.954 T1=2.84	OPT f=1143 TT=66.511 T1=23.21	OPT f=1143 TT=67.586 T1=63.92	OPT f=1143 TT=28.424 T1=8.48	No data	OPT f=1143 TT=47.525 T1=6.18	OPT f=1143 TT=49.549 T1=6.32	OPT f=1143 TT=129.089 T1=7.4	OPT f=1143 TT=36.618 T1=35.34	OPT f=1143 TT=18.218 T1=11.51	OPT f=1143 TT=6.268 T1=0.61	SAT (TO) f=1143 TT=2400.05 T1=115.6	OPT f=1143 TT=8.528 T1=2.81	OPT f=1143 TT=7.927 T1=2.78	SAT (TO) f=1143 TT=2400.19 T1=1730.98	SAT (TO) f=1143 TT=2520.24 T1=1933.13
Fastfood/ Fastfood-m1-s1/ Fastfood-ff32.xml	OPT f=5708 TT=0.039 T1=0.05	OPT f=5708 TT=1.421 T1=0.74	No data	No data	OPT f=5708 TT=2.819 T1=0.82	OPT f=5708 TT=2.942 T1=0.84	OPT f=5708 TT=1.408 T1=0.66	OPT f=5708 TT=1.424 T1=0.69	OPT f=5708 TT=1.742 T1=0.78	OPT f=5708 TT=1.8 T1=0.72	? TT=6.233	OPT f=5708 TT=0.043 T1=0.12	OPT f=5708 TT=0.047 T1=0.14	OPT f=5708 TT=0.039 T1=0.13	SAT (TO) f=5708 TT=2520.05 T1=1.29	OPT f=5708 TT=1.646 T1=0.93	OPT f=5708 TT=1.621 T1=0.98	OPT f=5708 TT=3.441 T1=1.32	OPT f=5708 TT=3.553 T1=3.02	OPT f=5708 TT=1.646 T1=0.72	No data	OPT f=5708 TT=3.327 T1=0.93	OPT f=5708 TT=3.391 T1=0.95	? TT=6.685	OPT f=5708 TT=0.073 T1=0.07	OPT f=5708 TT=0.066 T1=0.06	OPT f=5708 TT=0.059 T1=0.05	SAT (TO) f=5708 TT=2400.04 T1=1.34	OPT f=5708 TT=2.081 T1=1.04	OPT f=5708 TT=1.828 T1=0.89	OPT f=5708 TT=5.084 T1=1.92	OPT f=5708 TT=4.838 T1=2.04
Fastfood/ Fastfood-m1-s1/ Fastfood-ff37.xml	OPT f=644 TT=1.335 T1=1.16	OPT f=644 TT=9.379 T1=3.17	No data	No data	OPT f=644 TT=17.014 T1=2.65	OPT f=644 TT=16.324 T1=2.55	OPT f=644 TT=51.631 T1=40.78	OPT f=644 TT=51.384 T1=40.18	OPT f=644 TT=158.442 T1=84.16	OPT f=644 TT=162.013 T1=85.98	OPT f=644 TT=25.907 T1=4.98	OPT f=644 TT=6.049 T1=6.14	OPT f=644 TT=4.105 T1=4.15	OPT f=644 TT=1.335 T1=1.26	SAT (TO) f=644 TT=2520.09 T1=71.16	OPT f=644 TT=5.612 T1=2.15	OPT f=644 TT=4.826 T1=1.95	OPT f=644 TT=14.745 T1=4.8	OPT f=644 TT=14.818 T1=12.49	OPT f=644 TT=10.193 T1=3.2	No data	OPT f=644 TT=22.796 T1=3.24	OPT f=644 TT=22.623 T1=3.18	OPT f=644 TT=28.017 T1=5.16	OPT f=644 TT=6.003 T1=3.83	OPT f=644 TT=4.137 T1=3.76	OPT f=644 TT=1.338 T1=1.16	SAT (TO) f=644 TT=2400.05 T1=88.04	OPT f=644 TT=5.475 T1=1.91	OPT f=644 TT=5.077 T1=1.89	OPT f=644 TT=494.485 T1=256.21	OPT f=644 TT=504.145 T1=264.98
Fastfood/ Fastfood-m1-s1/ Fastfood-ff41.xml	OPT f=14 TT=0.39 T1=0.18	OPT f=14 TT=3.961 T1=1.72	No data	No data	OPT f=14 TT=32.451 T1=4.51	OPT f=14 TT=28.978 T1=4.26	OPT f=14 TT=3.613 T1=1.13	OPT f=14 TT=3.923 T1=1.28	OPT f=14 TT=9.071 T1=2.51	OPT f=14 TT=8.502 T1=2.3	OPT f=14 TT=20.679 T1=6.23	OPT f=14 TT=1.795 T1=1.85	OPT f=14 TT=1.665 T1=1.73	OPT f=14 TT=0.39 T1=0.25	SAT (TO) f=14 TT=2520.12 T1=99.32	OPT f=14 TT=5.689 T1=2.34	OPT f=14 TT=6.117 T1=2.42	OPT f=14 TT=23.524 T1=6.89	OPT f=14 TT=24.48 T1=20.31	OPT f=14 TT=5.684 T1=1.84	No data	OPT f=14 TT=39.416 T1=5.66	OPT f=14 TT=38.334 T1=5.48	OPT f=14 TT=25.009 T1=6.42	OPT f=14 TT=1.814 T1=1.12	OPT f=14 TT=1.683 T1=1	OPT f=14 TT=0.404 T1=0.18	SAT (TO) f=14 TT=2400.11 T1=96.06	OPT f=14 TT=7.381 T1=2.3	OPT f=14 TT=6.477 T1=2.53	OPT f=14 TT=850.329 T1=784.7	OPT f=14 TT=851.595 T1=787.37
Fastfood/ Fastfood-m1-s1/ Fastfood-ff44.xml	OPT f=3 TT=0.135 T1=0.17	OPT f=3 TT=2.951 T1=1.19	No data	No data	OPT f=3 TT=27.678 T1=4.4	OPT f=3 TT=24.944 T1=4	OPT f=3 TT=3.005 T1=1.18	OPT f=3 TT=2.877 T1=1.14	OPT f=3 TT=5.218 T1=1.64	OPT f=3 TT=4.998 T1=1.73	OPT f=3 TT=15.241 T1=5.97	OPT f=3 TT=0.135 T1=0.2	OPT f=3 TT=0.174 T1=0.23	OPT f=3 TT=0.198 T1=0.24	SAT (TO) f=3 TT=2520.12 T1=32.93	OPT f=3 TT=3.806 T1=1.45	OPT f=3 TT=3.872 T1=1.34	OPT f=3 TT=20.469 T1=6.31	OPT f=3 TT=21.145 T1=19.08	OPT f=3 TT=3.978 T1=1.31	No data	OPT f=3 TT=35.643 T1=5.45	OPT f=3 TT=37.091 T1=5.64	OPT f=3 TT=21.431 T1=6.3	OPT f=3 TT=0.146 T1=0.12	OPT f=3 TT=0.21 T1=0.18	OPT f=3 TT=0.205 T1=0.17	SAT (TO) f=3 TT=2400.08 T1=37.61	OPT f=3 TT=4.599 T1=1.38	OPT f=3 TT=5.077 T1=1.52	OPT f=3 TT=405.001 T1=395.7	OPT f=3 TT=398.26 T1=390.41
Fastfood/ Fastfood-m1-s1/ Fastfood-ff46.xml	OPT f=1 TT=0.087 T1=0.15	OPT f=1 TT=2.451 T1=1.06	No data	No data	OPT f=1 TT=26.711 T1=4.29	OPT f=1 TT=26.694 T1=4.29	OPT f=1 TT=2.388 T1=0.88	OPT f=1 TT=2.408 T1=1.05	OPT f=1 TT=3.206 T1=1.04	OPT f=1 TT=3.22 T1=0.92	OPT f=1 TT=14.829 T1=5.87	OPT f=1 TT=0.087 T1=0.15	OPT f=1 TT=0.128 T1=0.19	OPT f=1 TT=0.166 T1=0.22	SAT (TO) f=1 TT=2520.05 T1=1.66	OPT f=1 TT=3.271 T1=1.42	OPT f=1 TT=3.197 T1=1.4	OPT f=1 TT=8.793 T1=2.09	OPT f=1 TT=9.014 T1=7.66	OPT f=1 TT=2.945 T1=1.05	No data	OPT f=1 TT=37.13 T1=5.7	OPT f=1 TT=36.864 T1=5.61	OPT f=1 TT=20.719 T1=6.2	OPT f=1 TT=0.13 T1=0.12	OPT f=1 TT=0.183 T1=0.17	OPT f=1 TT=0.214 T1=0.18	SAT (TO) f=1 TT=2400.05 T1=1.41	OPT f=1 TT=3.594 T1=1.31	OPT f=1 TT=3.681 T1=1.32	OPT f=1 TT=148.137 T1=116.3	OPT f=1 TT=146.693 T1=115.9
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	BTD 2017-07-25 (complete)	BTD 2017-08-10 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: BTD 2017-06-30 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
Fastfood/ Fastfood-m1-s1/ Fastfood-ff54.xml	OPT f=3420 TT=0.416 T1=0.26	OPT f=3420 TT=5.312 T1=2.44	No data	No data	OPT f=3420 TT=15.053 T1=2.52	OPT f=3420 TT=16.823 T1=2.37	OPT f=3420 TT=62.376 T1=48.95	OPT f=3420 TT=63.522 T1=49.65	OPT f=3420 TT=79.578 T1=50.73	OPT f=3420 TT=80.315 T1=51.26	OPT f=3420 TT=27.667 T1=7.94	OPT f=3420 TT=2.601 T1=2.7	OPT f=3420 TT=1.888 T1=1.98	OPT f=3420 TT=0.416 T1=0.33	SAT (TO) f=3420 TT=2520.09 T1=34.53	OPT f=3420 TT=4.09 T1=1.64	OPT f=3420 TT=3.701 T1=1.4	OPT f=3420 TT=30.563 T1=13.99	OPT f=3420 TT=29.014 T1=27.92	OPT f=3420 TT=6.365 T1=2.45	No data	Wrong Opt. f=3914 TT=8.273 T1=1.7	Wrong Opt. f=3732 TT=9.339 T1=1.84	OPT f=3420 TT=30.976 T1=7.57	OPT f=3420 TT=2.64 T1=2.58	OPT f=3420 TT=1.935 T1=1.47	OPT f=3420 TT=0.448 T1=0.26	SAT (TO) f=3420 TT=2400.08 T1=22.83	OPT f=3420 TT=4.694 T1=1.56	OPT f=3420 TT=4.794 T1=1.55	OPT f=3420 TT=539.634 T1=475.84	OPT f=3420 TT=535.597 T1=473.58
Fastfood/ Fastfood-m1-s1/ Fastfood-ff57.xml	OPT f=1334 TT=19.431 T1=7.18	OPT f=1334 TT=822.013 T1=422.21	No data	No data	OPT f=1334 TT=84.298 T1=10.72	OPT f=1334 TT=93.539 T1=10.64	SAT (TO) f=1486 TT=2520.05 T1=1397.81	SAT (TO) f=1486 TT=2520.06 T1=1397.8	SAT (TO) f=1474 TT=2520.1 T1=1458.62	SAT (TO) f=1474 TT=2520.04 T1=1467.44	OPT f=1334 TT=980.827 T1=7.89	OPT f=1334 TT=250.278 T1=250.29	OPT f=1334 TT=130.922 T1=130.98	OPT f=1334 TT=42.373 T1=20.52	SAT (TO) f=1334 TT=2520.03 T1=204.49	OPT f=1334 TT=19.431 T1=7.5	SAT (TO) f=1334 TT=2520.07 T1=15.16	OPT f=1334 TT=156.159 T1=31.59	OPT f=1334 TT=146.909 T1=142.49	OPT f=1334 TT=839.955 T1=430.68	No data	OPT f=1334 TT=154.424 T1=19.02	OPT f=1334 TT=164.71 T1=19.41	OPT f=1334 TT=938.084 T1=7.88	OPT f=1334 TT=254.27 T1=249.34	OPT f=1334 TT=130.42 T1=95.36	OPT f=1334 TT=42.233 T1=20.37	SAT (TO) f=1334 TT=2400.08 T1=207.08	OPT f=1334 TT=21.202 T1=7.18	OPT f=1334 TT=1976.55 T1=9.94	SAT (TO) f=1378 TT=2400.31 T1=2106.88	SAT (TO) f=1378 TT=2520.19 T1=2266.67
Fastfood/ Fastfood-m1-s1/ Fastfood-ff65.xml	OPT f=63 TT=6.278 T1=1.43	OPT f=63 TT=6.707 T1=2.19	No data	No data	OPT f=63 TT=42.992 T1=5.19	OPT f=63 TT=38.753 T1=4.41	OPT f=63 TT=11.312 T1=4.07	OPT f=63 TT=10.658 T1=4.04	OPT f=63 TT=35.764 T1=18.1	OPT f=63 TT=36.217 T1=18.35	OPT f=63 TT=36.029 T1=6.44	OPT f=63 TT=8.992 T1=9.05	OPT f=63 TT=6.278 T1=6.33	OPT f=63 TT=7.181 T1=1.59	SAT (TO) f=63 TT=2520.04 T1=227.8	OPT f=63 TT=6.974 T1=2.99	OPT f=63 TT=6.547 T1=2.83	OPT f=63 TT=36.121 T1=8.35	OPT f=63 TT=34.033 T1=33.54	OPT f=63 TT=7.459 T1=2.17	No data	OPT f=63 TT=60.115 T1=6.88	OPT f=63 TT=64.753 T1=6.46	OPT f=63 TT=40.76 T1=6.62	OPT f=63 TT=9.093 T1=4.17	OPT f=63 TT=6.297 T1=4.4	OPT f=63 TT=7.109 T1=1.43	SAT (TO) f=63 TT=2400.04 T1=162.78	OPT f=63 TT=7.765 T1=3.07	OPT f=63 TT=9.16 T1=3.21	SAT (TO) f=63 TT=2400.18 T1=1805.31	SAT (TO) f=63 TT=2520.15 T1=1823.74
Fastfood/ Fastfood-m1-s1/ Fastfood-ff69.xml	OPT f=6119 TT=0.041 T1=0.05	OPT f=6119 TT=1.476 T1=0.8	No data	No data	OPT f=6119 TT=3.309 T1=0.82	OPT f=6119 TT=3.183 T1=0.81	OPT f=6119 TT=1.482 T1=0.66	OPT f=6119 TT=1.455 T1=0.73	OPT f=6119 TT=1.976 T1=0.71	OPT f=6119 TT=2.002 T1=0.74	? TT=6.302	OPT f=6119 TT=0.047 T1=0.12	OPT f=6119 TT=0.052 T1=0.09	OPT f=6119 TT=0.041 T1=0.12	SAT (TO) f=6119 TT=2520.05 T1=1.32	OPT f=6119 TT=1.733 T1=0.98	OPT f=6119 TT=1.706 T1=0.97	OPT f=6119 TT=3.778 T1=1.32	OPT f=6119 TT=3.685 T1=2.95	OPT f=6119 TT=1.927 T1=0.81	No data	OPT f=6119 TT=3.843 T1=0.99	OPT f=6119 TT=3.464 T1=0.95	? TT=7.302	OPT f=6119 TT=0.08 T1=0.07	OPT f=6119 TT=0.074 T1=0.07	OPT f=6119 TT=0.057 T1=0.05	SAT (TO) f=6119 TT=2400.05 T1=1.28	OPT f=6119 TT=1.926 T1=0.87	OPT f=6119 TT=2.257 T1=1.05	OPT f=6119 TT=7.959 T1=1.71	OPT f=6119 TT=7.126 T1=1.74
Fastfood/ Fastfood-m1-s1/ Fastfood-ff71.xml	OPT f=16 TT=0.35 T1=0.19	OPT f=16 TT=3.519 T1=1.35	No data	No data	OPT f=16 TT=20.66 T1=3.22	OPT f=16 TT=23.794 T1=3.46	OPT f=16 TT=3.39 T1=1.14	OPT f=16 TT=3.262 T1=1.23	OPT f=16 TT=8.172 T1=2.45	OPT f=16 TT=8.199 T1=2.32	OPT f=16 TT=18.048 T1=6.24	OPT f=16 TT=0.873 T1=0.94	OPT f=16 TT=0.794 T1=0.83	OPT f=16 TT=0.35 T1=0.27	SAT (TO) f=16 TT=2520.12 T1=98.93	OPT f=16 TT=4.3 T1=1.68	OPT f=16 TT=4.147 T1=1.69	OPT f=16 TT=19.399 T1=5.7	OPT f=16 TT=19.691 T1=18.69	OPT f=16 TT=4.628 T1=1.38	No data	OPT f=16 TT=29.213 T1=4.29	OPT f=16 TT=28.044 T1=4.16	OPT f=16 TT=22.417 T1=6.18	OPT f=16 TT=0.924 T1=0.55	OPT f=16 TT=0.783 T1=0.62	OPT f=16 TT=0.377 T1=0.19	SAT (TO) f=16 TT=2400.07 T1=83.11	OPT f=16 TT=5.414 T1=1.63	OPT f=16 TT=5.361 T1=1.66	OPT f=16 TT=511.418 T1=487.76	OPT f=16 TT=518.931 T1=496.73
Fastfood/ Fastfood-m1-s1/ Fastfood-ff76.xml	OPT f=310 TT=9.224 T1=1.15	OPT f=310 TT=22.934 T1=16	No data	No data	OPT f=310 TT=98.544 T1=9.65	OPT f=310 TT=70.655 T1=5.9	OPT f=310 TT=119.835 T1=109.47	OPT f=310 TT=119.725 T1=109.25	OPT f=310 TT=326.695 T1=260.75	OPT f=310 TT=324.986 T1=259.4	OPT f=310 TT=95.546 T1=9.08	OPT f=310 TT=21.458 T1=21.46	OPT f=310 TT=27.768 T1=27.83	OPT f=310 TT=28.929 T1=1.22	SAT (TO) f=310 TT=2520.13 T1=249.79	OPT f=310 TT=9.925 T1=5.62	OPT f=310 TT=9.224 T1=5.65	OPT f=310 TT=53.973 T1=11.55	OPT f=310 TT=54.274 T1=42.8	OPT f=310 TT=23.236 T1=15.8	No data	OPT f=310 TT=108.599 T1=8.83	OPT f=310 TT=109.737 T1=7.65	OPT f=310 TT=100.279 T1=8.73	OPT f=310 TT=21.553 T1=18.83	OPT f=310 TT=27.735 T1=27.13	OPT f=310 TT=29.69 T1=1.15	SAT (TO) f=310 TT=2400.08 T1=141.77	OPT f=310 TT=10.358 T1=5.36	OPT f=310 TT=10.234 T1=5.36	SAT (TO) f=310 TT=2400.22 T1=2278.3	SAT (TO) f=313 TT=2520.13 T1=1472.72
Fastfood/ Fastfood-m1-s1/ Fastfood-ff77.xml	OPT f=125 TT=1.302 T1=0.92	OPT f=125 TT=4.801 T1=2.21	No data	No data	OPT f=125 TT=17.172 T1=2.78	OPT f=125 TT=15.381 T1=2.72	OPT f=125 TT=8.504 T1=3.53	OPT f=125 TT=8.817 T1=3.7	OPT f=125 TT=17.98 T1=6.56	OPT f=125 TT=19.018 T1=6.68	OPT f=125 TT=16.589 T1=5.19	OPT f=125 TT=2.41 T1=2.44	OPT f=125 TT=2.099 T1=2.14	OPT f=125 TT=1.302 T1=0.92	SAT (TO) f=125 TT=2520.1 T1=35.14	OPT f=125 TT=4.884 T1=1.94	OPT f=125 TT=4.549 T1=1.89	OPT f=125 TT=16.674 T1=5.28	OPT f=125 TT=15.222 T1=14.35	OPT f=125 TT=6.202 T1=2.09	No data	OPT f=125 TT=18.02 T1=2.95	OPT f=125 TT=19.918 T1=2.7	OPT f=125 TT=21.5 T1=5.88	OPT f=125 TT=2.472 T1=2.44	OPT f=125 TT=2.148 T1=1.65	OPT f=125 TT=1.349 T1=0.92	SAT (TO) f=125 TT=2400.09 T1=37.07	OPT f=125 TT=5.806 T1=1.89	OPT f=125 TT=5.531 T1=1.85	OPT f=125 TT=215.233 T1=199.65	OPT f=125 TT=216.931 T1=202.47
Fastfood/ Fastfood-m1-s1/ Fastfood-ff84.xml	OPT f=770 TT=0.129 T1=0.07	OPT f=770 TT=2.732 T1=1.13	No data	No data	OPT f=770 TT=5.98 T1=1.11	OPT f=770 TT=6.146 T1=1.23	OPT f=770 TT=9.297 T1=3.3	OPT f=770 TT=9.263 T1=3.45	OPT f=770 TT=23.596 T1=9.58	OPT f=770 TT=23.588 T1=9.58	OPT f=770 TT=13.251 T1=5.18	OPT f=770 TT=0.585 T1=0.65	OPT f=770 TT=0.324 T1=0.36	OPT f=770 TT=0.129 T1=0.15	SAT (TO) f=770 TT=2520.53 T1=20.7	OPT f=770 TT=2.894 T1=1.19	OPT f=770 TT=2.861 T1=1.17	OPT f=770 TT=14.872 T1=6.29	OPT f=770 TT=14.295 T1=12.74	OPT f=770 TT=3.296 T1=1.07	No data	Wrong Opt. f=776 TT=4.97 T1=1.18	Wrong Opt. f=808 TT=4.615 T1=1.13	OPT f=770 TT=15.725 T1=5.05	OPT f=770 TT=0.643 T1=0.62	OPT f=770 TT=0.329 T1=0.27	OPT f=770 TT=0.171 T1=0.07	SAT (TO) f=770 TT=2400.06 T1=27.09	OPT f=770 TT=3.649 T1=1.19	OPT f=770 TT=3.112 T1=1.05	OPT f=770 TT=35.125 T1=24.76	OPT f=770 TT=40.907 T1=29.99
Fischer/Fischer-m1-s1/ Fischer-04-04-fair.xml	UNSAT TT=7.315	UNSAT TT=89.871	? (TO) TT=2519.61	? (TO) TT=2519.98	UNSAT TT=47.514	UNSAT TT=43.649	UNSAT TT=7.914	UNSAT TT=7.718	UNSAT TT=9.241	UNSAT TT=9.125	UNSAT TT=25.594	? (TO) TT=2520.26	Signal TT=38.81	UNSAT TT=7.315	No data	UNSAT TT=25.249	No data	UNSAT TT=237.356	UNSAT TT=250.884	UNSAT TT=97.51	? (TO) TT=2400.23	UNSAT TT=56.248	UNSAT TT=63.538	UNSAT TT=31.641	? (TO) TT=2400.06	Signal TT=43.652	UNSAT TT=6.741	No data	UNSAT TT=30.365	No data	? (TO) TT=2415.79	? (TO) TT=2528.12
Fischer/Fischer-m1-s1/ Fischer-05-03-fair.xml	UNSAT TT=5.392	UNSAT TT=92.304	? (TO) TT=2520.38	? (TO) TT=2519.98	UNSAT TT=37.08	UNSAT TT=68.116	UNSAT TT=5.207	UNSAT TT=5.392	UNSAT TT=8.392	UNSAT TT=7.282	UNSAT TT=23.554	? (TO) TT=2520.07	Signal TT=38.251	UNSAT TT=7.169	No data	UNSAT TT=21.078	No data	UNSAT TT=215.555	UNSAT TT=219.036	UNSAT TT=105.543	? (TO) TT=2400.26	UNSAT TT=85.191	UNSAT TT=61.662	UNSAT TT=30.064	? (TO) TT=2400.04	Signal TT=42.818	UNSAT TT=6.396	No data	UNSAT TT=25.935	No data	? (TO) TT=2401.2	? (TO) TT=2521.95
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	BTD 2017-07-25 (complete)	BTD 2017-08-10 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: BTD 2017-06-30 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
Fischer/Fischer-m1-s1/ Fischer-06-09-fair.xml		? (problem) TT=66.97	? (TO) TT=2519.68	? (TO) TT=2519.96	? (TO) TT=20024.801	? (TO) TT=20032.1	? (TO) TT=2520.06	? (TO) TT=2520.11	? (TO) TT=2520.07	? (TO) TT=2520.08	? (TO) TT=2521.85	? (TO) TT=2520.42	? (MO) TT=30.524	? (TO) TT=2519.7	No data	? (TO) TT=2520.07	No data	? (TO) TT=19332.5	? (TO) TT=19336.4	? (problem) TT=152.07	? (TO) TT=2400.38	? (TO) TT=2400.56	? (TO) TT=2400.61	? (TO) TT=2404.07	? (TO) TT=2400.49	? (MO) TT=30.353	? (TO) TT=2400.07	No data	? (TO) TT=2400.13	No data	? (TO) TT=2415.93	? (TO) TT=2527.98
Fischer/Fischer-m1-s1/ Fischer-08-07-fair.xml	UNSAT TT=824.701	? (problem) TT=78.584	? (TO) TT=2520.26	? (TO) TT=2519.91	? (TO) TT=20031.699	? (TO) TT=20027.801	? (TO) TT=2520.08	? (TO) TT=2520.04	? (TO) TT=2520.07	? (TO) TT=2520.13	? (TO) TT=2521.78	? (TO) TT=2520.48	Signal TT=40.145	UNSAT TT=824.701	No data	? (TO) TT=2520.11	No data	? (TO) TT=19194.699	? (TO) TT=19212.4	? (problem) TT=188.706	? (TO) TT=2400.32	? (TO) TT=2400.05	? (TO) TT=2400	? (TO) TT=2404.34	? (TO) TT=2400.69	Signal TT=40.469	UNSAT TT=736.889	No data	? (TO) TT=2400.05	No data	? (TO) TT=2413.84	? (TO) TT=2528.09
Fischer/Fischer-m1-s1/ Fischer-11-12-fair.xml		? (exit code) TT=52.284	? (TO) TT=2519.82	? (TO) TT=2519.94	? (TO) TT=19940.5	? (TO) TT=19938.4	? (TO) TT=2520.07	? (TO) TT=2520.12	? (TO) TT=2520.14	? (TO) TT=2520.05	? (TO) TT=2523.43	? (MO) TT=28.569	? (MO) TT=28.471	? (TO) TT=2519.99	No data	? (TO) TT=2520.09	No data	? TT=2124.69	? (TO) TT=17056.4	? (exit code) TT=131.357	? (TO) TT=2400.41	? (TO) TT=2400.63	? (TO) TT=2400.1	? (TO) TT=2409.13	? (MO) TT=29.214	? (MO) TT=28.566	? (TO) TT=2400.06	No data	? (TO) TT=2400.07	No data	? (TO) TT=2416.05	? (TO) TT=2527.6
Fischer/Fischer-m1-s1/ Fischer-11-14-fair.xml		? (exit code) TT=50.996	? (TO) TT=2519.8	? (TO) TT=2519.64	? (TO) TT=19890.4	? (TO) TT=19880.199	? (TO) TT=2520.1	? (TO) TT=2520.08	? (TO) TT=2520.11	? (TO) TT=2520.08	? (TO) TT=2524.12	? (MO) TT=27.448	? (MO) TT=26.904	? (TO) TT=2519.93	No data	? (TO) TT=2520.09	No data	? TT=10143.4	? TT=1853.17	? (exit code) TT=108.429	? (TO) TT=2400.45	? (TO) TT=2400.31	? (TO) TT=2400.51	? (TO) TT=2409.49	? (MO) TT=27.261	? (MO) TT=27.115	? (TO) TT=2400.05	No data	? (TO) TT=2400.13	No data	? (TO) TT=2416.37	? (TO) TT=2528.16
GolombRuler/ GolombRuler-a3-s1/ GolombRuler-05-a3.xml	OPT f=11 TT=0.024 T1=0.03	OPT f=11 TT=3.096 T1=1.17	No data	No data	OPT f=11 TT=1.43 T1=0.57	OPT f=11 TT=1.362 T1=0.67	OPT f=11 TT=1.473 T1=0.77	OPT f=11 TT=1.467 T1=0.8	OPT f=11 TT=2.071 T1=0.94	OPT f=11 TT=2.063 T1=1.03	OPT f=11 TT=8.82 T1=4.13	OPT f=11 TT=0.035 T1=0.14	OPT f=11 TT=0.296 T1=0.28	OPT f=11 TT=0.024 T1=0.09	SAT (TO) f=11 TT=2520.04 T1=1.1	OPT f=11 TT=1.803 T1=1.03	OPT f=11 TT=1.829 T1=1.01	OPT f=11 TT=10.803 T1=3.19	OPT f=11 TT=9.646 T1=8.55	OPT f=11 TT=3.446 T1=1.08	No data	OPT f=11 TT=1.532 T1=0.62	OPT f=11 TT=1.515 T1=0.62	OPT f=11 TT=10.576 T1=4.18	OPT f=11 TT=0.05 T1=0.05	OPT f=11 TT=0.352 T1=6.17	OPT f=11 TT=0.039 T1=0.03	SAT (TO) f=11 TT=2400.07 T1=1	OPT f=11 TT=2.012 T1=0.92	OPT f=11 TT=2.049 T1=0.94	OPT f=11 TT=31.95 T1=7.22	OPT f=11 TT=16.039 T1=6.24
GolombRuler/ GolombRuler-a3-s1/ GolombRuler-06-a3.xml	OPT f=17 TT=0.038 T1=0.06	OPT f=17 TT=9.165 T1=2.17	No data	No data	OPT f=17 TT=1.53 T1=0.6	OPT f=17 TT=1.808 T1=0.64	OPT f=17 TT=1.111 T1=0.63	OPT f=17 TT=1.126 T1=0.65	OPT f=17 TT=1.558 T1=0.75	OPT f=17 TT=1.569 T1=0.78	OPT f=17 TT=9.329 T1=4.75	OPT f=17 TT=0.306 T1=0.29	OPT f=17 TT=0.594 T1=0.53	OPT f=17 TT=0.038 T1=0.13	SAT (TO) f=17 TT=2520.06 T1=1.22	OPT f=17 TT=2.033 T1=1.07	OPT f=17 TT=2.101 T1=1.12	OPT f=17 TT=10.537 T1=4.01	OPT f=17 TT=10.964 T1=10.14	OPT f=17 TT=9.514 T1=2.18	No data	OPT f=17 TT=1.985 T1=0.7	OPT f=17 TT=1.838 T1=0.66	OPT f=17 TT=11.403 T1=4.37	OPT f=17 TT=0.363 T1=0.24	OPT f=17 TT=0.643 T1=6.35	OPT f=17 TT=0.061 T1=0.06	SAT (TO) f=17 TT=2400.07 T1=1.29	OPT f=17 TT=2.435 T1=0.98	OPT f=17 TT=2.634 T1=1.03	OPT f=17 TT=43.98 T1=11.24	OPT f=17 TT=24.409 T1=10.38
GolombRuler/ GolombRuler-a3-s1/ GolombRuler-07-a3.xml	OPT f=25 TT=0.089 T1=0.12	OPT f=25 TT=127.095 T1=4.51	No data	No data	OPT f=25 TT=2.955 T1=0.7	OPT f=25 TT=3.163 T1=0.69	OPT f=25 TT=2.223 T1=0.81	OPT f=25 TT=2.209 T1=0.82	OPT f=25 TT=5.893 T1=1.35	OPT f=25 TT=5.824 T1=1.34	OPT f=25 TT=10.32 T1=4.52	OPT f=25 TT=2.205 T1=1.23	OPT f=25 TT=2.104 T1=0.85	OPT f=25 TT=0.089 T1=0.12	SAT (TO) f=25 TT=2520.06 T1=1.6	OPT f=25 TT=2.163 T1=1.09	OPT f=25 TT=2.206 T1=0.97	OPT f=25 TT=11.663 T1=3.71	OPT f=25 TT=14.616 T1=13.01	OPT f=25 TT=126.859 T1=4.42	No data	OPT f=25 TT=2.822 T1=0.71	OPT f=25 TT=2.98 T1=0.9	OPT f=25 TT=11.734 T1=4.38	OPT f=25 TT=2.252 T1=1.17	OPT f=25 TT=2.18 T1=0.84	OPT f=25 TT=0.136 T1=0.12	SAT (TO) f=25 TT=2400.1 T1=1.18	OPT f=25 TT=2.62 T1=0.97	OPT f=25 TT=2.727 T1=1.02	OPT f=25 TT=97.983 T1=35.08	OPT f=25 TT=59.639 T1=33.53
GolombRuler/ GolombRuler-a3-s1/ GolombRuler-08-a3.xml	OPT f=34 TT=0.338 T1=0.11	OPT f=34 TT=1566.53 T1=44.96	No data	No data	OPT f=34 TT=9.474 T1=0.8	OPT f=34 TT=5.887 T1=0.82	OPT f=34 TT=6.702 T1=2.98	OPT f=34 TT=6.559 T1=2.92	OPT f=34 TT=38.618 T1=24.82	OPT f=34 TT=38.264 T1=24.58	OPT f=34 TT=11.676 T1=5.07	OPT f=34 TT=23.02 T1=8.27	OPT f=34 TT=18.738 T1=16.4	OPT f=34 TT=0.338 T1=0.18	SAT (TO) f=34 TT=2520.08 T1=11.3	OPT f=34 TT=2.948 T1=1.21	OPT f=34 TT=2.926 T1=1.2	OPT f=34 TT=16.097 T1=4.65	OPT f=34 TT=17.715 T1=17.48	OPT f=34 TT=1565.43 T1=44.77	No data	OPT f=34 TT=6.963 T1=0.83	OPT f=34 TT=6.305 T1=0.85	OPT f=34 TT=12.948 T1=4.87	OPT f=34 TT=22.847 T1=8.15	OPT f=34 TT=18.792 T1=16.47	OPT f=34 TT=0.378 T1=0.11	SAT (TO) f=34 TT=2400.07 T1=13.28	OPT f=34 TT=3.252 T1=1.12	OPT f=34 TT=3.419 T1=1.08	OPT f=34 TT=235.599 T1=96.21	OPT f=34 TT=200.712 T1=97.92
GolombRuler/ GolombRuler-a3-s1/ GolombRuler-09-a3.xml	OPT f=44 TT=4.947 T1=1.07	SAT (TO) f=47 TT=2520.06 T1=579.93	No data	No data	OPT f=44 TT=11.41 T1=1.33	OPT f=44 TT=14.825 T1=1.39	OPT f=44 TT=65.066 T1=46.32	OPT f=44 TT=64.492 T1=46.22	OPT f=44 TT=382.219 T1=62.45	OPT f=44 TT=386.096 T1=62.7	OPT f=44 TT=15.503 T1=7.06	OPT f=44 TT=256.513 T1=166.41	OPT f=44 TT=110.372 T1=82.86	OPT f=44 TT=4.947 T1=1.08	SAT (TO) f=44 TT=2520.1 T1=27.49	OPT f=44 TT=5.16 T1=2.78	OPT f=44 TT=5.621 T1=2.87	OPT f=44 TT=47.715 T1=9.26	OPT f=44 TT=43.769 T1=43.13	SAT (TO) f=47 TT=2400.03 T1=624.23	No data	OPT f=44 TT=15.326 T1=1.26	OPT f=44 TT=16.689 T1=1.34	OPT f=44 TT=16.94 T1=6.61	OPT f=44 TT=256.32 T1=166.12	OPT f=44 TT=111.426 T1=83.73	OPT f=44 TT=5.004 T1=1.07	SAT (TO) f=44 TT=2400.08 T1=37.44	OPT f=44 TT=5.615 T1=2.78	OPT f=44 TT=5.873 T1=2.82	OPT f=44 TT=1497.85 T1=397.06	OPT f=44 TT=1449.91 T1=407.29
GolombRuler/ GolombRuler-a3-s1/ GolombRuler-10-a3.xml	OPT f=55 TT=11.943 T1=2.12	SAT (TO) f=61 TT=2520.08 T1=638.18	No data	No data	OPT f=55 TT=33.688 T1=2.6	OPT f=55 TT=28.783 T1=2.12	OPT f=55 TT=853.977 T1=529.04	OPT f=55 TT=848.922 T1=525.04	SAT (TO) f=60 TT=2520.11 T1=10.55	SAT (TO) f=60 TT=2520.03 T1=10.95	OPT f=55 TT=37.968 T1=20.59	OPT f=55 TT=1476.3 T1=1107.84	OPT f=55 TT=961.062 T1=928.37	OPT f=55 TT=26.805 T1=4.79	SAT (TO) f=55 TT=2520.07 T1=93.25	OPT f=55 TT=11.943 T1=6.94	OPT f=55 TT=12.219 T1=7.07	OPT f=55 TT=739.964 T1=95.93	OPT f=55 TT=767.921 T1=756.46	SAT (TO) f=61 TT=2400.09 T1=636.87	No data	OPT f=55 TT=50.856 T1=3.24	OPT f=55 TT=49.888 T1=2.66	OPT f=55 TT=40.57 T1=20.67	OPT f=55 TT=1473.47 T1=1107.38	OPT f=55 TT=967.773 T1=935.05	OPT f=55 TT=27.214 T1=4.84	SAT (TO) f=55 TT=2400.07 T1=47.72	OPT f=55 TT=12.376 T1=6.95	OPT f=55 TT=12.452 T1=6.89	SAT (TO) f=55 TT=2400.31 T1=699.49	SAT (TO) f=55 TT=2520.3 T1=712.38
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	BTD 2017-07-25 (complete)	BTD 2017-08-10 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: BTD 2017-06-30 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
GolombRuler/ GolombRuler-a3-s1/ GolombRuler-12-a3.xml	OPT f=85 TT=1775.33 T1=211.03	SAT (TO) f=103 TT=2520.03 T1=1246.58	No data	No data	OPT f=85 TT=4076.36 T1=254.54	OPT f=85 TT=3789.25 T1=211.03	SAT (TO) f=92 TT=2520.04 T1=449	SAT (TO) f=92 TT=2520.1 T1=457.54	SAT (TO) f=91 TT=2520.05 T1=1700.76	SAT (TO) f=91 TT=2520.02 T1=1738.41	SAT (TO) f=90 TT=2520.1 T1=1214.07	SAT (TO) f=107 TT=2519.98 T1=1757.66	SAT (TO) f=103 TT=2520 T1=2137.86	SAT (TO) f=91 TT=2520.05 T1=260.52	SAT (TO) f=94 TT=2520.04 T1=983.26	OPT f=85 TT=1775.33 T1=1416.72	SAT (TO) f=93 TT=2520.05 T1=325.74	SAT (TO) f=396 TT=19831.9 T1=2493.55	SAT (TO) f=428 TT=19854.6 T1=19218.311	SAT (TO) f=103 TT=2400.09 T1=1254.98	No data	SAT (TO) f=91 TT=2400.54 T1=7.71	SAT (TO) f=91 TT=2400.14 T1=68	SAT (TO) f=90 TT=2400.11 T1=1253.31	? (TO) TT=2400.07	? (TO) TT=2400.1	SAT (TO) f=91 TT=2400.09 T1=260.33	SAT (TO) f=91 TT=2400.09 T1=1515.94	OPT f=85 TT=1884.09 T1=1493.62	SAT (TO) f=93 TT=2400.03 T1=27.34	SAT (TO) f=102 TT=2400.31 T1=1615.03	SAT (TO) f=99 TT=2520.34 T1=2258.09
GolombRuler/ GolombRuler-a3-s1/ GolombRuler-14-a3.xml	SAT TO f=129 TT=20028.4 T1=2155.69	SAT (TO) f=160 TT=2520.09 T1=2104.88	No data	No data	SAT (TO) f=129 TT=20068.1 T1=2227.93	SAT (TO) f=129 TT=20028.4 T1=2155.69	SAT (TO) f=151 TT=2520.11 T1=1430.52	SAT (TO) f=151 TT=2520.05 T1=1404.6	SAT (TO) f=155 TT=2520.08 T1=2328.26	SAT (TO) f=155 TT=2520.08 T1=2347.41	SAT (TO) f=135 TT=2520.08 T1=1006.48	SAT (TO) f=165 TT=2520.08 T1=1723.14	SAT (TO) f=170 TT=2519.99 T1=892.46	SAT (TO) f=140 TT=2520.08 T1=1013.41	? (TO) TT=2520.03	SAT (TO) f=136 TT=2520.05 T1=654.33	SAT (TO) f=140 TT=2520.04 T1=1931.97	? (TO) TT=19836.1	? (TO) TT=19816.4	SAT (TO) f=160 TT=2400.03 T1=1918.23	No data	SAT (TO) f=136 TT=2400.43 T1=202.06	SAT (TO) f=135 TT=2400.35 T1=247.54	SAT (TO) f=135 TT=2400.16 T1=1030.57	? (TO) TT=2400.04	? (TO) TT=2400.09	SAT (TO) f=140 TT=2400.06 T1=996.97	? (TO) TT=2400.1	SAT (TO) f=136 TT=2400.1 T1=659.09	SAT (TO) f=135 TT=2400.08 T1=2315.94	SAT (TO) f=192 TT=2400.26 T1=1179.01	SAT (TO) f=174 TT=2520.31 T1=1914.01
GolombRuler/ GolombRuler-a3-s1/ GolombRuler-15-a3.xml	SAT TO f=161 TT=20019.5 T1=370.89	SAT (TO) f=195 TT=2520.1 T1=1375.59	No data	No data	SAT (TO) f=161 TT=20070 T1=382.74	SAT (TO) f=161 TT=20019.5 T1=370.89	SAT (TO) f=180 TT=2520.04 T1=440.25	SAT (TO) f=180 TT=2520.07 T1=434.39	SAT (TO) f=185 TT=2520.11 T1=1741.31	SAT (TO) f=185 TT=2520.08 T1=1767.91	? (TO) TT=2520.46	SAT (TO) f=200 TT=2520.09 T1=1840.27	SAT (TO) f=206 TT=2519.88 T1=1179.29	SAT (TO) f=164 TT=2519.9 T1=1059.48	? (TO) TT=2520.05	? (TO) TT=2520.02	? (TO) TT=2520.04	? (TO) TT=19825.5	? (TO) TT=19815.1	SAT (TO) f=195 TT=2400.07 T1=1364.33	No data	SAT (TO) f=166 TT=2400.57 T1=196.1	SAT (TO) f=166 TT=2400.42 T1=200.56	? (TO) TT=2401	? (TO) TT=2400.03	? (TO) TT=2400.16	SAT (TO) f=164 TT=2400.03 T1=1036.41	? (TO) TT=2400.07	? (TO) TT=2400.05	? (TO) TT=2400.09	? (TO) TT=2416.38	? TT=1440.12
GolombRuler/ GolombRuler-a3-s1/ GolombRuler-16-a3.xml	SAT TO f=190 TT=20036 T1=1689.45	SAT (TO) f=237 TT=2520.03 T1=1963.4	No data	No data	SAT (TO) f=190 TT=20068.5 T1=1684.8	SAT (TO) f=190 TT=20036 T1=1689.45	SAT (TO) f=225 TT=2520.06 T1=2381.73	SAT (TO) f=225 TT=2520.02 T1=2184.96	SAT (TO) f=221 TT=2520.14 T1=2109.12	SAT (TO) f=221 TT=2520.02 T1=2123.24	? (TO) TT=2520.54	SAT (TO) f=232 TT=2520.03 T1=2084.14	SAT (TO) f=235 TT=2520.09 T1=2176.59	SAT (TO) f=202 TT=2520.02 T1=1000.41	? (TO) TT=2520.07	? (TO) TT=2520.03	? (TO) TT=2520.11	? (TO) TT=19800.1	? (TO) TT=19836.4	SAT (TO) f=237 TT=2400.09 T1=1965.81	No data	SAT (TO) f=200 TT=2400.38 T1=279.69	SAT (TO) f=200 TT=2400.3 T1=272.22	? (TO) TT=2401.07	? (TO) TT=2400.03	? (TO) TT=2400.06	SAT (TO) f=202 TT=2400.06 T1=1006.8	? (TO) TT=2400.05	? (TO) TT=2400.11	? (TO) TT=2400.13	? (TO) TT=2416.26	? TT=1711.41
GolombRuler/ GolombRuler-a3-s1/ GolombRuler-17-a3.xml	SAT TO f=223 TT=20031.1 T1=1700.96	SAT (TO) f=276 TT=2520.11 T1=1079.09	No data	No data	SAT (TO) f=223 TT=20052.301 T1=1762.6	SAT (TO) f=223 TT=20031.1 T1=1700.96	SAT (TO) f=257 TT=2520.04 T1=1695.1	SAT (TO) f=257 TT=2520.07 T1=1706.91	SAT (TO) f=284 TT=2520.11 T1=1369.82	SAT (TO) f=283 TT=2520.04 T1=2467.16	? (TO) TT=2520.57	SAT (TO) f=278 TT=2519.68 T1=894.38	SAT (TO) f=279 TT=2519.82 T1=2066.06	SAT (TO) f=236 TT=2519.79 T1=173.37	? (TO) TT=2520.07	? (TO) TT=2520.12	? (TO) TT=2520.12	? (TO) TT=19805.699	? (TO) TT=19803.6	SAT (TO) f=276 TT=2400.04 T1=1103.41	No data	SAT (TO) f=239 TT=2400.21 T1=158.15	SAT (TO) f=239 TT=2400.07 T1=158.04	? (TO) TT=2401.04	? (TO) TT=2400.03	SAT (TO) f=279 TT=2400.08 T1=2058.88	SAT (TO) f=236 TT=2400.1 T1=174.45	? (TO) TT=2400.08	? (TO) TT=2400.09	? (TO) TT=2400.04	? (TO) TT=2416.01	? TT=1686.79
GolombRuler/ GolombRuler-a3-s1/ GolombRuler-19-a3.xml	SAT TO f=298 TT=20014.301 T1=1052.97	SAT (TO) f=381 TT=2520.07 T1=2143.43	No data	No data	SAT (TO) f=298 TT=20071.1 T1=1046.57	SAT (TO) f=298 TT=20014.301 T1=1052.97	SAT (TO) f=414 TT=2520.03 T1=2084.18	SAT (TO) f=414 TT=2520.06 T1=2097.09	SAT (TO) f=381 TT=2520.12 T1=2267.15	SAT (TO) f=381 TT=2520.03 T1=2250.19	? (TO) TT=2520.54	? (TO) TT=2520	? (TO) TT=2520	SAT (TO) f=335 TT=2519.82 T1=1849.66	? (TO) TT=2520.05	? (TO) TT=2520.09	? (TO) TT=2520.1	? (TO) TT=19773.699	? (TO) TT=19782.4	SAT (TO) f=381 TT=2400.03 T1=2154.6	No data	SAT (TO) f=322 TT=2400.54 T1=237.42	SAT (TO) f=322 TT=2400.61 T1=230.54	? (TO) TT=2401.13	? (TO) TT=2400.06	? (TO) TT=2400.1	SAT (TO) f=335 TT=2400.08 T1=1875.85	? (TO) TT=2400.1	? (TO) TT=2400.08	? (TO) TT=2400.06	? (TO) TT=2416.04	? (exit code) TT=1560.71
GolombRuler/ GolombRuler-a3-s1/ GolombRuler-21-a3.xml	SAT TO f=409 TT=20039.199 T1=507.13	SAT (TO) f=553 TT=2520.04 T1=1150.17	No data	No data	SAT (TO) f=406 TT=20069.1 T1=1918.28	SAT (TO) f=409 TT=20039.199 T1=507.13	? (TO) TT=2520.08	? (TO) TT=2520.04	? (TO) TT=2520.02	? (TO) TT=2520.03	? (TO) TT=2520.54	? (TO) TT=2519.75	? (TO) TT=2520.2	SAT (TO) f=422 TT=2520.02 T1=1641.02	? (TO) TT=2520.04	? (TO) TT=2520.05	? (TO) TT=2520.07	? (TO) TT=19683.199	? (TO) TT=19647.1	SAT (TO) f=553 TT=2400.11 T1=1159.16	No data	SAT (TO) f=416 TT=2400.27 T1=231.72	SAT (TO) f=416 TT=2400.05 T1=233.58	? (TO) TT=2401.17	? (TO) TT=2400.08	? (TO) TT=2400.32	SAT (TO) f=422 TT=2400.07 T1=1615.37	? (TO) TT=2400.1	? (TO) TT=2400.06	? (TO) TT=2400.09	? (TO) TT=2416.28	? (problem) TT=1489.74
GolombRuler/ GolombRuler-a3-s1/ GolombRuler-25-a3.xml	SAT TO f=643 TT=19979.6 T1=868.69	SAT (TO) f=821 TT=2520.05 T1=2365.15	No data	No data	SAT (TO) f=643 TT=20081.5 T1=856.85	SAT (TO) f=643 TT=19979.6 T1=868.69	? (TO) TT=2520.1	? (TO) TT=2520.12	? (TO) TT=2520.11	? (TO) TT=2520.04	? (TO) TT=2520.58	? (TO) TT=2520.01	? (TO) TT=2520.34	SAT (TO) f=692 TT=2519.93 T1=1678.6	? (TO) TT=2520.12	? (TO) TT=2520.05	? (TO) TT=2520.06	? (TO) TT=19531.301	? (TO) TT=19534.301	SAT (TO) f=821 TT=2400.07 T1=1987.71	No data	SAT (TO) f=672 TT=2400.43 T1=241.02	SAT (TO) f=672 TT=2400.8 T1=244.49	? (TO) TT=2401.17	? (TO) TT=2400.03	? (TO) TT=2400.59	SAT (TO) f=692 TT=2400.01 T1=1656.16	? (TO) TT=2400.05	? (TO) TT=2400.02	? (TO) TT=2400.04	? (TO) TT=2416.64	? TT=1553.97
GolombRuler/ GolombRuler-a3-s1/ GolombRuler-26-a3.xml	SAT TO f=719 TT=19901.699 T1=848.21	? (TO) TT=2520.08	No data	No data	SAT (TO) f=719 TT=20066.6 T1=827.37	SAT (TO) f=719 TT=19901.699 T1=848.21	? (TO) TT=2520.04	? (TO) TT=2520.05	? (TO) TT=2520.15	? (TO) TT=2520.12	? (TO) TT=2520.55	? (TO) TT=2519.96	? (MO) TT=27.895	SAT (TO) f=766 TT=2519.96 T1=1051.24	? (TO) TT=2520.11	? (TO) TT=2520.07	? (TO) TT=2520.05	? (TO) TT=19463.199	? (TO) TT=19516.801	? (TO) TT=2400.06	No data	SAT (TO) f=730 TT=2400.05 T1=98.45	SAT (TO) f=730 TT=2400.68 T1=92.78	? (TO) TT=2401.21	? (TO) TT=2400.09	? (MO) TT=27.683	SAT (TO) f=766 TT=2400.09 T1=1007.76	? (TO) TT=2400.09	? (TO) TT=2400.04	? (TO) TT=2400.1	? (TO) TT=2415.75	? TT=1509.91
GolombRuler/ GolombRuler-a3-s1/ GolombRuler-27-a3.xml	SAT TO f=788 TT=19974.699 T1=1718.92	? (TO) TT=2520.05	No data	No data	SAT (TO) f=788 TT=20059.5 T1=1687.06	SAT (TO) f=788 TT=19974.699 T1=1718.92	? (TO) TT=2520.04	? (TO) TT=2520.03	? (TO) TT=2520.09	? (TO) TT=2520.1	? (TO) TT=2520.55	? (TO) TT=2519.68	? (MO) TT=27.706	SAT (TO) f=862 TT=2519.71 T1=1593.89	? (TO) TT=2520.05	? (TO) TT=2520.07	? (TO) TT=2520.09	? (TO) TT=19445.5	? (TO) TT=19439.5	? (TO) TT=2400.03	No data	SAT (TO) f=817 TT=2400.21 T1=135.95	SAT (TO) f=817 TT=2400.33 T1=132.13	? (TO) TT=2401.14	? (TO) TT=2400.07	? (MO) TT=28.065	SAT (TO) f=862 TT=2400.1 T1=1553.4	? (TO) TT=2400.03	? (TO) TT=2400.04	? (TO) TT=2400.03	? (TO) TT=2416.22	? (problem) TT=1373.22
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	BTD 2017-07-25 (complete)	BTD 2017-08-10 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: BTD 2017-06-30 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
GolombRuler/ GolombRuler-a3-s1/ GolombRuler-28-a3.xml	SAT TO f=866 TT=20000.6 T1=279.54	? (TO) TT=2520.05	No data	No data	SAT (TO) f=866 TT=20072.699 T1=285.7	SAT (TO) f=866 TT=20000.6 T1=279.54	? (TO) TT=2520.11	? (TO) TT=2520.09	? (TO) TT=2520.07	? (TO) TT=2520.08	? (TO) TT=2520.53	? (TO) TT=2519.98	? (MO) TT=27.594	SAT (TO) f=925 TT=2519.96 T1=131.5	? (TO) TT=2520.08	? (TO) TT=2520.02	? (TO) TT=2520.09	? (TO) TT=19400.6	? (TO) TT=19388.801	? (TO) TT=2400.03	No data	SAT (TO) f=894 TT=2400.26 T1=194.76	SAT (TO) f=894 TT=2400.71 T1=188.33	? (TO) TT=2401.25	? (TO) TT=2400.01	? (MO) TT=27.985	SAT (TO) f=925 TT=2400.02 T1=128.95	? (TO) TT=2400.02	? (TO) TT=2400.03	? (TO) TT=2400.09	? (TO) TT=2416.05	? TT=1330.28
GolombRuler/ GolombRuler-a4-s1/ GolombRuler-05-a4.xml	OPT f=11 TT=0.069 T1=0.11	OPT f=11 TT=1.283 T1=0.75	No data	No data	OPT f=11 TT=2.791 T1=0.73	OPT f=11 TT=2.858 T1=0.7	OPT f=11 TT=1.16 T1=0.69	OPT f=11 TT=1.162 T1=0.66	OPT f=11 TT=1.422 T1=0.72	OPT f=11 TT=1.488 T1=0.75	OPT f=11 TT=10.132 T1=4.48	OPT f=11 TT=0.069 T1=0.14	OPT f=11 TT=0.117 T1=0.16	OPT f=11 TT=0.076 T1=0.18	SAT (TO) f=11 TT=2520.07 T1=0.95	OPT f=11 TT=1.772 T1=0.96	OPT f=11 TT=1.76 T1=0.83	OPT f=11 TT=7.349 T1=2.38	OPT f=11 TT=7.819 T1=7.15	OPT f=11 TT=1.571 T1=0.73	No data	OPT f=11 TT=2.439 T1=0.79	OPT f=11 TT=2.307 T1=0.74	OPT f=11 TT=12.413 T1=4.63	OPT f=11 TT=0.117 T1=0.11	OPT f=11 TT=0.167 T1=0.16	OPT f=11 TT=0.114 T1=0.11	SAT (TO) f=11 TT=2400.02 T1=0.88	OPT f=11 TT=2.058 T1=0.86	OPT f=11 TT=2.169 T1=0.89	OPT f=11 TT=78.644 T1=16.85	OPT f=11 TT=71.192 T1=25.78
GolombRuler/ GolombRuler-a4-s1/ GolombRuler-06-a4.xml	OPT f=17 TT=0.214 T1=0.24	OPT f=17 TT=1.619 T1=0.91	No data	No data	OPT f=17 TT=9.367 T1=1.02	OPT f=17 TT=11.772 T1=0.99	OPT f=17 TT=2.059 T1=0.74	OPT f=17 TT=2.053 T1=0.75	OPT f=17 TT=5.725 T1=1.8	OPT f=17 TT=5.219 T1=1.63	OPT f=17 TT=12.499 T1=5.14	OPT f=17 TT=0.294 T1=0.32	OPT f=17 TT=0.287 T1=0.31	OPT f=17 TT=0.214 T1=0.25	SAT (TO) f=17 TT=2520.08 T1=1.12	OPT f=17 TT=2.007 T1=1.06	OPT f=17 TT=1.979 T1=0.9	OPT f=17 TT=8.069 T1=2.21	OPT f=17 TT=6.97 T1=6.66	OPT f=17 TT=1.882 T1=0.85	No data	OPT f=17 TT=6.494 T1=0.99	OPT f=17 TT=5.88 T1=1.05	OPT f=17 TT=15.72 T1=5.18	OPT f=17 TT=0.345 T1=0.29	OPT f=17 TT=0.346 T1=0.33	OPT f=17 TT=0.264 T1=0.24	SAT (TO) f=17 TT=2400.03 T1=1.14	OPT f=17 TT=2.362 T1=0.96	OPT f=17 TT=2.333 T1=0.95	OPT f=17 TT=383.952 T1=71.85	OPT f=17 TT=225.057 T1=57.91
GolombRuler/ GolombRuler-a4-s1/ GolombRuler-09-a4.xml	OPT f=44 TT=6.618 T1=2.42	OPT f=44 TT=33.776 T1=20.47	No data	No data	OPT f=44 TT=1473.12 T1=15.47	OPT f=44 TT=1120.74 T1=17.64	OPT f=44 TT=333.571 T1=114.3	OPT f=44 TT=361.175 T1=111.04	OPT f=44 TT=863.197 T1=246.42	OPT f=44 TT=537.052 T1=199.27	OPT f=44 TT=48.649 T1=20.6	OPT f=44 TT=61.863 T1=33.1	OPT f=44 TT=46.901 T1=45.48	OPT f=44 TT=1222.22 T1=649.71	SAT (TO) f=44 TT=2520.1 T1=11.28	OPT f=44 TT=6.618 T1=5.22	OPT f=44 TT=6.66 T1=2.52	OPT f=44 TT=16.202 T1=4.3	OPT f=44 TT=16.45 T1=13.14	OPT f=44 TT=34.197 T1=20.51	No data	Wrong Opt. f=46 TT=138.622 T1=18.18	Wrong Opt. f=48 TT=45.857 T1=6.2	OPT f=44 TT=53.64 T1=20.91	OPT f=44 TT=65.921 T1=34.69	OPT f=44 TT=45.456 T1=44.1	OPT f=44 TT=1256.46 T1=667.07	SAT (TO) f=44 TT=2400.12 T1=20.08	OPT f=44 TT=7.553 T1=2.47	OPT f=44 TT=7.337 T1=2.42	? (TO) TT=2416.36	? (exit code) TT=1917.29
GolombRuler/ GolombRuler-a4-s1/ GolombRuler-10-a4.xml	OPT f=55 TT=36.934 T1=9.98	OPT f=55 TT=316.524 T1=202.25	No data	No data	OPT f=55 TT=19809.699 T1=257.35	OPT f=55 TT=13365.2 T1=288.62	SAT (TO) f=60 TT=2520.11 T1=800.98	SAT (TO) f=60 TT=2520.06 T1=800.96	SAT (TO) f=60 TT=2520.09 T1=1600.36	SAT (TO) f=55 TT=2520.16 T1=1692.32	OPT f=55 TT=189.539 T1=43.64	OPT f=55 TT=714.897 T1=379.89	OPT f=55 TT=330.63 T1=171.88	SAT (TO) f=60 TT=2520.07 T1=1492.42	SAT (TO) f=55 TT=2520.11 T1=29.11	OPT f=55 TT=36.934 T1=16.87	OPT f=55 TT=1878.94 T1=9.98	OPT f=55 TT=54.104 T1=19.49	OPT f=55 TT=54.341 T1=30.96	OPT f=55 TT=308.557 T1=196.92	No data	Wrong Opt. f=62 TT=458.604 T1=18.79	Wrong Opt. f=61 TT=600.424 T1=41.7	OPT f=55 TT=197.163 T1=43.97	OPT f=55 TT=630.35 T1=337.29	OPT f=55 TT=329.112 T1=170.88	SAT (TO) f=60 TT=2400.01 T1=1516.28	SAT (TO) f=55 TT=2400.11 T1=40.13	OPT f=55 TT=38.328 T1=16.79	OPT f=55 TT=1788.31 T1=10.84	? (TO) TT=2416.25	? (problem) TT=1348.08
GolombRuler/ GolombRuler-a4-s1/ GolombRuler-12-a4.xml	SAT TO f=90 TT=2400.12 T1=739.85	SAT (TO) f=94 TT=2520.09 T1=1925.88	No data	No data	SAT (TO) f=93 TT=19580.199 T1=2329.78	SAT (TO) f=94 TT=19463.4 T1=1030.03	SAT (TO) f=105 TT=2520.1 T1=235.47	SAT (TO) f=104 TT=2520.06 T1=1239.75	SAT (TO) f=108 TT=2520.04 T1=216.2	SAT (TO) f=107 TT=2520.05 T1=602.95	SAT (TO) f=91 TT=2520.11 T1=2404.82	SAT (TO) f=95 TT=2519.83 T1=164.47	SAT (TO) f=95 TT=2519.74 T1=49.62	SAT (TO) f=98 TT=2519.7 T1=2114.11	SAT (TO) f=92 TT=2520.05 T1=1407.25	SAT (TO) f=90 TT=2520.05 T1=739.85	SAT (TO) f=91 TT=2520.11 T1=1334.19	SAT (TO) f=91 TT=2559.28 T1=304.17	SAT (TO) f=90 TT=2568.45 T1=2558.38	SAT (TO) f=94 TT=2400.04 T1=1940.26	No data	Wrong Opt. f=104 TT=944.581 T1=151.33	Wrong Opt. f=115 TT=130.736 T1=32.08	SAT (TO) f=92 TT=2400.09 T1=1641.11	? (TO) TT=2400.09	? (TO) TT=2400.1	SAT (TO) f=98 TT=2400.07 T1=2172.56	SAT (TO) f=93 TT=2400.09 T1=387.57	SAT (TO) f=90 TT=2400.12 T1=765.25	SAT (TO) f=91 TT=2400.12 T1=1757.32	? (TO) TT=2416.05	? TT=1383.96
GolombRuler/ GolombRuler-a4-s1/ GolombRuler-13-a4.xml	SAT TO f=109 TT=2520.07 T1=1028.24	SAT (TO) f=123 TT=2520.09 T1=2408.42	No data	No data	SAT (TO) f=121 TT=20048.699 T1=1755.15	SAT (TO) f=119 TT=20066.9 T1=2061.5	SAT (TO) f=123 TT=2520.03 T1=1503.74	SAT (TO) f=123 TT=2520.05 T1=1492.87	SAT (TO) f=124 TT=2520.11 T1=399.55	SAT (TO) f=133 TT=2520.08 T1=244.56	SAT (TO) f=114 TT=2520.06 T1=245.65	SAT (TO) f=129 TT=2519.97 T1=586.98	SAT (TO) f=130 TT=2519.8 T1=1320.22	SAT (TO) f=122 TT=2519.96 T1=1359.92	SAT (TO) f=114 TT=2520.07 T1=575.81	SAT (TO) f=115 TT=2520.11 T1=2376.49	SAT (TO) f=109 TT=2520.07 T1=1028.24	SAT (TO) f=110 TT=2582.6 T1=1541.51	SAT (TO) f=111 TT=2567.01 T1=2298.15	SAT (TO) f=124 TT=2400.08 T1=2008.48	No data	SAT (TO) f=128 TT=2400.36 T1=295.61	SAT (TO) f=129 TT=2400.59 T1=303.77	SAT (TO) f=114 TT=2400.09 T1=241.53	? (TO) TT=2400.07	? (TO) TT=2400.05	SAT (TO) f=122 TT=2400.04 T1=1405.88	SAT (TO) f=114 TT=2400.08 T1=802.73	SAT (TO) f=117 TT=2400.05 T1=1899.69	SAT (TO) f=111 TT=2400.03 T1=1986.41	? (TO) TT=2416.11	? TT=1487.15
GolombRuler/ GolombRuler-a4-s1/ GolombRuler-14-a4.xml	SAT TO f=136 TT=2400.1 T1=935.99	SAT (TO) f=152 TT=2520.05 T1=2281.74	No data	No data	SAT (TO) f=146 TT=15751.6 T1=2286.12	SAT (TO) f=144 TT=15534.9 T1=2325.89	SAT (TO) f=156 TT=2520.04 T1=1369.74	SAT (TO) f=151 TT=2520.05 T1=1202.37	SAT (TO) f=155 TT=2520.07 T1=2430.33	SAT (TO) f=157 TT=2520.32 T1=803.4	SAT (TO) f=141 TT=2520.13 T1=1704.1	SAT (TO) f=155 TT=2519.77 T1=997.27	SAT (TO) f=161 TT=2519.79 T1=326.76	SAT (TO) f=156 TT=2519.77 T1=1900.68	SAT (TO) f=140 TT=2520.12 T1=1286.51	SAT (TO) f=158 TT=2520.06 T1=1828.34	SAT (TO) f=137 TT=2520.06 T1=959.17	SAT (TO) f=141 TT=2582.48 T1=1363.7	SAT (TO) f=141 TT=2604.53 T1=1855.03	SAT (TO) f=152 TT=2400.09 T1=2296.32	No data	SAT (TO) f=148 TT=2400.56 T1=737.78	SAT (TO) f=148 TT=2400.62 T1=212.76	SAT (TO) f=141 TT=2400.07 T1=1857.95	? (TO) TT=2400.09	? (TO) TT=2400.04	SAT (TO) f=156 TT=2400.01 T1=2054.53	SAT (TO) f=139 TT=2400.08 T1=2232	SAT (TO) f=158 TT=2400.02 T1=1929	SAT (TO) f=136 TT=2400.1 T1=935.99	? (TO) TT=2414.55	? TT=1311.85
GolombRuler/ GolombRuler-a4-s1/ GolombRuler-15-a4.xml	SAT TO f=163 TT=2400.05 T1=1298.89	SAT (TO) f=188 TT=2520.04 T1=1129.12	No data	No data	SAT (TO) f=175 TT=14605.8 T1=2194.7	SAT (TO) f=175 TT=18155.199 T1=1696.42	SAT (TO) f=183 TT=2520.13 T1=2139.44	SAT (TO) f=183 TT=2520.04 T1=2200.15	SAT (TO) f=191 TT=2520.11 T1=1270.41	SAT (TO) f=185 TT=2520.03 T1=2344.1	SAT (TO) f=170 TT=2520.11 T1=2453.41	SAT (TO) f=195 TT=2519.93 T1=313.62	SAT (TO) f=197 TT=2519.85 T1=703.52	SAT (TO) f=191 TT=2519.88 T1=1424.58	SAT (TO) f=169 TT=2520.12 T1=1825.29	SAT (TO) f=200 TT=2520.09 T1=1687.62	SAT (TO) f=164 TT=2520.12 T1=1369.83	SAT (TO) f=176 TT=2600.3 T1=1838.82	SAT (TO) f=190 TT=2560.86 T1=2240.6	SAT (TO) f=188 TT=2400.02 T1=1161.4	No data	SAT (TO) f=190 TT=2400 T1=490.8	SAT (TO) f=190 TT=2400.07 T1=162.21	SAT (TO) f=171 TT=2400.13 T1=2287.09	? (TO) TT=2400.01	? (TO) TT=2400.1	SAT (TO) f=191 TT=2400.03 T1=1331.98	SAT (TO) f=166 TT=2400.09 T1=2282.39	SAT (TO) f=200 TT=2400.1 T1=1671.77	SAT (TO) f=163 TT=2400.05 T1=1298.89	? TT=2267.33	? TT=840.776
GolombRuler/ GolombRuler-a4-s1/ GolombRuler-17-a4.xml	SAT TO f=230 TT=2400.04 T1=1741.95	SAT (TO) f=272 TT=2520.04 T1=1447.67	No data	No data	? (TO) TT=19933.699	SAT (TO) f=255 TT=19960.5 T1=440.05	SAT (TO) f=263 TT=2520.06 T1=1278.88	SAT (TO) f=263 TT=2520.1 T1=1274.24	SAT (TO) f=274 TT=2520.09 T1=2416.59	SAT (TO) f=264 TT=2520.07 T1=1085.17	SAT (TO) f=247 TT=2520.15 T1=1884.04	SAT (TO) f=262 TT=2520.07 T1=2043.54	SAT (TO) f=265 TT=2520.1 T1=1164.36	SAT (TO) f=267 TT=2519.86 T1=993.72	SAT (TO) f=240 TT=2520.04 T1=2159.76	SAT (TO) f=491 TT=2520.02 T1=877.91	SAT (TO) f=230 TT=2520.12 T1=1741.95	SAT (TO) f=259 TT=2594.59 T1=458.64	SAT (TO) f=267 TT=2573.68 T1=2572.69	SAT (TO) f=272 TT=2400.09 T1=1447.88	No data	SAT (TO) f=276 TT=2400.52 T1=26.84	SAT (TO) f=276 TT=2400.6 T1=24.09	SAT (TO) f=247 TT=2400.16 T1=1900.41	? (TO) TT=2400.03	? (TO) TT=2400.1	SAT (TO) f=267 TT=2400.01 T1=1037.37	SAT (TO) f=230 TT=2400.04 T1=2260.59	SAT (TO) f=491 TT=2400.09 T1=862	SAT (TO) f=231 TT=2400.1 T1=1588.55	? (TO) TT=2416.08	? TT=1229.55
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	BTD 2017-07-25 (complete)	BTD 2017-08-10 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: BTD 2017-06-30 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
GolombRuler/ GolombRuler-a4-s1/ GolombRuler-18-a4.xml	SAT TO f=271 TT=2520.08 T1=1550.36	SAT (TO) f=312 TT=2520.08 T1=2378.58	No data	No data	SAT (TO) f=301 TT=19884 T1=1780	SAT (TO) f=309 TT=7445.34 T1=2236.75	SAT (TO) f=311 TT=2520.13 T1=1640.34	SAT (TO) f=311 TT=2520.03 T1=131.33	SAT (TO) f=325 TT=2520.09 T1=2170.54	SAT (TO) f=327 TT=2521.35 T1=2293.17	SAT (TO) f=289 TT=2520.09 T1=1924.46	SAT (TO) f=313 TT=2519.84 T1=2499.81	SAT (TO) f=314 TT=2519.91 T1=2426.97	SAT (TO) f=311 TT=2519.99 T1=2037.26	SAT (TO) f=282 TT=2520.11 T1=1348.84	SAT (TO) f=489 TT=2520.09 T1=244.41	SAT (TO) f=271 TT=2520.08 T1=1550.36	SAT (TO) f=288 TT=2596.3 T1=2480.8	SAT (TO) f=316 TT=2606.39 T1=73.76	SAT (TO) f=315 TT=2400.13 T1=1948.54	No data	SAT (TO) f=308 TT=2400.51 T1=296.25	SAT (TO) f=308 TT=2400.47 T1=286.46	SAT (TO) f=289 TT=2400.09 T1=1960.5	? (TO) TT=2400.01	? (TO) TT=2400.02	SAT (TO) f=311 TT=2400.05 T1=1929.28	SAT (TO) f=279 TT=2400.07 T1=2150.11	SAT (TO) f=489 TT=2400.05 T1=238.44	SAT (TO) f=279 TT=2400.03 T1=1415.51	? (TO) TT=2416.15	? (problem) TT=1302.31
GolombRuler/ GolombRuler-a4-s1/ GolombRuler-19-a4.xml	SAT TO f=313 TT=2400.11 T1=809.47	SAT (TO) f=351 TT=2520.05 T1=2318.88	No data	No data	SAT (TO) f=349 TT=11233.5 T1=2010.32	SAT (TO) f=349 TT=11197.3 T1=2118.52	SAT (TO) f=351 TT=2520.02 T1=1618.64	SAT (TO) f=351 TT=2520.06 T1=1619.62	SAT (TO) f=351 TT=2520.04 T1=2253.69	SAT (TO) f=364 TT=2520.04 T1=1373.52	SAT (TO) f=335 TT=2520.1 T1=1815.1	SAT (TO) f=367 TT=2520.01 T1=966.48	SAT (TO) f=359 TT=2519.9 T1=503.7	SAT (TO) f=351 TT=2519.69 T1=128.29	SAT (TO) f=318 TT=2520.04 T1=2327.93	SAT (TO) f=491 TT=2520.1 T1=1023.41	SAT (TO) f=317 TT=2520.04 T1=848.54	SAT (TO) f=329 TT=19886.1 T1=2422.75	SAT (TO) f=332 TT=19982.9 T1=12765.71	SAT (TO) f=369 TT=2400.07 T1=1608.14	No data	SAT (TO) f=350 TT=2400.55 T1=1764.39	SAT (TO) f=350 TT=2400.02 T1=138.1	SAT (TO) f=335 TT=2400.1 T1=1865.36	? (TO) TT=2400.06	? (TO) TT=2400.07	SAT (TO) f=351 TT=2400.04 T1=131.22	SAT (TO) f=319 TT=2400.04 T1=2111.82	SAT (TO) f=491 TT=2400.07 T1=1057.21	SAT (TO) f=313 TT=2400.11 T1=809.47	? (TO) TT=2416.22	? TT=1295.29
GolombRuler/ GolombRuler-a4-s1/ GolombRuler-21-a4.xml	SAT TO f=416 TT=2520.03 T1=2170.61	? (TO) TT=2520.09	No data	No data	SAT (TO) f=552 TT=2761.66 T1=149.12	SAT (TO) f=552 TT=2768.79 T1=158.93	SAT (TO) f=492 TT=2520.05 T1=599.18	SAT (TO) f=492 TT=2520.1 T1=592.64	SAT (TO) f=492 TT=2520.08 T1=992.12	SAT (TO) f=491 TT=2520.15 T1=1007.04	SAT (TO) f=455 TT=2520.08 T1=2025.7	SAT (TO) f=460 TT=2520.14 T1=900.06	SAT (TO) f=478 TT=2520.09 T1=816.22	SAT (TO) f=465 TT=2519.96 T1=234.52	SAT (TO) f=416 TT=2520.03 T1=2170.61	SAT (TO) f=991 TT=2520.07 T1=1127.98	SAT (TO) f=430 TT=2520.11 T1=1103.41	SAT (TO) f=463 TT=2596.03 T1=1308.87	SAT (TO) f=441 TT=2595.97 T1=1442.94	? (TO) TT=2415.83	No data	SAT (TO) f=465 TT=2400 T1=271.98	SAT (TO) f=552 TT=2400.01 T1=100.41	SAT (TO) f=455 TT=2400.14 T1=2047.52	? (TO) TT=2400.11	? (TO) TT=2400.08	SAT (TO) f=465 TT=2400.09 T1=233.14	SAT (TO) f=429 TT=2400.08 T1=2259.16	SAT (TO) f=991 TT=2400.06 T1=1088.68	SAT (TO) f=433 TT=2400.12 T1=1610.8	? (TO) TT=2415.98	? TT=1383.32
GolombRuler/ GolombRuler-a4-s1/ GolombRuler-23-a4.xml	SAT TO f=532 TT=2520.12 T1=1735.49	? (TO) TT=2520.11	No data	No data	SAT (TO) f=568 TT=6477.68 T1=464.48	SAT (TO) f=656 TT=3096.92 T1=370.67	SAT (TO) f=614 TT=2520.06 T1=1777.46	SAT (TO) f=614 TT=2520.11 T1=1771.73	SAT (TO) f=615 TT=2520.06 T1=2020.75	SAT (TO) f=615 TT=2520.08 T1=2062.85	SAT (TO) f=585 TT=2520.07 T1=2462.64	SAT (TO) f=614 TT=2519.85 T1=2220.05	SAT (TO) f=584 TT=2520.13 T1=1723.81	SAT (TO) f=628 TT=2519.58 T1=689.07	SAT (TO) f=544 TT=2520.05 T1=2352.61	SAT (TO) f=1000 TT=2520.05 T1=3.35	SAT (TO) f=532 TT=2520.12 T1=1735.49	SAT (TO) f=576 TT=2587.53 T1=269.86	SAT (TO) f=569 TT=2595.06 T1=442.19	? (TO) TT=2400.12	No data	SAT (TO) f=656 TT=2400.05 T1=215.76	SAT (TO) f=656 TT=2400.06 T1=214.83	SAT (TO) f=588 TT=2400.06 T1=2313.92	? (TO) TT=2400.12	? (TO) TT=2400.15	SAT (TO) f=628 TT=2400.06 T1=696.62	SAT (TO) f=554 TT=2400.12 T1=2304.31	SAT (TO) f=1000 TT=2400.07 T1=2.45	SAT (TO) f=559 TT=2400.11 T1=1467.13	? (TO) TT=2416.32	? TT=1218.67
GolombRuler/ GolombRuler-a4-s1/ GolombRuler-24-a4.xml	SAT TO f=599 TT=2520.11 T1=1741.88	? (TO) TT=2520.11	No data	No data	SAT (TO) f=715 TT=3237.63 T1=95.7	SAT (TO) f=652 TT=19906.1 T1=1453.12	SAT (TO) f=691 TT=2520.06 T1=873.88	SAT (TO) f=674 TT=2520.04 T1=844.41	? (TO) TT=2527.93	? (TO) TT=2528.12	SAT (TO) f=662 TT=2520.07 T1=2455.81	SAT (TO) f=737 TT=2519.63 T1=2383.79	SAT (TO) f=697 TT=2519.64 T1=2110.68	SAT (TO) f=715 TT=2519.93 T1=177.54	SAT (TO) f=611 TT=2520.04 T1=2184.04	SAT (TO) f=1000 TT=2520.06 T1=2.68	SAT (TO) f=599 TT=2520.11 T1=1741.88	SAT (TO) f=626 TT=2656.95 T1=2245.55	SAT (TO) f=626 TT=2621.35 T1=2464.35	? (TO) TT=2400.07	No data	SAT (TO) f=734 TT=2400.05 T1=273.76	SAT (TO) f=734 TT=2400 T1=274.41	SAT (TO) f=667 TT=2400.13 T1=2285.06	? (TO) TT=2400.18	? (TO) TT=2400.27	SAT (TO) f=715 TT=2400.04 T1=186.44	SAT (TO) f=628 TT=2400.09 T1=2029.29	SAT (TO) f=1000 TT=2400.05 T1=2.67	SAT (TO) f=601 TT=2400.09 T1=1217.62	? (TO) TT=2416.21	? TT=1295.03
GolombRuler/ GolombRuler-a4-s1/ GolombRuler-25-a4.xml	SAT TO f=661 TT=2400.06 T1=1644.9	? (TO) TT=2520.09	No data	No data	SAT (TO) f=742 TT=7952.87 T1=1188.71	SAT (TO) f=779 TT=3498.88 T1=654.61	SAT (TO) f=729 TT=2520.08 T1=2301.53	SAT (TO) f=729 TT=2520.1 T1=1685.52	? (TO) TT=2528	? (TO) TT=2527.91	SAT (TO) f=741 TT=2520.11 T1=2467.15	? (TO) TT=2519.86	? (TO) TT=2519.77	SAT (TO) f=799 TT=2519.95 T1=511.43	SAT (TO) f=665 TT=2520.09 T1=2441.28	SAT (TO) f=1000 TT=2520.06 T1=7.52	SAT (TO) f=702 TT=2520.09 T1=1227.07	SAT (TO) f=718 TT=3196.59 T1=206.38	SAT (TO) f=705 TT=3325.85 T1=3309.7	? (TO) TT=2400.15	No data	SAT (TO) f=819 TT=2400.03 T1=341.69	SAT (TO) f=819 TT=2400.08 T1=340.71	SAT (TO) f=741 TT=2400.13 T1=2078.24	? (TO) TT=2400.28	? (TO) TT=2400.44	SAT (TO) f=799 TT=2400.04 T1=518	SAT (TO) f=661 TT=2400.06 T1=1644.9	SAT (TO) f=1000 TT=2400.05 T1=2.89	SAT (TO) f=686 TT=2400.11 T1=1657.03	? (TO) TT=2416.46	? TT=1296.64
GolombRuler/ GolombRuler-a4-s1/ GolombRuler-27-a4.xml	SAT TO f=818 TT=2520.12 T1=1761.69	? (problem) TT=715.8	No data	No data	SAT (TO) f=937 TT=3660.35 T1=804.62	SAT (TO) f=937 TT=3702.02 T1=795.64	SAT (TO) f=967 TT=2520.08 T1=2050.03	? (TO) TT=2526.42	SAT f=968 TT=2085.28 T1=1623.75	SAT f=968 TT=1977.03 T1=1550.8	SAT (TO) f=916 TT=2520.14 T1=2392.86	? (TO) TT=2519.93	? (TO) TT=2520.05	SAT (TO) f=969 TT=2519.69 T1=825.03	SAT (TO) f=840 TT=2520.07 T1=2265.3	SAT (TO) f=1000 TT=2520.12 T1=3.42	SAT (TO) f=818 TT=2520.12 T1=1761.69	SAT (TO) f=846 TT=20002.5 T1=744.32	SAT (TO) f=847 TT=20007.4 T1=10964.75	? (problem) TT=1335.06	No data	SAT (TO) f=937 TT=2400.07 T1=386.09	SAT (TO) f=969 TT=2400.09 T1=335.34	SAT (TO) f=928 TT=2400.11 T1=2241.25	? (TO) TT=2400.37	? (TO) TT=2400.37	SAT (TO) f=969 TT=2400.11 T1=826.13	SAT (TO) f=826 TT=2400.1 T1=2222.19	SAT (TO) f=1000 TT=2400.04 T1=3.24	SAT (TO) f=844 TT=2400.05 T1=1435.21	? (TO) TT=2416.26	? TT=1349.16
GolombRuler/ GolombRuler-a4-s1/ GolombRuler-28-a4.xml	SAT TO f=920 TT=2520.1 T1=1723.08	? (problem) TT=705.725	No data	No data	SAT (TO) f=946 TT=19841.301 T1=1773.55	SAT (TO) f=946 TT=19715.4 T1=1896.11	? (TO) TT=2520.09	SAT (TO) f=993 TT=2520.08 T1=1295.59	? (TO) TT=2527.94	? (TO) TT=2527.85	SAT (TO) f=989 TT=2520.11 T1=1966.22	? (TO) TT=2519.58	? (TO) TT=2519.56	? (TO) TT=2519.63	SAT (TO) f=927 TT=2520.06 T1=2033.76	SAT (TO) f=1000 TT=2520.05 T1=58.32	SAT (TO) f=920 TT=2520.1 T1=1723.08	SAT (TO) f=950 TT=19988.801 T1=1441.02	SAT (TO) f=941 TT=20003.9 T1=16959.301	? (problem) TT=1322.16	No data	? (TO) TT=2400.12	? (TO) TT=2400.02	SAT (TO) f=989 TT=2400.13 T1=1964.63	? (TO) TT=2400.39	? (TO) TT=2400.51	? (TO) TT=2400.08	SAT (TO) f=934 TT=2400.1 T1=2103.77	SAT (TO) f=1000 TT=2400.08 T1=57.92	SAT (TO) f=929 TT=2400.12 T1=1624.22	? (TO) TT=2416.18	? TT=1199.47
GracefulGraph/ GracefulGraph-m1-s1/ GracefulGraph-K03-P04.xml	SAT TT=0.053	SAT TT=3.092	SAT TT=10.155	SAT TT=10.152	SAT TT=1.726	SAT TT=1.756	SAT TT=2.247	SAT TT=2.25	SAT TT=2.967	SAT TT=8.114	SAT TT=7.451	SAT TT=51.875	SAT TT=0.061	SAT TT=0.053	No data	SAT TT=1.341	No data	SAT (TO) TT=19854.9	SAT TT=5.504	SAT TT=3.232	SAT TT=10.124	SAT TT=2.175	SAT TT=1.835	SAT TT=9.133	SAT TT=51.572	SAT TT=0.097	SAT TT=0.093	No data	SAT TT=1.473	No data	SAT TT=5.125	SAT TT=4.679
GracefulGraph/ GracefulGraph-m1-s1/ GracefulGraph-K10-P04.xml		? (TO) TT=2520.02	? (TO) TT=2520.01	? (TO) TT=2519.73	? (TO) TT=19598.5	? (TO) TT=19398.4	? (TO) TT=2520.08	? (TO) TT=2520.07	? (TO) TT=2520.1	? (TO) TT=2520.11	? (TO) TT=2520.59	? (TO) TT=2520.02	? (TO) TT=2519.87	? (TO) TT=2519.73	No data	? (TO) TT=2520.04	No data	? (TO) TT=19978.1	? (TO) TT=19987.199	? (TO) TT=2400.06	? (TO) TT=2400.08	? (TO) TT=2400.39	? (TO) TT=2400.79	? (TO) TT=2401.34	? (TO) TT=2400.07	? (TO) TT=2400.07	? (TO) TT=2400.1	No data	? (TO) TT=2400.06	No data	? (TO) TT=2400.22	? (TO) TT=2520.2
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	BTD 2017-07-25 (complete)	BTD 2017-08-10 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: BTD 2017-06-30 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
GracefulGraph/ GracefulGraph-m1-s1/ GracefulGraph-K10-P09.xml		? (TO) TT=2520.04	? (TO) TT=2519.76	? (TO) TT=2519.83	? (TO) TT=19941.699	? (TO) TT=19795.9	? (TO) TT=2520.19	? (TO) TT=2520.11	? (TO) TT=2520.06	? (TO) TT=2520.02	? (TO) TT=2520.65	? (TO) TT=2520.06	? (TO) TT=2520.19	? (TO) TT=2519.93	No data	? (TO) TT=2520.08	No data	? (TO) TT=19967	? (TO) TT=19957.5	? (TO) TT=2400.1	? (TO) TT=2400.04	? (TO) TT=2400.42	? (TO) TT=2400.17	? (TO) TT=2401.3	? (TO) TT=2400.07	? (TO) TT=2400.18	? (TO) TT=2400.1	No data	? (TO) TT=2400.08	No data	? (TO) TT=2416.14	? (problem) TT=1619.61
GracefulGraph/ GracefulGraph-m1-s1/ GracefulGraph-K11-P04.xml		? (TO) TT=2520.04	? (TO) TT=2519.81	? (TO) TT=2519.82	? (TO) TT=19670.4	? (TO) TT=19471	? (TO) TT=2520.13	? (TO) TT=2520.15	? (TO) TT=2520.04	? (TO) TT=2520.1	? (TO) TT=2520.71	? (TO) TT=2519.76	? (TO) TT=2519.94	? (TO) TT=2519.79	No data	? (TO) TT=2520.07	No data	? (TO) TT=19977.6	? (TO) TT=19990.1	? (TO) TT=2400.08	? (TO) TT=2400.05	? (TO) TT=2400.01	? (TO) TT=2400.46	? (TO) TT=2401.55	? (TO) TT=2400.02	? (TO) TT=2400.06	? (TO) TT=2400.05	No data	? (TO) TT=2400.12	No data	? (TO) TT=2400.16	? (TO) TT=2520.17
GracefulGraph/ GracefulGraph-m1-s1/ GracefulGraph-K12-P09.xml		? (TO) TT=2520.11	? (TO) TT=2519.87	? (TO) TT=2519.82	? (TO) TT=20037.6	? (TO) TT=19978.9	? (TO) TT=2520.03	? (TO) TT=2520.06	? (TO) TT=2520.02	? (TO) TT=2520.08	? (TO) TT=2520.78	? (TO) TT=2519.7	? (TO) TT=2520.34	? (TO) TT=2520.01	No data	? (TO) TT=2520.13	No data	? (TO) TT=19856.1	? (TO) TT=19860.9	? (TO) TT=2400.1	? (TO) TT=2400.06	? (TO) TT=2400.2	? (TO) TT=2400.14	? (TO) TT=2401.19	? (TO) TT=2400.03	? (TO) TT=2400.76	? (TO) TT=2400.11	No data	? (TO) TT=2400.08	No data	? (TO) TT=2415.97	? TT=1596.28
GracefulGraph/ GracefulGraph-m1-s1/ GracefulGraph-K14-P07.xml		? (TO) TT=2520.08	? (TO) TT=2519.68	? (TO) TT=2519.81	? (TO) TT=20035.6	? (TO) TT=19984.1	? (TO) TT=2520.11	? (TO) TT=2520.03	? (TO) TT=2520.06	? (TO) TT=2520.12	? (TO) TT=2520.9	? (TO) TT=2520.05	? (MO) TT=29.289	? (TO) TT=2519.93	No data	? (TO) TT=2520.11	No data	? (TO) TT=19834.801	? (TO) TT=19844.199	? (TO) TT=2400.07	? (TO) TT=2400.09	? (TO) TT=2400.79	? (TO) TT=2400.67	? (TO) TT=2401.42	? (TO) TT=2400.04	? (MO) TT=29.176	? (TO) TT=2400.07	No data	? (TO) TT=2400.09	No data	? (TO) TT=2415.98	? (problem) TT=1797.55
GraphColoring/GraphColoring-m1-fixed/ GraphColoring-qwhdec-o50-h825-bal-1.xml		? (TO) TT=2520.05	No data	No data	? (TO) TT=20033.6	? (TO) TT=20030	? (TO) TT=2520.08	? (TO) TT=2520.12	? (TO) TT=2520.07	? (TO) TT=2520.05	? (TO) TT=2520.72	? (TO) TT=2519.5	? (MO) TT=137.722	? (TO) TT=2519.95	? (TO) TT=2520.07	? (TO) TT=2520.07	? (TO) TT=2520.09	? (TO) TT=20035.801	? (TO) TT=20035.6	? (TO) TT=2400.02	No data	? (TO) TT=2400.3	? (TO) TT=2400.07	? (TO) TT=2401.47	? (TO) TT=2400.08	? (MO) TT=137.916	? (TO) TT=2400.05	? (TO) TT=2400.07	? (TO) TT=2400.07	? (TO) TT=2400.11	? (TO) TT=2412.95	? (TO) TT=2528.14
GraphColoring/ GraphColoring-m1-fixed/ GraphColoring-qwhopt-o5-h10-1.xml	OPT f=4 TT=0.074 T1=0.09	OPT f=4 TT=1.13 T1=0.67	No data	No data	OPT f=4 TT=1.458 T1=0.64	OPT f=4 TT=1.472 T1=0.64	OPT f=4 TT=0.957 T1=0.59	OPT f=4 TT=0.963 T1=0.71	OPT f=4 TT=1.033 T1=0.63	OPT f=4 TT=1.012 T1=0.63	OPT f=4 TT=7.323 T1=3.76	OPT f=4 TT=0.093 T1=0.18	OPT f=4 TT=0.095 T1=0.1	OPT f=4 TT=0.074 T1=0.16	SAT (TO) f=4 TT=2520.03 T1=1.14	OPT f=4 TT=1.289 T1=0.91	OPT f=4 TT=1.298 T1=0.89	OPT f=4 TT=5.957 T1=1.77	OPT f=4 TT=6.144 T1=5.49	OPT f=4 TT=1.269 T1=0.61	No data	OPT f=4 TT=1.643 T1=0.73	OPT f=4 TT=1.742 T1=0.77	OPT f=4 TT=8.647 T1=3.7	OPT f=4 TT=0.142 T1=0.14	OPT f=4 TT=0.14 T1=0.14	OPT f=4 TT=0.099 T1=0.09	SAT (TO) f=4 TT=2400.06 T1=1.18	OPT f=4 TT=1.309 T1=0.78	OPT f=4 TT=1.357 T1=0.78	OPT f=4 TT=1.797 T1=0.57	OPT f=4 TT=1.439 T1=0.68
GraphColoring/ GraphColoring-m1-mono/ GraphColoring-2-fullins-3.xml	OPT f=4 TT=0.149 T1=0.18	OPT f=4 TT=1.166 T1=0.75	No data	No data	OPT f=4 TT=2.288 T1=0.71	OPT f=4 TT=2.352 T1=0.75	OPT f=4 TT=1.225 T1=0.69	OPT f=4 TT=1.242 T1=0.69	OPT f=4 TT=1.673 T1=0.72	OPT f=4 TT=1.655 T1=0.71	OPT f=4 TT=9.038 T1=4.42	OPT f=4 TT=0.183 T1=0.26	OPT f=4 TT=0.188 T1=0.18	OPT f=4 TT=0.149 T1=0.23	SAT (TO) f=4 TT=2520.08 T1=1.01	OPT f=4 TT=1.663 T1=1	OPT f=4 TT=1.636 T1=0.98	OPT f=4 TT=9.974 T1=2.15	OPT f=4 TT=9.641 T1=8.72	OPT f=4 TT=1.423 T1=0.7	No data	OPT f=4 TT=2.667 T1=0.82	OPT f=4 TT=2.838 T1=0.86	OPT f=4 TT=11.32 T1=4.37	OPT f=4 TT=0.237 T1=0.23	OPT f=4 TT=0.239 T1=0.23	OPT f=4 TT=0.198 T1=0.19	SAT (TO) f=4 TT=2400.12 T1=1.13	OPT f=4 TT=1.78 T1=0.88	OPT f=4 TT=1.859 T1=1.12	OPT f=4 TT=8.531 T1=4.41	OPT f=4 TT=7.093 T1=4.08
GraphColoring/ GraphColoring-m1-mono/ GraphColoring-3-fullins-3.xml	OPT f=5 TT=0.253 T1=0.27	OPT f=5 TT=1.389 T1=0.76	No data	No data	OPT f=5 TT=3.175 T1=0.89	OPT f=5 TT=3.975 T1=0.88	OPT f=5 TT=1.651 T1=0.8	OPT f=5 TT=1.642 T1=0.81	OPT f=5 TT=3.065 T1=0.81	OPT f=5 TT=2.959 T1=0.83	OPT f=5 TT=11.71 T1=5	OPT f=5 TT=0.318 T1=0.4	OPT f=5 TT=0.338 T1=0.33	OPT f=5 TT=0.253 T1=0.33	SAT (TO) f=5 TT=2520.06 T1=1.06	OPT f=5 TT=3.1 T1=1.18	OPT f=5 TT=3.044 T1=1.16	OPT f=5 TT=11.512 T1=2.44	OPT f=5 TT=10.101 T1=8.18	OPT f=5 TT=1.669 T1=0.72	No data	OPT f=5 TT=4.311 T1=0.94	OPT f=5 TT=3.722 T1=0.97	OPT f=5 TT=13.959 T1=4.91	OPT f=5 TT=0.369 T1=0.36	OPT f=5 TT=0.395 T1=0.39	OPT f=5 TT=0.281 T1=0.27	SAT (TO) f=5 TT=2400.03 T1=1	OPT f=5 TT=3.315 T1=1.05	OPT f=5 TT=3.469 T1=1.07	OPT f=5 TT=36.76 T1=26.87	OPT f=5 TT=32.993 T1=26.75
GraphColoring/ GraphColoring-m1-mono/ GraphColoring-3-fullins-5.xml	OPT f=7 TT=1504.59 T1=2.61	OPT f=7 TT=1538.13 T1=2.8	No data	No data	OPT f=7 TT=9412.5 T1=9.43	OPT f=7 TT=7861.36 T1=5.89	SAT (TO) f=7 TT=2520.11 T1=2.92	SAT (TO) f=7 TT=2520.06 T1=3.21	SAT (TO) f=7 TT=2520.04 T1=3.01	SAT (TO) f=7 TT=2520.1 T1=3.1	SAT (TO) f=7 TT=2520.12 T1=1739.62	SAT (TO) f=7 TT=2519.91 T1=30.93	Signal TT=73.234	SAT (TO) f=7 TT=2519.91 T1=24.99	? (exit code) TT=-1	SAT (TO) f=7 TT=2520.13 T1=728.47	SAT (TO) f=7 TT=2520.1 T1=497.09	? (TO) TT=15941.6	SAT (TO) f=1989 TT=19304.199 T1=19179	OPT f=7 TT=1504.59 T1=2.61	No data	SAT (TO) f=7 TT=2400.04 T1=11.12	SAT (TO) f=7 TT=2400.69 T1=8.26	SAT (TO) f=7 TT=2400.13 T1=1825.58	No Cert. TT=2400.05	Signal TT=78.748	SAT (TO) f=7 TT=2400.05 T1=23.85	SAT (TO) f=7 TT=2400.13 T1=235.03	SAT (TO) f=7 TT=2400.1 T1=777.82	SAT (TO) f=7 TT=2400.08 T1=476.29	? (TO) TT=2415.78	? TT=1550.87
GraphColoring/ GraphColoring-m1-mono/ GraphColoring-4-insertions-3.xml	OPT f=3 TT=34.03 T1=0.63	OPT f=3 TT=499.07 T1=0.69	No data	No data	OPT f=3 TT=368.322 T1=0.7	OPT f=3 TT=416.733 T1=0.71	SAT (TO) f=3 TT=2520.04 T1=0.72	SAT (TO) f=3 TT=2520.07 T1=0.72	OPT f=3 TT=1719.73 T1=0.73	OPT f=3 TT=1720.43 T1=0.74	SAT (TO) f=3 TT=2520.05 T1=4.52	SAT (TO) f=3 TT=2520.07 T1=0.2	SAT (TO) f=3 TT=2520.02 T1=0.23	SAT (TO) f=3 TT=2519.72 T1=0.2	SAT (TO) f=3 TT=2520.11 T1=1.07	OPT f=3 TT=34.03 T1=1.03	SAT (TO) f=3 TT=2520.02 T1=1.05	OPT f=3 TT=76.215 T1=2.63	OPT f=3 TT=92.785 T1=10.68	OPT f=3 TT=493.148 T1=0.63	No data	OPT f=3 TT=1108.67 T1=0.78	OPT f=3 TT=700.231 T1=0.77	SAT (TO) f=3 TT=2400.08 T1=4.34	? (TO) TT=2400.11	? (TO) TT=2400.09	SAT (TO) f=3 TT=2400.03 T1=0.13	SAT (TO) f=3 TT=2400.12 T1=0.95	OPT f=3 TT=35.059 T1=0.94	SAT (TO) f=3 TT=2400.12 T1=0.92	OPT f=3 TT=59.696 T1=22.33	OPT f=3 TT=56.908 T1=22.06
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	BTD 2017-07-25 (complete)	BTD 2017-08-10 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: BTD 2017-06-30 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
GraphColoring/ GraphColoring-m1-mono/ GraphColoring-ash331GPIA.xml	OPT f=3 TT=3 T1=1.24	OPT f=3 TT=3.725 T1=1.4	No data	No data	OPT f=3 TT=8.517 T1=1.99	OPT f=3 TT=9.343 T1=1.97	OPT f=3 TT=3.149 T1=1.24	OPT f=3 TT=3.215 T1=1.24	OPT f=3 TT=6.03 T1=1.33	OPT f=3 TT=6.079 T1=1.37	OPT f=3 TT=72.313 T1=56.4	OPT f=3 TT=3.825 T1=3.89	OPT f=3 TT=14.943 T1=14.62	OPT f=3 TT=3 T1=3.07	SAT (TO) f=3 TT=2520.13 T1=48.92	OPT f=3 TT=23.45 T1=18.18	OPT f=3 TT=23.466 T1=17.91	OPT f=3 TT=2744.59 T1=355.49	OPT f=3 TT=2681.34 T1=2680.51	OPT f=3 TT=4.561 T1=1.35	No data	OPT f=3 TT=8.832 T1=1.95	OPT f=3 TT=8.778 T1=1.94	OPT f=3 TT=77.078 T1=57.51	OPT f=3 TT=3.897 T1=3.89	OPT f=3 TT=14.865 T1=14.55	OPT f=3 TT=3.15 T1=3.14	SAT (TO) f=3 TT=2400.17 T1=48.18	OPT f=3 TT=26.683 T1=18.31	OPT f=3 TT=27.772 T1=18.87	? (TO) TT=2416.09	? TT=1375.04
GraphColoring/ GraphColoring-m1-mono/ GraphColoring-dsjc-250-1.xml	SAT TO f=8 TT=2400.05 T1=1.14	SAT (TO) f=8 TT=2520.1 T1=1.21	No data	No data	SAT (TO) f=8 TT=20084.301 T1=1.69	SAT (TO) f=8 TT=20042.9 T1=2.37	SAT (TO) f=8 TT=2520.07 T1=1.09	SAT (TO) f=8 TT=2520.1 T1=1.14	SAT (TO) f=8 TT=2520.03 T1=1.71	SAT (TO) f=8 TT=2520.05 T1=1.62	SAT (TO) f=8 TT=2520.16 T1=13.33	SAT (TO) f=8 TT=2520 T1=3.01	SAT (TO) f=8 TT=2519.61 T1=3.58	SAT (TO) f=8 TT=2519.75 T1=2.51	SAT (TO) f=8 TT=2520.12 T1=272.89	SAT (TO) f=8 TT=2520.05 T1=11.9	SAT (TO) f=8 TT=2520.03 T1=17.24	SAT (TO) f=8 TT=19998.801 T1=890.83	SAT (TO) f=8 TT=19940 T1=4066.98	SAT (TO) f=8 TT=2400.05 T1=1.22	No data	SAT (TO) f=8 TT=2400.71 T1=2.74	SAT (TO) f=8 TT=2400 T1=2.03	SAT (TO) f=8 TT=2400.12 T1=13.62	? (TO) TT=2400.06	? (TO) TT=2400.05	SAT (TO) f=8 TT=2400.05 T1=2.24	SAT (TO) f=8 TT=2400.05 T1=76.1	SAT (TO) f=8 TT=2400.06 T1=12	SAT (TO) f=8 TT=2400.12 T1=42.8	? (TO) TT=2415.64	? TT=1223.97
GraphColoring/ GraphColoring-m1-mono/ GraphColoring-dsjc-250-9.xml	SAT TO f=78 TT=2400.1 T1=22.27	SAT (TO) f=85 TT=2520.09 T1=3.02	No data	No data	SAT (TO) f=85 TT=19987.1 T1=63	SAT (TO) f=85 TT=19989.9 T1=449.5	SAT (TO) f=84 TT=2520.07 T1=1691.98	SAT (TO) f=84 TT=2520.12 T1=1725.22	SAT (TO) f=84 TT=2520.1 T1=221.06	SAT (TO) f=84 TT=2520.04 T1=222.32	SAT (TO) f=80 TT=2520.05 T1=104.24	SAT (TO) f=87 TT=2519.84 T1=26.41	SAT (TO) f=86 TT=2520.01 T1=47.68	SAT (TO) f=78 TT=2519.98 T1=22.27	SAT (TO) f=84 TT=2520.14 T1=1363	SAT (TO) f=86 TT=2520.08 T1=82.6	SAT (TO) f=86 TT=2520.1 T1=88.32	SAT (TO) f=89 TT=20001.1 T1=204.31	SAT (TO) f=88 TT=19993.699 T1=1170.57	SAT (TO) f=85 TT=2400.09 T1=2.99	No data	SAT (TO) f=84 TT=2400.2 T1=20.56	SAT (TO) f=84 TT=2400.31 T1=9.85	SAT (TO) f=80 TT=2400.1 T1=110.97	? (TO) TT=2400.09	? (TO) TT=2400.03	SAT (TO) f=78 TT=2400.1 T1=23.16	SAT (TO) f=82 TT=2400.11 T1=2100.1	SAT (TO) f=86 TT=2400.08 T1=80.96	SAT (TO) f=84 TT=2400.1 T1=1131.24	? (TO) TT=2416.66	? TT=1336.21
GraphColoring/ GraphColoring-m1-mono/ GraphColoring-dsjc-500-5.xml	SAT TO f=57 TT=2400.05 T1=1876.9	SAT (TO) f=62 TT=2520.08 T1=6.18	No data	No data	SAT (TO) f=61 TT=20044.6 T1=1392.12	SAT (TO) f=62 TT=20027.199 T1=399.6	SAT (TO) f=62 TT=2520.13 T1=753.96	SAT (TO) f=62 TT=2520.12 T1=756.07	SAT (TO) f=62 TT=2520.14 T1=4.07	SAT (TO) f=62 TT=2520.08 T1=3.98	SAT (TO) f=59 TT=2520.12 T1=788.75	SAT (TO) f=63 TT=2519.82 T1=140.45	SAT (TO) f=62 TT=2520.08 T1=120.31	SAT (TO) f=57 TT=2520.09 T1=1877.38	SAT (TO) f=65 TT=2520.12 T1=492.51	SAT (TO) f=66 TT=2520.07 T1=206.63	SAT (TO) f=65 TT=2520.06 T1=407.82	SAT (TO) f=65 TT=19850.199 T1=854.71	SAT (TO) f=64 TT=19844.801 T1=15446.61	SAT (TO) f=62 TT=2400.12 T1=5.86	No data	SAT (TO) f=61 TT=2400.76 T1=89.53	SAT (TO) f=62 TT=2400.11 T1=31.81	SAT (TO) f=59 TT=2400.12 T1=747.38	No Cert. TT=2400.11	No Cert. TT=2400.07	SAT (TO) f=57 TT=2400.05 T1=1876.9	SAT (TO) f=65 TT=2400.06 T1=1996.18	SAT (TO) f=66 TT=2400.14 T1=211.23	SAT (TO) f=64 TT=2400.14 T1=1033.01	? (TO) TT=2416.4	? TT=1295.26
GraphColoring/ GraphColoring-m1-mono/ GraphColoring-games120.xml	OPT f=8 TT=0.905 T1=0.49	OPT f=8 TT=2.609 T1=0.82	No data	No data	OPT f=8 TT=21.441 T1=0.92	OPT f=8 TT=14.559 T1=0.96	OPT f=8 TT=6.766 T1=0.81	OPT f=8 TT=4.967 T1=0.78	OPT f=8 TT=18.684 T1=0.74	OPT f=8 TT=18.471 T1=0.78	OPT f=8 TT=13.187 T1=5.58	OPT f=8 TT=0.962 T1=0.68	OPT f=8 TT=0.905 T1=0.69	OPT f=8 TT=1.471 T1=0.53	SAT (TO) f=8 TT=2520.08 T1=1.69	OPT f=8 TT=8.905 T1=1.59	OPT f=8 TT=2360.52 T1=1.42	OPT f=8 TT=72.923 T1=3.03	OPT f=8 TT=53.842 T1=14.45	OPT f=8 TT=2.929 T1=0.78	No data	OPT f=8 TT=19.225 T1=0.99	OPT f=8 TT=18.771 T1=1.05	OPT f=8 TT=17.204 T1=6.17	OPT f=8 TT=1.025 T1=0.65	OPT f=8 TT=0.958 T1=0.69	OPT f=8 TT=1.55 T1=0.49	SAT (TO) f=8 TT=2400.09 T1=1.47	OPT f=8 TT=9.073 T1=1.44	OPT f=8 TT=2313.23 T1=1.45	OPT f=8 TT=282.321 T1=229.95	OPT f=8 TT=255.524 T1=223.06
GraphColoring/ GraphColoring-m1-mono/ GraphColoring-lei450-25d.xml	SAT TO f=25 TT=2400.04 T1=1130.33	SAT (TO) f=25 TT=2520.09 T1=1576.14	No data	No data	SAT (TO) f=26 TT=20041 T1=4.32	SAT (TO) f=26 TT=20026 T1=5.75	SAT (TO) f=26 TT=2520.1 T1=5.86	SAT (TO) f=26 TT=2520.06 T1=5.92	SAT (TO) f=25 TT=2520.05 T1=1137.45	SAT (TO) f=25 TT=2520.07 T1=1130.33	SAT (TO) f=26 TT=2520.13 T1=52.1	SAT (TO) f=26 TT=2520.02 T1=17.02	SAT (TO) f=26 TT=2520.14 T1=19.56	SAT (TO) f=26 TT=2520.02 T1=13.48	SAT (TO) f=27 TT=2520.04 T1=334.44	SAT (TO) f=26 TT=2520.05 T1=321.13	SAT (TO) f=28 TT=2520.07 T1=38.75	SAT (TO) f=30 TT=19995.4 T1=176.99	SAT (TO) f=29 TT=19997.6 T1=765.8	SAT (TO) f=25 TT=2400.04 T1=1581.2	No data	SAT (TO) f=26 TT=2400.42 T1=5.56	SAT (TO) f=26 TT=2400.22 T1=4.03	SAT (TO) f=26 TT=2400.14 T1=49.23	No Cert. TT=2400.06	No Cert. TT=2400.03	SAT (TO) f=26 TT=2400.09 T1=12.26	SAT (TO) f=26 TT=2400.08 T1=906.87	SAT (TO) f=26 TT=2400.07 T1=321.78	SAT (TO) f=27 TT=2400.08 T1=97.4	? (TO) TT=2416.39	? TT=1410.68
GraphColoring/ GraphColoring-m1-mono/ GraphColoring-mug100-25.xml	OPT f=3 TT=6.599 T1=0.75	SAT (TO) f=3 TT=2520.07 T1=0.85	No data	No data	OPT f=3 TT=4580.19 T1=0.72	OPT f=3 TT=4201.87 T1=0.75	SAT (TO) f=3 TT=2520.02 T1=0.79	SAT (TO) f=3 TT=2520.08 T1=0.79	OPT f=3 TT=7.757 T1=0.86	OPT f=3 TT=6.599 T1=0.78	SAT (TO) f=3 TT=2520.15 T1=4.75	SAT (TO) f=3 TT=2519.94 T1=0.25	SAT (TO) f=3 TT=2520.01 T1=0.25	SAT (TO) f=3 TT=2520.08 T1=0.22	SAT (TO) f=3 TT=2520.03 T1=0.96	SAT (TO) f=3 TT=2520.05 T1=1.07	SAT (TO) f=3 TT=2520.1 T1=1.11	SAT (TO) f=3 TT=5495.68 T1=2.49	SAT (TO) f=3 TT=5013.24 T1=10.76	SAT (TO) f=3 TT=2400.04 T1=0.69	No data	SAT (TO) f=3 TT=2400.08 T1=0.8	SAT (TO) f=3 TT=2400.22 T1=0.86	SAT (TO) f=3 TT=2400.07 T1=4.72	? (TO) TT=2400.09	? (TO) TT=2400.08	SAT (TO) f=3 TT=2400.08 T1=0.14	SAT (TO) f=3 TT=2400.05 T1=0.93	SAT (TO) f=3 TT=2400.08 T1=1.01	SAT (TO) f=3 TT=2400.09 T1=1.02	OPT f=3 TT=63.85 T1=51.72	OPT f=3 TT=58.884 T1=51.58
GraphColoring/ GraphColoring-m1-mono/ GraphColoring-queen8-8.xml	SAT TO f=8 TT=2400.03 T1=0.81	SAT (TO) f=8 TT=2520.06 T1=1.94	No data	No data	SAT (TO) f=8 TT=20053.801 T1=1.61	SAT (TO) f=8 TT=20069.699 T1=1.78	SAT (TO) f=8 TT=2520.13 T1=5.64	SAT (TO) f=8 TT=2520.09 T1=5.85	SAT (TO) f=8 TT=2520.05 T1=10.11	SAT (TO) f=8 TT=2520.03 T1=10.16	SAT (TO) f=8 TT=2520.11 T1=11.38	SAT (TO) f=8 TT=2520.04 T1=3.6	SAT (TO) f=8 TT=2519.99 T1=0.81	SAT (TO) f=8 TT=2520 T1=1	SAT (TO) f=8 TT=2520.13 T1=37.93	SAT (TO) f=8 TT=2520.1 T1=30.64	SAT (TO) f=8 TT=2520.09 T1=13.5	SAT (TO) f=8 TT=19883.5 T1=106.36	SAT (TO) f=8 TT=19850.9 T1=279.51	SAT (TO) f=8 TT=2400.1 T1=0.91	No data	SAT (TO) f=8 TT=2400.18 T1=1.63	SAT (TO) f=8 TT=2400.04 T1=1.67	SAT (TO) f=8 TT=2400.12 T1=11.37	? (TO) TT=2400.09	? (TO) TT=2400.08	SAT (TO) f=8 TT=2400.09 T1=0.93	SAT (TO) f=8 TT=2400.03 T1=261.23	SAT (TO) f=8 TT=2400.08 T1=30.61	SAT (TO) f=8 TT=2400.07 T1=7.12	? (TO) TT=2400.42	SAT (TO) f=8 TT=2520.34 T1=86.28
GraphColoring/ GraphColoring-m1-mono/ GraphColoring-wap01a.xml	SAT TO f=41 TT=2401.06 T1=594.2	SAT (TO) f=41 TT=2520.12 T1=594.2	No data	No data	SAT (TO) f=41 TT=19979.801 T1=1861.21	SAT (TO) f=41 TT=19990 T1=1651.65	SAT (TO) f=41 TT=2520.08 T1=2227.59	SAT (TO) f=41 TT=2520.11 T1=2190.28	SAT (TO) f=41 TT=2520.13 T1=905.55	SAT (TO) f=41 TT=2520.09 T1=907.92	SAT (TO) f=288 TT=2520.14 T1=2457.56	SAT (TO) f=42 TT=2519.47 T1=162.28	? (MO) TT=129.622	SAT (TO) f=42 TT=2520.03 T1=261.1	SAT (TO) f=50 TT=2520.12 T1=393.24	SAT (TO) f=1158 TT=2520.15 T1=2412.28	SAT (TO) f=51 TT=2520.11 T1=620.65	? (TO) TT=16236.5	? TT=2036.59	SAT (TO) f=41 TT=2401.06 T1=606.69	No data	SAT (TO) f=44 TT=2400.21 T1=280.01	SAT (TO) f=44 TT=2400.71 T1=237.33	SAT (TO) f=513 TT=2400.43 T1=2277.57	SAT (TO) f=42 TT=2400.09 T1=159.03	? (MO) TT=129.953	SAT (TO) f=42 TT=2400.02 T1=245.29	SAT (TO) f=52 TT=2400.09 T1=854.91	SAT (TO) f=1327 TT=2400.15 T1=2073.1	SAT (TO) f=50 TT=2400.66 T1=699	? (TO) TT=2416.21	? TT=1498.05
GraphColoring/ GraphColoring-m1-mono/ GraphColoring-wap06a.xml	SAT TO f=40 TT=2400.07 T1=38.29	SAT (TO) f=40 TT=2520.08 T1=227.31	No data	No data	SAT (TO) f=40 TT=20062.5 T1=639.75	SAT (TO) f=40 TT=20050.801 T1=120.73	SAT (TO) f=40 TT=2520.1 T1=136.28	SAT (TO) f=40 TT=2520.1 T1=137.56	SAT (TO) f=40 TT=2520.05 T1=76.35	SAT (TO) f=40 TT=2520.11 T1=76.27	SAT (TO) f=42 TT=2520.13 T1=193.01	SAT (TO) f=40 TT=2519.89 T1=84.67	? (MO) TT=64.528	SAT (TO) f=40 TT=2519.98 T1=40.15	SAT (TO) f=46 TT=2520.14 T1=323.02	SAT (TO) f=43 TT=2520.13 T1=1068.89	SAT (TO) f=45 TT=2520.07 T1=2148.19	SAT (TO) f=430 TT=19758 T1=2519.48	SAT (TO) f=349 TT=19819.4 T1=19810.52	SAT (TO) f=40 TT=2400.07 T1=226.3	No data	SAT (TO) f=41 TT=2400.1 T1=96.14	SAT (TO) f=41 TT=2400.22 T1=97.87	SAT (TO) f=42 TT=2400.07 T1=193.16	No Cert. TT=2400.04	? (MO) TT=65.093	SAT (TO) f=40 TT=2400.08 T1=38.29	SAT (TO) f=45 TT=2400.12 T1=655.85	SAT (TO) f=43 TT=2400.09 T1=1072.03	SAT (TO) f=45 TT=2400.08 T1=2051.93	? (TO) TT=2416.24	? TT=1314.43
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	BTD 2017-07-25 (complete)	BTD 2017-08-10 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: BTD 2017-06-30 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
GraphColoring/ GraphColoring-m1-mono/ GraphColoring-zeroin-i-3.xml	OPT f=29 TT=24.402 T1=11.42	SAT (TO) f=29 TT=2520.1 T1=1.18	No data	No data	SAT (TO) f=29 TT=20082.801 T1=1.49	SAT (TO) f=29 TT=20023.801 T1=1.55	SAT (TO) f=29 TT=2520.06 T1=1.06	SAT (TO) f=29 TT=2520.12 T1=1.01	SAT (TO) f=29 TT=2520.18 T1=1.06	SAT (TO) f=29 TT=2520.08 T1=1.07	OPT f=29 TT=24.402 T1=11.43	SAT (TO) f=29 TT=2520.01 T1=3.23	SAT (TO) f=29 TT=2519.88 T1=3.53	SAT (TO) f=29 TT=2520 T1=2.61	SAT (TO) f=29 TT=2520.14 T1=2.58	SAT (TO) f=30 TT=2520.06 T1=4.14	SAT (TO) f=29 TT=2520.06 T1=7.95	SAT (TO) f=29 TT=19998.5 T1=12.06	SAT (TO) f=29 TT=20022.199 T1=82.8	SAT (TO) f=29 TT=2400.04 T1=1.07	No data	SAT (TO) f=29 TT=2400.63 T1=1.61	SAT (TO) f=29 TT=2400.34 T1=1.64	OPT f=29 TT=29.027 T1=11.42	? (TO) TT=2400.06	? (TO) TT=2400.09	SAT (TO) f=29 TT=2400.06 T1=2.47	SAT (TO) f=29 TT=2400.06 T1=1.67	SAT (TO) f=30 TT=2400.06 T1=4.03	SAT (TO) f=29 TT=2400.14 T1=8.36	? (TO) TT=2415.35	? TT=1226.04
Hanoi/ Hanoi-m1-s1/ Hanoi-03.xml	SAT TT=0.002	SAT TT=1.013	SAT TT=0.002	SAT TT=0.002	SAT TT=1.092	SAT TT=1.061	SAT TT=0.756	SAT TT=0.769	SAT TT=0.821	SAT TT=0.807	SAT TT=6.241	SAT TT=0.006	SAT TT=0.006	SAT TT=0.007	No data	SAT TT=1.086	No data	SAT TT=3.421	SAT TT=2.764	SAT TT=1.174	SAT TT=0.002	SAT TT=1.174	SAT TT=1.204	SAT TT=7.439	SAT TT=0.009	SAT TT=0.009	SAT TT=0.01	No data	SAT TT=1.09	No data	SAT TT=1.947	SAT TT=1.461
Hanoi/ Hanoi-m1-s1/ Hanoi-04.xml	SAT TT=0.005	SAT TT=1.164	SAT TT=0.005	SAT TT=0.005	SAT TT=1.572	SAT TT=1.579	SAT TT=0.888	SAT TT=0.917	SAT TT=0.96	SAT TT=0.979	SAT TT=6.584	SAT TT=0.006	SAT TT=0.01	SAT TT=0.009	No data	SAT TT=1.272	No data	SAT TT=65.369	SAT TT=4.639	SAT TT=1.415	SAT TT=0.007	SAT TT=1.874	SAT TT=1.638	SAT TT=7.846	SAT TT=0.01	SAT TT=0.014	SAT TT=0.014	No data	SAT TT=1.33	No data	SAT TT=5.991	SAT TT=5.364
Hanoi/ Hanoi-m1-s1/ Hanoi-06.xml	SAT TT=0.037	SAT TT=1.678	SAT TT=0.608	SAT TT=0.607	SAT TT=6.268	SAT TT=5.586	SAT TT=2.161	SAT TT=2.188	SAT TT=2.297	SAT TT=2.33	SAT TT=11.62	SAT TT=0.037	SAT TT=1.195	SAT TT=0.081	No data	SAT TT=2.274	No data	SAT (TO) TT=8178.29	SAT TT=13.841	SAT TT=2.017	SAT TT=0.642	SAT TT=7.386	SAT TT=7.442	SAT TT=15.064	SAT TT=0.064	SAT TT=1.256	SAT TT=0.116	No data	SAT TT=2.557	No data	? (TO) TT=2416.19	? TT=1645.34
Hanoi/ Hanoi-m1-s1/ Hanoi-07.xml	SAT TT=0.616	SAT TT=2.294	SAT TT=10.738	SAT TT=10.844	SAT TT=53.14	SAT TT=52.192	SAT TT=17.088	SAT TT=17.247	SAT TT=17.401	SAT TT=17.873	SAT TT=29.239	SAT TT=0.78	SAT TT=25.273	SAT TT=0.616	No data	SAT TT=5.822	No data	SAT (TO) TT=6761.66	SAT TT=145.597	SAT TT=3.138	SAT TT=10.761	SAT TT=74.447	SAT TT=78.757	SAT TT=34.556	SAT TT=0.827	SAT TT=26.239	SAT TT=0.669	No data	SAT TT=10.271	No data	? (TO) TT=2416.62	? (TO) TT=2527.89
Hanoi/ Hanoi-m1-s1/ Hanoi-08.xml	SAT TT=4.462	SAT TT=4.462	SAT TT=204.022	SAT TT=203.845	? TT=587.51	? TT=496.591	SAT TT=459.86	SAT TT=448.292	SAT TT=463.693	SAT TT=441.738	SAT TT=292.787	SAT TT=36.351	Signal TT=43.401	SAT TT=5.98	No data	SAT TT=60.446	No data	? TT=969.429	? TT=1114.61	SAT TT=4.779	SAT TT=203.522	? TT=295.129	? (exit code) TT=357.795	SAT TT=326.12	SAT TT=36.737	Signal TT=50.32	SAT TT=5.984	No data	? TT=193.719	No data	? (TO) TT=2411.13	? (TO) TT=2525.74
Hanoi/ Hanoi-m1-s1/ Hanoi-09.xml	SAT TT=19.367	SAT TT=19.367	? (MO) TT=361.054	? (MO) TT=362.927	? TT=315.536	? TT=332.392	? TT=86.261	? TT=85.142	? TT=78.463	? TT=71.21	? TT=545.001	SAT TT=853.452	? (MO) TT=34.451	SAT TT=60.506	No data	? TT=69.508	No data	? TT=102.243	? TT=208.36	SAT TT=22.71	? (MO) TT=365.259	? TT=169.801	? TT=159.414	? TT=355.048	SAT TT=623.324	? (MO) TT=35.243	SAT TT=60.657	No data	? TT=137.406	No data	? (TO) TT=2416.22	? TT=2015.61
Haystacks/ Haystacks-m1-s1/ Haystacks-32.xml	UNSAT TT=11.286	? (TO) TT=2520.11	? (TO) TT=2520.04	? (TO) TT=2519.79	UNSAT TT=58.44	UNSAT TT=57.172	UNSAT TT=12.083	UNSAT TT=11.286	UNSAT TT=11.115	UNSAT TT=11.614	? (TO) TT=2522.87	? (TO) TT=2519.82	? (TO) TT=2519.89	? (TO) TT=2520.05	No data	? (TO) TT=2520.07	No data	? (TO) TT=19993.4	? (TO) TT=20013.9	? (TO) TT=2400.03	? TT=2400.04	UNSAT TT=64.335	UNSAT TT=64.462	? (TO) TT=2405.04	? (TO) TT=2400.05	? (TO) TT=2400.05	? (TO) TT=2400.09	No data	? (TO) TT=2400.03	No data	? (TO) TT=2416.04	? TT=2002.87
Haystacks/ Haystacks-m1-s1/ Haystacks-42.xml	UNSAT TT=26.209	? (TO) TT=2520.1	? (TO) TT=2519.67	? (TO) TT=2519.69	UNSAT TT=208.855	UNSAT TT=196.621	UNSAT TT=25.772	UNSAT TT=26.209	UNSAT TT=26.022	UNSAT TT=28.541	? (TO) TT=2526.8	? (TO) TT=2520.04	? (TO) TT=2520.06	? (TO) TT=2520.01	No data	? (TO) TT=2520.05	No data	? TT=2740.9	? (TO) TT=19588.301	? (TO) TT=2400.08	? (TO) TT=2400.03	UNSAT TT=217.377	UNSAT TT=219.451	? (TO) TT=2415.25	? (TO) TT=2400.05	? (TO) TT=2400.1	? (TO) TT=2400.1	No data	? (TO) TT=2400.12	No data	? TT=889.595	? TT=430.193
Haystacks/ Haystacks-m1-s1/ Haystacks-44.xml	UNSAT TT=29.971	? (TO) TT=2520.04	? (TO) TT=2519.93	? (TO) TT=2519.79	UNSAT TT=218.405	UNSAT TT=224.22	UNSAT TT=32.619	UNSAT TT=30.7	UNSAT TT=31.407	UNSAT TT=29.971	? (TO) TT=2527.76	? (TO) TT=2519.37	? (TO) TT=2519.99	? (TO) TT=2520.06	No data	? (TO) TT=2520.18	No data	? (TO) TT=19398.301	? (TO) TT=19522.801	? (TO) TT=2400.07	? (TO) TT=2400.02	UNSAT TT=251.971	UNSAT TT=247.571	? (TO) TT=2415.62	? (TO) TT=2400.02	? (TO) TT=2400.09	? (TO) TT=2400.08	No data	? (TO) TT=2400.24	No data	? (TO) TT=2415.91	? TT=1604.79
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	BTD 2017-07-25 (complete)	BTD 2017-08-10 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: BTD 2017-06-30 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
Haystacks/ Haystacks-m1-s1/ Haystacks-45.xml	UNSAT TT=31.614	? (TO) TT=2520.09	? (TO) TT=2519.79	? (TO) TT=2519.76	UNSAT TT=251.433	UNSAT TT=248.321	UNSAT TT=32.616	UNSAT TT=31.614	UNSAT TT=32.67	UNSAT TT=32.509	? (TO) TT=2527.75	? (TO) TT=2519.64	? (TO) TT=2519.92	? (TO) TT=2519.74	No data	? (TO) TT=2520.12	No data	? (TO) TT=19438.1	? TT=5301.59	? (TO) TT=2400.04	? (TO) TT=2400.04	UNSAT TT=278.291	UNSAT TT=279.007	? (TO) TT=2415.39	? (TO) TT=2400.07	? (TO) TT=2400.02	? (TO) TT=2400.05	No data	? (TO) TT=2400.11	No data	? (TO) TT=2415.81	? TT=1601.76
Haystacks/ Haystacks-m1-s1/ Haystacks-46.xml	UNSAT TT=34.015	? (TO) TT=2520.08	? (TO) TT=2519.93	? (TO) TT=2519.72	UNSAT TT=275.265	UNSAT TT=275.746	UNSAT TT=33.917	UNSAT TT=34.015	UNSAT TT=33.667	UNSAT TT=39.369	? (TO) TT=2527.72	? (TO) TT=2519.73	? (TO) TT=2520.06	? (TO) TT=2519.71	No data	? (TO) TT=2520.12	No data	? (TO) TT=19345.801	? TT=5851.78	? (TO) TT=2400.07	? (TO) TT=2400.09	UNSAT TT=306.587	UNSAT TT=303.487	? (TO) TT=2415.29	? (TO) TT=2400.03	? (TO) TT=2400.1	? (TO) TT=2400.1	No data	? (TO) TT=2400.09	No data	? (TO) TT=2416.16	? TT=1528.89
Haystacks/ Haystacks-m1-s1/ Haystacks-47.xml	UNSAT TT=37.237	? (TO) TT=2520.08	? (TO) TT=2519.83	? (TO) TT=2519.82	UNSAT TT=305.443	UNSAT TT=315.156	UNSAT TT=41.563	UNSAT TT=37.237	UNSAT TT=38.087	UNSAT TT=39.86	? (TO) TT=2527.84	? (TO) TT=2520.01	? (TO) TT=2520.04	? (TO) TT=2520.08	No data	? (TO) TT=2520.06	No data	? TT=14361.4	? TT=6128.83	? (TO) TT=2400.12	? (TO) TT=2400.06	UNSAT TT=365.871	UNSAT TT=352.571	? (TO) TT=2415.69	? (TO) TT=2400.06	? (TO) TT=2400.04	? (TO) TT=2400.03	No data	? (TO) TT=2400.13	No data	? (TO) TT=2416.05	? TT=1619.9
Kakuro/Kakuro-ext-easy/ Kakuro-easy-084-ext.xml	SAT TT=0.046	SAT TT=1.968	SAT TT=0.045	SAT TT=0.046	SAT TT=3.219	SAT TT=3.153	SAT TT=1.643	SAT TT=1.638	SAT TT=1.731	SAT TT=1.724	SAT TT=9.995	SAT TT=0.113	SAT TT=0.112	SAT TT=0.119	No data	SAT TT=2.153	No data	SAT TT=4.235	SAT TT=4.145	SAT TT=2.317	SAT TT=0.057	SAT TT=3.969	SAT TT=3.85	SAT TT=12.648	SAT TT=0.131	SAT TT=0.121	SAT TT=0.176	No data	SAT TT=2.32	No data	SAT TT=539.66	SAT TT=517.133
Kakuro/Kakuro-ext-easy/ Kakuro-easy-109-ext.xml	SAT TT=0.155	SAT TT=2.568	SAT TT=0.155	SAT TT=0.155	SAT TT=4.725	SAT TT=4.693	SAT TT=2.131	SAT TT=2.203	SAT TT=2.252	SAT TT=2.081	SAT TT=11.859	SAT TT=0.341	SAT TT=0.344	SAT TT=0.359	No data	SAT TT=2.569	No data	SAT TT=5.028	SAT TT=5.254	SAT TT=2.928	SAT TT=0.202	SAT TT=5.417	SAT TT=5.551	SAT TT=14.833	SAT TT=0.34	SAT TT=0.36	SAT TT=0.417	No data	SAT TT=2.922	No data	? (TO) TT=2402.39	? (TO) TT=2520.11
Kakuro/Kakuro-ext-easy/ Kakuro-easy-150-ext.xml	SAT TT=0.108	SAT TT=2.407	SAT TT=0.107	SAT TT=0.108	SAT TT=4.119	SAT TT=4.014	SAT TT=1.98	SAT TT=1.946	SAT TT=2.031	SAT TT=2.091	SAT TT=10.958	SAT TT=0.296	SAT TT=0.299	SAT TT=0.308	No data	SAT TT=2.449	No data	SAT TT=4.778	SAT TT=4.525	SAT TT=2.855	SAT TT=0.123	SAT TT=4.778	SAT TT=4.721	SAT TT=13.618	SAT TT=0.357	SAT TT=0.352	SAT TT=0.323	No data	SAT TT=2.808	No data	? (TO) TT=2400.11	? (TO) TT=2520.13
Kakuro/Kakuro-ext-medium/ Kakuro-medium-016-ext.xml	SAT TT=0.013	SAT TT=1.533	SAT TT=0.012	SAT TT=0.013	SAT TT=2.475	SAT TT=2.436	SAT TT=1.264	SAT TT=1.237	SAT TT=1.319	SAT TT=1.318	SAT TT=8.215	SAT TT=0.029	SAT TT=0.03	SAT TT=0.034	No data	SAT TT=1.611	No data	SAT TT=2.958	SAT TT=2.685	SAT TT=1.801	SAT TT=0.016	SAT TT=2.756	SAT TT=3.021	SAT TT=9.894	SAT TT=0.048	SAT TT=0.038	SAT TT=0.054	No data	SAT TT=1.813	No data	SAT TT=19.125	SAT TT=18.551
Kakuro/Kakuro-ext-medium/ Kakuro-medium-020-ext.xml	SAT TT=0.009	SAT TT=1.324	SAT TT=0.009	SAT TT=0.009	SAT TT=2.25	SAT TT=2.227	SAT TT=1.12	SAT TT=1.082	SAT TT=1.149	SAT TT=1.162	SAT TT=7.589	SAT TT=0.02	SAT TT=0.021	SAT TT=0.023	No data	SAT TT=1.44	No data	SAT TT=2.541	SAT TT=2.56	SAT TT=1.928	SAT TT=0.014	SAT TT=2.558	SAT TT=2.658	SAT TT=9.228	SAT TT=0.034	SAT TT=0.037	SAT TT=0.04	No data	SAT TT=1.604	No data	SAT TT=11.023	SAT TT=9.727
Kakuro/Kakuro-ext-medium/ Kakuro-medium-162-ext.xml	SAT TT=3.123	SAT TT=5.114	SAT TT=3.105	SAT TT=3.123	SAT TT=41.704	SAT TT=43.001	SAT TT=5.503	SAT TT=5.525	SAT TT=5.466	SAT TT=5.558	SAT TT=22.901	SAT TT=6.018	SAT TT=6.018	SAT TT=6.377	No data	SAT TT=5.511	No data	SAT TT=45.234	SAT TT=46.66	SAT TT=6.209	SAT TT=3.127	SAT TT=45.366	SAT TT=44.993	SAT TT=31.353	SAT TT=6.048	SAT TT=6.01	SAT TT=6.217	No data	SAT TT=7.088	No data	? (TO) TT=2416.38	? TT=1789.58
Kakuro/Kakuro-sumdiff-easy/ Kakuro-easy-015-sumdiff.xml	SAT TT=0.008	SAT TT=1.124	SAT TT=0.008	SAT TT=0.008	SAT TT=1.801	SAT TT=1.821	SAT TT=0.964	SAT TT=0.992	SAT TT=1.078	SAT TT=1.077	SAT TT=7.316	SAT TT=0.008	SAT TT=0.009	SAT TT=0.011	No data	SAT TT=1.284	No data	SAT TT=2.269	SAT TT=2.344	SAT TT=1.268	SAT TT=0.01	SAT TT=1.971	SAT TT=2.051	SAT TT=8.461	SAT TT=0.012	SAT TT=0.011	SAT TT=0.014	No data	SAT TT=1.311	No data	SAT TT=1.531	SAT TT=1.195
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	BTD 2017-07-25 (complete)	BTD 2017-08-10 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: BTD 2017-06-30 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
Kakuro/Kakuro-sumdiff-easy/ Kakuro-easy-079-sumdiff.xml	SAT TT=0.011	SAT TT=1.331	SAT TT=0.032	SAT TT=0.032	SAT TT=2.312	SAT TT=2.225	SAT TT=1.133	SAT TT=1.083	SAT TT=1.222	SAT TT=1.218	SAT TT=7.607	SAT TT=0.011	SAT TT=0.013	SAT TT=0.017	No data	SAT TT=1.436	No data	SAT TT=3.614	SAT TT=3.388	SAT TT=1.484	SAT TT=0.044	SAT TT=2.766	SAT TT=2.538	SAT TT=9.061	SAT TT=0.017	SAT TT=0.019	SAT TT=0.03	No data	SAT TT=1.471	No data	SAT TT=2.061	SAT TT=1.677
Kakuro/Kakuro-sumdiff-easy/ Kakuro-easy-164-sumdiff.xml	SAT TT=0.052	SAT TT=2.016	SAT TT=1.762	SAT TT=1.76	SAT TT=10.71	SAT TT=9.306	SAT TT=2.793	SAT TT=2.838	SAT TT=2.187	SAT TT=2.156	SAT TT=10.637	SAT TT=0.198	SAT TT=0.3	SAT TT=0.052	No data	SAT TT=3.323	No data	SAT TT=10.437	SAT TT=10.085	SAT TT=2.444	SAT TT=1.808	SAT TT=14.691	SAT TT=11.556	SAT TT=12.698	SAT TT=0.251	SAT TT=0.354	SAT TT=0.059	No data	SAT TT=3.32	No data	SAT TT=3.32	SAT TT=2.858
Kakuro/Kakuro-sumdiff-hard/ Kakuro-hard-179-sumdiff.xml	SAT TT=0.104	SAT TT=2.527	SAT TT=0.453	SAT TT=0.453	SAT TT=3.845	SAT TT=4.109	SAT TT=2.398	SAT TT=2.501	SAT TT=2.308	SAT TT=2.285	SAT TT=12.659	SAT TT=0.164	SAT TT=0.318	SAT TT=0.104	No data	SAT TT=2.438	No data	SAT TT=17.911	SAT TT=16.51	SAT TT=2.977	SAT TT=0.507	SAT TT=4.822	SAT TT=5.131	SAT TT=14.363	SAT TT=0.217	SAT TT=0.373	SAT TT=0.134	No data	SAT TT=2.802	No data	SAT TT=4.362	SAT TT=3.849
Kakuro/Kakuro-sumdiff-medium/ Kakuro-medium-055-sumdiff.xml	SAT TT=0.009	SAT TT=1.18	SAT TT=0.013	SAT TT=0.013	SAT TT=2.071	SAT TT=1.998	SAT TT=1.019	SAT TT=1.021	SAT TT=1.154	SAT TT=1.147	SAT TT=7.418	SAT TT=0.009	SAT TT=0.01	SAT TT=0.012	No data	SAT TT=1.34	No data	SAT TT=2.651	SAT TT=2.597	SAT TT=1.345	SAT TT=0.022	SAT TT=2.3	SAT TT=2.168	SAT TT=8.554	SAT TT=0.013	SAT TT=0.015	SAT TT=0.019	No data	SAT TT=1.347	No data	SAT TT=1.755	SAT TT=1.539
Kakuro/Kakuro-sumdiff-medium/ Kakuro-medium-191-sumdiff.xml	SAT TT=5.174	SAT TT=36.989	? (TO) TT=2519.95	? (TO) TT=2519.81	SAT TT=413.751	SAT TT=398.412	SAT TT=106.324	SAT TT=109.476	SAT TT=123.188	SAT TT=123.917	? (TO) TT=2520.6	SAT TT=64.733	? (TO) TT=2519.84	SAT TT=5.174	No data	SAT TT=977.394	No data	SAT (TO) TT=2552.57	? (TO) TT=2550.9	SAT TT=37.797	? TT=2400	SAT TT=645.278	SAT TT=665.005	? (TO) TT=2401.24	SAT TT=64.503	? (TO) TT=2400.08	SAT TT=1.904	No data	SAT TT=1024.2	No data	SAT TT=8.335	SAT TT=8.304
Knapsack/ Knapsack-m1-s30/ Knapsack-30-100-04.xml	OPT f=1129 TT=0.248 T1=0.01	OPT f=1129 TT=2.834 T1=1.53	No data	No data	OPT f=1129 TT=7.17 T1=1.01	OPT f=1129 TT=6.649 T1=1.11	OPT f=1129 TT=4.661 T1=1.6	OPT f=1129 TT=4.72 T1=1.71	OPT f=1129 TT=27.475 T1=13.15	OPT f=1129 TT=26.475 T1=12.52	OPT f=1129 TT=15.24 T1=3.6	OPT f=1129 TT=1.2 T1=0.88	OPT f=1129 TT=1.033 T1=0.99	OPT f=1129 TT=0.248 T1=0.1	SAT (TO) f=1129 TT=2520.04 T1=4.68	OPT f=1129 TT=1.703 T1=0.86	OPT f=1129 TT=1.734 T1=0.85	OPT f=1129 TT=5.629 T1=1.58	OPT f=1129 TT=6.46 T1=6.17	OPT f=1129 TT=3.155 T1=1.47	No data	OPT f=1129 TT=7.382 T1=1.33	OPT f=1129 TT=7.289 T1=1.12	OPT f=1129 TT=16.983 T1=3.52	OPT f=1129 TT=1.265 T1=0.86	OPT f=1129 TT=1.097 T1=1.05	OPT f=1129 TT=0.304 T1=0.01	SAT (TO) f=1129 TT=2400.14 T1=1.88	OPT f=1129 TT=2.091 T1=1.02	OPT f=1129 TT=1.907 T1=0.89	OPT f=1129 TT=127.535 T1=22.4	OPT f=1129 TT=122.598 T1=21.57
Knapsack/ Knapsack-m1-s30/ Knapsack-30-100-06.xml	OPT f=1188 TT=0.336 T1=0.01	OPT f=1188 TT=3.849 T1=2.69	No data	No data	OPT f=1188 TT=5.262 T1=0.8	OPT f=1188 TT=5.991 T1=0.72	OPT f=1188 TT=4.617 T1=1.53	OPT f=1188 TT=4.818 T1=1.68	OPT f=1188 TT=22.781 T1=6.97	OPT f=1188 TT=21.634 T1=6.79	OPT f=1188 TT=12.307 T1=3.7	OPT f=1188 TT=0.967 T1=1.04	OPT f=1188 TT=1.205 T1=1.03	OPT f=1188 TT=0.336 T1=0.1	SAT (TO) f=1188 TT=2520.03 T1=2.54	OPT f=1188 TT=1.799 T1=0.89	OPT f=1188 TT=1.838 T1=0.89	OPT f=1188 TT=5.724 T1=1.61	OPT f=1188 TT=5.778 T1=5.22	OPT f=1188 TT=4.208 T1=2.64	No data	OPT f=1188 TT=5.823 T1=0.86	OPT f=1188 TT=5.975 T1=0.93	OPT f=1188 TT=14.518 T1=3.77	OPT f=1188 TT=1.039 T1=1.01	OPT f=1188 TT=1.274 T1=1.09	OPT f=1188 TT=0.402 T1=0.01	SAT (TO) f=1188 TT=2400.1 T1=2.14	OPT f=1188 TT=2.023 T1=0.93	OPT f=1188 TT=1.997 T1=0.93	OPT f=1188 TT=59.723 T1=19.68	OPT f=1188 TT=55.04 T1=18.11
Knapsack/ Knapsack-m1-s30/ Knapsack-30-100-16.xml	OPT f=885 TT=0.281 T1=0.01	OPT f=885 TT=6.454 T1=5.11	No data	No data	OPT f=885 TT=7.656 T1=0.78	OPT f=885 TT=6.94 T1=1.24	OPT f=885 TT=6.921 T1=2.61	OPT f=885 TT=6.289 T1=2.59	OPT f=885 TT=29.747 T1=14.67	OPT f=885 TT=31.823 T1=14.93	OPT f=885 TT=23.308 T1=3.56	OPT f=885 TT=2.095 T1=2.07	OPT f=885 TT=2.305 T1=2.11	OPT f=885 TT=0.281 T1=0.1	SAT (TO) f=885 TT=2520.08 T1=6.56	OPT f=885 TT=1.968 T1=0.88	OPT f=885 TT=1.955 T1=0.86	OPT f=885 TT=6.32 T1=1.6	OPT f=885 TT=7.264 T1=5.85	OPT f=885 TT=7.163 T1=5.33	No data	OPT f=885 TT=8.075 T1=1.27	OPT f=885 TT=8.929 T1=1.53	OPT f=885 TT=25.213 T1=3.49	OPT f=885 TT=2.176 T1=2.03	OPT f=885 TT=2.375 T1=2.17	OPT f=885 TT=0.318 T1=0.01	SAT (TO) f=885 TT=2400.09 T1=7.85	OPT f=885 TT=2.172 T1=0.98	OPT f=885 TT=2.003 T1=0.87	OPT f=885 TT=130.034 T1=62.79	OPT f=885 TT=135.122 T1=65.73
Knapsack/ Knapsack-m1-s40/ Knapsack-40-150-00.xml	OPT f=932 TT=5.827 T1=0.02	OPT f=932 TT=191.106 T1=163.86	No data	No data	OPT f=932 TT=115.97 T1=3.82	OPT f=932 TT=26.332 T1=2.12	OPT f=932 TT=97.703 T1=10.75	OPT f=932 TT=100.401 T1=11.51	OPT f=932 TT=1626.65 T1=551.9	OPT f=932 TT=1618.35 T1=561.41	OPT f=932 TT=283.3 T1=3.72	OPT f=932 TT=26.056 T1=19.89	OPT f=932 TT=29.08 T1=19.03	OPT f=932 TT=15.349 T1=0.24	SAT (TO) f=932 TT=2520.08 T1=15.25	OPT f=932 TT=5.827 T1=3.71	OPT f=932 TT=5.99 T1=3.92	OPT f=932 TT=18.004 T1=3.04	OPT f=932 TT=18.759 T1=17.06	OPT f=932 TT=188.111 T1=160.53	No data	OPT f=932 TT=52.643 T1=3.98	OPT f=932 TT=50.493 T1=4.65	OPT f=932 TT=303.817 T1=3.7	OPT f=932 TT=26.433 T1=20.15	OPT f=932 TT=29.626 T1=19.32	OPT f=932 TT=15.699 T1=0.02	SAT (TO) f=932 TT=2400.08 T1=17.3	OPT f=932 TT=6.181 T1=3.62	OPT f=932 TT=6.083 T1=3.66	SAT (TO) f=923 TT=2400.4 T1=1140.39	SAT (TO) f=923 TT=2520.33 T1=1365.92
Knapsack/ Knapsack-m1-s40/ Knapsack-40-150-07.xml	OPT f=1021 TT=6.441 T1=0.01	OPT f=1021 TT=193.561 T1=184.48	No data	No data	OPT f=1021 TT=129.788 T1=19.11	OPT f=1021 TT=36.651 T1=3.7	OPT f=1021 TT=202.48 T1=30.14	OPT f=1021 TT=190.042 T1=27.91	SAT (TO) f=1021 TT=2520.04 T1=2421.33	SAT (TO) f=1021 TT=2520.05 T1=2402.36	OPT f=1021 TT=527.22 T1=3.75	OPT f=1021 TT=38.488 T1=20.48	OPT f=1021 TT=20.722 T1=19.17	OPT f=1021 TT=15.446 T1=0.11	SAT (TO) f=1021 TT=2520.08 T1=6.73	OPT f=1021 TT=6.441 T1=3.78	OPT f=1021 TT=6.486 T1=3.32	OPT f=1021 TT=13.579 T1=2.47	OPT f=1021 TT=13.887 T1=10.46	OPT f=1021 TT=196.9 T1=187.14	No data	OPT f=1021 TT=58.082 T1=2.54	OPT f=1021 TT=47.292 T1=2.52	OPT f=1021 TT=496.374 T1=3.63	OPT f=1021 TT=39.057 T1=20.77	OPT f=1021 TT=20.959 T1=19.32	OPT f=1021 TT=15.565 T1=0.01	SAT (TO) f=1021 TT=2400.12 T1=9.13	OPT f=1021 TT=6.534 T1=3.32	OPT f=1021 TT=6.507 T1=3.34	SAT (TO) f=1021 TT=2400.37 T1=813.15	SAT (TO) f=1021 TT=2520.37 T1=968.6
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	BTD 2017-07-25 (complete)	BTD 2017-08-10 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: BTD 2017-06-30 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
Knapsack/ Knapsack-m1-s40/ Knapsack-40-150-08.xml	OPT f=887 TT=3.76 T1=0.03	OPT f=887 TT=138.816 T1=116.34	No data	No data	OPT f=887 TT=44.944 T1=2	OPT f=887 TT=18.875 T1=1.71	OPT f=887 TT=50.804 T1=16.82	OPT f=887 TT=52.591 T1=17.92	OPT f=887 TT=1092.13 T1=708.29	OPT f=887 TT=1113.61 T1=722.37	OPT f=887 TT=343.985 T1=3.76	OPT f=887 TT=14.797 T1=12.86	OPT f=887 TT=13.244 T1=12.08	OPT f=887 TT=6.648 T1=0.13	SAT (TO) f=887 TT=2520.03 T1=3.22	OPT f=887 TT=3.76 T1=2.66	OPT f=887 TT=3.765 T1=2.56	OPT f=887 TT=12.865 T1=2.46	OPT f=887 TT=12.882 T1=11.55	OPT f=887 TT=149.592 T1=125.59	No data	OPT f=887 TT=36.481 T1=3.77	OPT f=887 TT=26.695 T1=2.01	OPT f=887 TT=385.469 T1=4.03	OPT f=887 TT=15.129 T1=13.09	OPT f=887 TT=13.361 T1=12.08	OPT f=887 TT=6.876 T1=0.03	SAT (TO) f=887 TT=2400.05 T1=4.16	OPT f=887 TT=3.815 T1=2.54	OPT f=887 TT=3.914 T1=2.59	SAT (TO) f=887 TT=2400.33 T1=547.27	SAT (TO) f=887 TT=2520.31 T1=532.62
Knapsack/ Knapsack-m1-s40/ Knapsack-40-150-12.xml	OPT f=954 TT=6.331 T1=0.04	OPT f=954 TT=152.833 T1=144.88	No data	No data	OPT f=954 TT=110.035 T1=0.97	OPT f=954 TT=53.52 T1=1.12	OPT f=954 TT=68.073 T1=5.09	OPT f=954 TT=69.197 T1=5.42	OPT f=954 TT=1166.77 T1=848.14	OPT f=954 TT=1121.52 T1=810.09	OPT f=954 TT=302.858 T1=3.71	OPT f=954 TT=45.891 T1=44.77	OPT f=954 TT=26.974 T1=20.39	OPT f=954 TT=14.971 T1=0.08	SAT (TO) f=954 TT=2520.1 T1=5.44	OPT f=954 TT=6.331 T1=4.93	OPT f=954 TT=6.424 T1=4.83	OPT f=954 TT=11.913 T1=2.42	OPT f=954 TT=12.524 T1=11.84	OPT f=954 TT=157.592 T1=149.11	No data	OPT f=954 TT=77.473 T1=2.17	OPT f=954 TT=67.194 T1=1.54	OPT f=954 TT=305.957 T1=3.94	OPT f=954 TT=46.542 T1=45.32	OPT f=954 TT=27.317 T1=20.6	OPT f=954 TT=15.433 T1=0.04	SAT (TO) f=954 TT=2400.11 T1=4.85	OPT f=954 TT=6.535 T1=4.86	OPT f=954 TT=6.529 T1=5.11	SAT (TO) f=954 TT=2400.34 T1=1583.7	SAT (TO) f=954 TT=2520.25 T1=1568.66
Knapsack/ Knapsack-m1-s40/ Knapsack-40-150-16.xml	OPT f=886 TT=7.437 T1=0.01	OPT f=886 TT=133.131 T1=119.34	No data	No data	OPT f=886 TT=127.374 T1=2.27	OPT f=886 TT=50.144 T1=1.55	OPT f=886 TT=62.162 T1=18.57	OPT f=886 TT=62.483 T1=18.65	OPT f=886 TT=1211.67 T1=239.57	OPT f=886 TT=1145.08 T1=228.96	OPT f=886 TT=188.931 T1=4.37	OPT f=886 TT=79.216 T1=75.04	OPT f=886 TT=47.839 T1=41.35	OPT f=886 TT=17.771 T1=0.09	SAT (TO) f=886 TT=2520.09 T1=10.2	OPT f=886 TT=7.51 T1=5.58	OPT f=886 TT=7.437 T1=5.82	OPT f=886 TT=23.488 T1=3.57	OPT f=886 TT=21.547 T1=17.64	OPT f=886 TT=126.56 T1=113.18	No data	OPT f=886 TT=104.773 T1=11.91	OPT f=886 TT=72.409 T1=2.13	OPT f=886 TT=202.938 T1=4.69	OPT f=886 TT=80.227 T1=75.96	OPT f=886 TT=48.5 T1=41.94	OPT f=886 TT=18.171 T1=0.01	SAT (TO) f=886 TT=2400.08 T1=6.51	OPT f=886 TT=7.704 T1=5.45	OPT f=886 TT=7.548 T1=5.47	SAT (TO) f=886 TT=2400.32 T1=251.97	SAT (TO) f=886 TT=2520.29 T1=318.79
Knapsack/ Knapsack-m1-s50/ Knapsack-50-200-16.xml	OPT f=1429 TT=59.541 T1=0.01	SAT (TO) f=1370 TT=2520.11 T1=1780.34	No data	No data	OPT f=1429 TT=190.247 T1=2.82	OPT f=1429 TT=261.332 T1=28.74	OPT f=1429 TT=691.073 T1=543.32	OPT f=1429 TT=686.706 T1=539.34	SAT (TO) f=1389 TT=2520.12 T1=2051.05	SAT (TO) f=1389 TT=2520.08 T1=1961.86	SAT (TO) f=1429 TT=2520.14 T1=4.5	OPT f=1429 TT=1084.81 T1=1060.32	OPT f=1429 TT=672.371 T1=630.74	OPT f=1429 TT=182.65 T1=0.08	SAT (TO) f=1429 TT=2520.09 T1=26.2	OPT f=1429 TT=59.831 T1=52.91	OPT f=1429 TT=59.541 T1=52.74	OPT f=1429 TT=95.713 T1=13.56	OPT f=1429 TT=87.794 T1=87.41	SAT (TO) f=1370 TT=2400.06 T1=1820.31	No data	OPT f=1429 TT=442.983 T1=56.46	OPT f=1429 TT=325.452 T1=6.4	SAT (TO) f=1429 TT=2400.12 T1=4.14	OPT f=1429 TT=1097.9 T1=1073.08	OPT f=1429 TT=675.224 T1=633.75	OPT f=1429 TT=186.388 T1=0.01	SAT (TO) f=1429 TT=2400.12 T1=83.51	OPT f=1429 TT=60.226 T1=53	OPT f=1429 TT=60.865 T1=53.63	SAT (TO) f=1368 TT=2400.16 T1=2103.81	SAT (TO) f=1361 TT=2520.13 T1=2445.83
Knapsack/ Knapsack-m1-s50/ Knapsack-50-200-17.xml	OPT f=992 TT=44.661 T1=0.02	SAT (TO) f=982 TT=2520.03 T1=2476.63	No data	No data	OPT f=992 TT=676.011 T1=83.91	OPT f=992 TT=294.165 T1=1.75	OPT f=992 TT=746.259 T1=358.53	OPT f=992 TT=726.091 T1=347.46	SAT (TO) f=976 TT=2520.05 T1=531.54	SAT (TO) f=976 TT=2520.11 T1=503.76	SAT (TO) f=992 TT=2520.12 T1=3.98	OPT f=992 TT=557.327 T1=529.11	OPT f=992 TT=412.345 T1=382.17	OPT f=992 TT=383.094 T1=0.11	SAT (TO) f=992 TT=2520.1 T1=47.34	OPT f=992 TT=44.661 T1=20.84	SAT (TO) f=992 TT=2520.04 T1=203.83	OPT f=992 TT=51.196 T1=6.12	OPT f=992 TT=59.871 T1=43.17	SAT (TO) f=969 TT=2400.09 T1=2173.94	No data	OPT f=992 TT=731.981 T1=65.34	OPT f=992 TT=765.796 T1=96.79	SAT (TO) f=992 TT=2400.14 T1=4.64	OPT f=992 TT=565.31 T1=536.79	OPT f=992 TT=414.247 T1=383.94	OPT f=992 TT=392.957 T1=0.02	SAT (TO) f=992 TT=2400.04 T1=77.93	OPT f=992 TT=45.493 T1=21.01	SAT (TO) f=992 TT=2400.07 T1=188.31	SAT (TO) f=982 TT=2400.12 T1=1149.67	SAT (TO) f=982 TT=2520.1 T1=1499.2
Knapsack/ Knapsack-m1-s50/ Knapsack-50-200-18.xml	OPT f=937 TT=13.006 T1=0.02	OPT f=937 TT=759.784 T1=741.76	No data	No data	OPT f=937 TT=126.215 T1=2.09	OPT f=937 TT=76.424 T1=1.91	OPT f=937 TT=379.529 T1=249.56	OPT f=937 TT=397.988 T1=263.56	SAT (TO) f=920 TT=2520.09 T1=612.71	SAT (TO) f=920 TT=2520.07 T1=622.2	OPT f=937 TT=1221.26 T1=3.83	OPT f=937 TT=122.959 T1=80.14	OPT f=937 TT=102.086 T1=97.1	OPT f=937 TT=48.613 T1=0.09	SAT (TO) f=937 TT=2520.03 T1=12.36	OPT f=937 TT=13.006 T1=10.48	SAT (TO) f=937 TT=2520.05 T1=245.02	OPT f=937 TT=27.815 T1=4.33	OPT f=937 TT=28.612 T1=26.6	OPT f=937 TT=742.709 T1=724.11	No data	OPT f=937 TT=139.699 T1=15.09	OPT f=937 TT=132.57 T1=4.52	OPT f=937 TT=1161.76 T1=4.04	OPT f=937 TT=125.506 T1=81.83	OPT f=937 TT=102.041 T1=96.99	OPT f=937 TT=49.395 T1=0.02	SAT (TO) f=937 TT=2400.1 T1=14.14	OPT f=937 TT=13.121 T1=10.43	SAT (TO) f=937 TT=2400.07 T1=252.32	? (TO) TT=2400.14	? (TO) TT=2520.05
Knapsack/ Knapsack-m1-s60/ Knapsack-60-250-03.xml	OPT f=1358 TT=148.35 T1=0.02	SAT (TO) f=1205 TT=2520.04 T1=2044.06	No data	No data	OPT f=1358 TT=407.396 T1=1.33	OPT f=1358 TT=711.945 T1=2.16	SAT (TO) f=1358 TT=2520.08 T1=1860.57	SAT (TO) f=1358 TT=2520.09 T1=1884.86	SAT (TO) f=1313 TT=2520.06 T1=1222.79	SAT (TO) f=1313 TT=2520.11 T1=1219.54	SAT (TO) f=1358 TT=2520.14 T1=3.99	SAT (TO) f=1273 TT=2519.84 T1=2434.4	SAT (TO) f=1343 TT=2519.85 T1=2137.44	OPT f=1358 TT=891.46 T1=0.09	SAT (TO) f=1358 TT=2520.03 T1=455.47	OPT f=1358 TT=148.35 T1=125.26	SAT (TO) f=1358 TT=2520.07 T1=243.1	OPT f=1358 TT=222.919 T1=26.59	OPT f=1358 TT=217.926 T1=200.3	SAT (TO) f=1205 TT=2400.04 T1=2325.78	No data	OPT f=1358 TT=1648.07 T1=4.4	OPT f=1358 TT=1691.75 T1=4.44	SAT (TO) f=1358 TT=2400.05 T1=3.94	? (TO) TT=2400.04	? (TO) TT=2400.02	OPT f=1358 TT=908.31 T1=0.02	SAT (TO) f=1358 TT=2400.07 T1=19.17	OPT f=1358 TT=148.914 T1=125.39	SAT (TO) f=1358 TT=2400.12 T1=212.59	SAT (TO) f=1274 TT=2400.11 T1=1261.17	SAT (TO) f=1274 TT=2520.08 T1=1592.54
Knapsack/ Knapsack-m1-s60/ Knapsack-60-250-05.xml	OPT f=1333 TT=95.4 T1=0.02	SAT (TO) f=1218 TT=2520.05 T1=2055.26	No data	No data	OPT f=1333 TT=223.662 T1=1.85	OPT f=1333 TT=427.071 T1=2.31	SAT (TO) f=1333 TT=2520.06 T1=1198.32	SAT (TO) f=1333 TT=2520.13 T1=1202.37	SAT (TO) f=1239 TT=2520.02 T1=117.44	SAT (TO) f=1239 TT=2520.05 T1=117.07	SAT (TO) f=1333 TT=2520.08 T1=3.74	OPT f=1333 TT=1011.12 T1=988.81	OPT f=1333 TT=1056.83 T1=953.25	OPT f=1333 TT=446.922 T1=0.12	SAT (TO) f=1333 TT=2520.1 T1=242.8	OPT f=1333 TT=95.4 T1=29.24	SAT (TO) f=1333 TT=2520.02 T1=29.99	OPT f=1333 TT=114.73 T1=8.43	OPT f=1333 TT=123.59 T1=61.05	SAT (TO) f=1218 TT=2400.12 T1=2098.48	No data	OPT f=1333 TT=838.026 T1=3.06	OPT f=1333 TT=795.877 T1=2.27	SAT (TO) f=1333 TT=2400.05 T1=3.92	OPT f=1333 TT=1022.98 T1=1000.56	OPT f=1333 TT=1064.27 T1=960.05	OPT f=1333 TT=455.707 T1=0.02	SAT (TO) f=1333 TT=2400.07 T1=17.95	OPT f=1333 TT=96.548 T1=29.63	SAT (TO) f=1333 TT=2400.09 T1=29.78	? (TO) TT=2400.09	? (TO) TT=2520.1
Knapsack/ Knapsack-m1-s60/ Knapsack-60-250-06.xml	OPT f=1134 TT=151.156 T1=0.02	SAT (TO) f=1047 TT=2520.06 T1=2240.8	No data	No data	OPT f=1134 TT=302.345 T1=1.59	OPT f=1134 TT=470.997 T1=5.52	SAT (TO) f=1132 TT=2520.06 T1=572.42	SAT (TO) f=1132 TT=2520.1 T1=620.22	SAT (TO) f=1080 TT=2520.06 T1=1488.73	SAT (TO) f=1080 TT=2520.1 T1=1479.84	SAT (TO) f=1134 TT=2520.11 T1=4	OPT f=1134 TT=1041.95 T1=961.66	OPT f=1134 TT=1225.46 T1=1136.6	OPT f=1134 TT=439.318 T1=0.08	SAT (TO) f=1134 TT=2520.07 T1=913.78	OPT f=1134 TT=153.419 T1=67.73	SAT (TO) f=1134 TT=2520.04 T1=434.78	OPT f=1134 TT=200.106 T1=15.69	OPT f=1134 TT=215.853 T1=121.99	SAT (TO) f=1047 TT=2400.07 T1=2222.93	No data	OPT f=1134 TT=871.098 T1=2.69	OPT f=1134 TT=988.774 T1=6.92	SAT (TO) f=1134 TT=2400.06 T1=4.23	OPT f=1134 TT=1059.67 T1=978.11	OPT f=1134 TT=1238.51 T1=1148.74	OPT f=1134 TT=451.975 T1=0.02	SAT (TO) f=1134 TT=2400.05 T1=446.05	OPT f=1134 TT=151.156 T1=66.12	SAT (TO) f=1134 TT=2400.07 T1=1117.21	? (TO) TT=2400.48	? (TO) TT=2520.28
Knapsack/ Knapsack-m1-s60/ Knapsack-60-250-07.xml	OPT f=1058 TT=171.065 T1=0.01	SAT (TO) f=974 TT=2520.09 T1=2429.15	No data	No data	OPT f=1058 TT=286.037 T1=3.14	OPT f=1058 TT=511.643 T1=2.85	SAT (TO) f=1058 TT=2520.09 T1=1276.06	SAT (TO) f=1058 TT=2520.11 T1=1235.04	SAT (TO) f=1027 TT=2520.06 T1=1867.84	SAT (TO) f=1027 TT=2520.08 T1=1973.36	SAT (TO) f=1058 TT=2520.05 T1=4.39	OPT f=1058 TT=1530.07 T1=1329.28	OPT f=1058 TT=730.717 T1=585.39	OPT f=1058 TT=434.711 T1=0.1	SAT (TO) f=1058 TT=2520.12 T1=98.17	OPT f=1058 TT=171.254 T1=76.54	SAT (TO) f=1058 TT=2520.11 T1=319.92	OPT f=1058 TT=368.172 T1=14.08	OPT f=1058 TT=357.684 T1=98.33	SAT (TO) f=974 TT=2400.04 T1=2334.81	No data	OPT f=1058 TT=934.713 T1=3.57	OPT f=1058 TT=1173.38 T1=51.62	SAT (TO) f=1058 TT=2400.13 T1=4.41	OPT f=1058 TT=1553.58 T1=1350.03	OPT f=1058 TT=744.189 T1=596.39	OPT f=1058 TT=445.488 T1=0.01	SAT (TO) f=1058 TT=2400.11 T1=296.07	OPT f=1058 TT=171.065 T1=75.7	SAT (TO) f=1058 TT=2400.06 T1=876	? (TO) TT=2400.1	? (TO) TT=2520.09
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	BTD 2017-07-25 (complete)	BTD 2017-08-10 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: BTD 2017-06-30 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
Knapsack/ Knapsack-m1-s60/ Knapsack-60-250-13.xml	OPT f=1477 TT=86.187 T1=0.04	SAT (TO) f=1326 TT=2520.07 T1=2351.78	No data	No data	OPT f=1477 TT=289.519 T1=9.32	OPT f=1477 TT=374.267 T1=14.56	SAT (TO) f=1477 TT=2520.08 T1=926.43	SAT (TO) f=1477 TT=2520.07 T1=948.99	SAT (TO) f=1325 TT=2520.05 T1=530.84	SAT (TO) f=1325 TT=2520.09 T1=557.84	SAT (TO) f=1477 TT=2520.14 T1=5.22	SAT (TO) f=1467 TT=2519.99 T1=2318.31	OPT f=1477 TT=1682.34 T1=1220.36	OPT f=1477 TT=428.576 T1=0.11	SAT (TO) f=1477 TT=2520.06 T1=12.25	OPT f=1477 TT=86.187 T1=49.11	SAT (TO) f=1477 TT=2520.08 T1=102.36	OPT f=1477 TT=95.072 T1=9.05	OPT f=1477 TT=93.93 T1=64.87	SAT (TO) f=1326 TT=2400.06 T1=2296.15	No data	OPT f=1477 TT=714.679 T1=3.85	OPT f=1477 TT=1378.49 T1=167.36	SAT (TO) f=1477 TT=2400.07 T1=5.21	? (TO) TT=2400.05	OPT f=1477 TT=1690.44 T1=1226.62	OPT f=1477 TT=438.166 T1=0.04	SAT (TO) f=1477 TT=2400.06 T1=130.24	OPT f=1477 TT=87.04 T1=49.39	SAT (TO) f=1477 TT=2400.05 T1=51.09	? (TO) TT=2400.13	? (TO) TT=2520.25
Knapsack/ Knapsack-m1-s60/ Knapsack-60-250-17.xml	OPT f=1220 TT=552.088 T1=0.02	SAT (TO) f=1082 TT=2520.11 T1=2449.23	No data	No data	OPT f=1220 TT=613.4 T1=1.29	OPT f=1220 TT=1146.38 T1=1.25	SAT (TO) f=1191 TT=2520.1 T1=1848.19	SAT (TO) f=1191 TT=2520.03 T1=1843.81	SAT (TO) f=1110 TT=2520.05 T1=2063.13	SAT (TO) f=1110 TT=2520.02 T1=1986.22	SAT (TO) f=1220 TT=2520.14 T1=4.34	SAT (TO) f=1152 TT=2520 T1=1902.15	OPT f=1220 TT=2379.02 T1=2281.43	OPT f=1220 TT=1922.27 T1=0.06	SAT (TO) f=1220 TT=2520.11 T1=313.88	OPT f=1220 TT=576.844 T1=143.49	SAT (TO) f=1220 TT=2520.08 T1=271.4	OPT f=1220 TT=552.088 T1=28.98	OPT f=1220 TT=580.084 T1=262.56	SAT (TO) f=1097 TT=2400.07 T1=2223.22	No data	SAT (TO) f=1220 TT=2400.19 T1=2.58	SAT (TO) f=1220 TT=2400.07 T1=3.21	SAT (TO) f=1220 TT=2400.09 T1=4.36	? (TO) TT=2400.04	OPT f=1220 TT=2386.33 T1=2288.3	OPT f=1220 TT=1958.37 T1=0.02	SAT (TO) f=1220 TT=2400.12 T1=152.37	OPT f=1220 TT=593.152 T1=146.61	SAT (TO) f=1220 TT=2400.03 T1=241.69	SAT (TO) f=1121 TT=2400.23 T1=2305.21	SAT (TO) f=1121 TT=2520.19 T1=2475.49
Knights/ Knights-m1-s1/ Knights-012-05.xml	UNSAT TT=0.061	UNSAT TT=1.44	UNSAT TT=0.131	UNSAT TT=0.129	UNSAT TT=2.833	UNSAT TT=2.981	UNSAT TT=1.883	UNSAT TT=1.949	UNSAT TT=2.251	UNSAT TT=1.796	UNSAT TT=7.777	UNSAT TT=0.061	UNSAT TT=0.066	UNSAT TT=12.769	No data	UNSAT TT=1.539	No data	UNSAT TT=2.54	UNSAT TT=2.623	UNSAT TT=1.657	UNSAT TT=0.178	UNSAT TT=3.07	UNSAT TT=4.228	UNSAT TT=8.858	UNSAT TT=0.103	UNSAT TT=0.105	UNSAT TT=13.229	No data	UNSAT TT=1.617	No data	UNSAT TT=1132.88	UNSAT TT=1118.62
Knights/ Knights-m1-s1/ Knights-025-05.xml	UNSAT TT=0.768	UNSAT TT=4.313	UNSAT TT=4.647	UNSAT TT=4.664	UNSAT TT=22.352	UNSAT TT=22.233	UNSAT TT=5.171	UNSAT TT=5.172	UNSAT TT=6.577	UNSAT TT=6.522	UNSAT TT=11.724	UNSAT TT=0.768	UNSAT TT=0.859	UNSAT TT=100.102	No data	UNSAT TT=3.044	No data	UNSAT TT=10.19	UNSAT TT=10.321	UNSAT TT=4.515	UNSAT TT=4.662	UNSAT TT=17.049	UNSAT TT=15.306	UNSAT TT=13.132	UNSAT TT=0.836	UNSAT TT=0.884	UNSAT TT=105.915	No data	UNSAT TT=3.327	No data	? (TO) TT=2400.13	? (TO) TT=2521.81
Knights/ Knights-m1-s1/ Knights-025-09.xml	UNSAT TT=4.367	UNSAT TT=24.762	UNSAT TT=16.461	UNSAT TT=16.742	UNSAT TT=45.887	UNSAT TT=46.78	UNSAT TT=9.21	UNSAT TT=9.137	UNSAT TT=10.188	UNSAT TT=10.795	UNSAT TT=13.644	UNSAT TT=180.653	UNSAT TT=198.73	? (TO) TT=2519.3	No data	UNSAT TT=4.367	No data	UNSAT TT=15.089	UNSAT TT=14.991	UNSAT TT=22.976	UNSAT TT=16.442	UNSAT TT=25.539	UNSAT TT=28.738	UNSAT TT=15.477	UNSAT TT=180.522	UNSAT TT=197.046	? (TO) TT=2400.05	No data	UNSAT TT=4.422	No data	? (TO) TT=2400.18	? (TO) TT=2522.95
Knights/ Knights-m1-s1/ Knights-050-09.xml	UNSAT TT=309.783	UNSAT TT=309.783	UNSAT TT=554.36	UNSAT TT=554.056	? (TO) TT=19649.801	? (TO) TT=19684.199	? (TO) TT=2520.08	? (TO) TT=2520.09	UNSAT TT=66.872	? (TO) TT=2520.06	? (TO) TT=2520.57	? (TO) TT=2519.83	? (TO) TT=2520.04	? (TO) TT=2519.39	No data	? (TO) TT=2520.12	No data	? (TO) TT=20020	? (TO) TT=20006	UNSAT TT=331.344	UNSAT TT=552.636	? (TO) TT=2400.12	? (TO) TT=2400.53	? (TO) TT=2401.02	? (TO) TT=2400.04	? (TO) TT=2400.02	? (TO) TT=2400.01	No data	? (TO) TT=2400.08	No data	? (TO) TT=2416.35	? (problem) TT=1321.34
Knights/ Knights-m1-s1/ Knights-080-25.xml		? (TO) TT=2520.11	? (TO) TT=2519.96	? (TO) TT=2519.79	? (TO) TT=19833.5	? (TO) TT=19885.9	? (TO) TT=2520.03	? (TO) TT=2520.1	UNSAT TT=7.899	? (TO) TT=2520.11	? (TO) TT=2520.7	? (TO) TT=2519.68	Signal TT=44.082	? (TO) TT=2519.83	No data	? (TO) TT=2520.03	No data	? (TO) TT=19995.4	? (TO) TT=20006	? (TO) TT=2400.04	? (TO) TT=2400.03	? (TO) TT=2400.7	? (TO) TT=2400.37	? (TO) TT=2401.44	? (TO) TT=2400.02	Signal TT=51.557	? (TO) TT=2400.06	No data	? (TO) TT=2400.09	No data	? (TO) TT=2416.13	? TT=1299.09
Knights/ Knights-m1-s1/ Knights-100-05.xml	UNSAT TT=528.938	UNSAT TT=542.022	? (TO) TT=2519.99	? (TO) TT=2519.82	UNSAT TT=4977.34	UNSAT TT=4205.04	? (TO) TT=2520.09	? (TO) TT=2520.03	UNSAT TT=15.099	? (TO) TT=2520.02	? (TO) TT=2520.68	UNSAT TT=599.914	UNSAT TT=675.3	? (TO) TT=2519.87	No data	? (TO) TT=2520.03	No data	? (TO) TT=20031.199	? (TO) TT=20037.5	UNSAT TT=528.938	? (TO) TT=2400.08	? (TO) TT=2400.36	? (TO) TT=2400.39	? (TO) TT=2401.36	UNSAT TT=600.814	UNSAT TT=676.375	? (TO) TT=2400.1	No data	? (TO) TT=2400.06	No data	? (TO) TT=2416.41	? TT=1630.27
KnightTour/ KnightTour-ext-s1/ KnightTour-04-ext02.xml	UNSAT TT=0.005	UNSAT TT=1.071	? (NS) TT=0.006	? (NS) TT=0.006	UNSAT TT=1.162	UNSAT TT=1.193	UNSAT TT=0.801	UNSAT TT=0.814	UNSAT TT=0.895	UNSAT TT=0.913	UNSAT TT=6.548	UNSAT TT=0.005	UNSAT TT=0.005	UNSAT TT=0.005	No data	UNSAT TT=1.115	No data	UNSAT TT=1.132	UNSAT TT=1.129	UNSAT TT=1.208	? (NS) TT=0.008	UNSAT TT=1.279	UNSAT TT=1.373	UNSAT TT=7.768	UNSAT TT=0.006	UNSAT TT=0.009	UNSAT TT=0.006	No data	UNSAT TT=1.172	No data	UNSAT TT=2.106	UNSAT TT=1.871
KnightTour/ KnightTour-ext-s1/ KnightTour-10-ext02.xml	SAT TT=34.092	SAT TT=35.133	? (NS) TT=0.039	? (NS) TT=0.04	SAT TT=691.34	SAT TT=689.642	SAT TT=78.835	SAT TT=78.23	SAT TT=224.364	SAT TT=220.602	SAT TT=104.384	? (TO) TT=2520.06	? (TO) TT=2520.1	SAT TT=587.022	No data	? (TO) TT=2520.07	No data	? (TO) TT=19872.5	? (TO) TT=19857.801	SAT TT=34.092	? (NS) TT=0.052	SAT TT=1157.54	SAT TT=1135.98	SAT TT=106.13	? (TO) TT=2400.09	? (TO) TT=2400.05	SAT TT=199.796	No data	? (TO) TT=2400.09	No data	? (TO) TT=2400.11	? (TO) TT=2520.1
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	BTD 2017-07-25 (complete)	BTD 2017-08-10 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: BTD 2017-06-30 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
KnightTour/ KnightTour-ext-s1/ KnightTour-10-ext06.xml	SAT TT=19.826	SAT TT=19.826	? (NS) TT=20.889	? (NS) TT=20.566	SAT TT=527.357	SAT TT=517.359	SAT TT=54.254	SAT TT=54.75	SAT TT=91.73	SAT TT=92.953	SAT TT=2304.1	? (TO) TT=2520.08	? (TO) TT=2519.81	SAT TT=672.305	No data	SAT TT=1476.79	No data	SAT (TO) TT=19906.1	SAT TT=521.618	SAT TT=29.694	? (NS) TT=21.008	SAT TT=538.799	SAT TT=554.559	? (TO) TT=2405.01	? (TO) TT=2400.05	? (TO) TT=2400.07	SAT TT=206.857	No data	SAT TT=1619.18	No data	? TT=849.924	? TT=420.241
KnightTour/ KnightTour-ext-s1/ KnightTour-14-ext03.xml	SAT TT=19.514	SAT TT=53.175	? (NS) TT=1.205	? (NS) TT=1.215	SAT TT=141.211	SAT TT=142.206	SAT TT=19.28	SAT TT=19.514	SAT TT=329.994	SAT TT=339.341	? (TO) TT=2521.77	? (TO) TT=2519.76	? (TO) TT=2520.03	? (TO) TT=2519.95	No data	? (TO) TT=2520.09	No data	SAT (TO) TT=19893.199	SAT TT=31.246	SAT TT=53.991	? (NS) TT=1.224	SAT TT=82.171	SAT TT=78.236	? (TO) TT=2403.52	? (TO) TT=2400.05	? (TO) TT=2400.03	SAT TT=382.167	No data	? (TO) TT=2400.1	No data	? TT=1045.34	? TT=372.646
KnightTour/ KnightTour-ext-s1/ KnightTour-15-ext06.xml	UNSAT TT=17.343	? (problem) TT=72.425	? (MO) TT=230.674	? (MO) TT=226.385	? TT=4931.49	? TT=6173.85	? TT=397.178	? TT=359.053	? TT=378.598	? TT=390.81	UNSAT TT=208.476	UNSAT TT=17.343	UNSAT TT=17.746	UNSAT TT=36.02	No data	UNSAT TT=105.945	No data	UNSAT TT=158.487	UNSAT TT=150.894	? (problem) TT=170.527	? (MO) TT=230.186	? TT=514.083	? TT=532.653	UNSAT TT=280.075	UNSAT TT=17.48	UNSAT TT=17.889	UNSAT TT=35.726	No data	UNSAT TT=216.472	No data	? (TO) TT=2415.87	? TT=1925.06
KnightTour/ KnightTour-ext-s1/ KnightTour-16-ext02.xml		? (TO) TT=2520.1	? (NS) TT=0.499	? (NS) TT=0.504	? (TO) TT=19819	? (TO) TT=19782.4	? (TO) TT=2520.11	? (TO) TT=2520.02	? (TO) TT=2520.07	? (TO) TT=2520.05	? (TO) TT=2520.88	? (TO) TT=2520.04	? (TO) TT=2520	? (TO) TT=2519.95	No data	? (TO) TT=2520.05	No data	? (TO) TT=19937.5	? (TO) TT=19924.9	? (TO) TT=2400.09	? (NS) TT=0.54	? (TO) TT=2400.12	? (TO) TT=2400.4	? (TO) TT=2401.66	? (TO) TT=2400.09	? (TO) TT=2400.07	? (TO) TT=2400.09	No data	? (TO) TT=2400.03	No data	? (TO) TT=2410.01	? (TO) TT=2527.93
KnightTour/ KnightTour-int-s1/ KnightTour-06-int.xml	SAT TT=2.162	SAT TT=9.75	? (NS) TT=0.029	? (NS) TT=0.029	SAT TT=7.36	SAT TT=7.753	SAT TT=2.172	SAT TT=2.162	SAT TT=10.142	SAT TT=9.7	SAT TT=11.689	SAT TT=3.536	SAT TT=4.108	SAT TT=210.834	No data	SAT TT=119.411	No data	SAT TT=1546.48	SAT TT=38.622	SAT TT=9.36	? (NS) TT=0.038	SAT TT=10.678	SAT TT=9.05	SAT TT=14.743	SAT TT=3.572	SAT TT=4.166	SAT TT=651.616	No data	SAT TT=122.824	No data	SAT TT=20.907	SAT TT=21.148
KnightTour/ KnightTour-int-s1/ KnightTour-07-int.xml	UNSAT TT=0.063	UNSAT TT=1.418	? (NS) TT=0.038	? (NS) TT=0.039	UNSAT TT=3.656	UNSAT TT=3.539	UNSAT TT=1.431	UNSAT TT=1.626	UNSAT TT=1.557	UNSAT TT=1.582	UNSAT TT=8.905	UNSAT TT=0.063	UNSAT TT=0.07	? (TO) TT=2520.07	No data	UNSAT TT=1.706	No data	UNSAT TT=1.777	UNSAT TT=1.878	UNSAT TT=1.642	? (NS) TT=0.064	UNSAT TT=3.582	UNSAT TT=3.78	UNSAT TT=11.524	UNSAT TT=0.088	UNSAT TT=0.102	? (TO) TT=2400.05	No data	UNSAT TT=1.774	No data	UNSAT TT=128.963	UNSAT TT=127.824
KnightTour/ KnightTour-int-s1/ KnightTour-10-int.xml	SAT TT=19.046	SAT TT=46.121	? (NS) TT=0.076	? (NS) TT=0.076	SAT TT=118.301	SAT TT=118.21	SAT TT=18.67	SAT TT=19.046	SAT TT=24.056	SAT TT=23.421	SAT TT=1423.37	? (TO) TT=2520.07	? (TO) TT=2520.07	? (TO) TT=2520.01	No data	? (TO) TT=2520.05	No data	? (TO) TT=19867.801	? (TO) TT=19875.5	SAT TT=48.511	? (NS) TT=0.09	SAT TT=195.463	SAT TT=191.772	SAT TT=1427.26	? (TO) TT=2400.04	? (TO) TT=2400.06	? (TO) TT=2400.05	No data	? (TO) TT=2400.09	No data	? (TO) TT=2400.25	? (TO) TT=2520.19
KnightTour/ KnightTour-int-s1/ KnightTour-11-int.xml	UNSAT TT=0.199	UNSAT TT=2.138	? (NS) TT=0.093	? (NS) TT=0.094	UNSAT TT=9.195	UNSAT TT=9.124	UNSAT TT=3.132	UNSAT TT=3.251	UNSAT TT=3.484	UNSAT TT=3.45	UNSAT TT=13.721	UNSAT TT=0.199	UNSAT TT=0.27	? (TO) TT=2519.79	No data	UNSAT TT=3.023	No data	UNSAT TT=3.138	UNSAT TT=3.325	UNSAT TT=2.533	? (NS) TT=0.142	UNSAT TT=10.405	UNSAT TT=9.362	UNSAT TT=16.907	UNSAT TT=0.235	UNSAT TT=0.306	? (TO) TT=2400.03	No data	UNSAT TT=3.026	No data	? (TO) TT=2400.51	? (TO) TT=2520.27
KnightTour/ KnightTour-int-s1/ KnightTour-13-int.xml	UNSAT TT=2.732	UNSAT TT=2.732	? (NS) TT=0.137	? (NS) TT=0.138	UNSAT TT=19.619	UNSAT TT=20.372	UNSAT TT=4.344	UNSAT TT=4.409	UNSAT TT=4.695	UNSAT TT=4.751	UNSAT TT=16.317	? (TO) TT=2520.1	? (TO) TT=2519.99	? (TO) TT=2519.79	No data	UNSAT TT=4.901	No data	UNSAT TT=4.869	UNSAT TT=5.053	UNSAT TT=3.115	? (NS) TT=0.158	UNSAT TT=20.466	UNSAT TT=20.5	UNSAT TT=21.158	? (TO) TT=2400.04	? (TO) TT=2400.08	? (TO) TT=2400.03	No data	UNSAT TT=4.846	No data	? (TO) TT=2400.29	? (TO) TT=2520.77
KnightTour/ KnightTour-int-s1/ KnightTour-14-int.xml	SAT TT=3953.09	? (TO) TT=2520.11	? (NS) TT=0.164	? (NS) TT=0.164	? (TO) TT=19667.4	? (TO) TT=19670	? (TO) TT=2520.03	? (TO) TT=2520.04	? (TO) TT=2520.08	? (TO) TT=2520.08	? (TO) TT=2520.91	? (TO) TT=2520.03	? (TO) TT=2520.07	? (TO) TT=2519.74	No data	? (TO) TT=2520.04	No data	SAT (TO) TT=19853.801	SAT TT=3953.09	? (TO) TT=2400.07	? (NS) TT=0.219	? (TO) TT=2400.42	? (TO) TT=2400.38	? (TO) TT=2402.21	? (TO) TT=2400.1	? (TO) TT=2400.03	? (TO) TT=2400.02	No data	? (TO) TT=2400.09	No data	? (TO) TT=2400.29	? (TO) TT=2520.31
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	BTD 2017-07-25 (complete)	BTD 2017-08-10 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: BTD 2017-06-30 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
Langford/ Langford-m1-k2/ Langford-2-18.xml		? (TO) TT=2520.03	? (TO) TT=2519.88	? (TO) TT=2519.69	? (TO) TT=20029.5	? (TO) TT=20013.301	? (TO) TT=2520.09	? (TO) TT=2520.08	? (TO) TT=2520.05	? (TO) TT=2521.93	? (TO) TT=2520.5	? (TO) TT=2520.02	? (TO) TT=2519.89	? (TO) TT=2520.08	No data	? (TO) TT=2520.07	No data	? (TO) TT=19842.9	? (TO) TT=19850.801	? (TO) TT=2400.12	? TT=2400	? (TO) TT=2400.15	? (TO) TT=2400.81	? (TO) TT=2401.06	? (TO) TT=2400.04	? (TO) TT=2400.02	? (TO) TT=2400.03	No data	? (TO) TT=2400.06	No data	? (TO) TT=2400.13	? (TO) TT=2520.08
Langford/ Langford-m1-k3/ Langford-3-05.xml	UNSAT TT=0.008	UNSAT TT=1.028	UNSAT TT=0.008	UNSAT TT=0.008	UNSAT TT=1.055	UNSAT TT=1.035	UNSAT TT=0.839	UNSAT TT=0.832	UNSAT TT=0.932	UNSAT TT=0.917	UNSAT TT=6.359	UNSAT TT=0.016	UNSAT TT=0.017	UNSAT TT=0.022	No data	UNSAT TT=1.073	No data	UNSAT TT=1.107	UNSAT TT=1.125	UNSAT TT=1.179	UNSAT TT=0.012	UNSAT TT=1.206	UNSAT TT=1.194	UNSAT TT=7.502	UNSAT TT=0.024	UNSAT TT=0.029	UNSAT TT=0.035	No data	UNSAT TT=1.088	No data	UNSAT TT=1.2	UNSAT TT=0.937
Langford/ Langford-m1-k3/ Langford-3-70.xml		? (TO) TT=2520.09	? (TO) TT=2520.04	? (TO) TT=2519.82	? (TO) TT=19951.199	? (TO) TT=19960.5	? (TO) TT=2520.09	? (TO) TT=2520.09	? (TO) TT=2520.04	? (TO) TT=2520.1	? (TO) TT=2520.57	? (TO) TT=2519.97	? (TO) TT=2520.03	? (TO) TT=2520.07	No data	? (TO) TT=2520.08	No data	? (TO) TT=19835.1	? (TO) TT=19852.801	? (TO) TT=2400.08	? (TO) TT=2400.06	? (TO) TT=2400.33	? (TO) TT=2400.04	? (TO) TT=2401.16	? (TO) TT=2400.09	? (TO) TT=2400.07	? (TO) TT=2400.1	No data	? (TO) TT=2400.08	No data	? (TO) TT=2400.18	? (TO) TT=2520.12
Langford/ Langford-m1-k4/ Langford-4-04.xml	UNSAT TT=0.009	UNSAT TT=1.029	UNSAT TT=0.009	UNSAT TT=0.009	UNSAT TT=1.039	UNSAT TT=1.037	UNSAT TT=0.831	UNSAT TT=0.819	UNSAT TT=0.888	UNSAT TT=0.888	UNSAT TT=6.196	UNSAT TT=0.017	UNSAT TT=0.018	UNSAT TT=0.026	No data	UNSAT TT=1.066	No data	UNSAT TT=1.083	UNSAT TT=1.088	UNSAT TT=1.289	UNSAT TT=0.017	UNSAT TT=1.2	UNSAT TT=1.155	UNSAT TT=7.44	UNSAT TT=0.03	UNSAT TT=0.024	UNSAT TT=0.043	No data	UNSAT TT=1.092	No data	UNSAT TT=0.79	UNSAT TT=0.689
Langford/ Langford-m1-k4/ Langford-4-05.xml	UNSAT TT=0.012	UNSAT TT=1.06	UNSAT TT=0.012	UNSAT TT=0.012	UNSAT TT=1.097	UNSAT TT=1.102	UNSAT TT=0.839	UNSAT TT=0.841	UNSAT TT=0.927	UNSAT TT=0.935	UNSAT TT=6.238	UNSAT TT=0.023	UNSAT TT=0.021	UNSAT TT=0.032	No data	UNSAT TT=1.079	No data	UNSAT TT=1.118	UNSAT TT=1.149	UNSAT TT=1.274	UNSAT TT=0.022	UNSAT TT=1.438	UNSAT TT=1.202	UNSAT TT=7.269	UNSAT TT=0.039	UNSAT TT=0.04	UNSAT TT=0.054	No data	UNSAT TT=1.16	No data	UNSAT TT=1.333	UNSAT TT=1.034
Langford/ Langford-m1-k4/ Langford-4-35.xml	UNSAT TT=17.045	? (TO) TT=2520.06	? (TO) TT=2519.71	? (TO) TT=2519.84	? (TO) TT=19937.6	? (TO) TT=19949.801	? (TO) TT=2520.04	? (TO) TT=2520.11	UNSAT TT=17.85	UNSAT TT=17.045	? (TO) TT=2520.53	? (TO) TT=2519.97	? (TO) TT=2520.04	? (TO) TT=2519.97	No data	? (TO) TT=2520.06	No data	? (TO) TT=19853	? (TO) TT=19835.801	? (TO) TT=2400.07	? (TO) TT=2400.03	? (TO) TT=2400.67	? (TO) TT=2400.04	? (TO) TT=2401.02	? (TO) TT=2400.06	? (TO) TT=2400.01	? (TO) TT=2400.04	No data	? (TO) TT=2400.12	No data	? (TO) TT=2400.19	? (TO) TT=2520.16
Langford/ Langford-m2-s1/ LangfordBin-16.xml	SAT TT=0.919	? (TO) TT=2520.11	? (TO) TT=2519.57	? (TO) TT=2519.72	SAT TT=1.728	SAT TT=1.604	SAT TT=0.97	SAT TT=0.973	SAT TT=1.351	SAT TT=1.342	? (TO) TT=2520.53	? (TO) TT=2519.85	? (TO) TT=2519.69	SAT TT=0.919	No data	SAT TT=1.23	No data	SAT (TO) TT=19833.6	SAT TT=4.882	? (TO) TT=2400.07	? TT=2400	SAT TT=1.662	SAT TT=1.598	? (TO) TT=2401.09	? (TO) TT=2400.01	? (TO) TT=2400.1	SAT TT=0.974	No data	SAT TT=1.26	No data	SAT TT=6.527	SAT TT=5.828
Langford/ Langford-m2-s1/ LangfordBin-18.xml		? (TO) TT=2520.08	? (TO) TT=2519.69	? (TO) TT=2519.67	? (TO) TT=20075.301	? (TO) TT=20068.1	? (TO) TT=2520.1	? (TO) TT=2520.06	? (TO) TT=2520.1	? (TO) TT=2520.08	? (TO) TT=2520.53	? (TO) TT=2519.87	? (TO) TT=2519.72	? (TO) TT=2519.89	No data	? (TO) TT=2520.04	No data	? (TO) TT=19844.6	? (TO) TT=19845.199	? (TO) TT=2400.05	? TT=2400	? (TO) TT=2400.67	? (TO) TT=2400.05	? (TO) TT=2401.28	? (TO) TT=2400.11	? (TO) TT=2400.08	? (TO) TT=2400.03	No data	? (TO) TT=2400.04	No data	? (TO) TT=2400.36	? (TO) TT=2520.25
Langford/ Langford-m2-s1/ LangfordBin-19.xml	SAT TT=0.439	? (TO) TT=2520.02	? (TO) TT=2519.75	? (TO) TT=2519.7	SAT TT=1.948	SAT TT=1.847	SAT TT=0.945	SAT TT=0.97	SAT TT=1.345	SAT TT=1.357	? (TO) TT=2520.49	? (TO) TT=2519.75	? (TO) TT=2520.01	SAT TT=0.439	No data	SAT TT=1.697	No data	SAT (TO) TT=19839.5	SAT TT=5.926	? (TO) TT=2400.06	? TT=2400	SAT TT=1.975	SAT TT=2.076	? (TO) TT=2401.25	? (TO) TT=2400.1	? (TO) TT=2400.07	SAT TT=25.243	No data	SAT TT=1.945	No data	SAT TT=11.88	SAT TT=13.667
Langford/ Langford-m2-s1/ LangfordBin-30.xml		? (TO) TT=2520.08	? (TO) TT=2519.76	? (TO) TT=2519.83	? (TO) TT=20051.699	? (TO) TT=20049.1	? (TO) TT=2520.09	? (TO) TT=2520.06	? (TO) TT=2520.06	? (TO) TT=2520.11	? (TO) TT=2520.52	? (TO) TT=2520.04	? (TO) TT=2519.74	? (TO) TT=2519.98	No data	? (TO) TT=2520.03	No data	? (TO) TT=19852.9	? (TO) TT=19851.301	? (TO) TT=2400.03	? TT=2400	? (TO) TT=2400.23	? (TO) TT=2400.25	? (TO) TT=2401.13	? (TO) TT=2400.07	? (TO) TT=2400.08	? (TO) TT=2400.06	No data	? (TO) TT=2400.03	No data	? (TO) TT=2400.18	? (TO) TT=2520.43
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	BTD 2017-07-25 (complete)	BTD 2017-08-10 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: BTD 2017-06-30 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
Langford/ Langford-m2-s1/ LangfordBin-45.xml		? (TO) TT=2520.08	? (TO) TT=2519.85	? (TO) TT=2519.82	? (TO) TT=19996.699	? (TO) TT=20000.699	? (TO) TT=2520.03	? (TO) TT=2520.05	? (TO) TT=2520.06	? (TO) TT=2520.78	? (TO) TT=2520.57	? (TO) TT=2519.63	? (TO) TT=2519.86	? (TO) TT=2519.71	No data	? (TO) TT=2520.1	No data	? (TO) TT=19862	? (TO) TT=19863.199	? (TO) TT=2400.04	? TT=2400.01	? (TO) TT=2400.27	? (TO) TT=2400.19	? (TO) TT=2401.22	? (TO) TT=2400.02	? (TO) TT=2400.03	? (TO) TT=2400.02	No data	? (TO) TT=2400.08	No data	? (TO) TT=2400.09	? (TO) TT=2520.18
Langford/ Langford-m2-s1/ LangfordBin-90.xml		? (TO) TT=2520.09	? (TO) TT=2519.53	? (TO) TT=2519.81	? (TO) TT=19796.301	? (TO) TT=19629.801	? (TO) TT=2520.04	? (TO) TT=2520.1	? (TO) TT=2520.08	? (TO) TT=2520.12	? (TO) TT=2520.92	? (TO) TT=2520.1	? (TO) TT=2519.96	? (TO) TT=2519.78	No data	? TT=2519.94	No data	? (TO) TT=19858.4	? (TO) TT=19862.801	? (TO) TT=2400.1	? (TO) TT=2400.01	? (TO) TT=2400.41	? (TO) TT=2400.72	? (TO) TT=2401.61	? (TO) TT=2400.05	? (TO) TT=2400.05	? (TO) TT=2400.01	No data	? (TO) TT=2400.1	No data	? (TO) TT=2400.23	? (TO) TT=2520.11
LatinSquare/ LatinSquare-m1-gp/ qwh-o30-h374-13.xml	SAT TT=2.548	SAT TT=26.372	? (NS) TT=0.026	? (NS) TT=0.026	SAT TT=631.839	SAT TT=712.675	SAT TT=303.565	SAT TT=305.892	SAT TT=195.605	SAT TT=199.186	? (TO) TT=2520.56	? (TO) TT=2520.01	? (TO) TT=2519.84	? (TO) TT=2520.01	No data	SAT TT=2.548	No data	SAT (TO) TT=19863.301	SAT (TO) TT=7576.31	SAT TT=26.619	? (NS) TT=0.041	SAT TT=1277.89	SAT TT=1276.27	? (TO) TT=2401.21	? (TO) TT=2400.1	? (TO) TT=2400.06	? (TO) TT=2400.08	No data	SAT TT=2.918	No data	SAT TT=1502.27	SAT TT=1500.34
LatinSquare/ LatinSquare-m1-gp/ qwh-o30-h374-15.xml	SAT TT=7.118	SAT TT=9.248	? (NS) TT=0.025	? (NS) TT=0.026	SAT TT=2917.45	SAT TT=1279.22	SAT TT=417.593	SAT TT=418.7	? (TO) TT=2520.04	? (TO) TT=2520.06	? (TO) TT=2520.53	? (TO) TT=2520.01	? (TO) TT=2520.03	? (TO) TT=2519.22	No data	SAT TT=7.118	No data	SAT (TO) TT=19863.1	SAT TT=17.008	SAT TT=9.791	? (NS) TT=0.045	SAT TT=2165.26	SAT TT=2362.53	? (TO) TT=2401.13	? (TO) TT=2400.08	? (TO) TT=2400.08	? (TO) TT=2400.1	No data	SAT TT=8.076	No data	SAT TT=1463.77	SAT TT=1499.26
LatinSquare/ LatinSquare-m1-gp/ qwh-o30-h375-04.xml	SAT TT=20.168	SAT TT=42.544	? (NS) TT=0.026	? (NS) TT=0.026	SAT TT=2478.04	SAT TT=1373.76	? (TO) TT=2520.11	? (TO) TT=2520.04	SAT TT=1883.87	SAT TT=1884.01	? (TO) TT=2520.57	? (TO) TT=2520.04	? (TO) TT=2520.06	? (TO) TT=2520	No data	SAT TT=20.168	No data	SAT (TO) TT=19844.199	SAT TT=26.402	SAT TT=44.218	? (NS) TT=0.045	SAT TT=2244.04	SAT TT=2284.49	? (TO) TT=2401.02	? (TO) TT=2400.01	? (TO) TT=2400.04	? (TO) TT=2400.07	No data	SAT TT=21.521	No data	SAT TT=1739.41	SAT TT=1771.94
LatinSquare/ LatinSquare-m1-gp/ qwh-o30-h375-12.xml	SAT TT=39.812	SAT TT=39.973	? (NS) TT=0.026	? (NS) TT=0.026	SAT TT=1386.7	SAT TT=7882.12	? (TO) TT=2520.04	? (TO) TT=2520.1	SAT TT=1516.96	SAT TT=1532.21	? (TO) TT=2520.54	? (TO) TT=2520.04	? (TO) TT=2519.71	? (TO) TT=2519.81	No data	? (TO) TT=2520.08	No data	SAT (TO) TT=19850.1	SAT TT=241.138	SAT TT=39.812	? (NS) TT=0.047	? (TO) TT=2400.37	? (TO) TT=2400.27	? (TO) TT=2401.16	? (TO) TT=2400.06	? (TO) TT=2400.01	? (TO) TT=2400.07	No data	? (TO) TT=2400.1	No data	? (TO) TT=2400.13	? (TO) TT=2520.17
LatinSquare/ LatinSquare-m1-gp/ qwh-o30-h375-17.xml	SAT TT=5.079	SAT TT=39.514	? (NS) TT=0.026	? (NS) TT=0.027	SAT TT=23.063	SAT TT=19.194	SAT TT=4.635	SAT TT=5.079	SAT TT=178.367	SAT TT=182.938	? (TO) TT=2520.49	? (TO) TT=2520.05	? (TO) TT=2519.89	? (TO) TT=2519.89	No data	SAT TT=16.155	No data	SAT (TO) TT=19856	SAT TT=13.34	SAT TT=40.251	? (NS) TT=0.046	SAT TT=32.816	SAT TT=37.623	? (TO) TT=2401.1	? (TO) TT=2400.08	? (TO) TT=2400.07	? (TO) TT=2400.04	No data	SAT TT=16.959	No data	SAT TT=230.307	SAT TT=230.103
LatinSquare/ LatinSquare-m1-gs/qwh-o035-h405.xml	SAT TT=12.051	? (TO) TT=2520.05	? (NS) TT=0.039	? (NS) TT=0.039	SAT TT=16.716	SAT TT=12.051	? (TO) TT=2520.11	? (TO) TT=2520.09	? (TO) TT=2520.1	? (TO) TT=2520.09	? (TO) TT=2520.55	? (TO) TT=2520.01	? (TO) TT=2519.98	? (TO) TT=2520.07	No data	SAT TT=487.381	No data	SAT TT=11687.2	SAT TT=132.448	? (TO) TT=2400.1	? (NS) TT=0.068	SAT TT=25.228	SAT TT=25.036	? (TO) TT=2401.1	? (TO) TT=2400.02	? (TO) TT=2400.09	? (TO) TT=2400.1	No data	SAT TT=501.806	No data	SAT TT=1014.99	SAT TT=1048.93
LatinSquare/ LatinSquare-xcsp2-bqwh15-106/ bqwh-15-106-35_X2.xml	SAT TT=0.008	SAT TT=1.056	SAT TT=0.01	SAT TT=0.011	SAT TT=1.503	SAT TT=1.59	SAT TT=0.901	SAT TT=0.927	SAT TT=1.078	SAT TT=1.081	SAT TT=6.13	SAT TT=0.008	SAT TT=0.008	SAT TT=0.009	No data	SAT TT=1.174	No data	SAT TT=15.366	SAT TT=4.693	SAT TT=1.252	SAT TT=0.017	SAT TT=1.663	SAT TT=1.685	SAT TT=7.133	SAT TT=0.014	SAT TT=0.014	SAT TT=0.016	No data	SAT TT=1.253	No data	SAT TT=0.707	SAT TT=0.649
LatinSquare/ LatinSquare-xcsp2-bqwh15-106/ bqwh-15-106-36_X2.xml	SAT TT=0.01	SAT TT=1.032	SAT TT=0.011	SAT TT=0.012	SAT TT=1.542	SAT TT=1.494	SAT TT=0.885	SAT TT=0.901	SAT TT=0.976	SAT TT=0.97	SAT TT=6.438	SAT TT=0.01	SAT TT=0.016	SAT TT=0.014	No data	SAT TT=1.22	No data	SAT TT=3.16	SAT TT=2.999	SAT TT=1.206	SAT TT=0.018	SAT TT=1.681	SAT TT=1.646	SAT TT=7.992	SAT TT=0.016	SAT TT=0.028	SAT TT=0.012	No data	SAT TT=1.294	No data	SAT TT=0.882	SAT TT=0.773
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	BTD 2017-07-25 (complete)	BTD 2017-08-10 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: BTD 2017-06-30 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
LatinSquare/ LatinSquare-xcsp2-bqwh18-141/ bqwh-18-141-09_X2.xml	SAT TT=0.029	SAT TT=1.084	SAT TT=0.028	SAT TT=0.029	SAT TT=1.632	SAT TT=1.629	SAT TT=0.934	SAT TT=0.929	SAT TT=1.008	SAT TT=1.005	SAT TT=6.953	SAT TT=0.05	SAT TT=0.014	SAT TT=0.031	No data	SAT TT=1.233	No data	SAT TT=3.516	SAT TT=3.251	SAT TT=1.262	SAT TT=0.053	SAT TT=1.913	SAT TT=1.81	SAT TT=8.474	SAT TT=0.065	SAT TT=0.023	SAT TT=0.025	No data	SAT TT=1.318	No data	SAT TT=1.091	SAT TT=0.926
LatinSquare/ LatinSquare-xcsp2-bqwh18-141/ bqwh-18-141-31_X2.xml	SAT TT=0.033	SAT TT=1.119	SAT TT=0.032	SAT TT=0.033	SAT TT=1.753	SAT TT=1.841	SAT TT=1.047	SAT TT=1.042	SAT TT=1.321	SAT TT=1.309	SAT TT=8.334	SAT TT=1.422	SAT TT=0.275	SAT TT=0.142	No data	SAT TT=1.282	No data	SAT TT=9.396	SAT TT=5.305	SAT TT=1.331	SAT TT=0.057	SAT TT=2.212	SAT TT=2.141	SAT TT=9.696	SAT TT=1.462	SAT TT=0.334	SAT TT=0.04	No data	SAT TT=1.342	No data	SAT TT=1.278	SAT TT=1.005
LatinSquare/ LatinSquare-xcsp2-bqwh18-141/ bqwh-18-141-83_X2.xml	SAT TT=0.053	SAT TT=1.107	SAT TT=0.053	SAT TT=0.053	SAT TT=1.727	SAT TT=1.605	SAT TT=0.919	SAT TT=0.951	SAT TT=0.998	SAT TT=0.996	SAT TT=8.224	SAT TT=0.077	SAT TT=0.064	SAT TT=0.121	No data	SAT TT=1.305	No data	SAT TT=4.044	SAT TT=3.57	SAT TT=1.274	SAT TT=0.088	SAT TT=1.867	SAT TT=1.938	SAT TT=9.559	SAT TT=0.121	SAT TT=0.105	SAT TT=0.078	No data	SAT TT=1.396	No data	SAT TT=1.084	SAT TT=0.94
LatinSquare/ LatinSquare-xcsp2-qwh10/ qwh-10-57-7_X2.xml	SAT TT=0.028	SAT TT=1.671	SAT TT=0.033	SAT TT=0.033	SAT TT=2.572	SAT TT=2.614	SAT TT=1.211	SAT TT=1.247	SAT TT=1.342	SAT TT=1.337	SAT TT=9.443	SAT TT=0.028	SAT TT=0.029	SAT TT=0.067	No data	SAT TT=1.698	No data	SAT TT=4.752	SAT TT=4.295	SAT TT=1.923	SAT TT=0.057	SAT TT=2.902	SAT TT=2.86	SAT TT=12.079	SAT TT=0.049	SAT TT=0.049	SAT TT=0.098	No data	SAT TT=1.887	No data	SAT TT=1.19	SAT TT=0.981
LowAutocorrelation/ LowAutocorrelation-m1-s1/ LowAutocorrelation-004.xml	OPT f=2 TT=0.014 T1=0.02	OPT f=2 TT=1.072 T1=0.65	No data	No data	OPT f=2 TT=1.139 T1=0.55	OPT f=2 TT=1.119 T1=0.54	OPT f=2 TT=0.862 T1=0.46	OPT f=2 TT=0.892 T1=0.58	OPT f=2 TT=0.964 T1=0.63	OPT f=2 TT=0.968 T1=0.66	OPT f=2 TT=6.364 T1=3.52	OPT f=2 TT=0.014 T1=0.07	OPT f=2 TT=0.016 T1=0.05	OPT f=2 TT=0.021 T1=0.1	SAT (TO) f=2 TT=2520.13 T1=0.95	OPT f=2 TT=1.128 T1=0.81	OPT f=2 TT=1.132 T1=0.84	OPT f=2 TT=1.964 T1=1.05	OPT f=2 TT=1.987 T1=1.56	OPT f=2 TT=1.339 T1=0.66	No data	OPT f=2 TT=1.264 T1=0.61	OPT f=2 TT=1.279 T1=0.6	OPT f=2 TT=7.574 T1=3.34	OPT f=2 TT=0.023 T1=0.02	OPT f=2 TT=0.023 T1=0.02	OPT f=2 TT=0.028 T1=0.02	SAT (TO) f=2 TT=2400.12 T1=0.84	OPT f=2 TT=1.195 T1=0.74	OPT f=2 TT=1.268 T1=0.79	OPT f=2 TT=0.652 T1=0.38	OPT f=2 TT=0.587 T1=0.34
LowAutocorrelation/ LowAutocorrelation-m1-s1/ LowAutocorrelation-011.xml	OPT f=5 TT=0.133 T1=0.19	OPT f=5 TT=1.914 T1=0.94	No data	No data	OPT f=5 TT=2.86 T1=0.8	OPT f=5 TT=2.817 T1=0.81	OPT f=5 TT=1.484 T1=0.58	OPT f=5 TT=1.501 T1=0.73	OPT f=5 TT=4.359 T1=1.06	OPT f=5 TT=4.267 T1=1.09	OPT f=5 TT=9.986 T1=4.4	OPT f=5 TT=0.147 T1=0.26	OPT f=5 TT=0.133 T1=0.22	OPT f=5 TT=0.155 T1=0.23	SAT (TO) f=5 TT=2520.06 T1=2.61	OPT f=5 TT=1.551 T1=0.96	OPT f=5 TT=1.51 T1=0.83	OPT f=5 TT=6.89 T1=1.72	OPT f=5 TT=6.856 T1=4.71	OPT f=5 TT=2.401 T1=0.91	No data	OPT f=5 TT=3.144 T1=0.92	OPT f=5 TT=3.089 T1=0.92	OPT f=5 TT=11.653 T1=4.47	OPT f=5 TT=0.205 T1=0.13	OPT f=5 TT=0.191 T1=0.14	OPT f=5 TT=0.204 T1=0.19	SAT (TO) f=5 TT=2400.1 T1=2.1	OPT f=5 TT=1.615 T1=0.87	OPT f=5 TT=1.587 T1=0.86	OPT f=5 TT=1.608 T1=0.58	OPT f=5 TT=1.123 T1=0.6
LowAutocorrelation/ LowAutocorrelation-m1-s1/ LowAutocorrelation-013.xml	OPT f=6 TT=0.255 T1=0.27	OPT f=6 TT=1.784 T1=2.14	No data	No data	OPT f=6 TT=5.199 T1=0.82	OPT f=6 TT=4.188 T1=0.83	OPT f=6 TT=1.727 T1=0.59	OPT f=6 TT=1.76 T1=0.77	OPT f=6 TT=7.381 T1=0.88	OPT f=6 TT=7.319 T1=0.9	OPT f=6 TT=13.724 T1=4.25	OPT f=6 TT=0.454 T1=0.56	OPT f=6 TT=0.86 T1=0.91	OPT f=6 TT=0.255 T1=0.32	SAT (TO) f=6 TT=2520.04 T1=3.19	OPT f=6 TT=2.005 T1=0.99	OPT f=6 TT=1.97 T1=0.84	OPT f=6 TT=7.575 T1=1.82	OPT f=6 TT=7.054 T1=4.62	OPT f=6 TT=2.084 T1=0.77	No data	OPT f=6 TT=4.214 T1=0.95	OPT f=6 TT=4.595 T1=0.91	OPT f=6 TT=16.678 T1=4.55	OPT f=6 TT=0.514 T1=0.45	OPT f=6 TT=0.904 T1=0.83	OPT f=6 TT=0.299 T1=0.27	SAT (TO) f=6 TT=2400.05 T1=3.15	OPT f=6 TT=2.283 T1=0.91	OPT f=6 TT=2.21 T1=0.9	OPT f=6 TT=1.958 T1=0.73	OPT f=6 TT=1.649 T1=0.62
LowAutocorrelation/ LowAutocorrelation-m1-s1/ LowAutocorrelation-015.xml	OPT f=15 TT=1.905 T1=0.69	OPT f=15 TT=4.433 T1=1.26	No data	No data	OPT f=15 TT=11.943 T1=0.95	OPT f=15 TT=13.026 T1=0.93	OPT f=15 TT=9.109 T1=2.24	OPT f=15 TT=9.59 T1=2.28	OPT f=15 TT=29.352 T1=3.73	OPT f=15 TT=33.954 T1=4.03	OPT f=15 TT=36.949 T1=7.52	OPT f=15 TT=1.905 T1=1.99	OPT f=15 TT=3.133 T1=3.13	OPT f=15 TT=2.822 T1=1.05	SAT (TO) f=15 TT=2520.06 T1=4.56	OPT f=15 TT=4.128 T1=1.05	OPT f=15 TT=1811.37 T1=0.93	OPT f=15 TT=9.265 T1=1.89	OPT f=15 TT=8.637 T1=5.38	OPT f=15 TT=4.682 T1=1.13	No data	OPT f=15 TT=17.251 T1=1.01	OPT f=15 TT=17.308 T1=1	OPT f=15 TT=42.391 T1=7.34	OPT f=15 TT=1.942 T1=0.22	OPT f=15 TT=3.165 T1=2.17	OPT f=15 TT=3.027 T1=0.88	SAT (TO) f=15 TT=2400.03 T1=3.43	OPT f=15 TT=4.391 T1=1.05	OPT f=15 TT=1741.41 T1=0.94	OPT f=15 TT=2.448 T1=0.74	OPT f=15 TT=2.187 T1=0.69
LowAutocorrelation/ LowAutocorrelation-m1-s1/ LowAutocorrelation-020.xml	OPT f=26 TT=20.316 T1=2.09	OPT f=26 TT=140.465 T1=30.45	No data	No data	OPT f=26 TT=157.775 T1=2.54	OPT f=26 TT=148.819 T1=2.29	OPT f=26 TT=455.562 T1=43.72	OPT f=26 TT=459.425 T1=44.09	OPT f=26 TT=1100.81 T1=37.84	OPT f=26 TT=1044.4 T1=37.45	OPT f=26 TT=792.513 T1=132.22	OPT f=26 TT=127.183 T1=127.23	OPT f=26 TT=75.434 T1=75.43	OPT f=26 TT=154.285 T1=10	SAT (TO) f=26 TT=2520.06 T1=14.33	OPT f=26 TT=26.387 T1=2.25	OPT f=26 TT=2349.53 T1=2.09	OPT f=26 TT=21.015 T1=2.59	OPT f=26 TT=20.316 T1=7.77	OPT f=26 TT=140.9 T1=30.46	No data	OPT f=26 TT=285.015 T1=3.5	OPT f=26 TT=224.11 T1=2.4	OPT f=26 TT=688.221 T1=115.18	OPT f=26 TT=126.688 T1=65.54	OPT f=26 TT=76.176 T1=5.9	OPT f=26 TT=158.768 T1=10.23	SAT (TO) f=26 TT=2400.09 T1=9.91	OPT f=26 TT=27.052 T1=2.12	OPT f=26 TT=2287.36 T1=2.1	OPT f=26 TT=28.099 T1=6.38	OPT f=26 TT=33.32 T1=7.8
LowAutocorrelation/ LowAutocorrelation-m1-s1/ LowAutocorrelation-033.xml	SAT TO f=64 TT=2400.09 T1=144.45	SAT (TO) f=116 TT=2520.11 T1=1442.93	No data	No data	SAT (TO) f=64 TT=20062.6 T1=1227.7	SAT (TO) f=64 TT=20053.9 T1=915.01	SAT (TO) f=100 TT=2520.08 T1=302.89	SAT (TO) f=100 TT=2520.06 T1=302.79	SAT (TO) f=100 TT=2520.07 T1=2420.13	SAT (TO) f=112 TT=2520.03 T1=1634.16	SAT (TO) f=88 TT=2520.11 T1=1505.33	SAT (TO) f=120 TT=2520 T1=2520	SAT (TO) f=112 TT=2519.89 T1=2520	SAT (TO) f=88 TT=2519.74 T1=188.51	SAT (TO) f=116 TT=2520.11 T1=1027.42	SAT (TO) f=64 TT=2520.09 T1=1270.53	SAT (TO) f=128 TT=2520.11 T1=271.35	SAT (TO) f=64 TT=20052.699 T1=144.45	SAT (TO) f=64 TT=20038.1 T1=1406.14	SAT (TO) f=116 TT=2400.07 T1=1469.69	No data	SAT (TO) f=124 TT=2400.12 T1=74.26	SAT (TO) f=124 TT=2400.52 T1=75.62	SAT (TO) f=88 TT=2400.09 T1=1977.99	No Cert. TT=2400.07	No Cert. TT=2400.04	SAT (TO) f=88 TT=2400.05 T1=206.42	SAT (TO) f=116 TT=2400.05 T1=131.91	SAT (TO) f=64 TT=2400.09 T1=1311.26	SAT (TO) f=128 TT=2400.13 T1=44.71	SAT (TO) f=100 TT=2400.3 T1=1640.59	SAT (TO) f=100 TT=2520.15 T1=1651.55
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	BTD 2017-07-25 (complete)	BTD 2017-08-10 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: BTD 2017-06-30 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
LowAutocorrelation/ LowAutocorrelation-m1-s1/ LowAutocorrelation-036.xml	SAT TO f=94 TT=19960.199 T1=906.48	SAT (TO) f=214 TT=2520.06 T1=7.36	No data	No data	SAT (TO) f=94 TT=20092.699 T1=1825.34	SAT (TO) f=94 TT=20067.9 T1=2248.59	SAT (TO) f=174 TT=2520.08 T1=1355.69	SAT (TO) f=170 TT=2520.11 T1=2002.56	SAT (TO) f=198 TT=2520.07 T1=1084.83	SAT (TO) f=198 TT=2520.03 T1=1086.88	SAT (TO) f=134 TT=2520.13 T1=199.4	SAT (TO) f=126 TT=2520.02 T1=2519.9	SAT (TO) f=130 TT=2520.07 T1=2519.9	SAT (TO) f=122 TT=2520.06 T1=268.64	SAT (TO) f=146 TT=2520.06 T1=346.68	SAT (TO) f=122 TT=2520.11 T1=1127.8	SAT (TO) f=150 TT=2520.1 T1=943.59	SAT (TO) f=94 TT=20044.9 T1=906.48	SAT (TO) f=94 TT=19960.199 T1=5087.34	SAT (TO) f=214 TT=2400.12 T1=7.11	No data	SAT (TO) f=138 TT=2400.69 T1=82.39	SAT (TO) f=170 TT=2400.27 T1=104.99	SAT (TO) f=134 TT=2400.21 T1=210.09	No Cert. TT=2400.03	No Cert. TT=2400.03	SAT (TO) f=122 TT=2400.05 T1=276.47	SAT (TO) f=150 TT=2400.13 T1=162.26	SAT (TO) f=122 TT=2400.04 T1=1179.51	SAT (TO) f=146 TT=2400.08 T1=653.7	SAT (TO) f=138 TT=2400.14 T1=1606.7	SAT (TO) f=138 TT=2520.18 T1=1581.67
LowAutocorrelation/ LowAutocorrelation-m1-s1/ LowAutocorrelation-038.xml	SAT TO f=95 TT=20037.801 T1=2411.39	SAT (TO) f=247 TT=2520.05 T1=2062.88	No data	No data	SAT (TO) f=159 TT=20088.801 T1=1170.54	SAT (TO) f=151 TT=20080.9 T1=1904.52	SAT (TO) f=191 TT=2520.08 T1=365.73	SAT (TO) f=191 TT=2520.06 T1=366.72	SAT (TO) f=207 TT=2520.03 T1=391.64	SAT (TO) f=207 TT=2520.08 T1=390.67	SAT (TO) f=143 TT=2520.15 T1=2011.44	SAT (TO) f=503 TT=2520.08 T1=2519.9	SAT (TO) f=247 TT=2519.96 T1=2520	SAT (TO) f=151 TT=2519.97 T1=56.95	SAT (TO) f=159 TT=2520.08 T1=345.96	SAT (TO) f=215 TT=2520.05 T1=1375.41	SAT (TO) f=151 TT=2520.03 T1=410.12	SAT (TO) f=95 TT=20037.801 T1=2411.39	SAT (TO) f=95 TT=20043.5 T1=18823.99	SAT (TO) f=247 TT=2400.1 T1=2048.79	No data	SAT (TO) f=191 TT=2400.58 T1=112.13	SAT (TO) f=175 TT=2400.7 T1=258.23	SAT (TO) f=143 TT=2400.07 T1=2131.54	No Cert. TT=2400.06	No Cert. TT=2400.08	SAT (TO) f=151 TT=2400.09 T1=58.75	SAT (TO) f=167 TT=2400.09 T1=199.04	SAT (TO) f=215 TT=2400.09 T1=1425.45	SAT (TO) f=151 TT=2400.07 T1=217.16	SAT (TO) f=151 TT=2400.13 T1=1927.33	SAT (TO) f=151 TT=2520.12 T1=1899.97
LowAutocorrelation/ LowAutocorrelation-m1-s1/ LowAutocorrelation-040.xml	SAT TO f=136 TT=19993 T1=2027.85	SAT (TO) f=248 TT=2520.07 T1=650.13	No data	No data	SAT (TO) f=132 TT=20097.699 T1=2115.8	SAT (TO) f=164 TT=20098.301 T1=410.12	SAT (TO) f=216 TT=2520.09 T1=1817.26	SAT (TO) f=216 TT=2520.04 T1=1819.89	SAT (TO) f=188 TT=2520.1 T1=1868.09	SAT (TO) f=188 TT=2520.12 T1=1876.3	SAT (TO) f=160 TT=2520.1 T1=493.6	SAT (TO) f=500 TT=2519.59 T1=2520	SAT (TO) f=328 TT=2519.74 T1=2520	SAT (TO) f=152 TT=2519.85 T1=1298.23	SAT (TO) f=200 TT=2520.05 T1=1281.05	SAT (TO) f=216 TT=2520.1 T1=1786	SAT (TO) f=192 TT=2520.1 T1=683.64	SAT (TO) f=136 TT=20030 T1=2027.85	SAT (TO) f=136 TT=19993 T1=11142.86	SAT (TO) f=248 TT=2400.07 T1=651.32	No data	SAT (TO) f=196 TT=2400.08 T1=123.14	SAT (TO) f=216 TT=2400.43 T1=175.82	SAT (TO) f=160 TT=2400.1 T1=527.71	No Cert. TT=2400.01	No Cert. TT=2400.04	SAT (TO) f=152 TT=2400.09 T1=1333.66	SAT (TO) f=188 TT=2400.05 T1=107.82	SAT (TO) f=216 TT=2400.07 T1=1791.76	SAT (TO) f=204 TT=2400.14 T1=102.38	SAT (TO) f=180 TT=2400.17 T1=1686.52	SAT (TO) f=180 TT=2520.14 T1=1687.92
LowAutocorrelation/ LowAutocorrelation-m1-s1/ LowAutocorrelation-042.xml	SAT TO f=157 TT=20003.6 T1=7.31	SAT (TO) f=349 TT=2520.03 T1=1093.58	No data	No data	SAT (TO) f=221 TT=20097 T1=582.92	SAT (TO) f=205 TT=20091.301 T1=2303.9	SAT (TO) f=253 TT=2520.05 T1=50.25	SAT (TO) f=253 TT=2520.1 T1=51.36	SAT (TO) f=269 TT=2520.06 T1=145.59	SAT (TO) f=269 TT=2520.82 T1=149.81	SAT (TO) f=229 TT=2520.13 T1=2422.87	SAT (TO) f=269 TT=2519.91 T1=2520	SAT (TO) f=333 TT=2520.01 T1=2519.8	SAT (TO) f=181 TT=2520.03 T1=936.6	SAT (TO) f=197 TT=2520.04 T1=1981.47	SAT (TO) f=309 TT=2520.06 T1=1158.79	SAT (TO) f=237 TT=2520.08 T1=1502.36	SAT (TO) f=157 TT=20003.6 T1=7.31	SAT (TO) f=157 TT=20049.9 T1=37.57	SAT (TO) f=349 TT=2400.05 T1=1035.69	No data	SAT (TO) f=237 TT=2400.46 T1=28.11	SAT (TO) f=197 TT=2400.32 T1=74.17	SAT (TO) f=229 TT=2400.1 T1=2089.16	No Cert. TT=2400.06	No Cert. TT=2400.05	SAT (TO) f=181 TT=2400.04 T1=919.09	SAT (TO) f=221 TT=2400.04 T1=565.83	SAT (TO) f=309 TT=2400.06 T1=1189.54	SAT (TO) f=221 TT=2400.04 T1=1269.5	SAT (TO) f=213 TT=2400.13 T1=1544.38	SAT (TO) f=213 TT=2520.12 T1=1557.55
LowAutocorrelation/ LowAutocorrelation-m1-s1/ LowAutocorrelation-054.xml	SAT TO f=351 TT=2400.01 T1=1867.17	SAT (TO) f=583 TT=2520.04 T1=465.41	No data	No data	SAT (TO) f=295 TT=20094 T1=1816.46	SAT (TO) f=479 TT=20092.6 T1=559.58	SAT (TO) f=503 TT=2520.09 T1=269.75	SAT (TO) f=503 TT=2520.04 T1=274.89	SAT (TO) f=535 TT=2520.08 T1=565.83	SAT (TO) f=535 TT=2520.06 T1=541.9	SAT (TO) f=439 TT=2520.13 T1=34.8	SAT (TO) f=471 TT=2519.99 T1=2520	SAT (TO) f=559 TT=2519.84 T1=2520	SAT (TO) f=351 TT=2519.66 T1=1879.08	SAT (TO) f=375 TT=2520.08 T1=435.12	SAT (TO) f=983 TT=2520.07 T1=1942.08	SAT (TO) f=391 TT=2520.03 T1=724.33	SAT (TO) f=447 TT=19963.6 T1=756.68	SAT (TO) f=447 TT=20061 T1=4101.19	SAT (TO) f=583 TT=2400.03 T1=453.01	No data	SAT (TO) f=503 TT=2400.63 T1=6.49	SAT (TO) f=455 TT=2400.17 T1=94.54	SAT (TO) f=439 TT=2400.13 T1=35.5	No Cert. TT=2400.01	No Cert. TT=2400.06	SAT (TO) f=351 TT=2400.01 T1=1867.17	SAT (TO) f=431 TT=2400.12 T1=1969.73	SAT (TO) f=983 TT=2400.13 T1=1981.21	SAT (TO) f=367 TT=2400.13 T1=786.95	SAT (TO) f=439 TT=2400.17 T1=1517.16	SAT (TO) f=439 TT=2520.17 T1=1475.7
LowAutocorrelation/ LowAutocorrelation-m1-s1/ LowAutocorrelation-055.xml	SAT TO f=331 TT=2520.13 T1=487.83	SAT (TO) f=683 TT=2520.04 T1=340.98	No data	No data	SAT (TO) f=419 TT=20098.4 T1=68.22	SAT (TO) f=447 TT=20095.801 T1=2480.08	SAT (TO) f=507 TT=2520.04 T1=1022.62	SAT (TO) f=507 TT=2520.04 T1=1024.66	SAT (TO) f=519 TT=2520.08 T1=262.08	SAT (TO) f=519 TT=2520.1 T1=267.94	SAT (TO) f=383 TT=2520.12 T1=1806.8	SAT (TO) f=683 TT=2520.06 T1=2519.9	SAT (TO) f=831 TT=2519.86 T1=2520.01	SAT (TO) f=363 TT=2519.97 T1=708.33	SAT (TO) f=331 TT=2520.13 T1=487.83	SAT (TO) f=875 TT=2520.1 T1=2437.87	SAT (TO) f=379 TT=2520.06 T1=1166.07	SAT (TO) f=399 TT=20056.699 T1=1625.33	SAT (TO) f=399 TT=20033.301 T1=18705.869	SAT (TO) f=683 TT=2400.04 T1=341.49	No data	SAT (TO) f=455 TT=2400 T1=68.13	SAT (TO) f=403 TT=2400.78 T1=282.23	SAT (TO) f=383 TT=2400.06 T1=1909.43	No Cert. TT=2400.08	No Cert. TT=2400.03	SAT (TO) f=363 TT=2400.03 T1=744.56	SAT (TO) f=443 TT=2400.11 T1=235.07	SAT (TO) f=931 TT=2400.04 T1=1552	SAT (TO) f=355 TT=2400.19 T1=1601.04	SAT (TO) f=455 TT=2400.14 T1=1469.29	SAT (TO) f=455 TT=2520.12 T1=1471.1
LowAutocorrelation/ LowAutocorrelation-m1-s1/ LowAutocorrelation-057.xml	SAT TO f=388 TT=2400.09 T1=1423.02	SAT (TO) f=740 TT=2520.05 T1=2310.95	No data	No data	SAT (TO) f=512 TT=20093.4 T1=19.57	SAT (TO) f=496 TT=20085.9 T1=459.02	SAT (TO) f=524 TT=2520.04 T1=1901.81	SAT (TO) f=524 TT=2520.09 T1=1869.78	SAT (TO) f=656 TT=2520.07 T1=766.22	SAT (TO) f=656 TT=2520.18 T1=767.15	SAT (TO) f=416 TT=2520.07 T1=925.88	SAT (TO) f=772 TT=2519.96 T1=2520	SAT (TO) f=732 TT=2519.99 T1=2520	SAT (TO) f=388 TT=2519.99 T1=1423.02	SAT (TO) f=440 TT=2520.13 T1=1728.73	SAT (TO) f=1316 TT=2520.09 T1=329.86	SAT (TO) f=444 TT=2520.1 T1=902.72	SAT (TO) f=564 TT=19967.801 T1=955.92	SAT (TO) f=520 TT=19986.5 T1=18368.26	SAT (TO) f=740 TT=2400.12 T1=1985.19	No data	SAT (TO) f=552 TT=2400.32 T1=35.81	SAT (TO) f=484 TT=2400.64 T1=169.2	SAT (TO) f=416 TT=2400.07 T1=785.96	No Cert. TT=2400.01	No Cert. TT=2400.03	SAT (TO) f=388 TT=2400.09 T1=1440.63	SAT (TO) f=448 TT=2400.11 T1=1710.28	SAT (TO) f=1316 TT=2400.07 T1=340.88	SAT (TO) f=396 TT=2400.05 T1=692.89	SAT (TO) f=544 TT=2400.14 T1=1095.41	SAT (TO) f=544 TT=2520.11 T1=1331.47
LowAutocorrelation/ LowAutocorrelation-m1-s1/ LowAutocorrelation-069.xml	SAT TO f=598 TT=2400.05 T1=172.54	SAT (TO) f=1166 TT=2520.18 T1=1088.09	No data	No data	SAT (TO) f=818 TT=20096.301 T1=1971.36	SAT (TO) f=886 TT=20028.9 T1=1042.41	SAT (TO) f=906 TT=2520.03 T1=93.62	SAT (TO) f=906 TT=2520.07 T1=95.59	SAT (TO) f=1174 TT=2520.13 T1=18.45	SAT (TO) f=1174 TT=2520.06 T1=18.48	SAT (TO) f=706 TT=2520.11 T1=142.83	SAT (TO) f=1466 TT=2519.97 T1=2520	SAT (TO) f=1838 TT=2519.64 T1=2520	SAT (TO) f=598 TT=2520.06 T1=193.22	SAT (TO) f=710 TT=2520.08 T1=370.83	SAT (TO) f=2902 TT=2520.12 T1=254.19	SAT (TO) f=742 TT=2520.06 T1=1444.22	SAT (TO) f=1058 TT=20003.5 T1=59.33	SAT (TO) f=1058 TT=20011.1 T1=547.19	SAT (TO) f=1166 TT=2400.1 T1=931.11	No data	SAT (TO) f=794 TT=2400.2 T1=290.08	Wrong Opt. f=2026 TT=18.719 T1=3.8	SAT (TO) f=706 TT=2400.08 T1=149.04	SAT (TO) f=1466 TT=2400.05 T1=1468.18	SAT (TO) f=1838 TT=2400.03 T1=154.32	SAT (TO) f=598 TT=2400.05 T1=172.54	SAT (TO) f=746 TT=2400.2 T1=1724.05	SAT (TO) f=2902 TT=2400.13 T1=260.43	SAT (TO) f=682 TT=2400.12 T1=1512.04	SAT (TO) f=898 TT=2400.13 T1=1327.51	SAT (TO) f=898 TT=2520.11 T1=1343.2
LowAutocorrelation/ LowAutocorrelation-m1-s1/ LowAutocorrelation-081.xml	SAT TO f=864 TT=2400.06 T1=1052.17	SAT (TO) f=2020 TT=2520.09 T1=1544.92	No data	No data	SAT (TO) f=1412 TT=20040.6 T1=1974.83	SAT (TO) f=1200 TT=20042.301 T1=1923.97	SAT (TO) f=1380 TT=2520.1 T1=2135.86	SAT (TO) f=1380 TT=2520.1 T1=2122.76	SAT (TO) f=1636 TT=2520.03 T1=30.66	SAT (TO) f=1636 TT=2520.06 T1=30.6	SAT (TO) f=1028 TT=2520.14 T1=696.99	SAT (TO) f=1716 TT=2519.7 T1=2520	SAT (TO) f=2764 TT=2520.07 T1=2520	SAT (TO) f=864 TT=2520.03 T1=1052.17	SAT (TO) f=980 TT=2520.09 T1=1440.68	SAT (TO) f=3516 TT=2520.08 T1=1791.16	SAT (TO) f=1044 TT=2520.1 T1=1527.58	SAT (TO) f=1792 TT=19969.4 T1=904.69	SAT (TO) f=1792 TT=20004.699 T1=14965.86	SAT (TO) f=2020 TT=2400.06 T1=1483.51	No data	SAT (TO) f=1508 TT=2400.03 T1=121.03	SAT (TO) f=1208 TT=2400.66 T1=245.62	SAT (TO) f=1028 TT=2400.14 T1=694.66	No Cert. TT=2400.05	No Cert. TT=2400.1	SAT (TO) f=864 TT=2400.06 T1=1074.5	SAT (TO) f=988 TT=2400.09 T1=2154.43	SAT (TO) f=3516 TT=2400.09 T1=1798.5	SAT (TO) f=1136 TT=2400.15 T1=1482.5	SAT (TO) f=1564 TT=2402.61 T1=2249.63	SAT (TO) f=1512 TT=2520.26 T1=2459.55
LowAutocorrelation/ LowAutocorrelation-m1-s1/ LowAutocorrelation-084.xml	SAT TO f=782 TT=2520.15 T1=1590.8	SAT (TO) f=1690 TT=2520.07 T1=576.45	No data	No data	SAT (TO) f=1438 TT=19975.5 T1=408.53	SAT (TO) f=958 TT=19870.301 T1=2159.99	SAT (TO) f=1498 TT=2520.1 T1=2111.82	SAT (TO) f=1498 TT=2520.03 T1=2120.28	SAT (TO) f=1446 TT=2520.13 T1=12	SAT (TO) f=1446 TT=2520.09 T1=11.84	SAT (TO) f=1046 TT=2520.14 T1=134.6	SAT (TO) f=2798 TT=2520.1 T1=2520	SAT (TO) f=2358 TT=2519.79 T1=2520.01	SAT (TO) f=834 TT=2519.82 T1=668.63	SAT (TO) f=1066 TT=2520.14 T1=1649.99	SAT (TO) f=5522 TT=2520.09 T1=2022.5	SAT (TO) f=782 TT=2520.15 T1=1590.8	SAT (TO) f=1822 TT=20031.5 T1=2121.21	SAT (TO) f=1830 TT=20015 T1=3965.12	SAT (TO) f=1690 TT=2400.08 T1=565.17	No data	Wrong Opt. f=116074 TT=29.851 T1=9.02	Wrong Opt. f=110694 TT=29.966 T1=8.96	SAT (TO) f=1046 TT=2400.14 T1=132.85	No Cert. TT=2400.07	No Cert. TT=2400.11	SAT (TO) f=834 TT=2400.11 T1=672.46	SAT (TO) f=1054 TT=2400.15 T1=888.33	SAT (TO) f=5522 TT=2400.11 T1=2121.66	SAT (TO) f=1242 TT=2400.26 T1=1489.99	SAT (TO) f=1654 TT=2400.22 T1=1081.42	SAT (TO) f=1654 TT=2520.14 T1=1083.22
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	BTD 2017-07-25 (complete)	BTD 2017-08-10 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: BTD 2017-06-30 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
LowAutocorrelation/ LowAutocorrelation-m1-s1/ LowAutocorrelation-096.xml	SAT TO f=1188 TT=2519.84 T1=2296.78	SAT (TO) f=2568 TT=2520.03 T1=167.23	No data	No data	SAT (TO) f=1960 TT=20088.801 T1=1910.36	SAT (TO) f=1960 TT=19939.301 T1=1947.46	SAT (TO) f=1960 TT=2520.09 T1=1147.92	SAT (TO) f=1960 TT=2520.04 T1=1138.35	SAT (TO) f=2248 TT=2520.07 T1=108.47	SAT (TO) f=2248 TT=2524.39 T1=107.91	SAT (TO) f=1456 TT=2520.16 T1=357.32	SAT (TO) f=3292 TT=2519.77 T1=2520	SAT (TO) f=3396 TT=2519.87 T1=2520.01	SAT (TO) f=1188 TT=2519.84 T1=2296.78	SAT (TO) f=1492 TT=2520.09 T1=1581.95	SAT (TO) f=7484 TT=2520.12 T1=2397.42	SAT (TO) f=1332 TT=2520.1 T1=1554.74	SAT (TO) f=4836 TT=20051.6 T1=1974.28	SAT (TO) f=4284 TT=20026.199 T1=12433.36	SAT (TO) f=2568 TT=2400.1 T1=166.13	No data	Wrong Opt. f=199320 TT=39.588 T1=10.57	SAT (TO) f=2236 TT=2400.02 T1=60.91	SAT (TO) f=1456 TT=2400.15 T1=456.26	No Cert. TT=2400.02	No Cert. TT=2400.08	SAT (TO) f=1236 TT=2400.04 T1=2365.87	SAT (TO) f=1388 TT=2400.1 T1=1616.72	SAT (TO) f=7712 TT=2400.12 T1=2343.21	SAT (TO) f=1344 TT=2400.13 T1=1303.18	SAT (TO) f=2312 TT=2400.23 T1=1617.02	SAT (TO) f=2312 TT=2520.15 T1=1542.04
MagicHexagon/ MagicHexagon-m1-s1/ MagicHexagon-02-0000.xml	UNSAT TT=0.003	UNSAT TT=0.92	UNSAT TT=0.003	UNSAT TT=0.003	UNSAT TT=1.049	UNSAT TT=1.057	UNSAT TT=0.786	UNSAT TT=0.832	UNSAT TT=0.894	UNSAT TT=0.847	UNSAT TT=5.781	UNSAT TT=0.006	UNSAT TT=0.005	UNSAT TT=0.009	No data	UNSAT TT=1.012	No data	UNSAT TT=1.06	UNSAT TT=1.067	UNSAT TT=0.947	UNSAT TT=0.004	UNSAT TT=1.243	UNSAT TT=1.129	UNSAT TT=7.463	UNSAT TT=0.009	UNSAT TT=0.007	UNSAT TT=0.015	No data	UNSAT TT=1.185	No data	UNSAT TT=0.733	UNSAT TT=0.589
MagicHexagon/ MagicHexagon-m1-s1/ MagicHexagon-08-0051.xml		? (TO) TT=2520.05	? (TO) TT=2520	? (TO) TT=2519.8	? (TO) TT=19959.9	? (TO) TT=19940.699	? (TO) TT=2520.13	? (TO) TT=2520.09	? (TO) TT=2520.09	? (TO) TT=2520.05	? (TO) TT=2520.43	? (TO) TT=2520.07	? (TO) TT=2519.82	? (TO) TT=2519.85	No data	? (TO) TT=2520.1	No data	? (TO) TT=19931	? (TO) TT=19870.1	? (TO) TT=2400.06	? (TO) TT=2400.02	? (TO) TT=2400.33	? (TO) TT=2400.75	? (TO) TT=2400.96	? (TO) TT=2400.02	? (TO) TT=2400.07	? (TO) TT=2400.02	No data	? (TO) TT=2400.08	No data	? (TO) TT=2416.11	? TT=1378.83
MagicHexagon/ MagicHexagon-m1-s1/ MagicHexagon-08-0081.xml		? (TO) TT=2520.1	? (TO) TT=2520.09	? (TO) TT=2519.82	? (TO) TT=19887.199	? (TO) TT=19906.801	? (TO) TT=2520.15	? (TO) TT=2520.14	? (TO) TT=2520.06	? (TO) TT=2520.07	? (TO) TT=2520.53	? (TO) TT=2519.99	? (TO) TT=2520.05	? (TO) TT=2520.01	No data	? (TO) TT=2520.09	No data	? (TO) TT=19859.9	? (TO) TT=19923.1	? (TO) TT=2400.02	? (TO) TT=2400.1	? (TO) TT=2400.73	? (TO) TT=2400.18	? (TO) TT=2401.24	? (TO) TT=2400.07	? (TO) TT=2400.08	? (TO) TT=2400.05	No data	? (TO) TT=2400.02	No data	? (TO) TT=2416.28	? (problem) TT=1314.34
MagicHexagon/ MagicHexagon-m1-s1/ MagicHexagon-10-m021.xml		? (TO) TT=2520.03	? (TO) TT=2519.65	? (TO) TT=2519.87	? (TO) TT=19900.801	? (TO) TT=19846.1	? (TO) TT=2520.15	? (TO) TT=2520.14	? (TO) TT=2520.12	? (TO) TT=2520.04	? (TO) TT=2520.54	? (TO) TT=2519.77	? (TO) TT=2520.03	? (TO) TT=2520	No data	? (TO) TT=2520.07	No data	? (TO) TT=19874	? (TO) TT=19873	? (TO) TT=2400.12	? (TO) TT=2400.05	? (TO) TT=2400.61	? (TO) TT=2400.58	? (TO) TT=2401.04	? (TO) TT=2400.03	? (TO) TT=2400.08	? (TO) TT=2400.09	No data	? (TO) TT=2400.04	No data	? (TO) TT=2416.03	? (problem) TT=1616.36
MagicHexagon/ MagicHexagon-m1-s1/ MagicHexagon-11-0066.xml		? (TO) TT=2520.02	? (TO) TT=2520.06	? (TO) TT=2519.86	? (TO) TT=19911.301	? (TO) TT=19864.5	? (TO) TT=2520.1	? (TO) TT=2520.04	? (TO) TT=2520.13	? (TO) TT=2520.07	? (TO) TT=2520.63	? (TO) TT=2519.98	? (TO) TT=2520.01	? (TO) TT=2520.02	No data	? (TO) TT=2520.08	No data	? (TO) TT=19900.301	? (TO) TT=19893.1	? (TO) TT=2400.07	? (TO) TT=2400.03	? (TO) TT=2400.52	? (TO) TT=2400.22	? (TO) TT=2401.18	? (TO) TT=2400.04	? (TO) TT=2400.11	? (TO) TT=2400.05	No data	? (TO) TT=2400.06	No data	? (TO) TT=2415.96	? (problem) TT=1594.43
MagicHexagon/ MagicHexagon-m1-s1/ MagicHexagon-11-m186.xml		? (TO) TT=2520.1	? (TO) TT=2519.83	? (TO) TT=2519.82	? (TO) TT=20000.6	? (TO) TT=19776.4	? (TO) TT=2520.1	? (TO) TT=2520.11	? (TO) TT=2520.04	? (TO) TT=2520.08	? (TO) TT=2520.53	? (TO) TT=2520.04	? (TO) TT=2519.99	? (TO) TT=2519.69	No data	? (TO) TT=2520.06	No data	? (TO) TT=19880.699	? (TO) TT=19888.301	? (TO) TT=2400.03	? (TO) TT=2400.06	? (TO) TT=2400.35	? (TO) TT=2400.4	? (TO) TT=2401.37	? (TO) TT=2400.1	? (TO) TT=2400.02	? (TO) TT=2400.03	No data	? (TO) TT=2400.06	No data	? (TO) TT=2416.5	? (problem) TT=1732.21
MagicSequence/ MagicSequence-card-s1/ MagicSequence-006-ca.xml	UNSAT TT=0.005	UNSAT TT=0.874	? (NS) TT=0.006	? (NS) TT=0.006	UNSAT TT=0.917	UNSAT TT=0.921	UNSAT TT=0.754	UNSAT TT=0.753	UNSAT TT=0.817	UNSAT TT=0.843	UNSAT TT=5.895	UNSAT TT=0.005	UNSAT TT=0.004	UNSAT TT=0.005	No data	UNSAT TT=1.008	No data	UNSAT TT=1.04	UNSAT TT=1.049	UNSAT TT=0.999	? (NS) TT=0.008	UNSAT TT=1.049	UNSAT TT=1.086	UNSAT TT=7.365	UNSAT TT=0.006	UNSAT TT=0.007	UNSAT TT=0.006	No data	UNSAT TT=1.061	No data	UNSAT TT=1.038	UNSAT TT=0.761
MagicSequence/ MagicSequence-card-s1/ MagicSequence-013-ca.xml	SAT TT=0.004	SAT TT=0.912	? (NS) TT=0.006	? (NS) TT=0.006	SAT TT=0.912	SAT TT=0.909	SAT TT=0.742	SAT TT=0.738	SAT TT=0.776	SAT TT=0.771	SAT TT=6.265	SAT TT=0.004	SAT TT=0.004	SAT TT=0.005	No data	SAT TT=1.009	No data	SAT TT=1.658	SAT TT=1.696	SAT TT=1.051	? (NS) TT=0.008	SAT TT=1.134	SAT TT=1.223	SAT TT=7.51	SAT TT=0.006	SAT TT=0.006	SAT TT=0.008	No data	SAT TT=1.109	No data	SAT TT=12.247	SAT TT=15.576
MagicSequence/ MagicSequence-card-s1/ MagicSequence-018-ca.xml	SAT TT=0.005	SAT TT=0.956	? (NS) TT=0.006	? (NS) TT=0.006	SAT TT=0.985	SAT TT=0.993	SAT TT=0.757	SAT TT=0.75	SAT TT=0.874	SAT TT=0.849	SAT TT=6.309	SAT TT=0.005	SAT TT=0.005	SAT TT=0.006	No data	SAT TT=1.032	No data	SAT TT=1.686	SAT TT=1.7	SAT TT=1.144	? (NS) TT=0.01	SAT TT=1.094	SAT TT=1.11	SAT TT=7.833	SAT TT=0.004	SAT TT=0.008	SAT TT=0.008	No data	SAT TT=1.105	No data	SAT TT=135.871	SAT TT=134.125
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	BTD 2017-07-25 (complete)	BTD 2017-08-10 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: BTD 2017-06-30 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
MagicSequence/ MagicSequence-card-s1/ MagicSequence-070-ca.xml	SAT TT=0.013	SAT TT=1.296	? (NS) TT=0.01	? (NS) TT=0.01	SAT TT=1.105	SAT TT=1.045	SAT TT=0.868	SAT TT=0.86	SAT TT=1.219	SAT TT=1.208	SAT TT=7.417	SAT TT=0.013	SAT TT=0.029	SAT TT=0.053	No data	SAT TT=1.071	No data	SAT TT=2.262	SAT TT=2.238	SAT TT=1.387	? (NS) TT=0.015	SAT TT=1.197	SAT TT=1.186	SAT TT=9.81	SAT TT=0.023	SAT TT=0.047	SAT TT=0.084	No data	SAT TT=1.112	No data	? (TO) TT=2416.37	? (TO) TT=2527.97
MagicSequence/ MagicSequence-card-s1/ MagicSequence-090-ca.xml	SAT TT=0.023	SAT TT=1.47	? (NS) TT=0.013	? (NS) TT=0.013	SAT TT=1.777	SAT TT=1.665	SAT TT=0.968	SAT TT=0.965	SAT TT=2.027	SAT TT=1.985	SAT TT=10.611	SAT TT=0.023	SAT TT=0.056	SAT TT=0.115	No data	SAT TT=1.097	No data	SAT TT=2.558	SAT TT=2.443	SAT TT=1.701	? (NS) TT=0.015	SAT TT=2.076	SAT TT=1.752	SAT TT=12.301	SAT TT=0.037	SAT TT=0.088	SAT TT=0.165	No data	SAT TT=1.28	No data	? (TO) TT=2415.71	? TT=1495.09
MagicSequence/ MagicSequence-card-s1/ MagicSequence-300-ca.xml	SAT TT=1.147	SAT TT=5.244	? (NS) TT=0.099	? (NS) TT=0.099	SAT TT=6.939	SAT TT=9.536	SAT TT=1.632	SAT TT=1.548	SAT TT=4.826	SAT TT=4.921	SAT TT=13.983	SAT TT=1.147	SAT TT=2.162	SAT TT=8.752	No data	SAT TT=1.279	No data	SAT TT=3.948	SAT TT=4.15	SAT TT=5.792	? (NS) TT=0.119	SAT TT=6.835	SAT TT=7.786	SAT TT=18.502	SAT TT=1.18	SAT TT=2.189	SAT TT=8.29	No data	SAT TT=1.31	No data	? (TO) TT=2415.5	? (TO) TT=2527.96
MagicSequence/ MagicSequence-count-s1/ MagicSequence-004-co.xml	SAT TT=0.004	SAT TT=0.876	? (NS) TT=0.006	? (NS) TT=0.006	SAT TT=0.896	SAT TT=0.874	SAT TT=0.749	SAT TT=0.751	SAT TT=0.805	SAT TT=0.799	SAT TT=6.129	SAT TT=0.005	SAT TT=0.004	SAT TT=0.004	No data	SAT TT=1.019	No data	SAT TT=1.621	SAT TT=1.658	SAT TT=0.941	? (NS) TT=0.009	SAT TT=1.034	SAT TT=1.15	SAT TT=7.221	SAT TT=0.006	SAT TT=0.005	SAT TT=0.008	No data	SAT TT=1.102	No data	SAT TT=0.639	SAT TT=0.585
MagicSequence/ MagicSequence-count-s1/ MagicSequence-012-co.xml	SAT TT=0.005	SAT TT=0.918	? (NS) TT=0.006	? (NS) TT=0.006	SAT TT=0.985	SAT TT=1	SAT TT=0.771	SAT TT=0.769	SAT TT=0.844	SAT TT=0.845	SAT TT=6.271	SAT TT=0.005	SAT TT=0.005	SAT TT=0.006	No data	SAT TT=1.103	No data	SAT TT=1.864	SAT TT=1.901	SAT TT=1.077	? (NS) TT=0.008	SAT TT=1.208	SAT TT=1.036	SAT TT=7.664	SAT TT=0.008	SAT TT=0.006	SAT TT=0.008	No data	SAT TT=1.162	No data	SAT TT=5.298	SAT TT=5.681
MagicSequence/ MagicSequence-count-s1/ MagicSequence-080-co.xml	SAT TT=0.023	SAT TT=1.563	? (NS) TT=0.011	? (NS) TT=0.011	SAT TT=1.868	SAT TT=1.959	SAT TT=1.081	SAT TT=1.075	SAT TT=1.635	SAT TT=1.607	SAT TT=8.838	SAT TT=0.023	SAT TT=0.044	SAT TT=0.084	No data	SAT TT=1.93	No data	SAT TT=4.51	SAT TT=4.823	SAT TT=1.818	? (NS) TT=0.014	SAT TT=2.292	SAT TT=2.145	SAT TT=11.703	SAT TT=0.04	SAT TT=0.073	SAT TT=0.125	No data	SAT TT=2.226	No data	? (TO) TT=2416.02	? TT=1621.3
MagicSequence/ MagicSequence-count-s1/ MagicSequence-090-co.xml	SAT TT=0.03	SAT TT=1.631	? (NS) TT=0.012	? (NS) TT=0.013	SAT TT=2.575	SAT TT=2.508	SAT TT=1.188	SAT TT=1.175	SAT TT=2.258	SAT TT=2.22	SAT TT=10.429	SAT TT=0.03	SAT TT=0.062	SAT TT=0.128	No data	SAT TT=2.024	No data	SAT TT=4.645	SAT TT=4.966	SAT TT=1.91	? (NS) TT=0.022	SAT TT=3.03	SAT TT=2.812	SAT TT=12.753	SAT TT=0.053	SAT TT=0.103	SAT TT=0.184	No data	SAT TT=2.41	No data	? (TO) TT=2416.05	? TT=1410.47
MagicSequence/ MagicSequence-count-s1/ MagicSequence-1000-co.xml	SAT TT=14.81	SAT TT=60.612	? (NS) TT=1.606	? (NS) TT=1.609	SAT TT=107.262	SAT TT=114.486	SAT TT=14.918	SAT TT=14.81	SAT TT=133.398	SAT TT=136.141	SAT TT=302.927	SAT TT=91.299	? (MO) TT=27.512	SAT TT=979.524	No data	SAT TT=22.454	No data	? TT=2133.16	SAT TT=340.005	SAT TT=58.751	? (NS) TT=1.629	SAT TT=197.105	SAT TT=207.045	SAT TT=286.749	SAT TT=62.214	? (MO) TT=27.964	SAT TT=953.355	No data	SAT TT=48.889	No data	? (TO) TT=2416.12	? TT=1833.27
MagicSequence/ MagicSequence-count-s1/ MagicSequence-600-co.xml	SAT TT=6.412	SAT TT=14.472	? (NS) TT=0.474	? (NS) TT=0.475	SAT TT=37.999	SAT TT=40.97	SAT TT=6.088	SAT TT=6.412	SAT TT=41.411	SAT TT=41.143	SAT TT=34.791	SAT TT=14.928	SAT TT=21.962	SAT TT=126.893	No data	SAT TT=12.816	No data	SAT TT=106.783	SAT TT=127.944	SAT TT=15.162	? (NS) TT=0.534	SAT TT=65.267	SAT TT=62.351	SAT TT=55.28	SAT TT=14.442	SAT TT=22.222	SAT TT=123.117	No data	SAT TT=20.091	No data	? (TO) TT=2416.12	? TT=1775.11
MagicSquare/ MagicSquare-m1-gp/ MagicSquare-9-f10-12.xml	SAT TT=0.03	SAT TT=3.099	? (NS) TT=0.012	? (NS) TT=0.012	SAT TT=22.145	SAT TT=23.463	SAT TT=31.644	SAT TT=31.246	? (TO) TT=2520.02	? (TO) TT=2520.04	SAT TT=74.392	SAT TT=9.302	SAT TT=4.283	SAT TT=0.03	No data	? (TO) TT=2520.03	No data	? (TO) TT=19846.1	? (TO) TT=19859.199	SAT TT=3.409	? (NS) TT=0.02	SAT TT=39.66	SAT TT=37.145	SAT TT=82.513	SAT TT=9.211	SAT TT=4.294	SAT TT=0.741	No data	? (TO) TT=2400.09	No data	? (TO) TT=2400.23	? (TO) TT=2520.18
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	BTD 2017-07-25 (complete)	BTD 2017-08-10 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: BTD 2017-06-30 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
MagicSquare/ MagicSquare-m1-gp/ MagicSquare-9-f10-13.xml	SAT TT=1.345	SAT TT=3.489	? (NS) TT=0.012	? (NS) TT=0.012	SAT TT=11.852	SAT TT=18.05	SAT TT=76.48	SAT TT=74.975	SAT TT=61.526	SAT TT=60.161	SAT TT=454.042	SAT TT=43.443	SAT TT=1.66	SAT TT=1.345	No data	? (TO) TT=2520.03	No data	? (TO) TT=19851.301	? (TO) TT=19842.301	SAT TT=3.944	? (NS) TT=0.021	SAT TT=16.982	SAT TT=19.349	SAT TT=485.531	SAT TT=43.393	SAT TT=1.71	SAT TT=0.855	No data	? (TO) TT=2400.07	No data	? (TO) TT=2400.2	? (TO) TT=2520.17
MagicSquare/ MagicSquare-m1-gp/ MagicSquare-9-f10-20.xml	SAT TT=0.475	SAT TT=14.782	? (NS) TT=0.012	? (NS) TT=0.012	SAT TT=10.262	SAT TT=9.369	SAT TT=95.039	SAT TT=95.576	SAT TT=421.038	SAT TT=421.664	? (TO) TT=2520.47	SAT TT=0.894	SAT TT=1.761	SAT TT=0.475	No data	SAT TT=3.45	No data	? (TO) TT=19847	? (TO) TT=19852.9	SAT TT=15.094	? (NS) TT=0.021	SAT TT=15.793	SAT TT=12.873	? (TO) TT=2401.02	SAT TT=0.941	SAT TT=1.782	SAT TT=0.041	No data	SAT TT=3.153	No data	? (TO) TT=2400.13	? (TO) TT=2520.4
MagicSquare/ MagicSquare-m1-gp/ MagicSquare-9-f50-01.xml	SAT TT=0.595	SAT TT=2.498	? (NS) TT=0.012	? (NS) TT=0.012	SAT TT=13.777	SAT TT=13.051	SAT TT=5.801	SAT TT=5.632	SAT TT=24.742	SAT TT=25.186	SAT TT=36.599	SAT TT=0.595	SAT TT=2.941	SAT TT=1.75	No data	SAT TT=3.938	No data	SAT (TO) TT=19842.9	SAT TT=8.145	SAT TT=3.091	? (NS) TT=0.02	SAT TT=23.147	SAT TT=21.257	SAT TT=39.978	SAT TT=0.646	SAT TT=2.973	SAT TT=0.132	No data	SAT TT=4.159	No data	? (TO) TT=2400.17	? (TO) TT=2520.12
MagicSquare/ MagicSquare-m1-gp/ MagicSquare-9-f50-12.xml	SAT TT=0.096	SAT TT=3.614	? (NS) TT=0.012	? (NS) TT=0.012	SAT TT=12.542	SAT TT=15.437	SAT TT=6.663	SAT TT=6.501	SAT TT=12.618	SAT TT=12.83	SAT TT=10.16	SAT TT=0.096	SAT TT=1.041	SAT TT=1.004	No data	SAT TT=2207.34	No data	SAT (TO) TT=19864.4	SAT TT=13.981	SAT TT=4.272	? (NS) TT=0.016	SAT TT=16.372	SAT TT=13.925	SAT TT=12.629	SAT TT=0.147	SAT TT=1.048	SAT TT=0.287	No data	SAT TT=2278.89	No data	SAT TT=884.568	SAT TT=797.083
MagicSquare/ MagicSquare-m1-gp/ MagicSquare-9-f50-19.xml	SAT TT=0.272	SAT TT=2.137	? (NS) TT=0.012	? (NS) TT=0.012	SAT TT=10.734	SAT TT=10.355	SAT TT=5.512	SAT TT=6.487	SAT TT=10.978	SAT TT=8.888	SAT TT=8.422	SAT TT=1.612	SAT TT=1.205	SAT TT=0.272	No data	SAT TT=1.557	No data	SAT (TO) TT=19862.9	SAT TT=5.083	SAT TT=2.374	? (NS) TT=0.022	SAT TT=23.659	SAT TT=22.899	SAT TT=10.134	SAT TT=1.641	SAT TT=1.227	SAT TT=0.394	No data	SAT TT=1.673	No data	SAT TT=422.305	SAT TT=409.048
MagicSquare/ MagicSquare-mdd-s1/ MagicSquare-13-mdd.xml	SAT TT=4616.67	? (TO) TT=2520.04	? (NS) TT=0.935	? (NS) TT=0.941	SAT TT=9569.62	SAT TT=4616.67	? (TO) TT=2520.03	? (TO) TT=2520.13	? (TO) TT=2520.23	? (TO) TT=2520.05	? (TO) TT=2528.2	? (TO) TT=2519.76	? (TO) TT=2520.07	? (TO) TT=2520.03	No data	? (TO) TT=2520.08	No data	? (TO) TT=2540.59	? (TO) TT=2540.68	? (TO) TT=2400.06	? (NS) TT=0.999	? (TO) TT=2400.28	? (TO) TT=2400.34	? (TO) TT=2415.82	? (TO) TT=2400.03	? (TO) TT=2400.03	? (TO) TT=2400.07	No data	? (TO) TT=2400.14	No data	? (TO) TT=2415.77	? TT=1465.32
MagicSquare/ MagicSquare-mdd-s1/ MagicSquare-15-mdd.xml		? (TO) TT=2520.11	? (NS) TT=2.384	? (NS) TT=2.386	? (TO) TT=2614.6	? (TO) TT=2610.65	? (TO) TT=2520.1	? (TO) TT=2520.1	? (TO) TT=2520.13	? (TO) TT=2520.04	? TT=559.931	? (TO) TT=2520	? (TO) TT=2519.91	? (TO) TT=2519.47	No data	? (TO) TT=2520.1	No data	? (TO) TT=2577.75	? (TO) TT=2579.62	? (TO) TT=2400.09	? (NS) TT=2.453	? (TO) TT=2400.02	? (TO) TT=2400.01	? TT=827.073	? (TO) TT=2400.07	? (TO) TT=2400.03	? (TO) TT=2400.26	No data	? (TO) TT=2400.15	No data	? TT=670.553	? TT=365.506
MagicSquare/ MagicSquare-mdd-s1/ MagicSquare-3-mdd.xml	SAT TT=0.005	SAT TT=1.053	? (NS) TT=0.006	? (NS) TT=0.006	SAT TT=1.443	SAT TT=1.459	SAT TT=0.894	SAT TT=0.885	SAT TT=0.977	SAT TT=0.992	SAT TT=6.619	SAT TT=0.005	SAT TT=0.005	SAT TT=0.007	No data	SAT TT=1.24	No data	SAT TT=2.251	SAT TT=2.267	SAT TT=1.117	? (NS) TT=0.01	SAT TT=1.651	SAT TT=1.667	SAT TT=7.758	SAT TT=0.006	SAT TT=0.008	SAT TT=0.01	No data	SAT TT=1.621	No data	SAT TT=0.902	SAT TT=0.797
MagicSquare/ MagicSquare-mdd-s1/ MagicSquare-4-mdd.xml	SAT TT=0.012	SAT TT=1.625	? (NS) TT=0.008	? (NS) TT=0.007	SAT TT=2.509	SAT TT=2.52	SAT TT=1.259	SAT TT=1.363	SAT TT=1.456	SAT TT=1.483	SAT TT=7.306	SAT TT=0.012	SAT TT=0.021	SAT TT=0.027	No data	SAT TT=2.496	No data	SAT TT=18.46	SAT TT=7.412	SAT TT=1.927	? (NS) TT=0.012	SAT TT=3	SAT TT=2.863	SAT TT=9.608	SAT TT=0.015	SAT TT=0.04	SAT TT=0.042	No data	SAT TT=2.849	No data	SAT TT=4.92	SAT TT=4.513
MagicSquare/ MagicSquare-mdd-s1/ MagicSquare-6-mdd.xml	SAT TT=0.662	SAT TT=5.288	? (NS) TT=0.014	? (NS) TT=0.014	SAT TT=18.719	SAT TT=21.091	? (TO) TT=2520.03	? (TO) TT=2520.06	SAT TT=23.421	SAT TT=22.91	SAT TT=12.48	SAT TT=0.863	SAT TT=3.853	SAT TT=0.662	No data	? (TO) TT=2528.05	No data	? (TO) TT=2860.3	? (TO) TT=2759.03	SAT TT=5.585	? (NS) TT=0.026	SAT TT=18.774	SAT TT=19.43	SAT TT=16.988	SAT TT=0.928	SAT TT=3.924	SAT TT=1.455	No data	? (TO) TT=2400.13	No data	? TT=1450.7	? TT=1753.44
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	BTD 2017-07-25 (complete)	BTD 2017-08-10 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: BTD 2017-06-30 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
MagicSquare/ MagicSquare-mdd-s1/ MagicSquare-7-mdd.xml	SAT TT=0.401	SAT TT=10.721	? (NS) TT=0.026	? (NS) TT=0.027	SAT TT=65.034	SAT TT=49.924	SAT TT=84.003	SAT TT=82.863	SAT TT=13.885	SAT TT=13.309	SAT TT=157.689	SAT TT=0.401	SAT TT=13.673	SAT TT=2.947	No data	? (TO) TT=2528.25	No data	? TT=9502.17	? (TO) TT=8849.56	SAT TT=10.538	? (NS) TT=0.042	SAT TT=75.146	SAT TT=80.054	SAT TT=178.97	SAT TT=0.456	SAT TT=13.752	SAT TT=1.896	No data	? (TO) TT=2415.66	No data	? (TO) TT=2416.3	? TT=1638.1
MagicSquare/ MagicSquare-sum-s1/ MagicSquare-18-sum.xml	SAT TT=18989.6	? (TO) TT=2520.1	? (TO) TT=2519.85	? (TO) TT=2519.82	SAT TT=2980.19	SAT TT=18989.6	? (TO) TT=2520.06	? (TO) TT=2520.05	? (TO) TT=2520.03	? (TO) TT=2520.07	? (TO) TT=2520.58	? (TO) TT=2520.09	? (TO) TT=2520.04	? (TO) TT=2519.88	No data	? (TO) TT=2520.08	No data	? (TO) TT=19926.699	? (TO) TT=19890.1	? (TO) TT=2400.09	? (TO) TT=2400.08	? (TO) TT=2400.16	? (TO) TT=2400.34	? (TO) TT=2401.16	? (TO) TT=2400.04	? (TO) TT=2400.08	? (TO) TT=2400.07	No data	? (TO) TT=2400.1	No data	? (TO) TT=2415.75	? (problem) TT=1518.86
MagicSquare/ MagicSquare-sum-s1/ MagicSquare-22-sum.xml		? (TO) TT=2520.05	? (TO) TT=2520.1	? (TO) TT=2519.81	? (TO) TT=19948.699	? (TO) TT=19642.301	? (TO) TT=2520.03	? (TO) TT=2520.1	? (TO) TT=2520.04	? (TO) TT=2520.11	? (TO) TT=2520.59	? (TO) TT=2520.03	? (TO) TT=2520.02	? (TO) TT=2519.71	No data	? (TO) TT=2520.06	No data	? (TO) TT=19908.6	? (TO) TT=19917.199	? (TO) TT=2400.1	? (TO) TT=2400.02	? (TO) TT=2400.74	? (TO) TT=2400.67	? (TO) TT=2401.24	? (TO) TT=2400.07	? (TO) TT=2400.05	? (TO) TT=2400.1	No data	? (TO) TT=2400.07	No data	? (TO) TT=2415.91	? (TO) TT=2528.05
MagicSquare/ MagicSquare-sum-s1/ MagicSquare-23-sum.xml		? (TO) TT=2520.08	? (TO) TT=2519.7	? (TO) TT=2519.83	? (TO) TT=19985.699	? (TO) TT=19703.801	? (TO) TT=2520.08	? (TO) TT=2520.09	? (TO) TT=2520.1	? (TO) TT=2520.11	? (TO) TT=2520.64	? (TO) TT=2520	? (TO) TT=2519.76	? (TO) TT=2519.51	No data	? (TO) TT=2520.09	No data	? (TO) TT=19861.801	? (TO) TT=19878	? (TO) TT=2400.08	? (TO) TT=2400.08	? (TO) TT=2400.54	? (TO) TT=2400.61	? (TO) TT=2401.18	? (TO) TT=2400.08	? (TO) TT=2400.08	? (TO) TT=2400.04	No data	? (TO) TT=2400.06	No data	? TT=865.732	? TT=522.581
MagicSquare/ MagicSquare-sum-s1/ MagicSquare-25-sum.xml		? (TO) TT=2520.05	? (TO) TT=2520.02	? (TO) TT=2519.85	? (TO) TT=20010.801	? (TO) TT=19791.199	? (TO) TT=2520.08	? (TO) TT=2520.02	? (TO) TT=2520.11	? (TO) TT=2520.04	? (TO) TT=2520.48	? (TO) TT=2519.84	? (TO) TT=2519.86	? (TO) TT=2520.04	No data	? (TO) TT=2520.11	No data	? (TO) TT=19870.301	? (TO) TT=19876.301	? (TO) TT=2400.06	? (TO) TT=2400.07	? (TO) TT=2400.7	? (TO) TT=2400.26	? (TO) TT=2401.38	? (TO) TT=2400.08	? (TO) TT=2400.11	? (TO) TT=2400.09	No data	? (TO) TT=2400.04	No data	? (TO) TT=2415.88	? (TO) TT=2528.01
MagicSquare/ MagicSquare-sum-s1/ MagicSquare-26-sum.xml		? (TO) TT=2520.09	? (TO) TT=2520.02	? (TO) TT=2519.81	? (TO) TT=20017.301	? (TO) TT=19816.4	? (TO) TT=2520.04	? (TO) TT=2520.08	? (TO) TT=2520.05	? (TO) TT=2520.12	? (TO) TT=2520.51	? (TO) TT=2519.75	? (TO) TT=2519.87	? (TO) TT=2519.81	No data	? (TO) TT=2520.03	No data	? (TO) TT=19851.6	? (TO) TT=19829.801	? (TO) TT=2400.12	? (TO) TT=2400.08	? (TO) TT=2400.35	? (TO) TT=2400.42	? (TO) TT=2400.84	? (TO) TT=2400.06	? (TO) TT=2400.27	? (TO) TT=2400.03	No data	? (TO) TT=2400.03	No data	? (TO) TT=2416.18	? (TO) TT=2528.35
MagicSquare/ MagicSquare-sum-s1/ MagicSquare-3-sum.xml	SAT TT=0.002	SAT TT=0.918	SAT TT=0.002	SAT TT=0.002	SAT TT=0.953	SAT TT=0.933	SAT TT=0.76	SAT TT=0.78	SAT TT=0.843	SAT TT=0.837	SAT TT=6.398	SAT TT=0.004	SAT TT=0.004	SAT TT=0.005	No data	SAT TT=1.076	No data	SAT TT=1.807	SAT TT=1.838	SAT TT=1.244	SAT TT=0.002	SAT TT=1.095	SAT TT=1.061	SAT TT=7.613	SAT TT=0.007	SAT TT=0.007	SAT TT=0.008	No data	SAT TT=1.246	No data	SAT TT=0.784	SAT TT=0.67
MagicSquare/ MagicSquare-table-s1/ MagicSquare-3-table.xml	SAT TT=0.002	SAT TT=0.99	SAT TT=0.002	SAT TT=0.002	SAT TT=1.234	SAT TT=1.212	SAT TT=0.819	SAT TT=0.813	SAT TT=0.877	SAT TT=0.901	SAT TT=6.142	SAT TT=0.005	SAT TT=0.004	SAT TT=0.006	No data	SAT TT=1.099	No data	SAT TT=2.156	SAT TT=2.203	SAT TT=1.152	SAT TT=0.003	SAT TT=1.411	SAT TT=1.314	SAT TT=7.751	SAT TT=0.007	SAT TT=0.007	SAT TT=0.007	No data	SAT TT=1.136	No data	SAT TT=1.437	SAT TT=1.177
MagicSquare/ MagicSquare-table-s1/ MagicSquare-4-table.xml	SAT TT=0.036	SAT TT=1.584	SAT TT=0.043	SAT TT=0.043	SAT TT=2.259	SAT TT=2.296	SAT TT=1.275	SAT TT=1.349	SAT TT=1.418	SAT TT=1.439	SAT TT=8.44	SAT TT=0.036	SAT TT=0.035	SAT TT=0.039	No data	SAT TT=1.763	No data	SAT TT=15.957	SAT TT=6.586	SAT TT=1.928	SAT TT=0.074	SAT TT=2.778	SAT TT=2.425	SAT TT=11.55	SAT TT=0.06	SAT TT=0.052	SAT TT=0.065	No data	SAT TT=1.942	No data	SAT TT=83.592	SAT TT=82.515
MagicSquare/ MagicSquare-table-s1/ MagicSquare-5-table.xml	SAT TT=3.006	SAT TT=4.5	SAT TT=22.665	SAT TT=22.48	SAT TT=55.977	SAT TT=56.547	SAT TT=6.625	SAT TT=6.58	SAT TT=6.633	SAT TT=6.81	SAT TT=21.259	SAT TT=3.006	SAT TT=4.83	SAT TT=5.837	No data	SAT TT=5.733	No data	SAT (TO) TT=20005.6	SAT (TO) TT=5072.04	SAT TT=5.449	SAT TT=22.429	SAT TT=51.613	SAT TT=46.396	SAT TT=30.253	SAT TT=3.037	SAT TT=4.806	SAT TT=4.112	No data	SAT TT=7.144	No data	? (TO) TT=2416.12	? TT=2065.36
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	BTD 2017-07-25 (complete)	BTD 2017-08-10 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: BTD 2017-06-30 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
MagicSquare/ MagicSquare-table-s1/ MagicSquare-6-table.xml	SAT TT=481.45	? (problem) TT=194.588	? (MO) TT=97.589	? (MO) TT=98.32	? TT=3095.6	? TT=1208.82	? TT=527.867	? TT=483.306	? TT=533.475	? (TO) TT=2528.09	? (TO) TT=2527.08	SAT TT=481.45	SAT TT=481.591	? (NS) TT=163.112	No data	? (TO) TT=2528.11	No data	? (TO) TT=18748	? TT=4211.1	? (problem) TT=537.644	? (MO) TT=97.387	? (TO) TT=2400.53	? (TO) TT=2400.29	? TT=595.964	SAT TT=479.762	SAT TT=479.16	? (NS) TT=165.685	No data	? (TO) TT=2415.99	No data	? TT=534.997	? TT=189.565
MarketSplit/ MarketSplit-m1-gp/ MarketSplit-03.xml	SAT TT=6.06	SAT TT=7.329	? TT=2520	? (TO) TT=2519.8	SAT TT=20.377	SAT TT=52.016	SAT TT=7.255	SAT TT=8.104	SAT TT=830.759	SAT TT=793.13	SAT TT=28.678	SAT TT=33.669	SAT TT=33.908	SAT TT=20.397	No data	SAT TT=6.06	No data	SAT TT=25.181	SAT TT=12.921	SAT TT=7.342	? (TO) TT=2400.08	SAT TT=63.779	SAT TT=62.388	SAT TT=33.388	SAT TT=33.859	SAT TT=33.895	SAT TT=6.442	No data	SAT TT=6.097	No data	SAT TT=23.875	SAT TT=33.786
MarketSplit/ MarketSplit-m1-gp/ MarketSplit-05.xml	SAT TT=0.561	SAT TT=28.833	? TT=2520.01	? (TO) TT=2519.8	SAT TT=21.541	SAT TT=21.59	SAT TT=5.068	SAT TT=4.307	SAT TT=26.729	SAT TT=26.041	SAT TT=41.146	SAT TT=21.643	SAT TT=73.896	SAT TT=0.561	No data	SAT TT=4.323	No data	SAT TT=32.461	SAT TT=11.421	SAT TT=29.311	? TT=2400.02	SAT TT=27.915	SAT TT=25.984	SAT TT=44.62	SAT TT=21.751	SAT TT=73.617	SAT TT=8.268	No data	SAT TT=4.405	No data	SAT TT=1048.7	SAT TT=1287.65
MarketSplit/ MarketSplit-m1-gp/ MarketSplit-07.xml	SAT TT=8.274	SAT TT=14.197	? (TO) TT=2519.78	? (TO) TT=2519.8	SAT TT=48.51	SAT TT=53.004	SAT TT=7.567	SAT TT=9.306	SAT TT=873.786	SAT TT=899.072	SAT TT=52.73	SAT TT=94.936	SAT TT=29.943	SAT TT=28.954	No data	SAT TT=8.274	No data	SAT TT=30.996	SAT TT=29.289	SAT TT=14.683	? TT=2400.06	SAT TT=84.49	SAT TT=88.423	SAT TT=55.511	SAT TT=94.472	SAT TT=29.738	SAT TT=41.757	No data	SAT TT=8.85	No data	SAT TT=2144.02	SAT TT=2181.88
MarketSplit/ MarketSplit-m1-gp/ MarketSplit-08.xml	SAT TT=0.043	SAT TT=15.724	? (TO) TT=2520.01	? (TO) TT=2519.76	SAT TT=20.587	SAT TT=60.126	SAT TT=8.994	SAT TT=7.829	SAT TT=76.043	SAT TT=72.583	SAT TT=30.874	SAT TT=33.59	SAT TT=26.521	SAT TT=0.043	No data	SAT TT=9.878	No data	SAT TT=33.8	SAT TT=27.26	SAT TT=15.429	? (TO) TT=2400.02	SAT TT=56.85	SAT TT=57.508	SAT TT=34.989	SAT TT=33.641	SAT TT=26.4	SAT TT=0.558	No data	SAT TT=10.296	No data	? (TO) TT=2400.06	? (TO) TT=2520.14
MarketSplit/ MarketSplit-m1-gp/ MarketSplit-09.xml	SAT TT=13.388	SAT TT=16.304	? (TO) TT=2519.21	? (TO) TT=2519.74	SAT TT=120.395	SAT TT=64.393	SAT TT=21.103	SAT TT=21.262	SAT TT=650.753	SAT TT=629.067	SAT TT=44.786	SAT TT=13.899	SAT TT=16.566	SAT TT=16.227	No data	SAT TT=13.388	No data	SAT TT=15.124	SAT TT=13.512	SAT TT=16.029	? TT=2400.01	SAT TT=92.269	SAT TT=90.686	SAT TT=47.874	SAT TT=13.921	SAT TT=16.524	SAT TT=1.204	No data	SAT TT=13.644	No data	? (TO) TT=2401.4	? (TO) TT=2520.25
MarketSplit/ MarketSplit-m1-gp/ MarketSplit-10.xml	SAT TT=15.432	SAT TT=15.432	SAT TT=2241.74	SAT TT=2241.83	SAT TT=86.332	SAT TT=83.206	SAT TT=235.566	SAT TT=234.552	SAT TT=253.505	SAT TT=243.918	SAT TT=77.777	SAT TT=274.056	SAT TT=173.188	SAT TT=74.369	No data	SAT TT=21.862	No data	SAT TT=26.757	SAT TT=21.024	SAT TT=15.782	SAT TT=2236.7	SAT TT=90.779	SAT TT=90.925	SAT TT=80.652	SAT TT=272.958	SAT TT=172.957	SAT TT=30.36	No data	SAT TT=22.703	No data	? (TO) TT=2400.1	? (TO) TT=2520.09
Mixed/ Mixed-xcsp2-cril/ cril-1_X2.xml	UNSAT TT=0.185	UNSAT TT=3.988	UNSAT TT=1.285	UNSAT TT=1.265	UNSAT TT=83.466	UNSAT TT=86.66	UNSAT TT=9.557	UNSAT TT=8.466	UNSAT TT=13.244	UNSAT TT=12.728	UNSAT TT=45.907	UNSAT TT=0.185	UNSAT TT=0.309	UNSAT TT=1.153	No data	UNSAT TT=139.344	No data	UNSAT TT=1510.22	UNSAT TT=1524.09	UNSAT TT=4.557	UNSAT TT=1.316	UNSAT TT=134.602	UNSAT TT=159.12	UNSAT TT=57.406	UNSAT TT=0.243	UNSAT TT=0.367	UNSAT TT=1.19	No data	UNSAT TT=154.174	No data	UNSAT TT=16.445	UNSAT TT=14.678
Mixed/ Mixed-xcsp2-cril/ cril-3_X2.xml	UNSAT TT=2.898	UNSAT TT=26.783	UNSAT TT=61.195	UNSAT TT=54.122	UNSAT TT=7.235	UNSAT TT=7.524	UNSAT TT=11.631	UNSAT TT=12.301	UNSAT TT=25.383	UNSAT TT=25.495	UNSAT TT=13.834	UNSAT TT=72.299	UNSAT TT=179.796	UNSAT TT=367.501	No data	UNSAT TT=819.39	No data	? (TO) TT=8565	? (TO) TT=8412.94	UNSAT TT=28.172	UNSAT TT=55.138	UNSAT TT=7.27	UNSAT TT=7.453	UNSAT TT=17.931	UNSAT TT=75.03	UNSAT TT=178.6	UNSAT TT=820.668	No data	UNSAT TT=834.334	No data	UNSAT TT=3.973	UNSAT TT=2.898
Mixed/ Mixed-xcsp2-cril/ cril-5_X2.xml	UNSAT TT=0.111	UNSAT TT=1.932	UNSAT TT=3.748	UNSAT TT=3.593	UNSAT TT=8.579	UNSAT TT=12.971	UNSAT TT=4.214	UNSAT TT=3.606	UNSAT TT=5.176	UNSAT TT=6.044	UNSAT TT=13.942	UNSAT TT=0.111	UNSAT TT=0.088	UNSAT TT=0.416	No data	UNSAT TT=3.994	No data	UNSAT TT=493.735	UNSAT TT=493.959	UNSAT TT=2.235	UNSAT TT=3.413	UNSAT TT=11.532	UNSAT TT=12.645	UNSAT TT=17.186	UNSAT TT=0.164	UNSAT TT=0.134	UNSAT TT=0.448	No data	UNSAT TT=4.051	No data	? (TO) TT=2400.14	? (TO) TT=2520.1
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	BTD 2017-07-25 (complete)	BTD 2017-08-10 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: BTD 2017-06-30 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
Mixed/ Mixed-xcsp2-cril/ cril-7_X2.xml	UNSAT TT=5.023	UNSAT TT=6.954	UNSAT TT=29.247	UNSAT TT=29.256	UNSAT TT=33.832	UNSAT TT=23.031	UNSAT TT=11.438	UNSAT TT=11.531	UNSAT TT=5.254	UNSAT TT=5.023	UNSAT TT=258.486	UNSAT TT=10.205	UNSAT TT=3.371	UNSAT TT=84.732	No data	UNSAT TT=10.358	No data	UNSAT TT=92.712	UNSAT TT=106.772	UNSAT TT=7.281	UNSAT TT=29.309	UNSAT TT=30.749	UNSAT TT=30.637	UNSAT TT=283.498	UNSAT TT=10.264	UNSAT TT=3.413	UNSAT TT=81.195	No data	UNSAT TT=10.666	No data	UNSAT TT=75.384	UNSAT TT=72.614
Mixed/ Mixed-xcsp2-nengfa/ color_X2.xml	UNSAT TT=4.705	UNSAT TT=4.862	UNSAT TT=14.097	UNSAT TT=11.369	UNSAT TT=14.685	UNSAT TT=15.186	UNSAT TT=4.722	UNSAT TT=4.705	UNSAT TT=7.601	UNSAT TT=7.422	UNSAT TT=41.878	UNSAT TT=11.952	UNSAT TT=12.241	UNSAT TT=9.886	No data	UNSAT TT=890.104	No data	UNSAT TT=2236.8	UNSAT TT=1780.62	UNSAT TT=6.085	UNSAT TT=12.12	UNSAT TT=20.04	UNSAT TT=19.118	UNSAT TT=46.276	UNSAT TT=12.028	UNSAT TT=12.462	UNSAT TT=9.679	No data	UNSAT TT=910.623	No data	UNSAT TT=7.145	UNSAT TT=5.943
Mixed/ Mixed-xcsp2-nengfa/ sudoku368_X2.xml	SAT TT=0.038	SAT TT=1.897	SAT TT=0.642	SAT TT=0.64	SAT TT=3.315	SAT TT=3.151	SAT TT=1.317	SAT TT=1.3	SAT TT=1.402	SAT TT=1.418	SAT TT=8.72	SAT TT=0.133	SAT TT=0.094	SAT TT=0.038	No data	SAT TT=1.749	No data	SAT TT=4.357	SAT TT=4.386	SAT TT=2.365	SAT TT=0.628	SAT TT=3.645	SAT TT=3.265	SAT TT=10.492	SAT TT=0.151	SAT TT=0.143	SAT TT=0.043	No data	SAT TT=1.804	No data	SAT TT=1.686	SAT TT=1.319
MultiKnapsack/ MultiKnapsack-m1-gp/ MultiKnapsack-1-03.xml	SAT TT=0.006	SAT TT=0.911	SAT TT=0.123	SAT TT=0.122	SAT TT=1.161	SAT TT=1.053	SAT TT=0.85	SAT TT=0.853	SAT TT=1.375	SAT TT=1.351	SAT TT=6.708	SAT TT=0.02	SAT TT=0.021	SAT TT=0.006	No data	SAT TT=1.046	No data	SAT TT=3.242	SAT TT=3.443	SAT TT=1.059	SAT TT=0.172	SAT TT=1.301	SAT TT=1.272	SAT TT=7.853	SAT TT=0.029	SAT TT=0.034	SAT TT=0.009	No data	SAT TT=1.095	No data	SAT TT=5.331	SAT TT=5.009
MultiKnapsack/ MultiKnapsack-m1-gp/ MultiKnapsack-2-16.xml	SAT TT=0.035	SAT TT=4.072	? (TO) TT=2520.01	? (TO) TT=2519.83	SAT TT=3.679	SAT TT=2.768	SAT TT=4.808	SAT TT=5.037	SAT TT=14.469	SAT TT=14.209	SAT TT=61.408	SAT TT=8.065	SAT TT=1.767	SAT TT=0.035	No data	SAT TT=1.893	No data	SAT TT=9.661	SAT TT=8.013	SAT TT=4.517	? (TO) TT=2400.02	SAT TT=4.183	SAT TT=4.987	SAT TT=61.854	SAT TT=8.308	SAT TT=1.826	SAT TT=0.293	No data	SAT TT=1.994	No data	? (TO) TT=2400.1	? (TO) TT=2520.07
MultiKnapsack/ MultiKnapsack-m1-gp/ MultiKnapsack-2-21.xml	SAT TT=0.13	SAT TT=5.611	? (TO) TT=2520.1	? (TO) TT=2519.82	SAT TT=3.483	SAT TT=3.283	SAT TT=8.184	SAT TT=8.363	SAT TT=146.617	SAT TT=142.966	SAT TT=19.199	SAT TT=9.698	SAT TT=13.9	SAT TT=0.13	No data	SAT TT=1.404	No data	SAT TT=6.854	SAT TT=5.227	SAT TT=5.93	? (TO) TT=2400.08	SAT TT=3.336	SAT TT=3.719	SAT TT=21.814	SAT TT=9.889	SAT TT=14.254	SAT TT=0.25	No data	SAT TT=1.404	No data	SAT TT=1515.3	SAT TT=1534.27
MultiKnapsack/ MultiKnapsack-m1-gp/ MultiKnapsack-2-22.xml	SAT TT=0.296	SAT TT=8.88	? (TO) TT=2519.99	? (TO) TT=2519.83	SAT TT=3.111	SAT TT=4.153	SAT TT=20.833	SAT TT=21.992	SAT TT=338.317	SAT TT=341.396	SAT TT=138.42	SAT TT=2.618	SAT TT=36.352	SAT TT=0.296	No data	SAT TT=1.535	No data	SAT TT=8.699	SAT TT=6.479	SAT TT=9.16	? (TO) TT=2400.06	SAT TT=4.928	SAT TT=5.777	SAT TT=141.991	SAT TT=2.7	SAT TT=37.188	SAT TT=0.087	No data	SAT TT=1.685	No data	? (TO) TT=2400.16	? (TO) TT=2520.07
MultiKnapsack/ MultiKnapsack-m1-gp/ MultiKnapsack-2-41.xml	SAT TT=0.027	SAT TT=1.518	SAT TT=52.485	SAT TT=52.216	SAT TT=1.89	SAT TT=1.598	SAT TT=1.067	SAT TT=1.075	SAT TT=3.232	SAT TT=3.415	SAT TT=9.365	SAT TT=0.214	Wrong UNSAT TT=0.323	SAT TT=0.027	No data	SAT TT=1.105	No data	SAT TT=5.533	SAT TT=4.181	SAT TT=1.832	SAT TT=52.18	SAT TT=2.058	SAT TT=1.848	SAT TT=10.976	SAT TT=0.232	Wrong UNSAT TT=0.38	SAT TT=0.041	No data	SAT TT=1.144	No data	SAT TT=34.198	SAT TT=48.208
MultiKnapsack/ MultiKnapsack-m1-gp/ MultiKnapsack-2-48.xml	SAT TT=3.624	SAT TT=10.3	? (TO) TT=2520.02	? (TO) TT=2519.75	SAT TT=5.988	SAT TT=7.096	SAT TT=4.666	SAT TT=5.054	SAT TT=36.126	SAT TT=36.104	SAT TT=21.245	SAT TT=17.843	SAT TT=13.533	SAT TT=3.994	No data	SAT TT=3.624	No data	SAT TT=12.473	SAT TT=9.844	SAT TT=10.59	? (TO) TT=2400.05	SAT TT=11.343	SAT TT=14.899	SAT TT=24.487	SAT TT=18.226	SAT TT=13.89	SAT TT=2.965	No data	SAT TT=3.726	No data	? (TO) TT=2400.11	? (TO) TT=2520.09
MultiKnapsack/ MultiKnapsack-xcsp2-s1/ MultiKnapsack-1-5_X2.xml	SAT TT=0.35	SAT TT=5.097	? (TO) TT=2520.08	? (TO) TT=2519.83	SAT TT=4.521	SAT TT=5.45	SAT TT=2.767	SAT TT=2.937	SAT TT=13.26	SAT TT=13.844	SAT TT=10.04	SAT TT=0.35	SAT TT=2.783	SAT TT=1.166	No data	SAT TT=1.699	No data	SAT TT=12.982	SAT TT=7.509	SAT TT=5.398	? (TO) TT=2400.08	SAT TT=10.278	SAT TT=9.855	SAT TT=11.926	SAT TT=0.408	SAT TT=2.868	SAT TT=0.303	No data	SAT TT=1.883	No data	? (TO) TT=2400.11	? (TO) TT=2520.12
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	BTD 2017-07-25 (complete)	BTD 2017-08-10 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: BTD 2017-06-30 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
MultiKnapsack/ MultiKnapsack-xcsp2-s1/ MultiKnapsack-1-6_X2.xml	SAT TT=17.285	SAT TT=422.911	? (TO) TT=2519.84	? (TO) TT=2519.86	SAT TT=17.725	SAT TT=17.285	SAT TT=46.729	SAT TT=47.188	SAT TT=651.184	SAT TT=669.22	SAT TT=758.253	SAT TT=271.381	SAT TT=431.864	SAT TT=71.359	No data	SAT TT=69.811	No data	SAT TT=100.609	SAT TT=59.886	SAT TT=422.255	? (TO) TT=2400.03	SAT TT=39.926	SAT TT=39.399	SAT TT=819.315	SAT TT=276.22	SAT TT=438.151	SAT TT=70.704	No data	SAT TT=69.949	No data	? (TO) TT=2400.13	? (TO) TT=2520.13
Nonogram/ Nonogram-regular-gp/ Nonogram-008-regular.xml	SAT TT=0.035	SAT TT=1.917	? (NS) TT=0.009	? (NS) TT=0.009	SAT TT=3.689	SAT TT=3.7	SAT TT=1.987	SAT TT=2.004	SAT TT=4.005	SAT TT=4.02	SAT TT=10.057	SAT TT=0.035	SAT TT=0.081	SAT TT=0.069	No data	SAT TT=2.015	No data	? TT=6.337	? TT=7.051	SAT TT=2.395	? (NS) TT=0.012	SAT TT=4.349	SAT TT=4.68	SAT TT=13.281	SAT TT=0.043	SAT TT=0.121	SAT TT=0.075	No data	SAT TT=2.215	No data	SAT TT=18.433	SAT TT=12.49
Nonogram/ Nonogram-regular-gp/ Nonogram-040-regular.xml	SAT TT=0.03	SAT TT=2.199	? (NS) TT=0.009	? (NS) TT=0.009	SAT TT=4.942	SAT TT=5.122	SAT TT=1.505	SAT TT=1.506	SAT TT=2.044	SAT TT=2.009	SAT TT=9.804	SAT TT=0.03	SAT TT=0.061	SAT TT=0.067	No data	SAT TT=2.477	No data	? TT=6.938	? TT=7.155	SAT TT=2.855	? (NS) TT=0.015	SAT TT=4.603	SAT TT=4.569	SAT TT=13.229	SAT TT=0.051	SAT TT=0.084	SAT TT=0.096	No data	SAT TT=2.866	No data	SAT TT=75.979	SAT TT=60.963
Nonogram/ Nonogram-regular-gp/ Nonogram-085-regular.xml	SAT TT=0.02	SAT TT=1.757	? (NS) TT=0.009	? (NS) TT=0.009	SAT TT=3.906	SAT TT=3.71	SAT TT=1.5	SAT TT=1.514	SAT TT=1.975	SAT TT=1.984	SAT TT=9.478	SAT TT=0.02	SAT TT=0.02	SAT TT=0.031	No data	SAT TT=1.912	No data	? TT=5.124	? TT=5.272	SAT TT=2.297	? (NS) TT=0.013	SAT TT=3.839	SAT TT=4.143	SAT TT=12.647	SAT TT=0.035	SAT TT=0.035	SAT TT=0.044	No data	SAT TT=2.184	No data	SAT TT=3.82	SAT TT=3.161
Nonogram/ Nonogram-regular-gp/ Nonogram-108-regular.xml	SAT TT=0.034	SAT TT=2.518	? (NS) TT=0.012	? (NS) TT=0.012	SAT TT=8.863	SAT TT=8.969	SAT TT=3.194	SAT TT=2.622	SAT TT=6.542	SAT TT=6.925	SAT TT=11.686	SAT TT=0.034	SAT TT=0.035	SAT TT=0.066	No data	SAT TT=2.322	No data	? TT=5.173	? TT=5.351	SAT TT=3.192	? (NS) TT=0.021	SAT TT=10.973	SAT TT=10.232	SAT TT=14.789	SAT TT=0.056	SAT TT=0.045	SAT TT=0.139	No data	SAT TT=2.612	No data	SAT TT=73.283	SAT TT=31.85
Nonogram/ Nonogram-regular-gp/ Nonogram-109-regular.xml	SAT TT=0.011	SAT TT=1.366	? (NS) TT=0.007	? (NS) TT=0.007	SAT TT=2.986	SAT TT=3.147	SAT TT=1.283	SAT TT=1.34	SAT TT=1.655	SAT TT=1.646	SAT TT=8.005	SAT TT=0.011	SAT TT=0.011	SAT TT=0.017	No data	SAT TT=1.576	No data	? TT=3.202	? TT=3.417	SAT TT=1.631	? (NS) TT=0.01	SAT TT=2.978	SAT TT=3.524	SAT TT=10.44	SAT TT=0.013	SAT TT=0.014	SAT TT=0.026	No data	SAT TT=1.707	No data	SAT TT=2.514	SAT TT=2.214
Nonogram/ Nonogram-regular-gp/ Nonogram-124-regular.xml	SAT TT=0.062	SAT TT=2.465	? (NS) TT=0.009	? (NS) TT=0.009	SAT TT=7.317	SAT TT=8.547	SAT TT=2.15	SAT TT=2.156	SAT TT=3.78	SAT TT=3.705	SAT TT=9.467	SAT TT=0.062	SAT TT=0.05	SAT TT=0.231	No data	SAT TT=2.36	No data	? TT=10.336	? TT=10.477	SAT TT=3.184	? (NS) TT=0.012	SAT TT=13.267	SAT TT=9.544	SAT TT=12.833	SAT TT=0.079	SAT TT=0.076	SAT TT=0.186	No data	SAT TT=2.939	No data	SAT TT=7.357	SAT TT=6.386
Nonogram/ Nonogram-table-s1/ Nonogram-018-table.xml	SAT TT=0.591	SAT TT=3.012	SAT TT=0.594	SAT TT=0.591	SAT TT=7.742	SAT TT=7.533	SAT TT=2.459	SAT TT=2.535	SAT TT=2.774	SAT TT=2.773	SAT TT=13.305	SAT TT=1.272	SAT TT=1.27	SAT TT=1.38	No data	SAT TT=3.237	No data	SAT TT=8.573	SAT TT=8.104	SAT TT=3.515	SAT TT=0.625	SAT TT=8.484	SAT TT=8.525	SAT TT=16.491	SAT TT=1.318	SAT TT=1.326	SAT TT=1.443	No data	SAT TT=3.768	No data	? TT=1768.66	? TT=1065.33
Nonogram/ Nonogram-table-s1/ Nonogram-035-table.xml	SAT TT=0.187	SAT TT=2.078	SAT TT=0.394	SAT TT=0.388	SAT TT=3.823	SAT TT=3.387	SAT TT=1.883	SAT TT=1.887	SAT TT=2.396	SAT TT=2.406	SAT TT=11.107	SAT TT=0.187	SAT TT=0.192	SAT TT=0.279	No data	SAT TT=2.344	No data	SAT TT=4.266	SAT TT=4.301	SAT TT=2.66	SAT TT=0.417	SAT TT=4.209	SAT TT=3.778	SAT TT=14.296	SAT TT=0.244	SAT TT=0.232	SAT TT=0.324	No data	SAT TT=2.627	No data	? (TO) TT=2401.23	? (TO) TT=2520.13
Nonogram/ Nonogram-table-s1/ Nonogram-096-table.xml	SAT TT=0.869	SAT TT=3.418	SAT TT=0.871	SAT TT=0.869	SAT TT=11.072	SAT TT=11.642	SAT TT=3.099	SAT TT=2.857	SAT TT=3.004	SAT TT=3.093	SAT TT=13.727	SAT TT=2.746	SAT TT=2.756	SAT TT=2.821	No data	SAT TT=3.478	No data	SAT TT=8.33	SAT TT=8.352	SAT TT=4.33	SAT TT=0.898	SAT TT=13.603	SAT TT=13.736	SAT TT=20.142	SAT TT=2.782	SAT TT=2.796	SAT TT=2.898	No data	SAT TT=4.313	No data	? (TO) TT=2415.73	? TT=1080.7
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	BTD 2017-07-25 (complete)	BTD 2017-08-10 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: BTD 2017-06-30 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
Nonogram/ Nonogram-table-s1/ Nonogram-168-table.xml	SAT TT=0.15	SAT TT=2.376	SAT TT=0.151	SAT TT=0.15	SAT TT=4.004	SAT TT=4.025	SAT TT=2.053	SAT TT=2.045	SAT TT=2.046	SAT TT=2.243	SAT TT=10.324	SAT TT=0.424	SAT TT=0.424	SAT TT=0.443	No data	SAT TT=2.902	No data	SAT TT=4.336	SAT TT=4.389	SAT TT=2.69	SAT TT=0.193	SAT TT=4.79	SAT TT=4.57	SAT TT=13.306	SAT TT=0.481	SAT TT=0.489	SAT TT=0.503	No data	SAT TT=3.387	No data	? (TO) TT=2400.14	? (TO) TT=2520.12
Nonogram/ Nonogram-table-s1/ Nonogram-177-table.xml	SAT TT=0.401	SAT TT=2.735	SAT TT=0.403	SAT TT=0.401	SAT TT=6.102	SAT TT=6.673	SAT TT=2.384	SAT TT=2.339	SAT TT=2.468	SAT TT=2.491	SAT TT=13.812	SAT TT=1.202	SAT TT=1.196	SAT TT=1.239	No data	SAT TT=3.14	No data	SAT TT=7.043	SAT TT=7.566	SAT TT=3.492	SAT TT=0.44	SAT TT=7.765	SAT TT=7.443	SAT TT=17.812	SAT TT=1.235	SAT TT=1.257	SAT TT=1.283	No data	SAT TT=3.59	No data	? (TO) TT=2400.15	? (TO) TT=2521.61
Nonogram/ Nonogram-table-s1/ Nonogram-180-table.xml	SAT TT=4.287	SAT TT=5.684	SAT TT=4.297	SAT TT=4.287	SAT TT=36.733	SAT TT=36.772	SAT TT=5.536	SAT TT=5.6	SAT TT=5.899	SAT TT=5.763	SAT TT=26.705	SAT TT=12.761	SAT TT=12.768	SAT TT=12.979	No data	SAT TT=6.679	No data	SAT TT=41.484	SAT TT=39.907	SAT TT=7.196	SAT TT=4.198	SAT TT=46.167	SAT TT=46.113	SAT TT=35.76	SAT TT=12.783	SAT TT=12.797	SAT TT=13.276	No data	SAT TT=8.015	No data	? (TO) TT=2416.27	? TT=1495.86
NumberPartitioning/ NumberPartitioning-m1-s1/ NumberPartitioning-048.xml	SAT TT=0.101	SAT TT=2.06	? (NS) TT=0.307	? (NS) TT=0.306	SAT TT=11.166	SAT TT=10.97	SAT TT=2.714	SAT TT=2.707	SAT TT=3.645	SAT TT=3.632	SAT TT=161.304	SAT TT=12.854	SAT TT=13.042	SAT TT=0.101	No data	SAT TT=2.731	No data	SAT (TO) TT=19793.6	SAT TT=9.72	SAT TT=2.35	? (NS) TT=0.36	SAT TT=12.709	SAT TT=12.8	SAT TT=171.651	SAT TT=13.036	SAT TT=13.067	SAT TT=0.146	No data	SAT TT=2.98	No data	? (TO) TT=2416.19	? TT=1827.85
NumberPartitioning/ NumberPartitioning-m1-s1/ NumberPartitioning-080.xml	SAT TT=0.154	SAT TT=6.474	? (NS) TT=2.695	? (NS) TT=2.712	SAT TT=55.731	SAT TT=59.058	SAT TT=10.043	SAT TT=10.322	SAT TT=14.875	SAT TT=16.777	SAT TT=75.876	SAT TT=559.509	Signal TT=40.72	SAT TT=0.154	No data	SAT TT=6.936	No data	SAT (TO) TT=19888.1	SAT TT=16.198	SAT TT=6.921	? (NS) TT=2.704	SAT TT=65.313	SAT TT=61.563	SAT TT=82.039	SAT TT=558.248	Signal TT=49.665	SAT TT=0.271	No data	SAT TT=8.195	No data	? (TO) TT=2416.19	? (problem) TT=1385.56
NumberPartitioning/ NumberPartitioning-m1-s1/ NumberPartitioning-088.xml	SAT TT=0.186	SAT TT=8.187	? (NS) TT=4.257	? (NS) TT=4.273	SAT TT=91.284	SAT TT=84.272	SAT TT=16.658	SAT TT=17.632	SAT TT=30.782	SAT TT=30.691	? (TO) TT=2520.5	SAT TT=765.657	? (MO) TT=31.636	SAT TT=0.186	No data	? (TO) TT=2520.05	No data	SAT (TO) TT=19888.9	SAT TT=26.475	SAT TT=8.16	? (NS) TT=4.205	SAT TT=96.588	SAT TT=95.043	? (TO) TT=2401.15	SAT TT=663.842	? (MO) TT=32.28	SAT TT=0.695	No data	? (TO) TT=2400.07	No data	? (TO) TT=2415.99	? TT=1777.25
NumberPartitioning/ NumberPartitioning-m1-s1/ NumberPartitioning-124.xml	SAT TT=1.358	SAT TT=22.757	? (NS) TT=26.079	? (NS) TT=26.182	SAT TT=331.655	SAT TT=327.92	? (TO) TT=2520.11	? (TO) TT=2520.05	? (TO) TT=2520.08	? (TO) TT=2520.05	? (TO) TT=2520.57	? (TO) TT=2520.03	Signal TT=43.825	SAT TT=1.358	No data	? (TO) TT=2520.05	No data	? (TO) TT=19580.699	? (TO) TT=19578.699	SAT TT=23.443	? (NS) TT=25.963	SAT TT=375.006	SAT TT=373.102	? (TO) TT=2401.15	? (TO) TT=2400.08	Signal TT=50.024	SAT TT=2.905	No data	? (TO) TT=2400.06	No data	? (TO) TT=2415.93	? TT=1382.2
NumberPartitioning/ NumberPartitioning-m1-s1/ NumberPartitioning-136.xml	SAT TT=3.54	SAT TT=59.526	? (NS) TT=43.607	? (NS) TT=43.35	SAT TT=52.376	SAT TT=53.357	SAT TT=74.021	SAT TT=74.265	? (TO) TT=2520.03	? (TO) TT=2520.09	? (TO) TT=2520.61	? (TO) TT=2519.68	? (MO) TT=33.968	SAT TT=3.54	No data	? (TO) TT=2520.12	No data	? (TO) TT=19588.9	? (TO) TT=19585.9	SAT TT=62.601	? (NS) TT=43.219	SAT TT=85.954	SAT TT=85.151	? (TO) TT=2401.22	? (TO) TT=2400.04	? (MO) TT=34.592	SAT TT=2.148	No data	? (TO) TT=2400.05	No data	? (TO) TT=2416.07	? TT=1441.37
NumberPartitioning/ NumberPartitioning-m1-s1/ NumberPartitioning-188.xml	SAT TT=12.619	SAT TT=120.845	? (NS) TT=239.388	? (NS) TT=239.333	SAT TT=21.694	SAT TT=29.195	? (TO) TT=2520.1	? (TO) TT=2520.07	SAT TT=85.603	SAT TT=89.873	? (TO) TT=2520.55	? (TO) TT=2519.92	Signal TT=49.852	SAT TT=12.619	No data	? (TO) TT=2520.06	No data	? (TO) TT=18921.5	? (TO) TT=18952.6	SAT TT=127.326	? (NS) TT=237.29	SAT TT=29.834	SAT TT=36.552	? (TO) TT=2401.11	? (TO) TT=2400.01	Signal TT=59.349	SAT TT=3.917	No data	? (TO) TT=2400.03	No data	? (TO) TT=2416.08	? (TO) TT=2527.03
Opd/Opd-sum-large/ Opd-02-350-100.xml	OPT f=0 TT=1.08 T1=0.79	OPT f=0 TT=1.747 T1=0.86	No data	No data	OPT f=0 TT=5.083 T1=1.16	OPT f=0 TT=4.14 T1=0.97	OPT f=0 TT=1.653 T1=0.84	OPT f=0 TT=1.649 T1=0.79	OPT f=0 TT=13.283 T1=7.54	OPT f=0 TT=14.553 T1=7.56	OPT f=0 TT=20.84 T1=9.09	OPT f=0 TT=1012.33 T1=1012.39	? (TO) TT=2519.92	OPT f=0 TT=1.114 T1=1.21	SAT (TO) f=0 TT=2520.08 T1=48.74	OPT f=0 TT=5.299 T1=2.18	OPT f=0 TT=6.538 T1=2.57	OPT f=0 TT=57.205 T1=44.61	OPT f=0 TT=54.571 T1=53.96	OPT f=0 TT=2.077 T1=0.86	No data	OPT f=0 TT=3.556 T1=0.93	OPT f=0 TT=4.276 T1=1.03	OPT f=0 TT=25.624 T1=9.08	OPT f=0 TT=1022.74 T1=1022.83	? (TO) TT=2400.03	OPT f=0 TT=1.08 T1=1.07	SAT (TO) f=0 TT=2400.04 T1=51.22	OPT f=0 TT=6.625 T1=2.06	OPT f=0 TT=5.206 T1=1.73	OPT f=0 TT=71.186 T1=44.41	OPT f=0 TT=51.389 T1=39.57
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	BTD 2017-07-25 (complete)	BTD 2017-08-10 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: BTD 2017-06-30 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
Opd/Opd-sum-large/ Opd-03-035-010.xml	OPT f=0 TT=0.027 T1=0.04	OPT f=0 TT=1.147 T1=0.67	No data	No data	OPT f=0 TT=1.405 T1=0.58	OPT f=0 TT=1.379 T1=0.58	OPT f=0 TT=0.969 T1=0.59	OPT f=0 TT=0.984 T1=0.67	OPT f=0 TT=1.211 T1=0.67	OPT f=0 TT=1.195 T1=0.67	OPT f=0 TT=10.051 T1=4.5	? (TO) TT=2520	? (TO) TT=2519.96	OPT f=0 TT=0.027 T1=0.09	SAT (TO) f=0 TT=2520.08 T1=4.74	OPT f=0 TT=1.546 T1=0.96	OPT f=0 TT=1.552 T1=0.95	OPT f=0 TT=7.541 T1=1.9	OPT f=0 TT=7.816 T1=7.48	OPT f=0 TT=1.328 T1=0.65	No data	OPT f=0 TT=1.498 T1=0.61	OPT f=0 TT=1.493 T1=0.61	OPT f=0 TT=12.053 T1=5.05	? (TO) TT=2400.04	? (TO) TT=2400.03	OPT f=0 TT=0.043 T1=0.04	SAT (TO) f=0 TT=2400.06 T1=1.01	OPT f=0 TT=1.697 T1=0.85	OPT f=0 TT=1.694 T1=0.85	OPT f=0 TT=4.306 T1=1.43	OPT f=0 TT=2.947 T1=1.64
Opd/Opd-sum-large/ Opd-07-035-010.xml	OPT f=2 TT=1.563 T1=1.22	OPT f=2 TT=2.739 T1=1.41	No data	No data	OPT f=2 TT=5.638 T1=1.22	OPT f=2 TT=5.664 T1=1.22	OPT f=2 TT=16.912 T1=14.63	OPT f=2 TT=17.038 T1=14.73	OPT f=2 TT=31.788 T1=23.68	OPT f=2 TT=31.313 T1=23.07	OPT f=2 TT=220.08 T1=196.3	SAT (TO) f=10 TT=2519.82 T1=0.67	? (TO) TT=2520.06	OPT f=2 TT=1.563 T1=1.66	SAT (TO) f=2 TT=2520.07 T1=126.09	OPT f=2 TT=9.483 T1=5.33	OPT f=2 TT=1802.14 T1=64.28	OPT f=2 TT=13.238 T1=2.85	OPT f=2 TT=10.538 T1=9.57	OPT f=2 TT=3.015 T1=1.29	No data	OPT f=2 TT=12.244 T1=2.09	OPT f=2 TT=10.783 T1=1.93	OPT f=2 TT=238.944 T1=208.18	? (TO) TT=2400.09	? (TO) TT=2400.01	OPT f=2 TT=1.574 T1=1.57	SAT (TO) f=2 TT=2400.05 T1=119.43	OPT f=2 TT=9.823 T1=5.13	OPT f=2 TT=1736.52 T1=42.98	OPT f=2 TT=14.815 T1=10.93	OPT f=2 TT=18.867 T1=15.4
Opd/Opd-sum-large/ Opd-07-350-100.xml	SAT TO f=22 TT=19965.9 T1=41.81	SAT (TO) f=98 TT=2520.11 T1=1.72	No data	No data	SAT (TO) f=20 TT=20099.9 T1=2255.83	SAT (TO) f=23 TT=20097.5 T1=886.2	? (TO) TT=2520.03	SAT (TO) f=46 TT=2520.1 T1=831.09	? (TO) TT=2520.05	SAT (TO) f=95 TT=2520.05 T1=562.73	? (TO) TT=2522.1	? (TO) TT=2520.08	? (TO) TT=2520.02	SAT (TO) f=24 TT=2519.78 T1=2475.98	SAT (TO) f=51 TT=2520.11 T1=2380.94	SAT (TO) f=47 TT=2520.07 T1=2261.36	SAT (TO) f=59 TT=2520.11 T1=1697.16	SAT (TO) f=22 TT=19965.9 T1=41.81	SAT (TO) f=23 TT=19955.301 T1=350.78	SAT (TO) f=98 TT=2400.08 T1=1.53	No data	SAT (TO) f=100 TT=2400.55 T1=254.98	SAT (TO) f=100 TT=2400.68 T1=269.46	? (TO) TT=2405.49	? (TO) TT=2400.09	? (TO) TT=2400.01	SAT (TO) f=24 TT=2400.08 T1=2333.18	SAT (TO) f=73 TT=2400.11 T1=1895.25	SAT (TO) f=100 TT=2400.11 T1=1.45	SAT (TO) f=58 TT=2400.12 T1=1587.83	? (TO) TT=2400.14	? (TO) TT=2520.11
Opd/Opd-sum-large/ Opd-10-325-100.xml	SAT TO f=28 TT=20060.301 T1=884.87	SAT (TO) f=99 TT=2520.08 T1=1.76	No data	No data	SAT (TO) f=99 TT=20099.9 T1=20.35	SAT (TO) f=35 TT=20089.5 T1=1891.56	SAT (TO) f=98 TT=2520.03 T1=150.45	SAT (TO) f=51 TT=2520.06 T1=437.02	SAT (TO) f=100 TT=2520.09 T1=678.02	? (TO) TT=2520.1	? (TO) TT=2523.29	? (TO) TT=2519.99	? (TO) TT=2520.01	SAT (TO) f=39 TT=2519.9 T1=1777.86	SAT (TO) f=79 TT=2520.13 T1=2044.79	SAT (TO) f=83 TT=2520.12 T1=2457.15	SAT (TO) f=79 TT=2520.05 T1=1724.47	SAT (TO) f=28 TT=20060.301 T1=884.87	SAT (TO) f=30 TT=20066.801 T1=5688.23	SAT (TO) f=99 TT=2400.1 T1=1.59	No data	SAT (TO) f=99 TT=2400.17 T1=41.04	SAT (TO) f=99 TT=2400.77 T1=40.04	? (TO) TT=2408.63	? (TO) TT=2400.08	? (TO) TT=2400.07	SAT (TO) f=39 TT=2400.01 T1=1836.59	SAT (TO) f=71 TT=2400.14 T1=1674.48	SAT (TO) f=100 TT=2400.07 T1=1.71	SAT (TO) f=80 TT=2400.18 T1=1630.54	? (TO) TT=2400.15	? (TO) TT=2520.15
Opd/Opd-sum-large/ Opd-10-360-120.xml	SAT TO f=37 TT=20056.5 T1=1278.35	SAT (TO) f=119 TT=2520.05 T1=1.84	No data	No data	SAT (TO) f=120 TT=20100.5 T1=7.16	SAT (TO) f=50 TT=20076.4 T1=2287.23	? (TO) TT=2520.04	SAT (TO) f=77 TT=2520.11 T1=1246.33	SAT (TO) f=119 TT=2520.06 T1=705.21	SAT (TO) f=120 TT=2520.1 T1=871.31	? (TO) TT=2523.69	? (TO) TT=2520	? (TO) TT=2520.06	SAT (TO) f=56 TT=2519.78 T1=1315.01	SAT (TO) f=98 TT=2520.12 T1=2195.82	SAT (TO) f=120 TT=2520.1 T1=1.84	SAT (TO) f=84 TT=2520.15 T1=2452.2	SAT (TO) f=37 TT=20056.5 T1=1278.35	SAT (TO) f=39 TT=20060 T1=16897.42	SAT (TO) f=119 TT=2400.09 T1=1.83	No data	SAT (TO) f=120 TT=2400.22 T1=9.77	SAT (TO) f=120 TT=2400.45 T1=9.53	? (TO) TT=2409.56	? (TO) TT=2400.11	? (TO) TT=2400.09	SAT (TO) f=56 TT=2400.04 T1=1364.46	SAT (TO) f=109 TT=2400.06 T1=986.69	SAT (TO) f=120 TT=2400.2 T1=1.73	SAT (TO) f=100 TT=2400.07 T1=1474.24	? (TO) TT=2400.17	? (TO) TT=2520.1
Opd/Opd-sum-large/ Opd-12-350-100.xml	SAT TO f=38 TT=2400.1 T1=2183.84	SAT (TO) f=98 TT=2520.12 T1=2.51	No data	No data	SAT (TO) f=100 TT=20084.1 T1=108.56	SAT (TO) f=47 TT=20062 T1=1963.95	? (TO) TT=2520.03	? (TO) TT=2520.09	? (TO) TT=2520.12	SAT (TO) f=70 TT=2520.12 T1=2083.39	? (TO) TT=2524.82	? (TO) TT=2519.97	? (TO) TT=2519.86	SAT (TO) f=38 TT=2519.79 T1=2193.88	SAT (TO) f=92 TT=2520.12 T1=708.34	SAT (TO) f=100 TT=2520.1 T1=2.02	SAT (TO) f=91 TT=2520.13 T1=1528.45	SAT (TO) f=64 TT=20056.199 T1=2035.79	SAT (TO) f=97 TT=20061.801 T1=1332.17	SAT (TO) f=98 TT=2400.09 T1=2.48	No data	SAT (TO) f=100 TT=2400.1 T1=202.57	SAT (TO) f=100 TT=2400.63 T1=196.28	? (TO) TT=2411.78	? (TO) TT=2400.03	? (TO) TT=2400.04	SAT (TO) f=38 TT=2400.1 T1=2183.84	SAT (TO) f=71 TT=2400.1 T1=1996.89	SAT (TO) f=100 TT=2400.1 T1=1.92	SAT (TO) f=86 TT=2400.23 T1=873.8	? (TO) TT=2400.2	? (TO) TT=2520.12
Opd/Opd-sum-large/ Opd-13-035-010.xml	OPT f=3 TT=0.801 T1=0.82	OPT f=3 TT=3.913 T1=1.96	No data	No data	OPT f=3 TT=26.191 T1=3.94	OPT f=3 TT=14.449 T1=2.4	OPT f=3 TT=4.897 T1=2.47	OPT f=3 TT=4.863 T1=2.51	OPT f=3 TT=21.583 T1=14.92	OPT f=3 TT=22.156 T1=14.8	SAT (TO) f=4 TT=2520.11 T1=185.32	SAT (TO) f=10 TT=2520.02 T1=1.27	? (TO) TT=2519.96	OPT f=3 TT=0.801 T1=0.87	SAT (TO) f=3 TT=2520.09 T1=261.16	OPT f=3 TT=4.433 T1=1.87	OPT f=3 TT=3.923 T1=1.67	OPT f=3 TT=13.024 T1=2.73	OPT f=3 TT=13.838 T1=12.75	OPT f=3 TT=4.558 T1=2	No data	OPT f=3 TT=30.769 T1=4.59	OPT f=3 TT=46.036 T1=6.42	SAT (TO) f=4 TT=2400.1 T1=173.82	No Cert. TT=2400.02	? (TO) TT=2400.07	OPT f=3 TT=0.839 T1=0.82	SAT (TO) f=3 TT=2400.11 T1=397.91	OPT f=3 TT=5.491 T1=1.74	OPT f=3 TT=4.707 T1=1.57	OPT f=3 TT=91.326 T1=85.84	OPT f=3 TT=122.976 T1=118.61
Opd/Opd-sum-large/ Opd-14-035-010.xml	OPT f=3 TT=0.433 T1=0.51	OPT f=3 TT=6.13 T1=4.37	No data	No data	OPT f=3 TT=34.257 T1=4.89	OPT f=3 TT=31.792 T1=4.61	OPT f=3 TT=5.393 T1=2.86	OPT f=3 TT=5.259 T1=2.74	OPT f=3 TT=19.535 T1=9.47	OPT f=3 TT=19.859 T1=9.67	SAT (TO) f=4 TT=2520.06 T1=55.85	SAT (TO) f=10 TT=2519.85 T1=1.38	? (TO) TT=2519.58	OPT f=3 TT=0.433 T1=0.51	SAT (TO) f=3 TT=2520.05 T1=508.55	OPT f=3 TT=166.918 T1=162.1	OPT f=3 TT=1810.94 T1=38.49	OPT f=3 TT=17.525 T1=3.4	OPT f=3 TT=15.61 T1=14.49	OPT f=3 TT=6.64 T1=4.28	No data	OPT f=3 TT=52.154 T1=7.19	OPT f=3 TT=49.162 T1=6.85	SAT (TO) f=4 TT=2400.06 T1=56.68	No Cert. TT=2400.04	? (TO) TT=2400.1	OPT f=3 TT=0.521 T1=0.51	SAT (TO) f=3 TT=2400.11 T1=484.88	OPT f=3 TT=169.467 T1=163.04	OPT f=3 TT=1749.47 T1=176.17	OPT f=3 TT=140.405 T1=134.82	OPT f=3 TT=183.471 T1=178.73
Opd/Opd-sum-large/ Opd-29-350-100.xml	SAT TO f=80 TT=2520.07 T1=879.92	SAT (TO) f=99 TT=2520.09 T1=7.59	No data	No data	? (TO) TT=20057.5	SAT (TO) f=80 TT=20005.4 T1=1362.89	? (TO) TT=2520.07	SAT (TO) f=80 TT=2520.07 T1=879.92	? (TO) TT=2520.04	? (TO) TT=2520.05	? (TO) TT=2527.75	? (TO) TT=2519.63	? (TO) TT=2519.89	? (TO) TT=2519.87	SAT (TO) f=100 TT=2520.16 T1=21.85	SAT (TO) f=100 TT=2520.12 T1=4.4	SAT (TO) f=100 TT=2520.14 T1=4.43	SAT (TO) f=97 TT=20006.4 T1=906.86	SAT (TO) f=98 TT=20022.801 T1=6708.83	SAT (TO) f=99 TT=2400.06 T1=7.62	No data	? (TO) TT=2400.34	? (TO) TT=2400.54	? (TO) TT=2415.37	? (TO) TT=2400.1	? (TO) TT=2400.1	? (TO) TT=2400.06	SAT (TO) f=100 TT=2400.14 T1=33.05	SAT (TO) f=100 TT=2400.15 T1=4.46	SAT (TO) f=99 TT=2400.09 T1=519.37	? (TO) TT=2416.27	? (TO) TT=2528.11
Opd/Opd-sum-large/ Opd-46-035-010.xml	SAT TO f=4 TT=2400.07 T1=53.54	SAT (TO) f=6 TT=2520.22 T1=80.98	No data	No data	SAT (TO) f=5 TT=20056.6 T1=141.38	SAT (TO) f=5 TT=20058 T1=141.35	SAT (TO) f=5 TT=2520.07 T1=134.07	SAT (TO) f=5 TT=2520.04 T1=133.43	SAT (TO) f=5 TT=2520.08 T1=142.72	SAT (TO) f=5 TT=2521.17 T1=142.48	? (TO) TT=2526.12	SAT (TO) f=10 TT=2519.89 T1=9.45	? (TO) TT=2520.04	SAT (TO) f=4 TT=2519.93 T1=114.48	SAT (TO) f=5 TT=2520.14 T1=855.35	SAT (TO) f=9 TT=2520.11 T1=3.83	SAT (TO) f=5 TT=2520.13 T1=201.11	SAT (TO) f=4 TT=20040.6 T1=53.54	SAT (TO) f=5 TT=20055 T1=72.64	SAT (TO) f=6 TT=2400.27 T1=83.77	No data	SAT (TO) f=6 TT=2400.08 T1=112.52	SAT (TO) f=6 TT=2400.15 T1=117.6	? (TO) TT=2414.22	No Cert. TT=2400.06	? (TO) TT=2400.01	SAT (TO) f=4 TT=2400.07 T1=92.03	SAT (TO) f=5 TT=2400.11 T1=644.24	SAT (TO) f=9 TT=2400.12 T1=3.36	SAT (TO) f=6 TT=2400.08 T1=241.54	SAT (TO) f=6 TT=2400.35 T1=1514.3	SAT (TO) f=6 TT=2520.28 T1=1530.98
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	BTD 2017-07-25 (complete)	BTD 2017-08-10 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: BTD 2017-06-30 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
Opd/Opd-sum-large/ Opd-46-350-100.xml	SAT TO f=96 TT=2400.15 T1=1563.18	SAT (TO) f=99 TT=2520.1 T1=17.76	No data	No data	? (TO) TT=19994.801	SAT (TO) f=98 TT=19845.199 T1=221.52	? (TO) TT=2520.13	? (TO) TT=2520.1	? (TO) TT=2520.1	? (TO) TT=2520.04	? (TO) TT=2527.91	? (TO) TT=2520.03	? (TO) TT=2520	? (TO) TT=2519.48	SAT (TO) f=100 TT=2520.11 T1=767.57	SAT (TO) f=100 TT=2520.14 T1=9.01	SAT (TO) f=98 TT=2520.18 T1=1466.45	SAT (TO) f=99 TT=19950.4 T1=2377.12	SAT (TO) f=99 TT=19961.4 T1=19144.32	SAT (TO) f=99 TT=2400.07 T1=18.05	No data	? (TO) TT=2400.4	? (TO) TT=2400.4	? (TO) TT=2415.5	? (TO) TT=2400.16	? (TO) TT=2400.19	? (TO) TT=2400.08	SAT (TO) f=100 TT=2400.15 T1=89.32	SAT (TO) f=100 TT=2400.15 T1=9.67	SAT (TO) f=96 TT=2400.15 T1=1563.18	? (TO) TT=2416.27	? TT=1439
Opd/Opd-sum-small/ Opd-09-037-012.xml	OPT f=3 TT=44.46 T1=42.75	OPT f=3 TT=44.46 T1=42.75	No data	No data	OPT f=3 TT=2573.78 T1=323.1	SAT (TO) f=4 TT=20099 T1=1.09	SAT (TO) f=4 TT=2520.08 T1=3.14	SAT (TO) f=4 TT=2520.04 T1=3.09	SAT (TO) f=4 TT=2520.07 T1=19.01	SAT (TO) f=4 TT=2520.1 T1=19.16	SAT (TO) f=4 TT=2520.11 T1=1956.49	SAT (TO) f=12 TT=2520 T1=1.14	? (TO) TT=2520.04	OPT f=3 TT=803.672 T1=803.8	SAT (TO) f=3 TT=2520.04 T1=878.63	SAT (TO) f=4 TT=2520.04 T1=1.75	SAT (TO) f=4 TT=2520.04 T1=1.63	SAT (TO) f=4 TT=19917.1 T1=2.81	OPT f=3 TT=77.767 T1=76.93	OPT f=3 TT=45.612 T1=43.28	No data	OPT f=3 TT=937.293 T1=118.3	SAT (TO) f=4 TT=2400.45 T1=1.25	SAT (TO) f=4 TT=2400.15 T1=2092.08	SAT (TO) f=12 TT=2400.06 T1=1.14	? (TO) TT=2400.04	OPT f=3 TT=801.499 T1=801.57	SAT (TO) f=4 TT=2400.12 T1=115.68	SAT (TO) f=4 TT=2400.03 T1=1.45	SAT (TO) f=4 TT=2400.09 T1=1.62	OPT f=3 TT=135.129 T1=130.62	OPT f=3 TT=168.607 T1=164.37
Opd/Opd-sum-small/ Opd-10-026-004.xml	OPT f=1 TT=0.138 T1=0.16	OPT f=1 TT=1.604 T1=0.84	No data	No data	OPT f=1 TT=3.412 T1=0.91	OPT f=1 TT=3.189 T1=0.88	OPT f=1 TT=2.74 T1=1.16	OPT f=1 TT=2.548 T1=1.15	OPT f=1 TT=10.249 T1=3.86	OPT f=1 TT=9.642 T1=29.59	OPT f=1 TT=17.547 T1=6.93	OPT f=1 TT=3.665 T1=3.74	OPT f=1 TT=1129 T1=1129.04	OPT f=1 TT=0.138 T1=0.23	SAT (TO) f=1 TT=2520.04 T1=16.15	OPT f=1 TT=2.188 T1=1.18	OPT f=1 TT=2.207 T1=1.14	OPT f=1 TT=10.582 T1=2.61	OPT f=1 TT=10.226 T1=9.15	OPT f=1 TT=1.846 T1=0.76	No data	OPT f=1 TT=3.785 T1=1.04	OPT f=1 TT=3.792 T1=0.97	OPT f=1 TT=21.777 T1=6.71	OPT f=1 TT=3.748 T1=3.74	OPT f=1 TT=1159.58 T1=1159.69	OPT f=1 TT=0.173 T1=0.16	SAT (TO) f=1 TT=2400.06 T1=17.33	OPT f=1 TT=2.583 T1=1.07	OPT f=1 TT=2.664 T1=1.09	OPT f=1 TT=15.451 T1=11.3	OPT f=1 TT=16.676 T1=13.52
Opd/Opd-sum-small/ Opd-10-031-009.xml	OPT f=2 TT=4.062 T1=2.49	OPT f=2 TT=4.062 T1=2.59	No data	No data	OPT f=2 TT=14.525 T1=2.37	OPT f=2 TT=15.543 T1=2.49	SAT (TO) f=3 TT=2520.09 T1=1.91	SAT (TO) f=3 TT=2520.13 T1=1.37	OPT f=2 TT=968.101 T1=937.02	OPT f=2 TT=970.487 T1=938.05	SAT (TO) f=3 TT=2520.14 T1=8.91	SAT (TO) f=9 TT=2520.02 T1=0.48	? (TO) TT=2519.98	OPT f=2 TT=50.048 T1=50.13	SAT (TO) f=2 TT=2520.11 T1=187.16	SAT (TO) f=3 TT=2520.08 T1=1.49	SAT (TO) f=3 TT=2520.1 T1=1.46	OPT f=2 TT=1955.91 T1=248.36	OPT f=2 TT=285.502 T1=284.78	OPT f=2 TT=4.379 T1=2.49	No data	OPT f=2 TT=29.471 T1=4.25	OPT f=2 TT=30.477 T1=4.42	SAT (TO) f=3 TT=2400.1 T1=9.06	? (TO) TT=2400.03	? (TO) TT=2400.03	OPT f=2 TT=46.306 T1=46.3	SAT (TO) f=2 TT=2400.15 T1=206.33	SAT (TO) f=3 TT=2400.04 T1=1.38	SAT (TO) f=3 TT=2400.03 T1=1.43	OPT f=2 TT=69.561 T1=65.1	OPT f=2 TT=63.839 T1=60.66
Opd/Opd-sum-small/ Opd-10-038-010.xml	OPT f=2 TT=3.751 T1=2.13	OPT f=2 TT=3.751 T1=2.13	No data	No data	OPT f=2 TT=19.783 T1=2.99	OPT f=2 TT=19.326 T1=2.97	SAT (TO) f=3 TT=2520.03 T1=2.43	SAT (TO) f=3 TT=2520.09 T1=2.46	SAT (TO) f=3 TT=2520.02 T1=16.89	SAT (TO) f=3 TT=2520.05 T1=16.29	SAT (TO) f=3 TT=2520.14 T1=10.28	SAT (TO) f=10 TT=2519.85 T1=1.5	? (TO) TT=2520.04	OPT f=2 TT=12.997 T1=13.09	SAT (TO) f=3 TT=2520.1 T1=80.75	OPT f=2 TT=60.932 T1=56.68	SAT (TO) f=3 TT=2520.1 T1=1.67	OPT f=2 TT=18.386 T1=3.46	OPT f=2 TT=15.5 T1=14.61	OPT f=2 TT=4.013 T1=2.14	No data	OPT f=2 TT=36.101 T1=5.12	OPT f=2 TT=37.608 T1=5.35	SAT (TO) f=3 TT=2400.08 T1=10.2	No Cert. TT=2400.03	? (TO) TT=2400.1	OPT f=2 TT=13.141 T1=13.13	SAT (TO) f=2 TT=2400.04 T1=894.09	OPT f=2 TT=62.179 T1=57.78	SAT (TO) f=3 TT=2400.13 T1=1.59	OPT f=2 TT=103.079 T1=98.19	OPT f=2 TT=143.476 T1=139.45
Opd/Opd-sum-small/ Opd-19-019-009.xml	OPT f=4 TT=13781.5 T1=1727.85	SAT (TO) f=5 TT=2520.05 T1=3.07	No data	No data	OPT f=4 TT=14626.8 T1=1833.81	OPT f=4 TT=13781.5 T1=1727.85	SAT (TO) f=5 TT=2520.09 T1=5.33	SAT (TO) f=5 TT=2520.05 T1=5.39	SAT (TO) f=5 TT=2520.08 T1=14.1	SAT (TO) f=5 TT=2520.03 T1=35.13	SAT (TO) f=5 TT=2520.14 T1=19.78	SAT (TO) f=7 TT=2519.91 T1=149.41	SAT (TO) f=8 TT=2520.06 T1=3.29	SAT (TO) f=5 TT=2519.96 T1=3.01	SAT (TO) f=5 TT=2520.09 T1=103.12	SAT (TO) f=5 TT=2520.02 T1=12.57	SAT (TO) f=5 TT=2520.03 T1=59.73	SAT (TO) f=5 TT=19989.801 T1=3.3	SAT (TO) f=5 TT=19962.699 T1=19.52	SAT (TO) f=5 TT=2400.09 T1=3.07	No data	OPT f=4 TT=49.895 T1=6.9	OPT f=4 TT=55.452 T1=7.62	SAT (TO) f=5 TT=2400.09 T1=19.42	No Cert. TT=2400.07	No Cert. TT=2400.09	SAT (TO) f=5 TT=2400.08 T1=3	SAT (TO) f=4 TT=2400.11 T1=127.74	SAT (TO) f=5 TT=2400.06 T1=11.21	SAT (TO) f=5 TT=2400.09 T1=7.23	SAT (TO) f=5 TT=2400.18 T1=51.83	SAT (TO) f=5 TT=2520.18 T1=51.6
OpenStacks/OpenStacks-m2c-s1/ OpenStacks-m2c-Miller-19.xml	SAT TO f=13 TT=2400.07 T1=0.74	SAT (TO) f=13 TT=2520.04 T1=14.07	No data	No data	SAT (TO) f=13 TT=20051.5 T1=11.52	SAT (TO) f=13 TT=20052.1 T1=11.5	SAT (TO) f=13 TT=2520.12 T1=303.29	SAT (TO) f=13 TT=2520.03 T1=302.52	SAT (TO) f=13 TT=2520.06 T1=277.65	SAT (TO) f=13 TT=2520.06 T1=297.43	SAT (TO) f=13 TT=2520.08 T1=26.21	SAT (TO) f=14 TT=2520.05 T1=4.86	SAT (TO) f=13 TT=2519.76 T1=43.08	SAT (TO) f=13 TT=2519.91 T1=0.78	? (TO) TT=2520.14	? (TO) TT=2520.1	? (TO) TT=2520.07	? (TO) TT=20013.1	? (TO) TT=19992.5	SAT (TO) f=13 TT=2400.09 T1=13.94	No data	SAT (TO) f=13 TT=2400.1 T1=10.6	Wrong Opt. f=17 TT=16.555 T1=7	SAT (TO) f=13 TT=2400.08 T1=26.6	No Cert. TT=2400.03	No Cert. TT=2400.03	SAT (TO) f=13 TT=2400.07 T1=0.74	? (TO) TT=2400.09	? (TO) TT=2400.13	? (TO) TT=2400.05	? TT=2217.17	? TT=2174.38
OpenStacks/OpenStacks-m2c-s1/ OpenStacks-m2c-nrwsSmall-4-1.xml	OPT f=3 TT=0.433 T1=0.5	OPT f=3 TT=4.737 T1=2.15	No data	No data	OPT f=3 TT=21.21 T1=3.3	OPT f=3 TT=23.127 T1=3.54	OPT f=3 TT=30.83 T1=20.2	OPT f=3 TT=29.798 T1=19.41	OPT f=3 TT=31.221 T1=20.79	OPT f=3 TT=31.493 T1=20.66	SAT (TO) f=5 TT=2520.07 T1=5.73	OPT f=3 TT=12.584 T1=10.53	OPT f=3 TT=12.431 T1=11.65	OPT f=3 TT=0.44 T1=0.52	SAT (TO) f=3 TT=2520.04 T1=232.91	SAT (TO) f=5 TT=2520.1 T1=2347.06	OPT f=3 TT=1961.28 T1=195.99	OPT f=3 TT=183.735 T1=24.88	OPT f=3 TT=376.256 T1=312.41	OPT f=3 TT=4.6 T1=2.09	No data	OPT f=3 TT=35.181 T1=9.25	OPT f=3 TT=15.553 T1=4.41	SAT (TO) f=5 TT=2400.1 T1=5.59	OPT f=3 TT=12.687 T1=10.68	OPT f=3 TT=12.584 T1=11.73	OPT f=3 TT=0.433 T1=0.5	SAT (TO) f=3 TT=2400.03 T1=201.29	SAT (TO) f=5 TT=2400.1 T1=2308.3	OPT f=3 TT=1853.99 T1=198.18	SAT (TO) f=9 TT=2400.26 T1=1352.79	SAT (TO) f=9 TT=2520.2 T1=1347.15
OpenStacks/OpenStacks-m2c-s1/ OpenStacks-m2c-pb-10-10-1.xml	OPT f=5 TT=0.069 T1=0.09	OPT f=5 TT=1.911 T1=0.92	No data	No data	OPT f=5 TT=6.129 T1=0.94	OPT f=5 TT=5.361 T1=0.91	OPT f=5 TT=2.471 T1=0.82	OPT f=5 TT=2.473 T1=0.8	OPT f=5 TT=5.172 T1=0.74	OPT f=5 TT=5.191 T1=0.73	OPT f=5 TT=12.462 T1=5.75	OPT f=5 TT=0.794 T1=0.1	OPT f=5 TT=0.343 T1=0.09	OPT f=5 TT=0.069 T1=0.12	SAT (TO) f=5 TT=2520.03 T1=4.26	OPT f=5 TT=6.223 T1=2.5	SAT (TO) f=5 TT=2520.08 T1=2.99	OPT f=5 TT=12.322 T1=2.28	OPT f=5 TT=11.921 T1=7.64	OPT f=5 TT=1.938 T1=0.91	No data	OPT f=5 TT=4.376 T1=1	OPT f=5 TT=4.316 T1=1.02	OPT f=5 TT=12.336 T1=5.31	OPT f=5 TT=0.795 T1=0.12	OPT f=5 TT=0.341 T1=0.08	OPT f=5 TT=0.069 T1=0.12	SAT (TO) f=5 TT=2400.09 T1=52.83	OPT f=5 TT=6.257 T1=2.44	SAT (TO) f=5 TT=2400.12 T1=2.2	OPT f=5 TT=224.149 T1=33.68	OPT f=5 TT=281.961 T1=42.95
OpenStacks/OpenStacks-m2c-s1/ OpenStacks-m2c-pb-10-20-1.xml	OPT f=7 TT=211.078 T1=0.12	OPT f=7 TT=214.839 T1=1.05	No data	No data	OPT f=7 TT=5872.89 T1=1.77	OPT f=7 TT=982.332 T1=1.73	SAT (TO) f=7 TT=2520.07 T1=1.43	SAT (TO) f=7 TT=2520.05 T1=1.4	SAT (TO) f=7 TT=2520.09 T1=1.56	SAT (TO) f=7 TT=2520.08 T1=1.56	SAT (TO) f=7 TT=2520.1 T1=5.56	SAT (TO) f=7 TT=2520.04 T1=0.07	SAT (TO) f=7 TT=2519.78 T1=0.19	OPT f=7 TT=282.489 T1=0.18	SAT (TO) f=7 TT=2520.09 T1=62.85	SAT (TO) f=7 TT=2520.11 T1=60.1	SAT (TO) f=7 TT=2520.05 T1=58.23	SAT (TO) f=7 TT=19091.301 T1=4.15	SAT (TO) f=7 TT=14414.3 T1=16.26	OPT f=7 TT=211.078 T1=1.05	No data	OPT f=7 TT=464.639 T1=1.75	OPT f=7 TT=637.25 T1=1.6	SAT (TO) f=7 TT=2400.12 T1=5.4	? (TO) TT=2400.07	? (TO) TT=2400.06	OPT f=7 TT=288.71 T1=0.12	SAT (TO) f=7 TT=2400.1 T1=57.37	SAT (TO) f=7 TT=2400.03 T1=60.22	SAT (TO) f=7 TT=2400.07 T1=59.63	SAT (TO) f=8 TT=2400.17 T1=2315.92	SAT (TO) f=8 TT=2520.21 T1=2303.93
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	BTD 2017-07-25 (complete)	BTD 2017-08-10 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: BTD 2017-06-30 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
OpenStacks/OpenStacks-m2c-s1/ OpenStacks-m2c-pb-20-20-1.xml	SAT TO f=11 TT=2400.04 T1=0.25	SAT (TO) f=11 TT=2520.06 T1=2.02	No data	No data	SAT (TO) f=11 TT=20098.6 T1=6.3	SAT (TO) f=11 TT=20099.4 T1=11.85	SAT (TO) f=11 TT=2520.11 T1=205.81	SAT (TO) f=11 TT=2520.11 T1=205.83	SAT (TO) f=11 TT=2520.02 T1=285.78	SAT (TO) f=11 TT=2520.07 T1=285.37	SAT (TO) f=11 TT=2520.14 T1=7.35	SAT (TO) f=12 TT=2520.04 T1=1.95	SAT (TO) f=12 TT=2520.01 T1=1.36	SAT (TO) f=11 TT=2519.8 T1=0.25	SAT (TO) f=11 TT=2520.09 T1=458.56	SAT (TO) f=13 TT=2520.03 T1=59.92	SAT (TO) f=11 TT=2520.07 T1=324.06	SAT (TO) f=11 TT=19995 T1=4.62	SAT (TO) f=11 TT=19971 T1=21.05	SAT (TO) f=11 TT=2400.08 T1=1.94	No data	SAT (TO) f=11 TT=2400.11 T1=12.43	SAT (TO) f=11 TT=2400.31 T1=35.23	SAT (TO) f=11 TT=2400.1 T1=7.7	No Cert. TT=2400.01	No Cert. TT=2400.03	SAT (TO) f=11 TT=2400.09 T1=0.26	SAT (TO) f=11 TT=2400.04 T1=373.82	SAT (TO) f=13 TT=2400.08 T1=62.93	SAT (TO) f=11 TT=2400.1 T1=389.33	? (TO) TT=2407.99	? (TO) TT=2527.87
OpenStacks/ OpenStacks-m2c-s1/ OpenStacks-m2c-sp-4-1.xml	OPT f=9 TT=718.455 T1=0.77	OPT f=9 TT=718.455 T1=3.59	No data	No data	OPT f=9 TT=847.024 T1=6.09	OPT f=9 TT=830.274 T1=7.62	SAT (TO) f=9 TT=2520.06 T1=5.99	SAT (TO) f=9 TT=2520.08 T1=6.11	SAT (TO) f=9 TT=2520.03 T1=10.26	SAT (TO) f=9 TT=2520.04 T1=10.47	SAT (TO) f=9 TT=2520.1 T1=40.5	SAT (TO) f=10 TT=2520.06 T1=474.41	SAT (TO) f=9 TT=2520.07 T1=1.15	OPT f=9 TT=1643.29 T1=0.79	SAT (TO) f=9 TT=2520.02 T1=346.44	SAT (TO) f=11 TT=2520.12 T1=2300.31	SAT (TO) f=9 TT=2520.11 T1=397.9	SAT (TO) f=11 TT=20047.1 T1=5.39	SAT (TO) f=11 TT=20059.699 T1=22.92	OPT f=9 TT=719.377 T1=3.74	No data	OPT f=9 TT=1537.4 T1=8.94	Wrong Opt. f=12 TT=9.139 T1=3.03	SAT (TO) f=9 TT=2400.15 T1=46.01	SAT (TO) f=10 TT=2400.03 T1=480.12	SAT (TO) f=9 TT=2400.1 T1=1.17	OPT f=9 TT=1662.52 T1=0.77	SAT (TO) f=9 TT=2400.05 T1=1041.38	SAT (TO) f=11 TT=2400.04 T1=2288.47	SAT (TO) f=9 TT=2400.07 T1=204.34	? (TO) TT=2400.16	? (TO) TT=2520.16
OpenStacks/ OpenStacks-m2c-s1/ OpenStacks-m2c-tiny.xml	OPT f=3 TT=0.017 T1=0.01	OPT f=3 TT=1.531 T1=0.77	No data	No data	OPT f=3 TT=2.801 T1=0.73	OPT f=3 TT=2.884 T1=0.75	OPT f=3 TT=1.713 T1=0.75	OPT f=3 TT=1.856 T1=0.73	OPT f=3 TT=2.197 T1=0.71	OPT f=3 TT=2.151 T1=0.71	OPT f=3 TT=10.022 T1=4.3	OPT f=3 TT=0.025 T1=0.07	OPT f=3 TT=0.017 T1=0.01	OPT f=3 TT=0.019 T1=0.1	SAT (TO) f=3 TT=2520.11 T1=4.83	OPT f=3 TT=2.832 T1=1.33	OPT f=3 TT=2.906 T1=1.36	OPT f=3 TT=9.848 T1=2.29	OPT f=3 TT=9.051 T1=6.74	OPT f=3 TT=1.525 T1=0.79	No data	OPT f=3 TT=1.796 T1=0.87	OPT f=3 TT=1.761 T1=0.81	OPT f=3 TT=9.958 T1=4.47	OPT f=3 TT=0.025 T1=0.1	OPT f=3 TT=0.017 T1=0.07	OPT f=3 TT=0.018 T1=0.1	SAT (TO) f=3 TT=2400.04 T1=5	OPT f=3 TT=2.866 T1=1.28	OPT f=3 TT=2.88 T1=1.33	OPT f=3 TT=11.567 T1=4.77	OPT f=3 TT=11.465 T1=4.68
OpenStacks/OpenStacks-m2c-s1/ OpenStacks-m2c-wbo-10-10-1.xml	OPT f=3 TT=0.041 T1=0.04	OPT f=3 TT=1.797 T1=0.86	No data	No data	OPT f=3 TT=3.527 T1=0.88	OPT f=3 TT=3.807 T1=0.91	OPT f=3 TT=2.345 T1=0.83	OPT f=3 TT=2.307 T1=0.83	OPT f=3 TT=3.168 T1=0.79	OPT f=3 TT=3.149 T1=0.8	OPT f=3 TT=11.276 T1=4.57	OPT f=3 TT=0.078 T1=0.08	OPT f=3 TT=0.092 T1=0.04	OPT f=3 TT=0.043 T1=0.12	SAT (TO) f=3 TT=2520.11 T1=39.5	OPT f=3 TT=2.093 T1=1.01	OPT f=3 TT=2.122 T1=1.2	OPT f=3 TT=10.767 T1=2.22	OPT f=3 TT=10.991 T1=7.36	OPT f=3 TT=1.835 T1=0.9	No data	OPT f=3 TT=2.172 T1=0.88	OPT f=3 TT=2.159 T1=0.92	OPT f=3 TT=11.715 T1=4.79	OPT f=3 TT=0.078 T1=0.08	OPT f=3 TT=0.092 T1=0.12	OPT f=3 TT=0.041 T1=0.11	SAT (TO) f=3 TT=2400.06 T1=37.16	OPT f=3 TT=2.082 T1=1.03	OPT f=3 TT=2.113 T1=1.13	OPT f=3 TT=71.366 T1=25.13	OPT f=3 TT=71.429 T1=25.12
OpenStacks/OpenStacks-m2c-s1/ OpenStacks-m2c-wbo-10-20-1.xml	OPT f=5 TT=98.546 T1=0.17	OPT f=5 TT=358.789 T1=1.38	No data	No data	OPT f=5 TT=5361.98 T1=2.81	OPT f=5 TT=340.842 T1=2.92	SAT (TO) f=5 TT=2520.08 T1=10.09	SAT (TO) f=5 TT=2520.06 T1=9.95	SAT (TO) f=5 TT=2520.11 T1=4.21	SAT (TO) f=5 TT=2520.07 T1=4.41	SAT (TO) f=5 TT=2520.06 T1=5.43	SAT (TO) f=5 TT=2520.09 T1=0.17	SAT (TO) f=5 TT=2520.05 T1=1.55	OPT f=5 TT=99.167 T1=0.17	? (TO) TT=2520.04	SAT (TO) f=5 TT=2520.09 T1=27.9	SAT (TO) f=5 TT=2520.07 T1=29.4	SAT (TO) f=5 TT=4299.42 T1=3.19	SAT (TO) f=5 TT=3723.31 T1=11.39	OPT f=5 TT=364.841 T1=1.29	No data	OPT f=5 TT=335.731 T1=3.94	OPT f=5 TT=290.671 T1=2.59	SAT (TO) f=5 TT=2400.09 T1=5.44	? (TO) TT=2400.05	? (TO) TT=2400.02	OPT f=5 TT=98.546 T1=0.18	? (TO) TT=2400.1	SAT (TO) f=5 TT=2400.06 T1=27.33	SAT (TO) f=5 TT=2400.09 T1=29.08	SAT (TO) f=8 TT=2400.23 T1=2096.48	SAT (TO) f=8 TT=2520.17 T1=2079.12
OpenStacks/OpenStacks-m2c-s1/ OpenStacks-m2c-wbo-10-30-1.xml	OPT f=6 TT=644.396 T1=4.75	SAT (TO) f=6 TT=2520.11 T1=6.37	No data	No data	OPT f=6 TT=4040.61 T1=4.92	OPT f=6 TT=644.396 T1=4.75	SAT (TO) f=6 TT=2520.07 T1=259.82	SAT (TO) f=6 TT=2520.07 T1=274.24	SAT (TO) f=6 TT=2520.08 T1=55.6	SAT (TO) f=6 TT=2520.07 T1=56.06	SAT (TO) f=6 TT=2520.15 T1=7.32	SAT (TO) f=6 TT=2520 T1=922.28	SAT (TO) f=6 TT=2520 T1=7.89	SAT (TO) f=6 TT=2519.78 T1=0.47	SAT (TO) f=6 TT=2520.05 T1=1480.07	? (TO) TT=2520.08	? (TO) TT=2520.07	SAT (TO) f=6 TT=19944.6 T1=447.28	SAT (TO) f=6 TT=19941.801 T1=3044.33	SAT (TO) f=6 TT=2400.08 T1=6.42	No data	OPT f=6 TT=689.035 T1=6.97	OPT f=6 TT=491.014 T1=4.92	SAT (TO) f=6 TT=2400.14 T1=7.39	SAT (TO) f=6 TT=2400.03 T1=921.79	SAT (TO) f=6 TT=2400.05 T1=8.1	SAT (TO) f=6 TT=2400.09 T1=0.47	SAT (TO) f=6 TT=2400.12 T1=1527	? (TO) TT=2400.03	? (TO) TT=2400.06	? (TO) TT=2400.22	? (TO) TT=2520.2
OpenStacks/OpenStacks-m2c-s1/ OpenStacks-m2c-wbo-15-30-1.xml	OPT f=4 TT=148.51 T1=14.01	OPT f=4 TT=152.962 T1=14.51	No data	No data	OPT f=4 TT=1161.06 T1=14.4	OPT f=4 TT=691.03 T1=16.68	OPT f=4 TT=186.755 T1=43.06	OPT f=4 TT=178.823 T1=41.46	SAT (TO) f=4 TT=2520.07 T1=678.3	SAT (TO) f=4 TT=2520.13 T1=699.97	SAT (TO) f=5 TT=2520.07 T1=232.92	SAT (TO) f=5 TT=2520.01 T1=760.14	SAT (TO) f=5 TT=2519.81 T1=44.45	OPT f=4 TT=336.938 T1=15.38	SAT (TO) f=4 TT=2520.08 T1=808.62	SAT (TO) f=10 TT=2520.09 T1=293.26	SAT (TO) f=4 TT=2520.09 T1=620.38	SAT (TO) f=6 TT=20041 T1=6.45	SAT (TO) f=6 TT=20047.5 T1=24.36	OPT f=4 TT=148.51 T1=14.01	No data	OPT f=4 TT=428.153 T1=45.95	OPT f=4 TT=584.834 T1=97.68	SAT (TO) f=5 TT=2400.13 T1=189.22	No Cert. TT=2400.05	No Cert. TT=2400.09	OPT f=4 TT=336.261 T1=14.7	SAT (TO) f=5 TT=2400.14 T1=508.5	SAT (TO) f=10 TT=2400.12 T1=314.78	SAT (TO) f=4 TT=2400.12 T1=748.04	? (TO) TT=2400.19	? (TO) TT=2520.12
OpenStacks/OpenStacks-m2c-s1/ OpenStacks-m2c-wbop-10-20-1.xml	OPT f=5 TT=58.04 T1=0.57	OPT f=5 TT=292.7 T1=2.02	No data	No data	OPT f=5 TT=9858.39 T1=1.99	OPT f=5 TT=379.488 T1=3.51	SAT (TO) f=5 TT=2520.08 T1=8.86	SAT (TO) f=5 TT=2520.03 T1=8.86	SAT (TO) f=5 TT=2520.08 T1=3.44	SAT (TO) f=5 TT=2520.03 T1=3.31	SAT (TO) f=5 TT=2520.09 T1=6.37	SAT (TO) f=5 TT=2520.03 T1=0.43	SAT (TO) f=5 TT=2519.9 T1=0.22	OPT f=5 TT=59.416 T1=0.6	SAT (TO) f=5 TT=2520.05 T1=147.26	SAT (TO) f=6 TT=2520.04 T1=317.34	SAT (TO) f=5 TT=2520.11 T1=106.68	OPT f=5 TT=2049.73 T1=5.36	OPT f=5 TT=1312.62 T1=27.9	OPT f=5 TT=289.95 T1=1.99	No data	OPT f=5 TT=333.047 T1=5.97	OPT f=5 TT=242.33 T1=6.24	SAT (TO) f=5 TT=2400.11 T1=6.33	? (TO) TT=2400.05	? (TO) TT=2400.04	OPT f=5 TT=58.04 T1=0.57	SAT (TO) f=5 TT=2400.02 T1=100.19	SAT (TO) f=6 TT=2400.04 T1=322.75	SAT (TO) f=5 TT=2400.04 T1=78.4	SAT (TO) f=7 TT=2400.18 T1=658.48	SAT (TO) f=7 TT=2520.27 T1=702.75
OpenStacks/OpenStacks-m2c-s1/ OpenStacks-m2c-wbop-10-30-1.xml	OPT f=6 TT=1476.07 T1=3.29	SAT (TO) f=6 TT=2520.06 T1=11.04	No data	No data	OPT f=6 TT=3913.43 T1=3.89	OPT f=6 TT=1476.07 T1=3.29	SAT (TO) f=6 TT=2520.06 T1=9.44	SAT (TO) f=6 TT=2520.11 T1=10.1	SAT (TO) f=6 TT=2520.08 T1=3.36	SAT (TO) f=6 TT=2520.04 T1=3.52	SAT (TO) f=7 TT=2520.1 T1=6.44	SAT (TO) f=7 TT=2520.02 T1=0.82	SAT (TO) f=7 TT=2520.09 T1=0.47	SAT (TO) f=6 TT=2520.08 T1=0.3	? (TO) TT=2520.09	? (TO) TT=2520.07	? (TO) TT=2520.11	SAT (TO) f=6 TT=19906.4 T1=2070.74	SAT (TO) f=6 TT=19894.6 T1=16770.881	SAT (TO) f=6 TT=2400.02 T1=10.92	No data	OPT f=6 TT=243.403 T1=4.84	OPT f=6 TT=624.799 T1=9.8	SAT (TO) f=7 TT=2400.14 T1=6.57	SAT (TO) f=7 TT=2400.09 T1=0.88	SAT (TO) f=7 TT=2400.1 T1=0.56	SAT (TO) f=6 TT=2400.07 T1=0.29	? (TO) TT=2400.11	? (TO) TT=2400.12	? (TO) TT=2400.1	? (TO) TT=2400.34	? (TO) TT=2520.33
OpenStacks/OpenStacks-m2c-s1/ OpenStacks-m2c-wbp-10-20-1.xml	OPT f=6 TT=39.318 T1=0.26	OPT f=6 TT=39.318 T1=1.61	No data	No data	OPT f=6 TT=966.506 T1=1.74	OPT f=6 TT=834.433 T1=1.87	OPT f=6 TT=2364.43 T1=2.6	OPT f=6 TT=2376.42 T1=2.71	SAT (TO) f=6 TT=2520.08 T1=4.33	OPT f=6 TT=2491.9 T1=3.99	SAT (TO) f=6 TT=2520.12 T1=5.8	SAT (TO) f=6 TT=2520.1 T1=8.8	SAT (TO) f=6 TT=2519.7 T1=5.15	OPT f=6 TT=63.789 T1=0.26	SAT (TO) f=6 TT=2520.06 T1=193.67	SAT (TO) f=7 TT=2520.07 T1=111.39	SAT (TO) f=6 TT=2520.09 T1=151.82	OPT f=6 TT=2259.77 T1=4.93	OPT f=6 TT=3664.04 T1=24.41	OPT f=6 TT=40.695 T1=1.68	No data	OPT f=6 TT=527.001 T1=2.24	OPT f=6 TT=360.463 T1=2.08	SAT (TO) f=6 TT=2400.05 T1=5.81	? (TO) TT=2400.08	? (TO) TT=2400.06	OPT f=6 TT=67.652 T1=0.3	SAT (TO) f=6 TT=2400.08 T1=210.71	SAT (TO) f=7 TT=2400.04 T1=110.22	SAT (TO) f=6 TT=2400.08 T1=146.73	SAT (TO) f=9 TT=2400.31 T1=2387.51	SAT (TO) f=9 TT=2520.26 T1=2507.91
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	BTD 2017-07-25 (complete)	BTD 2017-08-10 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: BTD 2017-06-30 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
OpenStacks/OpenStacks-m2c-s1/ OpenStacks-m2c-wbp-15-15-1.xml	OPT f=4 TT=0.072 T1=0.11	OPT f=4 TT=2.503 T1=1.11	No data	No data	OPT f=4 TT=8.278 T1=1.41	OPT f=4 TT=7.154 T1=1.36	OPT f=4 TT=7.913 T1=3.78	OPT f=4 TT=7.786 T1=3.68	OPT f=4 TT=15.74 T1=4.28	OPT f=4 TT=14.617 T1=4.12	OPT f=4 TT=124.37 T1=7.89	OPT f=4 TT=2.656 T1=0.36	OPT f=4 TT=0.91 T1=0.19	OPT f=4 TT=0.073 T1=0.11	SAT (TO) f=4 TT=2520.12 T1=179.92	OPT f=4 TT=24.082 T1=19.65	OPT f=4 TT=1814.01 T1=135.32	OPT f=4 TT=62.267 T1=8.11	OPT f=4 TT=68.072 T1=56.3	OPT f=4 TT=2.471 T1=1.06	No data	OPT f=4 TT=5.869 T1=1.71	OPT f=4 TT=5.936 T1=1.72	OPT f=4 TT=118.763 T1=7.79	OPT f=4 TT=2.67 T1=0.39	OPT f=4 TT=0.905 T1=0.25	OPT f=4 TT=0.072 T1=0.11	SAT (TO) f=4 TT=2400.06 T1=192.37	OPT f=4 TT=24.303 T1=20.11	OPT f=4 TT=1732.27 T1=138.77	SAT (TO) f=4 TT=2400.22 T1=1911.14	SAT (TO) f=4 TT=2520.15 T1=2099.06
OpenStacks/OpenStacks-m2c-s1/ OpenStacks-m2c-wbp-15-30-1.xml	OPT f=6 TT=1109.65 T1=4.7	OPT f=6 TT=1117.54 T1=7.32	No data	No data	OPT f=6 TT=13267.8 T1=5.13	OPT f=6 TT=7565.25 T1=4.7	SAT (TO) f=6 TT=2520.11 T1=225.37	SAT (TO) f=6 TT=2520.07 T1=216.2	SAT (TO) f=6 TT=2520.08 T1=1540.9	SAT (TO) f=6 TT=2520.07 T1=1526.11	SAT (TO) f=9 TT=2520.09 T1=6.89	SAT (TO) f=7 TT=2520.04 T1=61.58	SAT (TO) f=7 TT=2519.91 T1=1746.71	OPT f=6 TT=2001.36 T1=6.84	SAT (TO) f=6 TT=2520.09 T1=784.07	SAT (TO) f=10 TT=2520.09 T1=230.5	SAT (TO) f=6 TT=2520.04 T1=536.39	SAT (TO) f=6 TT=20053.301 T1=127.21	SAT (TO) f=6 TT=20057.699 T1=1080.06	OPT f=6 TT=1109.65 T1=7.05	No data	Wrong Opt. f=12 TT=6.697 T1=2.52	SAT (TO) f=6 TT=2400.2 T1=14.7	SAT (TO) f=9 TT=2400.07 T1=7.02	No Cert. TT=2400.04	No Cert. TT=2400.1	OPT f=6 TT=2032.35 T1=6.58	SAT (TO) f=6 TT=2400.04 T1=528.58	SAT (TO) f=10 TT=2400.03 T1=233.81	SAT (TO) f=6 TT=2400.06 T1=508.23	? (TO) TT=2400.32	? (TO) TT=2520.14
Ortholatin/ Ortholatin-m1-s1/ Ortholatin-009.xml	SAT TT=273.33	? (TO) TT=2520.02	? (NS) TT=0.012	? (NS) TT=0.012	SAT TT=271.547	SAT TT=273.33	? (TO) TT=2520.06	? (TO) TT=2520.1	? (TO) TT=2520.03	? (TO) TT=2520.07	? (TO) TT=2520.59	? (TO) TT=2519.64	? (TO) TT=2520	? (TO) TT=2519.89	No data	? (TO) TT=2520.05	No data	? (TO) TT=19867.199	? (TO) TT=19862.199	? (TO) TT=2400.09	? (NS) TT=0.02	SAT TT=457.591	SAT TT=431.863	? (TO) TT=2401.23	? (TO) TT=2400.06	? (TO) TT=2400.05	? (TO) TT=2400.04	No data	? (TO) TT=2400.07	No data	? (TO) TT=2400.18	? (TO) TT=2520.19
Ortholatin/ Ortholatin-m1-s1/ Ortholatin-016.xml	SAT TT=11.11	? (TO) TT=2520.11	? (NS) TT=0.078	? (NS) TT=0.079	SAT TT=15.243	SAT TT=11.11	? (TO) TT=2520.08	? (TO) TT=2520.1	? (TO) TT=2520.04	? (TO) TT=2520.05	? (TO) TT=2521.37	? (TO) TT=2520.1	? (TO) TT=2519.95	? (TO) TT=2520.09	No data	? (TO) TT=2520.06	No data	? (TO) TT=19915.1	? (TO) TT=19911.199	? (TO) TT=2400.05	? (NS) TT=0.126	SAT TT=11.971	SAT TT=12.721	? (TO) TT=2402.29	? (TO) TT=2400.1	? (TO) TT=2400.03	? (TO) TT=2400.04	No data	? (TO) TT=2400.09	No data	? (TO) TT=2400.11	? (TO) TT=2520.16
Ortholatin/ Ortholatin-m1-s1/ Ortholatin-018.xml		? (TO) TT=2520.09	? (NS) TT=0.125	? (NS) TT=0.126	? (TO) TT=19848.5	? (TO) TT=19847.301	? (TO) TT=2520.11	? (TO) TT=2520.11	? (TO) TT=2520.07	? (TO) TT=2520.07	? (TO) TT=2521.28	? (TO) TT=2520.07	? (TO) TT=2519.8	? (TO) TT=2519.64	No data	? (TO) TT=2520.07	No data	? (TO) TT=19955.9	? (TO) TT=19938.5	? (TO) TT=2400.1	? (NS) TT=0.179	? (TO) TT=2400.15	? (TO) TT=2400.16	? (TO) TT=2402.85	? (TO) TT=2400.05	? (TO) TT=2400.11	? (TO) TT=2400.02	No data	? (TO) TT=2400.1	No data	? (TO) TT=2400.16	? (TO) TT=2520.18
Ortholatin/ Ortholatin-m1-s1/ Ortholatin-019.xml		? (TO) TT=2520.1	? (NS) TT=0.158	? (NS) TT=0.158	? (TO) TT=19859.699	? (TO) TT=19827.6	? (TO) TT=2520.11	? (TO) TT=2520.03	? (TO) TT=2520.04	? (TO) TT=2520.1	? (TO) TT=2521.49	? (TO) TT=2520.07	? (TO) TT=2520.08	? (TO) TT=2520.01	No data	? (TO) TT=2520.12	No data	? (TO) TT=19939.301	? (TO) TT=19995.1	? (TO) TT=2400.06	? (NS) TT=0.213	? (TO) TT=2400.67	? (TO) TT=2400.55	? (TO) TT=2403.23	? (TO) TT=2400.09	? (TO) TT=2400.09	? (TO) TT=2400.07	No data	? (TO) TT=2400.06	No data	? (TO) TT=2400.23	? (TO) TT=2520.22
Ortholatin/ Ortholatin-m1-s1/ Ortholatin-024.xml		? (TO) TT=2520.1	? (NS) TT=0.458	? (NS) TT=0.457	? (TO) TT=19942.4	? (TO) TT=19953	? (TO) TT=2520.09	? (TO) TT=2520.12	? (TO) TT=2520.05	? (TO) TT=2520.11	? (TO) TT=2523.1	? (TO) TT=2520.1	? (TO) TT=2520.04	? (TO) TT=2519.89	No data	? (TO) TT=2520.09	No data	? (TO) TT=19930.199	? (TO) TT=19929.1	? (TO) TT=2400.06	? (NS) TT=0.51	? (TO) TT=2400.23	? (TO) TT=2400.33	? (TO) TT=2407.17	? (TO) TT=2400.02	? (TO) TT=2400.09	? (TO) TT=2400.05	No data	? (TO) TT=2400.07	No data	? (TO) TT=2415.92	? (problem) TT=2391.11
Ortholatin/ Ortholatin-m1-s1/ Ortholatin-028.xml		? (TO) TT=2520.08	? (NS) TT=0.945	? (NS) TT=0.938	? (TO) TT=19997	? (TO) TT=20007.801	? (TO) TT=2520.05	? (TO) TT=2520.1	? (TO) TT=2520.12	? (TO) TT=2520.1	? (TO) TT=2525.59	? (TO) TT=2519.99	? (TO) TT=2520.12	? (TO) TT=2519.86	No data	? (TO) TT=2520.05	No data	? (TO) TT=19886.9	? (TO) TT=19917.4	? (TO) TT=2400.02	? (NS) TT=0.999	? (TO) TT=2400.27	? (TO) TT=2400.7	? (TO) TT=2409.9	? (TO) TT=2400.04	? (TO) TT=2400.38	? (TO) TT=2400.03	No data	? (TO) TT=2400.07	No data	? (TO) TT=2415.84	? (TO) TT=2528.14
PigeonsPlus/ PigeonsPlus-m1-s1/ pigeonsPlus-07-05.xml	UNSAT TT=0.233	UNSAT TT=1.816	UNSAT TT=0.867	UNSAT TT=0.866	UNSAT TT=3.85	UNSAT TT=3.449	UNSAT TT=1.625	UNSAT TT=1.64	UNSAT TT=2.049	UNSAT TT=2.154	UNSAT TT=11.422	UNSAT TT=0.57	UNSAT TT=0.567	UNSAT TT=0.233	No data	UNSAT TT=2.015	No data	UNSAT TT=8.428	UNSAT TT=8.304	UNSAT TT=2.186	UNSAT TT=0.925	UNSAT TT=4.267	UNSAT TT=4.174	UNSAT TT=14.087	UNSAT TT=0.602	UNSAT TT=0.625	UNSAT TT=0.255	No data	UNSAT TT=2.558	No data	UNSAT TT=69.617	UNSAT TT=64.474
PigeonsPlus/ PigeonsPlus-m1-s1/ pigeonsPlus-07-08.xml	UNSAT TT=10.118	UNSAT TT=10.118	UNSAT TT=476.5	UNSAT TT=475.462	UNSAT TT=170.645	UNSAT TT=171.748	UNSAT TT=15.384	UNSAT TT=15.581	UNSAT TT=15.355	UNSAT TT=15.382	UNSAT TT=34.935	UNSAT TT=176.851	UNSAT TT=177.003	UNSAT TT=108.697	No data	UNSAT TT=33.744	No data	UNSAT TT=68.995	UNSAT TT=66.639	UNSAT TT=12.753	UNSAT TT=471.472	UNSAT TT=216.099	UNSAT TT=183.645	UNSAT TT=49.189	UNSAT TT=176.418	UNSAT TT=177.196	UNSAT TT=104.936	No data	UNSAT TT=47.091	No data	? (TO) TT=2416.39	? (TO) TT=2527.91
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	BTD 2017-07-25 (complete)	BTD 2017-08-10 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: BTD 2017-06-30 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
PigeonsPlus/ PigeonsPlus-m1-s1/ pigeonsPlus-07-09.xml	UNSAT TT=68.578	UNSAT TT=68.578	? (MO) TT=67.817	? (MO) TT=67.595	UNSAT TT=1741.77	UNSAT TT=1756.9	UNSAT TT=85.437	UNSAT TT=83.837	UNSAT TT=85.925	UNSAT TT=81.915	UNSAT TT=158.501	UNSAT TT=1159.21	UNSAT TT=1157.5	? (NS) TT=97.67	No data	UNSAT TT=384.806	No data	? (TO) TT=16662.199	? TT=4966.19	UNSAT TT=103.09	? (MO) TT=62.734	? (TO) TT=2400.75	? (TO) TT=2400.06	UNSAT TT=239.126	UNSAT TT=1156.3	UNSAT TT=1157.89	? (NS) TT=97.929	No data	UNSAT TT=739.784	No data	? TT=112.473	? TT=61.744
PigeonsPlus/ PigeonsPlus-m1-s1/ pigeonsPlus-08-04.xml	UNSAT TT=0.648	UNSAT TT=2.08	UNSAT TT=1.546	UNSAT TT=1.541	UNSAT TT=6.554	UNSAT TT=10.174	UNSAT TT=2.221	UNSAT TT=2.26	UNSAT TT=4.781	UNSAT TT=4.967	UNSAT TT=14.28	UNSAT TT=1.468	UNSAT TT=1.264	UNSAT TT=0.648	No data	UNSAT TT=2.303	No data	UNSAT TT=9.985	UNSAT TT=10.306	UNSAT TT=2.488	UNSAT TT=1.601	UNSAT TT=8.022	UNSAT TT=7.34	UNSAT TT=18.121	UNSAT TT=1.531	UNSAT TT=1.308	UNSAT TT=0.681	No data	UNSAT TT=2.89	No data	UNSAT TT=12.897	UNSAT TT=9.919
PigeonsPlus/ PigeonsPlus-m1-s1/ pigeonsPlus-09-03.xml	UNSAT TT=2.003	UNSAT TT=2.898	UNSAT TT=2.421	UNSAT TT=2.416	UNSAT TT=16.003	UNSAT TT=13.005	UNSAT TT=3.93	UNSAT TT=3.952	UNSAT TT=15.795	UNSAT TT=15.951	UNSAT TT=36.173	UNSAT TT=2.003	UNSAT TT=1.185	UNSAT TT=3.949	No data	UNSAT TT=3.427	No data	UNSAT TT=12.928	UNSAT TT=15.719	UNSAT TT=3.179	UNSAT TT=2.482	UNSAT TT=21.068	UNSAT TT=18.74	UNSAT TT=40.905	UNSAT TT=2.023	UNSAT TT=1.234	UNSAT TT=4.117	No data	UNSAT TT=3.612	No data	UNSAT TT=20.023	UNSAT TT=19.77
PigeonsPlus/ PigeonsPlus-m1-s1/ pigeonsPlus-11-04.xml	UNSAT TT=64.79	UNSAT TT=64.79	? TT=2520.01	? (TO) TT=2519.83	UNSAT TT=469.232	UNSAT TT=474.865	UNSAT TT=141.497	UNSAT TT=141.188	UNSAT TT=452.636	UNSAT TT=437.008	? (TO) TT=2520.43	? (TO) TT=2520	UNSAT TT=1208.43	? (TO) TT=2519.78	No data	UNSAT TT=113.54	No data	UNSAT TT=417.328	UNSAT TT=433.721	UNSAT TT=66.765	? TT=2400.01	UNSAT TT=966.184	UNSAT TT=995.339	? (TO) TT=2401.16	? (TO) TT=2400.06	UNSAT TT=1205.43	? (TO) TT=2400.1	No data	UNSAT TT=116.166	No data	UNSAT TT=2041.86	UNSAT TT=1938.5
Primes/Primes-m1-p10/ Primes-10-20-3-3.xml	SAT TT=0.005	SAT TT=0.967	SAT TT=4.678	SAT TT=4.697	SAT TT=1.267	SAT TT=1.267	SAT TT=0.885	SAT TT=0.883	SAT TT=0.978	SAT TT=0.964	SAT TT=25.541	SAT TT=0.005	SAT TT=0.01	SAT TT=0.008	No data	SAT TT=1.158	No data	SAT (TO) TT=7870.43	SAT TT=4.406	SAT TT=1.011	SAT TT=4.698	SAT TT=1.419	SAT TT=1.527	SAT TT=27.67	SAT TT=0.009	SAT TT=0.016	SAT TT=0.012	No data	SAT TT=1.277	No data	SAT TT=82.337	SAT TT=79.022
Primes/Primes-m1-p10/ Primes-10-60-3-3.xml	SAT TT=0.013	SAT TT=1.235	SAT TT=9.715	SAT TT=9.68	SAT TT=2.138	SAT TT=2.189	SAT TT=1.018	SAT TT=1.02	SAT TT=1.339	SAT TT=1.333	SAT TT=7.055	SAT TT=0.027	SAT TT=0.019	SAT TT=0.013	No data	SAT TT=1.504	No data	SAT TT=4.16	SAT TT=4.113	SAT TT=1.386	SAT TT=9.718	SAT TT=2.417	SAT TT=2.342	SAT TT=8.299	SAT TT=0.033	SAT TT=0.035	SAT TT=0.022	No data	SAT TT=1.642	No data	SAT TT=228.425	SAT TT=203.655
Primes/Primes-m1-p15/ Primes-15-20-2-5.xml	SAT TT=0.008	SAT TT=0.999	? (TO) TT=2519.8	? (TO) TT=2519.81	SAT TT=1.373	SAT TT=1.386	SAT TT=0.9	SAT TT=0.891	SAT TT=1.093	SAT TT=1.121	SAT TT=6.429	SAT TT=0.008	SAT TT=0.026	SAT TT=0.008	No data	SAT TT=1.111	No data	SAT (TO) TT=7975.39	SAT (TO) TT=5066.14	SAT TT=1.11	? (TO) TT=2400.09	SAT TT=1.528	SAT TT=1.562	SAT TT=7.571	SAT TT=0.014	SAT TT=0.037	SAT TT=0.011	No data	SAT TT=1.182	No data	? (TO) TT=2400.18	? (TO) TT=2520.16
Primes/Primes-m1-p15/ Primes-15-60-3-5.xml	SAT TT=3.283	SAT TT=3.283	? (TO) TT=2519.87	? (TO) TT=2519.82	SAT TT=55.628	SAT TT=62.02	SAT TT=8.081	SAT TT=9.099	SAT TT=32.604	SAT TT=32.491	? (TO) TT=2520.5	? (TO) TT=2519.92	? (TO) TT=2520.04	SAT TT=63.645	No data	? TT=2518.29	No data	SAT (TO) TT=5706.77	SAT TT=625.352	SAT TT=3.553	? (TO) TT=2400.04	SAT TT=80.149	SAT TT=83.763	? (TO) TT=2401.18	? (TO) TT=2400.01	? (TO) TT=2400.02	SAT TT=21.323	No data	? (TO) TT=2400.1	No data	? (TO) TT=2400.22	? (TO) TT=2520.19
Primes/Primes-m1-p20/ Primes-20-40-2-1.xml	SAT TT=0.007	SAT TT=0.973	SAT TT=0.028	SAT TT=0.027	SAT TT=3.322	SAT TT=3.206	SAT TT=1.133	SAT TT=1.141	SAT TT=1.203	SAT TT=1.198	SAT TT=6.495	SAT TT=0.007	SAT TT=0.027	SAT TT=0.009	No data	SAT TT=1.142	No data	SAT TT=6.739	SAT TT=3.926	SAT TT=1.142	SAT TT=0.049	SAT TT=3.221	SAT TT=3.188	SAT TT=7.916	SAT TT=0.011	SAT TT=0.042	SAT TT=0.013	No data	SAT TT=1.248	No data	SAT TT=21.173	SAT TT=10.659
Primes/Primes-m1-p30/ Primes-30-60-3-1.xml	SAT TT=0.009	SAT TT=1.079	SAT TT=17.779	SAT TT=17.804	SAT TT=1.56	SAT TT=1.616	SAT TT=0.855	SAT TT=0.87	SAT TT=0.965	SAT TT=0.985	SAT TT=6.67	SAT TT=0.009	SAT TT=0.06	SAT TT=0.012	No data	SAT TT=1.238	No data	SAT TT=7.686	SAT TT=4.727	SAT TT=1.143	SAT TT=18.107	SAT TT=1.864	SAT TT=1.768	SAT TT=8.009	SAT TT=0.015	SAT TT=0.095	SAT TT=0.017	No data	SAT TT=1.284	No data	? (TO) TT=2415.64	? TT=1699.29
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	BTD 2017-07-25 (complete)	BTD 2017-08-10 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: BTD 2017-06-30 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
PropStress/ PropStress-m1-s1/ PropStress-0020.xml	UNSAT TT=0.18	UNSAT TT=2.606	UNSAT TT=0.181	UNSAT TT=0.18	UNSAT TT=3.989	UNSAT TT=3.825	UNSAT TT=1.135	UNSAT TT=1.162	UNSAT TT=1.419	UNSAT TT=1.427	UNSAT TT=11.93	UNSAT TT=2.876	UNSAT TT=2.261	UNSAT TT=0.454	No data	UNSAT TT=1.291	No data	UNSAT TT=1.317	UNSAT TT=1.338	UNSAT TT=2.997	UNSAT TT=0.236	UNSAT TT=3.834	UNSAT TT=3.202	UNSAT TT=14.512	UNSAT TT=2.935	UNSAT TT=2.315	UNSAT TT=0.483	No data	UNSAT TT=1.37	No data	UNSAT TT=1482.86	UNSAT TT=1251.13
PropStress/ PropStress-m1-s1/ PropStress-0100.xml	UNSAT TT=4.631	? (TO) TT=2520.03	UNSAT TT=34.832	UNSAT TT=30.671	UNSAT TT=77.571	UNSAT TT=75.462	UNSAT TT=7.144	UNSAT TT=7.187	UNSAT TT=8.645	UNSAT TT=8.945	UNSAT TT=57.288	UNSAT TT=76.304	? (MO) TT=37.545	UNSAT TT=18.567	No data	UNSAT TT=4.631	No data	UNSAT TT=4.834	UNSAT TT=4.803	? (TO) TT=2400.05	UNSAT TT=29.843	UNSAT TT=176.96	UNSAT TT=171.389	UNSAT TT=63.609	UNSAT TT=76.435	? (MO) TT=37.664	UNSAT TT=17.767	No data	UNSAT TT=5.801	No data	? (TO) TT=2415.28	? TT=1753.38
PropStress/ PropStress-m1-s1/ PropStress-0150.xml	UNSAT TT=14.042	? (TO) TT=2520.04	UNSAT TT=265.004	UNSAT TT=253.537	UNSAT TT=570.824	UNSAT TT=665.871	UNSAT TT=33.665	UNSAT TT=26.695	UNSAT TT=47.858	UNSAT TT=47.375	UNSAT TT=180.059	? (TO) TT=2520.35	? (MO) TT=31.818	UNSAT TT=101.894	No data	UNSAT TT=14.042	No data	UNSAT TT=15.617	UNSAT TT=15.413	? (TO) TT=2400.1	UNSAT TT=257.799	UNSAT TT=1089.11	UNSAT TT=1030.34	UNSAT TT=201.904	? (TO) TT=2400.31	? (MO) TT=32.016	UNSAT TT=91.934	No data	UNSAT TT=15.1	No data	? (TO) TT=2416.43	? (TO) TT=2528.3
PropStress/ PropStress-m1-s1/ PropStress-0250.xml	UNSAT TT=109.141	? (problem) TT=44.029	? (MO) TT=2109.88	? (MO) TT=2093.37	UNSAT TT=3269.86	UNSAT TT=3193.33	UNSAT TT=216.48	UNSAT TT=224.313	UNSAT TT=343.827	UNSAT TT=342.934	UNSAT TT=1687.12	? TT=15.892	? (MO) TT=15.916	UNSAT TT=1097.01	No data	UNSAT TT=133.687	No data	UNSAT TT=114.761	UNSAT TT=110.825	? (problem) TT=95.84	? (MO) TT=2072.54	? (TO) TT=2400.2	? (TO) TT=2400.29	UNSAT TT=1691.63	? (MO) TT=15.954	? (MO) TT=17.039	UNSAT TT=1100.27	No data	UNSAT TT=109.141	No data	? (TO) TT=2414.56	? (TO) TT=2528.11
PropStress/ PropStress-m1-s1/ PropStress-0450.xml	UNSAT TT=1550.83	? (problem) TT=44.142	? (TO) TT=2519.87	? (TO) TT=2519.56	? (TO) TT=20033	? (TO) TT=20030.801	? (TO) TT=2520.07	? (TO) TT=2520.08	? (TO) TT=2528.18	? (TO) TT=2528.16	? (TO) TT=2522.32	? TT=9.921	? (MO) TT=9.819	? (TO) TT=2520.08	No data	UNSAT TT=1578.7	No data	UNSAT TT=1550.83	UNSAT TT=1564.02	? (problem) TT=79.607	? (TO) TT=2400.04	? (TO) TT=2400	? (TO) TT=2400.18	? (TO) TT=2402.57	? TT=10.022	? TT=9.865	? (TO) TT=2400.02	No data	UNSAT TT=1569.66	No data	? (TO) TT=2416.04	? TT=1166.75
PropStress/ PropStress-m1-s1/ PropStress-0600.xml		? (exit code) TT=39.716	? (TO) TT=2519.95	? (TO) TT=2519.77	? (TO) TT=19983.5	? (TO) TT=19983.4	? (TO) TT=2520.08	? (TO) TT=2520.07	? (TO) TT=2527.87	? (TO) TT=2528.2	? (TO) TT=2522.23	? TT=7.302	? (MO) TT=7.17	? (TO) TT=2519.92	No data	? (TO) TT=2520.09	No data	? (TO) TT=2528.78	? (TO) TT=2527.22	? (exit code) TT=73.279	? (TO) TT=2400.01	? (TO) TT=2400.02	? (TO) TT=2400.67	? (TO) TT=2402.5	? TT=7.228	? (MO) TT=7.24	? (TO) TT=2400.06	No data	? (TO) TT=2400.06	No data	? TT=1987.7	? TT=640.558
PseudoBoolean/ PseudoBoolean-dec-fpga/ Pb-chnl15-16.xml		? (TO) TT=2520.11	? (TO) TT=2519.8	? (TO) TT=2519.81	? (TO) TT=19418.5	? (TO) TT=19281.301	? (TO) TT=2520.1	? (TO) TT=2520.02	? (TO) TT=2520.12	? (TO) TT=2520.04	? (TO) TT=2520.56	? (TO) TT=2520.01	? (TO) TT=2520	? (TO) TT=2519.98	No data	? (TO) TT=2520.06	No data	? (TO) TT=19857	? (TO) TT=19851.5	? (TO) TT=2400.11	? TT=2400	? (TO) TT=2400	? (TO) TT=2400.6	? (TO) TT=2401.09	? (TO) TT=2400.09	? (TO) TT=2400.08	? (TO) TT=2400.02	No data	? (TO) TT=2400.04	No data	? (TO) TT=2400.17	? (TO) TT=2520.07
PseudoBoolean/ PseudoBoolean-dec-pigeon/ Pb-pigeon-card-085-080.xml		? (TO) TT=2520.09	? (TO) TT=2519.85	? (TO) TT=2519.71	? (TO) TT=20103.699	? (TO) TT=20103.199	? (TO) TT=2520.1	? (TO) TT=2520.08	? (TO) TT=2520.08	? (TO) TT=2520.05	? (TO) TT=2521.1	? (TO) TT=2519.74	? (TO) TT=2520.05	? (TO) TT=2519.82	No data	? (TO) TT=2520.07	No data	? (TO) TT=19893.6	? (TO) TT=19899	? (TO) TT=2400.1	? (TO) TT=2400.07	? (TO) TT=2400.74	? (TO) TT=2400.69	? (TO) TT=2402.29	? (TO) TT=2400.05	? (TO) TT=2400.02	? (TO) TT=2400.1	No data	? (TO) TT=2400.09	No data	? (TO) TT=2400.09	? (TO) TT=2520.17
PseudoBoolean/ PseudoBoolean-dec-queen/ Pb-queen-0974553.xml	SAT TT=4.022	SAT TT=7.229	SAT TT=100.128	SAT TT=100.213	Wrong UNSAT TT=8.681	SAT TT=9.438	SAT TT=4.024	SAT TT=5.313	SAT TT=34.994	SAT TT=33.487	SAT TT=20.775	SAT TT=155.9	SAT TT=30.393	SAT TT=4.522	No data	SAT TT=4.022	No data	SAT TT=15.883	SAT TT=8.833	SAT TT=7.507	SAT TT=99.896	Wrong UNSAT TT=7.422	Wrong UNSAT TT=11.674	SAT TT=24.61	SAT TT=159.378	SAT TT=30.822	SAT TT=0.047	No data	SAT TT=4.1	No data	SAT TT=180.563	SAT TT=169.64
PseudoBoolean/ PseudoBoolean-dec-spng/ Pb-NG-K145.xml		? (TO) TT=2520.05	? (TO) TT=2520.08	? (TO) TT=2519.79	UNSAT TT=26.136	? (TO) TT=20086.1	UNSAT TT=2188.65	? (TO) TT=2520.1	UNSAT TT=391.947	? (TO) TT=2520.12	? (TO) TT=2522.62	? (TO) TT=2519.77	? (TO) TT=2520.04	? (TO) TT=2520.03	No data	? (TO) TT=2520.04	No data	? (TO) TT=19931.1	? (TO) TT=19922.5	? (TO) TT=2400.08	? (TO) TT=2400.03	UNSAT TT=34.473	UNSAT TT=37.327	? (TO) TT=2406.74	? (TO) TT=2400.07	? (TO) TT=2400.09	? (TO) TT=2400.02	No data	? (TO) TT=2400.02	No data	? (TO) TT=2400.21	? (TO) TT=2520.19
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	BTD 2017-07-25 (complete)	BTD 2017-08-10 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: BTD 2017-06-30 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
PseudoBoolean/ PseudoBoolean-dec-sptate/ Pb-Tate-K097.xml		? (TO) TT=2520.08	? (TO) TT=2519.99	? (TO) TT=2519.71	? (TO) TT=20095.6	? (TO) TT=20097.4	? (TO) TT=2520.04	? (TO) TT=2520.04	? (TO) TT=2520.07	? (TO) TT=2520.11	? (TO) TT=2521.39	? (TO) TT=2519.96	? (TO) TT=2519.82	? (TO) TT=2519.8	No data	? (TO) TT=2520.03	No data	? (TO) TT=19958.9	? (TO) TT=19963.301	? (TO) TT=2400.09	? (TO) TT=2400.04	? (TO) TT=2400.36	? (TO) TT=2400.49	? (TO) TT=2403.02	? (TO) TT=2400.1	? (TO) TT=2400.1	? (TO) TT=2400.08	No data	? (TO) TT=2400.05	No data	? (TO) TT=2400.15	? (TO) TT=2520.1
PseudoBoolean/ PseudoBoolean-dec-sptate/ Pb-Tate-K108.xml		? (TO) TT=2520.05	? (TO) TT=2519.95	? (TO) TT=2519.8	UNSAT TT=9.669	? (TO) TT=20094.699	UNSAT TT=36.578	? (TO) TT=2520.09	UNSAT TT=616.595	? (TO) TT=2520.09	? (TO) TT=2521.49	? (TO) TT=2519.76	? (TO) TT=2519.89	? (TO) TT=2519.8	No data	? (TO) TT=2520.05	No data	? (TO) TT=19958.199	? (TO) TT=19974.9	? (TO) TT=2400.07	? (TO) TT=2400.06	UNSAT TT=10.436	UNSAT TT=10.841	? (TO) TT=2403.6	? (TO) TT=2400.04	? (TO) TT=2400.02	? (TO) TT=2400.1	No data	? (TO) TT=2400.06	No data	? (TO) TT=2400.14	? (TO) TT=2520.15
PseudoBoolean/ PseudoBoolean-opt-dimacs/ Pb-aim-050-3-4-yes1-1.xml	OPT f=50 TT=0.046 T1=0.03	OPT f=50 TT=1.437 T1=0.79	No data	No data	OPT f=50 TT=2.831 T1=0.76	OPT f=50 TT=2.468 T1=0.73	OPT f=50 TT=1.165 T1=0.55	OPT f=50 TT=1.185 T1=0.79	OPT f=50 TT=1.571 T1=0.65	OPT f=50 TT=1.564 T1=0.78	OPT f=50 TT=8.342 T1=3.81	OPT f=50 TT=0.072 T1=0.13	OPT f=50 TT=0.088 T1=0.16	OPT f=50 TT=0.046 T1=0.11	SAT (TO) f=50 TT=2520.07 T1=0.94	OPT f=50 TT=1.481 T1=0.93	OPT f=50 TT=1.507 T1=0.8	OPT f=50 TT=4.101 T1=1.55	OPT f=50 TT=3.927 T1=3.38	OPT f=50 TT=1.571 T1=0.7	No data	OPT f=50 TT=2.854 T1=0.8	OPT f=50 TT=3.019 T1=0.82	OPT f=50 TT=9.657 T1=3.78	OPT f=50 TT=0.112 T1=0.04	OPT f=50 TT=0.139 T1=0.03	OPT f=50 TT=0.065 T1=0.03	SAT (TO) f=50 TT=2400.11 T1=0.84	OPT f=50 TT=1.606 T1=1.2	OPT f=50 TT=1.615 T1=0.81	OPT f=50 TT=1.131 T1=0.52	OPT f=50 TT=0.958 T1=0.45
PseudoBoolean/ PseudoBoolean-opt-dimacs/ Pb-ii08a1.xml	OPT f=54 TT=2.219 T1=0.05	OPT f=54 TT=3.385 T1=0.8	No data	No data	OPT f=54 TT=12.364 T1=0.7	OPT f=54 TT=28.759 T1=0.69	OPT f=54 TT=16.92 T1=0.76	OPT f=54 TT=16.414 T1=0.84	OPT f=54 TT=74.704 T1=1.66	OPT f=54 TT=76.027 T1=1.91	OPT f=54 TT=15.271 T1=4.24	OPT f=54 TT=13.739 T1=13.85	OPT f=54 TT=8.903 T1=8.95	OPT f=54 TT=5.708 T1=0.12	SAT (TO) f=54 TT=2520.06 T1=1.54	OPT f=54 TT=2.75 T1=0.99	OPT f=54 TT=2.859 T1=0.88	OPT f=54 TT=7.36 T1=1.85	OPT f=54 TT=8.426 T1=5.41	OPT f=54 TT=3.598 T1=0.75	No data	OPT f=54 TT=41.429 T1=0.76	OPT f=54 TT=37.916 T1=0.77	OPT f=54 TT=18.369 T1=4.08	OPT f=54 TT=14.012 T1=0.02	OPT f=54 TT=9.091 T1=0.02	OPT f=54 TT=5.772 T1=0.05	SAT (TO) f=54 TT=2400.06 T1=2.15	OPT f=54 TT=2.893 T1=0.93	OPT f=54 TT=2.832 T1=0.99	OPT f=54 TT=2.682 T1=0.58	OPT f=54 TT=2.219 T1=0.51
PseudoBoolean/ PseudoBoolean-opt-dimacs/ Pb-ii8d2.xml	SAT TO f=547 TT=2400.01 T1=1079.13	SAT (TO) f=580 TT=2520.05 T1=39.43	No data	No data	SAT (TO) f=662 TT=20077.1 T1=1.96	SAT (TO) f=662 TT=20055.9 T1=1.95	SAT (TO) f=608 TT=2520.05 T1=2.91	SAT (TO) f=608 TT=2520.09 T1=3	SAT (TO) f=706 TT=2520.12 T1=1065.29	SAT (TO) f=706 TT=2520.06 T1=995.01	SAT (TO) f=561 TT=2520.06 T1=47.94	SAT (TO) f=627 TT=2519.83 T1=2520	SAT (TO) f=717 TT=2520.08 T1=2519.9	SAT (TO) f=547 TT=2519.81 T1=1079.13	SAT (TO) f=554 TT=2520.08 T1=20.24	SAT (TO) f=761 TT=2520.11 T1=2181.38	SAT (TO) f=554 TT=2520.11 T1=349.49	SAT (TO) f=746 TT=19886.5 T1=1942.07	SAT (TO) f=746 TT=19924.1 T1=15972.21	SAT (TO) f=580 TT=2400.07 T1=37.1	No data	SAT (TO) f=662 TT=2400.3 T1=2.33	SAT (TO) f=662 TT=2400.07 T1=2.38	SAT (TO) f=561 TT=2400.11 T1=47.4	No Cert. TT=2400.04	No Cert. TT=2400.05	SAT (TO) f=547 TT=2400.01 T1=1095.92	SAT (TO) f=554 TT=2400.16 T1=36.86	SAT (TO) f=761 TT=2400.08 T1=2158.16	SAT (TO) f=554 TT=2400.07 T1=268.46	SAT (TO) f=709 TT=2400.88 T1=1.77	SAT (TO) f=709 TT=2520.31 T1=1.66
PseudoBoolean/ PseudoBoolean-opt-domset/ Pb-domset-v500-e2000-w30-mw19-11.xml	SAT TO f=202 TT=2520.05 T1=1170.73	SAT (TO) f=211 TT=2520.02 T1=28.4	No data	No data	SAT (TO) f=215 TT=19885.9 T1=29.02	SAT (TO) f=215 TT=19852 T1=29.47	SAT (TO) f=222 TT=2520.05 T1=296.17	SAT (TO) f=222 TT=2520.08 T1=271.77	SAT (TO) f=226 TT=2520.05 T1=0.84	SAT (TO) f=226 TT=2520.1 T1=0.71	SAT (TO) f=224 TT=2520.06 T1=115.36	SAT (TO) f=225 TT=2519.9 T1=2520	SAT (TO) f=221 TT=2520.03 T1=2519.9	SAT (TO) f=220 TT=2519.88 T1=1478.09	SAT (TO) f=208 TT=2520.09 T1=2011.13	SAT (TO) f=352 TT=2520.11 T1=2010.75	SAT (TO) f=202 TT=2520.05 T1=1170.73	SAT (TO) f=349 TT=19896.5 T1=2502.1	SAT (TO) f=350 TT=19904.9 T1=14475.73	SAT (TO) f=211 TT=2400.03 T1=28.25	No data	SAT (TO) f=216 TT=2400.74 T1=23.95	SAT (TO) f=215 TT=2400.13 T1=74.52	SAT (TO) f=224 TT=2400.17 T1=121.54	No Cert. TT=2400.07	No Cert. TT=2400.1	SAT (TO) f=220 TT=2400.02 T1=1502.54	SAT (TO) f=204 TT=2400.13 T1=2140.32	SAT (TO) f=352 TT=2400.08 T1=2096.46	SAT (TO) f=213 TT=2400.03 T1=1310.86	SAT (TO) f=251 TT=2400.4 T1=1.71	SAT (TO) f=251 TT=2520.32 T1=1.68
PseudoBoolean/ PseudoBoolean-opt-factor/ Pb-factor-S9-P071-Q409.xml	OPT f=71 TT=0.049 T1=0.07	OPT f=71 TT=2.488 T1=1.11	No data	No data	OPT f=71 TT=2.242 T1=0.71	OPT f=71 TT=2.386 T1=0.74	OPT f=71 TT=1.374 T1=0.6	OPT f=71 TT=1.379 T1=0.69	OPT f=71 TT=3.424 T1=1.2	OPT f=71 TT=3.407 T1=1.2	OPT f=71 TT=10.116 T1=4.55	OPT f=71 TT=0.068 T1=0.15	OPT f=71 TT=0.073 T1=0.07	OPT f=71 TT=0.049 T1=0.1	SAT (TO) f=71 TT=2520.11 T1=2.36	OPT f=71 TT=1.526 T1=0.79	OPT f=71 TT=1.551 T1=0.8	OPT f=71 TT=5.361 T1=2.16	OPT f=71 TT=5.43 T1=4.84	OPT f=71 TT=3.381 T1=1.17	No data	OPT f=71 TT=2.435 T1=0.78	OPT f=71 TT=2.602 T1=0.81	OPT f=71 TT=11.071 T1=4.31	OPT f=71 TT=0.11 T1=0.1	OPT f=71 TT=0.12 T1=0.11	OPT f=71 TT=0.074 T1=0.07	SAT (TO) f=71 TT=2400.1 T1=5.95	OPT f=71 TT=1.923 T1=1.23	OPT f=71 TT=1.887 T1=0.89	? (TO) TT=2400.21	? (TO) TT=2520.32
PseudoBoolean/ PseudoBoolean-opt-factor/ Pb-factor-S9-P167-Q347.xml	OPT f=167 TT=0.033 T1=0.04	OPT f=167 TT=2.353 T1=1.03	No data	No data	OPT f=167 TT=3.212 T1=0.81	OPT f=167 TT=3.192 T1=0.8	OPT f=167 TT=1.291 T1=0.69	OPT f=167 TT=1.295 T1=0.71	OPT f=167 TT=2.945 T1=0.94	OPT f=167 TT=3.025 T1=0.94	OPT f=167 TT=8.609 T1=3.95	OPT f=167 TT=0.06 T1=0.15	OPT f=167 TT=0.1 T1=0.1	OPT f=167 TT=0.033 T1=0.1	SAT (TO) f=167 TT=2520.05 T1=1.71	OPT f=167 TT=1.731 T1=0.84	OPT f=167 TT=1.72 T1=0.83	OPT f=167 TT=4.738 T1=1.94	OPT f=167 TT=4.822 T1=4.48	OPT f=167 TT=2.735 T1=0.97	No data	OPT f=167 TT=3.273 T1=0.88	OPT f=167 TT=3.626 T1=0.95	OPT f=167 TT=9.933 T1=3.88	OPT f=167 TT=0.068 T1=0.05	OPT f=167 TT=0.151 T1=0.14	OPT f=167 TT=0.057 T1=0.04	SAT (TO) f=167 TT=2400.11 T1=6.75	OPT f=167 TT=2.159 T1=1.25	OPT f=167 TT=1.934 T1=0.88	? (TO) TT=2400.25	? (TO) TT=2520.33
PseudoBoolean/ PseudoBoolean-opt-factor/ Pb-factor-S9-P251-Q379.xml	OPT f=251 TT=0.034 T1=0.05	OPT f=251 TT=2.343 T1=1.1	No data	No data	OPT f=251 TT=4.19 T1=0.95	OPT f=251 TT=5.722 T1=1.07	OPT f=251 TT=1.382 T1=0.62	OPT f=251 TT=1.357 T1=0.74	OPT f=251 TT=3.142 T1=1.16	OPT f=251 TT=3.178 T1=1.17	OPT f=251 TT=8.906 T1=3.87	OPT f=251 TT=0.1 T1=0.18	OPT f=251 TT=0.088 T1=0.08	OPT f=251 TT=0.034 T1=0.11	SAT (TO) f=251 TT=2520.07 T1=0.94	OPT f=251 TT=1.66 T1=0.81	OPT f=251 TT=1.638 T1=0.81	OPT f=251 TT=5.317 T1=2.12	OPT f=251 TT=5.284 T1=5	OPT f=251 TT=2.625 T1=1.01	No data	OPT f=251 TT=3.515 T1=0.93	OPT f=251 TT=3.795 T1=0.9	OPT f=251 TT=10.059 T1=3.86	OPT f=251 TT=0.149 T1=0.12	OPT f=251 TT=0.138 T1=0.04	OPT f=251 TT=0.06 T1=0.05	SAT (TO) f=251 TT=2400.06 T1=0.84	OPT f=251 TT=2.175 T1=1.25	OPT f=251 TT=1.845 T1=0.86	? (TO) TT=2415.91	? (TO) TT=2520.27
PseudoBoolean/ PseudoBoolean-opt-factor/ Pb-factor-S9-P409-Q499.xml	OPT f=409 TT=0.023 T1=0.02	OPT f=409 TT=1.712 T1=0.88	No data	No data	OPT f=409 TT=2.318 T1=0.76	OPT f=409 TT=2.415 T1=0.76	OPT f=409 TT=1.19 T1=0.56	OPT f=409 TT=1.203 T1=0.71	OPT f=409 TT=2.122 T1=0.87	OPT f=409 TT=2.125 T1=0.85	OPT f=409 TT=8.272 T1=3.97	OPT f=409 TT=0.028 T1=0.1	OPT f=409 TT=0.023 T1=0.02	OPT f=409 TT=0.025 T1=0.11	SAT (TO) f=409 TT=2520.1 T1=0.87	OPT f=409 TT=1.447 T1=0.79	OPT f=409 TT=1.452 T1=0.78	OPT f=409 TT=3.989 T1=1.51	OPT f=409 TT=4.044 T1=3.57	OPT f=409 TT=1.979 T1=0.81	No data	OPT f=409 TT=2.618 T1=0.82	OPT f=409 TT=2.642 T1=0.85	OPT f=409 TT=9.726 T1=3.97	OPT f=409 TT=0.051 T1=0.04	OPT f=409 TT=0.04 T1=0.03	OPT f=409 TT=0.041 T1=0.04	SAT (TO) f=409 TT=2400.1 T1=0.87	OPT f=409 TT=1.95 T1=1.38	OPT f=409 TT=1.576 T1=0.83	SAT (TO) f=409 TT=2400.33 T1=2055.57	OPT f=409 TT=2353.75 T1=1837.55
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	BTD 2017-07-25 (complete)	BTD 2017-08-10 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: BTD 2017-06-30 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
PseudoBoolean/ PseudoBoolean-opt-fs/ Pb-fs-50-250-0-45-90-4-1000.xml	OPT f=-178 TT=248.365 T1=194.79	SAT (TO) f=-110 TT=2520.12 T1=2417.99	No data	No data	SAT (TO) f=-175 TT=20058.199 T1=1072.69	SAT (TO) f=-174 TT=20050.6 T1=1026.94	Wrong Opt. f=-147 TT=774.136 T1=628.85	SAT (TO) f=-140 TT=2520.08 T1=128.45	Wrong Opt. f=-156 TT=2192.01 T1=171.79	SAT (TO) f=-166 TT=2520.11 T1=1211.79	SAT (TO) f=-165 TT=2520.13 T1=71.74	SAT (TO) f=-142 TT=2519.68 T1=2520	SAT (TO) f=-141 TT=2519.81 T1=2520.01	SAT (TO) f=-174 TT=2519.68 T1=1880.93	? TT=5.791	? TT=5.192	? TT=5.383	? TT=5.92	? TT=5.962	SAT (TO) f=-109 TT=2400.05 T1=2121.59	No data	SAT (TO) f=-158 TT=2400.34 T1=295.38	SAT (TO) f=-158 TT=2400.26 T1=203.87	SAT (TO) f=-165 TT=2400.15 T1=73.15	No Cert. TT=2400.03	No Cert. TT=2400.08	SAT (TO) f=-174 TT=2400.07 T1=1857.02	? TT=6.983	? TT=6.745	? TT=6.243	OPT f=-178 TT=259.16 T1=204.04	OPT f=-178 TT=248.365 T1=194.79
PseudoBoolean/ PseudoBoolean-opt-gr/ Pb-gr-05.xml	OPT f=11 TT=0.031 T1=0.04	OPT f=11 TT=1.369 T1=0.74	No data	No data	OPT f=11 TT=2.271 T1=0.73	OPT f=11 TT=2.272 T1=0.75	OPT f=11 TT=1.38 T1=0.74	OPT f=11 TT=1.4 T1=0.74	OPT f=11 TT=2.366 T1=0.87	OPT f=11 TT=2.373 T1=0.87	OPT f=11 TT=9.103 T1=4.2	OPT f=11 TT=0.096 T1=0.16	OPT f=11 TT=0.074 T1=0.18	OPT f=11 TT=0.031 T1=0.1	SAT (TO) f=11 TT=2520.12 T1=3.18	OPT f=11 TT=1.986 T1=1.14	OPT f=11 TT=1.9 T1=0.93	OPT f=11 TT=13.36 T1=2.66	OPT f=11 TT=13.581 T1=10.76	OPT f=11 TT=1.519 T1=0.68	No data	OPT f=11 TT=2.904 T1=0.81	OPT f=11 TT=2.658 T1=0.77	OPT f=11 TT=11.319 T1=4.31	OPT f=11 TT=0.135 T1=0.1	OPT f=11 TT=0.121 T1=0.05	OPT f=11 TT=0.045 T1=0.04	SAT (TO) f=11 TT=2400.06 T1=3.31	OPT f=11 TT=1.981 T1=0.95	OPT f=11 TT=2.11 T1=1.01	OPT f=11 TT=6.128 T1=2.78	OPT f=11 TT=4.799 T1=2.74
PseudoBoolean/ PseudoBoolean-opt-logicSynthesis/ Pb-logic-m100-100-30-30-r.xml	OPT f=5 TT=156.126 T1=13.34	OPT f=5 TT=343.346 T1=13.34	No data	No data	OPT f=5 TT=326.752 T1=10.85	OPT f=5 TT=505.953 T1=34.39	OPT f=5 TT=1680.97 T1=1670.79	OPT f=5 TT=1698.54 T1=1684.75	SAT (TO) f=7 TT=2520.06 T1=87.39	SAT (TO) f=7 TT=2520.02 T1=88.35	SAT (TO) f=6 TT=2520.07 T1=185.93	SAT (TO) f=7 TT=2520.06 T1=2519.9	SAT (TO) f=6 TT=2520.02 T1=2520	SAT (TO) f=6 TT=2519.8 T1=0.68	SAT (TO) f=6 TT=2520.1 T1=9.54	OPT f=5 TT=156.126 T1=143.13	SAT (TO) f=6 TT=2520.1 T1=1.7	OPT f=5 TT=204.548 T1=24.25	OPT f=5 TT=224.112 T1=203.04	OPT f=5 TT=346.298 T1=13.82	No data	OPT f=5 TT=584.429 T1=24.75	OPT f=5 TT=810.547 T1=56.1	SAT (TO) f=6 TT=2400.05 T1=192.49	? (TO) TT=2400.09	? (TO) TT=2400.07	SAT (TO) f=6 TT=2400.05 T1=0.62	SAT (TO) f=6 TT=2400.18 T1=5.4	OPT f=5 TT=157.658 T1=142.71	SAT (TO) f=6 TT=2400.13 T1=1.72	OPT f=5 TT=1115.07 T1=701.89	OPT f=5 TT=1342.07 T1=840.84
PseudoBoolean/ PseudoBoolean-opt-marketSplit/ Pb-msplit-7-60-4.xml		? (TO) TT=2520.09	No data	No data	? (TO) TT=20072	? (TO) TT=20083.1	? (TO) TT=2520.08	? (TO) TT=2520.05	? (TO) TT=2520.07	? (TO) TT=2520.02	? (TO) TT=2520.59	? (TO) TT=2520.05	? (TO) TT=2520.06	? (TO) TT=2519.97	? (TO) TT=2514.3	? TT=2519.26	? (TO) TT=2520.1	? (TO) TT=19846.199	? (TO) TT=19847.5	? (TO) TT=2400.04	No data	? (TO) TT=2400.61	? (TO) TT=2400.45	? (TO) TT=2401.17	? (TO) TT=2400.05	? (TO) TT=2400.09	? (TO) TT=2400.03	? (TO) TT=2400.03	? (TO) TT=2400.08	? (TO) TT=2400.11	? (TO) TT=2400.18	? (TO) TT=2520.06
PseudoBoolean/ PseudoBoolean-opt-mps/ Pb-mps-v2-20-10-l152lav.xml		? (TO) TT=2520.09	No data	No data	? (TO) TT=20058.301	? (TO) TT=20034.4	? (TO) TT=2520.1	? (TO) TT=2520.08	? (TO) TT=2520.1	? (TO) TT=2520.08	? (TO) TT=2520.87	? (TO) TT=2519.81	? (TO) TT=2519.71	? (TO) TT=2520.06	? TT=2519.67	? TT=2518.22	? (TO) TT=2520.06	? (TO) TT=19795.6	? (TO) TT=19780.1	? (TO) TT=2400.2	No data	? (TO) TT=2400.57	? (TO) TT=2400.11	? (TO) TT=2401.56	? (TO) TT=2400.08	? (TO) TT=2400	? (TO) TT=2400.07	? (TO) TT=2400.05	? (TO) TT=2400.11	? (TO) TT=2400.05	? (TO) TT=2415.94	? (TO) TT=2528.09
PseudoBoolean/ PseudoBoolean-opt-mps/ Pb-mps-v2-20-10-sentoy.xml	OPT f=-7772 TT=47.227 T1=0.46	OPT f=-7772 TT=702.651 T1=636.65	No data	No data	OPT f=-7772 TT=251.558 T1=9.74	OPT f=-7772 TT=68.157 T1=2.06	OPT f=-7772 TT=723.493 T1=691.52	OPT f=-7772 TT=714.409 T1=682.84	SAT (TO) f=-7723 TT=2520.09 T1=2004.49	SAT (TO) f=-7723 TT=2520.05 T1=1876.83	OPT f=-7772 TT=1864.32 T1=4.75	OPT f=-7772 TT=653.273 T1=653.29	OPT f=-7772 TT=422.681 T1=422.7	OPT f=-7772 TT=47.227 T1=0.51	? TT=1.255	? TT=1.278	? TT=1.3	? TT=1.288	? TT=1.281	OPT f=-7772 TT=705.988 T1=639.27	No data	OPT f=-7772 TT=81.011 T1=8.51	OPT f=-7772 TT=112.253 T1=8.07	OPT f=-7772 TT=1961.83 T1=4.68	OPT f=-7772 TT=672.142 T1=477.07	OPT f=-7772 TT=433.454 T1=377.84	OPT f=-7772 TT=47.377 T1=0.46	? TT=1.38	? TT=1.401	? TT=1.494	? (TO) TT=2400.28	? (TO) TT=2520.31
PseudoBoolean/ PseudoBoolean-opt-radar/ Pb-radar-10-10-45-095-100.xml	SAT TO f=0 TT=2400.07 T1=15.53	SAT (TO) f=3 TT=2520.1 T1=1153.05	No data	No data	SAT (TO) f=6 TT=19953.1 T1=585.11	SAT (TO) f=6 TT=19912.301 T1=603.91	SAT (TO) f=11 TT=2520.07 T1=8.88	SAT (TO) f=11 TT=2520.12 T1=9.17	SAT (TO) f=15 TT=2520.08 T1=1765.94	SAT (TO) f=23 TT=2520.16 T1=726.57	SAT (TO) f=2 TT=2520.06 T1=1191.18	SAT (TO) f=8 TT=2520.07 T1=2520	SAT (TO) f=7 TT=2519.89 T1=2520	SAT (TO) f=0 TT=2520.08 T1=15.53	SAT (TO) f=0 TT=2520.06 T1=848.36	SAT (TO) f=69 TT=2520.12 T1=2295.33	SAT (TO) f=2 TT=2520.07 T1=360.91	SAT (TO) f=60 TT=19901.6 T1=307.52	SAT (TO) f=60 TT=19886.801 T1=2117.08	SAT (TO) f=3 TT=2400.02 T1=1156.14	No data	SAT (TO) f=0 TT=2400.56 T1=12.5	SAT (TO) f=6 TT=2400.72 T1=296.33	SAT (TO) f=2 TT=2400.11 T1=1276.8	SAT (TO) f=9 TT=2400.08 T1=648.22	SAT (TO) f=7 TT=2400.02 T1=10.08	SAT (TO) f=0 TT=2400.07 T1=15.59	SAT (TO) f=0 TT=2400.08 T1=122.45	SAT (TO) f=69 TT=2400.05 T1=2293.86	SAT (TO) f=3 TT=2400.1 T1=816.05	SAT (TO) f=8 TT=2400.43 T1=0.98	SAT (TO) f=8 TT=2520.37 T1=0.94
PseudoBoolean/ PseudoBoolean-opt-routing/ Pb-routing-s3-3-3-1.xml	OPT f=36 TT=0.285 T1=0.2	OPT f=36 TT=2.582 T1=0.91	No data	No data	OPT f=36 TT=6.051 T1=1.13	OPT f=36 TT=12.778 T1=1.61	OPT f=36 TT=2.11 T1=0.78	OPT f=36 TT=2.046 T1=0.89	OPT f=36 TT=4.597 T1=1.15	OPT f=36 TT=4.591 T1=1.16	OPT f=36 TT=15.359 T1=5.46	OPT f=36 TT=0.352 T1=0.44	OPT f=36 TT=0.563 T1=0.56	OPT f=36 TT=0.285 T1=0.21	SAT (TO) f=36 TT=2520.04 T1=1.37	OPT f=36 TT=3.571 T1=1.51	OPT f=36 TT=3.427 T1=1.32	OPT f=36 TT=9.814 T1=2.35	OPT f=36 TT=10.118 T1=8.13	OPT f=36 TT=2.903 T1=0.92	No data	OPT f=36 TT=8.164 T1=1.31	OPT f=36 TT=8.303 T1=1.24	OPT f=36 TT=18.914 T1=5.82	OPT f=36 TT=0.398 T1=0.18	OPT f=36 TT=0.673 T1=0.5	OPT f=36 TT=0.343 T1=0.2	SAT (TO) f=36 TT=2400.07 T1=1.31	OPT f=36 TT=3.75 T1=1.29	OPT f=36 TT=3.835 T1=1.34	OPT f=36 TT=3.688 T1=1.23	OPT f=36 TT=2.993 T1=1.3
PseudoBoolean/ PseudoBoolean-opt-vtxcov/ Pb-vtxcov-v2000-e4000-05.xml	SAT TO f=1128 TT=2400.05 T1=2300.75	SAT (TO) f=1183 TT=2520.06 T1=11.58	No data	No data	SAT (TO) f=1186 TT=19588.699 T1=1349.22	SAT (TO) f=1163 TT=19625.9 T1=17.8	SAT (TO) f=1206 TT=2520.32 T1=1539.81	SAT (TO) f=1206 TT=2520.1 T1=1558.12	SAT (TO) f=1238 TT=2520.05 T1=1.04	SAT (TO) f=1238 TT=2520.1 T1=1.06	SAT (TO) f=1222 TT=2520.13 T1=430.61	SAT (TO) f=1180 TT=2519.99 T1=2520	SAT (TO) f=1179 TT=2520.05 T1=2520	SAT (TO) f=1128 TT=2520.06 T1=2306.94	SAT (TO) f=1161 TT=2520.06 T1=2226.82	SAT (TO) f=1803 TT=2520.08 T1=2437.92	SAT (TO) f=1161 TT=2520.05 T1=1145.53	SAT (TO) f=1802 TT=19876 T1=2296.32	SAT (TO) f=1801 TT=19883 T1=18656.59	SAT (TO) f=1183 TT=2400.07 T1=12.21	No data	SAT (TO) f=1163 TT=2400.48 T1=37.71	SAT (TO) f=1179 TT=2400.51 T1=66.16	SAT (TO) f=1222 TT=2400.09 T1=429.92	No Cert. TT=2400.01	No Cert. TT=2400.05	SAT (TO) f=1128 TT=2400.05 T1=2300.75	SAT (TO) f=1146 TT=2400.11 T1=2048.15	SAT (TO) f=1804 TT=2400.08 T1=2356.93	SAT (TO) f=1151 TT=2400.11 T1=1763.27	SAT (TO) f=1199 TT=2400.35 T1=1021.17	SAT (TO) f=1199 TT=2520.4 T1=1011.99
QRandom/QRandom-bdd-15-21-2/ bdd-15-21-2-2713-79-08.xml	SAT TT=1.962	SAT TT=7.876	SAT TT=22.664	SAT TT=22.749	SAT TT=110.545	SAT TT=82.254	SAT TT=10.401	SAT TT=10.515	SAT TT=10.732	SAT TT=10.442	SAT TT=478.896	SAT TT=1.962	SAT TT=1.962	SAT TT=12.294	No data	SAT TT=48.232	No data	? TT=1598.02	SAT TT=684.14	SAT TT=9.754	SAT TT=22.34	SAT TT=113.921	SAT TT=148.032	SAT TT=744.611	SAT TT=2.024	SAT TT=2.029	SAT TT=12.399	No data	SAT TT=78.217	No data	? (TO) TT=2416.1	? (TO) TT=2527.81
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	BTD 2017-07-25 (complete)	BTD 2017-08-10 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: BTD 2017-06-30 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
QRandom/QRandom-bdd-15-21-2/ bdd-15-21-2-2713-79-16.xml	UNSAT TT=24.49	UNSAT TT=32.278	UNSAT TT=843.244	UNSAT TT=841.775	UNSAT TT=251.284	UNSAT TT=252.662	UNSAT TT=23.618	UNSAT TT=24.49	UNSAT TT=26.927	UNSAT TT=26.784	UNSAT TT=494.587	UNSAT TT=192.311	UNSAT TT=142.888	UNSAT TT=518.944	No data	UNSAT TT=63.544	No data	UNSAT TT=305.971	UNSAT TT=354.606	UNSAT TT=34.89	UNSAT TT=841.791	UNSAT TT=347.216	UNSAT TT=345.86	UNSAT TT=751.714	UNSAT TT=195.13	UNSAT TT=143.535	UNSAT TT=588.065	No data	UNSAT TT=82.681	No data	? (TO) TT=2415.9	? (TO) TT=2528.24
QRandom/QRandom-bdd-18-21-2/ bdd-18-21-2-133-78-06.xml	UNSAT TT=13.17	UNSAT TT=13.17	? (TO) TT=2519.73	? (TO) TT=2519.79	UNSAT TT=87.468	UNSAT TT=88.087	UNSAT TT=13.605	UNSAT TT=13.728	UNSAT TT=17.885	UNSAT TT=17.762	UNSAT TT=241.459	UNSAT TT=121.274	UNSAT TT=321.704	? (TO) TT=2519.63	No data	UNSAT TT=26.691	No data	UNSAT TT=323.149	UNSAT TT=320.536	UNSAT TT=13.688	? (TO) TT=2400.06	UNSAT TT=145.678	UNSAT TT=151.388	UNSAT TT=273.575	UNSAT TT=123.094	UNSAT TT=315.211	? (TO) TT=2400.02	No data	UNSAT TT=34.927	No data	? TT=1759.05	? TT=767.749
QRandom/QRandom-bdd-18-21-2/ bdd-18-21-2-133-78-24.xml	UNSAT TT=12.59	UNSAT TT=12.59	? (TO) TT=2519.84	? (TO) TT=2519.93	UNSAT TT=91.651	UNSAT TT=89.687	UNSAT TT=13.126	UNSAT TT=12.898	UNSAT TT=18.546	UNSAT TT=18.916	UNSAT TT=188.697	UNSAT TT=124.35	UNSAT TT=344.244	? (TO) TT=2519.82	No data	UNSAT TT=25.724	No data	UNSAT TT=323.345	UNSAT TT=318.008	UNSAT TT=13.791	? (TO) TT=2400.3	UNSAT TT=144.196	UNSAT TT=150.702	UNSAT TT=235.205	UNSAT TT=118.839	UNSAT TT=355.989	? (TO) TT=2400.09	No data	UNSAT TT=37.858	No data	? TT=1806.78	? TT=752.806
QRandom/ QRandom-composed-s25/ composed-25-01-25-3.xml	UNSAT TT=0.009	UNSAT TT=1.563	UNSAT TT=0.009	UNSAT TT=0.009	UNSAT TT=2.793	UNSAT TT=2.796	UNSAT TT=1.268	UNSAT TT=1.254	UNSAT TT=1.337	UNSAT TT=1.363	UNSAT TT=8.295	UNSAT TT=0.019	UNSAT TT=0.02	UNSAT TT=0.033	No data	UNSAT TT=1.658	No data	UNSAT TT=1.769	UNSAT TT=1.763	UNSAT TT=1.977	UNSAT TT=0.012	UNSAT TT=3.157	UNSAT TT=3.063	UNSAT TT=9.532	UNSAT TT=0.033	UNSAT TT=0.026	UNSAT TT=0.042	No data	UNSAT TT=2.042	No data	UNSAT TT=2.389	UNSAT TT=1.963
QRandom/ QRandom-composed-s25/ composed-25-01-25-4.xml	UNSAT TT=0.01	UNSAT TT=1.619	UNSAT TT=0.009	UNSAT TT=0.01	UNSAT TT=2.855	UNSAT TT=2.852	UNSAT TT=1.272	UNSAT TT=1.262	UNSAT TT=1.331	UNSAT TT=1.35	UNSAT TT=8.127	UNSAT TT=0.021	UNSAT TT=0.02	UNSAT TT=0.033	No data	UNSAT TT=1.656	No data	UNSAT TT=1.794	UNSAT TT=1.749	UNSAT TT=1.866	UNSAT TT=0.012	UNSAT TT=3.506	UNSAT TT=3.21	UNSAT TT=10.763	UNSAT TT=0.027	UNSAT TT=0.036	UNSAT TT=0.045	No data	UNSAT TT=1.847	No data	UNSAT TT=2.359	UNSAT TT=1.977
QRandom/ QRandom-composed-s25/ composed-25-10-20-5.xml	SAT TT=0.028	SAT TT=2.463	SAT TT=0.027	SAT TT=0.028	SAT TT=4.814	SAT TT=4.692	SAT TT=1.827	SAT TT=1.824	SAT TT=1.964	SAT TT=1.903	SAT TT=10.777	SAT TT=0.056	SAT TT=0.061	SAT TT=0.091	No data	SAT TT=2.505	No data	SAT (TO) TT=8704.77	SAT TT=8.295	SAT TT=3.118	SAT TT=0.047	SAT TT=5.289	SAT TT=4.946	SAT TT=13.961	SAT TT=0.094	SAT TT=0.101	SAT TT=0.142	No data	SAT TT=3.293	No data	SAT TT=8.434	SAT TT=7.986
QRandom/ QRandom-composed-s75/ composed-75-01-25-6.xml	UNSAT TT=0.024	UNSAT TT=2.298	UNSAT TT=0.024	UNSAT TT=0.024	UNSAT TT=4.448	UNSAT TT=4.348	UNSAT TT=1.774	UNSAT TT=1.732	UNSAT TT=1.832	UNSAT TT=1.889	UNSAT TT=11.11	UNSAT TT=0.043	UNSAT TT=0.045	UNSAT TT=0.079	No data	UNSAT TT=2.245	No data	UNSAT TT=2.58	UNSAT TT=2.625	UNSAT TT=2.886	UNSAT TT=0.04	UNSAT TT=4.493	UNSAT TT=4.698	UNSAT TT=13.334	UNSAT TT=0.068	UNSAT TT=0.08	UNSAT TT=0.114	No data	UNSAT TT=2.47	No data	UNSAT TT=3.101	UNSAT TT=2.741
QRandom/ QRandom-ehi-s85/ ehi-85-297-30.xml	UNSAT TT=0.101	UNSAT TT=2.809	UNSAT TT=0.781	UNSAT TT=0.818	UNSAT TT=6.608	UNSAT TT=6.43	UNSAT TT=2.424	UNSAT TT=2.409	UNSAT TT=2.631	UNSAT TT=2.558	UNSAT TT=15.393	UNSAT TT=0.101	UNSAT TT=0.089	UNSAT TT=0.382	No data	UNSAT TT=4.038	No data	UNSAT TT=5.84	UNSAT TT=5.906	UNSAT TT=3.302	UNSAT TT=0.82	UNSAT TT=6.629	UNSAT TT=7.28	UNSAT TT=18.965	UNSAT TT=0.157	UNSAT TT=0.135	UNSAT TT=0.383	No data	UNSAT TT=5.182	No data	UNSAT TT=11.248	UNSAT TT=9.23
QRandom/ QRandom-ehi-s85/ ehi-85-297-98.xml	UNSAT TT=0.072	UNSAT TT=2.957	UNSAT TT=0.459	UNSAT TT=0.472	UNSAT TT=6.137	UNSAT TT=5.834	UNSAT TT=2.257	UNSAT TT=2.251	UNSAT TT=2.317	UNSAT TT=2.299	UNSAT TT=15.449	UNSAT TT=0.072	UNSAT TT=0.078	UNSAT TT=0.284	No data	UNSAT TT=3.341	No data	UNSAT TT=3.979	UNSAT TT=3.997	UNSAT TT=3.571	UNSAT TT=0.505	UNSAT TT=6.371	UNSAT TT=6.515	UNSAT TT=19.527	UNSAT TT=0.092	UNSAT TT=0.126	UNSAT TT=0.313	No data	UNSAT TT=4.026	No data	UNSAT TT=8.8	UNSAT TT=6.913
QRandom/ QRandom-ehi-s90/ ehi-90-315-13.xml	UNSAT TT=0.073	UNSAT TT=2.827	UNSAT TT=0.423	UNSAT TT=0.425	UNSAT TT=6.027	UNSAT TT=6.48	UNSAT TT=2.29	UNSAT TT=2.238	UNSAT TT=2.395	UNSAT TT=2.435	UNSAT TT=15.146	UNSAT TT=0.073	UNSAT TT=0.082	UNSAT TT=0.383	No data	UNSAT TT=3.495	No data	UNSAT TT=4.088	UNSAT TT=3.97	UNSAT TT=3.317	UNSAT TT=0.463	UNSAT TT=7.033	UNSAT TT=6.934	UNSAT TT=19.536	UNSAT TT=0.119	UNSAT TT=0.132	UNSAT TT=0.391	No data	UNSAT TT=4.571	No data	UNSAT TT=22.648	UNSAT TT=20.313
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	BTD 2017-07-25 (complete)	BTD 2017-08-10 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: BTD 2017-06-30 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
QRandom/ QRandom-ehi-s90/ ehi-90-315-37.xml	UNSAT TT=0.074	UNSAT TT=2.875	UNSAT TT=0.23	UNSAT TT=0.231	UNSAT TT=6.418	UNSAT TT=6.705	UNSAT TT=2.332	UNSAT TT=2.338	UNSAT TT=2.371	UNSAT TT=2.498	UNSAT TT=15.699	UNSAT TT=0.074	UNSAT TT=0.081	UNSAT TT=0.341	No data	UNSAT TT=3.526	No data	UNSAT TT=4.034	UNSAT TT=3.917	UNSAT TT=3.502	UNSAT TT=0.243	UNSAT TT=6.578	UNSAT TT=7.105	UNSAT TT=19.85	UNSAT TT=0.114	UNSAT TT=0.117	UNSAT TT=0.419	No data	UNSAT TT=4.111	No data	UNSAT TT=11.818	UNSAT TT=10.563
QRandom/QRandom-geometric-rw/ geometric-50-20-d4-75-03.xml	SAT TT=0.042	SAT TT=2.354	SAT TT=0.041	SAT TT=0.042	SAT TT=4.647	SAT TT=5.068	SAT TT=1.953	SAT TT=1.956	SAT TT=2.32	SAT TT=2.406	SAT TT=11.517	SAT TT=0.114	SAT TT=0.121	SAT TT=0.141	No data	SAT TT=2.346	No data	SAT (TO) TT=8707.39	SAT TT=10.997	SAT TT=2.835	SAT TT=0.053	SAT TT=5.058	SAT TT=5.205	SAT TT=14.146	SAT TT=0.169	SAT TT=0.175	SAT TT=0.165	No data	SAT TT=2.792	No data	SAT TT=2.456	SAT TT=1.983
QRandom/QRandom-geometric-rw/ geometric-50-20-d4-75-14.xml	UNSAT TT=41	UNSAT TT=78.546	UNSAT TT=43.778	UNSAT TT=43.863	UNSAT TT=801.679	UNSAT TT=801.172	UNSAT TT=144.316	UNSAT TT=152.13	UNSAT TT=330.482	UNSAT TT=335.742	UNSAT TT=263.823	UNSAT TT=41	UNSAT TT=28.727	UNSAT TT=1136.91	No data	UNSAT TT=1007.84	No data	UNSAT TT=2237.41	UNSAT TT=2304.69	UNSAT TT=86.375	UNSAT TT=43.649	UNSAT TT=1285.33	UNSAT TT=1297.18	UNSAT TT=280.899	UNSAT TT=41.446	UNSAT TT=28.827	UNSAT TT=1197.48	No data	UNSAT TT=1001.44	No data	UNSAT TT=1596.16	UNSAT TT=1560.36
QRandom/QRandom-geometric-rw/ geometric-50-20-d4-75-46.xml	SAT TT=0.064	SAT TT=2.593	SAT TT=0.063	SAT TT=0.064	SAT TT=7.319	SAT TT=9.308	SAT TT=2.651	SAT TT=2.693	SAT TT=4.754	SAT TT=4.353	SAT TT=13.328	SAT TT=0.141	SAT TT=0.173	SAT TT=0.253	No data	SAT TT=3.557	No data	SAT (TO) TT=13792.5	SAT TT=11.922	SAT TT=3.173	SAT TT=0.102	SAT TT=8.918	SAT TT=8.47	SAT TT=15.637	SAT TT=0.17	SAT TT=0.181	SAT TT=0.356	No data	SAT TT=3.969	No data	SAT TT=2.479	SAT TT=2.008
QRandom/QRandom-geometric-rw/ geometric-50-20-d4-75-54.xml	SAT TT=0.039	SAT TT=2.38	SAT TT=0.038	SAT TT=0.039	SAT TT=4.947	SAT TT=5.056	SAT TT=1.953	SAT TT=1.91	SAT TT=2.132	SAT TT=2.113	SAT TT=13.017	SAT TT=0.119	SAT TT=0.128	SAT TT=0.142	No data	SAT TT=3.512	No data	SAT (TO) TT=17551.699	SAT TT=10.235	SAT TT=2.968	SAT TT=0.049	SAT TT=5.439	SAT TT=5.496	SAT TT=15.159	SAT TT=0.172	SAT TT=0.187	SAT TT=0.2	No data	SAT TT=3.954	No data	SAT TT=2.636	SAT TT=2.119
QRandom/ QRandom-m1-lard/lard-83-83.xml	SAT TT=9.817	SAT TT=26.596	SAT TT=9.838	SAT TT=9.817	SAT TT=336.636	SAT TT=355.342	SAT TT=25.684	SAT TT=27.046	SAT TT=25.906	SAT TT=26.079	SAT TT=73.14	SAT TT=30.127	SAT TT=30.185	SAT TT=32.821	No data	SAT TT=35.497	No data	SAT (TO) TT=14320.7	SAT TT=95.248	SAT TT=37.107	SAT TT=9.887	SAT TT=537.962	SAT TT=538.045	SAT TT=87.067	SAT TT=30.264	SAT TT=30.645	SAT TT=33.032	No data	SAT TT=57.052	No data	? (TO) TT=2415.28	? TT=1599.9
QRandom/ QRandom-m1-lard/lard-85-85.xml	SAT TT=10.889	SAT TT=32.544	SAT TT=10.893	SAT TT=10.889	SAT TT=408.627	SAT TT=397.981	SAT TT=26.212	SAT TT=27.605	SAT TT=27.84	SAT TT=28.076	SAT TT=74.785	SAT TT=33.117	SAT TT=33.179	SAT TT=36.099	No data	SAT TT=34.248	No data	SAT (TO) TT=14520	SAT (TO) TT=5121.51	SAT TT=54.974	SAT TT=10.905	SAT TT=696.529	SAT TT=646.038	SAT TT=92.88	SAT TT=33.153	SAT TT=33.667	SAT TT=36.118	No data	SAT TT=61.63	No data	? (TO) TT=2416.2	? TT=1996.07
QRandom/ QRandom-m1-lard/lard-90-90.xml	SAT TT=13.939	SAT TT=38.596	SAT TT=13.934	SAT TT=13.939	SAT TT=577.151	SAT TT=492.818	SAT TT=34.011	SAT TT=33.822	SAT TT=34.715	SAT TT=34.92	SAT TT=88.33	SAT TT=41.526	SAT TT=41.553	SAT TT=44.75	No data	SAT TT=41.884	No data	SAT (TO) TT=12637.7	SAT (TO) TT=7649.59	SAT TT=48.346	SAT TT=14.203	? (TO) TT=2400.23	? (TO) TT=2400.67	SAT TT=113.117	SAT TT=41.819	SAT TT=41.726	SAT TT=45.155	No data	SAT TT=70.032	No data	? (TO) TT=2415.5	? TT=1385.79
QRandom/ QRandom-m1-lard/lard-92-92.xml	SAT TT=15.552	SAT TT=43.753	SAT TT=15.548	SAT TT=15.552	SAT TT=725.964	SAT TT=573.708	SAT TT=42.944	SAT TT=35.208	SAT TT=41.263	SAT TT=40.032	SAT TT=96.081	SAT TT=46.832	SAT TT=47.083	SAT TT=51.22	No data	SAT TT=41.993	No data	SAT (TO) TT=13678.9	SAT TT=156.3	SAT TT=62.806	SAT TT=15.747	? (TO) TT=2400.12	? (TO) TT=2400.04	SAT TT=116.794	SAT TT=46.759	SAT TT=47.439	SAT TT=51.662	No data	SAT TT=70.754	No data	? (TO) TT=2415.48	? TT=1630.83
QRandom/ QRandom-mdd-7-25-5/ mdd-7-25-5-56-02.xml	SAT TT=62.413	SAT TT=254.989	? (TO) TT=2520.05	? (TO) TT=2519.68	SAT TT=196.362	SAT TT=186.871	SAT TT=72.613	SAT TT=69.897	SAT TT=62.02	SAT TT=62.413	? (TO) TT=2520.62	SAT TT=1289.83	SAT TT=1496.44	? (TO) TT=2519.61	No data	SAT TT=203.642	No data	SAT (TO) TT=20036.1	SAT TT=316.914	SAT TT=261.044	? (TO) TT=2400.01	SAT TT=639.666	SAT TT=670.666	? (TO) TT=2401.17	SAT TT=1303.15	SAT TT=1487.75	? (TO) TT=2400.08	No data	SAT TT=210.631	No data	? TT=1661.24	? TT=858.757
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	BTD 2017-07-25 (complete)	BTD 2017-08-10 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: BTD 2017-06-30 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
QRandom/ QRandom-mdd-7-25-5/ mdd-7-25-5-56-16.xml	SAT TT=340.207	SAT TT=1149.33	? (TO) TT=2520.08	? (TO) TT=2519.74	SAT TT=3040.28	SAT TT=3364.54	SAT TT=338.372	SAT TT=340.207	SAT TT=554.362	SAT TT=548.442	? (TO) TT=2520.73	? (TO) TT=2519.78	? (TO) TT=2519.94	? (TO) TT=2519.93	No data	SAT TT=2466.03	No data	SAT (TO) TT=20038.199	SAT TT=3018.31	SAT TT=1171.22	? (TO) TT=2400.09	? (TO) TT=2400.05	? (TO) TT=2400.22	? (TO) TT=2401.2	? (TO) TT=2400.09	? (TO) TT=2400.01	? (TO) TT=2400.05	No data	? (TO) TT=2400.11	No data	? TT=1934.41	? TT=823.519
QRandom/QRandom-mdd-7-25-5-p7/ mdd-7-25-5-ps05-psh07-4.xml	UNSAT TT=80.054	UNSAT TT=134.127	? (TO) TT=2519.97	? (TO) TT=2519.66	UNSAT TT=925.571	UNSAT TT=805.35	UNSAT TT=75.16	UNSAT TT=80.054	UNSAT TT=100.734	UNSAT TT=100.976	UNSAT TT=466.529	? (TO) TT=2519.79	UNSAT TT=2508.87	? (TO) TT=2520.07	No data	UNSAT TT=263.552	No data	UNSAT TT=370.809	UNSAT TT=364.261	UNSAT TT=141.372	? (TO) TT=2400.01	UNSAT TT=1748.87	UNSAT TT=1789.7	UNSAT TT=556.573	? (TO) TT=2400.08	? (TO) TT=2400.09	? (TO) TT=2400.11	No data	UNSAT TT=272.04	No data	? TT=1603.06	? TT=724.43
QRandom/QRandom-mdd-7-25-5-p9/ mdd-7-25-5-ps05-psh09-3.xml	UNSAT TT=9.905	UNSAT TT=10.404	UNSAT TT=21.864	UNSAT TT=21.803	UNSAT TT=81.923	UNSAT TT=82.238	UNSAT TT=9.667	UNSAT TT=9.905	UNSAT TT=11.476	UNSAT TT=11.71	UNSAT TT=28.031	UNSAT TT=36.753	UNSAT TT=35.767	UNSAT TT=17.285	No data	UNSAT TT=10.6	No data	UNSAT TT=14.186	UNSAT TT=14.196	UNSAT TT=16.144	UNSAT TT=21.457	UNSAT TT=110.885	UNSAT TT=112.074	UNSAT TT=35.938	UNSAT TT=37.571	UNSAT TT=36.068	UNSAT TT=17.369	No data	UNSAT TT=14.093	No data	? TT=1546.29	? TT=763.009
QRandom/QRandom-reg2ext-s1/ reg-s20-p03-c20-d10-n10-l5-24.xml	UNSAT TT=6.491	UNSAT TT=6.491	UNSAT TT=10.718	UNSAT TT=10.718	UNSAT TT=80.64	UNSAT TT=79.313	UNSAT TT=11.577	UNSAT TT=11.854	UNSAT TT=25.498	UNSAT TT=25.372	UNSAT TT=36.358	UNSAT TT=12.478	UNSAT TT=7.84	UNSAT TT=35.105	No data	UNSAT TT=24.952	No data	UNSAT TT=22.722	UNSAT TT=22.565	UNSAT TT=6.755	UNSAT TT=10.812	UNSAT TT=122.078	UNSAT TT=131.384	UNSAT TT=37.949	UNSAT TT=12.586	UNSAT TT=7.799	UNSAT TT=43.793	No data	UNSAT TT=24.61	No data	? (TO) TT=2400.19	? (TO) TT=2520.14
QRandom/QRandom-reg2ext-s1/ reg-s20-p03-c20-d10-n10-l5-30.xml	UNSAT TT=4.128	UNSAT TT=4.128	UNSAT TT=4.878	UNSAT TT=4.875	UNSAT TT=38.062	UNSAT TT=36.695	UNSAT TT=6.166	UNSAT TT=6.271	UNSAT TT=13.554	UNSAT TT=13.653	UNSAT TT=27.275	UNSAT TT=7.322	UNSAT TT=4.209	UNSAT TT=10.694	No data	UNSAT TT=16.712	No data	UNSAT TT=82.332	UNSAT TT=76.816	UNSAT TT=4.663	UNSAT TT=4.918	UNSAT TT=56.669	UNSAT TT=58.071	UNSAT TT=29.242	UNSAT TT=7.378	UNSAT TT=4.24	UNSAT TT=10.813	No data	UNSAT TT=17.057	No data	? (TO) TT=2400.15	? (TO) TT=2520.16
QRandom/QRandom-reg2ext-s1/ reg-s20-p03-c20-d10-n10-l5-40.xml	UNSAT TT=4.685	UNSAT TT=4.685	UNSAT TT=7.487	UNSAT TT=7.477	UNSAT TT=52.673	UNSAT TT=53.106	UNSAT TT=9.031	UNSAT TT=9.013	UNSAT TT=17.287	UNSAT TT=17.225	UNSAT TT=34.074	UNSAT TT=10.286	UNSAT TT=6.341	UNSAT TT=21.736	No data	UNSAT TT=11.896	No data	UNSAT TT=81.599	UNSAT TT=75.313	UNSAT TT=5.39	UNSAT TT=7.575	UNSAT TT=80.819	UNSAT TT=80.859	UNSAT TT=36.655	UNSAT TT=10.531	UNSAT TT=6.372	UNSAT TT=18.017	No data	UNSAT TT=12.845	No data	? (TO) TT=2400.16	? (TO) TT=2520.18
QRandom/QRandom-reg2ext-s1/ reg-s20-p03-c20-d10-n10-l5-73.xml	SAT TT=3.33	SAT TT=3.856	SAT TT=3.335	SAT TT=3.33	SAT TT=12.438	SAT TT=23.824	SAT TT=5.44	SAT TT=5.357	SAT TT=12.47	SAT TT=12.49	SAT TT=35.321	SAT TT=6.977	SAT TT=8.487	SAT TT=21.435	No data	SAT TT=29.385	No data	SAT TT=466.607	SAT TT=151.172	SAT TT=4.463	SAT TT=3.415	SAT TT=19.337	SAT TT=18.637	SAT TT=36.635	SAT TT=7.217	SAT TT=8.494	SAT TT=12.936	No data	SAT TT=30.277	No data	? (TO) TT=2400.23	? (TO) TT=2520.18
QuadraticAssignment/ QuadraticAssignment-m1-s1/ QuadraticAssignment-bur26g.xml	SAT TO f=3138098 TT=2400.12 T1=2059.83	SAT (TO) f=3953296 TT=2520.08 T1=1144.28	No data	No data	SAT (TO) f=3495198 TT=20082.9 T1=1809.76	SAT (TO) f=3487775 TT=20070 T1=412.16	SAT (TO) f=3360873 TT=2520.12 T1=2239.96	SAT (TO) f=3360873 TT=2520.08 T1=2346.71	SAT (TO) f=3524895 TT=2520.09 T1=55.93	SAT (TO) f=3524895 TT=2520.06 T1=56.86	SAT (TO) f=3138098 TT=2520.09 T1=2157.84	SAT (TO) f=4370447 TT=2519.95 T1=2520	SAT (TO) f=3837939 TT=2519.92 T1=2520	SAT (TO) f=3181880 TT=2519.65 T1=130.76	SAT (TO) f=3164558 TT=2520.06 T1=2404.5	SAT (TO) f=4874919 TT=2520.07 T1=2042.39	SAT (TO) f=3213558 TT=2520.06 T1=1738.6	SAT (TO) f=4812960 TT=19838.199 T1=756.14	SAT (TO) f=4812960 TT=19843.4 T1=9737.81	SAT (TO) f=3953296 TT=2400.03 T1=1166.49	No data	SAT (TO) f=3622943 TT=2400.61 T1=30.98	SAT (TO) f=3742287 TT=2400.2 T1=208.33	SAT (TO) f=3138098 TT=2400.12 T1=2059.83	No Cert. TT=2400.01	No Cert. TT=2400.07	SAT (TO) f=3181880 TT=2400.08 T1=130.64	SAT (TO) f=3187644 TT=2400.1 T1=2236.82	SAT (TO) f=4874919 TT=2400.09 T1=2068.58	SAT (TO) f=3196043 TT=2400.03 T1=1531.07	? (TO) TT=2400.2	? (TO) TT=2520.11
QuadraticAssignment/ QuadraticAssignment-m1-s1/ QuadraticAssignment-chr15c.xml	OPT f=4752 TT=4.621 T1=0.16	OPT f=4752 TT=4.621 T1=1.16	No data	No data	OPT f=4752 TT=40.705 T1=3.21	OPT f=4752 TT=43.709 T1=3.22	OPT f=4752 TT=52.257 T1=42.38	OPT f=4752 TT=51.767 T1=42.15	OPT f=4752 TT=250.995 T1=233.25	OPT f=4752 TT=249.248 T1=232.39	OPT f=4752 TT=111.912 T1=5.28	OPT f=4752 TT=46.478 T1=46.53	OPT f=4752 TT=66.595 T1=66.59	OPT f=4752 TT=55.943 T1=0.16	SAT (TO) f=4752 TT=2520.06 T1=53.15	OPT f=4752 TT=13.858 T1=6.9	OPT f=4752 TT=14.059 T1=7.03	OPT f=4752 TT=23.15 T1=3.85	OPT f=4752 TT=27.769 T1=22.48	OPT f=4752 TT=4.98 T1=1.04	No data	OPT f=4752 TT=73.841 T1=5.16	OPT f=4752 TT=67.496 T1=3.79	OPT f=4752 TT=80.142 T1=5.19	OPT f=4752 TT=46.457 T1=23.27	OPT f=4752 TT=66.592 T1=63.66	OPT f=4752 TT=56.829 T1=0.16	SAT (TO) f=4752 TT=2400.1 T1=50.22	OPT f=4752 TT=13.903 T1=6.66	OPT f=4752 TT=13.765 T1=6.71	SAT (TO) f=6301 TT=2400.14 T1=1535.66	SAT (TO) f=6301 TT=2520.12 T1=1596.23
QuadraticAssignment/ QuadraticAssignment-m1-s1/ QuadraticAssignment-chr20b.xml	OPT f=1149 TT=3.407 T1=1.46	OPT f=1149 TT=3.407 T1=1.53	No data	No data	OPT f=1149 TT=15.986 T1=2.44	OPT f=1149 TT=9.624 T1=1.52	OPT f=1149 TT=5.594 T1=2.56	OPT f=1149 TT=5.181 T1=2.44	OPT f=1149 TT=8.373 T1=2.56	OPT f=1149 TT=7.724 T1=2.57	OPT f=1149 TT=50.483 T1=31.25	OPT f=1149 TT=26.171 T1=26.27	OPT f=1149 TT=26.316 T1=26.37	OPT f=1149 TT=13.967 T1=5.91	SAT (TO) f=1149 TT=2520.1 T1=26.8	OPT f=1149 TT=96.275 T1=92.52	OPT f=1149 TT=97.22 T1=93.5	OPT f=1149 TT=29.176 T1=5.37	OPT f=1149 TT=28.957 T1=26.68	OPT f=1149 TT=3.958 T1=1.46	No data	OPT f=1149 TT=15.927 T1=2.39	OPT f=1149 TT=20.594 T1=2.99	OPT f=1149 TT=56.382 T1=33.43	OPT f=1149 TT=26.199 T1=16.56	OPT f=1149 TT=26.437 T1=25.35	OPT f=1149 TT=14.264 T1=5.93	SAT (TO) f=1149 TT=2400.08 T1=33.03	OPT f=1149 TT=99.549 T1=94.06	OPT f=1149 TT=100.077 T1=94.74	SAT (TO) f=1452 TT=2400.12 T1=2372.13	SAT (TO) f=1490 TT=2520.15 T1=2064.38
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	BTD 2017-07-25 (complete)	BTD 2017-08-10 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: BTD 2017-06-30 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
QuadraticAssignment/ QuadraticAssignment-m1-s1/ QuadraticAssignment-esc16d.xml	OPT f=8 TT=13.444 T1=0.01	OPT f=8 TT=13.471 T1=0.76	No data	No data	OPT f=8 TT=218.206 T1=0.85	OPT f=8 TT=83.273 T1=0.8	OPT f=8 TT=47.526 T1=0.96	OPT f=8 TT=47.627 T1=0.94	OPT f=8 TT=85.986 T1=2.02	OPT f=8 TT=86.161 T1=1.94	OPT f=8 TT=554.677 T1=9.03	OPT f=8 TT=131.501 T1=131.59	OPT f=8 TT=96.151 T1=96.2	OPT f=8 TT=158.207 T1=0.1	SAT (TO) f=8 TT=2520.08 T1=15.47	OPT f=8 TT=96.305 T1=74.18	OPT f=8 TT=2011.79 T1=2.01	OPT f=8 TT=115.684 T1=12.49	OPT f=8 TT=80.634 T1=64.97	OPT f=8 TT=13.444 T1=0.71	No data	OPT f=8 TT=153.409 T1=1.05	OPT f=8 TT=146.309 T1=0.89	OPT f=8 TT=562.773 T1=9.26	OPT f=8 TT=131.232 T1=0.04	OPT f=8 TT=97.094 T1=0.01	OPT f=8 TT=157.453 T1=0.01	SAT (TO) f=8 TT=2400.08 T1=20.3	OPT f=8 TT=100.965 T1=76.34	OPT f=8 TT=1844.03 T1=17.62	OPT f=8 TT=160.401 T1=10.5	OPT f=8 TT=174.863 T1=12.08
QuadraticAssignment/ QuadraticAssignment-m1-s1/ QuadraticAssignment-esc32a.xml	SAT TO f=66 TT=2400.05 T1=15.02	SAT (TO) f=73 TT=2520.08 T1=749.94	No data	No data	SAT (TO) f=73 TT=20093.801 T1=726.91	SAT (TO) f=73 TT=20091.4 T1=732.54	SAT (TO) f=73 TT=2520.07 T1=657.04	SAT (TO) f=73 TT=2520.06 T1=655.53	SAT (TO) f=72 TT=2520.06 T1=1623.92	SAT (TO) f=72 TT=2520.09 T1=1620.07	SAT (TO) f=75 TT=2520.11 T1=2120.91	SAT (TO) f=93 TT=2520.02 T1=2519.9	SAT (TO) f=84 TT=2520.04 T1=2520	SAT (TO) f=66 TT=2519.7 T1=15.1	SAT (TO) f=67 TT=2520.05 T1=1003.45	SAT (TO) f=111 TT=2520.1 T1=1103.58	SAT (TO) f=66 TT=2520.06 T1=1055.01	SAT (TO) f=122 TT=19847.1 T1=2345.04	SAT (TO) f=113 TT=19852.301 T1=15199.51	SAT (TO) f=73 TT=2400.03 T1=758.56	No data	SAT (TO) f=77 TT=2400.06 T1=9.34	Wrong Opt. f=171 TT=4.735 T1=1.25	SAT (TO) f=75 TT=2400.16 T1=2049.39	SAT (TO) f=93 TT=2400.04 T1=1923.1	SAT (TO) f=84 TT=2400.03 T1=0.75	SAT (TO) f=66 TT=2400.05 T1=15.02	SAT (TO) f=69 TT=2400.08 T1=2139.51	SAT (TO) f=111 TT=2400.09 T1=1120.51	SAT (TO) f=71 TT=2400.05 T1=1306.64	SAT (TO) f=180 TT=2400.19 T1=998.51	SAT (TO) f=180 TT=2520.25 T1=1009.94
QuadraticAssignment/ QuadraticAssignment-m1-s1/ QuadraticAssignment-esc32d.xml	SAT TO f=100 TT=2400.04 T1=527.97	SAT (TO) f=105 TT=2520.02 T1=1461.49	No data	No data	SAT (TO) f=101 TT=20079.199 T1=1507.22	SAT (TO) f=101 TT=20082 T1=1532.68	SAT (TO) f=103 TT=2520.1 T1=1645.6	SAT (TO) f=103 TT=2520.08 T1=1645.84	SAT (TO) f=102 TT=2520.05 T1=775.77	SAT (TO) f=102 TT=2520.06 T1=774.1	SAT (TO) f=108 TT=2520.16 T1=2103.31	SAT (TO) f=110 TT=2520.03 T1=2520	SAT (TO) f=110 TT=2520.01 T1=2519.8	SAT (TO) f=100 TT=2519.8 T1=1254.01	SAT (TO) f=102 TT=2520.03 T1=997.65	SAT (TO) f=133 TT=2520.07 T1=1851.55	SAT (TO) f=102 TT=2520.09 T1=1348.78	SAT (TO) f=123 TT=19899.6 T1=408.69	SAT (TO) f=124 TT=19892.5 T1=1169.31	SAT (TO) f=105 TT=2400.06 T1=1492.11	No data	SAT (TO) f=103 TT=2400.35 T1=274.46	SAT (TO) f=104 TT=2400 T1=55.39	SAT (TO) f=112 TT=2400.1 T1=1591.01	SAT (TO) f=110 TT=2400.04 T1=23.04	SAT (TO) f=110 TT=2400.07 T1=8.8	SAT (TO) f=100 TT=2400.04 T1=1281.94	SAT (TO) f=104 TT=2400.05 T1=2087.39	SAT (TO) f=133 TT=2400.08 T1=1857.26	SAT (TO) f=100 TT=2400.05 T1=527.97	SAT (TO) f=151 TT=2400.35 T1=55.72	SAT (TO) f=151 TT=2520.25 T1=58.91
QuadraticAssignment/ QuadraticAssignment-m1-s1/ QuadraticAssignment-lipa20b.xml	SAT TO f=13638 TT=19961.5 T1=1.05	SAT (TO) f=16246 TT=2520.02 T1=494.26	No data	No data	SAT (TO) f=13638 TT=19970.5 T1=1.13	SAT (TO) f=13638 TT=19961.5 T1=1.05	SAT (TO) f=16051 TT=2520.14 T1=586.45	SAT (TO) f=16051 TT=2520.08 T1=598.91	SAT (TO) f=16208 TT=2520.06 T1=2410.9	SAT (TO) f=16208 TT=2520.11 T1=2442.36	SAT (TO) f=15686 TT=2520.08 T1=655.95	SAT (TO) f=16264 TT=2519.99 T1=2520	SAT (TO) f=16492 TT=2519.83 T1=2520	SAT (TO) f=15586 TT=2519.86 T1=118.81	SAT (TO) f=15673 TT=2520.13 T1=302.12	SAT (TO) f=16815 TT=2520.13 T1=1536.59	SAT (TO) f=15804 TT=2520.05 T1=518.3	SAT (TO) f=16582 TT=19924.6 T1=2113.43	SAT (TO) f=16647 TT=19880 T1=6439.9	SAT (TO) f=16246 TT=2400.09 T1=511.3	No data	SAT (TO) f=13638 TT=2400.05 T1=1.35	SAT (TO) f=13638 TT=2400.08 T1=1.11	SAT (TO) f=15686 TT=2400.09 T1=807.11	No Cert. TT=2400.06	No Cert. TT=2400.03	SAT (TO) f=15586 TT=2400.04 T1=119.18	SAT (TO) f=15661 TT=2400.07 T1=2280.01	SAT (TO) f=16815 TT=2400.12 T1=1550.03	SAT (TO) f=15307 TT=2400.03 T1=887.05	SAT (TO) f=17495 TT=2400.23 T1=59.12	SAT (TO) f=17495 TT=2520.39 T1=59.09
QuadraticAssignment/ QuadraticAssignment-m1-s1/ QuadraticAssignment-nug20.xml	SAT TO f=1287 TT=2400.07 T1=1440.66	SAT (TO) f=1436 TT=2520.05 T1=1594.03	No data	No data	SAT (TO) f=1417 TT=20039.301 T1=64.56	SAT (TO) f=1320 TT=19982.6 T1=1418.42	SAT (TO) f=1393 TT=2520.06 T1=195.36	SAT (TO) f=1393 TT=2520.07 T1=195.95	SAT (TO) f=1417 TT=2520.06 T1=2236.28	SAT (TO) f=1417 TT=2520.08 T1=2308.96	SAT (TO) f=1307 TT=2520.08 T1=1152.43	SAT (TO) f=1438 TT=2520.1 T1=2520	SAT (TO) f=1463 TT=2519.84 T1=2520	SAT (TO) f=1287 TT=2520.01 T1=1504.99	SAT (TO) f=1309 TT=2520.1 T1=516.5	SAT (TO) f=1465 TT=2520.09 T1=2404.53	SAT (TO) f=1323 TT=2520.12 T1=1059.72	SAT (TO) f=1508 TT=19888 T1=865.54	SAT (TO) f=1480 TT=19897.5 T1=13306.04	SAT (TO) f=1436 TT=2400.04 T1=1636.27	No data	SAT (TO) f=1441 TT=2400.2 T1=97.51	SAT (TO) f=1440 TT=2400.37 T1=77.26	SAT (TO) f=1307 TT=2400.09 T1=1163.23	No Cert. TT=2400.03	No Cert. TT=2400.07	SAT (TO) f=1287 TT=2400.07 T1=1440.66	SAT (TO) f=1307 TT=2400.06 T1=904.83	SAT (TO) f=1465 TT=2400.09 T1=2334.15	SAT (TO) f=1309 TT=2400.1 T1=1339.37	SAT (TO) f=1591 TT=2400.25 T1=1229.28	SAT (TO) f=1591 TT=2520.18 T1=1282.88
QuadraticAssignment/ QuadraticAssignment-m1-s1/ QuadraticAssignment-nug21.xml	SAT TO f=1228 TT=2520.05 T1=1360.6	SAT (TO) f=1413 TT=2520.06 T1=2136.53	No data	No data	SAT (TO) f=1352 TT=20021.9 T1=172.01	SAT (TO) f=1352 TT=19989.301 T1=1861.53	SAT (TO) f=1336 TT=2520.09 T1=828.47	SAT (TO) f=1336 TT=2520.11 T1=816.67	SAT (TO) f=1379 TT=2520.21 T1=1438.24	SAT (TO) f=1379 TT=2520.03 T1=1374.72	SAT (TO) f=1276 TT=2520.09 T1=688.19	SAT (TO) f=1448 TT=2520.1 T1=2519.9	SAT (TO) f=1463 TT=2520.09 T1=2519.9	SAT (TO) f=1233 TT=2519.93 T1=126.98	SAT (TO) f=1228 TT=2520.05 T1=1360.6	SAT (TO) f=1379 TT=2520.09 T1=1219.68	SAT (TO) f=1245 TT=2520.02 T1=833.8	SAT (TO) f=1368 TT=19877.6 T1=1246.73	SAT (TO) f=1375 TT=19888.4 T1=14254.38	SAT (TO) f=1413 TT=2400.1 T1=2182.06	No data	Wrong Opt. f=1617 TT=7.743 T1=1.65	SAT (TO) f=1384 TT=2400.45 T1=205.75	SAT (TO) f=1276 TT=2400.16 T1=727.26	No Cert. TT=2400.02	No Cert. TT=2400.08	SAT (TO) f=1233 TT=2400.09 T1=122	SAT (TO) f=1248 TT=2400.12 T1=2293.62	SAT (TO) f=1379 TT=2400.1 T1=1269.01	SAT (TO) f=1242 TT=2400.06 T1=1302.06	SAT (TO) f=1651 TT=2400.17 T1=2320.5	SAT (TO) f=1651 TT=2520.22 T1=2242.17
QuadraticAssignment/ QuadraticAssignment-m1-s1/ QuadraticAssignment-nug30.xml	SAT TO f=3153 TT=2520.1 T1=2105.37	SAT (TO) f=3673 TT=2520.04 T1=497.96	No data	No data	SAT (TO) f=3430 TT=20004.699 T1=1532.6	SAT (TO) f=3494 TT=20011 T1=1098.43	SAT (TO) f=3375 TT=2520.03 T1=1083.65	SAT (TO) f=3375 TT=2520.07 T1=1076.81	SAT (TO) f=3394 TT=2520.02 T1=2059.17	SAT (TO) f=3394 TT=2520.12 T1=2124.97	SAT (TO) f=3240 TT=2520.16 T1=414.99	SAT (TO) f=3716 TT=2519.84 T1=2520	SAT (TO) f=3684 TT=2520.05 T1=2519.8	SAT (TO) f=3159 TT=2520.08 T1=2505.83	SAT (TO) f=3153 TT=2520.1 T1=2105.37	? (TO) TT=2520.02	? (TO) TT=2520.07	SAT (TO) f=3616 TT=20039.801 T1=607.15	SAT (TO) f=3529 TT=20026.699 T1=2277.09	SAT (TO) f=3673 TT=2400.12 T1=492.34	No data	SAT (TO) f=3529 TT=2400.03 T1=248.54	SAT (TO) f=3413 TT=2400.31 T1=57.58	SAT (TO) f=3240 TT=2400.07 T1=460.21	No Cert. TT=2400.08	No Cert. TT=2400.09	SAT (TO) f=3166 TT=2400.07 T1=842.98	SAT (TO) f=3173 TT=2400.09 T1=2005.23	? (TO) TT=2400.04	? (TO) TT=2400.09	? (TO) TT=2400.13	? (TO) TT=2520.1
QuadraticAssignment/ QuadraticAssignment-m1-s1/ QuadraticAssignment-sko100a.xml	SAT TO f=79853 TT=2519.98 T1=2478.76	SAT (TO) f=87599 TT=2520.09 T1=217.77	No data	No data	SAT (TO) f=87627 TT=17196.801 T1=1090.05	SAT (TO) f=87368 TT=17919.6 T1=2117.19	? (TO) TT=2520.12	? (TO) TT=2520.11	? (TO) TT=2520.13	? (TO) TT=2520.09	? TT=2018.98	SAT (TO) f=87786 TT=2519.65 T1=2520	SAT (TO) f=87690 TT=2519.98 T1=2520.01	SAT (TO) f=79853 TT=2519.98 T1=2478.76	? (TO) TT=2520.06	? (TO) TT=2520.06	? (TO) TT=2520.15	? TT=8173.47	? TT=3152.91	SAT (TO) f=87599 TT=2400.04 T1=226.22	No data	? TT=836.505	? TT=827.945	? (TO) TT=2415.83	No Cert. TT=2400.1	No Cert. TT=2400.06	SAT (TO) f=79942 TT=2400.27 T1=2344.89	? (TO) TT=2400.05	? (TO) TT=2400.15	? (TO) TT=2400.04	? TT=1769.25	? TT=1513.6
QuadraticAssignment/ QuadraticAssignment-m1-s1/ QuadraticAssignment-sko81.xml	SAT TO f=47363 TT=2520.02 T1=2495.16	SAT (TO) f=52690 TT=2520.08 T1=111.06	No data	No data	SAT (TO) f=50469 TT=19355.6 T1=2171.23	SAT (TO) f=50469 TT=19004.6 T1=2162.67	SAT (TO) f=50469 TT=2520.08 T1=1580.31	SAT (TO) f=50469 TT=2520.03 T1=1610.16	SAT (TO) f=50537 TT=2520.12 T1=1351.44	SAT (TO) f=50537 TT=2520.08 T1=1351.05	? TT=1741.11	SAT (TO) f=53487 TT=2519.69 T1=2520	SAT (TO) f=52699 TT=2519.61 T1=2520.01	SAT (TO) f=47363 TT=2520.02 T1=2495.16	? (TO) TT=2520.09	? (TO) TT=2520.45	? (TO) TT=2520.09	? (TO) TT=19254	? (TO) TT=19976.199	SAT (TO) f=52690 TT=2400.1 T1=110.85	No data	SAT (TO) f=52530 TT=2400.75 T1=405.34	SAT (TO) f=52941 TT=2400.44 T1=191.51	? (TO) TT=2416.68	No Cert. TT=2400.02	No Cert. TT=2400.09	SAT (TO) f=47389 TT=2400.09 T1=2379.03	? (TO) TT=2400.13	? (TO) TT=2400.06	? (TO) TT=2400.07	? (TO) TT=2416.09	? TT=1723.12
QuadraticAssignment/ QuadraticAssignment-m1-s1/ QuadraticAssignment-ste36c.xml	SAT TO f=4280744 TT=2400.02 T1=1324.45	SAT (TO) f=6903757 TT=2520.1 T1=1.47	No data	No data	SAT (TO) f=6216781 TT=20048.5 T1=659.71	SAT (TO) f=5643696 TT=20031.801 T1=2002.45	SAT (TO) f=5564611 TT=2520.02 T1=2061.09	SAT (TO) f=5564611 TT=2520.1 T1=2041.05	SAT (TO) f=5838074 TT=2520.12 T1=959.87	SAT (TO) f=5838074 TT=2520.07 T1=940.34	SAT (TO) f=4425460 TT=2520.08 T1=1259.25	SAT (TO) f=7670520 TT=2520.1 T1=2519.9	SAT (TO) f=7590561 TT=2520.01 T1=2520	SAT (TO) f=4280744 TT=2519.76 T1=1324.45	SAT (TO) f=5253772 TT=2520.11 T1=2211.17	SAT (TO) f=6908913 TT=2520.11 T1=1365.31	SAT (TO) f=5141384 TT=2520.05 T1=1748.16	SAT (TO) f=6908913 TT=19892.5 T1=778.39	SAT (TO) f=6908913 TT=19907.301 T1=9376.61	SAT (TO) f=6903757 TT=2400.04 T1=1.41	No data	SAT (TO) f=6072570 TT=2400.29 T1=428.56	SAT (TO) f=6424812 TT=2400.4 T1=417.48	SAT (TO) f=4425460 TT=2400.51 T1=1197.3	No Cert. TT=2400.1	No Cert. TT=2400.07	SAT (TO) f=4280744 TT=2400.02 T1=1343.01	SAT (TO) f=5241924 TT=2400.05 T1=2212.97	SAT (TO) f=6908913 TT=2400.08 T1=1339.68	SAT (TO) f=4815481 TT=2400.39 T1=1609.39	? TT=1515.59	? TT=661.463
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	BTD 2017-07-25 (complete)	BTD 2017-08-10 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: BTD 2017-06-30 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
QuadraticAssignment/ QuadraticAssignment-m1-s1/ QuadraticAssignment-tai10b.xml	OPT f=58937 TT=0.763 T1=0.08	OPT f=58937 TT=2.492 T1=1.22	No data	No data	OPT f=58937 TT=6.621 T1=0.85	OPT f=58937 TT=4.982 T1=0.9	OPT f=58937 TT=5.408 T1=2.17	OPT f=58937 TT=5.329 T1=2.12	OPT f=58937 TT=16.757 T1=8.47	OPT f=58937 TT=17.015 T1=8.52	OPT f=58937 TT=14.153 T1=5.14	OPT f=58937 TT=0.763 T1=0.85	Signal TT=0.928	OPT f=58937 TT=2.552 T1=0.16	SAT (TO) f=58937 TT=2520.04 T1=5.59	OPT f=58937 TT=5.845 T1=3.86	OPT f=58937 TT=5.948 T1=3.87	OPT f=58937 TT=13.59 T1=3.39	OPT f=58937 TT=13.128 T1=12.93	OPT f=58937 TT=3.206 T1=1.17	No data	OPT f=58937 TT=7.64 T1=0.94	OPT f=58937 TT=8.57 T1=1.02	OPT f=58937 TT=17.922 T1=5.57	OPT f=58937 TT=0.823 T1=0.7	Signal TT=0.994	OPT f=58937 TT=2.6 T1=0.08	SAT (TO) f=58937 TT=2400.07 T1=7.71	OPT f=58937 TT=6.596 T1=3.84	OPT f=58937 TT=6.41 T1=4.07	OPT f=58937 TT=1698.05 T1=1657.92	OPT f=58937 TT=1765.85 T1=1729.84
QuadraticAssignment/ QuadraticAssignment-m1-s1/ QuadraticAssignment-tai12a.xml	OPT f=112208 TT=14116.1 T1=954.19	SAT (TO) f=115352 TT=2520.09 T1=2307.81	No data	No data	SAT (TO) f=112208 TT=20041 T1=991.58	SAT (TO) f=112208 TT=20012.5 T1=22.65	SAT (TO) f=112208 TT=2520.07 T1=1479.58	SAT (TO) f=112208 TT=2520.1 T1=1494.69	SAT (TO) f=119430 TT=2520.08 T1=2349.59	SAT (TO) f=119430 TT=2520.03 T1=2319.75	SAT (TO) f=114546 TT=2520.13 T1=570.27	SAT (TO) f=119956 TT=2519.83 T1=2520	SAT (TO) f=119429 TT=2519.83 T1=2520	SAT (TO) f=115352 TT=2519.79 T1=20.82	SAT (TO) f=116082 TT=2520.05 T1=879.51	SAT (TO) f=127108 TT=2520.04 T1=276.84	SAT (TO) f=112208 TT=2520.03 T1=143.63	OPT f=112208 TT=16276.6 T1=954.19	OPT f=112208 TT=14116.1 T1=6724.55	SAT (TO) f=115352 TT=2400.05 T1=2254.53	No data	SAT (TO) f=115726 TT=2400.28 T1=31.96	SAT (TO) f=112208 TT=2400.03 T1=51.5	SAT (TO) f=114546 TT=2400.11 T1=570.46	? (TO) TT=2400.06	? (TO) TT=2400.04	SAT (TO) f=115352 TT=2400.04 T1=20.55	SAT (TO) f=115352 TT=2400.07 T1=144.91	SAT (TO) f=127108 TT=2400.03 T1=285.79	SAT (TO) f=115352 TT=2400.06 T1=286.55	SAT (TO) f=130124 TT=2400.2 T1=213.91	SAT (TO) f=130124 TT=2520.26 T1=244.2
QuadraticAssignment/ QuadraticAssignment-m1-s1/ QuadraticAssignment-tai15a.xml	SAT TO f=195391 TT=2400.01 T1=1193.05	SAT (TO) f=203793 TT=2520.02 T1=941.18	No data	No data	SAT (TO) f=198908 TT=19823.5 T1=837.92	SAT (TO) f=196492 TT=19493.9 T1=322.85	SAT (TO) f=199153 TT=2520.06 T1=283.36	SAT (TO) f=199153 TT=2520.1 T1=276.46	SAT (TO) f=204043 TT=2520.03 T1=995.25	SAT (TO) f=204043 TT=2520.05 T1=992.69	SAT (TO) f=198845 TT=2520.06 T1=63.66	SAT (TO) f=207907 TT=2520.01 T1=2520	SAT (TO) f=207076 TT=2520.03 T1=2520	SAT (TO) f=195391 TT=2520.07 T1=1246.25	SAT (TO) f=198839 TT=2520.13 T1=1825.42	SAT (TO) f=211898 TT=2520.09 T1=59.72	SAT (TO) f=198092 TT=2520.05 T1=1739.52	SAT (TO) f=203258 TT=19881.199 T1=1260.26	SAT (TO) f=203258 TT=19905 T1=5993.76	SAT (TO) f=203793 TT=2400.08 T1=968.96	No data	SAT (TO) f=200006 TT=2400.79 T1=113.62	SAT (TO) f=205458 TT=2400.03 T1=386.72	SAT (TO) f=198845 TT=2400.13 T1=69.32	? (TO) TT=2400.1	? (TO) TT=2400.02	SAT (TO) f=195391 TT=2400.01 T1=1193.05	SAT (TO) f=197522 TT=2400.05 T1=695.21	SAT (TO) f=211898 TT=2400.06 T1=61.88	SAT (TO) f=201621 TT=2400.14 T1=215.56	SAT (TO) f=250281 TT=2400.31 T1=6.43	SAT (TO) f=250281 TT=2520.26 T1=6.64
QuadraticAssignment/ QuadraticAssignment-m1-s1/ QuadraticAssignment-tai80a.xml	SAT TO f=7129639 TT=2519.7 T1=2419.99	SAT (TO) f=7640304 TT=2520.1 T1=774.78	No data	No data	SAT (TO) f=7348514 TT=18963.5 T1=2144.82	SAT (TO) f=7348514 TT=18558.5 T1=1991.45	SAT (TO) f=7348514 TT=2520.06 T1=1801.88	SAT (TO) f=7348514 TT=2520.09 T1=1804.18	SAT (TO) f=7346382 TT=2520.06 T1=1862.95	SAT (TO) f=7346382 TT=2520.12 T1=1863.49	SAT f=7870242 TT=2029.28 T1=187.65	SAT (TO) f=7687952 TT=2519.76 T1=2520	SAT (TO) f=7706841 TT=2519.96 T1=2520.01	SAT (TO) f=7129639 TT=2519.7 T1=2419.99	SAT (TO) f=7445065 TT=2520.15 T1=2283.6	SAT (TO) f=7684328 TT=2520.14 T1=1000.38	SAT (TO) f=7499862 TT=2520.14 T1=1764.25	? TT=1677.22	SAT (TO) f=7608475 TT=18593.4 T1=2799.19	SAT (TO) f=7640304 TT=2400.08 T1=784.39	No data	SAT (TO) f=7566572 TT=2400.42 T1=394.57	SAT (TO) f=7566572 TT=2400.67 T1=420.47	? (TO) TT=2416.3	No Cert. TT=2400.06	No Cert. TT=2400.1	SAT (TO) f=7136293 TT=2400.11 T1=2356.17	SAT (TO) f=7491603 TT=2400.08 T1=2256.96	SAT (TO) f=7684328 TT=2400.09 T1=990.79	SAT (TO) f=7458180 TT=2400.15 T1=1704.39	? TT=1161.88	? TT=499.662
QuasiGroups/ QuasiGroups-elt-qg4/QuasiGroup-4-08.xml	UNSAT TT=43.433	UNSAT TT=226.132	? (NS) TT=0.01	? (NS) TT=0.01	UNSAT TT=703.573	UNSAT TT=555.323	UNSAT TT=286.003	UNSAT TT=283.442	UNSAT TT=1455.79	UNSAT TT=1456.19	UNSAT TT=379.021	UNSAT TT=781.259	UNSAT TT=489.168	UNSAT TT=1798.1	No data	UNSAT TT=84.419	No data	UNSAT TT=46.537	UNSAT TT=43.433	UNSAT TT=236.899	? (NS) TT=0.016	UNSAT TT=907.304	UNSAT TT=917.842	UNSAT TT=388.17	UNSAT TT=775.306	UNSAT TT=488.348	UNSAT TT=2030.28	No data	UNSAT TT=87.217	No data	? (TO) TT=2400.1	? (TO) TT=2520.14
QuasiGroups/ QuasiGroups-elt-qg4/QuasiGroup-4-17.xml	SAT TT=100.011	? (TO) TT=2520.12	? (NS) TT=0.095	? (NS) TT=0.095	SAT TT=103.043	SAT TT=100.011	? (TO) TT=2520.12	? (TO) TT=2520.09	? (TO) TT=2520.07	? (TO) TT=2520.06	? (TO) TT=2521.12	? (TO) TT=2519.82	? (TO) TT=2520.02	? (TO) TT=2519.93	No data	? (TO) TT=2520.02	No data	? (TO) TT=19868.9	? (TO) TT=19854.801	? (TO) TT=2400.35	? (NS) TT=0.143	? (TO) TT=2400.01	? (TO) TT=2400.44	? (TO) TT=2402.99	? (TO) TT=2400.06	? (TO) TT=2400.09	? (TO) TT=2400.03	No data	? (TO) TT=2400.08	No data	? (TO) TT=2400.16	? (TO) TT=2520.13
QuasiGroups/ QuasiGroups-elt-qg4/QuasiGroup-4-24.xml		? (TO) TT=2520.1	? (NS) TT=0.445	? (NS) TT=0.445	? (TO) TT=16246.5	? (TO) TT=16313.9	? (TO) TT=2520.13	? (TO) TT=2520.11	? (TO) TT=2520.08	? (TO) TT=2520.05	? (TO) TT=2522.6	? (TO) TT=2519.96	? (TO) TT=2520.05	? (TO) TT=2520.01	No data	? (TO) TT=2520.06	No data	? (TO) TT=19141.9	? (TO) TT=19126	? (TO) TT=2400.09	? (NS) TT=0.508	? (TO) TT=2400.13	? (TO) TT=2400.11	? (TO) TT=2404.69	? (TO) TT=2400.05	? (TO) TT=2400.04	? (TO) TT=2400.02	No data	? (TO) TT=2400.07	No data	? (TO) TT=2416.2	? (TO) TT=2528.01
QuasiGroups/ QuasiGroups-elt-qg5/QuasiGroup-5-07.xml	SAT TT=0.009	SAT TT=1.226	? (NS) TT=0.007	? (NS) TT=0.007	SAT TT=1.79	SAT TT=1.791	SAT TT=0.942	SAT TT=0.964	SAT TT=1.068	SAT TT=1.084	SAT TT=8.152	SAT TT=0.009	SAT TT=0.01	SAT TT=0.01	No data	SAT TT=1.351	No data	SAT TT=6.831	SAT TT=6.324	SAT TT=1.437	? (NS) TT=0.009	SAT TT=1.961	SAT TT=2.07	SAT TT=9.809	SAT TT=0.014	SAT TT=0.016	SAT TT=0.014	No data	SAT TT=1.386	No data	SAT TT=1.913	SAT TT=1.643
QuasiGroups/ QuasiGroups-elt-qg7/QuasiGroup-7-23.xml		? (TO) TT=2520.04	? (NS) TT=0.025	? (NS) TT=0.025	? (TO) TT=20093.1	? (TO) TT=20091.301	? (TO) TT=2520.06	? (TO) TT=2520.09	? (TO) TT=2520.13	? (TO) TT=2520.08	? (TO) TT=2520.99	? (TO) TT=2519.84	? (TO) TT=2520.02	? (TO) TT=2519.99	No data	? (TO) TT=2520.11	No data	? (TO) TT=19967.9	? (TO) TT=19944.9	? (TO) TT=2400.04	? (NS) TT=0.042	? (TO) TT=2400.07	? (TO) TT=2400.06	? (TO) TT=2402.04	? (TO) TT=2400.03	? (TO) TT=2400.06	? (TO) TT=2400.09	No data	? (TO) TT=2400.04	No data	? (TO) TT=2400.22	? (TO) TT=2520.16
QuasiGroups/ QuasiGroups-elt-qg7/QuasiGroup-7-28.xml		? (TO) TT=2520.11	? (NS) TT=0.041	? (NS) TT=0.041	? (TO) TT=20089.699	? (TO) TT=20077.9	? (TO) TT=2520.12	? (TO) TT=2520.05	? (TO) TT=2520.08	? (TO) TT=2520.03	? (TO) TT=2521.23	? (TO) TT=2519.96	? (TO) TT=2520.06	? (TO) TT=2520.08	No data	? (TO) TT=2520.04	No data	? (TO) TT=19918.699	? (TO) TT=19933.5	? (TO) TT=2400.02	? (NS) TT=0.071	? (TO) TT=2400.48	? (TO) TT=2400.17	? (TO) TT=2402.49	? (TO) TT=2400.05	? (TO) TT=2400.04	? (TO) TT=2400.01	No data	? (TO) TT=2400.08	No data	? (TO) TT=2400.26	? (TO) TT=2520.18
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	BTD 2017-07-25 (complete)	BTD 2017-08-10 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: BTD 2017-06-30 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
QueenAttacking/ QueenAttacking-m1-s1/ QueenAttacking-03.xml	UNSAT TT=0.019	UNSAT TT=1.061	No data	No data	UNSAT TT=1.383	UNSAT TT=1.399	UNSAT TT=0.92	UNSAT TT=0.945	UNSAT TT=0.993	UNSAT TT=0.99	UNSAT TT=7.462	UNSAT TT=0.021	UNSAT TT=0.019	UNSAT TT=0.054	UNSAT TT=1.192	UNSAT TT=1.187	UNSAT TT=1.209	UNSAT TT=1.236	UNSAT TT=1.237	UNSAT TT=1.297	No data	UNSAT TT=1.541	UNSAT TT=1.54	UNSAT TT=9.921	UNSAT TT=0.029	UNSAT TT=0.026	UNSAT TT=0.07	UNSAT TT=1.285	UNSAT TT=1.352	UNSAT TT=1.28	UNSAT TT=1.143	UNSAT TT=1.039
QueenAttacking/ QueenAttacking-m1-s1/ QueenAttacking-04.xml	UNSAT TT=0.288	UNSAT TT=1.779	No data	No data	UNSAT TT=7.064	UNSAT TT=7.546	UNSAT TT=3.778	UNSAT TT=3.791	UNSAT TT=8.104	UNSAT TT=7.969	UNSAT TT=10.369	UNSAT TT=0.288	UNSAT TT=0.326	UNSAT TT=64.091	UNSAT TT=3.149	UNSAT TT=2.951	UNSAT TT=2.92	UNSAT TT=10.293	UNSAT TT=9.877	UNSAT TT=2.194	No data	UNSAT TT=9.696	UNSAT TT=8.654	UNSAT TT=12.096	UNSAT TT=0.318	UNSAT TT=0.379	UNSAT TT=65.45	UNSAT TT=3.899	UNSAT TT=3.125	UNSAT TT=3.074	UNSAT TT=3.699	UNSAT TT=3.056
QueenAttacking/ QueenAttacking-m1-s1/ QueenAttacking-06.xml	OPT f=0 TT=18.094 T1=3.14	OPT f=0 TT=19.772 T1=16.88	No data	No data	OPT f=0 TT=15.897 T1=2.61	OPT f=0 TT=19.954 T1=3.14	OPT f=0 TT=70.081 T1=64.91	OPT f=0 TT=73.631 T1=68.65	OPT f=0 TT=140.187 T1=126.38	OPT f=0 TT=142.052 T1=129.02	OPT f=0 TT=26.387 T1=16.23	OPT f=0 TT=18.094 T1=18.14	OPT f=0 TT=70.631 T1=70.71	OPT f=0 TT=2378.09 T1=2377.99	SAT (TO) f=0 TT=2520.05 T1=60.6	OPT f=0 TT=58.955 T1=56.18	OPT f=0 TT=58.95 T1=55.97	OPT f=0 TT=29.225 T1=9.01	OPT f=0 TT=23.788 T1=22.93	OPT f=0 TT=21.291 T1=18.2	No data	OPT f=0 TT=21.189 T1=3.36	OPT f=0 TT=26.545 T1=4.05	OPT f=0 TT=30.393 T1=16.74	OPT f=0 TT=18.318 T1=18.32	OPT f=0 TT=70.306 T1=70.31	? (TO) TT=2400.03	SAT (TO) f=0 TT=2400.09 T1=21.21	OPT f=0 TT=59.742 T1=55.91	OPT f=0 TT=59.823 T1=55.87	OPT f=0 TT=512.237 T1=502.26	OPT f=0 TT=525.48 T1=520.59
QueenAttacking/ QueenAttacking-m1-s1/ QueenAttacking-07.xml	OPT f=0 TT=5.113 T1=1.97	OPT f=0 TT=561.896 T1=558.49	No data	No data	OPT f=0 TT=15.204 T1=3	OPT f=0 TT=16.005 T1=3.22	OPT f=0 TT=5.142 T1=1.83	OPT f=0 TT=5.113 T1=1.97	OPT f=0 TT=5.752 T1=2.25	OPT f=0 TT=5.811 T1=2.17	OPT f=0 TT=2091.21 T1=2059.87	SAT (TO) f=2 TT=2519.76 T1=2520	SAT (TO) f=2 TT=2520.01 T1=2519.9	SAT (TO) f=2 TT=2519.96 T1=316.12	? (TO) TT=2520.07	? (TO) TT=2520.03	? (TO) TT=2520.06	? (TO) TT=19883.1	? (TO) TT=19871	OPT f=0 TT=599.813 T1=595.31	No data	OPT f=0 TT=21.762 T1=3.75	OPT f=0 TT=21.962 T1=3.86	OPT f=0 TT=2168.98 T1=2109.86	? (TO) TT=2400.11	? (TO) TT=2400.05	SAT (TO) f=2 TT=2400.1 T1=324.16	? (TO) TT=2400.09	? (TO) TT=2400.06	? (TO) TT=2400.08	SAT (TO) f=3 TT=2400.25 T1=1228.54	SAT (TO) f=3 TT=2520.25 T1=1249.69
QueenAttacking/ QueenAttacking-m1-s1/ QueenAttacking-08.xml	OPT f=0 TT=1196.9 T1=153.15	SAT (TO) f=3 TT=2520.1 T1=2217.32	No data	No data	OPT f=0 TT=3105.29 T1=392	OPT f=0 TT=1196.9 T1=153.15	SAT (TO) f=2 TT=2520.07 T1=274.39	SAT (TO) f=2 TT=2520.04 T1=269.92	SAT (TO) f=3 TT=2520.04 T1=241.56	SAT (TO) f=3 TT=2520.09 T1=234.02	SAT (TO) f=1 TT=2520.08 T1=2253.09	SAT (TO) f=3 TT=2520.1 T1=2519.9	SAT (TO) f=4 TT=2519.99 T1=2520	? (TO) TT=2519.78	? (TO) TT=2520.06	? (TO) TT=2520.07	? (TO) TT=2520.09	SAT (TO) f=1 TT=3826.69 T1=186.51	SAT (TO) f=1 TT=6935.51 T1=5030.79	SAT (TO) f=3 TT=2400.12 T1=2178.04	No data	OPT f=0 TT=246.343 T1=33.39	OPT f=0 TT=503.721 T1=65.88	SAT (TO) f=2 TT=2400.06 T1=626.69	? (TO) TT=2400.01	? (TO) TT=2400.08	? (TO) TT=2400.02	? (TO) TT=2400.11	? (TO) TT=2400.08	? (TO) TT=2400.1	? (TO) TT=2400.51	? (TO) TT=2520.84
QueenAttacking/ QueenAttacking-m1-s1/ QueenAttacking-09.xml	SAT TO f=6 TT=19973.1 T1=283.34	SAT (TO) f=7 TT=2520.05 T1=1363.97	No data	No data	SAT (TO) f=6 TT=19985 T1=278.52	SAT (TO) f=6 TT=19973.1 T1=283.34	SAT (TO) f=7 TT=2520.12 T1=2462.44	SAT (TO) f=7 TT=2520.04 T1=2439.93	SAT (TO) f=7 TT=2520.07 T1=491.24	SAT (TO) f=7 TT=2520.09 T1=491.75	? (TO) TT=2520.62	? (TO) TT=2519.91	? (TO) TT=2520.04	? (TO) TT=2519.79	? (TO) TT=2520.11	? (TO) TT=2520.07	? (TO) TT=2520.1	? (TO) TT=19916.301	? (TO) TT=19892.9	SAT (TO) f=7 TT=2400.2 T1=1339.83	No data	SAT (TO) f=5 TT=2400.03 T1=217.36	SAT (TO) f=7 TT=2400.39 T1=114.4	? (TO) TT=2401.36	? (TO) TT=2400.04	? (TO) TT=2400.08	? (TO) TT=2400.05	? (TO) TT=2400.06	? (TO) TT=2400.07	? (TO) TT=2400.11	? (TO) TT=2400.21	? (TO) TT=2520.22
QueenAttacking/ QueenAttacking-m1-s1/ QueenAttacking-10.xml	SAT TO f=9 TT=2520.05 T1=113.03	? (TO) TT=2520.09	No data	No data	SAT (TO) f=9 TT=19859.9 T1=130.44	SAT (TO) f=9 TT=19869.5 T1=127.54	SAT (TO) f=9 TT=2520.11 T1=120.57	SAT (TO) f=9 TT=2520.05 T1=113.03	? (TO) TT=2520.04	? (TO) TT=2520.05	? (TO) TT=2520.68	? (TO) TT=2519.6	? (TO) TT=2520.02	? (TO) TT=2520.1	? (TO) TT=2520.06	? (TO) TT=2520.08	? (TO) TT=2520.04	SAT (TO) f=9 TT=19926 T1=1481.63	SAT (TO) f=12 TT=19994.5 T1=8254.28	? (TO) TT=2400.11	No data	SAT (TO) f=9 TT=2400.16 T1=224.38	SAT (TO) f=9 TT=2400.23 T1=233.39	? (TO) TT=2401.45	? (TO) TT=2400.01	? (TO) TT=2400.02	? (TO) TT=2400.05	? (TO) TT=2400.03	? (TO) TT=2400.11	? (TO) TT=2400.1	? (TO) TT=2400.35	? (TO) TT=2520.29
QueenAttacking/ QueenAttacking-m1-s1/ QueenAttacking-11.xml	SAT TO f=13 TT=20012.4 T1=97.82	? (TO) TT=2520.02	No data	No data	SAT (TO) f=13 TT=20002.1 T1=92.96	SAT (TO) f=13 TT=20012.4 T1=97.82	? (TO) TT=2520.09	? (TO) TT=2520.04	? (TO) TT=2520.04	? (TO) TT=2520.08	? (TO) TT=2520.82	? (TO) TT=2519.94	? (TO) TT=2520.05	? (TO) TT=2519.96	? (TO) TT=2520.06	? (TO) TT=2520.13	? (TO) TT=2520.13	? (TO) TT=19980.1	? (TO) TT=19951.801	? (TO) TT=2400.05	No data	SAT (TO) f=13 TT=2400.77 T1=112.05	SAT (TO) f=13 TT=2400.23 T1=113.8	? (TO) TT=2401.63	? (TO) TT=2400.05	? (TO) TT=2400.06	? (TO) TT=2400.08	? (TO) TT=2400.08	? (TO) TT=2400.08	? (TO) TT=2400.07	? (TO) TT=2400.3	? (TO) TT=2520.24
QueenAttacking/ QueenAttacking-m1-s1/ QueenAttacking-12.xml	SAT TO f=17 TT=19964.4 T1=440.48	? (TO) TT=2520.07	No data	No data	SAT (TO) f=17 TT=19958.699 T1=391.08	SAT (TO) f=17 TT=19964.4 T1=440.48	? (TO) TT=2520.04	? (TO) TT=2520.04	? (TO) TT=2520.04	? (TO) TT=2520.07	SAT (TO) f=26 TT=2520.04 T1=2428.06	? (TO) TT=2520.03	? (TO) TT=2520.06	? (TO) TT=2520.07	? (TO) TT=2520.12	? (TO) TT=2520.05	? (TO) TT=2520.04	SAT (TO) f=28 TT=19997.5 T1=2022.42	SAT (TO) f=32 TT=19995.5 T1=7796.28	? (TO) TT=2400.11	No data	? (TO) TT=2400.41	? (TO) TT=2400.62	SAT (TO) f=27 TT=2400.07 T1=1882.31	? (TO) TT=2400.06	? (TO) TT=2400.08	? (TO) TT=2400.04	? (TO) TT=2400.06	? (TO) TT=2400.11	? (TO) TT=2400.11	? (TO) TT=2400.26	? (TO) TT=2522.28
QueenAttacking/ QueenAttacking-m1-s1/ QueenAttacking-13.xml	SAT TO f=20 TT=19880.199 T1=1090.14	? (TO) TT=2520.11	No data	No data	SAT (TO) f=20 TT=19881.9 T1=1092.07	SAT (TO) f=20 TT=19880.199 T1=1090.14	? (TO) TT=2520.03	? (TO) TT=2520.03	? (TO) TT=2520.06	? (TO) TT=2520.03	? (TO) TT=2520.97	? (TO) TT=2519.7	? (TO) TT=2519.9	? (TO) TT=2519.79	? (TO) TT=2520.03	? (TO) TT=2520.13	? (TO) TT=2520.11	? (TO) TT=20031.6	? (TO) TT=20033.699	? (TO) TT=2400.08	No data	SAT (TO) f=20 TT=2400.82 T1=300.98	SAT (TO) f=20 TT=2400.77 T1=306.37	? (TO) TT=2402.08	? (TO) TT=2400.04	? (TO) TT=2400.02	? (TO) TT=2400.03	? (TO) TT=2400.06	? (TO) TT=2400.04	? (TO) TT=2400.09	? (TO) TT=2400.65	? (TO) TT=2520.29
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	BTD 2017-07-25 (complete)	BTD 2017-08-10 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: BTD 2017-06-30 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
QueenAttacking/ QueenAttacking-m1-s1/ QueenAttacking-14.xml		? (TO) TT=2520.06	No data	No data	? (TO) TT=19754.6	? (TO) TT=19759.5	? (TO) TT=2520.02	? (TO) TT=2520.07	? (TO) TT=2520.05	? (TO) TT=2520.1	? (TO) TT=2520.98	? (TO) TT=2519.71	? (TO) TT=2519.83	? (TO) TT=2520.01	? (TO) TT=2520.05	? (TO) TT=2520.12	? (TO) TT=2520.05	? (TO) TT=20015	? (TO) TT=20019.9	? (TO) TT=2400.08	No data	? (TO) TT=2400.42	? (TO) TT=2400.57	? (TO) TT=2402.7	? (TO) TT=2400.05	? (TO) TT=2400.09	? (TO) TT=2400.09	? (TO) TT=2400.05	? (TO) TT=2400.06	? (TO) TT=2400.11	? (TO) TT=2400.23	? (TO) TT=2520.24
QueenAttacking/ QueenAttacking-m1-s1/ QueenAttacking-15.xml		? (TO) TT=2520.05	No data	No data	? (TO) TT=19601.5	? (TO) TT=19588.9	? (TO) TT=2520.08	? (TO) TT=2520.05	? (TO) TT=2520.08	? (TO) TT=2520.11	? (TO) TT=2521.12	? (TO) TT=2519.91	? (TO) TT=2519.98	? (TO) TT=2519.53	? (TO) TT=2520.07	? (TO) TT=2520.05	? (TO) TT=2520.11	? (TO) TT=19986.9	? (TO) TT=19974.1	? (TO) TT=2400.03	No data	? (TO) TT=2400.52	? (TO) TT=2400.23	? (TO) TT=2402.45	? (TO) TT=2400.06	? (TO) TT=2400.06	? (TO) TT=2400.02	? (TO) TT=2400.06	? (TO) TT=2400.06	? (TO) TT=2400.05	? (TO) TT=2400.25	? (TO) TT=2520.22
QueenAttacking/ QueenAttacking-m1-s1/ QueenAttacking-16.xml		? (TO) TT=2520.02	No data	No data	? (TO) TT=19351	? (TO) TT=19331.6	? (TO) TT=2520.1	? (TO) TT=2520.05	? (TO) TT=2520.07	? (TO) TT=2520.08	? (TO) TT=2521.37	? (TO) TT=2519.78	? (TO) TT=2519.65	? (TO) TT=2519.89	? (TO) TT=2520.09	? (TO) TT=2520.05	? (TO) TT=2520.05	? (TO) TT=19933	? (TO) TT=19924.5	? (TO) TT=2400.06	No data	? (TO) TT=2400.47	? (TO) TT=2400.55	? (TO) TT=2402.64	? (TO) TT=2400.08	? (TO) TT=2400.03	? (TO) TT=2400.03	? (TO) TT=2400.05	? (TO) TT=2400.05	? (TO) TT=2400.1	? (TO) TT=2400.27	? (TO) TT=2520.22
QueenAttacking/ QueenAttacking-m1-s1/ QueenAttacking-17.xml		? (TO) TT=2520.09	No data	No data	? (TO) TT=19364.699	? (TO) TT=19356.5	? (TO) TT=2520.1	? (TO) TT=2520.07	? (TO) TT=2520.09	? (TO) TT=2520.06	? (TO) TT=2521.54	? (TO) TT=2519.98	? (TO) TT=2520.04	? (TO) TT=2520.08	? (TO) TT=2520.08	? (TO) TT=2520.11	? (TO) TT=2520.04	? (TO) TT=19848.5	? (TO) TT=19866.301	? (TO) TT=2400.1	No data	? (TO) TT=2400.02	? (TO) TT=2400.14	? (TO) TT=2402.93	? (TO) TT=2400.09	? (TO) TT=2400.1	? (TO) TT=2400.07	? (TO) TT=2400.05	? (TO) TT=2400.04	? (TO) TT=2400.03	? (TO) TT=2400.2	? (TO) TT=2520.21
QueenAttacking/ QueenAttacking-m1-s1/ QueenAttacking-18.xml		? (TO) TT=2520.09	No data	No data	? (TO) TT=19094.699	? (TO) TT=19086.6	? (TO) TT=2520.11	? (TO) TT=2520.1	? (TO) TT=2520.1	? (TO) TT=2520.07	? (TO) TT=2521.52	? (TO) TT=2520.09	? (TO) TT=2520.06	? (TO) TT=2519.69	? (TO) TT=2520.03	? (TO) TT=2520.08	? (TO) TT=2520.09	? (TO) TT=19477.6	? (TO) TT=19789.1	? (TO) TT=2400.09	No data	? TT=601.852	? (TO) TT=2400.32	? (TO) TT=2403.55	? (TO) TT=2400.07	? (TO) TT=2400.04	? (TO) TT=2400.09	? (TO) TT=2400.04	? (TO) TT=2400.06	? (TO) TT=2400.04	? (TO) TT=2400.3	? (TO) TT=2521.29
QueenAttacking/ QueenAttacking-m1-s1/ QueenAttacking-19.xml		? (TO) TT=2520.09	No data	No data	? (TO) TT=18688.5	? (TO) TT=18681.301	? (TO) TT=2520.11	? (TO) TT=2520.09	? (TO) TT=2520.12	? (TO) TT=2520.04	? (TO) TT=2522.04	? (TO) TT=2519.85	? (TO) TT=2520.08	? (TO) TT=2520.08	? (TO) TT=2520.11	? (TO) TT=2520.05	? (TO) TT=2520.1	? TT=2865.02	? (TO) TT=19626.699	? (TO) TT=2400.07	No data	? TT=582.212	? TT=578.479	? (TO) TT=2403.83	? (TO) TT=2400.11	? (TO) TT=2400.03	? (TO) TT=2400.07	? (TO) TT=2400.04	? (TO) TT=2400.06	? (TO) TT=2400.1	? (TO) TT=2400.25	? (TO) TT=2520.21
QueenAttacking/ QueenAttacking-m1-s1/ QueenAttacking-20.xml		? (TO) TT=2520.08	No data	No data	? (TO) TT=18101.699	? (TO) TT=18113.5	? (TO) TT=2520.12	? (TO) TT=2520.04	? (TO) TT=2520.1	? (TO) TT=2520.09	? (TO) TT=2522.08	? (TO) TT=2520.02	? (TO) TT=2519.99	? (TO) TT=2519.81	? (TO) TT=2520.1	? (TO) TT=2520.05	? (TO) TT=2520.04	? TT=5866.5	? (TO) TT=19230.6	? (TO) TT=2400.04	No data	? TT=1780.63	? TT=2319.64	? (TO) TT=2404.6	? (TO) TT=2400.07	? (TO) TT=2400.01	? (TO) TT=2400.06	? (TO) TT=2400.11	? (TO) TT=2400.09	? (TO) TT=2400.05	? (TO) TT=2400.27	? (TO) TT=2520.18
QueenAttacking/ QueenAttacking-xcsp2-s1/ QueenAttacking-05_X2.xml	SAT TT=0.119	SAT TT=1.674	SAT TT=0.121	SAT TT=0.119	SAT TT=4.845	SAT TT=4.568	SAT TT=1.965	SAT TT=1.96	SAT TT=5.3	SAT TT=5.377	SAT TT=9.224	SAT TT=0.298	SAT TT=0.351	SAT TT=102.474	No data	SAT TT=2.598	No data	SAT TT=146.496	SAT TT=6.03	SAT TT=2.176	SAT TT=0.171	SAT TT=4.813	SAT TT=5.372	SAT TT=10.567	SAT TT=0.353	SAT TT=0.411	SAT TT=122.081	No data	SAT TT=3.639	No data	SAT TT=10.465	SAT TT=9.688
QueenAttacking/ QueenAttacking-xcsp2-s1/ QueenAttacking-07_X2.xml	SAT TT=9.991	SAT TT=38.956	SAT TT=12.29	SAT TT=12.277	SAT TT=336.243	SAT TT=335.928	SAT TT=71.565	SAT TT=72.338	SAT TT=8.982	SAT TT=9.991	SAT TT=471.158	SAT TT=10.607	SAT TT=104.467	? (TO) TT=2520.02	No data	? (TO) TT=2520.1	No data	? (TO) TT=19971	? (TO) TT=19956.5	SAT TT=40.285	SAT TT=12.071	SAT TT=518.836	SAT TT=549.307	SAT TT=480.257	SAT TT=10.637	SAT TT=105.865	? (TO) TT=2400.06	No data	? (TO) TT=2400.06	No data	? (TO) TT=2400.18	? (TO) TT=2520.13
QueenAttacking/ QueenAttacking-xcsp2-s1/ QueenAttacking-08_X2.xml	SAT TT=2118.48	? (TO) TT=2520.03	? (TO) TT=2519.68	? (TO) TT=2519.77	SAT TT=4908.71	SAT TT=11533.5	? (TO) TT=2520.09	? (TO) TT=2520.08	? (TO) TT=2520.05	? (TO) TT=2520.04	? (TO) TT=2520.58	SAT TT=2118.48	? (TO) TT=2520.05	? (TO) TT=2519.95	No data	? (TO) TT=2520.11	No data	? (TO) TT=20017.4	? (TO) TT=20002.801	? (TO) TT=2400.1	? (TO) TT=2400.01	? (TO) TT=2400.28	? (TO) TT=2400.66	? (TO) TT=2401.11	SAT TT=2111.26	? (TO) TT=2400.06	? (TO) TT=2400.09	No data	? (TO) TT=2400.04	No data	? (TO) TT=2401.98	? (TO) TT=2520.21
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	BTD 2017-07-25 (complete)	BTD 2017-08-10 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: BTD 2017-06-30 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
QueenAttacking/ QueenAttacking-xcsp2-s1/ QueenAttacking-09_X2.xml		? (TO) TT=2520.05	? (TO) TT=2519.7	? (TO) TT=2519.82	? (TO) TT=20056.4	? (TO) TT=20040.5	? (TO) TT=2520.06	? (TO) TT=2520.04	? (TO) TT=2520.04	? (TO) TT=2520.07	? (TO) TT=2520.63	? (TO) TT=2520.02	? (TO) TT=2519.87	? (TO) TT=2520.04	No data	? (TO) TT=2520.03	No data	? (TO) TT=20006.801	? (TO) TT=20028.801	? (TO) TT=2400.02	? TT=2400.01	? (TO) TT=2400.28	? (TO) TT=2400.33	? (TO) TT=2401.32	? (TO) TT=2400.09	? (TO) TT=2400.07	? (TO) TT=2400.06	No data	? (TO) TT=2400.05	No data	? (TO) TT=2400.22	? (TO) TT=2520.26
QueenAttacking/ QueenAttacking-xcsp2-s1/ QueenAttacking-10_X2.xml		? (TO) TT=2520.03	? (TO) TT=2519.88	? (TO) TT=2519.68	? (TO) TT=20016.5	? (TO) TT=20002.699	? (TO) TT=2520.05	? (TO) TT=2520.12	? (TO) TT=2520.03	? (TO) TT=2520.12	? (TO) TT=2520.72	? (TO) TT=2520.07	? (TO) TT=2520.03	? (TO) TT=2519.74	No data	? (TO) TT=2520.08	No data	? (TO) TT=20009.199	? (TO) TT=20013.801	? (TO) TT=2400.12	? TT=2400.01	? (TO) TT=2400.37	? (TO) TT=2400.62	? (TO) TT=2401.47	? (TO) TT=2400.09	? (TO) TT=2400.06	? (TO) TT=2400.11	No data	? (TO) TT=2400.12	No data	? (TO) TT=2400.22	? (TO) TT=2520.17
QueenAttacking/ QueenAttacking-xcsp2-s1/ QueenAttacking-11_X2.xml		? (TO) TT=2520.05	? TT=2520.02	? (TO) TT=2519.79	? (TO) TT=19996.1	? (TO) TT=19984.699	? (TO) TT=2520.04	? (TO) TT=2520.04	? (TO) TT=2520.06	? (TO) TT=2520.03	? (TO) TT=2520.81	? (TO) TT=2519.83	? (TO) TT=2519.87	? (TO) TT=2519.99	No data	? (TO) TT=2520.02	No data	? (TO) TT=19977	? (TO) TT=19985	? (TO) TT=2400.04	? TT=2400.02	? (TO) TT=2400.13	? (TO) TT=2400.06	? (TO) TT=2401.58	? (TO) TT=2400.03	? (TO) TT=2400.07	? (TO) TT=2400.04	No data	? (TO) TT=2400.09	No data	? (TO) TT=2416	? TT=1152.51
QueensKnights/ QueensKnights-m1-s1/ QueensKnights-008-05-mul.xml	UNSAT TT=0.127	UNSAT TT=1.428	UNSAT TT=0.134	UNSAT TT=0.132	UNSAT TT=7.07	UNSAT TT=6.361	UNSAT TT=2.038	UNSAT TT=2.032	UNSAT TT=3.308	UNSAT TT=3.351	UNSAT TT=9.395	UNSAT TT=0.127	UNSAT TT=0.112	UNSAT TT=4.226	No data	UNSAT TT=1.792	No data	UNSAT TT=7.03	UNSAT TT=7.279	UNSAT TT=1.607	UNSAT TT=0.19	UNSAT TT=4.396	UNSAT TT=4.555	UNSAT TT=12.11	UNSAT TT=0.171	UNSAT TT=0.166	UNSAT TT=5.006	No data	UNSAT TT=1.886	No data	UNSAT TT=49.812	UNSAT TT=48.804
QueensKnights/ QueensKnights-m1-s1/ QueensKnights-012-05-mul.xml	UNSAT TT=0.273	UNSAT TT=1.926	UNSAT TT=0.547	UNSAT TT=0.547	UNSAT TT=10.537	UNSAT TT=8.805	UNSAT TT=2.983	UNSAT TT=2.646	UNSAT TT=4.208	UNSAT TT=4.707	UNSAT TT=19.384	UNSAT TT=0.273	UNSAT TT=0.246	UNSAT TT=29.759	No data	UNSAT TT=2.811	No data	UNSAT TT=43.386	UNSAT TT=43.95	UNSAT TT=2.417	UNSAT TT=0.598	UNSAT TT=12.596	UNSAT TT=11.454	UNSAT TT=22.573	UNSAT TT=0.337	UNSAT TT=0.305	UNSAT TT=31.93	No data	UNSAT TT=3.1	No data	UNSAT TT=627.343	UNSAT TT=641.983
QueensKnights/ QueensKnights-m1-s1/ QueensKnights-015-05-mul.xml	UNSAT TT=0.424	UNSAT TT=2.384	UNSAT TT=1.077	UNSAT TT=1.08	UNSAT TT=17.786	UNSAT TT=20.358	UNSAT TT=3.919	UNSAT TT=3.972	UNSAT TT=9.012	UNSAT TT=9.55	UNSAT TT=275.119	UNSAT TT=0.424	UNSAT TT=0.387	UNSAT TT=78.638	No data	UNSAT TT=3.906	No data	UNSAT TT=114.536	UNSAT TT=116.115	UNSAT TT=2.587	UNSAT TT=1.133	UNSAT TT=21.355	UNSAT TT=22.028	UNSAT TT=285.689	UNSAT TT=0.478	UNSAT TT=0.444	UNSAT TT=80.093	No data	UNSAT TT=4.364	No data	? (TO) TT=2400.19	? (TO) TT=2520.12
QueensKnights/ QueensKnights-m1-s1/ QueensKnights-020-05-add.xml	UNSAT TT=0.602	UNSAT TT=3.074	UNSAT TT=1.603	UNSAT TT=1.601	UNSAT TT=23.047	UNSAT TT=22.732	UNSAT TT=6.099	UNSAT TT=6.016	UNSAT TT=4.435	UNSAT TT=4.375	? (TO) TT=2520.52	UNSAT TT=0.602	UNSAT TT=0.585	UNSAT TT=50.518	No data	UNSAT TT=4.165	No data	UNSAT TT=84.903	UNSAT TT=86.246	UNSAT TT=3.366	UNSAT TT=1.645	UNSAT TT=14.407	UNSAT TT=16.886	? (TO) TT=2401.18	UNSAT TT=0.653	UNSAT TT=0.635	UNSAT TT=67.976	No data	UNSAT TT=4.309	No data	? (TO) TT=2400.13	? (TO) TT=2520.19
QueensKnights/ QueensKnights-m1-s1/ QueensKnights-020-05-mul.xml	UNSAT TT=0.947	UNSAT TT=3.453	UNSAT TT=5.754	UNSAT TT=5.711	UNSAT TT=348.187	UNSAT TT=364.971	UNSAT TT=100.658	UNSAT TT=94.942	UNSAT TT=45.67	UNSAT TT=45.853	? (TO) TT=2520.64	UNSAT TT=0.947	UNSAT TT=0.932	UNSAT TT=219.021	No data	UNSAT TT=6.323	No data	UNSAT TT=530.135	UNSAT TT=524.274	UNSAT TT=3.858	UNSAT TT=5.94	UNSAT TT=75.103	UNSAT TT=75.207	? (TO) TT=2401.6	UNSAT TT=1.005	UNSAT TT=0.979	UNSAT TT=296.395	No data	UNSAT TT=7.756	No data	? (TO) TT=2400.22	? (TO) TT=2520.15
QueensKnights/ QueensKnights-m1-s1/ QueensKnights-080-05-mul.xml	UNSAT TT=243.529	UNSAT TT=252.608	? (TO) TT=2519.82	? (TO) TT=2519.77	? (TO) TT=18456.699	? TT=2560.85	? TT=308.478	? TT=294.035	? (TO) TT=2520.08	? TT=288.554	? (TO) TT=2527.75	UNSAT TT=686.235	UNSAT TT=687.51	? (TO) TT=2520.07	No data	? TT=504.446	No data	? TT=3441.4	? TT=10485.9	UNSAT TT=243.529	? (TO) TT=2400.02	? TT=411.408	? TT=429.702	? (TO) TT=2416.53	UNSAT TT=684.466	UNSAT TT=704.185	? (TO) TT=2400.06	No data	? TT=912.271	No data	? (TO) TT=2416.62	? TT=1425.26
Queens/ Queens-m1-s1/ Queens-0015-m1.xml	SAT TT=0.065	SAT TT=1.197	SAT TT=0.064	SAT TT=0.065	SAT TT=2.859	SAT TT=4.01	SAT TT=1.235	SAT TT=1.238	SAT TT=1.571	SAT TT=1.538	SAT TT=8.45	SAT TT=0.118	SAT TT=0.118	SAT TT=0.2	No data	SAT TT=1.414	No data	SAT TT=4236.01	SAT TT=18.599	SAT TT=1.404	SAT TT=0.082	SAT TT=3.466	SAT TT=3.729	SAT TT=10.057	SAT TT=0.166	SAT TT=0.146	SAT TT=0.228	No data	SAT TT=1.538	No data	SAT TT=1.591	SAT TT=1.379
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	BTD 2017-07-25 (complete)	BTD 2017-08-10 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: BTD 2017-06-30 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
Queens/ Queens-m1-s1/ Queens-0050-m1.xml	SAT TT=1.058	SAT TT=2.692	SAT TT=1.058	SAT TT=1.058	SAT TT=32.568	SAT TT=25.737	SAT TT=6.104	SAT TT=6.103	SAT TT=19.532	SAT TT=19.785	SAT TT=15.784	SAT TT=1.445	SAT TT=1.518	SAT TT=2.458	No data	? (TO) TT=2520.04	No data	? (TO) TT=19974.199	? (TO) TT=20008.301	SAT TT=3.06	SAT TT=1.1	SAT TT=39.855	SAT TT=37.79	SAT TT=19.768	SAT TT=1.495	SAT TT=1.574	SAT TT=2.679	No data	? (TO) TT=2400.09	No data	SAT TT=18.811	SAT TT=14.828
Queens/ Queens-m1-s1/ Queens-0100-m1.xml	SAT TT=4.91	SAT TT=4.91	SAT TT=5.663	SAT TT=5.67	SAT TT=170.166	SAT TT=186.218	SAT TT=17.798	SAT TT=17.671	SAT TT=140.851	SAT TT=142.087	SAT TT=28.891	SAT TT=6.717	SAT TT=9.772	SAT TT=13.126	No data	? (TO) TT=2520.05	No data	? (TO) TT=20042.9	? (TO) TT=20041.1	SAT TT=6.092	SAT TT=5.79	SAT TT=321.103	SAT TT=321.39	SAT TT=37.613	SAT TT=7.04	SAT TT=10.046	SAT TT=12.98	No data	? (TO) TT=2400.11	No data	SAT TT=307.832	SAT TT=238.565
Queens/ Queens-m1-s1/ Queens-0120-m1.xml	SAT TT=6.197	SAT TT=6.197	SAT TT=16.329	SAT TT=16.417	SAT TT=323.051	SAT TT=330.523	SAT TT=34.89	SAT TT=34.493	SAT TT=162.394	SAT TT=157.662	SAT TT=32.384	SAT TT=14.793	SAT TT=9.825	SAT TT=22.588	No data	? (TO) TT=2520.03	No data	? (TO) TT=20052.1	? (TO) TT=20053.6	SAT TT=8.425	SAT TT=16.541	SAT TT=549.03	SAT TT=541.696	SAT TT=40.742	SAT TT=14.713	SAT TT=9.874	SAT TT=21.217	No data	? (TO) TT=2400.1	No data	? (TO) TT=2415.91	? TT=1232.51
Queens/ Queens-m1-s1/ Queens-0150-m1.xml	SAT TT=8.274	SAT TT=8.274	SAT TT=50.93	SAT TT=50.978	SAT TT=845.537	SAT TT=873.088	SAT TT=71.843	SAT TT=70.037	SAT TT=215.846	SAT TT=224.015	SAT TT=37.065	SAT TT=15.924	SAT TT=15.698	SAT TT=25.951	No data	? (TO) TT=2520.06	No data	? (TO) TT=20043.699	? (TO) TT=20037.699	SAT TT=11.247	SAT TT=50.496	SAT TT=1276.54	SAT TT=1381.25	SAT TT=47.562	SAT TT=17.086	SAT TT=17.218	SAT TT=27.477	No data	? (TO) TT=2400.05	No data	? (TO) TT=2416.49	? TT=1476.71
Queens/ Queens-m1-s1/ Queens-0200-m1.xml	SAT TT=12.762	SAT TT=12.762	SAT TT=149.088	SAT TT=150.032	SAT TT=2276.24	SAT TT=2314.1	SAT TT=976.141	SAT TT=962.829	SAT TT=555.046	SAT TT=563.521	SAT TT=54.173	SAT TT=29.14	SAT TT=29.897	SAT TT=89.419	No data	? (TO) TT=2520.04	No data	? (TO) TT=19984	? (TO) TT=19978.301	SAT TT=16.343	SAT TT=149.48	? (TO) TT=2400.82	? (TO) TT=2400.65	SAT TT=68.051	SAT TT=29.228	SAT TT=29.581	SAT TT=87.426	No data	? (TO) TT=2400.09	No data	? (TO) TT=2416.15	? TT=1453.58
Rack/Rack-m1c-s1/ Rack-m1c-r1.xml	OPT f=550 TT=0.008 T1=0.06	OPT f=550 TT=1.249 T1=0.74	No data	No data	OPT f=550 TT=1.578 T1=0.64	OPT f=550 TT=1.565 T1=0.62	OPT f=550 TT=1.01 T1=0.5	OPT f=550 TT=1.017 T1=0.62	OPT f=550 TT=1.327 T1=0.55	OPT f=550 TT=1.289 T1=0.54	OPT f=550 TT=7.172 T1=3.75	OPT f=550 TT=0.008 T1=0.06	OPT f=550 TT=0.01 T1=0.09	OPT f=550 TT=0.012 T1=0.06	SAT (TO) f=550 TT=2520.03 T1=1.45	OPT f=550 TT=1.342 T1=0.76	OPT f=550 TT=1.368 T1=0.9	OPT f=550 TT=6.017 T1=1.65	OPT f=550 TT=5.858 T1=4.34	OPT f=550 TT=1.246 T1=0.69	No data	OPT f=550 TT=1.28 T1=0.7	OPT f=550 TT=1.318 T1=0.72	OPT f=550 TT=7.281 T1=4.33	OPT f=550 TT=0.009 T1=0.09	OPT f=550 TT=0.01 T1=0.07	OPT f=550 TT=0.012 T1=0.1	SAT (TO) f=550 TT=2400.06 T1=1.43	OPT f=550 TT=1.359 T1=0.92	OPT f=550 TT=1.357 T1=1.56	OPT f=550 TT=1.395 T1=0.67	OPT f=550 TT=1.39 T1=0.69
Rack/Rack-m1c-s1/ Rack-m1c-r2.xml	OPT f=1100 TT=5.608 T1=0.1	OPT f=1100 TT=20.181 T1=0.8	No data	No data	OPT f=1100 TT=43.787 T1=0.79	OPT f=1100 TT=43.772 T1=0.83	OPT f=1100 TT=25.673 T1=0.61	OPT f=1100 TT=25.557 T1=0.73	OPT f=1100 TT=507.024 T1=1.38	OPT f=1100 TT=504.922 T1=1.43	OPT f=1100 TT=353.721 T1=3.94	OPT f=1100 TT=208.559 T1=208.54	OPT f=1100 TT=186.443 T1=186.53	OPT f=1100 TT=69.288 T1=0.11	SAT (TO) f=1100 TT=2520.11 T1=21.12	OPT f=1100 TT=5.608 T1=0.84	OPT f=1100 TT=1972.9 T1=1.22	OPT f=1100 TT=12.073 T1=1.98	OPT f=1100 TT=14.577 T1=6.23	OPT f=1100 TT=20.002 T1=0.77	No data	OPT f=1100 TT=22.068 T1=0.92	OPT f=1100 TT=23.339 T1=0.96	OPT f=1100 TT=359.329 T1=3.94	OPT f=1100 TT=207.778 T1=0.06	OPT f=1100 TT=184.871 T1=0.09	OPT f=1100 TT=70.623 T1=0.1	SAT (TO) f=1100 TT=2400.05 T1=20.19	OPT f=1100 TT=5.733 T1=1.15	OPT f=1100 TT=1893.16 T1=0.98	OPT f=1100 TT=266.861 T1=1.65	OPT f=1100 TT=246.984 T1=1.46
Rack/Rack-m1c-s1/ Rack-m1c-r3.xml	OPT f=1200 TT=2559.09 T1=1.94	SAT (TO) f=1200 TT=2520.12 T1=0.82	No data	No data	OPT f=1200 TT=16933.1 T1=0.71	SAT (TO) f=1200 TT=19881.4 T1=0.73	SAT (TO) f=1200 TT=2520.08 T1=1.15	SAT (TO) f=1200 TT=2520.13 T1=1.36	SAT (TO) f=1200 TT=2520.08 T1=1.48	SAT (TO) f=1200 TT=2520.05 T1=1.5	SAT (TO) f=1200 TT=2520.04 T1=4.14	SAT (TO) f=1200 TT=2520.04 T1=2519.8	SAT (TO) f=1200 TT=2520.03 T1=2519.9	SAT (TO) f=1200 TT=2520.04 T1=0.06	SAT (TO) f=1200 TT=2520.09 T1=9.34	SAT (TO) f=1200 TT=2520.03 T1=2.22	SAT (TO) f=1200 TT=2520.12 T1=9.08	OPT f=1200 TT=2559.09 T1=1.94	OPT f=1200 TT=3257.77 T1=5.37	SAT (TO) f=1200 TT=2400.08 T1=0.79	No data	SAT (TO) f=1200 TT=2400.31 T1=1.12	SAT (TO) f=1200 TT=2400.15 T1=1.2	SAT (TO) f=1200 TT=2400.07 T1=4.5	? (TO) TT=2400.04	? (TO) TT=2400.02	SAT (TO) f=1200 TT=2400.03 T1=0.1	SAT (TO) f=1200 TT=2400.07 T1=4.78	SAT (TO) f=1200 TT=2400.03 T1=2.34	SAT (TO) f=1200 TT=2400.12 T1=2.11	SAT (TO) f=1200 TT=2400.22 T1=4.58	SAT (TO) f=1200 TT=2520.28 T1=3.82
Rack/Rack-m1c-s1/ Rack-m1c-r4.xml	OPT f=1150 TT=432.346 T1=0.77	SAT (TO) f=1150 TT=2520.05 T1=0.81	No data	No data	OPT f=1150 TT=4032.57 T1=0.81	OPT f=1150 TT=4880.15 T1=0.77	SAT (TO) f=1150 TT=2520.09 T1=0.59	SAT (TO) f=1150 TT=2520.12 T1=0.73	SAT (TO) f=1150 TT=2520.1 T1=1.18	SAT (TO) f=1150 TT=2520.11 T1=1.33	SAT (TO) f=1150 TT=2520.09 T1=4.46	Signal TT=0.004	Signal TT=0.005	Signal TT=0.005	SAT (TO) f=1150 TT=2520.09 T1=30.23	OPT f=1150 TT=435.096 T1=1.51	SAT (TO) f=1150 TT=2520.07 T1=2.4	OPT f=1150 TT=450.837 T1=2.04	OPT f=1150 TT=502.613 T1=5.34	SAT (TO) f=1150 TT=2400.05 T1=0.77	No data	SAT (TO) f=1150 TT=2400.01 T1=1.03	SAT (TO) f=1150 TT=2400.08 T1=0.97	SAT (TO) f=1150 TT=2400.11 T1=4.44	Signal TT=0.005	Signal TT=0.006	Signal TT=0.005	SAT (TO) f=1150 TT=2400.11 T1=19.9	OPT f=1150 TT=432.346 T1=1.53	SAT (TO) f=1150 TT=2400.11 T1=1.53	SAT (TO) f=1150 TT=2400.28 T1=2.75	SAT (TO) f=1150 TT=2520.39 T1=2.97
RadarSurveillance/ RadarSurveillance-m1-s8-24/ RadarSurveillance-8-24-3-2-14.xml	UNSAT TT=0.078	UNSAT TT=1.525	UNSAT TT=14.053	UNSAT TT=14.148	UNSAT TT=86.164	UNSAT TT=83.703	UNSAT TT=10.245	UNSAT TT=10.372	UNSAT TT=10.307	UNSAT TT=9.987	UNSAT TT=10.829	UNSAT TT=0.078	UNSAT TT=0.077	UNSAT TT=0.134	No data	UNSAT TT=2.977	No data	UNSAT TT=3.202	UNSAT TT=3.124	UNSAT TT=1.85	UNSAT TT=14.272	UNSAT TT=99.197	UNSAT TT=100.398	UNSAT TT=13.964	UNSAT TT=0.115	UNSAT TT=0.119	UNSAT TT=0.175	No data	UNSAT TT=3.218	No data	UNSAT TT=1.155	UNSAT TT=1.008
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	BTD 2017-07-25 (complete)	BTD 2017-08-10 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: BTD 2017-06-30 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
RadarSurveillance/ RadarSurveillance-m1-s8-24/ RadarSurveillance-8-24-3-2-20.xml	UNSAT TT=0.128	UNSAT TT=1.531	UNSAT TT=3.237	UNSAT TT=3.248	UNSAT TT=81.682	UNSAT TT=80.141	UNSAT TT=9.952	UNSAT TT=9.833	UNSAT TT=9.74	UNSAT TT=9.877	UNSAT TT=11.309	UNSAT TT=0.13	UNSAT TT=0.096	UNSAT TT=0.128	No data	UNSAT TT=2.767	No data	UNSAT TT=3.136	UNSAT TT=2.762	UNSAT TT=1.959	UNSAT TT=3.302	UNSAT TT=97.736	UNSAT TT=97.424	UNSAT TT=13.699	UNSAT TT=0.147	UNSAT TT=0.146	UNSAT TT=0.175	No data	UNSAT TT=3.181	No data	UNSAT TT=1.526	UNSAT TT=1.051
RadarSurveillance/ RadarSurveillance-m1-s8-24/ RadarSurveillance-8-24-3-2-26.xml	SAT TT=0.128	SAT TT=27.013	SAT TT=294.649	SAT TT=295.216	SAT TT=92.916	SAT TT=89.825	SAT TT=9.679	SAT TT=9.376	SAT TT=9.413	SAT TT=9.186	SAT TT=11.293	SAT TT=1.478	SAT TT=0.195	SAT TT=0.128	No data	SAT TT=3.188	No data	SAT (TO) TT=6904.07	SAT TT=12.476	SAT TT=24.945	Wrong Cert. TT=294.372	SAT TT=92.422	SAT TT=97.689	SAT TT=14.152	SAT TT=1.496	SAT TT=0.248	SAT TT=0.17	No data	SAT TT=3.548	No data	SAT TT=1.946	SAT TT=1.41
RadarSurveillance/ RadarSurveillance-m1-s8-30/ RadarSurveillance-8-30-3-0-02.xml	SAT TT=0.095	SAT TT=1.801	SAT TT=0.106	SAT TT=0.108	SAT TT=86.77	SAT TT=84.873	SAT TT=9.716	SAT TT=9.755	SAT TT=9.737	SAT TT=9.922	SAT TT=12.038	SAT TT=0.095	SAT TT=0.154	SAT TT=0.127	No data	SAT TT=4.396	No data	SAT (TO) TT=4664.74	SAT TT=18.931	SAT TT=2.097	SAT TT=0.163	SAT TT=98.624	SAT TT=93.427	SAT TT=14.745	SAT TT=0.143	SAT TT=0.209	SAT TT=0.179	No data	SAT TT=5.067	No data	SAT TT=2.085	SAT TT=1.691
RadarSurveillance/ RadarSurveillance-m1-s8-30/ RadarSurveillance-8-30-3-0-10.xml	SAT TT=0.126	SAT TT=1.756	SAT TT=0.125	SAT TT=0.126	SAT TT=78.165	SAT TT=88.214	SAT TT=9.75	SAT TT=9.817	SAT TT=9.922	SAT TT=10.009	SAT TT=12.631	SAT TT=0.371	SAT TT=0.168	SAT TT=0.131	No data	SAT TT=4.472	No data	SAT (TO) TT=4594.36	SAT TT=22.781	SAT TT=2.184	SAT TT=0.182	SAT TT=81.712	SAT TT=85.367	SAT TT=15.605	SAT TT=0.38	SAT TT=0.191	SAT TT=0.146	No data	SAT TT=5.956	No data	SAT TT=1.885	SAT TT=1.647
RadarSurveillance/ RadarSurveillance-m1-s8-30/ RadarSurveillance-8-30-3-0-28.xml	SAT TT=0.127	SAT TT=1.805	SAT TT=0.266	SAT TT=0.268	SAT TT=55.386	SAT TT=56.537	SAT TT=7.432	SAT TT=7.535	SAT TT=7.61	SAT TT=7.632	SAT TT=11.974	SAT TT=0.186	SAT TT=0.222	SAT TT=0.127	No data	SAT TT=3.585	No data	SAT (TO) TT=4556.24	SAT TT=14.274	SAT TT=2.124	SAT TT=0.322	SAT TT=68.023	SAT TT=68.508	SAT TT=15.121	SAT TT=0.239	SAT TT=0.278	SAT TT=0.159	No data	SAT TT=4.117	No data	SAT TT=2.058	SAT TT=1.617
Ramsey/ Ramsey-int-s1/ Ramsey-int-09.xml	OPT f=2 TT=0.102 T1=0.16	OPT f=2 TT=1.424 T1=0.8	No data	No data	OPT f=2 TT=49.741 T1=17.18	OPT f=2 TT=49.733 T1=17.19	OPT f=2 TT=3.427 T1=2.3	OPT f=2 TT=3.501 T1=2.31	OPT f=2 TT=3.662 T1=2.2	OPT f=2 TT=3.691 T1=2.21	OPT f=2 TT=28.095 T1=4.48	OPT f=2 TT=0.102 T1=0.18	OPT f=2 TT=0.104 T1=0.16	OPT f=2 TT=0.201 T1=0.26	SAT (TO) f=2 TT=2520.09 T1=5.34	OPT f=2 TT=7.428 T1=4.23	OPT f=2 TT=7.364 T1=4.64	OPT f=2 TT=75.149 T1=15.55	OPT f=2 TT=69.881 T1=69.03	OPT f=2 TT=1.391 T1=0.77	No data	OPT f=2 TT=16.982 T1=9.1	OPT f=2 TT=17.286 T1=9.14	OPT f=2 TT=29.081 T1=4.77	OPT f=2 TT=0.1 T1=0.19	OPT f=2 TT=0.104 T1=0.2	OPT f=2 TT=0.19 T1=0.23	SAT (TO) f=2 TT=2400.03 T1=5.37	OPT f=2 TT=7.333 T1=4.25	OPT f=2 TT=7.329 T1=4.25	OPT f=2 TT=3.198 T1=1.53	OPT f=2 TT=3.212 T1=1.51
Ramsey/ Ramsey-int-s1/ Ramsey-int-10.xml	OPT f=2 TT=0.157 T1=0.23	OPT f=2 TT=1.575 T1=0.85	No data	No data	OPT f=2 TT=200.057 T1=64.22	OPT f=2 TT=220.892 T1=67.84	OPT f=2 TT=10.427 T1=7.11	OPT f=2 TT=10.629 T1=7.08	OPT f=2 TT=11.004 T1=6.97	OPT f=2 TT=10.834 T1=6.94	OPT f=2 TT=133.674 T1=5.37	OPT f=2 TT=0.157 T1=0.23	OPT f=2 TT=0.168 T1=0.23	OPT f=2 TT=0.284 T1=0.34	SAT (TO) f=2 TT=2520.13 T1=13.68	OPT f=2 TT=19.625 T1=10.67	OPT f=2 TT=19.652 T1=10.88	OPT f=2 TT=214.848 T1=44.43	OPT f=2 TT=232.08 T1=231.08	OPT f=2 TT=1.556 T1=0.83	No data	OPT f=2 TT=45.101 T1=26.69	OPT f=2 TT=45.216 T1=27.07	OPT f=2 TT=131.298 T1=4.85	OPT f=2 TT=0.142 T1=0.19	OPT f=2 TT=0.151 T1=0.2	OPT f=2 TT=0.276 T1=0.33	SAT (TO) f=2 TT=2400.1 T1=13.98	OPT f=2 TT=19.785 T1=10.55	OPT f=2 TT=19.084 T1=10.21	OPT f=2 TT=5.176 T1=2.51	OPT f=2 TT=4.909 T1=2.47
Ramsey/ Ramsey-int-s1/ Ramsey-int-11.xml	OPT f=2 TT=0.196 T1=0.29	OPT f=2 TT=1.776 T1=0.9	No data	No data	OPT f=2 TT=702.018 T1=213.12	OPT f=2 TT=729.48 T1=219.64	OPT f=2 TT=31.339 T1=21.48	OPT f=2 TT=31.524 T1=21.46	OPT f=2 TT=33.192 T1=21.62	OPT f=2 TT=33.366 T1=21.71	OPT f=2 TT=833.767 T1=5.35	OPT f=2 TT=0.196 T1=0.29	OPT f=2 TT=0.213 T1=0.29	OPT f=2 TT=0.47 T1=0.41	SAT (TO) f=2 TT=2520.11 T1=34.2	OPT f=2 TT=50.109 T1=26.86	OPT f=2 TT=52.112 T1=27.28	? TT=1841.63	OPT f=2 TT=742.155 T1=740.39	OPT f=2 TT=1.806 T1=0.86	No data	OPT f=2 TT=135.565 T1=84.63	OPT f=2 TT=141.189 T1=87.53	OPT f=2 TT=849.399 T1=5.32	OPT f=2 TT=0.197 T1=0.27	OPT f=2 TT=0.21 T1=0.26	OPT f=2 TT=0.455 T1=0.44	SAT (TO) f=2 TT=2400.09 T1=34.16	OPT f=2 TT=53.462 T1=27.85	OPT f=2 TT=50.352 T1=26.87	OPT f=2 TT=10.793 T1=7.3	OPT f=2 TT=10.834 T1=7.35
Ramsey/ Ramsey-int-s1/ Ramsey-int-14.xml	OPT f=2 TT=0.441 T1=0.51	OPT f=2 TT=3.526 T1=1.98	No data	No data	? TT=3518.42	? TT=1078.73	? (TO) TT=2528.01	? (TO) TT=2528.28	? TT=1135.32	? TT=355.301	SAT (TO) f=3 TT=2520.15 T1=6.83	OPT f=2 TT=0.441 T1=0.51	OPT f=2 TT=3.286 T1=3.3	OPT f=2 TT=105.634 T1=105.58	? TT=1121.95	? TT=1912.99	? TT=416.739	? TT=745.224	? TT=5619.65	OPT f=2 TT=3.504 T1=2	No data	? TT=464.756	? TT=332.416	SAT (TO) f=3 TT=2400.05 T1=6.49	OPT f=2 TT=0.446 T1=0.51	OPT f=2 TT=3.282 T1=3.33	OPT f=2 TT=103.231 T1=103.15	? TT=1369.88	? (TO) TT=2408.22	? TT=368.22	OPT f=2 TT=85.85 T1=71.18	OPT f=2 TT=85.298 T1=70.04
Ramsey/ Ramsey-int-s1/ Ramsey-int-15.xml	OPT f=2 TT=5.239 T1=5.31	OPT f=2 TT=58.346 T1=56.09	No data	No data	? (TO) TT=17358.6	? TT=864.778	? TT=346.084	? TT=336.564	? TT=359.713	? TT=301.161	SAT (TO) f=3 TT=2520.08 T1=7.16	OPT f=2 TT=5.239 T1=5.31	OPT f=2 TT=27.158 T1=27.25	SAT (TO) f=3 TT=2520 T1=1.89	SAT (TO) f=3 TT=2520.05 T1=54.36	SAT (TO) f=3 TT=2520.14 T1=2.5	SAT (TO) f=3 TT=2520.07 T1=2.54	SAT (TO) f=3 TT=7625.08 T1=3.83	OPT f=2 TT=4342.84 T1=4341.69	OPT f=2 TT=58.119 T1=56	No data	? TT=262.105	? TT=1122.33	SAT (TO) f=3 TT=2400.05 T1=7.24	OPT f=2 TT=5.214 T1=5.25	OPT f=2 TT=27.382 T1=27.43	SAT (TO) f=3 TT=2400.05 T1=1.83	SAT (TO) f=3 TT=2400.08 T1=76.51	SAT (TO) f=3 TT=2400.04 T1=2.45	SAT (TO) f=3 TT=2400.11 T1=2.5	OPT f=2 TT=161.971 T1=135.09	OPT f=2 TT=159.769 T1=132.68
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	BTD 2017-07-25 (complete)	BTD 2017-08-10 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: BTD 2017-06-30 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
Ramsey/ Ramsey-int-s1/ Ramsey-int-18.xml	SAT TO f=3 TT=2400.07 T1=0.99	SAT (TO) f=3 TT=2520.06 T1=1.34	No data	No data	SAT (TO) f=3 TT=20071.199 T1=3.87	SAT (TO) f=3 TT=20079.1 T1=4.18	SAT (TO) f=136 TT=2520.09 T1=391.71	SAT (TO) f=136 TT=2520.04 T1=392.62	SAT (TO) f=3 TT=2520.16 T1=23.96	SAT (TO) f=3 TT=2520.04 T1=23.47	SAT (TO) f=3 TT=2520.13 T1=11.4	SAT (TO) f=3 TT=2520.04 T1=0.99	SAT (TO) f=3 TT=2520.03 T1=1.27	SAT (TO) f=3 TT=2520.06 T1=4.58	SAT (TO) f=3 TT=2520.1 T1=181.34	SAT (TO) f=3 TT=2520.07 T1=5.79	SAT (TO) f=3 TT=2520.04 T1=5.72	SAT (TO) f=3 TT=7664.53 T1=8.04	SAT (TO) f=3 TT=7674.49 T1=51.35	SAT (TO) f=3 TT=2400.07 T1=1.3	No data	SAT (TO) f=3 TT=2400.36 T1=6.52	SAT (TO) f=3 TT=2400.07 T1=5.48	SAT (TO) f=3 TT=2400.16 T1=11.19	SAT (TO) f=3 TT=2400.09 T1=1.11	SAT (TO) f=3 TT=2400.07 T1=1.31	SAT (TO) f=3 TT=2400.09 T1=4.47	SAT (TO) f=3 TT=2400.09 T1=264.46	SAT (TO) f=3 TT=2400.11 T1=5.9	SAT (TO) f=3 TT=2400.11 T1=5.69	SAT (TO) f=3 TT=2400.36 T1=722.25	SAT (TO) f=3 TT=2520.37 T1=728.48
Ramsey/ Ramsey-int-s1/ Ramsey-int-21.xml	SAT TO f=3 TT=2400.01 T1=1.58	SAT (TO) f=3 TT=2520.02 T1=2	No data	No data	SAT (TO) f=3 TT=20069.1 T1=23.67	SAT (TO) f=3 TT=20062.5 T1=15.35	SAT (TO) f=209 TT=2520.05 T1=2440.57	SAT (TO) f=209 TT=2520.1 T1=2413.77	SAT (TO) f=3 TT=2520.1 T1=57.5	SAT (TO) f=3 TT=2520.07 T1=56.81	SAT (TO) f=4 TT=2520.11 T1=25.66	SAT (TO) f=3 TT=2520.1 T1=1.58	SAT (TO) f=3 TT=2520.1 T1=2.26	SAT (TO) f=3 TT=2519.18 T1=19.46	SAT (TO) f=3 TT=2520.08 T1=748.08	SAT (TO) f=3 TT=2520.03 T1=24.12	SAT (TO) f=3 TT=2520.09 T1=24.26	SAT (TO) f=3 TT=7730.67 T1=21.05	SAT (TO) f=3 TT=7718.45 T1=138.14	SAT (TO) f=3 TT=2400.05 T1=1.93	No data	SAT (TO) f=3 TT=2400.05 T1=16.94	SAT (TO) f=3 TT=2400.12 T1=29.88	SAT (TO) f=4 TT=2400.12 T1=25.28	No Cert. TT=2400.05	No Cert. TT=2400.08	SAT (TO) f=3 TT=2400.01 T1=19.36	SAT (TO) f=3 TT=2400.1 T1=134.54	SAT (TO) f=3 TT=2400.09 T1=24.05	SAT (TO) f=3 TT=2400.03 T1=23.62	? TT=1229.93	? TT=1173.36
Ramsey/ Ramsey-int-s1/ Ramsey-int-24.xml	SAT TO f=3 TT=2400.04 T1=2.47	SAT (TO) f=3 TT=2520.04 T1=2.67	No data	No data	SAT (TO) f=3 TT=20051.801 T1=225.61	SAT (TO) f=3 TT=20037.301 T1=186.14	? (TO) TT=2520.15	? (TO) TT=2520.13	SAT (TO) f=3 TT=2520.03 T1=303.26	SAT (TO) f=3 TT=2520.05 T1=300.8	SAT (TO) f=4 TT=2520.06 T1=59.17	SAT (TO) f=3 TT=2520.1 T1=2.47	SAT (TO) f=3 TT=2519.9 T1=3.89	SAT (TO) f=3 TT=2519.87 T1=113.97	SAT (TO) f=4 TT=2520.05 T1=358.65	SAT (TO) f=3 TT=2520.08 T1=61.56	SAT (TO) f=3 TT=2520.05 T1=60.25	SAT (TO) f=3 TT=7896.7 T1=54.17	SAT (TO) f=3 TT=7909.45 T1=409.88	SAT (TO) f=3 TT=2400.04 T1=2.69	No data	SAT (TO) f=4 TT=2400.18 T1=43.16	SAT (TO) f=4 TT=2400.14 T1=40.26	SAT (TO) f=4 TT=2400.14 T1=59.92	No Cert. TT=2400.06	No Cert. TT=2400.1	SAT (TO) f=3 TT=2400.09 T1=111.06	SAT (TO) f=4 TT=2400.08 T1=211.01	SAT (TO) f=3 TT=2400.1 T1=59.24	SAT (TO) f=3 TT=2400.09 T1=60.59	? TT=1340.16	? TT=1411.67
Ramsey/ Ramsey-int-s1/ Ramsey-int-27.xml	SAT TO f=3 TT=2400.03 T1=3.5	SAT (TO) f=3 TT=2520.06 T1=10.77	No data	No data	SAT (TO) f=3 TT=20015.6 T1=1581.32	SAT (TO) f=3 TT=20025.199 T1=958.59	? (TO) TT=2520.12	? (TO) TT=2520.1	SAT (TO) f=3 TT=2520.07 T1=626.31	SAT (TO) f=3 TT=2520.12 T1=634.09	SAT (TO) f=4 TT=2520.13 T1=127.5	SAT (TO) f=3 TT=2519.9 T1=3.5	SAT (TO) f=3 TT=2520.1 T1=6.62	SAT (TO) f=4 TT=2519.82 T1=52.88	SAT (TO) f=3 TT=2520.05 T1=1711.12	SAT (TO) f=3 TT=2520.06 T1=275.42	SAT (TO) f=4 TT=2520.03 T1=159.75	SAT (TO) f=3 TT=8338.8 T1=144.62	SAT (TO) f=3 TT=8347.49 T1=1166.66	SAT (TO) f=3 TT=2400.03 T1=10.96	No data	SAT (TO) f=4 TT=2400.01 T1=182.95	SAT (TO) f=4 TT=2400.28 T1=99.07	SAT (TO) f=4 TT=2400.05 T1=128.27	No Cert. TT=2400.03	No Cert. TT=2400.1	SAT (TO) f=4 TT=2400.02 T1=54.88	SAT (TO) f=4 TT=2400.06 T1=167.82	SAT (TO) f=3 TT=2400.15 T1=270.42	SAT (TO) f=4 TT=2400.04 T1=151.59	? (problem) TT=1548.37	? (problem) TT=1540.99
Ramsey/ Ramsey-int-s1/ Ramsey-int-34.xml	SAT TO f=4 TT=2400 T1=7.45	SAT (TO) f=4 TT=2520.04 T1=7.93	No data	No data	SAT (TO) f=4 TT=19434.6 T1=1077.02	SAT (TO) f=4 TT=19444.5 T1=681.25	? (TO) TT=2520.29	? (TO) TT=2520.58	? (TO) TT=2520.07	? (TO) TT=2520.29	SAT (TO) f=5 TT=2520.1 T1=587.03	SAT (TO) f=4 TT=2519.89 T1=7.45	SAT (TO) f=4 TT=2520.34 T1=19.72	SAT (TO) f=4 TT=2519.67 T1=134.14	SAT (TO) f=4 TT=2520.13 T1=299.77	SAT (TO) f=4 TT=2520.06 T1=843.35	SAT (TO) f=5 TT=2520.06 T1=678.51	SAT (TO) f=4 TT=14189.4 T1=1035.88	SAT (TO) f=4 TT=13845.6 T1=7520.73	SAT (TO) f=4 TT=2400.15 T1=7.65	No data	SAT (TO) f=5 TT=2400.37 T1=679.66	SAT (TO) f=5 TT=2400.38 T1=746.67	SAT (TO) f=5 TT=2400.11 T1=606.12	No Cert. TT=2400.1	No Cert. TT=2405.94	SAT (TO) f=4 TT=2400 T1=134.78	SAT (TO) f=4 TT=2400.07 T1=306.68	SAT (TO) f=4 TT=2400.07 T1=845.58	SAT (TO) f=5 TT=2400.08 T1=1405.77	? (problem) TT=1495.31	? TT=1505.46
Ramsey/ Ramsey-int-s1/ Ramsey-int-38.xml	SAT TO f=4 TT=2400.08 T1=10.77	SAT (TO) f=4 TT=2520.06 T1=12.75	No data	No data	SAT (TO) f=5 TT=15830.9 T1=1546.62	SAT (TO) f=5 TT=19875.1 T1=880.77	? (TO) TT=2520.43	? (TO) TT=2520.08	? (TO) TT=2520.49	? (TO) TT=2520.04	SAT (TO) f=5 TT=2520.16 T1=1197.58	SAT (TO) f=4 TT=2519.89 T1=10.77	? (MO) TT=36.271	SAT (TO) f=4 TT=2519.77 T1=1522.21	SAT (TO) f=6 TT=2520.09 T1=330.67	SAT (TO) f=6 TT=2520.1 T1=1426.27	SAT (TO) f=5 TT=2520.07 T1=868.77	SAT (TO) f=310 TT=19874.801 T1=2519.2	SAT (TO) f=4 TT=19754.199 T1=19590.939	SAT (TO) f=4 TT=2400.1 T1=12.81	No data	SAT (TO) f=30 TT=2400.05 T1=664.11	SAT (TO) f=33 TT=2400.3 T1=708.37	SAT (TO) f=5 TT=2400.14 T1=1239.66	No Cert. TT=2400.1	? (MO) TT=35.902	SAT (TO) f=4 TT=2400.08 T1=1516.71	SAT (TO) f=5 TT=2400.06 T1=1465.88	SAT (TO) f=6 TT=2400.12 T1=1481.1	SAT (TO) f=5 TT=2400.1 T1=591.3	? TT=864.913	? TT=844.267
Ramsey/ Ramsey-int-s1/ Ramsey-int-40.xml	SAT TO f=4 TT=2400.03 T1=12.74	SAT (TO) f=4 TT=2520.06 T1=16.66	No data	No data	SAT (TO) f=5 TT=16492 T1=1748.34	SAT (TO) f=5 TT=18732.6 T1=1169.21	? (TO) TT=2520.42	? (TO) TT=2520.78	? (TO) TT=2520.1	? (TO) TT=2520.13	SAT (TO) f=5 TT=2520.07 T1=1764.47	SAT (TO) f=4 TT=2520.05 T1=12.74	? (MO) TT=40.788	SAT (TO) f=4 TT=2520.02 T1=242.23	SAT (TO) f=5 TT=2520.08 T1=575.14	SAT (TO) f=6 TT=2520.14 T1=2036.46	SAT (TO) f=6 TT=2520.08 T1=917.29	SAT (TO) f=585 TT=19874.6 T1=2516.37	SAT (TO) f=593 TT=19879.801 T1=19839.09	SAT (TO) f=4 TT=2400.04 T1=16.62	No data	SAT (TO) f=47 TT=2400.26 T1=567.31	SAT (TO) f=47 TT=2400.34 T1=575.11	SAT (TO) f=5 TT=2400.17 T1=1666.89	No Cert. TT=2400.04	? (MO) TT=39.802	SAT (TO) f=4 TT=2400.03 T1=244.73	SAT (TO) f=5 TT=2400.13 T1=493.48	SAT (TO) f=6 TT=2400.12 T1=2012.12	SAT (TO) f=6 TT=2400.15 T1=1893.81	? TT=1299.96	? TT=1323.87
Ramsey/ Ramsey-int-s1/ Ramsey-int-41.xml	SAT TO f=4 TT=2400.06 T1=13.55	SAT (TO) f=4 TT=2520.1 T1=20.05	No data	No data	SAT (TO) f=5 TT=18440.801 T1=1303.8	SAT (TO) f=5 TT=18400 T1=1734.59	? (TO) TT=2520.07	? (TO) TT=2520.35	? (TO) TT=2520.14	? (TO) TT=2520.08	SAT (TO) f=5 TT=2520.11 T1=2008.47	SAT (TO) f=4 TT=2520.03 T1=13.55	? (MO) TT=42.875	SAT (TO) f=4 TT=2520.09 T1=651	SAT (TO) f=5 TT=2520.08 T1=912.5	SAT (TO) f=242 TT=2520.13 T1=2443.26	SAT (TO) f=19 TT=2520.1 T1=1540.84	SAT (TO) f=711 TT=19828.6 T1=2519.62	SAT (TO) f=725 TT=19902.301 T1=19852.24	SAT (TO) f=4 TT=2400.08 T1=20.3	No data	SAT (TO) f=53 TT=2400.41 T1=593.41	SAT (TO) f=53 TT=2400.31 T1=596.09	SAT (TO) f=5 TT=2400.13 T1=2040.69	No Cert. TT=2400.01	? (MO) TT=41.151	SAT (TO) f=4 TT=2400.06 T1=647.52	SAT (TO) f=5 TT=2400.05 T1=524.75	SAT (TO) f=391 TT=2400.12 T1=2328.41	SAT (TO) f=13 TT=2400.08 T1=1886.13	? (problem) TT=1458.61	? TT=1400.07
Ramsey/ Ramsey-int-s1/ Ramsey-int-44.xml	SAT TO f=4 TT=2400.09 T1=17.28	SAT (TO) f=4 TT=2520.04 T1=48.18	No data	No data	SAT (TO) f=6 TT=20082.4 T1=1947.52	SAT (TO) f=6 TT=17845 T1=2232.39	? (TO) TT=2520.38	? (TO) TT=2520.15	? (TO) TT=2520.14	? (TO) TT=2520.13	SAT (TO) f=262 TT=2520.11 T1=2441.91	SAT (TO) f=4 TT=2519.98 T1=17.28	? (MO) TT=38.157	SAT (TO) f=5 TT=2519.93 T1=546.64	SAT (TO) f=6 TT=2520.1 T1=536.02	SAT (TO) f=723 TT=2520.06 T1=2439.48	SAT (TO) f=25 TT=2520.09 T1=1971.02	SAT (TO) f=913 TT=19798.699 T1=2487.76	SAT (TO) f=906 TT=19821.5 T1=19501.07	SAT (TO) f=4 TT=2400.09 T1=48.23	No data	SAT (TO) f=41 TT=2400 T1=514.81	SAT (TO) f=41 TT=2400.2 T1=506.1	SAT (TO) f=285 TT=2400.17 T1=2319.27	No Cert. TT=2400.06	? (MO) TT=38.465	SAT (TO) f=5 TT=2400.06 T1=519.89	SAT (TO) f=6 TT=2400.1 T1=420.83	SAT (TO) f=741 TT=2400.07 T1=2319.76	SAT (TO) f=13 TT=2400.14 T1=1588.52	? TT=1467.76	? TT=1467.25
Ramsey/ Ramsey-int-s1/ Ramsey-int-46.xml	SAT TO f=4 TT=2400.11 T1=20.51	SAT (TO) f=4 TT=2520.06 T1=58.88	No data	No data	SAT (TO) f=6 TT=16559.4 T1=2219.53	SAT (TO) f=9 TT=19618.199 T1=2492.39	? (TO) TT=2520.15	? (TO) TT=2520.72	? (TO) TT=2520.27	? (TO) TT=2520.65	SAT (TO) f=454 TT=2520.08 T1=2434.26	SAT (TO) f=4 TT=2519.77 T1=20.51	? (MO) TT=41.974	SAT (TO) f=5 TT=2519.96 T1=675.12	SAT (TO) f=7 TT=2520.09 T1=1757.73	SAT (TO) f=876 TT=2520.09 T1=2436.91	SAT (TO) f=40 TT=2520.13 T1=1482.77	SAT (TO) f=1014 TT=19809.199 T1=2489.83	SAT (TO) f=1009 TT=19800.9 T1=19450.971	SAT (TO) f=4 TT=2400.11 T1=59.15	No data	SAT (TO) f=66 TT=2400.19 T1=377.79	SAT (TO) f=66 TT=2400.14 T1=368.25	SAT (TO) f=469 TT=2400.56 T1=2313.86	No Cert. TT=2400.03	? (MO) TT=42.554	SAT (TO) f=5 TT=2400.1 T1=678.04	SAT (TO) f=9 TT=2400.11 T1=2235.06	SAT (TO) f=889 TT=2400.12 T1=2316.96	SAT (TO) f=24 TT=2400.1 T1=1115.3	? TT=801.527	? TT=841.056
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	BTD 2017-07-25 (complete)	BTD 2017-08-10 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: BTD 2017-06-30 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
Ramsey/ Ramsey-int-s1/ Ramsey-int-47.xml	SAT TO f=4 TT=2400.06 T1=21.83	SAT (TO) f=4 TT=2520.13 T1=151.93	No data	No data	SAT (TO) f=8 TT=16087 T1=2415.6	SAT (TO) f=6 TT=18028.5 T1=2199.43	? (TO) TT=2520.77	? (TO) TT=2520.11	? (TO) TT=2520.11	? (TO) TT=2520.3	SAT (TO) f=565 TT=2520.14 T1=2436.32	SAT (TO) f=4 TT=2519.99 T1=21.83	? (MO) TT=43.238	SAT (TO) f=6 TT=2519.79 T1=327.54	SAT (TO) f=5 TT=2520.1 T1=2289.84	SAT (TO) f=946 TT=2520.12 T1=2427.28	SAT (TO) f=28 TT=2520.05 T1=691.15	SAT (TO) f=1064 TT=19786.199 T1=2426.43	SAT (TO) f=1061 TT=19781.4 T1=19373.311	SAT (TO) f=4 TT=2400.06 T1=148.32	No data	SAT (TO) f=78 TT=2400.21 T1=493.93	SAT (TO) f=78 TT=2400.03 T1=474.52	SAT (TO) f=585 TT=2400.3 T1=2313.11	No Cert. TT=2400.05	? (MO) TT=43.858	SAT (TO) f=6 TT=2400.03 T1=334.5	SAT (TO) f=10 TT=2400.07 T1=2095.3	SAT (TO) f=962 TT=2400.09 T1=2316.88	SAT (TO) f=22 TT=2400.13 T1=1780.99	? (problem) TT=1521.32	? TT=1519.85
Ramsey/ Ramsey-int-s1/ Ramsey-int-49.xml	SAT TO f=4 TT=2400.13 T1=25.46	SAT (TO) f=4 TT=2520.09 T1=281.88	No data	No data	SAT (TO) f=42 TT=14966.2 T1=961.77	SAT (TO) f=41 TT=15706.4 T1=2415.44	? (TO) TT=2520.56	? (TO) TT=2520.53	? (TO) TT=2520.69	? (TO) TT=2520.13	SAT (TO) f=731 TT=2520.13 T1=2433.44	SAT (TO) f=4 TT=2519.72 T1=25.46	? (MO) TT=47.71	SAT (TO) f=5 TT=2519.78 T1=1164.79	SAT (TO) f=42 TT=2520.05 T1=2367.13	SAT (TO) f=1081 TT=2520.12 T1=2435.32	SAT (TO) f=14 TT=2520.08 T1=1704.86	SAT (TO) f=1164 TT=19716.301 T1=2492.16	SAT (TO) f=1163 TT=19736.5 T1=18629.359	SAT (TO) f=4 TT=2400.13 T1=283.13	No data	SAT (TO) f=80 TT=2400.05 T1=627.54	SAT (TO) f=80 TT=2400.19 T1=624.59	SAT (TO) f=756 TT=2400.08 T1=2310.9	No Cert. TT=2400.02	? (MO) TT=47.117	SAT (TO) f=5 TT=2400.06 T1=1155.06	SAT (TO) f=12 TT=2400.06 T1=1711.76	SAT (TO) f=1086 TT=2400.09 T1=2325.95	SAT (TO) f=37 TT=2400.06 T1=1460.08	? TT=1482.41	? TT=1471.06
Random/Random-B-2-23-23/ rand-2-23-23-253-131-0.xml	UNSAT TT=53.171	UNSAT TT=241.301	UNSAT TT=53.182	UNSAT TT=53.171	UNSAT TT=1809	UNSAT TT=2261.86	UNSAT TT=339.211	UNSAT TT=338.894	UNSAT TT=1279.07	UNSAT TT=1280.62	UNSAT TT=113.34	UNSAT TT=67.618	UNSAT TT=53.253	? (TO) TT=2519.79	No data	UNSAT TT=725.037	No data	UNSAT TT=463.489	UNSAT TT=476.565	UNSAT TT=243.533	UNSAT TT=52.986	? (TO) TT=2400.07	? (TO) TT=2400.22	UNSAT TT=115.009	UNSAT TT=69.243	UNSAT TT=53.279	? (TO) TT=2400.02	No data	UNSAT TT=707.137	No data	? (TO) TT=2400.14	? (TO) TT=2520.1
Random/Random-B-2-23-23/ rand-2-23-23-253-131-1.xml	UNSAT TT=48.307	UNSAT TT=227.665	UNSAT TT=47.886	UNSAT TT=48.307	UNSAT TT=1938.07	UNSAT TT=2218.36	UNSAT TT=328.896	UNSAT TT=294.309	UNSAT TT=1121	UNSAT TT=1104.01	UNSAT TT=103.85	UNSAT TT=62.188	UNSAT TT=54.962	? (TO) TT=2519.98	No data	UNSAT TT=714.353	No data	UNSAT TT=461.556	UNSAT TT=448.124	UNSAT TT=242.941	UNSAT TT=48.3	? (TO) TT=2400.19	? (TO) TT=2400.73	UNSAT TT=109.26	UNSAT TT=61.738	UNSAT TT=54.336	? (TO) TT=2400.07	No data	UNSAT TT=712.007	No data	? (TO) TT=2400.14	? (TO) TT=2520.13
Random/Random-B-2-25-25/ rand-2-25-25-300-147-6.xml	SAT TT=29.161	SAT TT=347.138	SAT TT=238.647	SAT TT=239.202	SAT TT=104.189	SAT TT=104.543	SAT TT=460.676	SAT TT=448.554	SAT TT=333.627	SAT TT=330.388	SAT TT=98.359	SAT TT=75.343	SAT TT=60.721	SAT TT=1760.35	No data	SAT TT=29.161	No data	SAT TT=3544.83	SAT TT=47.36	SAT TT=371.252	SAT TT=236.788	SAT TT=335.364	SAT TT=321.124	SAT TT=101.808	SAT TT=74.665	SAT TT=60.705	SAT TT=573.331	No data	SAT TT=29.649	No data	? (TO) TT=2400.1	? (TO) TT=2520.07
Random/Random-B-2-26-26/ rand-2-26-26-325-155-2.xml	SAT TT=51.756	SAT TT=230.547	SAT TT=109.354	SAT TT=109.286	SAT TT=1435.11	SAT TT=1314.12	SAT TT=454.532	SAT TT=459.082	SAT TT=620.449	SAT TT=622.845	SAT TT=482.188	SAT TT=51.756	SAT TT=58.11	SAT TT=1868.63	No data	? TT=2518.37	No data	SAT TT=10515.9	SAT TT=5520.61	SAT TT=230.696	SAT TT=108.559	SAT TT=2157.36	SAT TT=2109.41	SAT TT=490.626	SAT TT=51.214	SAT TT=58.153	SAT TT=721.101	No data	? TT=2399.47	No data	? (TO) TT=2400.11	? (TO) TT=2520.13
Random/Random-D-t020/ rand-2-40-11-414-020-23.xml	SAT TT=1.035	SAT TT=12.623	SAT TT=3.112	SAT TT=3.114	SAT TT=27.854	SAT TT=28.289	SAT TT=8.928	SAT TT=9.2	SAT TT=11.483	SAT TT=11.709	SAT TT=14.392	SAT TT=1.035	SAT TT=0.23	SAT TT=56.913	No data	SAT TT=401.141	No data	SAT TT=726.105	SAT TT=376.186	SAT TT=13.608	SAT TT=3.135	SAT TT=36.196	SAT TT=34.95	SAT TT=18.719	SAT TT=1.063	SAT TT=0.277	SAT TT=62.638	No data	SAT TT=402.773	No data	SAT TT=9.116	SAT TT=8.747
Random/Random-D-t020/ rand-2-40-11-414-020-35.xml	SAT TT=7.705	SAT TT=11.501	SAT TT=7.663	SAT TT=7.705	SAT TT=133.606	SAT TT=128.505	SAT TT=17.044	SAT TT=17.081	SAT TT=68.408	SAT TT=70.917	SAT TT=49.654	SAT TT=12.425	SAT TT=3.899	SAT TT=39.987	No data	SAT TT=105.403	No data	SAT TT=250.151	SAT TT=250.981	SAT TT=11.91	SAT TT=7.687	SAT TT=225.454	SAT TT=220.581	SAT TT=51.176	SAT TT=12.323	SAT TT=3.907	SAT TT=80.975	No data	SAT TT=102.662	No data	SAT TT=173.031	SAT TT=170.009
Random/Random-D-t080/ rand-2-40-80-103-080-39.xml	SAT TT=2.059	SAT TT=4.209	SAT TT=3.811	SAT TT=3.81	SAT TT=24.13	SAT TT=24.202	SAT TT=7.174	SAT TT=7.136	SAT TT=16.166	SAT TT=17.346	SAT TT=20.685	SAT TT=2.059	SAT TT=1.714	SAT TT=19.675	No data	SAT TT=33.518	No data	SAT TT=264.249	SAT TT=70.597	SAT TT=4.868	SAT TT=3.802	SAT TT=31.806	SAT TT=29.071	SAT TT=23.854	SAT TT=2.141	SAT TT=1.765	SAT TT=20.653	No data	SAT TT=35.281	No data	? (TO) TT=2401.37	? (TO) TT=2520.12
Random/Random-D-t090/ rand-2-40-180-84-090-51.xml	SAT TT=0.813	SAT TT=2.831	SAT TT=1.978	SAT TT=1.983	SAT TT=19.167	SAT TT=18.788	SAT TT=4.258	SAT TT=4.332	SAT TT=5.079	SAT TT=5.641	SAT TT=15.418	SAT TT=0.813	SAT TT=0.864	SAT TT=0.968	No data	SAT TT=38.594	No data	SAT (TO) TT=20019.301	SAT TT=45.419	SAT TT=3.588	SAT TT=2.027	SAT TT=19.692	SAT TT=21.56	SAT TT=16.466	SAT TT=0.875	SAT TT=0.924	SAT TT=0.966	No data	SAT TT=39.942	No data	? (TO) TT=2400.17	? (TO) TT=2520.15
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	BTD 2017-07-25 (complete)	BTD 2017-08-10 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: BTD 2017-06-30 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
Random/Random-m1-15-23-3/ rand-15-23-3-16-150000-18.xml	UNSAT TT=26.904	UNSAT TT=32.204	? (TO) TT=2519.76	? (TO) TT=2519.69	UNSAT TT=217.093	UNSAT TT=213.676	UNSAT TT=27.242	UNSAT TT=26.904	UNSAT TT=39.995	UNSAT TT=39.933	UNSAT TT=396.13	UNSAT TT=238.408	UNSAT TT=240.444	? (TO) TT=2520.09	No data	UNSAT TT=27.625	No data	UNSAT TT=116.2	UNSAT TT=109.893	UNSAT TT=37.655	? (TO) TT=2400.06	UNSAT TT=321.246	UNSAT TT=323.411	UNSAT TT=442.632	UNSAT TT=237.141	UNSAT TT=240.588	? (TO) TT=2400.08	No data	UNSAT TT=34.905	No data	? (TO) TT=2416.73	? TT=1693.68
Random/Random-m1-5-12-12/ rand-5-12-12-200-12442-38.xml	UNSAT TT=10.577	UNSAT TT=11.044	UNSAT TT=24.268	UNSAT TT=24.392	UNSAT TT=98.123	UNSAT TT=101.056	UNSAT TT=10.691	UNSAT TT=10.577	UNSAT TT=12.488	UNSAT TT=12.987	UNSAT TT=85.866	UNSAT TT=54.091	UNSAT TT=53.763	UNSAT TT=20.089	No data	UNSAT TT=11.233	No data	UNSAT TT=17.775	UNSAT TT=17.773	UNSAT TT=16.421	UNSAT TT=24.23	UNSAT TT=119.417	UNSAT TT=126.334	UNSAT TT=94.605	UNSAT TT=54.693	UNSAT TT=54.059	UNSAT TT=18.771	No data	UNSAT TT=14.392	No data	? (TO) TT=2416.26	? TT=1487.93
Random/Random-m1-5-12-12t/ rand-5-12-12-200-t95-3.xml	UNSAT TT=10.893	UNSAT TT=10.893	UNSAT TT=46.842	UNSAT TT=46.709	UNSAT TT=87.308	UNSAT TT=100.143	UNSAT TT=10.555	UNSAT TT=11.106	UNSAT TT=12.004	UNSAT TT=12.386	UNSAT TT=74.964	UNSAT TT=54.035	UNSAT TT=54.176	UNSAT TT=18.871	No data	UNSAT TT=11.845	No data	UNSAT TT=18.19	UNSAT TT=17.723	UNSAT TT=16.239	UNSAT TT=46.652	UNSAT TT=118.28	UNSAT TT=127.625	UNSAT TT=100.111	UNSAT TT=55.239	UNSAT TT=53.987	UNSAT TT=19.856	No data	UNSAT TT=15.714	No data	? (TO) TT=2413.27	? TT=1951.5
Random/ Random-m1-5-2X-05c/ rand-5-2X-05c-15.xml	UNSAT TT=9.877	UNSAT TT=10.092	UNSAT TT=169.203	UNSAT TT=165.835	UNSAT TT=98.743	UNSAT TT=105.174	UNSAT TT=9.81	UNSAT TT=9.877	UNSAT TT=13.935	UNSAT TT=13.024	UNSAT TT=53.35	UNSAT TT=26.473	UNSAT TT=33.256	UNSAT TT=29.387	No data	UNSAT TT=10.603	No data	UNSAT TT=12.61	UNSAT TT=13.144	UNSAT TT=13.479	UNSAT TT=165.817	UNSAT TT=134.553	UNSAT TT=136.824	UNSAT TT=74.114	UNSAT TT=26.883	UNSAT TT=33.317	UNSAT TT=32.391	No data	UNSAT TT=13.448	No data	? (TO) TT=2416.5	? TT=1984.69
Random/Random-RB-2-30-15f/ rand-2-30-15-306-230f-09.xml	SAT TT=0.29	SAT TT=3.332	SAT TT=0.496	SAT TT=0.497	SAT TT=13.878	SAT TT=15.06	SAT TT=4.268	SAT TT=3.256	SAT TT=9.754	SAT TT=10.563	SAT TT=10.553	SAT TT=0.29	SAT TT=0.487	SAT TT=0.698	No data	SAT TT=20.087	No data	SAT TT=28.902	SAT TT=21.428	SAT TT=4.294	SAT TT=0.539	SAT TT=20.804	SAT TT=23.973	SAT TT=14.499	SAT TT=0.335	SAT TT=0.545	SAT TT=6.121	No data	SAT TT=20.484	No data	SAT TT=23.866	SAT TT=22.769
Random/Random-RB-2-40-19/ rand-2-40-19-443-230-30.xml	UNSAT TT=151.128	UNSAT TT=387.493	UNSAT TT=152.688	UNSAT TT=151.128	UNSAT TT=3488.44	UNSAT TT=2553.62	UNSAT TT=647.318	UNSAT TT=664.056	UNSAT TT=2130.19	UNSAT TT=2207.91	UNSAT TT=488.398	UNSAT TT=230.63	UNSAT TT=158.567	? (TO) TT=2519.73	No data	? TT=2519.22	No data	UNSAT TT=6408.8	UNSAT TT=6017.29	UNSAT TT=395.008	UNSAT TT=150.388	? (TO) TT=2400.28	? (TO) TT=2400.42	UNSAT TT=561.646	UNSAT TT=231.575	UNSAT TT=158.415	? (TO) TT=2400.03	No data	? (TO) TT=2400.07	No data	? (TO) TT=2400.14	? (TO) TT=2520.08
Random/Random-RB-3-20-20/ rand-3-20-20-60-632-40.xml	UNSAT TT=32.698	UNSAT TT=41.778	UNSAT TT=551.091	UNSAT TT=567.792	UNSAT TT=263.33	UNSAT TT=249.944	UNSAT TT=33.064	UNSAT TT=32.698	UNSAT TT=86.65	UNSAT TT=86.19	UNSAT TT=184.976	UNSAT TT=475.185	UNSAT TT=358.604	UNSAT TT=487.107	No data	UNSAT TT=547.037	No data	UNSAT TT=151.869	UNSAT TT=160.457	UNSAT TT=42.482	UNSAT TT=554.071	UNSAT TT=423.965	UNSAT TT=441.41	UNSAT TT=205.464	UNSAT TT=475.73	UNSAT TT=357.928	UNSAT TT=410.392	No data	UNSAT TT=546.475	No data	? (TO) TT=2400.21	? (TO) TT=2520.22
Random/Random-RB-3-28-28f/ rand-3-28-28-93-632f-05.xml	SAT TT=687.52	SAT TT=818.807	? (TO) TT=2519.95	? (TO) TT=2519.69	SAT TT=11471.5	SAT TT=11840.5	SAT TT=990.928	SAT TT=990.523	SAT TT=685.756	SAT TT=687.52	? (TO) TT=2521.98	? (TO) TT=2519.86	SAT TT=2045.29	? (TO) TT=2519.83	No data	? (TO) TT=2520.07	No data	? (TO) TT=20018.699	? (TO) TT=20032.1	SAT TT=826.474	? (TO) TT=2400.07	? (TO) TT=2400.33	? (TO) TT=2400.79	? (TO) TT=2403.99	? (TO) TT=2400.02	SAT TT=2064.97	? (TO) TT=2400.07	No data	? (TO) TT=2400.06	No data	? (TO) TT=2415.86	? (exit code) TT=1947.16
Rcpsp/Rcpsp-m1-j120/ Rcpsp-j120-02-03.xml	OPT f=92 TT=19.205 T1=11.26	? (NS) TT=1.776	No data	No data	OPT f=92 TT=1195.07 T1=23.4	OPT f=92 TT=441.359 T1=21.26	SAT (TO) f=94 TT=2520.1 T1=258.39	SAT (TO) f=94 TT=2520.05 T1=250.89	SAT (TO) f=94 TT=2520.03 T1=795.61	SAT (TO) f=94 TT=2520.11 T1=796.24	SAT (TO) f=96 TT=2520.12 T1=18.24	? (NS) TT=0.205	? (NS) TT=0.207	OPT f=92 TT=249.49 T1=18.08	SAT (TO) f=92 TT=2520.11 T1=844.84	OPT f=92 TT=19.205 T1=11.26	OPT f=92 TT=19.49 T1=11.63	OPT f=92 TT=53.849 T1=16.22	OPT f=92 TT=44.029 T1=41.68	? (NS) TT=2.087	No data	OPT f=92 TT=569.842 T1=21.56	OPT f=92 TT=625.028 T1=48.03	SAT (TO) f=96 TT=2400.09 T1=19.99	? (NS) TT=0.262	? (NS) TT=0.253	OPT f=92 TT=236.66 T1=17.53	SAT (TO) f=92 TT=2400.08 T1=681.92	OPT f=92 TT=20.279 T1=11.27	OPT f=92 TT=20.864 T1=11.5	? (TO) TT=2415.82	? TT=1764.18
Rcpsp/Rcpsp-m1-j120/ Rcpsp-j120-02-05.xml	OPT f=103 TT=7.731 T1=3.29	? (NS) TT=1.819	No data	No data	OPT f=103 TT=24.381 T1=3.31	OPT f=103 TT=26.651 T1=3.9	OPT f=103 TT=24.444 T1=5.37	OPT f=103 TT=25.522 T1=5.89	OPT f=103 TT=86.622 T1=68.37	OPT f=103 TT=86.713 T1=68.14	SAT (TO) f=105 TT=2520.13 T1=11.81	? (NS) TT=0.206	? (NS) TT=0.202	OPT f=103 TT=14.023 T1=12.8	SAT (TO) f=103 TT=2520.11 T1=151.66	OPT f=103 TT=7.768 T1=3.36	OPT f=103 TT=8.044 T1=3.35	OPT f=103 TT=26.803 T1=8.26	OPT f=103 TT=25.878 T1=25.69	? (NS) TT=1.942	No data	OPT f=103 TT=37.859 T1=5.35	OPT f=103 TT=32.916 T1=4.78	SAT (TO) f=105 TT=2400.11 T1=11.71	? (NS) TT=0.23	? (NS) TT=0.258	OPT f=103 TT=13.82 T1=12.55	SAT (TO) f=103 TT=2400.03 T1=281.68	OPT f=103 TT=7.731 T1=3.29	OPT f=103 TT=8.519 T1=3.34	? (TO) TT=2415.69	? (exit code) TT=1708.72
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	BTD 2017-07-25 (complete)	BTD 2017-08-10 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: BTD 2017-06-30 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
Rcpsp/Rcpsp-m1-j120/ Rcpsp-j120-23-09.xml	OPT f=107 TT=3.392 T1=1.13	? (NS) TT=1.84	No data	No data	OPT f=107 TT=5.211 T1=1.18	OPT f=107 TT=4.634 T1=1.13	OPT f=107 TT=3.345 T1=1.26	OPT f=107 TT=3.392 T1=1.39	OPT f=107 TT=5.021 T1=1.66	OPT f=107 TT=5.009 T1=1.8	OPT f=107 TT=37.732 T1=27.33	? (NS) TT=0.259	? (NS) TT=0.245	OPT f=107 TT=6.922 T1=6.88	SAT (TO) f=107 TT=2520.06 T1=6.85	OPT f=107 TT=5.418 T1=2.48	OPT f=107 TT=5.815 T1=2.57	OPT f=107 TT=25.996 T1=7.17	OPT f=107 TT=24.295 T1=24.06	? (NS) TT=1.899	No data	OPT f=107 TT=4.941 T1=1.26	OPT f=107 TT=4.717 T1=1.19	OPT f=107 TT=40.13 T1=27.47	? (NS) TT=0.297	? (NS) TT=0.297	OPT f=107 TT=7.007 T1=6.9	SAT (TO) f=107 TT=2400.1 T1=3.93	OPT f=107 TT=6.001 T1=2.53	OPT f=107 TT=6.581 T1=2.57	? (TO) TT=2415.95	? (problem) TT=1708.01
Rcpsp/Rcpsp-m1-j120/ Rcpsp-j120-46-04.xml	SAT TO f=178 TT=2400.02 T1=681.17	? (NS) TT=1.776	No data	No data	SAT (TO) f=188 TT=20089.801 T1=147.66	SAT (TO) f=188 TT=20070.9 T1=1541.62	SAT (TO) f=190 TT=2520.08 T1=1657.56	SAT (TO) f=190 TT=2520.05 T1=1652.78	SAT (TO) f=191 TT=2520.04 T1=973.73	SAT (TO) f=191 TT=2520.05 T1=956.46	SAT (TO) f=194 TT=2520.12 T1=315.89	? (NS) TT=0.319	? (NS) TT=0.289	SAT (TO) f=178 TT=2519.71 T1=681.17	SAT (TO) f=183 TT=2520.04 T1=2173.25	SAT (TO) f=591 TT=2520.09 T1=494.99	SAT (TO) f=192 TT=2520.12 T1=1698.68	SAT (TO) f=638 TT=19751.199 T1=2386.2	SAT (TO) f=633 TT=19736.699 T1=19655.061	? (NS) TT=1.95	No data	SAT (TO) f=190 TT=2400.03 T1=175.23	SAT (TO) f=190 TT=2400.4 T1=73.91	SAT (TO) f=194 TT=2400.13 T1=318.14	? (NS) TT=0.318	? (NS) TT=0.34	SAT (TO) f=178 TT=2400.02 T1=701.45	SAT (TO) f=187 TT=2400.11 T1=1455.07	SAT (TO) f=591 TT=2400.05 T1=496.54	SAT (TO) f=187 TT=2400.09 T1=1632.45	? (TO) TT=2416.26	? (exit code) TT=1876.72
Rcpsp/Rcpsp-m1-j120/ Rcpsp-j120-50-04.xml	SAT TO f=100 TT=2400.04 T1=48.71	? (NS) TT=1.75	No data	No data	SAT (TO) f=100 TT=20102.699 T1=96.78	SAT (TO) f=100 TT=20092.801 T1=320.06	SAT (TO) f=105 TT=2520.05 T1=1422.29	SAT (TO) f=105 TT=2520.02 T1=1393.04	SAT (TO) f=104 TT=2520.02 T1=89.41	SAT (TO) f=104 TT=2520.06 T1=89.68	SAT (TO) f=104 TT=2520.09 T1=44.61	? (NS) TT=0.289	? (NS) TT=0.281	SAT (TO) f=100 TT=2519.65 T1=1010.56	SAT (TO) f=101 TT=2520.04 T1=1528.31	SAT (TO) f=100 TT=2520.1 T1=48.71	SAT (TO) f=100 TT=2520.09 T1=2115.13	SAT (TO) f=100 TT=2549.64 T1=699.69	SAT (TO) f=100 TT=2544.31 T1=1952.31	? (NS) TT=2.028	No data	SAT (TO) f=101 TT=2400.24 T1=26.98	SAT (TO) f=100 TT=2400.12 T1=131.68	SAT (TO) f=104 TT=2400.05 T1=46.69	? (NS) TT=0.305	? (NS) TT=0.327	SAT (TO) f=100 TT=2400.05 T1=1010.7	SAT (TO) f=102 TT=2400.07 T1=171.79	SAT (TO) f=100 TT=2400.07 T1=49.07	SAT (TO) f=100 TT=2400.04 T1=2050.55	? (TO) TT=2415.9	? TT=1697.25
Rcpsp/Rcpsp-m1-j120/ Rcpsp-j120-50-05.xml	OPT f=100 TT=6.927 T1=2.84	? (NS) TT=1.808	No data	No data	OPT f=100 TT=14.2 T1=2.45	OPT f=100 TT=16.812 T1=2.84	OPT f=100 TT=8.864 T1=3.07	OPT f=100 TT=9.935 T1=3.56	OPT f=100 TT=22.807 T1=8.75	OPT f=100 TT=20.577 T1=8.47	OPT f=100 TT=145.33 T1=135.01	? (NS) TT=0.283	? (NS) TT=0.285	OPT f=100 TT=25.198 T1=25.07	SAT (TO) f=100 TT=2520.08 T1=13.67	OPT f=100 TT=6.927 T1=3.69	OPT f=100 TT=7.172 T1=3.9	OPT f=100 TT=33.291 T1=14.09	OPT f=100 TT=33.231 T1=32.99	? (NS) TT=2.042	No data	OPT f=100 TT=15.894 T1=2.77	OPT f=100 TT=16.011 T1=2.79	OPT f=100 TT=159.474 T1=143.93	? (NS) TT=0.311	? (NS) TT=0.306	OPT f=100 TT=25.053 T1=24.88	SAT (TO) f=100 TT=2400.06 T1=91.52	OPT f=100 TT=7.971 T1=4.07	OPT f=100 TT=7.612 T1=3.86	? (TO) TT=2416.39	? (problem) TT=1609.22
Rcpsp/Rcpsp-m1-j30/ Rcpsp-j30-22-06.xml	OPT f=52 TT=0.289 T1=0.32	? (NS) TT=1.119	No data	No data	OPT f=52 TT=2.752 T1=0.83	OPT f=52 TT=2.861 T1=0.82	OPT f=52 TT=3.76 T1=1.52	OPT f=52 TT=3.452 T1=1.4	OPT f=52 TT=4.68 T1=1.57	OPT f=52 TT=4.991 T1=1.82	OPT f=52 TT=9.857 T1=4.57	? (NS) TT=0.067	? (NS) TT=0.068	OPT f=52 TT=0.289 T1=0.36	SAT (TO) f=52 TT=2520.12 T1=1.24	OPT f=52 TT=1.987 T1=0.96	OPT f=52 TT=1.941 T1=0.95	OPT f=52 TT=8.997 T1=3.02	OPT f=52 TT=9.162 T1=8.69	? (NS) TT=1.25	No data	OPT f=52 TT=3.202 T1=0.92	OPT f=52 TT=3.033 T1=0.87	OPT f=52 TT=12.399 T1=4.63	? (NS) TT=0.096	? (NS) TT=0.109	OPT f=52 TT=0.337 T1=0.32	SAT (TO) f=52 TT=2400.04 T1=1.09	OPT f=52 TT=2.213 T1=1.01	OPT f=52 TT=2.368 T1=1.04	? TT=2.641	? TT=1.929
Rcpsp/Rcpsp-m1-j30/ Rcpsp-j30-36-01.xml	OPT f=66 TT=0.194 T1=0.22	? (NS) TT=1.148	No data	No data	OPT f=66 TT=1.675 T1=0.67	OPT f=66 TT=1.64 T1=0.67	OPT f=66 TT=1.085 T1=0.8	OPT f=66 TT=1.08 T1=0.67	OPT f=66 TT=1.126 T1=0.55	OPT f=66 TT=1.162 T1=0.72	OPT f=66 TT=9.248 T1=4.46	? (NS) TT=0.078	? (NS) TT=0.077	OPT f=66 TT=0.194 T1=0.28	SAT (TO) f=66 TT=2520.06 T1=0.88	OPT f=66 TT=1.648 T1=0.86	OPT f=66 TT=1.67 T1=0.87	OPT f=66 TT=8.707 T1=2.73	OPT f=66 TT=9.476 T1=9.24	? (NS) TT=1.267	No data	OPT f=66 TT=1.927 T1=0.77	OPT f=66 TT=2.083 T1=0.83	OPT f=66 TT=12.218 T1=4.59	? (NS) TT=0.118	? (NS) TT=0.12	OPT f=66 TT=0.234 T1=0.22	SAT (TO) f=66 TT=2400.02 T1=0.93	OPT f=66 TT=1.827 T1=0.88	OPT f=66 TT=1.924 T1=0.93	? TT=3.704	? TT=2.351
Rcpsp/Rcpsp-m1-j30/ Rcpsp-j30-40-08.xml	OPT f=57 TT=0.302 T1=0.33	? (NS) TT=1.15	No data	No data	OPT f=57 TT=1.901 T1=0.7	OPT f=57 TT=1.833 T1=0.69	OPT f=57 TT=1.112 T1=0.64	OPT f=57 TT=1.101 T1=0.66	OPT f=57 TT=1.146 T1=0.56	OPT f=57 TT=1.161 T1=0.73	OPT f=57 TT=10.193 T1=4.65	? (NS) TT=0.076	? (NS) TT=0.078	OPT f=57 TT=0.302 T1=0.39	SAT (TO) f=57 TT=2520.11 T1=0.86	OPT f=57 TT=1.863 T1=0.93	OPT f=57 TT=1.876 T1=0.93	OPT f=57 TT=9.876 T1=3.97	OPT f=57 TT=12.245 T1=11.41	? (NS) TT=1.293	No data	OPT f=57 TT=2.03 T1=0.77	OPT f=57 TT=2.108 T1=0.77	OPT f=57 TT=12.558 T1=4.65	? (NS) TT=0.126	? (NS) TT=0.128	OPT f=57 TT=0.343 T1=0.33	SAT (TO) f=57 TT=2400.03 T1=1.01	OPT f=57 TT=2.051 T1=0.94	OPT f=57 TT=2.307 T1=1.04	? TT=3.645	? TT=2.28
Rcpsp/Rcpsp-m1-j30/ Rcpsp-j30-43-06.xml	OPT f=58 TT=0.509 T1=0.53	? (NS) TT=1.169	No data	No data	OPT f=58 TT=2.595 T1=0.83	OPT f=58 TT=2.414 T1=0.79	OPT f=58 TT=1.702 T1=0.85	OPT f=58 TT=1.71 T1=0.86	OPT f=58 TT=1.85 T1=0.74	OPT f=58 TT=1.857 T1=0.88	OPT f=58 TT=10.013 T1=4.62	? (NS) TT=0.079	? (NS) TT=0.077	OPT f=58 TT=0.509 T1=0.56	SAT (TO) f=58 TT=2520.07 T1=1.08	OPT f=58 TT=2.066 T1=1	OPT f=58 TT=2.082 T1=1.01	OPT f=58 TT=9.35 T1=3.54	OPT f=58 TT=9.939 T1=9.37	? (NS) TT=1.337	No data	OPT f=58 TT=2.902 T1=1.04	OPT f=58 TT=2.823 T1=0.86	OPT f=58 TT=12.976 T1=4.81	? (NS) TT=0.127	? (NS) TT=0.117	OPT f=58 TT=0.551 T1=0.53	SAT (TO) f=58 TT=2400.1 T1=1.34	OPT f=58 TT=2.365 T1=1.04	OPT f=58 TT=2.403 T1=1.04	? TT=3.405	? TT=2.525
Rcpsp/Rcpsp-m1-j60/ Rcpsp-j60-13-09.xml	SAT TO f=104 TT=2400.03 T1=1676.23	? (NS) TT=1.248	No data	No data	SAT (TO) f=109 TT=20102.4 T1=165.98	SAT (TO) f=109 TT=20096.5 T1=85.22	SAT (TO) f=115 TT=2520.07 T1=324.63	SAT (TO) f=115 TT=2520.03 T1=319.67	SAT (TO) f=116 TT=2520.08 T1=7.15	SAT (TO) f=116 TT=2520.14 T1=8.84	SAT (TO) f=110 TT=2520.05 T1=192.72	? (NS) TT=0.106	? (NS) TT=0.108	SAT (TO) f=104 TT=2519.94 T1=1676.23	SAT (TO) f=108 TT=2520.11 T1=2259.74	SAT (TO) f=107 TT=2520.1 T1=655.11	SAT (TO) f=110 TT=2520.09 T1=765.15	? (TO) TT=19716.1	? (TO) TT=19718.4	? (NS) TT=1.401	No data	SAT (TO) f=109 TT=2400.2 T1=117	SAT (TO) f=109 TT=2400.14 T1=16.47	SAT (TO) f=110 TT=2400.06 T1=195.18	? (NS) TT=0.127	? (NS) TT=0.161	SAT (TO) f=104 TT=2400.03 T1=1681.73	SAT (TO) f=110 TT=2400.05 T1=665.15	SAT (TO) f=107 TT=2400.09 T1=663.5	SAT (TO) f=110 TT=2400.06 T1=1053.16	? TT=31.703	? TT=16.088
Rcpsp/Rcpsp-m1-j60/ Rcpsp-j60-24-03.xml	OPT f=67 TT=1.509 T1=0.79	? (NS) TT=1.315	No data	No data	OPT f=67 TT=2.497 T1=0.8	OPT f=67 TT=2.487 T1=0.8	OPT f=67 TT=1.525 T1=0.65	OPT f=67 TT=1.509 T1=0.79	OPT f=67 TT=1.598 T1=0.83	OPT f=67 TT=1.601 T1=0.79	OPT f=67 TT=12.843 T1=5.59	? (NS) TT=0.126	? (NS) TT=0.14	OPT f=67 TT=1.792 T1=1.84	SAT (TO) f=67 TT=2520.04 T1=1.05	OPT f=67 TT=3.564 T1=1.62	OPT f=67 TT=3.534 T1=1.47	OPT f=67 TT=21.358 T1=8.99	OPT f=67 TT=18.373 T1=17.91	? (NS) TT=1.522	No data	OPT f=67 TT=2.636 T1=0.88	OPT f=67 TT=2.935 T1=0.9	OPT f=67 TT=15.712 T1=5.62	? (NS) TT=0.136	? (NS) TT=0.18	OPT f=67 TT=1.836 T1=1.79	SAT (TO) f=67 TT=2400.09 T1=1.04	OPT f=67 TT=3.97 T1=1.46	OPT f=67 TT=4.135 T1=1.47	? TT=30.638	? TT=17.245
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	BTD 2017-07-25 (complete)	BTD 2017-08-10 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: BTD 2017-06-30 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
Rcpsp/Rcpsp-m1-j60/ Rcpsp-j60-36-08.xml	OPT f=69 TT=0.764 T1=0.73	? (NS) TT=1.257	No data	No data	OPT f=69 TT=2.25 T1=0.78	OPT f=69 TT=2.21 T1=0.77	OPT f=69 TT=1.32 T1=0.75	OPT f=69 TT=1.306 T1=0.73	OPT f=69 TT=1.374 T1=0.74	OPT f=69 TT=1.385 T1=0.77	OPT f=69 TT=12.184 T1=5.61	? (NS) TT=0.155	? (NS) TT=0.146	OPT f=69 TT=0.764 T1=0.83	SAT (TO) f=69 TT=2520.09 T1=0.95	OPT f=69 TT=2.744 T1=1.36	OPT f=69 TT=2.753 T1=1.31	OPT f=69 TT=11.683 T1=3.79	OPT f=69 TT=11.433 T1=10.76	? (NS) TT=1.487	No data	OPT f=69 TT=2.567 T1=0.88	OPT f=69 TT=2.559 T1=0.89	OPT f=69 TT=15.179 T1=5.42	? (NS) TT=0.202	? (NS) TT=0.185	OPT f=69 TT=0.811 T1=0.78	SAT (TO) f=69 TT=2400.03 T1=1.1	OPT f=69 TT=3.09 T1=1.22	OPT f=69 TT=3.118 T1=1.21	? TT=51.946	? TT=18.574
Rcpsp/Rcpsp-m1-j90/ Rcpsp-j90-07-04.xml	OPT f=86 TT=2.165 T1=0.94	? (NS) TT=1.413	No data	No data	OPT f=86 TT=3.288 T1=0.91	OPT f=86 TT=3.473 T1=0.94	OPT f=86 TT=2.111 T1=0.86	OPT f=86 TT=2.165 T1=1	OPT f=86 TT=2.213 T1=0.9	OPT f=86 TT=2.221 T1=1.02	OPT f=86 TT=15.92 T1=7.53	? (NS) TT=0.155	? (NS) TT=0.154	OPT f=86 TT=7.651 T1=7.65	SAT (TO) f=86 TT=2520.06 T1=1.43	OPT f=86 TT=4.878 T1=2.1	OPT f=86 TT=4.981 T1=2.24	OPT f=86 TT=36.454 T1=13.67	OPT f=86 TT=32.41 T1=31.97	? (NS) TT=1.583	No data	OPT f=86 TT=3.589 T1=0.98	OPT f=86 TT=3.682 T1=1.02	OPT f=86 TT=19.94 T1=7.9	? (NS) TT=0.196	? (NS) TT=0.219	OPT f=86 TT=7.679 T1=7.58	SAT (TO) f=86 TT=2400.11 T1=1.68	OPT f=86 TT=5.057 T1=2.02	OPT f=86 TT=5.889 T1=2.51	? TT=102.833	? TT=44.593
Rcpsp/Rcpsp-m1-j90/ Rcpsp-j90-09-06.xml	SAT TO f=125 TT=2400.01 T1=807.37	? (NS) TT=1.516	No data	No data	SAT (TO) f=129 TT=20099.4 T1=267.68	SAT (TO) f=129 TT=20093.6 T1=899.54	SAT (TO) f=136 TT=2520.06 T1=15.35	SAT (TO) f=136 TT=2520.05 T1=15.15	SAT (TO) f=137 TT=2520.09 T1=37.58	SAT (TO) f=137 TT=2520.1 T1=35.5	SAT (TO) f=137 TT=2520.13 T1=22.47	? (NS) TT=0.157	? (NS) TT=0.155	SAT (TO) f=125 TT=2519.93 T1=817.54	SAT (TO) f=132 TT=2520.1 T1=934.3	SAT (TO) f=130 TT=2520.02 T1=158.01	SAT (TO) f=129 TT=2520.03 T1=2207.5	SAT (TO) f=445 TT=19655.4 T1=2469.21	SAT (TO) f=464 TT=19649.301 T1=19238.721	? (NS) TT=1.673	No data	SAT (TO) f=131 TT=2400.58 T1=107.17	SAT (TO) f=128 TT=2400.69 T1=49.45	SAT (TO) f=137 TT=2400.06 T1=22.31	? (NS) TT=0.177	? (NS) TT=0.21	SAT (TO) f=125 TT=2400.01 T1=807.37	SAT (TO) f=131 TT=2400.05 T1=2212.96	SAT (TO) f=130 TT=2400.11 T1=158.62	SAT (TO) f=127 TT=2400.04 T1=1250.03	? TT=139.651	? TT=78.226
Rcpsp/Rcpsp-m1-j90/ Rcpsp-j90-26-08.xml	OPT f=82 TT=1091.94 T1=1091.74	? (NS) TT=1.594	No data	No data	SAT (TO) f=83 TT=20104.801 T1=28.48	SAT (TO) f=83 TT=20091.699 T1=9.79	SAT (TO) f=87 TT=2520.03 T1=147.69	SAT (TO) f=87 TT=2520.05 T1=154.47	SAT (TO) f=89 TT=2520.06 T1=93.52	SAT (TO) f=89 TT=2520.05 T1=93.54	SAT (TO) f=86 TT=2520.13 T1=17.56	? (NS) TT=0.188	? (NS) TT=0.185	SAT (TO) f=83 TT=2519.75 T1=33.87	SAT (TO) f=85 TT=2520.05 T1=1480.87	SAT (TO) f=83 TT=2520.03 T1=6.99	SAT (TO) f=83 TT=2520.05 T1=689.57	SAT (TO) f=83 TT=2668.14 T1=143.81	OPT f=82 TT=1091.94 T1=1091.74	? (NS) TT=1.743	No data	SAT (TO) f=83 TT=2400.48 T1=150.66	SAT (TO) f=83 TT=2400.34 T1=28.52	SAT (TO) f=86 TT=2400.07 T1=17.95	? (NS) TT=0.25	? (NS) TT=0.238	SAT (TO) f=83 TT=2400.02 T1=33.82	SAT (TO) f=83 TT=2400.05 T1=896.95	SAT (TO) f=83 TT=2400.05 T1=7.17	SAT (TO) f=83 TT=2400.06 T1=728.47	? TT=229.086	? TT=111.221
Rcpsp/Rcpsp-m1-j90/ Rcpsp-j90-37-03.xml	OPT f=132 TT=427.149 T1=65.6	? (NS) TT=1.546	No data	No data	OPT f=132 TT=8918.18 T1=740.42	OPT f=132 TT=7898.97 T1=767.49	SAT (TO) f=136 TT=2520.03 T1=1854.4	SAT (TO) f=136 TT=2520.07 T1=1979.54	SAT (TO) f=137 TT=2520.07 T1=49.78	SAT (TO) f=137 TT=2520.08 T1=49.82	SAT (TO) f=146 TT=2520.08 T1=1838.35	? (NS) TT=0.219	? (NS) TT=0.216	SAT (TO) f=133 TT=2519.75 T1=1321.43	SAT (TO) f=133 TT=2520.07 T1=1187.58	SAT (TO) f=138 TT=2520.09 T1=1316.52	SAT (TO) f=132 TT=2520.11 T1=499.27	OPT f=132 TT=427.149 T1=65.6	OPT f=132 TT=593.008 T1=424.34	? (NS) TT=1.763	No data	SAT (TO) f=135 TT=2400.26 T1=208.83	SAT (TO) f=134 TT=2400.74 T1=117.28	SAT (TO) f=146 TT=2400.06 T1=1832.71	? (NS) TT=0.301	? (NS) TT=0.265	SAT (TO) f=133 TT=2400.01 T1=1338.08	SAT (TO) f=135 TT=2400.13 T1=525.8	SAT (TO) f=138 TT=2400.08 T1=1362.72	SAT (TO) f=133 TT=2400.12 T1=1721.03	? TT=152.676	? TT=89.714
RectPacking/ RectPacking-m1-perf/ RectPacking-perfect-022.xml		? (TO) TT=2520.04	? (NS) TT=0.039	? (NS) TT=0.039	? (TO) TT=20008.4	? (TO) TT=20022.5	? (TO) TT=2520.1	? (TO) TT=2520.09	? (TO) TT=2520.04	? (TO) TT=2520.1	? (NS) TT=4.353	? (NS) TT=0.056	? (NS) TT=0.055	? (TO) TT=2519.82	No data	? (TO) TT=2520.05	No data	? (TO) TT=19909.5	? (TO) TT=19912.5	? (TO) TT=2400.09	? (NS) TT=0.069	? (TO) TT=2400.72	? (TO) TT=2400.66	? (NS) TT=5.105	? (NS) TT=0.091	? (NS) TT=0.081	? (TO) TT=2400.08	No data	? (TO) TT=2400.1	No data	? (TO) TT=2400.18	? (TO) TT=2520.18
RectPacking/ RectPacking-m1-perf/ RectPacking-perfect-053.xml		? (TO) TT=2520.08	? (NS) TT=0.048	? (NS) TT=0.047	? (TO) TT=19973.1	? (TO) TT=19953.699	? (TO) TT=2520.05	? (TO) TT=2520.12	? (TO) TT=2520.1	? (TO) TT=2520.07	? (NS) TT=4.389	? (NS) TT=0.061	? (NS) TT=0.058	? (TO) TT=2520	No data	? (TO) TT=2520.05	No data	? (TO) TT=19909.9	? (TO) TT=19906.6	? (TO) TT=2400.03	? (NS) TT=0.062	? (TO) TT=2400.23	? (TO) TT=2400.31	? (NS) TT=5.13	? (NS) TT=0.097	? (NS) TT=0.096	SAT TT=1185.9	No data	? (TO) TT=2400.03	No data	? (TO) TT=2415.93	? (TO) TT=2520.13
RectPacking/ RectPacking-m1-perf/ RectPacking-perfect-083.xml		? (TO) TT=2520.05	? (NS) TT=0.053	? (NS) TT=0.052	? (TO) TT=19866.9	? (TO) TT=19846.6	? (TO) TT=2520.02	? (TO) TT=2520.05	? (TO) TT=2520.07	? (TO) TT=2520.07	? (NS) TT=3.838	? (NS) TT=0.058	? (NS) TT=0.059	? (TO) TT=2520.02	No data	? (TO) TT=2520.07	No data	? (TO) TT=19885.6	? (TO) TT=19908.199	? (TO) TT=2400.11	? (NS) TT=0.089	? (TO) TT=2400.3	? (TO) TT=2400.13	? (NS) TT=4.68	? (NS) TT=0.083	? (NS) TT=0.099	? (TO) TT=2400.08	No data	? (TO) TT=2400.05	No data	? (TO) TT=2415.83	? (TO) TT=2528.19
RectPacking/ RectPacking-m1-perf/ RectPacking-perfect-096.xml	SAT TT=92.949	? (TO) TT=2520.05	? (NS) TT=0.053	? (NS) TT=0.053	? (TO) TT=19874.199	? (TO) TT=19869.1	? (TO) TT=2520.04	? (TO) TT=2520.06	? (TO) TT=2520.06	? (TO) TT=2520.08	? (NS) TT=4.337	? (NS) TT=0.059	? (NS) TT=0.058	? (TO) TT=2519.77	No data	? (TO) TT=2520.02	No data	SAT (TO) TT=5096.5	SAT TT=92.949	? (TO) TT=2400.09	? (NS) TT=0.092	? (TO) TT=2400.28	? (TO) TT=2400.13	? (NS) TT=4.807	? (NS) TT=0.099	? (NS) TT=0.08	? (TO) TT=2400.06	No data	? (TO) TT=2400.1	No data	? (TO) TT=2416.64	? TT=1187.89
RectPacking/ RectPacking-m1-perf/ RectPacking-perfect-129.xml	SAT TT=2.926	? (TO) TT=2520.03	? (NS) TT=0.059	? (NS) TT=0.058	SAT TT=27.096	SAT TT=44.646	SAT TT=5.641	SAT TT=6.331	SAT TT=48.008	SAT TT=48.668	? (NS) TT=4.3	? (NS) TT=0.059	? (NS) TT=0.058	SAT TT=51.869	No data	SAT TT=2.926	No data	SAT TT=493.711	SAT TT=218.882	? (TO) TT=2400.08	? (NS) TT=0.096	SAT TT=42.976	SAT TT=46.579	? (NS) TT=5.047	? (NS) TT=0.096	? (NS) TT=0.091	SAT TT=16.595	No data	SAT TT=3.315	No data	? (TO) TT=2416.46	? TT=1470.25
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	BTD 2017-07-25 (complete)	BTD 2017-08-10 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: BTD 2017-06-30 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
RectPacking/ RectPacking-m1-perf/ RectPacking-perfect-189.xml		? (TO) TT=2520.23	? (NS) TT=0.072	? (NS) TT=0.071	? (TO) TT=19306.4	? (TO) TT=19335.6	? (TO) TT=2520.04	? (TO) TT=2520.11	? (TO) TT=2520.04	? (TO) TT=2520.07	? (NS) TT=4.296	? (NS) TT=0.058	? (NS) TT=0.058	? (TO) TT=2520.03	No data	? (TO) TT=2520.05	No data	? (TO) TT=19777.9	? (TO) TT=19789	? (TO) TT=2400.54	? (NS) TT=0.081	? (TO) TT=2400.31	? (TO) TT=2400.39	? (NS) TT=4.877	? (NS) TT=0.086	? (NS) TT=0.095	? (TO) TT=2400.04	No data	? (TO) TT=2400.09	No data	? (TO) TT=2416.38	? TT=1427.85
RenaultMod/ RenaultMod-m1-s1/ RenaultMod-09.xml	SAT TT=0.803	SAT TT=3.354	SAT TT=0.8	SAT TT=0.803	SAT TT=11.117	SAT TT=11.21	SAT TT=3.383	SAT TT=3.179	SAT TT=3.191	SAT TT=3.219	SAT TT=14.381	SAT TT=1.399	SAT TT=1.413	SAT TT=1.516	No data	SAT TT=3.258	No data	SAT (TO) TT=6897.62	SAT TT=10.989	SAT TT=3.985	SAT TT=0.801	SAT TT=13.782	SAT TT=13.424	SAT TT=18.797	SAT TT=1.442	SAT TT=1.467	SAT TT=1.538	No data	SAT TT=4.033	No data	SAT TT=1195.52	SAT TT=1029.99
RenaultMod/ RenaultMod-m1-s1/ RenaultMod-12.xml	UNSAT TT=0.998	UNSAT TT=3.107	UNSAT TT=0.993	UNSAT TT=0.998	UNSAT TT=11.251	UNSAT TT=10.97	UNSAT TT=3.194	UNSAT TT=3.215	UNSAT TT=3.316	UNSAT TT=3.262	UNSAT TT=14.79	UNSAT TT=1.435	UNSAT TT=1.415	UNSAT TT=1.494	No data	UNSAT TT=3.261	No data	UNSAT TT=15.457	UNSAT TT=15.086	UNSAT TT=3.803	UNSAT TT=0.993	UNSAT TT=13.279	UNSAT TT=12.475	UNSAT TT=18.373	UNSAT TT=1.5	UNSAT TT=1.454	UNSAT TT=1.52	No data	UNSAT TT=3.982	No data	UNSAT TT=1499.38	UNSAT TT=1337.43
RenaultMod/ RenaultMod-m1-s1/ RenaultMod-18.xml	UNSAT TT=0.597	UNSAT TT=3.434	UNSAT TT=0.589	UNSAT TT=0.597	UNSAT TT=11.816	UNSAT TT=12.276	UNSAT TT=3.224	UNSAT TT=3.259	UNSAT TT=3.164	UNSAT TT=3.21	UNSAT TT=15.063	UNSAT TT=1.406	UNSAT TT=1.401	UNSAT TT=1.482	No data	UNSAT TT=3.681	No data	UNSAT TT=21.113	UNSAT TT=20.811	UNSAT TT=4.12	UNSAT TT=0.624	UNSAT TT=14.334	UNSAT TT=13.995	UNSAT TT=18.834	UNSAT TT=1.449	UNSAT TT=1.461	UNSAT TT=1.556	No data	UNSAT TT=4.607	No data	UNSAT TT=399.533	UNSAT TT=304.17
RenaultMod/ RenaultMod-m1-s1/ RenaultMod-21.xml	UNSAT TT=0.54	UNSAT TT=3.324	UNSAT TT=0.538	UNSAT TT=0.54	UNSAT TT=12.13	UNSAT TT=12.929	UNSAT TT=3.501	UNSAT TT=3.519	UNSAT TT=3.293	UNSAT TT=3.346	UNSAT TT=15.624	UNSAT TT=1.478	UNSAT TT=1.45	UNSAT TT=1.539	No data	UNSAT TT=3.779	No data	UNSAT TT=20.924	UNSAT TT=19.5	UNSAT TT=4.053	UNSAT TT=0.574	UNSAT TT=17.113	UNSAT TT=15.148	UNSAT TT=20.409	UNSAT TT=1.521	UNSAT TT=1.505	UNSAT TT=1.588	No data	UNSAT TT=4.38	No data	UNSAT TT=388.388	UNSAT TT=249.138
RenaultMod/ RenaultMod-m1-s1/ RenaultMod-24.xml	UNSAT TT=0.528	UNSAT TT=3.304	UNSAT TT=0.53	UNSAT TT=0.528	UNSAT TT=12.553	UNSAT TT=12.857	UNSAT TT=3.345	UNSAT TT=3.388	UNSAT TT=3.342	UNSAT TT=3.33	UNSAT TT=15.212	UNSAT TT=1.434	UNSAT TT=1.437	UNSAT TT=1.536	No data	UNSAT TT=3.609	No data	UNSAT TT=18.657	UNSAT TT=16.037	UNSAT TT=4.096	UNSAT TT=0.543	UNSAT TT=15.466	UNSAT TT=14.134	UNSAT TT=20.674	UNSAT TT=1.487	UNSAT TT=1.481	UNSAT TT=1.564	No data	UNSAT TT=4.532	No data	UNSAT TT=1562.68	UNSAT TT=1389.29
RenaultMod/ RenaultMod-m1-s1/ RenaultMod-40.xml	UNSAT TT=1.052	UNSAT TT=3.281	UNSAT TT=1.046	UNSAT TT=1.052	UNSAT TT=11.385	UNSAT TT=11.489	UNSAT TT=3.203	UNSAT TT=3.157	UNSAT TT=3.159	UNSAT TT=3.04	UNSAT TT=14.37	UNSAT TT=1.455	UNSAT TT=1.391	UNSAT TT=1.482	No data	UNSAT TT=3.223	No data	UNSAT TT=14.059	UNSAT TT=13.999	UNSAT TT=3.79	UNSAT TT=1.068	UNSAT TT=13.907	UNSAT TT=13.616	UNSAT TT=17.936	UNSAT TT=1.501	UNSAT TT=1.447	UNSAT TT=1.547	No data	UNSAT TT=4.197	No data	UNSAT TT=390.29	UNSAT TT=250.781
Renault/Renault-m1-s1/ Renault-medium-pos.xml	SAT TT=0.025	SAT TT=1.758	SAT TT=0.025	SAT TT=0.025	SAT TT=3.343	SAT TT=3.352	SAT TT=1.469	SAT TT=1.469	SAT TT=1.535	SAT TT=1.52	SAT TT=9.09	SAT TT=0.056	SAT TT=0.055	SAT TT=0.068	No data	SAT TT=1.987	No data	SAT TT=17.669	SAT TT=7.056	SAT TT=2.237	SAT TT=0.032	SAT TT=3.787	SAT TT=3.846	SAT TT=11.938	SAT TT=0.081	SAT TT=0.094	SAT TT=0.104	No data	SAT TT=2.252	No data	SAT TT=9.524	SAT TT=7.888
Renault/Renault-m1-s1/ Renault-megane-pos.xml	SAT TT=0.464	SAT TT=3.282	SAT TT=0.462	SAT TT=0.464	SAT TT=8.805	SAT TT=8.76	SAT TT=2.713	SAT TT=2.698	SAT TT=3.086	SAT TT=2.711	SAT TT=14.42	SAT TT=1.24	SAT TT=1.245	SAT TT=1.275	No data	SAT TT=3.2	No data	SAT (TO) TT=7106.71	SAT TT=11.147	SAT TT=3.662	SAT TT=0.47	SAT TT=10.964	SAT TT=10.849	SAT TT=18.386	SAT TT=1.29	SAT TT=1.302	SAT TT=1.329	No data	SAT TT=3.616	No data	SAT TT=757.799	SAT TT=606.309
Renault/ Renault-m1-s1/ Renault-mgd.xml	SAT TT=0.465	SAT TT=3.007	SAT TT=0.465	SAT TT=0.465	SAT TT=8.845	SAT TT=8.836	SAT TT=2.712	SAT TT=2.722	SAT TT=2.723	SAT TT=2.635	SAT TT=13.685	SAT TT=1.255	SAT TT=1.244	SAT TT=1.264	No data	SAT TT=3.186	No data	SAT (TO) TT=7288.65	SAT TT=11.437	SAT TT=3.598	SAT TT=0.512	SAT TT=10.676	SAT TT=10.406	SAT TT=16.137	SAT TT=1.301	SAT TT=1.284	SAT TT=1.327	No data	SAT TT=3.609	No data	SAT TT=1203.95	SAT TT=1101.89
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	BTD 2017-07-25 (complete)	BTD 2017-08-10 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: BTD 2017-06-30 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
Renault/ Renault-m1-s1/ Renault-small.xml	SAT TT=0.012	SAT TT=1.379	SAT TT=0.012	SAT TT=0.012	SAT TT=2.455	SAT TT=2.398	SAT TT=1.177	SAT TT=1.166	SAT TT=1.193	SAT TT=1.232	SAT TT=7.999	SAT TT=0.014	SAT TT=0.014	SAT TT=0.022	No data	SAT TT=1.623	No data	SAT TT=25.905	SAT TT=5.466	SAT TT=1.653	SAT TT=0.019	SAT TT=2.957	SAT TT=2.626	SAT TT=9.664	SAT TT=0.018	SAT TT=0.02	SAT TT=0.037	No data	SAT TT=1.791	No data	SAT TT=4.266	SAT TT=3.373
Renault/Renault-m1-s1/ Renault-souffleuse.xml	SAT TT=0.006	SAT TT=1.022	SAT TT=0.007	SAT TT=0.007	SAT TT=1.264	SAT TT=1.262	SAT TT=0.83	SAT TT=0.82	SAT TT=0.882	SAT TT=0.887	SAT TT=6.684	SAT TT=0.006	SAT TT=0.006	SAT TT=0.008	No data	SAT TT=1.127	No data	SAT (TO) TT=8715.46	SAT TT=4.623	SAT TT=1.128	SAT TT=0.01	SAT TT=1.477	SAT TT=1.456	SAT TT=7.589	SAT TT=0.009	SAT TT=0.007	SAT TT=0.01	No data	SAT TT=1.19	No data	SAT TT=1.09	SAT TT=0.963
Renault/ Renault-m1-s1/ Renault.xml	SAT TT=0.464	SAT TT=3.151	SAT TT=0.465	SAT TT=0.464	SAT TT=9.036	SAT TT=9.205	SAT TT=2.815	SAT TT=2.679	SAT TT=2.76	SAT TT=2.803	SAT TT=13.311	SAT TT=1.253	SAT TT=1.25	SAT TT=1.27	No data	SAT TT=3.219	No data	SAT (TO) TT=7658.11	SAT TT=1285.51	SAT TT=3.766	SAT TT=0.465	SAT TT=10.736	SAT TT=10.594	SAT TT=15.768	SAT TT=1.297	SAT TT=1.293	SAT TT=1.327	No data	SAT TT=3.982	No data	SAT TT=1199.72	SAT TT=1169.29
Rlfap/Rlfap-m1-graphsMod/ Rlfap-graph-02-f24.xml	SAT TT=1.429	SAT TT=4.172	SAT TT=1.436	SAT TT=1.429	SAT TT=20.304	SAT TT=21.917	SAT TT=4.715	SAT TT=4.908	SAT TT=4.834	SAT TT=5.081	SAT TT=20.905	SAT TT=2.505	SAT TT=2.615	SAT TT=4.595	No data	SAT TT=8.235	No data	SAT (TO) TT=4402.7	SAT (TO) TT=3320.93	SAT TT=5.649	SAT TT=1.493	SAT TT=28.285	SAT TT=29.925	SAT TT=25.855	SAT TT=2.546	SAT TT=2.634	Wrong UNSAT TT=3.913	No data	SAT TT=9.82	No data	SAT TT=7.351	SAT TT=5.878
Rlfap/Rlfap-m1-scens11/ Rlfap-scen-11-f03.xml	UNSAT TT=136.988	UNSAT TT=222.765	UNSAT TT=133.17	UNSAT TT=136.988	UNSAT TT=1407.91	UNSAT TT=1420.66	UNSAT TT=465.448	UNSAT TT=465.553	UNSAT TT=968.01	UNSAT TT=959.791	? (TO) TT=2521.27	UNSAT TT=823.597	UNSAT TT=566.14	? (TO) TT=2519.98	No data	? (TO) TT=2520.07	No data	? (TO) TT=20054.699	? (TO) TT=20063.199	UNSAT TT=223.563	UNSAT TT=137.341	? (TO) TT=2400.51	? (TO) TT=2400.04	? (TO) TT=2402.69	UNSAT TT=838.485	UNSAT TT=582.632	? (TO) TT=2400.02	No data	? (TO) TT=2400.09	No data	UNSAT TT=871.235	UNSAT TT=843.128
Rlfap/Rlfap-m1-scens11/ Rlfap-scen-11-f05.xml	UNSAT TT=12.042	UNSAT TT=18.067	UNSAT TT=12.102	UNSAT TT=12.042	UNSAT TT=159.544	UNSAT TT=177.319	UNSAT TT=56.235	UNSAT TT=59.277	UNSAT TT=105.905	UNSAT TT=108.3	? (TO) TT=2521.36	UNSAT TT=53.905	UNSAT TT=41.417	UNSAT TT=186.627	No data	? (TO) TT=2520.11	No data	? (TO) TT=20061.199	? (TO) TT=20067.1	UNSAT TT=20.188	UNSAT TT=12.074	UNSAT TT=266.65	UNSAT TT=265.897	? (TO) TT=2402.66	UNSAT TT=54.2	UNSAT TT=40.451	UNSAT TT=154.314	No data	? (TO) TT=2400.07	No data	UNSAT TT=39.31	UNSAT TT=26.493
Rlfap/Rlfap-m1-scensMod/ Rlfap-scen-09-w1-f03.xml	UNSAT TT=0.751	UNSAT TT=3.581	UNSAT TT=0.755	UNSAT TT=0.751	UNSAT TT=9.167	UNSAT TT=9.364	UNSAT TT=4.101	UNSAT TT=4.095	UNSAT TT=3.43	UNSAT TT=3.479	UNSAT TT=16.024	UNSAT TT=1.293	UNSAT TT=1.34	UNSAT TT=2.238	No data	UNSAT TT=255.671	No data	UNSAT TT=1110.82	UNSAT TT=1095.94	UNSAT TT=4.644	UNSAT TT=0.812	UNSAT TT=10.042	UNSAT TT=10.512	UNSAT TT=19.435	UNSAT TT=1.34	UNSAT TT=1.371	UNSAT TT=2.029	No data	UNSAT TT=274.498	No data	UNSAT TT=9.061	UNSAT TT=7.529
Rlfap/ Rlfap-m1-scens/ Rlfap-scen-05.xml	SAT TT=1.653	SAT TT=4.367	SAT TT=1.664	SAT TT=1.653	SAT TT=12.933	SAT TT=12.358	SAT TT=3.584	SAT TT=3.497	SAT TT=4.193	SAT TT=4.118	SAT TT=19.942	SAT TT=2.863	SAT TT=2.863	SAT TT=4.791	No data	SAT TT=10.932	No data	SAT (TO) TT=4924.08	SAT TT=140.127	SAT TT=5.183	SAT TT=1.721	SAT TT=12.44	SAT TT=14.553	SAT TT=27.619	SAT TT=2.949	SAT TT=2.96	Wrong UNSAT TT=4.544	No data	SAT TT=10.269	No data	SAT TT=21.767	SAT TT=13.318
Rlfap/ Rlfap-m1-scens/ Rlfap-scen-06.xml	UNSAT TT=0.82	UNSAT TT=3.11	UNSAT TT=0.826	UNSAT TT=0.82	UNSAT TT=8.895	UNSAT TT=8.49	UNSAT TT=2.487	UNSAT TT=2.447	UNSAT TT=2.786	UNSAT TT=2.721	UNSAT TT=15.415	UNSAT TT=1.422	UNSAT TT=1.439	UNSAT TT=2.457	No data	UNSAT TT=5.385	No data	UNSAT TT=23.398	UNSAT TT=21.604	UNSAT TT=3.877	UNSAT TT=0.849	UNSAT TT=8.905	UNSAT TT=9.301	UNSAT TT=20.121	UNSAT TT=1.514	UNSAT TT=1.533	UNSAT TT=2.372	No data	UNSAT TT=6.185	No data	UNSAT TT=6.921	UNSAT TT=8.026
RoomMate/RoomMate-int-s1/ RoomMate-sr0004-int.xml	UNSAT TT=0.015	UNSAT TT=1.014	UNSAT TT=0.015	UNSAT TT=0.015	UNSAT TT=1.125	UNSAT TT=1.093	UNSAT TT=0.796	UNSAT TT=0.797	UNSAT TT=0.855	UNSAT TT=0.863	UNSAT TT=6.417	UNSAT TT=0.03	UNSAT TT=0.03	UNSAT TT=0.046	No data	UNSAT TT=1.074	No data	UNSAT TT=1.111	UNSAT TT=1.114	UNSAT TT=1.079	UNSAT TT=0.021	UNSAT TT=1.23	UNSAT TT=1.253	UNSAT TT=7.693	UNSAT TT=0.044	UNSAT TT=0.05	UNSAT TT=0.077	No data	UNSAT TT=1.158	No data	UNSAT TT=0.65	UNSAT TT=0.592
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	BTD 2017-07-25 (complete)	BTD 2017-08-10 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: BTD 2017-06-30 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
RoomMate/RoomMate-int-s1/ RoomMate-sr0006-int.xml	SAT TT=0.036	SAT TT=1.127	SAT TT=0.038	SAT TT=0.036	SAT TT=1.588	SAT TT=1.579	SAT TT=0.885	SAT TT=0.871	SAT TT=0.912	SAT TT=0.935	SAT TT=7.685	SAT TT=0.071	SAT TT=0.077	SAT TT=0.113	No data	SAT TT=1.224	No data	SAT TT=2.219	SAT TT=2.17	SAT TT=1.283	SAT TT=0.063	SAT TT=1.703	SAT TT=1.671	SAT TT=8.827	SAT TT=0.109	SAT TT=0.111	SAT TT=0.151	No data	SAT TT=1.347	No data	SAT TT=0.734	SAT TT=0.657
RoomMate/RoomMate-int-s1/ RoomMate-sr0008-int.xml	SAT TT=0.067	SAT TT=1.202	SAT TT=0.067	SAT TT=0.067	SAT TT=1.926	SAT TT=1.969	SAT TT=0.982	SAT TT=0.977	SAT TT=1.011	SAT TT=1.035	SAT TT=8.241	SAT TT=0.126	SAT TT=0.127	SAT TT=0.206	No data	SAT TT=1.399	No data	SAT TT=2.515	SAT TT=2.61	SAT TT=1.319	SAT TT=0.082	SAT TT=2.329	SAT TT=2.208	SAT TT=9.803	SAT TT=0.18	SAT TT=0.19	SAT TT=0.247	No data	SAT TT=1.44	No data	SAT TT=0.847	SAT TT=0.784
RoomMate/RoomMate-int-s1/ RoomMate-sr0050-int.xml	SAT TT=2.958	SAT TT=6.29	SAT TT=2.969	SAT TT=2.958	SAT TT=131.312	SAT TT=130.783	SAT TT=10.894	SAT TT=10.827	SAT TT=11.096	SAT TT=11.139	SAT TT=26.995	SAT TT=5.417	SAT TT=5.388	SAT TT=8.926	No data	SAT TT=14.932	No data	SAT TT=137.981	SAT TT=114.218	SAT TT=7.207	SAT TT=3.049	SAT TT=177.492	SAT TT=178.309	SAT TT=33.573	SAT TT=5.399	SAT TT=5.412	SAT TT=8.419	No data	SAT TT=23.835	No data	SAT TT=5.943	SAT TT=4.898
RoomMate/RoomMate-int-s1/ RoomMate-sr0090-int.xml	SAT TT=10.117	SAT TT=17.86	SAT TT=10.097	SAT TT=10.117	? TT=6433.91	? TT=7059.63	SAT TT=149.987	SAT TT=151.004	SAT TT=150.485	SAT TT=150.954	SAT TT=46.683	SAT TT=18.12	SAT TT=18.307	SAT TT=30.875	No data	SAT TT=313.881	No data	? TT=15726	? (TO) TT=19321.801	SAT TT=19.553	SAT TT=10.155	? (TO) TT=2400.74	? (TO) TT=2400.54	SAT TT=57.739	SAT TT=18.259	SAT TT=18.207	SAT TT=31.799	No data	SAT TT=1118.46	No data	SAT TT=17.081	SAT TT=12.193
RoomMate/RoomMate-int-s1/ RoomMate-sr1000b-int.xml		? (problem) TT=575.172	? (TO) TT=2519.66	? (TO) TT=2519.63	? TT=12261.9	? TT=11572.6	? TT=1157.61	? TT=368.917	? TT=318.688	? TT=1075.35	? (TO) TT=2524.99	? (MO) TT=445.795	? (MO) TT=437.456	? (TO) TT=2520	No data	? TT=1745.18	No data	? TT=665.946	? (TO) TT=18170.9	? (problem) TT=1007.49	? (TO) TT=2400.01	? TT=495.319	? TT=467.046	? (TO) TT=2415.88	? (MO) TT=437.837	? (MO) TT=428.357	? (TO) TT=2400.03	No data	? (TO) TT=2415.91	No data	? TT=1664.45	? TT=844.87
Sat/Sat-dual-flat200-479/ Sat-flat200-06-dual.xml	SAT TT=2.59	SAT TT=6.611	SAT TT=28.213	SAT TT=23.815	SAT TT=112.017	SAT TT=114.023	SAT TT=10.951	SAT TT=11.321	SAT TT=7.967	SAT TT=8.271	SAT TT=80.826	SAT TT=2.59	SAT TT=0.814	SAT TT=7.879	No data	SAT TT=28.236	No data	SAT (TO) TT=3698.95	SAT TT=200.202	SAT TT=9.132	SAT TT=22.992	SAT TT=188.312	SAT TT=186.892	SAT TT=90.414	SAT TT=2.442	SAT TT=0.835	SAT TT=3.858	No data	SAT TT=33.22	No data	SAT TT=729.371	SAT TT=764.328
Sat/Sat-dual-flat200-479/ Sat-flat200-14-dual.xml	SAT TT=0.673	SAT TT=5.766	SAT TT=20.948	SAT TT=15.161	SAT TT=14.742	SAT TT=15.069	SAT TT=6.342	SAT TT=6.283	SAT TT=7.262	SAT TT=7.181	SAT TT=30.606	SAT TT=0.673	SAT TT=0.726	SAT TT=10.65	No data	SAT TT=11.631	No data	SAT (TO) TT=3642.08	SAT TT=208.115	SAT TT=7.564	SAT TT=14.103	SAT TT=18.367	SAT TT=17.263	SAT TT=38.415	SAT TT=0.642	SAT TT=0.754	SAT TT=1.628	No data	SAT TT=15.393	No data	SAT TT=706.289	SAT TT=680.746
Sat/Sat-dual-flat200-479/ Sat-flat200-32-dual.xml	SAT TT=0.67	SAT TT=5.481	SAT TT=16.021	SAT TT=11.729	SAT TT=23.608	SAT TT=25.481	SAT TT=6.667	SAT TT=6.555	SAT TT=7.854	SAT TT=8.53	SAT TT=29.264	SAT TT=0.67	SAT TT=0.522	SAT TT=4.155	No data	SAT TT=62.584	No data	SAT (TO) TT=3254.99	SAT TT=179.397	SAT TT=7.364	SAT TT=11.685	SAT TT=31.19	SAT TT=30.455	SAT TT=37.207	SAT TT=0.644	SAT TT=0.527	SAT TT=3.166	No data	SAT TT=65.366	No data	SAT TT=656.407	SAT TT=661.175
Sat/Sat-dual-flat200-479/ Sat-flat200-55-dual.xml	SAT TT=3.954	SAT TT=8.019	SAT TT=18.66	SAT TT=17.649	SAT TT=59.082	SAT TT=58.816	SAT TT=7.737	SAT TT=7.54	SAT TT=30.5	SAT TT=29.376	SAT TT=70.681	SAT TT=3.954	SAT TT=3.113	SAT TT=117.241	No data	SAT TT=16.817	No data	SAT (TO) TT=5456.15	SAT TT=339.335	SAT TT=10.331	SAT TT=20.617	SAT TT=92.845	SAT TT=94.266	SAT TT=80.884	SAT TT=3.567	SAT TT=3.121	SAT TT=15.988	No data	SAT TT=20.805	No data	SAT TT=1030.86	SAT TT=1009.14
Sat/Sat-dual-flat200-479/ Sat-flat200-67-dual.xml	SAT TT=2.133	SAT TT=9.252	SAT TT=19.822	SAT TT=15.83	SAT TT=47.156	SAT TT=46.154	SAT TT=7.245	SAT TT=6.783	SAT TT=9.233	SAT TT=8.951	SAT TT=38.595	SAT TT=2.133	SAT TT=2.479	SAT TT=4.77	No data	SAT TT=16.945	No data	SAT (TO) TT=3745.06	SAT TT=100.13	SAT TT=10.826	SAT TT=15.012	SAT TT=69.245	SAT TT=70.724	SAT TT=46.516	SAT TT=1.95	SAT TT=2.328	SAT TT=12.777	No data	SAT TT=20.32	No data	SAT TT=710.673	SAT TT=731.266
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	BTD 2017-07-25 (complete)	BTD 2017-08-10 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: BTD 2017-06-30 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
Sat/Sat-dual-flat200-479/ Sat-flat200-80-dual.xml	SAT TT=0.578	SAT TT=5.828	SAT TT=19.699	SAT TT=15.429	SAT TT=17.121	SAT TT=19.763	SAT TT=6.795	SAT TT=6.89	SAT TT=13.406	SAT TT=12.927	SAT TT=43.51	SAT TT=0.578	SAT TT=1.078	SAT TT=20.775	No data	SAT TT=137.434	No data	SAT (TO) TT=4558.19	SAT TT=421.711	SAT TT=7.986	SAT TT=14.628	SAT TT=21.846	SAT TT=21.817	SAT TT=50.111	SAT TT=0.599	SAT TT=1.122	SAT TT=32.701	No data	SAT TT=144.071	No data	SAT TT=812.065	SAT TT=809.158
Sat/Sat-m1-aim050/ aim-50-2-0-unsat-2.xml	UNSAT TT=0.006	UNSAT TT=1.059	UNSAT TT=0.007	UNSAT TT=0.006	UNSAT TT=1.764	UNSAT TT=1.801	UNSAT TT=0.89	UNSAT TT=0.887	UNSAT TT=1.024	UNSAT TT=1.016	UNSAT TT=6.934	UNSAT TT=0.007	UNSAT TT=0.007	UNSAT TT=0.011	No data	UNSAT TT=1.228	No data	UNSAT TT=2.786	UNSAT TT=2.915	UNSAT TT=1.159	UNSAT TT=0.009	UNSAT TT=1.975	UNSAT TT=1.887	UNSAT TT=8.863	UNSAT TT=0.012	UNSAT TT=0.011	UNSAT TT=0.018	No data	UNSAT TT=1.25	No data	UNSAT TT=0.683	UNSAT TT=0.627
Sat/Sat-m1-aim100/ aim-100-2-0-unsat-2.xml	UNSAT TT=0.017	UNSAT TT=1.196	UNSAT TT=0.019	UNSAT TT=0.019	UNSAT TT=4.135	UNSAT TT=4.434	UNSAT TT=1.191	UNSAT TT=1.195	UNSAT TT=1.308	UNSAT TT=1.285	UNSAT TT=8.024	UNSAT TT=0.017	UNSAT TT=0.01	UNSAT TT=0.024	No data	UNSAT TT=1.375	No data	UNSAT TT=7.805	UNSAT TT=7.345	UNSAT TT=1.317	UNSAT TT=0.031	UNSAT TT=4.171	UNSAT TT=3.523	UNSAT TT=9.875	UNSAT TT=0.021	UNSAT TT=0.019	UNSAT TT=0.048	No data	UNSAT TT=1.474	No data	UNSAT TT=0.77	UNSAT TT=0.694
Sat/Sat-m1-aim200/ aim-200-1-6-sat-3.xml	SAT TT=0.023	SAT TT=1.486	SAT TT=0.037	SAT TT=0.037	SAT TT=2.446	SAT TT=2.456	SAT TT=1.343	SAT TT=1.344	SAT TT=1.379	SAT TT=1.329	SAT TT=9.764	SAT TT=0.023	SAT TT=0.037	SAT TT=0.072	No data	SAT TT=1.743	No data	SAT TT=8.342	SAT TT=7.034	SAT TT=1.667	SAT TT=0.046	SAT TT=2.786	SAT TT=2.752	SAT TT=10.935	Wrong UNSAT TT=0.048	Wrong UNSAT TT=0.029	SAT TT=0.064	No data	SAT TT=1.888	No data	SAT TT=0.918	SAT TT=0.852
Sat/ Sat-m1-jnh/ jnh-012.xml	SAT TT=0.033	SAT TT=2.164	SAT TT=0.075	SAT TT=0.074	SAT TT=4.582	SAT TT=6.34	SAT TT=1.903	SAT TT=1.892	SAT TT=2.075	SAT TT=2.091	SAT TT=10.372	SAT TT=0.033	SAT TT=0.033	SAT TT=0.085	No data	SAT TT=2.284	No data	SAT TT=4.783	SAT TT=4.437	SAT TT=2.549	SAT TT=0.086	SAT TT=5.423	SAT TT=4.926	SAT TT=12.33	SAT TT=0.047	SAT TT=0.061	SAT TT=0.112	No data	SAT TT=2.399	No data	SAT TT=1.647	SAT TT=1.367
Sat/ Sat-m1-jnh/ jnh-213.xml	SAT TT=0.036	SAT TT=2.136	SAT TT=0.064	SAT TT=0.064	SAT TT=4.833	SAT TT=5.156	SAT TT=1.776	SAT TT=1.767	SAT TT=1.866	SAT TT=1.921	SAT TT=10.197	SAT TT=0.036	SAT TT=0.039	SAT TT=0.075	No data	SAT TT=2.195	No data	SAT TT=13.106	SAT TT=9.733	SAT TT=2.454	SAT TT=0.098	SAT TT=5.611	SAT TT=4.854	SAT TT=11.816	SAT TT=0.056	SAT TT=0.047	SAT TT=0.114	No data	SAT TT=2.405	No data	SAT TT=1.691	SAT TT=1.414
Sat/ Sat-m1-jnh/ jnh-302.xml	UNSAT TT=0.021	UNSAT TT=2.015	UNSAT TT=0.021	UNSAT TT=0.021	UNSAT TT=4.247	UNSAT TT=4.203	UNSAT TT=1.703	UNSAT TT=1.712	UNSAT TT=1.831	UNSAT TT=1.812	UNSAT TT=9.948	UNSAT TT=0.032	UNSAT TT=0.033	UNSAT TT=0.074	No data	UNSAT TT=2.196	No data	UNSAT TT=2.211	UNSAT TT=2.284	UNSAT TT=2.502	UNSAT TT=0.029	UNSAT TT=4.67	UNSAT TT=4.547	UNSAT TT=11.355	UNSAT TT=0.049	UNSAT TT=0.057	UNSAT TT=0.101	No data	UNSAT TT=2.379	No data	UNSAT TT=1.66	UNSAT TT=1.392
Sat/Sat-sum-flat200-479/ Sat-flat200-13-sum.xml	SAT TT=0.218	SAT TT=2.832	SAT TT=1.238	SAT TT=1.236	SAT TT=7.522	SAT TT=7.945	SAT TT=2.611	SAT TT=2.627	SAT TT=4.429	SAT TT=4.091	SAT TT=12.695	SAT TT=0.218	SAT TT=0.08	SAT TT=0.912	No data	SAT TT=4.402	No data	SAT (TO) TT=3959.69	SAT TT=9.684	SAT TT=3.57	SAT TT=1.24	SAT TT=8.779	SAT TT=10.837	SAT TT=14.818	SAT TT=0.271	SAT TT=0.109	SAT TT=0.42	No data	SAT TT=4.954	No data	SAT TT=3.35	SAT TT=2.882
Sat/Sat-sum-flat200-479/ Sat-flat200-23-sum.xml	SAT TT=0.485	SAT TT=2.912	SAT TT=2.371	SAT TT=2.352	SAT TT=6.58	SAT TT=10.042	SAT TT=2.355	SAT TT=2.37	SAT TT=5.584	SAT TT=3.171	SAT TT=12.752	SAT TT=0.485	SAT TT=0.132	SAT TT=0.634	No data	SAT TT=4.74	No data	SAT (TO) TT=4284.24	SAT TT=10.858	SAT TT=3.44	SAT TT=2.372	SAT TT=8.474	SAT TT=8.238	SAT TT=15.064	SAT TT=0.52	SAT TT=0.157	SAT TT=0.6	No data	SAT TT=5.094	No data	SAT TT=3.945	SAT TT=3.005
Sat/Sat-sum-flat200-479/ Sat-flat200-24-sum.xml	SAT TT=0.132	SAT TT=2.655	SAT TT=1.154	SAT TT=1.135	SAT TT=4.535	SAT TT=4.503	SAT TT=2.496	SAT TT=2.525	SAT TT=3.654	SAT TT=3.548	SAT TT=12.831	SAT TT=0.132	SAT TT=0.182	SAT TT=0.341	No data	SAT TT=4.782	No data	SAT (TO) TT=4327.27	SAT TT=20.035	SAT TT=3.119	SAT TT=1.151	SAT TT=5.014	SAT TT=4.92	SAT TT=14.864	SAT TT=0.166	SAT TT=0.23	SAT TT=1.375	No data	SAT TT=5.142	No data	SAT TT=3.901	SAT TT=3.416
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	BTD 2017-07-25 (complete)	BTD 2017-08-10 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: BTD 2017-06-30 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
Sat/Sat-sum-flat200-479/ Sat-flat200-37-sum.xml	SAT TT=0.106	SAT TT=3.101	SAT TT=0.868	SAT TT=0.859	SAT TT=6.781	SAT TT=7.396	SAT TT=2.506	SAT TT=2.368	SAT TT=4.483	SAT TT=3.616	SAT TT=15.205	SAT TT=0.106	SAT TT=0.091	SAT TT=0.378	No data	SAT TT=3.396	No data	SAT (TO) TT=3962.52	SAT TT=10.295	SAT TT=3.602	SAT TT=0.909	SAT TT=6.995	SAT TT=9.302	SAT TT=17.969	SAT TT=0.133	SAT TT=0.126	SAT TT=0.62	No data	SAT TT=3.915	No data	SAT TT=3.47	SAT TT=2.911
Sat/Sat-sum-flat200-479/ Sat-flat200-65-sum.xml	SAT TT=0.513	SAT TT=2.699	SAT TT=2.807	SAT TT=2.78	SAT TT=8.681	SAT TT=8.373	SAT TT=2.617	SAT TT=2.605	SAT TT=6.979	SAT TT=3.675	SAT TT=12.938	SAT TT=0.513	SAT TT=0.156	SAT TT=4.348	No data	SAT TT=12.57	No data	SAT (TO) TT=3880.54	SAT TT=26.669	SAT TT=3.17	SAT TT=2.741	SAT TT=9.221	SAT TT=7.946	SAT TT=14.833	SAT TT=0.574	SAT TT=0.209	SAT TT=4.203	No data	SAT TT=13.609	No data	SAT TT=3.351	SAT TT=2.655
Sat/Sat-sum-flat200-479/ Sat-flat200-67-sum.xml	SAT TT=0.286	SAT TT=2.952	SAT TT=0.546	SAT TT=0.542	SAT TT=6.691	SAT TT=10.76	SAT TT=2.367	SAT TT=2.512	SAT TT=3.415	SAT TT=3.584	SAT TT=13.789	SAT TT=0.286	SAT TT=0.119	SAT TT=1.971	No data	SAT TT=3.863	No data	SAT (TO) TT=4028.06	SAT TT=24.015	SAT TT=3.701	SAT TT=0.593	SAT TT=9.292	SAT TT=7.929	SAT TT=15.818	SAT TT=0.343	SAT TT=0.154	SAT TT=0.874	No data	SAT TT=4.57	No data	SAT TT=3.921	SAT TT=3.612
Sat/Sat-xcsp2-bmc/ bmc-ibm-2-02_X2.xml	SAT TT=3.881	SAT TT=6.645	SAT TT=4.074	SAT TT=3.885	SAT TT=11.759	SAT TT=13.243	SAT TT=4.93	SAT TT=4.794	SAT TT=5.124	SAT TT=4.938	? TT=19.074	SAT TT=3.881	SAT TT=3.82	SAT TT=7.118	No data	SAT TT=6.416	No data	SAT (TO) TT=3076.99	SAT TT=20.467	SAT TT=9.055	SAT TT=3.915	SAT TT=14.478	SAT TT=13.153	? TT=24.1	SAT TT=3.883	SAT TT=3.84	SAT TT=6.579	No data	SAT TT=8.17	No data	SAT TT=11.302	SAT TT=8.685
Sat/Sat-xcsp2-bmc/ bmc-ibm-2-04_X2.xml	SAT TT=3.832	SAT TT=6.705	SAT TT=4.066	SAT TT=3.899	SAT TT=13.431	SAT TT=12.458	SAT TT=4.771	SAT TT=5.186	SAT TT=4.983	SAT TT=4.971	? TT=19.095	SAT TT=3.832	SAT TT=3.794	SAT TT=6.747	No data	SAT TT=6.796	No data	SAT (TO) TT=3058.34	SAT TT=17.996	SAT TT=9.409	SAT TT=3.935	SAT TT=13.441	SAT TT=13.76	? TT=23.98	SAT TT=3.864	SAT TT=3.892	SAT TT=6.6	No data	SAT TT=9.081	No data	SAT TT=12.571	SAT TT=10.21
Sat/Sat-xcsp2-bmc/ bmc-ibm-4-02_X2.xml	SAT TT=35.597	SAT TT=51.898	SAT TT=553.536	SAT TT=546.636	SAT TT=75.781	SAT TT=81.079	SAT TT=100.154	SAT TT=99.276	Wrong UNSAT TT=18.946	SAT TT=45.212	? TT=55.769	? (MO) TT=15.198	? (MO) TT=15.362	SAT TT=127.811	No data	SAT TT=35.597	No data	SAT (TO) TT=3731.18	SAT TT=370.167	SAT TT=72.533	SAT TT=558.687	SAT TT=107.47	SAT TT=107.436	? TT=77.461	? (MO) TT=15.232	? (MO) TT=15.239	SAT TT=124.604	No data	SAT TT=47.775	No data	SAT TT=247.434	SAT TT=232.404
Sat/Sat-xcsp2-bmc/ bmc-ibm-5-04_X2.xml	SAT TT=10.105	SAT TT=13.959	SAT TT=44.58	SAT TT=41.414	SAT TT=25.88	SAT TT=26.594	SAT TT=10.342	SAT TT=10.105	SAT TT=10.904	SAT TT=10.826	? TT=29.984	SAT TT=14.027	SAT TT=14.304	SAT TT=26.499	No data	SAT TT=11.455	No data	SAT (TO) TT=2813.51	SAT (TO) TT=2647.86	SAT TT=19.405	SAT TT=43.311	SAT TT=30.911	SAT TT=31.707	? TT=37.631	SAT TT=14.053	SAT TT=14.422	SAT TT=26.026	No data	SAT TT=13.834	No data	SAT TT=32.238	SAT TT=29.372
Sat/Sat-xcsp2-bmc/ bmc-ibm-7-02_X2.xml	UNSAT TT=7.707	UNSAT TT=11.902	UNSAT TT=33.641	UNSAT TT=30.22	UNSAT TT=25.053	UNSAT TT=25.082	UNSAT TT=7.757	UNSAT TT=7.822	UNSAT TT=7.817	UNSAT TT=7.707	? TT=30.823	UNSAT TT=12.391	UNSAT TT=12.255	UNSAT TT=25.297	No data	UNSAT TT=8.377	No data	UNSAT TT=9.608	UNSAT TT=9.521	UNSAT TT=15.412	UNSAT TT=29.803	UNSAT TT=28.297	UNSAT TT=28.907	? TT=36.645	UNSAT TT=13.796	UNSAT TT=12.33	UNSAT TT=23.743	No data	UNSAT TT=10.397	No data	UNSAT TT=14.686	UNSAT TT=11.176
Sat/Sat-xcsp2-bmc/ bmc-ibm-7-16_X2.xml	UNSAT TT=8.021	UNSAT TT=12.441	UNSAT TT=34.625	UNSAT TT=32.773	UNSAT TT=25.042	UNSAT TT=24.47	UNSAT TT=8.094	UNSAT TT=8.021	UNSAT TT=7.982	UNSAT TT=8.04	? TT=29.942	UNSAT TT=12.481	UNSAT TT=12.474	UNSAT TT=24.548	No data	UNSAT TT=8.476	No data	UNSAT TT=9.432	UNSAT TT=9.243	UNSAT TT=17.818	UNSAT TT=31.134	UNSAT TT=29.879	UNSAT TT=30.007	? TT=37.367	UNSAT TT=12.715	UNSAT TT=12.332	UNSAT TT=23.753	No data	UNSAT TT=10.787	No data	UNSAT TT=196.213	UNSAT TT=103.854
Scheduling/ Scheduling-fs-taillard/ Taillard-fs-020-05-0.xml	SAT TO f=1278 TT=2400.1 T1=918.83	SAT (TO) f=1364 TT=2520.07 T1=23.43	No data	No data	SAT (TO) f=1344 TT=19557 T1=398.06	SAT (TO) f=1344 TT=18762.1 T1=443.32	SAT (TO) f=1374 TT=2520.1 T1=1058.6	SAT (TO) f=1374 TT=2520.11 T1=1061.79	SAT (TO) f=1370 TT=2520.11 T1=590.51	SAT (TO) f=1370 TT=2520.12 T1=564.18	? (TO) TT=2520.88	? (NS) TT=0.116	? (NS) TT=0.117	SAT (TO) f=1278 TT=2520.02 T1=918.83	SAT (TO) f=1297 TT=2520.08 T1=2179.49	SAT (TO) f=1343 TT=2520.08 T1=1.37	SAT (TO) f=1290 TT=2520.07 T1=946.87	SAT (TO) f=1297 TT=19819.801 T1=35.87	SAT (TO) f=1297 TT=19820.6 T1=132.03	SAT (TO) f=1364 TT=2400.02 T1=22.97	No data	SAT (TO) f=1323 TT=2400.5 T1=221.96	SAT (TO) f=1323 TT=2400.05 T1=306.96	? (TO) TT=2401.99	? (NS) TT=0.171	? (NS) TT=0.166	SAT (TO) f=1278 TT=2400.1 T1=935.17	SAT (TO) f=1290 TT=2400.1 T1=268.4	SAT (TO) f=1343 TT=2400.12 T1=1.23	SAT (TO) f=1290 TT=2400.07 T1=76.83	? (TO) TT=2415.61	? TT=1551.83
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	BTD 2017-07-25 (complete)	BTD 2017-08-10 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: BTD 2017-06-30 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
Scheduling/ Scheduling-fs-taillard/ Taillard-fs-020-05-2.xml	SAT TO f=1098 TT=19853.1 T1=11253.96	? (TO) TT=2520.1	No data	No data	? (TO) TT=19991.699	? (TO) TT=19429.5	? (TO) TT=2520.1	? (TO) TT=2520.09	SAT (TO) f=1180 TT=2520.1 T1=711.94	SAT (TO) f=1180 TT=2520.03 T1=704.8	? (TO) TT=2520.91	? (NS) TT=0.115	? (NS) TT=0.117	SAT (TO) f=1107 TT=2520.07 T1=80.22	SAT (TO) f=1180 TT=2520.07 T1=1872.95	? (TO) TT=2520.04	? (TO) TT=2520.05	SAT (TO) f=1100 TT=19808.6 T1=897.91	SAT (TO) f=1098 TT=19853.1 T1=11253.96	? (TO) TT=2400.09	No data	? (TO) TT=2400.25	? (TO) TT=2400.61	? (TO) TT=2401.97	? (NS) TT=0.168	? (NS) TT=0.165	SAT (TO) f=1107 TT=2400.07 T1=80.61	SAT (TO) f=1132 TT=2400.07 T1=1981.05	? (TO) TT=2400.08	? (TO) TT=2400.06	? (TO) TT=2415.8	? TT=1556.93
Scheduling/ Scheduling-fs-taillard/ Taillard-fs-020-05-8.xml	SAT TO f=1239 TT=2400.12 T1=2066.41	? (TO) TT=2520.03	No data	No data	SAT (TO) f=1315 TT=19616.801 T1=2313.41	SAT (TO) f=1315 TT=18994.1 T1=2349.9	? (TO) TT=2520.05	? (TO) TT=2520.05	? (TO) TT=2520.07	? (TO) TT=2520.03	? (TO) TT=2520.96	? (NS) TT=0.115	? (NS) TT=0.117	SAT (TO) f=1252 TT=2519.74 T1=1894.39	SAT (TO) f=1244 TT=2520.1 T1=2426.75	SAT (TO) f=1329 TT=2520.09 T1=3.23	SAT (TO) f=1255 TT=2520.08 T1=1081.64	SAT (TO) f=1254 TT=19843.301 T1=1243.85	SAT (TO) f=1256 TT=19831.699 T1=375.53	? (TO) TT=2400.11	No data	SAT (TO) f=1314 TT=2400.15 T1=281.92	SAT (TO) f=1320 TT=2400.45 T1=226.01	? (TO) TT=2401.96	? (NS) TT=0.17	? (NS) TT=0.169	SAT (TO) f=1252 TT=2400.07 T1=1884.78	SAT (TO) f=1239 TT=2400.12 T1=2066.41	SAT (TO) f=1329 TT=2400.07 T1=2.96	SAT (TO) f=1266 TT=2400.08 T1=1138.7	? (TO) TT=2415.61	? TT=1640.84
Scheduling/ Scheduling-fs-taillard/ Taillard-fs-020-10-7.xml	SAT TO f=1597 TT=2520.07 T1=2439.24	? (TO) TT=2520.04	No data	No data	? (TO) TT=19918.1	? (TO) TT=19458.199	? (TO) TT=2520.08	? (TO) TT=2520.11	? (TO) TT=2520.1	? (TO) TT=2520.03	? (TO) TT=2521.26	? (NS) TT=0.225	? (NS) TT=0.226	? (TO) TT=2520.08	SAT (TO) f=1597 TT=2520.07 T1=2439.24	? (TO) TT=2520.04	? (TO) TT=2520.04	SAT (TO) f=1637 TT=19825.301 T1=553.71	SAT (TO) f=1637 TT=19836.4 T1=4359.45	? (TO) TT=2400.1	No data	? (TO) TT=2400.47	? (TO) TT=2400.36	? (TO) TT=2402.66	? (NS) TT=0.286	? (NS) TT=0.284	? (TO) TT=2400.04	SAT (TO) f=1620 TT=2400.11 T1=619.88	? (TO) TT=2400.04	? (TO) TT=2400.1	? (TO) TT=2416.12	? TT=1561.35
Scheduling/ Scheduling-fs-taillard/ Taillard-fs-050-05-1.xml		? (TO) TT=2520.06	No data	No data	? (TO) TT=20061.9	? (TO) TT=19971.1	? (TO) TT=2520.03	? (TO) TT=2520.08	? (TO) TT=2520.04	? (TO) TT=2520.04	? (TO) TT=2522.18	? (NS) TT=0.291	? (NS) TT=0.297	? (TO) TT=2520.08	? (TO) TT=2520.03	? (TO) TT=2520.08	? (TO) TT=2520.04	? (TO) TT=19578.801	? (TO) TT=19601.4	? (TO) TT=2400.1	No data	? (TO) TT=2400.26	? (TO) TT=2400.2	? (TO) TT=2405.94	? (NS) TT=0.345	? (NS) TT=0.344	? (TO) TT=2400.08	? (TO) TT=2400.07	? (TO) TT=2400.08	? (TO) TT=2400.1	? (TO) TT=2416.06	? (problem) TT=1865.04
Scheduling/ Scheduling-fs-taillard/ Taillard-fs-050-05-8.xml		? (TO) TT=2520.09	No data	No data	? (TO) TT=20078.801	? (TO) TT=19983.6	? (TO) TT=2520.05	? (TO) TT=2520.11	? (TO) TT=2520.11	? (TO) TT=2520.09	? (TO) TT=2522.26	? (NS) TT=0.29	? (NS) TT=0.295	? (TO) TT=2520.1	? (TO) TT=2520.08	? (TO) TT=2520.07	? (TO) TT=2520.09	? (TO) TT=19604.801	? (TO) TT=19590.1	? (TO) TT=2400.45	No data	? (TO) TT=2400.75	? (TO) TT=2400.66	? (TO) TT=2404.38	? (NS) TT=0.349	? (NS) TT=0.345	? (TO) TT=2400.02	? (TO) TT=2400.06	? (TO) TT=2400.05	? (TO) TT=2400.1	? (TO) TT=2416.32	? (problem) TT=1858.01
Scheduling/ Scheduling-fs-taillard/ Taillard-fs-050-05-9.xml	SAT TO f=2830 TT=2400.12 T1=1451.01	? (TO) TT=2520.2	No data	No data	? (TO) TT=20044.301	? (TO) TT=19932.1	? (TO) TT=2520.1	? (TO) TT=2520.05	? (TO) TT=2520.11	? (TO) TT=2520.11	? (TO) TT=2522.06	? (NS) TT=0.304	? (NS) TT=0.293	? (TO) TT=2520	SAT (TO) f=2830 TT=2520.03 T1=1690.99	? (TO) TT=2520.06	? (TO) TT=2520.05	SAT (TO) f=2881 TT=19579.6 T1=113.13	SAT (TO) f=2881 TT=19565.6 T1=485.71	? (TO) TT=2400.55	No data	? (TO) TT=2400.27	? (TO) TT=2400.4	? (TO) TT=2406.01	? (NS) TT=0.351	? (NS) TT=0.344	? (TO) TT=2400.1	SAT (TO) f=2830 TT=2400.12 T1=1451.01	? (TO) TT=2400.1	? (TO) TT=2400.07	? (TO) TT=2416.08	? (problem) TT=1867
Scheduling/ Scheduling-fs-taillard/ Taillard-fs-050-10-6.xml		? (TO) TT=2520.08	No data	No data	? (TO) TT=20100.5	? (TO) TT=20065.199	? (TO) TT=2520.04	? (TO) TT=2520.11	? (TO) TT=2520.02	? (TO) TT=2520.08	? (TO) TT=2523.97	? (NS) TT=0.576	? (NS) TT=0.597	? (TO) TT=2519.98	? (TO) TT=2520.04	? (TO) TT=2520.03	? (TO) TT=2520.05	? (TO) TT=19417.1	? (TO) TT=19388.801	? (TO) TT=2400.06	No data	? (TO) TT=2400.28	? (TO) TT=2400.61	? (TO) TT=2408.63	? (NS) TT=0.635	? (NS) TT=0.622	? (TO) TT=2400.1	? (TO) TT=2400.07	? (TO) TT=2400.08	? (TO) TT=2400.08	? (TO) TT=2416.23	? TT=1742.73
Scheduling/ Scheduling-fs-taillard/ Taillard-fs-050-10-9.xml		? (TO) TT=2520.06	No data	No data	? (TO) TT=20103.1	? (TO) TT=20072.199	? (TO) TT=2520.06	? (TO) TT=2520.09	? (TO) TT=2520.05	? (TO) TT=2520.13	? (TO) TT=2523.64	? (NS) TT=0.585	? (NS) TT=0.585	? (TO) TT=2519.65	? (TO) TT=2520.1	? (TO) TT=2520.08	? (TO) TT=2520.02	? (TO) TT=19473.4	? (TO) TT=19472.6	? (TO) TT=2400.02	No data	? (TO) TT=2400	? (TO) TT=2400.22	? (TO) TT=2409.6	? (NS) TT=0.602	? (NS) TT=0.635	? (TO) TT=2400.02	? (TO) TT=2400.06	? (TO) TT=2400.09	? (TO) TT=2400.05	? (TO) TT=2416.1	? TT=1745.51
Scheduling/ Scheduling-fs-taillard/ Taillard-fs-050-20-1.xml		? (TO) TT=2520.05	No data	No data	? (TO) TT=20098.6	? (TO) TT=20099.301	? (TO) TT=2520.09	? (TO) TT=2520.04	? (TO) TT=2520.12	? (TO) TT=2520.11	? (TO) TT=2525.58	? (NS) TT=1.167	? (NS) TT=1.181	? (TO) TT=2519.8	? (TO) TT=2520.1	? (TO) TT=2520.1	? (TO) TT=2520.09	? (TO) TT=19067.1	? (TO) TT=19081.699	? (TO) TT=2400.12	No data	? (TO) TT=2400.51	? (TO) TT=2400.52	? (TO) TT=2410.94	? (NS) TT=1.223	? (NS) TT=1.271	? (TO) TT=2400.02	? (TO) TT=2400.01	? (TO) TT=2400.06	? (TO) TT=2400.1	? (TO) TT=2416.18	? TT=1940.01
Scheduling/ Scheduling-fs-taillard/ Taillard-fs-100-05-1.xml		? (TO) TT=2520.03	No data	No data	? (TO) TT=20002.199	? (TO) TT=20029.301	? (TO) TT=2520.11	? (TO) TT=2520.1	? (TO) TT=2520.1	? (TO) TT=2520.12	? (TO) TT=2525.78	? (NS) TT=0.596	? (NS) TT=0.622	? (TO) TT=2519.79	? (TO) TT=2520.06	? (TO) TT=2520.09	? (TO) TT=2520.14	? (TO) TT=18898.4	? (TO) TT=18903.301	? (TO) TT=2400.03	No data	? (TO) TT=2400.1	? (TO) TT=2400.25	? (TO) TT=2412.49	? (NS) TT=0.652	? (NS) TT=0.661	? (TO) TT=2400.05	? (TO) TT=2400.08	? (TO) TT=2400.05	? (TO) TT=2400.05	? (TO) TT=2416.21	? (problem) TT=2043.33
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	BTD 2017-07-25 (complete)	BTD 2017-08-10 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: BTD 2017-06-30 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
Scheduling/ Scheduling-fs-taillard/ Taillard-fs-100-05-3.xml		? (TO) TT=2520.09	No data	No data	? (TO) TT=19786.5	? (TO) TT=19800.699	? (TO) TT=2520.09	? (TO) TT=2520.1	? (TO) TT=2520.07	? (TO) TT=2520.11	? (TO) TT=2525.83	? (NS) TT=0.603	? (NS) TT=0.607	? (TO) TT=2519.85	? (TO) TT=2520.03	? (TO) TT=2520.1	? (TO) TT=2520.1	? (TO) TT=18856.301	? (TO) TT=18856.4	? (TO) TT=2400.08	No data	? (TO) TT=2400.21	? (TO) TT=2400.7	? (TO) TT=2411.46	? (NS) TT=0.639	? (NS) TT=0.652	? (TO) TT=2400.1	? (TO) TT=2400.05	? (TO) TT=2400.05	? (TO) TT=2400.02	? (TO) TT=2416.44	? (problem) TT=1803.4
Scheduling/ Scheduling-fs-taillard/ Taillard-fs-100-05-7.xml		? (TO) TT=2520.05	No data	No data	? (TO) TT=19987.301	? (TO) TT=19818.699	? (TO) TT=2520.05	? (TO) TT=2520.05	? (TO) TT=2520.04	? (TO) TT=2520.02	? (TO) TT=2525.69	? (NS) TT=0.61	? (NS) TT=0.6	? (TO) TT=2519.64	? (TO) TT=2520.05	? (TO) TT=2520.06	? (TO) TT=2520.05	? (TO) TT=18923	? (TO) TT=18917.301	? (TO) TT=2400.06	No data	? (TO) TT=2400.59	? (TO) TT=2400.23	? (TO) TT=2411.11	? (NS) TT=0.681	? (NS) TT=0.651	? (TO) TT=2400.03	? (TO) TT=2400.03	? (TO) TT=2400.03	? (TO) TT=2400.04	? (TO) TT=2416.29	? (problem) TT=2002.58
Scheduling/ Scheduling-fs-taillard/ Taillard-fs-100-10-5.xml		? (TO) TT=2520.04	No data	No data	? (TO) TT=20087.1	? (TO) TT=19880.301	? (TO) TT=2520.12	? (TO) TT=2520.12	? (TO) TT=2520.1	? (TO) TT=2520.06	? (TO) TT=2527.71	? (NS) TT=1.208	? (NS) TT=1.194	? (TO) TT=2520.07	? (TO) TT=2520.06	? (TO) TT=2520.06	? (TO) TT=2520.12	? (TO) TT=18279.699	? (TO) TT=18258.9	? (TO) TT=2400.11	No data	? (TO) TT=2400.3	? (TO) TT=2400.06	? (TO) TT=2414.54	? (NS) TT=1.283	? (NS) TT=1.277	? (TO) TT=2400.05	? (TO) TT=2400.08	? (TO) TT=2400.03	? (TO) TT=2400.07	? (TO) TT=2416.04	? TT=1723.17
Scheduling/ Scheduling-fs-taillard/ Taillard-fs-100-20-3.xml		? (TO) TT=2520.1	No data	No data	? (TO) TT=20093.199	? (TO) TT=20093.801	? (TO) TT=2520.04	? (TO) TT=2520.07	? (TO) TT=2520.04	? (TO) TT=2520.09	? (TO) TT=2527.22	? (NS) TT=2.443	? (NS) TT=2.554	? (TO) TT=2519.59	? (TO) TT=2520.07	? (TO) TT=2520.09	? (TO) TT=2520.29	? (TO) TT=16755.1	? (TO) TT=16813.6	? (TO) TT=2400.1	No data	? (TO) TT=2400.08	? (TO) TT=2400.43	? (TO) TT=2415.2	? (NS) TT=2.556	? (NS) TT=2.503	? (TO) TT=2400.07	? (TO) TT=2400.02	? (TO) TT=2400.09	? (TO) TT=2400.03	? (TO) TT=2415.83	? (problem) TT=2273.97
Scheduling/ Scheduling-fs-taillard/ Taillard-fs-100-20-6.xml		? (TO) TT=2520.03	No data	No data	? (TO) TT=20095	? (TO) TT=20092.5	? (TO) TT=2520.1	? (TO) TT=2520.09	? (TO) TT=2520.09	? (TO) TT=2520.1	? (TO) TT=2527.67	? (NS) TT=2.454	? (NS) TT=2.453	? (TO) TT=2519.76	? (TO) TT=2520.06	? (TO) TT=2520.1	? (TO) TT=2520.04	? (TO) TT=16827.5	? (TO) TT=16006.5	? (TO) TT=2400.06	No data	? (TO) TT=2400.34	? (TO) TT=2400.71	? (TO) TT=2415.62	? (NS) TT=2.486	? (NS) TT=2.512	? (TO) TT=2400.1	? (TO) TT=2400.02	? (TO) TT=2400.07	? (TO) TT=2400.04	? TT=1218.87	? (TO) TT=2527.36
Scheduling/ Scheduling-fs-taillard/ Taillard-fs-200-10-2.xml		? (TO) TT=2520.08	No data	No data	? (TO) TT=20088.801	? (TO) TT=20071.699	? (TO) TT=2520.07	? (TO) TT=2520.05	? (TO) TT=2520.03	? (TO) TT=2520.05	? (TO) TT=2527.56	? (NS) TT=2.648	? (NS) TT=2.641	? (TO) TT=2520.03	? (TO) TT=2520.11	? (TO) TT=2520.11	? (TO) TT=2520.1	? (TO) TT=13809.8	? (TO) TT=13800	? (TO) TT=2400.05	No data	? (TO) TT=2400.13	? (TO) TT=2400.71	? (TO) TT=2415.24	? (NS) TT=3.098	? (NS) TT=2.687	? (TO) TT=2400.1	? (TO) TT=2400.07	? (TO) TT=2400.11	? (TO) TT=2400.1	? (TO) TT=2416.26	? (TO) TT=2528.08
Scheduling/ Scheduling-jsdec-sadeh/ Sadeh-e0ddr1-9.xml	SAT TT=0.174	SAT TT=1.543	? (NS) TT=0.065	? (NS) TT=0.067	SAT TT=2.547	SAT TT=2.364	SAT TT=1.095	SAT TT=1.107	SAT TT=1.148	SAT TT=1.142	SAT TT=10.146	? (NS) TT=0.103	? (NS) TT=0.101	SAT TT=0.174	No data	? TT=0.905	No data	? TT=0.905	? TT=0.909	SAT TT=1.878	? (NS) TT=0.09	SAT TT=2.63	SAT TT=2.488	SAT TT=12.38	? (NS) TT=0.147	? (NS) TT=0.155	SAT TT=0.21	No data	? TT=0.971	No data	SAT TT=47.217	SAT TT=27.313
Scheduling/ Scheduling-jsdec-sadeh/ Sadeh-e0ddr2-0.xml	SAT TT=0.167	SAT TT=1.675	? (NS) TT=0.067	? (NS) TT=0.066	SAT TT=2.776	SAT TT=2.41	SAT TT=1.129	SAT TT=1.127	SAT TT=1.288	SAT TT=1.288	SAT TT=9.733	? (NS) TT=0.104	? (NS) TT=0.104	SAT TT=0.167	No data	? TT=0.912	No data	? TT=0.899	? TT=0.916	SAT TT=1.924	? (NS) TT=0.106	SAT TT=2.82	SAT TT=2.561	SAT TT=12.253	? (NS) TT=0.157	? (NS) TT=0.157	SAT TT=0.221	No data	? TT=0.974	No data	SAT TT=188.645	SAT TT=172.539
Scheduling/ Scheduling-jsdec-sadeh/ Sadeh-enddr1-3.xml	SAT TT=0.171	SAT TT=1.662	? (NS) TT=0.067	? (NS) TT=0.069	SAT TT=2.594	SAT TT=2.294	SAT TT=1.085	SAT TT=1.097	SAT TT=1.146	SAT TT=1.135	SAT TT=9.543	? (NS) TT=0.101	? (NS) TT=0.099	SAT TT=0.171	No data	? TT=0.908	No data	? TT=0.898	? TT=0.919	SAT TT=1.985	? (NS) TT=0.109	SAT TT=2.868	SAT TT=2.654	SAT TT=12.784	? (NS) TT=0.155	? (NS) TT=0.149	SAT TT=0.204	No data	? TT=0.986	No data	SAT TT=110.938	SAT TT=78.531
Scheduling/ Scheduling-jsdec-sadeh/ Sadeh-enddr1-4.xml	SAT TT=0.161	SAT TT=1.605	? (NS) TT=0.066	? (NS) TT=0.066	SAT TT=2.43	SAT TT=2.289	SAT TT=1.122	SAT TT=1.094	SAT TT=1.177	SAT TT=1.183	SAT TT=10.433	? (NS) TT=0.102	? (NS) TT=0.109	SAT TT=0.161	No data	? TT=0.915	No data	? TT=0.885	? TT=0.915	SAT TT=1.782	? (NS) TT=0.103	SAT TT=2.559	SAT TT=2.611	SAT TT=12.983	? (NS) TT=0.172	? (NS) TT=0.158	SAT TT=0.206	No data	? TT=0.983	No data	SAT TT=101.553	SAT TT=69.31
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	BTD 2017-07-25 (complete)	BTD 2017-08-10 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: BTD 2017-06-30 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
Scheduling/ Scheduling-jsdec-sadeh/ Sadeh-ewddr1-9.xml	SAT TT=0.054	SAT TT=1.17	SAT TT=0.054	SAT TT=0.054	SAT TT=1.481	SAT TT=1.46	SAT TT=0.878	SAT TT=0.874	SAT TT=0.92	SAT TT=0.922	SAT TT=6.95	SAT TT=0.1	SAT TT=0.104	SAT TT=0.171	No data	? TT=0.906	No data	? TT=0.875	? TT=0.901	SAT TT=1.562	SAT TT=0.093	SAT TT=1.76	SAT TT=1.701	SAT TT=8.154	SAT TT=0.16	SAT TT=0.152	SAT TT=0.218	No data	? TT=0.977	No data	SAT TT=0.776	SAT TT=0.73
Scheduling/ Scheduling-jsdec-sadeh/ Sadeh-ewddr2-4.xml	SAT TT=0.167	SAT TT=1.666	? (NS) TT=0.068	? (NS) TT=0.068	SAT TT=2.663	SAT TT=2.848	SAT TT=1.1	SAT TT=1.095	SAT TT=1.145	SAT TT=1.135	SAT TT=9.796	? (NS) TT=0.101	? (NS) TT=0.1	SAT TT=0.167	No data	? TT=0.912	No data	? TT=0.889	? TT=0.907	SAT TT=1.839	? (NS) TT=0.112	SAT TT=2.784	SAT TT=2.761	SAT TT=12.502	? (NS) TT=0.155	? (NS) TT=0.154	SAT TT=0.216	No data	? TT=0.929	No data	SAT TT=135.454	SAT TT=99.966
Scheduling/ Scheduling-js-taillard/ Taillard-js-015-15-2.xml	SAT TO f=1218 TT=2400.02 T1=288.4	SAT (TO) f=1293 TT=2520.05 T1=1887.5	No data	No data	SAT (TO) f=1292 TT=19780.9 T1=491.13	SAT (TO) f=1302 TT=19318.301 T1=1983.75	SAT (TO) f=1318 TT=2520.09 T1=1406.77	SAT (TO) f=1318 TT=2520.09 T1=1378.78	SAT (TO) f=1315 TT=2520.02 T1=1800.85	SAT (TO) f=1315 TT=2520.1 T1=1802.69	? (TO) TT=2521.03	? (NS) TT=0.259	? (NS) TT=0.262	SAT (TO) f=1218 TT=2520.03 T1=288.4	SAT (TO) f=1223 TT=2520.03 T1=1921.19	? (TO) TT=2520.1	? (TO) TT=2520.1	SAT (TO) f=1269 TT=19892.699 T1=591.16	SAT (TO) f=1260 TT=19907.801 T1=16577.471	SAT (TO) f=1293 TT=2400.07 T1=1833.78	No data	SAT (TO) f=1299 TT=2400.11 T1=311.99	SAT (TO) f=1308 TT=2400.78 T1=218.18	? (TO) TT=2402.38	? (NS) TT=0.309	? (NS) TT=0.31	SAT (TO) f=1218 TT=2400.02 T1=311.28	SAT (TO) f=1255 TT=2400.08 T1=627.81	? (TO) TT=2400.06	? (TO) TT=2400.03	? (TO) TT=2416.69	? TT=1523.04
Scheduling/ Scheduling-js-taillard/ Taillard-js-015-15-4.xml	SAT TO f=1233 TT=2400.03 T1=5.71	SAT (TO) f=1305 TT=2520.11 T1=2507.14	No data	No data	SAT (TO) f=1307 TT=19509.5 T1=1047.32	SAT (TO) f=1305 TT=19019.301 T1=2416.94	SAT (TO) f=1295 TT=2520.05 T1=1389.58	SAT (TO) f=1295 TT=2520.06 T1=1377.84	SAT (TO) f=1315 TT=2520.06 T1=633.23	SAT (TO) f=1315 TT=2520.1 T1=622.56	? (TO) TT=2521.14	? (NS) TT=0.256	? (NS) TT=0.282	SAT (TO) f=1233 TT=2520.08 T1=5.74	? (TO) TT=2520.08	? (TO) TT=2520.03	? (TO) TT=2520.06	? (TO) TT=19842.301	? (TO) TT=19860.699	SAT (TO) f=1304 TT=2400.11 T1=2346.76	No data	SAT (TO) f=1324 TT=2400.36 T1=231.92	SAT (TO) f=1309 TT=2400.73 T1=253.65	? (TO) TT=2402.56	? (NS) TT=0.316	? (NS) TT=0.316	SAT (TO) f=1233 TT=2400.03 T1=5.71	? (TO) TT=2400.11	? (TO) TT=2400.07	? (TO) TT=2400.11	? (TO) TT=2416.52	? (problem) TT=1524.22
Scheduling/ Scheduling-js-taillard/ Taillard-js-015-15-7.xml	SAT TO f=1217 TT=2400.05 T1=1526.87	SAT (TO) f=1312 TT=2520.02 T1=2422.22	No data	No data	SAT (TO) f=1300 TT=19719.199 T1=367.24	SAT (TO) f=1285 TT=19203.801 T1=286.1	SAT (TO) f=1306 TT=2520.09 T1=1150.82	SAT (TO) f=1306 TT=2520.07 T1=1142.69	SAT (TO) f=1299 TT=2520.05 T1=2220.73	SAT (TO) f=1299 TT=2520.1 T1=2234.3	? (TO) TT=2521.1	? (NS) TT=0.255	? (NS) TT=0.267	SAT (TO) f=1217 TT=2519.67 T1=1526.87	SAT (TO) f=1225 TT=2520.06 T1=1577.49	SAT (TO) f=1304 TT=2520.07 T1=1239.82	SAT (TO) f=1233 TT=2520.14 T1=1761.91	SAT (TO) f=1286 TT=19880.1 T1=2498.89	SAT (TO) f=1285 TT=19923.5 T1=16927.08	SAT (TO) f=1312 TT=2400.11 T1=2087.03	No data	SAT (TO) f=1302 TT=2400.1 T1=270.66	SAT (TO) f=1300 TT=2400.29 T1=162.83	? (TO) TT=2402.51	? (NS) TT=0.313	? (NS) TT=0.307	SAT (TO) f=1217 TT=2400.05 T1=1538.1	SAT (TO) f=1222 TT=2400.06 T1=2243.18	SAT (TO) f=1304 TT=2400.02 T1=1251.83	SAT (TO) f=1286 TT=2400.07 T1=1686.93	? (TO) TT=2416.15	? TT=1849.71
Scheduling/ Scheduling-js-taillard/ Taillard-js-015-15-9.xml	SAT TO f=1243 TT=2400.07 T1=1290	SAT (TO) f=1314 TT=2520.09 T1=1444.4	No data	No data	SAT (TO) f=1323 TT=19692.9 T1=252.64	SAT (TO) f=1317 TT=19184.6 T1=807.25	SAT (TO) f=1354 TT=2520.07 T1=478.92	SAT (TO) f=1354 TT=2520.05 T1=495.74	SAT (TO) f=1342 TT=2520.09 T1=485.23	SAT (TO) f=1342 TT=2520.1 T1=479.79	SAT (TO) f=1302 TT=2520.12 T1=398.86	? (NS) TT=0.264	? (NS) TT=0.253	SAT (TO) f=1259 TT=2519.7 T1=14.42	SAT (TO) f=1271 TT=2520.11 T1=2103.88	SAT (TO) f=1358 TT=2520.04 T1=4.59	SAT (TO) f=1282 TT=2520.06 T1=891.73	SAT (TO) f=1300 TT=19891.699 T1=1877.74	SAT (TO) f=1286 TT=19893.199 T1=17151.15	SAT (TO) f=1314 TT=2400.11 T1=1302.83	No data	SAT (TO) f=1341 TT=2400.13 T1=242.4	SAT (TO) f=1333 TT=2400.73 T1=291.95	SAT (TO) f=1302 TT=2400.11 T1=383.69	? (NS) TT=0.285	? (NS) TT=0.316	SAT (TO) f=1259 TT=2400.04 T1=14.99	SAT (TO) f=1243 TT=2400.07 T1=1290	SAT (TO) f=1358 TT=2400.09 T1=4.73	SAT (TO) f=1297 TT=2400.13 T1=1097.71	? (TO) TT=2415.76	? TT=1694.13
Scheduling/ Scheduling-js-taillard/ Taillard-js-020-15-1.xml	SAT TO f=1389 TT=2400.05 T1=982.21	? (TO) TT=2520.05	No data	No data	SAT (TO) f=1476 TT=19877.801 T1=415.42	SAT (TO) f=1476 TT=19407.9 T1=854.81	? (TO) TT=2520.02	? (TO) TT=2520.11	? (TO) TT=2520.07	? (TO) TT=2520.03	? (TO) TT=2521.67	? (NS) TT=0.347	? (NS) TT=0.338	SAT (TO) f=1389 TT=2519.83 T1=982.21	? (TO) TT=2520.09	? (TO) TT=2520.08	? (TO) TT=2520.07	? (TO) TT=19854	? (TO) TT=19857.301	? (TO) TT=2400.1	No data	? (TO) TT=2400.43	? (TO) TT=2400.69	? (TO) TT=2403.67	? (NS) TT=0.383	? (NS) TT=0.394	SAT (TO) f=1389 TT=2400.05 T1=991.25	? (TO) TT=2400.04	? (TO) TT=2400.02	? (TO) TT=2400.05	? (TO) TT=2415.84	? TT=1831.84
Scheduling/ Scheduling-js-taillard/ Taillard-js-020-15-4.xml	SAT TO f=1387 TT=2400.09 T1=1522.89	? (TO) TT=2520.04	No data	No data	? (TO) TT=19925	? (TO) TT=19552.9	? (TO) TT=2520.07	? (TO) TT=2520.09	? (TO) TT=2520.05	? (TO) TT=2520.07	? (TO) TT=2521.72	? (NS) TT=0.338	? (NS) TT=0.341	SAT (TO) f=1387 TT=2520.03 T1=1522.89	? (TO) TT=2520.05	? (TO) TT=2520.05	? (TO) TT=2520.08	? (TO) TT=19819.4	? (TO) TT=19819.301	? (TO) TT=2400.07	No data	? (TO) TT=2400.52	? (TO) TT=2400.53	? (TO) TT=2404.01	? (NS) TT=0.393	? (NS) TT=0.399	SAT (TO) f=1387 TT=2400.09 T1=1545.61	? (TO) TT=2400.02	? (TO) TT=2400.1	? (TO) TT=2400.11	? (TO) TT=2415.68	? TT=1786.64
Scheduling/ Scheduling-js-taillard/ Taillard-js-020-15-9.xml	SAT TO f=1366 TT=2400.1 T1=1819.66	? (TO) TT=2520.11	No data	No data	SAT (TO) f=1461 TT=19905.5 T1=319.34	? (TO) TT=19286.6	? (TO) TT=2520.03	? (TO) TT=2520.1	? (TO) TT=2520.08	? (TO) TT=2520.03	? (TO) TT=2521.41	? (NS) TT=0.344	? (NS) TT=0.34	SAT (TO) f=1366 TT=2519.78 T1=1819.66	SAT (TO) f=1461 TT=2520.07 T1=2060.3	SAT (TO) f=1455 TT=2520.11 T1=346.7	SAT (TO) f=1453 TT=2520.04 T1=1693.13	SAT (TO) f=1456 TT=19820.5 T1=961.84	SAT (TO) f=1459 TT=19836.199 T1=6433.62	? (TO) TT=2400.08	No data	? (TO) TT=2400.4	? (TO) TT=2400.27	? (TO) TT=2403.99	? (NS) TT=0.397	? (NS) TT=0.406	SAT (TO) f=1366 TT=2400.1 T1=1830.64	SAT (TO) f=1461 TT=2400.1 T1=2115.59	SAT (TO) f=1455 TT=2400.07 T1=356.95	SAT (TO) f=1444 TT=2400.13 T1=1546.69	? (TO) TT=2416.01	? TT=1844.79
Scheduling/ Scheduling-js-taillard/ Taillard-js-020-20-2.xml	SAT TO f=1584 TT=2400.07 T1=837.71	? (TO) TT=2520.11	No data	No data	? (TO) TT=19870.1	? (TO) TT=19541.801	? (TO) TT=2520.06	? (TO) TT=2520.08	SAT (TO) f=1666 TT=2520.1 T1=163.49	SAT (TO) f=1666 TT=2520.12 T1=160.45	? (TO) TT=2521.69	? (NS) TT=0.466	? (NS) TT=0.455	SAT (TO) f=1584 TT=2519.99 T1=837.71	? (TO) TT=2520.05	? (TO) TT=2520.09	? (TO) TT=2520.04	? (TO) TT=19824.801	? (TO) TT=19840.5	? (TO) TT=2400.07	No data	? (TO) TT=2400.65	? (TO) TT=2400.02	? (TO) TT=2403.48	? (NS) TT=0.51	? (NS) TT=0.507	SAT (TO) f=1584 TT=2400.07 T1=852.52	? (TO) TT=2400.05	? (TO) TT=2400.1	? (TO) TT=2400.08	? (TO) TT=2415.78	? (problem) TT=1661.62
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	BTD 2017-07-25 (complete)	BTD 2017-08-10 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: BTD 2017-06-30 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
Scheduling/ Scheduling-js-taillard/ Taillard-js-020-20-3.xml	SAT TO f=1684 TT=2400.04 T1=2009.26	? (TO) TT=2520.05	No data	No data	SAT (TO) f=1753 TT=19825 T1=656.8	SAT (TO) f=1754 TT=19334 T1=27.38	? (TO) TT=2520.09	? (TO) TT=2520.08	? (TO) TT=2520.08	? (TO) TT=2520.06	? (TO) TT=2521.59	? (NS) TT=0.454	? (NS) TT=0.453	SAT (TO) f=1684 TT=2519.88 T1=2009.26	? (TO) TT=2520.1	? (TO) TT=2520.11	? (TO) TT=2520.12	? (TO) TT=19853.9	? (TO) TT=19833.6	? (TO) TT=2400.04	No data	SAT (TO) f=1754 TT=2400.47 T1=49.89	SAT (TO) f=1754 TT=2400.62 T1=48.71	? (TO) TT=2403.85	? (NS) TT=0.508	? (NS) TT=0.58	SAT (TO) f=1684 TT=2400.04 T1=2012.73	? (TO) TT=2400.07	? (TO) TT=2400.11	? (TO) TT=2400.07	? (TO) TT=2415.88	? (exit code) TT=1918.49
Scheduling/ Scheduling-js-taillard/ Taillard-js-020-20-7.xml	SAT TO f=1640 TT=2400.04 T1=189.94	? (TO) TT=2520.08	No data	No data	SAT (TO) f=1725 TT=19852.1 T1=1245.46	? (TO) TT=19496.9	? (TO) TT=2520.06	? (TO) TT=2520.09	? (TO) TT=2520.05	? (TO) TT=2520.04	? (TO) TT=2521.62	? (NS) TT=0.451	? (NS) TT=0.476	SAT (TO) f=1640 TT=2519.73 T1=191.51	? (TO) TT=2520.07	? (TO) TT=2520.02	? (TO) TT=2520.11	? (TO) TT=19842.6	? (TO) TT=19842.6	? (TO) TT=2400.12	No data	? (TO) TT=2400.13	? (TO) TT=2400.01	? (TO) TT=2403.94	? (NS) TT=0.503	? (NS) TT=0.517	SAT (TO) f=1640 TT=2400.04 T1=189.94	? (TO) TT=2400.11	? (TO) TT=2400.11	? (TO) TT=2400.06	? (TO) TT=2416.33	? TT=1598.1
Scheduling/ Scheduling-js-taillard/ Taillard-js-020-20-8.xml	SAT TO f=1660 TT=2400.03 T1=2148.47	? (TO) TT=2520.05	No data	No data	SAT (TO) f=1728 TT=19838.5 T1=501.73	SAT (TO) f=1728 TT=19532.699 T1=740.63	? (TO) TT=2520.08	? (TO) TT=2520.07	? (TO) TT=2520.05	? (TO) TT=2520.06	? (TO) TT=2521.68	? (NS) TT=0.457	? (NS) TT=0.466	SAT (TO) f=1660 TT=2520.1 T1=2166.31	? (TO) TT=2520.07	? (TO) TT=2520.04	? (TO) TT=2520.04	? (TO) TT=19832	? (TO) TT=19833.9	? (TO) TT=2400.09	No data	? (TO) TT=2400.42	? (TO) TT=2400.32	? (TO) TT=2403.61	? (NS) TT=0.489	? (NS) TT=0.502	SAT (TO) f=1660 TT=2400.03 T1=2148.47	? (TO) TT=2400.06	? (TO) TT=2400.06	? (TO) TT=2400.06	? (TO) TT=2416.19	? (problem) TT=1692.67
Scheduling/ Scheduling-js-taillard/ Taillard-js-030-15-9.xml		? (TO) TT=2520.21	No data	No data	? (TO) TT=20034.1	? (TO) TT=19870.1	? (exit code) TT=-1	? (TO) TT=2520.11	? (TO) TT=2520.08	? (TO) TT=2520.08	? (TO) TT=2522.28	? (NS) TT=0.534	? (NS) TT=0.517	? (TO) TT=2519.83	? (TO) TT=2520.03	? (TO) TT=2520.05	? (TO) TT=2520.08	? (TO) TT=19725.9	? (TO) TT=19728.9	? (TO) TT=2400.44	No data	? (TO) TT=2400.39	? (TO) TT=2400.18	? (TO) TT=2405.92	? (NS) TT=0.547	? (NS) TT=0.565	? (TO) TT=2400.01	? (TO) TT=2400.06	? (TO) TT=2400.02	? (TO) TT=2400.06	? (TO) TT=2416.37	? (problem) TT=1693.42
Scheduling/ Scheduling-js-taillard/ Taillard-js-030-20-6.xml		? (TO) TT=2520.03	No data	No data	? (TO) TT=20041.6	? (TO) TT=19987.801	? (TO) TT=2520.05	? (TO) TT=2520.06	? (TO) TT=2520.09	? (TO) TT=2520.07	? (TO) TT=2522.6	? (NS) TT=0.789	? (NS) TT=0.708	? (TO) TT=2519.89	? (TO) TT=2520.06	? (TO) TT=2520.06	? (TO) TT=2520.08	? (TO) TT=19700	? (TO) TT=19711.4	? (TO) TT=2400.07	No data	? (TO) TT=2400.24	? (TO) TT=2400.73	? (TO) TT=2406.74	? (NS) TT=0.744	? (NS) TT=0.731	? (TO) TT=2400.06	? (TO) TT=2400.12	? (TO) TT=2400.06	? (TO) TT=2400.02	? (TO) TT=2415.97	? TT=1963.74
Scheduling/ Scheduling-js-taillard/ Taillard-js-030-20-8.xml		? (TO) TT=2520.1	No data	No data	? (TO) TT=20042.6	? (TO) TT=19930.699	? (TO) TT=2520.12	? (TO) TT=2520.05	? (TO) TT=2520.09	? (TO) TT=2520.06	? (TO) TT=2522.9	? (NS) TT=0.682	? (NS) TT=0.685	? (TO) TT=2519.75	? (TO) TT=2520.1	? (TO) TT=2520.03	? (TO) TT=2520.03	? (TO) TT=19699.5	? (TO) TT=19668.1	? (TO) TT=2400.09	No data	? (TO) TT=2400.71	? (TO) TT=2400.64	? (TO) TT=2406.99	? (NS) TT=0.746	? (NS) TT=0.733	? (TO) TT=2400.05	? (TO) TT=2400.08	? (TO) TT=2400.11	? (TO) TT=2400.12	? (TO) TT=2416.19	? (problem) TT=1709.15
Scheduling/ Scheduling-js-taillard/ Taillard-js-050-15-0.xml		? (TO) TT=2520.11	No data	No data	? (TO) TT=20078.6	? (TO) TT=20005.1	? (TO) TT=2520.09	? (TO) TT=2520.11	? (TO) TT=2520.08	? (TO) TT=2520.03	? (TO) TT=2524.78	? (NS) TT=0.873	? (NS) TT=0.864	? (TO) TT=2519.65	? (TO) TT=2520.1	? (TO) TT=2520.06	? (TO) TT=2520.06	? (TO) TT=19368.5	? (TO) TT=19377.301	? (TO) TT=2400.08	No data	? (TO) TT=2400.69	? (TO) TT=2400.6	? (TO) TT=2411.19	? (NS) TT=0.924	? (NS) TT=0.907	? (TO) TT=2400.03	? (TO) TT=2400.1	? (TO) TT=2400.07	? (TO) TT=2400.08	? (TO) TT=2415.84	? (problem) TT=1827.51
Scheduling/ Scheduling-js-taillard/ Taillard-js-050-20-7.xml		? (TO) TT=2520.04	No data	No data	? (TO) TT=20092.9	? (TO) TT=20072.199	? (TO) TT=2520.1	? (TO) TT=2520.09	? (TO) TT=2520.1	? (TO) TT=2520.04	? (TO) TT=2525.68	? (NS) TT=1.155	? (NS) TT=1.153	? (TO) TT=2520.02	? (TO) TT=2520.07	? (TO) TT=2520.07	? (TO) TT=2520.08	? (TO) TT=19289	? (TO) TT=19274.6	? (TO) TT=2400.06	No data	? (TO) TT=2400.51	? (TO) TT=2400.31	? (TO) TT=2411.22	? (NS) TT=1.216	? (NS) TT=1.216	? (TO) TT=2400.04	? (TO) TT=2400.06	? (TO) TT=2400.04	? (TO) TT=2400.08	? (TO) TT=2416.7	? (problem) TT=1790.56
Scheduling/ Scheduling-js-taillard/ Taillard-js-050-20-9.xml		? (TO) TT=2520.06	No data	No data	? (TO) TT=20104.199	? (TO) TT=20079.9	? (TO) TT=2520.09	? (TO) TT=2520.02	? (TO) TT=2520.06	? (TO) TT=2520.1	? (TO) TT=2525.91	? (NS) TT=1.16	? (NS) TT=1.16	? (TO) TT=2519.91	? (TO) TT=2520.04	? (TO) TT=2520.12	? (TO) TT=2520.09	? (TO) TT=19250.301	? (TO) TT=19233.6	? (TO) TT=2400.08	No data	? (TO) TT=2400.28	? (TO) TT=2400.6	? (TO) TT=2411.34	? (NS) TT=1.213	? (NS) TT=1.211	? (TO) TT=2400.03	? (TO) TT=2400.1	? (TO) TT=2400.03	? (TO) TT=2400.05	? (TO) TT=2416.01	? (problem) TT=1839.94
Scheduling/ Scheduling-os-taillard/ Taillard-os-04-04-3.xml	OPT f=250 TT=0.226 T1=0.14	OPT f=250 TT=5.721 T1=2.54	No data	No data	OPT f=250 TT=11.37 T1=1.6	OPT f=250 TT=17.062 T1=1.97	OPT f=250 TT=6.515 T1=2.24	OPT f=250 TT=6.658 T1=2.29	OPT f=250 TT=22.694 T1=7.04	OPT f=250 TT=20.839 T1=6.5	OPT f=250 TT=14.83 T1=5.68	? (NS) TT=0.023	? (NS) TT=0.023	OPT f=250 TT=0.226 T1=0.14	SAT (TO) f=250 TT=2520.06 T1=49.01	OPT f=250 TT=3.024 T1=1.31	OPT f=250 TT=3.084 T1=1.34	OPT f=250 TT=14.284 T1=2.95	OPT f=250 TT=12.77 T1=10.4	OPT f=250 TT=5.746 T1=2.53	No data	OPT f=250 TT=6.57 T1=1.84	OPT f=250 TT=7.175 T1=2.07	OPT f=250 TT=14.512 T1=5.61	? (NS) TT=0.022	? (NS) TT=0.023	OPT f=250 TT=0.226 T1=0.14	SAT (TO) f=250 TT=2400.11 T1=46.6	OPT f=250 TT=3.027 T1=1.33	OPT f=250 TT=3.105 T1=1.32	SAT (TO) f=262 TT=2400.45 T1=2333.07	SAT (TO) f=261 TT=2520.36 T1=2359.06
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	BTD 2017-07-25 (complete)	BTD 2017-08-10 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: BTD 2017-06-30 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
Scheduling/ Scheduling-os-taillard/ Taillard-os-04-04-6.xml	OPT f=201 TT=0.45 T1=0.09	OPT f=201 TT=10.705 T1=3.07	No data	No data	OPT f=201 TT=7.797 T1=1.22	OPT f=201 TT=8.634 T1=1.3	OPT f=201 TT=9.383 T1=1.86	OPT f=201 TT=9.166 T1=1.87	OPT f=201 TT=25.653 T1=7.18	OPT f=201 TT=21.589 T1=6.28	OPT f=201 TT=18.159 T1=7.11	? (NS) TT=0.025	? (NS) TT=0.023	OPT f=201 TT=0.452 T1=0.14	SAT (TO) f=201 TT=2520.1 T1=64.33	OPT f=201 TT=3.204 T1=1.2	OPT f=201 TT=3.088 T1=1.2	OPT f=201 TT=9.368 T1=2.22	OPT f=201 TT=11.051 T1=7.56	OPT f=201 TT=10.717 T1=3.14	No data	OPT f=201 TT=9.449 T1=2.42	OPT f=201 TT=11.754 T1=3.14	OPT f=201 TT=18.419 T1=7.27	? (NS) TT=0.023	? (NS) TT=0.023	OPT f=201 TT=0.45 T1=0.09	SAT (TO) f=201 TT=2400.1 T1=32.8	OPT f=201 TT=3.332 T1=1.17	OPT f=201 TT=3.055 T1=1.17	SAT (TO) f=203 TT=2400.39 T1=2351.95	SAT (TO) f=202 TT=2520.42 T1=2481.42
Scheduling/ Scheduling-os-taillard/ Taillard-os-04-04-8.xml	OPT f=261 TT=0.202 T1=0.22	OPT f=261 TT=6.454 T1=3.24	No data	No data	OPT f=261 TT=18.173 T1=1.4	OPT f=261 TT=15.309 T1=1.4	OPT f=261 TT=6.016 T1=1.54	OPT f=261 TT=7.744 T1=1.8	OPT f=261 TT=25.443 T1=5.67	OPT f=261 TT=22.934 T1=5.68	OPT f=261 TT=17.684 T1=5.6	? (NS) TT=0.023	? (NS) TT=0.024	OPT f=261 TT=0.202 T1=0.22	SAT (TO) f=261 TT=2520.04 T1=62.37	OPT f=261 TT=2.674 T1=1.19	OPT f=261 TT=2.71 T1=1.23	OPT f=261 TT=12.464 T1=2.73	OPT f=261 TT=13.124 T1=10.88	OPT f=261 TT=6.417 T1=3.25	No data	OPT f=261 TT=8.414 T1=1.81	OPT f=261 TT=8.532 T1=1.79	OPT f=261 TT=17.725 T1=5.62	? (NS) TT=0.023	? (NS) TT=0.025	OPT f=261 TT=0.209 T1=0.22	SAT (TO) f=261 TT=2400.04 T1=39.8	OPT f=261 TT=2.646 T1=1.21	OPT f=261 TT=2.774 T1=1.23	SAT (TO) f=288 TT=2400.37 T1=2348.87	SAT (TO) f=286 TT=2520.44 T1=2468.85
Scheduling/ Scheduling-os-taillard/ Taillard-os-05-05-9.xml	OPT f=326 TT=72.954 T1=4.71	OPT f=326 TT=1791.42 T1=97.89	No data	No data	OPT f=326 TT=841.223 T1=10.85	OPT f=326 TT=385.523 T1=9.06	OPT f=326 TT=193.388 T1=21.52	OPT f=326 TT=193.068 T1=21.62	OPT f=326 TT=1502.31 T1=206.52	OPT f=326 TT=1555.03 T1=211.67	OPT f=326 TT=1624.1 T1=29.03	? (NS) TT=0.033	? (NS) TT=0.04	OPT f=326 TT=353.324 T1=4.71	SAT (TO) f=326 TT=2520.05 T1=422.44	OPT f=326 TT=211.529 T1=13.05	SAT (TO) f=326 TT=2520.08 T1=780.86	OPT f=326 TT=105.34 T1=6.12	OPT f=326 TT=72.954 T1=28.78	OPT f=326 TT=1798.87 T1=97.77	No data	OPT f=326 TT=399.551 T1=19.74	OPT f=326 TT=266.702 T1=20.15	OPT f=326 TT=1583.61 T1=28.24	? (NS) TT=0.036	? (NS) TT=0.033	OPT f=326 TT=352.749 T1=4.71	SAT (TO) f=326 TT=2400.03 T1=274.09	OPT f=326 TT=222.53 T1=13.1	SAT (TO) f=326 TT=2400.12 T1=307.09	? (TO) TT=2400.84	? (TO) TT=2520.12
Scheduling/ Scheduling-os-taillard/ Taillard-os-07-07-5.xml	SAT TO f=457 TT=2400.07 T1=1685.01	SAT (TO) f=558 TT=2520.04 T1=1917.06	No data	No data	SAT (TO) f=459 TT=19712.301 T1=2197.41	SAT (TO) f=461 TT=19615.9 T1=744.29	SAT (TO) f=460 TT=2520.13 T1=138.81	SAT (TO) f=460 TT=2520.06 T1=139.79	SAT (TO) f=470 TT=2520.06 T1=1908.59	SAT (TO) f=470 TT=2520.07 T1=1935.1	SAT (TO) f=466 TT=2520.13 T1=2202.2	? (NS) TT=0.062	? (NS) TT=0.064	SAT (TO) f=461 TT=2519.96 T1=114.35	SAT (TO) f=463 TT=2520.06 T1=1311.61	SAT (TO) f=491 TT=2520.05 T1=73.58	SAT (TO) f=457 TT=2520.08 T1=1685.01	SAT (TO) f=459 TT=19975.1 T1=2481.74	SAT (TO) f=458 TT=19980 T1=19218.32	SAT (TO) f=558 TT=2400.06 T1=1885.98	No data	SAT (TO) f=464 TT=2400.09 T1=255.71	SAT (TO) f=460 TT=2400.39 T1=416.88	SAT (TO) f=466 TT=2400.08 T1=1966.74	? (NS) TT=0.062	? (NS) TT=0.062	SAT (TO) f=461 TT=2400.08 T1=113.42	SAT (TO) f=457 TT=2400.07 T1=2039.92	SAT (TO) f=491 TT=2400.07 T1=79.01	SAT (TO) f=470 TT=2400.07 T1=239.18	? (problem) TT=1585.61	? TT=1610.29
Scheduling/ Scheduling-os-taillard/ Taillard-os-07-07-6.xml	SAT TO f=429 TT=2400.04 T1=479.6	? (TO) TT=2520.11	No data	No data	SAT (TO) f=434 TT=19799.699 T1=662.18	SAT (TO) f=436 TT=19859.4 T1=1657.7	SAT (TO) f=434 TT=2520.03 T1=2173.81	SAT (TO) f=434 TT=2520.06 T1=2145.8	SAT (TO) f=447 TT=2520.1 T1=2210.83	SAT (TO) f=447 TT=2520.13 T1=2176	SAT (TO) f=437 TT=2520.14 T1=16.47	? (NS) TT=0.062	? (NS) TT=0.061	SAT (TO) f=429 TT=2520.04 T1=484.07	SAT (TO) f=435 TT=2520.11 T1=2073.66	SAT (TO) f=455 TT=2520.06 T1=16.1	SAT (TO) f=441 TT=2520.11 T1=1277.78	SAT (TO) f=441 TT=19994.9 T1=1620.91	SAT (TO) f=441 TT=20000.801 T1=15798.87	? (TO) TT=2400.11	No data	SAT (TO) f=435 TT=2400.29 T1=280.33	SAT (TO) f=437 TT=2400.02 T1=412.55	SAT (TO) f=437 TT=2400.14 T1=17.28	? (NS) TT=0.062	? (NS) TT=0.062	SAT (TO) f=429 TT=2400.04 T1=479.6	SAT (TO) f=437 TT=2400.09 T1=2312.52	SAT (TO) f=455 TT=2400.07 T1=16.19	SAT (TO) f=435 TT=2400.05 T1=639.99	? TT=1550.64	? TT=1515.54
Scheduling/ Scheduling-os-taillard/ Taillard-os-07-07-8.xml	OPT f=458 TT=140.294 T1=140.4	SAT (TO) f=559 TT=2520.05 T1=1709.34	No data	No data	OPT f=458 TT=3346.66 T1=426.2	OPT f=458 TT=4392.08 T1=571.71	OPT f=458 TT=1100.81 T1=1086.94	OPT f=458 TT=1046.84 T1=1035.53	SAT (TO) f=461 TT=2520.08 T1=671.93	SAT (TO) f=461 TT=2520.06 T1=700.41	SAT (TO) f=467 TT=2520.13 T1=11.99	? (NS) TT=0.062	? (NS) TT=0.069	OPT f=458 TT=140.294 T1=140.4	SAT (TO) f=464 TT=2520.07 T1=2375.75	SAT (TO) f=464 TT=2520.1 T1=1168.8	OPT f=458 TT=1822.47 T1=649.45	OPT f=458 TT=1429.12 T1=181.64	OPT f=458 TT=5973.64 T1=5972.63	SAT (TO) f=559 TT=2400.05 T1=1729.55	No data	OPT f=458 TT=655.143 T1=173.73	OPT f=458 TT=587.802 T1=156.28	SAT (TO) f=467 TT=2400.11 T1=11.86	? (NS) TT=0.063	? (NS) TT=0.061	OPT f=458 TT=140.39 T1=140.48	SAT (TO) f=464 TT=2400.08 T1=144.44	SAT (TO) f=464 TT=2400.1 T1=1152.5	SAT (TO) f=461 TT=2400.07 T1=1061.25	? (problem) TT=1474.33	? (problem) TT=1491.17
Scheduling/ Scheduling-os-taillard/ Taillard-os-07-07-9.xml	SAT TO f=403 TT=2520.13 T1=1031.21	? (TO) TT=2520.03	No data	No data	SAT (TO) f=401 TT=19833.301 T1=936.64	SAT (TO) f=404 TT=19725.4 T1=1151.23	SAT (TO) f=405 TT=2520.1 T1=1871.94	SAT (TO) f=405 TT=2520.16 T1=1857.44	SAT (TO) f=415 TT=2520.08 T1=478.01	SAT (TO) f=415 TT=2520.08 T1=489.33	SAT (TO) f=404 TT=2520.12 T1=61.88	? (NS) TT=0.061	? (NS) TT=0.061	SAT (TO) f=404 TT=2519.82 T1=1336.38	SAT (TO) f=410 TT=2520.1 T1=1317.9	SAT (TO) f=436 TT=2520.1 T1=8.31	SAT (TO) f=403 TT=2520.13 T1=1031.21	SAT (TO) f=407 TT=19953.1 T1=2022.16	SAT (TO) f=403 TT=19957.4 T1=1231.01	? (TO) TT=2400.1	No data	SAT (TO) f=409 TT=2400.39 T1=504.73	SAT (TO) f=406 TT=2400.17 T1=461.26	SAT (TO) f=404 TT=2400.13 T1=62.87	? (NS) TT=0.061	? (NS) TT=0.061	SAT (TO) f=404 TT=2400.04 T1=1316.43	SAT (TO) f=405 TT=2400.04 T1=1439.53	SAT (TO) f=436 TT=2400.04 T1=7.82	SAT (TO) f=412 TT=2400.12 T1=1127.04	? TT=1597.54	? (problem) TT=1607.45
Scheduling/ Scheduling-os-taillard/ Taillard-os-10-10-0.xml	SAT TO f=689 TT=2520.07 T1=2103.09	? (TO) TT=2520.03	No data	No data	SAT (TO) f=722 TT=19464.801 T1=2184.48	SAT (TO) f=717 TT=19824.699 T1=2161.02	SAT (TO) f=734 TT=2520.08 T1=2484.27	SAT (TO) f=734 TT=2520.07 T1=2475.93	? (TO) TT=2520.06	? (TO) TT=2520.03	? (TO) TT=2520.76	? (NS) TT=0.122	? (NS) TT=0.122	? (TO) TT=2520.05	SAT (TO) f=689 TT=2520.07 T1=2103.09	SAT (TO) f=736 TT=2520.08 T1=110.86	SAT (TO) f=740 TT=2520.08 T1=32.5	SAT (TO) f=720 TT=19943 T1=1932.17	SAT (TO) f=725 TT=19944.801 T1=10801.57	? (TO) TT=2400.09	No data	SAT (TO) f=741 TT=2400.15 T1=584.61	SAT (TO) f=740 TT=2400.27 T1=579.53	? (TO) TT=2400.7	? (NS) TT=0.125	? (NS) TT=0.12	? (TO) TT=2400.1	SAT (TO) f=700 TT=2400.05 T1=2029.07	SAT (TO) f=736 TT=2400.03 T1=109.75	SAT (TO) f=740 TT=2400.12 T1=33.37	? TT=1567.21	? (problem) TT=1524.87
Scheduling/ Scheduling-os-taillard/ Taillard-os-10-10-1.xml	SAT TO f=601 TT=2520.09 T1=2286.74	? (TO) TT=2520.11	No data	No data	SAT (TO) f=624 TT=18743.801 T1=2359.02	SAT (TO) f=634 TT=19222.4 T1=2283.37	SAT (TO) f=657 TT=2520.04 T1=2342.84	SAT (TO) f=669 TT=2520.06 T1=1726.64	SAT (TO) f=662 TT=2520.04 T1=2364.32	SAT (TO) f=662 TT=2520.05 T1=2343.31	SAT (TO) f=605 TT=2520.15 T1=796.63	? (NS) TT=0.12	? (NS) TT=0.126	SAT (TO) f=611 TT=2520 T1=615.26	SAT (TO) f=601 TT=2520.09 T1=2286.74	SAT (TO) f=616 TT=2520.04 T1=697.25	SAT (TO) f=609 TT=2520.13 T1=591.94	SAT (TO) f=617 TT=19923 T1=2279.22	SAT (TO) f=614 TT=19914.5 T1=1912.19	? (TO) TT=2400.1	No data	SAT (TO) f=647 TT=2400.34 T1=626.97	SAT (TO) f=639 TT=2400.1 T1=632.29	SAT (TO) f=605 TT=2400.06 T1=791.99	? (NS) TT=0.122	? (NS) TT=0.121	SAT (TO) f=611 TT=2400.04 T1=612.23	SAT (TO) f=630 TT=2400.03 T1=1899.97	SAT (TO) f=616 TT=2400.03 T1=706.59	SAT (TO) f=611 TT=2400.07 T1=1394.12	? TT=1440.36	? TT=1615.11
Scheduling/ Scheduling-os-taillard/ Taillard-os-10-10-2.xml	SAT TO f=617 TT=2400.02 T1=1488.22	? (TO) TT=2520.05	No data	No data	SAT (TO) f=677 TT=19377.6 T1=293.27	SAT (TO) f=654 TT=19649 T1=376.17	SAT (TO) f=710 TT=2520.09 T1=1938.41	SAT (TO) f=710 TT=2520.1 T1=1890.16	SAT (TO) f=706 TT=2520.02 T1=2170.62	SAT (TO) f=706 TT=2520.02 T1=1879.65	? (TO) TT=2520.71	? (NS) TT=0.122	? (NS) TT=0.122	SAT (TO) f=617 TT=2519.67 T1=1488.22	SAT (TO) f=648 TT=2520.03 T1=1983.89	SAT (TO) f=647 TT=2520.06 T1=557.92	SAT (TO) f=650 TT=2520.09 T1=2347.7	SAT (TO) f=637 TT=19932.1 T1=1066.62	SAT (TO) f=637 TT=19932.6 T1=334.94	? (TO) TT=2400.11	No data	SAT (TO) f=672 TT=2400 T1=608.29	SAT (TO) f=672 TT=2400.33 T1=592.81	? (TO) TT=2400.68	? (NS) TT=0.126	? (NS) TT=0.123	SAT (TO) f=617 TT=2400.02 T1=1494.72	SAT (TO) f=639 TT=2400.11 T1=1656.71	SAT (TO) f=647 TT=2400.11 T1=584.14	SAT (TO) f=635 TT=2400.12 T1=1739.23	? (problem) TT=1484.9	? TT=1467.86
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	BTD 2017-07-25 (complete)	BTD 2017-08-10 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: BTD 2017-06-30 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
Scheduling/ Scheduling-os-taillard/ Taillard-os-10-10-6.xml	SAT TO f=646 TT=2400.06 T1=919.9	? (TO) TT=2520.02	No data	No data	SAT (TO) f=656 TT=19173.801 T1=1357.73	SAT (TO) f=683 TT=19332.301 T1=1444.1	SAT (TO) f=714 TT=2520.04 T1=283.84	SAT (TO) f=714 TT=2520.05 T1=283.68	SAT (TO) f=699 TT=2520.06 T1=1666.17	SAT (TO) f=699 TT=2520.09 T1=1675.01	? (TO) TT=2520.82	? (NS) TT=0.123	? (NS) TT=0.123	SAT (TO) f=650 TT=2519.76 T1=1685.69	? (TO) TT=2520.11	SAT (TO) f=702 TT=2520.1 T1=647.45	SAT (TO) f=647 TT=2520.12 T1=1127.51	SAT (TO) f=679 TT=19945.4 T1=1323.92	SAT (TO) f=684 TT=19937.301 T1=11967	? (TO) TT=2400.06	No data	SAT (TO) f=674 TT=2400.04 T1=624.96	SAT (TO) f=670 TT=2400.07 T1=446.17	? (TO) TT=2400.71	? (NS) TT=0.126	? (NS) TT=0.121	SAT (TO) f=650 TT=2400.07 T1=1693	? (TO) TT=2400.03	SAT (TO) f=702 TT=2400.11 T1=670.87	SAT (TO) f=646 TT=2400.06 T1=919.9	? (problem) TT=1443.58	? TT=1606.27
Scheduling/ Scheduling-os-taillard/ Taillard-os-10-10-9.xml	SAT TO f=615 TT=19946.6 T1=1143.81	? (TO) TT=2520.03	No data	No data	SAT (TO) f=640 TT=18916.199 T1=1253.98	SAT (TO) f=638 TT=18405.6 T1=2114.45	? (TO) TT=2520.12	? (TO) TT=2520.11	SAT (TO) f=687 TT=2520.1 T1=2226.86	SAT (TO) f=687 TT=2520.08 T1=2109.35	? (TO) TT=2520.88	? (NS) TT=0.122	? (NS) TT=0.123	SAT (TO) f=624 TT=2519.98 T1=1280.24	SAT (TO) f=641 TT=2520.12 T1=2299.93	SAT (TO) f=669 TT=2520.07 T1=1914.28	SAT (TO) f=633 TT=2520.07 T1=1289.84	SAT (TO) f=615 TT=19946.6 T1=1143.81	SAT (TO) f=619 TT=19952 T1=19674.811	? (TO) TT=2400.03	No data	SAT (TO) f=646 TT=2400.19 T1=585.54	SAT (TO) f=648 TT=2400.37 T1=560.17	? (TO) TT=2400.73	? (NS) TT=0.121	? (NS) TT=0.121	SAT (TO) f=624 TT=2400.08 T1=1283.53	SAT (TO) f=618 TT=2400.04 T1=2302.14	SAT (TO) f=669 TT=2400.1 T1=1915	SAT (TO) f=634 TT=2400.11 T1=2021.51	? TT=1396.38	? TT=1415.37
Scheduling/ Scheduling-os-taillard/ Taillard-os-15-15-2.xml	SAT TO f=996 TT=19860.699 T1=1760.18	? (TO) TT=2520.09	No data	No data	? (TO) TT=19953.6	? (TO) TT=19873	? (TO) TT=2520.11	? (TO) TT=2520.11	? (TO) TT=2520.13	? (TO) TT=2520.08	? (TO) TT=2521.17	? (NS) TT=0.277	? (NS) TT=0.272	? (TO) TT=2520.07	? (TO) TT=2520.05	? (TO) TT=2520.07	? (TO) TT=2520.1	SAT (TO) f=996 TT=19860.699 T1=1760.18	SAT (TO) f=996 TT=19861.5 T1=13614.37	? (TO) TT=2400.09	No data	? (TO) TT=2400.07	? (TO) TT=2400.23	? (TO) TT=2401.24	? (NS) TT=0.279	? (NS) TT=0.274	? (TO) TT=2400.03	? (TO) TT=2400.04	? (TO) TT=2400.1	? (TO) TT=2400.09	? (problem) TT=1520.68	? TT=1344.65
Scheduling/ Scheduling-os-taillard/ Taillard-os-15-15-8.xml		? (TO) TT=2520.04	No data	No data	? (TO) TT=19972.9	? (TO) TT=19829.199	? (TO) TT=2520.08	? (TO) TT=2520.08	? (TO) TT=2520.09	? (TO) TT=2520.09	? (TO) TT=2521.39	? (NS) TT=0.272	? (NS) TT=0.273	? (TO) TT=2519.96	? (TO) TT=2520.05	? (TO) TT=2520.04	? (TO) TT=2520.06	? (TO) TT=19884.9	? (TO) TT=19904.9	? (TO) TT=2400.08	No data	? (TO) TT=2400.36	? (TO) TT=2400.22	? (TO) TT=2401.41	? (NS) TT=0.283	? (NS) TT=0.275	? (TO) TT=2400.09	? (TO) TT=2400.05	? (TO) TT=2400.06	? (TO) TT=2400.06	? (problem) TT=1432.09	? TT=1569.21
Scheduling/ Scheduling-os-taillard/ Taillard-os-20-20-8.xml		? (TO) TT=2520.04	No data	No data	? (TO) TT=20032.199	? (TO) TT=19965.6	? (TO) TT=2520.04	? (TO) TT=2520.04	? (TO) TT=2520.02	? (TO) TT=2520.03	? (TO) TT=2522.34	? (NS) TT=0.484	? (NS) TT=0.488	? (TO) TT=2520.09	? (TO) TT=2520.07	? (TO) TT=2520.03	? (TO) TT=2520.1	? (TO) TT=19807.5	? (TO) TT=19785	? (TO) TT=2400.06	No data	? (TO) TT=2400.27	? (TO) TT=2400.29	? (TO) TT=2402.29	? (NS) TT=0.482	? (NS) TT=0.486	? (TO) TT=2400.1	? (TO) TT=2400.02	? (TO) TT=2400.04	? (TO) TT=2400.07	? (problem) TT=1883.29	? (problem) TT=1715.56
Scheduling/ Scheduling-os-taillard/ Taillard-os-20-20-9.xml		? (TO) TT=2520.09	No data	No data	? (TO) TT=20036.1	? (TO) TT=19985.699	? (TO) TT=2520.07	? (TO) TT=2520.07	? (TO) TT=2520.05	? (TO) TT=2520.08	? (TO) TT=2522.36	? (NS) TT=0.501	? (NS) TT=0.491	? (TO) TT=2519.75	? (TO) TT=2520.04	? (TO) TT=2520.09	? (TO) TT=2520.09	? (TO) TT=19757.9	? (TO) TT=19820.6	? (TO) TT=2400.07	No data	? (TO) TT=2400.03	? (TO) TT=2400.39	? (TO) TT=2402.38	? (NS) TT=0.49	? (NS) TT=0.503	? (TO) TT=2400.04	? (TO) TT=2400.09	? (TO) TT=2400.04	? (TO) TT=2400.05	? TT=1562.08	? (problem) TT=1716.23
Scheduling/ Scheduling-xcsp2-cabinet/ Cabinet-5567_X2.xml	UNSAT TT=0.675	UNSAT TT=7.074	? (NS) TT=18.147	? (NS) TT=18.062	UNSAT TT=8.101	UNSAT TT=10.582	UNSAT TT=3.689	UNSAT TT=3.738	UNSAT TT=13.958	UNSAT TT=14.171	UNSAT TT=14.758	UNSAT TT=301.043	? (MO) TT=32.693	UNSAT TT=0.675	No data	UNSAT TT=3.149	No data	UNSAT TT=11.629	UNSAT TT=11.385	UNSAT TT=7.327	? (NS) TT=18.289	UNSAT TT=7.657	UNSAT TT=9.2	UNSAT TT=17.729	UNSAT TT=300.048	? (MO) TT=23.497	UNSAT TT=0.68	No data	UNSAT TT=3.549	No data	? (TO) TT=2412.82	? (TO) TT=2528.18
Scheduling/ Scheduling-xcsp2-cabinet/ Cabinet-5575_X2.xml	UNSAT TT=1.242	UNSAT TT=7.564	? (NS) TT=18.604	? (NS) TT=18.076	UNSAT TT=10.424	UNSAT TT=9.32	UNSAT TT=4.059	UNSAT TT=4.114	UNSAT TT=16.006	UNSAT TT=16.753	UNSAT TT=16.8	UNSAT TT=351.927	? (MO) TT=32.042	UNSAT TT=1.242	No data	UNSAT TT=3.251	No data	UNSAT TT=10.231	UNSAT TT=11.698	UNSAT TT=8.239	? (NS) TT=18.029	UNSAT TT=8.735	UNSAT TT=7.988	UNSAT TT=18.304	UNSAT TT=350.295	? (MO) TT=32.845	UNSAT TT=0.687	No data	UNSAT TT=3.476	No data	? (TO) TT=2412.93	? (TO) TT=2528.12
Scheduling/ Scheduling-xcsp2-cabinet/ Cabinet-5580_X2.xml	UNSAT TT=0.661	UNSAT TT=7.045	? (NS) TT=18.278	? (NS) TT=18.076	UNSAT TT=7.716	UNSAT TT=9.674	UNSAT TT=3.995	UNSAT TT=4.002	UNSAT TT=18.643	UNSAT TT=18.141	UNSAT TT=17.357	UNSAT TT=193.911	? (MO) TT=31.953	UNSAT TT=0.661	No data	UNSAT TT=3.48	No data	UNSAT TT=11.107	UNSAT TT=11.158	UNSAT TT=7.394	? (NS) TT=17.966	UNSAT TT=8.983	UNSAT TT=8.403	UNSAT TT=18.335	UNSAT TT=194.957	? (MO) TT=23.793	UNSAT TT=0.888	No data	UNSAT TT=3.889	No data	? (TO) TT=2413.19	? (TO) TT=2526.64
Scheduling/ Scheduling-xcsp2-cabinet/ Cabinet-5585_X2.xml	SAT TT=0.056	SAT TT=1.617	? (NS) TT=18.758	? (NS) TT=18.081	SAT TT=3.731	SAT TT=3.506	SAT TT=1.194	SAT TT=1.248	SAT TT=1.49	SAT TT=1.472	SAT TT=9.162	SAT TT=0.11	? (MO) TT=33.108	SAT TT=0.056	No data	SAT TT=1.761	No data	SAT TT=10.749	SAT TT=8.35	SAT TT=1.841	? (NS) TT=17.927	SAT TT=3.772	SAT TT=3.849	SAT TT=10.405	SAT TT=0.161	? (MO) TT=33.048	SAT TT=0.085	No data	SAT TT=1.83	No data	? (TO) TT=2416.09	? (TO) TT=2526.69
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	BTD 2017-07-25 (complete)	BTD 2017-08-10 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: BTD 2017-06-30 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
Scheduling/ Scheduling-xcsp2-cjss/ la03x2-593_X2.xml		? (NS) TT=0.88	? (NS) TT=0.082	? (NS) TT=0.084	? (TO) TT=19316.301	? (TO) TT=19029	? (TO) TT=2520.11	? (TO) TT=2520.13	? (TO) TT=2520.06	? (TO) TT=2520.06	? (TO) TT=2520.53	? (NS) TT=0.005	? (NS) TT=0.005	? (TO) TT=2519.94	No data	? (TO) TT=2520.08	No data	? (TO) TT=19880.301	? (TO) TT=19876.301	? (NS) TT=1.068	? (NS) TT=0.099	? (TO) TT=2400.56	? (TO) TT=2400.22	? (TO) TT=2401.12	? (NS) TT=0.008	? (NS) TT=0.009	? (TO) TT=2400.1	No data	? (TO) TT=2400.06	No data	? TT=0.875	? TT=0.801
Scheduling/ Scheduling-xcsp2-os-gp/ gp10-05-1070_X2.xml	UNSAT TT=31.226	? (TO) TT=2520.08	? TT=2520.01	? (TO) TT=2519.7	? TT=8341.85	? TT=5728.44	? (TO) TT=2528.18	? (TO) TT=2528.13	? TT=1783.05	? TT=2112.46	? (TO) TT=2521.1	? (TO) TT=2519.94	? (TO) TT=2520.12	UNSAT TT=31.226	No data	? (TO) TT=2520.09	No data	? (TO) TT=19874.801	? (TO) TT=19886.1	? (TO) TT=2400.06	? TT=2400.02	? TT=650.927	? TT=621.489	? (TO) TT=2402.54	? (TO) TT=2400.1	? (TO) TT=2400.1	UNSAT TT=42.929	No data	? (TO) TT=2400.12	No data	? (TO) TT=2416.23	? (problem) TT=1482.19
SchurrLemma/ SchurrLemma-mod-s1/ SchurrLemma-mod-012-9.xml	UNSAT TT=5.243	UNSAT TT=12.604	UNSAT TT=6.446	UNSAT TT=6.467	UNSAT TT=45.869	UNSAT TT=48.048	UNSAT TT=11.616	UNSAT TT=12.061	UNSAT TT=47.086	UNSAT TT=48.444	UNSAT TT=5.243	UNSAT TT=13.973	UNSAT TT=6.383	UNSAT TT=35.198	No data	UNSAT TT=5.826	No data	UNSAT TT=12.96	UNSAT TT=13.705	UNSAT TT=13.065	UNSAT TT=6.488	UNSAT TT=83.781	UNSAT TT=84.057	UNSAT TT=6.026	UNSAT TT=14.158	UNSAT TT=6.399	UNSAT TT=36.145	No data	UNSAT TT=6.035	No data	UNSAT TT=27.339	UNSAT TT=27.731
SchurrLemma/ SchurrLemma-mod-s1/ SchurrLemma-mod-015-9.xml	UNSAT TT=5.458	UNSAT TT=15.467	UNSAT TT=7.864	UNSAT TT=7.881	UNSAT TT=73.003	UNSAT TT=69.124	UNSAT TT=17.48	UNSAT TT=17.992	UNSAT TT=57.848	UNSAT TT=57.517	UNSAT TT=5.458	UNSAT TT=18.158	UNSAT TT=9.589	UNSAT TT=60.68	No data	UNSAT TT=7.004	No data	UNSAT TT=11.481	UNSAT TT=13.063	UNSAT TT=15.74	UNSAT TT=7.918	UNSAT TT=123.273	UNSAT TT=120.39	UNSAT TT=6.497	UNSAT TT=18.1	UNSAT TT=9.6	UNSAT TT=59.804	No data	UNSAT TT=7.212	No data	UNSAT TT=32.771	UNSAT TT=32.08
SchurrLemma/ SchurrLemma-mod-s1/ SchurrLemma-mod-020-9.xml	UNSAT TT=5.72	UNSAT TT=24.25	UNSAT TT=13.89	UNSAT TT=13.987	UNSAT TT=92.415	UNSAT TT=86.336	UNSAT TT=26.923	UNSAT TT=27.15	UNSAT TT=69.97	UNSAT TT=67.904	UNSAT TT=5.72	UNSAT TT=28.302	UNSAT TT=13.505	UNSAT TT=102.377	No data	UNSAT TT=9.309	No data	UNSAT TT=15.216	UNSAT TT=14.738	UNSAT TT=24.805	UNSAT TT=13.957	UNSAT TT=167.483	UNSAT TT=161.627	UNSAT TT=6.411	UNSAT TT=28.308	UNSAT TT=13.581	UNSAT TT=106.295	No data	UNSAT TT=9.344	No data	UNSAT TT=40.441	UNSAT TT=40.004
SchurrLemma/ SchurrLemma-mod-s1/ SchurrLemma-mod-030-9.xml	UNSAT TT=6.088	UNSAT TT=46.418	UNSAT TT=32.876	UNSAT TT=32.946	UNSAT TT=160.998	UNSAT TT=164.192	UNSAT TT=43.383	UNSAT TT=42.965	UNSAT TT=70.917	UNSAT TT=71.216	UNSAT TT=6.088	UNSAT TT=50.14	UNSAT TT=23.576	UNSAT TT=326.089	No data	UNSAT TT=15.781	No data	UNSAT TT=22.015	UNSAT TT=20.53	UNSAT TT=45.506	UNSAT TT=32.536	UNSAT TT=288.493	UNSAT TT=299.105	UNSAT TT=6.929	UNSAT TT=49.845	UNSAT TT=23.489	UNSAT TT=328.809	No data	UNSAT TT=16.368	No data	UNSAT TT=36.744	UNSAT TT=36.584
SchurrLemma/ SchurrLemma-mod-s1/ SchurrLemma-mod-050-9.xml	UNSAT TT=7.244	UNSAT TT=108.719	UNSAT TT=88.146	UNSAT TT=88.256	UNSAT TT=413.588	UNSAT TT=422.682	UNSAT TT=85.105	UNSAT TT=88.188	UNSAT TT=116.624	UNSAT TT=118	UNSAT TT=7.244	UNSAT TT=124.055	UNSAT TT=54.752	UNSAT TT=1161.11	No data	UNSAT TT=34.052	No data	UNSAT TT=37.239	UNSAT TT=37.139	UNSAT TT=102.66	UNSAT TT=87.597	UNSAT TT=777.689	UNSAT TT=778.709	UNSAT TT=8.552	UNSAT TT=125.748	UNSAT TT=54.726	UNSAT TT=1277.73	No data	UNSAT TT=33.879	No data	UNSAT TT=53.317	UNSAT TT=52.863
SchurrLemma/ SchurrLemma-mod-s1/ SchurrLemma-mod-100-9.xml	UNSAT TT=10.286	UNSAT TT=504.705	UNSAT TT=341.116	UNSAT TT=327.894	UNSAT TT=2678.34	UNSAT TT=2529.56	UNSAT TT=296.629	UNSAT TT=303.845	UNSAT TT=312.503	UNSAT TT=314.176	UNSAT TT=10.286	UNSAT TT=383.327	UNSAT TT=179.146	? (TO) TT=2519.67	No data	UNSAT TT=111.507	No data	UNSAT TT=172.268	UNSAT TT=173.085	UNSAT TT=674.991	UNSAT TT=318.548	? (TO) TT=2400.79	? (TO) TT=2400.24	UNSAT TT=12.336	UNSAT TT=384.525	UNSAT TT=179.147	? (TO) TT=2400.03	No data	UNSAT TT=119.178	No data	UNSAT TT=59.691	UNSAT TT=59.402
SchurrLemma/ SchurrLemma-nor-s1/ SchurrLemma-nor-023-3.xml	SAT TT=0.075	SAT TT=1.297	SAT TT=0.074	SAT TT=0.075	SAT TT=2.034	SAT TT=2.085	SAT TT=1.365	SAT TT=1.357	SAT TT=2.3	SAT TT=2.318	SAT TT=72.585	SAT TT=0.157	SAT TT=0.147	SAT TT=2.927	No data	SAT TT=2.029	No data	SAT TT=8.555	SAT TT=6.452	SAT TT=1.295	SAT TT=0.075	SAT TT=1.55	SAT TT=1.568	SAT TT=70.821	SAT TT=0.154	SAT TT=0.147	SAT TT=1.625	No data	SAT TT=2.033	No data	SAT TT=1.25	SAT TT=1.251
SchurrLemma/ SchurrLemma-nor-s1/ SchurrLemma-nor-024-3.xml	UNSAT TT=0.105	UNSAT TT=2.451	UNSAT TT=0.107	UNSAT TT=0.105	UNSAT TT=5.632	UNSAT TT=5.495	UNSAT TT=1.988	UNSAT TT=2.005	UNSAT TT=4.468	UNSAT TT=4.187	? (TO) TT=2520.58	UNSAT TT=0.804	UNSAT TT=0.459	UNSAT TT=53.767	No data	UNSAT TT=2.755	No data	UNSAT TT=9.024	UNSAT TT=9.326	UNSAT TT=2.433	UNSAT TT=0.106	UNSAT TT=3.542	UNSAT TT=3.386	? (TO) TT=2400.58	UNSAT TT=0.787	UNSAT TT=0.482	UNSAT TT=46.547	No data	UNSAT TT=2.884	No data	UNSAT TT=1.903	UNSAT TT=1.913
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	BTD 2017-07-25 (complete)	BTD 2017-08-10 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: BTD 2017-06-30 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
SchurrLemma/ SchurrLemma-nor-s1/ SchurrLemma-nor-066-4.xml	SAT TT=0.649	SAT TT=2.443	SAT TT=0.644	SAT TT=0.649	SAT TT=6.522	SAT TT=6.919	? (TO) TT=2520.02	? (TO) TT=2520.04	? (TO) TT=2520.11	? (TO) TT=2520.07	? (TO) TT=2521.01	? (TO) TT=2519.85	? (TO) TT=2520.02	? (TO) TT=2520.11	No data	? (TO) TT=2520.11	No data	? (TO) TT=19985.4	? (TO) TT=19995.199	SAT TT=2.398	SAT TT=0.653	? (TO) TT=2400.18	? (TO) TT=2400.37	? (TO) TT=2401.07	? (TO) TT=2400.08	? (TO) TT=2400.09	? (TO) TT=2400.1	No data	? (TO) TT=2400.08	No data	? (TO) TT=2400.13	? (TO) TT=2520.13
SchurrLemma/ SchurrLemma-nor-s1/ SchurrLemma-nor-067-4.xml		? (TO) TT=2520.03	? (TO) TT=2519.7	? (TO) TT=2519.81	? (TO) TT=20095.801	? (TO) TT=20094.199	? (TO) TT=2520.09	? (TO) TT=2520.04	? (TO) TT=2520.08	? (TO) TT=2520.05	? (TO) TT=2521.2	? (TO) TT=2520.05	? (TO) TT=2520.02	? (TO) TT=2520.07	No data	? (TO) TT=2520.1	No data	? (TO) TT=19982.9	? (TO) TT=20005.1	? (TO) TT=2400.02	? TT=2400	? (TO) TT=2400.05	? (TO) TT=2400.28	? (TO) TT=2401.22	? (TO) TT=2400.04	? (TO) TT=2400.03	? (TO) TT=2400.11	No data	? (TO) TT=2400.1	No data	? (TO) TT=2400.09	? (TO) TT=2520.16
SocialGolfers/ SocialGolfers-cp-s1/ SocialGolfers-2-3-3-cp.xml	UNSAT TT=0.059	UNSAT TT=1.109	? (NS) TT=0.033	? (NS) TT=0.033	UNSAT TT=1.565	UNSAT TT=1.554	UNSAT TT=0.947	UNSAT TT=0.952	UNSAT TT=1.003	UNSAT TT=1.027	UNSAT TT=7.867	UNSAT TT=0.059	UNSAT TT=0.053	UNSAT TT=0.087	No data	UNSAT TT=1.321	No data	UNSAT TT=1.362	UNSAT TT=1.372	UNSAT TT=1.243	? (NS) TT=0.057	UNSAT TT=1.902	UNSAT TT=1.731	UNSAT TT=9.395	UNSAT TT=0.076	UNSAT TT=0.077	UNSAT TT=0.119	No data	UNSAT TT=1.387	No data	UNSAT TT=0.816	UNSAT TT=0.737
SocialGolfers/ SocialGolfers-cp-s1/ SocialGolfers-3-9-4-cp.xml	UNSAT TT=2.39	UNSAT TT=3.288	? (NS) TT=1.279	? (NS) TT=1.282	UNSAT TT=8.655	UNSAT TT=9.272	UNSAT TT=2.856	UNSAT TT=2.852	UNSAT TT=2.945	UNSAT TT=2.995	UNSAT TT=19.899	UNSAT TT=2.39	UNSAT TT=2.423	UNSAT TT=3.843	No data	UNSAT TT=4.298	No data	UNSAT TT=4.716	UNSAT TT=4.765	UNSAT TT=4.196	? (NS) TT=1.348	UNSAT TT=9.87	UNSAT TT=10.165	UNSAT TT=25.969	UNSAT TT=2.361	UNSAT TT=2.377	UNSAT TT=3.639	No data	UNSAT TT=5.232	No data	UNSAT TT=4.429	UNSAT TT=3.307
SocialGolfers/ SocialGolfers-cp-s1/ SocialGolfers-4-2-9-cp.xml	UNSAT TT=1398.6	? (TO) TT=2520.06	? (NS) TT=0.605	? (NS) TT=0.607	? (TO) TT=20097.199	? (TO) TT=20102.5	? (TO) TT=2520.11	? (TO) TT=2520.09	? (TO) TT=2520.11	? (TO) TT=2520.05	? (TO) TT=2520.85	? (TO) TT=2519.91	? (TO) TT=2520.03	? (TO) TT=2520.03	No data	? (TO) TT=2520.1	No data	? (TO) TT=20060.1	? (TO) TT=20057.1	? (TO) TT=2400.1	? (NS) TT=0.661	? (TO) TT=2400.04	? (TO) TT=2400.39	? (TO) TT=2401.71	? (TO) TT=2400.05	? (TO) TT=2400.02	? (TO) TT=2400.06	No data	? (TO) TT=2400.07	No data	UNSAT TT=1398.6	UNSAT TT=1447.72
SocialGolfers/ SocialGolfers-cp-s1/ SocialGolfers-5-2-4-cp.xml	SAT TT=0.296	SAT TT=1.699	? (NS) TT=0.165	? (NS) TT=0.167	SAT TT=4.313	SAT TT=4.15	SAT TT=1.554	SAT TT=1.566	SAT TT=1.601	SAT TT=1.596	SAT TT=11.476	SAT TT=0.296	SAT TT=0.305	SAT TT=0.517	No data	SAT TT=2.495	No data	SAT (TO) TT=12719.4	SAT TT=9.892	SAT TT=1.894	? (NS) TT=0.18	SAT TT=4.472	SAT TT=4.492	SAT TT=15.425	SAT TT=0.35	SAT TT=0.358	SAT TT=0.507	No data	SAT TT=2.625	No data	SAT TT=2.284	SAT TT=1.705
SocialGolfers/ SocialGolfers-cp-s1/ SocialGolfers-6-2-6-cp.xml	SAT TT=1.123	SAT TT=2.584	? (NS) TT=0.596	? (NS) TT=0.599	SAT TT=13.838	SAT TT=13.814	SAT TT=2.55	SAT TT=2.501	SAT TT=2.607	SAT TT=2.629	SAT TT=16.456	SAT TT=1.123	SAT TT=1.106	SAT TT=1.897	No data	SAT TT=4.426	No data	SAT (TO) TT=14863.8	SAT TT=19.764	SAT TT=3.439	? (NS) TT=0.653	SAT TT=17.97	SAT TT=17.783	SAT TT=21.008	SAT TT=1.113	SAT TT=1.158	SAT TT=1.766	No data	SAT TT=5.246	No data	SAT TT=4.8	SAT TT=4.472
SocialGolfers/ SocialGolfers-cp-s1/ SocialGolfers-9-3-5-cp.xml	SAT TT=4.548	SAT TT=5.091	? (NS) TT=2.169	? (NS) TT=2.172	SAT TT=366.932	SAT TT=372.523	SAT TT=15.791	SAT TT=15.903	SAT TT=21.822	SAT TT=21.537	SAT TT=27.214	SAT TT=4.548	SAT TT=4.401	SAT TT=6.443	No data	SAT TT=33.528	No data	SAT (TO) TT=16848.4	SAT TT=269.457	SAT TT=6.562	? (NS) TT=2.23	Wrong UNSAT TT=1695.23	? (TO) TT=2400.48	SAT TT=34.481	SAT TT=4.536	SAT TT=4.395	SAT TT=6.301	No data	SAT TT=64.939	No data	SAT TT=12.42	SAT TT=9.871
SocialGolfers/ SocialGolfers-xcsp2-s1/ SocialGolfers-06-3-5_X2.xml	SAT TT=13.495	SAT TT=13.495	SAT TT=585.939	SAT TT=605.894	SAT TT=34.74	SAT TT=171.651	SAT TT=29.951	SAT TT=29.475	SAT TT=21.778	SAT TT=23.029	? (TO) TT=2521.64	SAT TT=100.809	SAT TT=13.813	SAT TT=20.087	No data	? (TO) TT=2520.05	No data	? (TO) TT=20058.1	? (TO) TT=20059.6	SAT TT=15.808	SAT TT=590.75	SAT TT=305.198	SAT TT=306.414	? (TO) TT=2404.03	SAT TT=107.433	SAT TT=13.664	SAT TT=38.324	No data	? (TO) TT=2400.07	No data	SAT TT=51.188	SAT TT=48.252
SocialGolfers/ SocialGolfers-xcsp2-s1/ SocialGolfers-06-3-6_X2.xml	SAT TT=5.964	SAT TT=7.007	SAT TT=17.289	SAT TT=15.069	SAT TT=22.462	SAT TT=23.301	SAT TT=5.758	SAT TT=5.964	SAT TT=7.512	SAT TT=7.636	SAT TT=39.115	SAT TT=6.525	SAT TT=16.29	SAT TT=10.168	No data	? (TO) TT=2520.04	No data	SAT (TO) TT=20020	SAT TT=2689.15	SAT TT=8.261	SAT TT=16.918	SAT TT=32.077	SAT TT=33.456	SAT TT=48.658	SAT TT=6.726	SAT TT=16.043	SAT TT=9.948	No data	? (TO) TT=2400.12	No data	SAT TT=17.932	SAT TT=16.086
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	BTD 2017-07-25 (complete)	BTD 2017-08-10 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: BTD 2017-06-30 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
SocialGolfers/ SocialGolfers-xcsp2-s1/ SocialGolfers-06-3-8_X2.xml	SAT TT=9.331	SAT TT=9.331	SAT TT=77.494	SAT TT=86.32	SAT TT=46.594	SAT TT=41.078	SAT TT=10.924	SAT TT=9.632	SAT TT=12.422	SAT TT=13.43	SAT TT=51.43	SAT TT=15.662	SAT TT=19.707	SAT TT=25.425	No data	? (TO) TT=2520.12	No data	? (TO) TT=20047.6	? (TO) TT=20035.199	SAT TT=13.444	SAT TT=84.214	SAT TT=88.034	SAT TT=88.905	SAT TT=65.246	SAT TT=17.934	SAT TT=19.392	SAT TT=24.299	No data	? (TO) TT=2400.05	No data	SAT TT=56.192	SAT TT=54.653
SocialGolfers/ SocialGolfers-xcsp2-s1/ SocialGolfers-06-4-6_X2.xml		? (TO) TT=2520.06	? TT=2520.03	? (TO) TT=2519.7	? (TO) TT=20091.699	? (TO) TT=20091.9	? (TO) TT=2520.03	? (TO) TT=2520.07	? (TO) TT=2520.07	? (TO) TT=2520.08	? (TO) TT=2523.27	? (TO) TT=2520.09	? (TO) TT=2519.89	? (TO) TT=2520.08	No data	? (TO) TT=2520.06	No data	? (TO) TT=20067.1	? (TO) TT=20066	? (TO) TT=2400.08	? (TO) TT=2400.01	? (TO) TT=2400.16	? (TO) TT=2400.16	? (TO) TT=2408.77	? (TO) TT=2400.09	? (TO) TT=2400.03	? (TO) TT=2400.01	No data	? (TO) TT=2400.08	No data	? (TO) TT=2400.12	? (TO) TT=2520.11
SocialGolfers/ SocialGolfers-xcsp2-s1/ SocialGolfers-08-4-8_X2.xml		? (TO) TT=2520.02	? (TO) TT=2519.68	? (TO) TT=2519.81	? (TO) TT=20061.6	? (TO) TT=20063	? (TO) TT=2520.1	? (TO) TT=2520.04	? (TO) TT=2520.25	? (TO) TT=2520.24	? (TO) TT=2526.94	? (TO) TT=2519.86	? (TO) TT=2519.97	? (TO) TT=2519.82	No data	? (TO) TT=2520.07	No data	? (TO) TT=20040.5	? (TO) TT=20040.1	? (TO) TT=2407.31	? (TO) TT=2400.03	? (TO) TT=2400.62	? (TO) TT=2400	? (TO) TT=2414.53	? (TO) TT=2400.1	? (TO) TT=2400.02	? (TO) TT=2400.08	No data	? (TO) TT=2400.1	No data	? (TO) TT=2400.13	? (TO) TT=2520.15
SocialGolfers/ SocialGolfers-xcsp2-s1/ SocialGolfers-09-4-8_X2.xml		? (TO) TT=2520.02	? (TO) TT=2519.8	? (TO) TT=2519.68	? (TO) TT=20056.1	? (TO) TT=20055.5	? (TO) TT=2520.02	? (TO) TT=2520.08	? (TO) TT=2520.13	? (TO) TT=2520.05	? (TO) TT=2527.6	? (TO) TT=2519.78	? (TO) TT=2519.96	? (TO) TT=2519.65	No data	? (TO) TT=2520.13	No data	? (TO) TT=20041.6	? (TO) TT=20048.801	? (TO) TT=2400.09	? (TO) TT=2400.09	? (TO) TT=2400.68	? (TO) TT=2400	? (TO) TT=2415.06	? (TO) TT=2400.02	? (TO) TT=2400.04	? (TO) TT=2400.07	No data	? (TO) TT=2400.07	No data	? (TO) TT=2400.2	? (TO) TT=2520.11
SportsScheduling/ SportsScheduling-m1-s1/ SportsScheduling-14.xml	SAT TT=111.493	SAT TT=199.194	? (NS) TT=0.023	? (NS) TT=0.023	? (TO) TT=19944.1	SAT TT=3193.31	? (TO) TT=2520.11	? (TO) TT=2520.1	? (TO) TT=2520.04	? (TO) TT=2520.04	? (TO) TT=2520.71	? (TO) TT=2520.1	? (TO) TT=2520.03	SAT TT=586.37	No data	SAT TT=1211.85	No data	SAT (TO) TT=19872.6	SAT TT=111.493	SAT TT=202.889	? (NS) TT=0.041	? (TO) TT=2400.4	? (TO) TT=2400.72	? (TO) TT=2401.39	? (TO) TT=2400.03	? (TO) TT=2400.03	SAT TT=150.752	No data	SAT TT=1254.34	No data	? (TO) TT=2400.18	? (TO) TT=2520.2
SportsScheduling/ SportsScheduling-m1-s1/ SportsScheduling-26.xml		? (TO) TT=2520.07	? (NS) TT=0.279	? (NS) TT=0.28	? (TO) TT=19641.699	? (TO) TT=19651.5	? (TO) TT=2520.1	? (TO) TT=2520.04	? (TO) TT=2520.11	? (TO) TT=2520.12	? (TO) TT=2521.51	? (TO) TT=2520.07	? (TO) TT=2519.93	? (TO) TT=2519.79	No data	? (TO) TT=2520.04	No data	? (TO) TT=20022.5	? (TO) TT=20023.801	? (TO) TT=2400.09	? (NS) TT=0.336	? (TO) TT=2400.59	? (TO) TT=2400.67	? (TO) TT=2403.12	? (TO) TT=2400.04	? (TO) TT=2400.11	? (TO) TT=2400.03	No data	? (TO) TT=2400.03	No data	? (TO) TT=2400.23	? (TO) TT=2520.3
SportsScheduling/ SportsScheduling-m1-s1/ SportsScheduling-28.xml		? (TO) TT=2520.04	? (NS) TT=0.394	? (NS) TT=0.395	? (TO) TT=19808.4	? (TO) TT=19784.4	? (TO) TT=2520.1	? (TO) TT=2520.03	? (TO) TT=2520.11	? (TO) TT=2520.08	? (TO) TT=2521.8	? (TO) TT=2520.1	? (TO) TT=2519.85	? (TO) TT=2519.88	No data	? (TO) TT=2520.07	No data	? (TO) TT=19994.301	? (TO) TT=20014.699	? (TO) TT=2400.11	? (NS) TT=0.449	? (TO) TT=2400.56	? (TO) TT=2400.1	? (TO) TT=2403.11	? (TO) TT=2400.03	? (TO) TT=2400.04	? (TO) TT=2400.1	No data	? (TO) TT=2400.02	No data	? (TO) TT=2400.24	? (TO) TT=2520.18
SportsScheduling/ SportsScheduling-m1-s1/ SportsScheduling-30.xml		? (TO) TT=2520.1	? (NS) TT=0.554	? (NS) TT=0.555	? (TO) TT=19900.4	? (TO) TT=19864.801	? (TO) TT=2520.09	? (TO) TT=2520.05	? (TO) TT=2520.03	? (TO) TT=2520.1	? (TO) TT=2522.72	? (TO) TT=2520.04	? (TO) TT=2519.88	? (TO) TT=2519.87	No data	? (TO) TT=2520.04	No data	? (TO) TT=19997	? (TO) TT=19994.801	? (TO) TT=2400.12	? (NS) TT=0.611	? (TO) TT=2400.42	? (TO) TT=2400.07	? (TO) TT=2405	? (TO) TT=2400.09	? (TO) TT=2400.04	? (TO) TT=2400.05	No data	? (TO) TT=2400.07	No data	? TT=673.43	? (TO) TT=2527.97
SportsScheduling/ SportsScheduling-m1-s1/ SportsScheduling-32.xml		? (TO) TT=2520.02	? (NS) TT=0.762	? (NS) TT=0.764	? (TO) TT=19981.9	? (TO) TT=19968.6	? (TO) TT=2520.1	? (TO) TT=2520.04	? (TO) TT=2520.07	? (TO) TT=2520.1	? (TO) TT=2522.47	? (TO) TT=2520.06	? (TO) TT=2520.04	? (TO) TT=2519.97	No data	? (TO) TT=2520.09	No data	? (TO) TT=19964.699	? (TO) TT=19963.4	? (TO) TT=2400.06	? (NS) TT=0.809	? (TO) TT=2400.4	? (TO) TT=2400.64	? (TO) TT=2404.63	? (TO) TT=2400.05	? (TO) TT=2400.09	? (TO) TT=2400.06	No data	? (TO) TT=2400.09	No data	? (TO) TT=2411.17	? (TO) TT=2527.95
SportsScheduling/ SportsScheduling-m1-s1/ SportsScheduling-34.xml		? (TO) TT=2520.07	? (NS) TT=1.023	? (NS) TT=1.024	? (TO) TT=20074.6	? (TO) TT=20069.1	? (TO) TT=2520.08	? (TO) TT=2520.09	? (TO) TT=2520.04	? (TO) TT=2520.13	? (TO) TT=2524.44	? (TO) TT=2519.75	? (TO) TT=2519.84	? (TO) TT=2519.59	No data	? (TO) TT=2520.08	No data	? (TO) TT=19965.4	? (TO) TT=19961.801	? (TO) TT=2400.08	? (NS) TT=1.087	? (TO) TT=2400.54	? (TO) TT=2400.62	? (TO) TT=2407.34	? (TO) TT=2400.03	? (TO) TT=2400.1	? (TO) TT=2400.09	No data	? (TO) TT=2400.05	No data	? (TO) TT=2416.14	? (TO) TT=2525.84
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	BTD 2017-07-25 (complete)	BTD 2017-08-10 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: BTD 2017-06-30 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
Steiner3/ Steiner3-m1-s1/ Steiner3-06.xml	UNSAT TT=0.141	UNSAT TT=1.882	? (NS) TT=0.006	? (NS) TT=0.006	UNSAT TT=4.056	UNSAT TT=4.278	UNSAT TT=1.693	UNSAT TT=1.67	UNSAT TT=2.863	UNSAT TT=2.877	UNSAT TT=10.828	UNSAT TT=0.141	UNSAT TT=0.183	UNSAT TT=0.451	No data	UNSAT TT=1.97	No data	UNSAT TT=4.296	UNSAT TT=4.204	UNSAT TT=2.535	? (NS) TT=0.009	UNSAT TT=4.571	UNSAT TT=4.308	UNSAT TT=13.889	UNSAT TT=0.2	UNSAT TT=0.245	UNSAT TT=0.507	No data	UNSAT TT=2.427	No data	UNSAT TT=1041.96	UNSAT TT=982.933
Steiner3/ Steiner3-m1-s1/ Steiner3-08.xml		? (TO) TT=2520.1	? (NS) TT=0.006	? (NS) TT=0.006	? (TO) TT=19976.199	? (TO) TT=19980.9	? (TO) TT=2520.1	? (TO) TT=2520.04	? (TO) TT=2520.07	? (TO) TT=2520.1	? (TO) TT=2520.69	? (TO) TT=2519.69	? (TO) TT=2519.93	? (TO) TT=2519.79	No data	? (TO) TT=2520.09	No data	? (TO) TT=19898.699	? (TO) TT=19951.699	? (TO) TT=2400.06	? (NS) TT=0.008	? (TO) TT=2400.15	? (TO) TT=2400.26	? (TO) TT=2401.34	? (TO) TT=2400.08	? (TO) TT=2400.1	? (TO) TT=2400.1	No data	? (TO) TT=2400.05	No data	? (TO) TT=2416.43	? TT=2203.53
Steiner3/ Steiner3-m1-s1/ Steiner3-09.xml	SAT TT=6.413	SAT TT=6.413	? (NS) TT=0.006	? (NS) TT=0.007	SAT TT=103.994	SAT TT=111.079	SAT TT=41.156	SAT TT=40.991	SAT TT=26.745	SAT TT=26.638	SAT TT=27.536	SAT TT=990.88	SAT TT=2063.7	SAT TT=32.677	No data	SAT TT=6.428	No data	SAT (TO) TT=19961.9	SAT TT=50.269	SAT TT=8.179	? (NS) TT=0.008	SAT TT=112.073	SAT TT=110.348	SAT TT=32.228	SAT TT=993.389	SAT TT=2152.08	SAT TT=52.074	No data	SAT TT=23.48	No data	? (TO) TT=2415.83	? TT=1888.34
Steiner3/ Steiner3-m1-s1/ Steiner3-10.xml		? (TO) TT=2520.1	? (NS) TT=0.006	? (NS) TT=0.007	? (TO) TT=18465.9	? (TO) TT=18479.6	? (TO) TT=2520.13	? (TO) TT=2520.08	? (TO) TT=2520.08	? (TO) TT=2520.09	? (TO) TT=2523.87	? (TO) TT=2519.81	? (TO) TT=2520.02	? (TO) TT=2520.06	No data	? (TO) TT=2520.09	No data	? (TO) TT=19918.1	? (TO) TT=19914.801	? (TO) TT=2400.11	? (NS) TT=0.009	? (TO) TT=2400.35	? (TO) TT=2400.31	? (TO) TT=2409.98	? (TO) TT=2400.04	? (TO) TT=2400.03	? (TO) TT=2400.25	No data	? (TO) TT=2400.06	No data	? TT=1024.54	? TT=1333.76
Steiner3/ Steiner3-m1-s1/ Steiner3-11.xml		? (TO) TT=2520.12	? (NS) TT=0.007	? (NS) TT=0.007	? (TO) TT=15110.7	? (TO) TT=15123	? (TO) TT=2520.07	? (TO) TT=2520.07	? (TO) TT=2520.09	? (TO) TT=2520.14	? (TO) TT=2527.56	? (TO) TT=2519.77	? (TO) TT=2520.1	? (MO) TT=26.827	No data	? (TO) TT=2520.24	No data	? TT=11608.3	? TT=829.191	? (TO) TT=2400.12	? (NS) TT=0.007	? TT=952.142	? TT=958.221	? (TO) TT=2415.26	? (TO) TT=2400.05	? (TO) TT=2400.05	? (MO) TT=25.982	No data	? (TO) TT=2402.92	No data	? (TO) TT=2416.03	? TT=1928.05
Steiner3/ Steiner3-m1-s1/ Steiner3-14.xml		? (problem) TT=213.048	? (NS) TT=0.008	? (NS) TT=0.007	? TT=1251.51	? TT=1310.3	? TT=564.504	? TT=545.583	? TT=502.143	? TT=551.46	? (TO) TT=2528.09	? (TO) TT=2519.89	? (TO) TT=2519.99	? (NS) TT=50.987	No data	? TT=756.726	No data	? TT=838.128	? TT=2115.49	? (problem) TT=282.68	? (NS) TT=0.012	? TT=679.417	? TT=642.598	? (TO) TT=2416.42	? (TO) TT=2400.2	? (TO) TT=2400.14	? (NS) TT=51.141	No data	? TT=853.123	No data	? (TO) TT=2415.83	? (TO) TT=2527.83
StillLife/ StillLife-m1-s1/ StillLife-03-05.xml	OPT f=8 TT=0.007 T1=0.01	OPT f=8 TT=1.248 T1=0.7	No data	No data	OPT f=8 TT=1.532 T1=0.57	OPT f=8 TT=1.467 T1=0.58	OPT f=8 TT=1.03 T1=0.62	OPT f=8 TT=1.019 T1=0.6	OPT f=8 TT=1.321 T1=0.64	OPT f=8 TT=1.347 T1=0.63	OPT f=8 TT=6.798 T1=3.68	OPT f=8 TT=0.007 T1=0.14	OPT f=8 TT=0.009 T1=0.1	OPT f=8 TT=0.009 T1=0.08	SAT (TO) f=8 TT=2520.11 T1=1.07	OPT f=8 TT=1.272 T1=0.86	OPT f=8 TT=1.287 T1=0.88	OPT f=8 TT=2.972 T1=1.2	OPT f=8 TT=2.85 T1=2.41	OPT f=8 TT=1.486 T1=0.69	No data	OPT f=8 TT=1.805 T1=0.7	OPT f=8 TT=1.77 T1=0.64	OPT f=8 TT=8.36 T1=3.63	OPT f=8 TT=0.013 T1=0.01	OPT f=8 TT=0.014 T1=0.01	OPT f=8 TT=0.013 T1=0.01	SAT (TO) f=8 TT=2400.05 T1=1.29	OPT f=8 TT=1.329 T1=0.77	OPT f=8 TT=1.3 T1=0.75	OPT f=8 TT=1.286 T1=0.5	OPT f=8 TT=1.092 T1=0.6
StillLife/ StillLife-m1-s1/ StillLife-03-06.xml	OPT f=10 TT=0.013 T1=0.01	OPT f=10 TT=1.381 T1=0.73	No data	No data	OPT f=10 TT=1.839 T1=0.6	OPT f=10 TT=1.732 T1=0.61	OPT f=10 TT=1.084 T1=0.59	OPT f=10 TT=1.079 T1=0.57	OPT f=10 TT=1.539 T1=0.66	OPT f=10 TT=1.55 T1=0.66	OPT f=10 TT=7.597 T1=3.77	OPT f=10 TT=0.013 T1=0.08	OPT f=10 TT=0.015 T1=0.06	OPT f=10 TT=0.015 T1=0.11	SAT (TO) f=10 TT=2520.05 T1=1.5	OPT f=10 TT=1.375 T1=0.91	OPT f=10 TT=1.365 T1=0.82	OPT f=10 TT=3.786 T1=1.31	OPT f=10 TT=3.758 T1=3.13	OPT f=10 TT=1.611 T1=0.69	No data	OPT f=10 TT=1.937 T1=0.68	OPT f=10 TT=2.027 T1=0.67	OPT f=10 TT=8.559 T1=3.67	OPT f=10 TT=0.022 T1=0.02	OPT f=10 TT=0.027 T1=0.01	OPT f=10 TT=0.027 T1=0.01	SAT (TO) f=10 TT=2400.09 T1=1.03	OPT f=10 TT=1.424 T1=0.79	OPT f=10 TT=1.401 T1=0.75	OPT f=10 TT=1.289 T1=0.52	OPT f=10 TT=1.178 T1=0.58
StillLife/ StillLife-m1-s1/ StillLife-03-10.xml	OPT f=16 TT=0.261 T1=0.03	OPT f=16 TT=4.082 T1=1.33	No data	No data	OPT f=16 TT=3.65 T1=0.71	OPT f=16 TT=4.661 T1=0.68	OPT f=16 TT=1.853 T1=0.79	OPT f=16 TT=1.863 T1=0.76	OPT f=16 TT=6.034 T1=1	OPT f=16 TT=5.915 T1=0.98	OPT f=16 TT=12.617 T1=4.22	OPT f=16 TT=0.287 T1=0.14	OPT f=16 TT=0.367 T1=0.27	OPT f=16 TT=0.261 T1=0.09	SAT (TO) f=16 TT=2520.1 T1=1.19	OPT f=16 TT=2.817 T1=1.71	OPT f=16 TT=2.866 T1=1.12	OPT f=16 TT=8.752 T1=2.29	OPT f=16 TT=7.282 T1=5.94	OPT f=16 TT=4.116 T1=1.18	No data	OPT f=16 TT=5.549 T1=0.79	OPT f=16 TT=5.268 T1=0.77	OPT f=16 TT=13.332 T1=4.18	OPT f=16 TT=0.344 T1=0.12	OPT f=16 TT=0.416 T1=0.27	OPT f=16 TT=0.324 T1=0.03	SAT (TO) f=16 TT=2400.12 T1=2.43	OPT f=16 TT=3.232 T1=1.06	OPT f=16 TT=3.02 T1=0.98	OPT f=16 TT=1.913 T1=0.64	OPT f=16 TT=1.711 T1=0.74
StillLife/ StillLife-m1-s1/ StillLife-03-11.xml	OPT f=18 TT=0.409 T1=0.03	OPT f=18 TT=5.432 T1=2.04	No data	No data	OPT f=18 TT=4.244 T1=0.82	OPT f=18 TT=4.75 T1=0.84	OPT f=18 TT=2.485 T1=0.88	OPT f=18 TT=2.466 T1=0.9	OPT f=18 TT=9.087 T1=1.78	OPT f=18 TT=7.206 T1=1.61	OPT f=18 TT=13.971 T1=6.09	OPT f=18 TT=0.997 T1=0.97	OPT f=18 TT=0.409 T1=0.46	OPT f=18 TT=0.77 T1=0.11	SAT (TO) f=18 TT=2520.08 T1=4.17	OPT f=18 TT=3.781 T1=1.73	OPT f=18 TT=1802.65 T1=4.27	OPT f=18 TT=9.22 T1=2.6	OPT f=18 TT=8.983 T1=8.41	OPT f=18 TT=4.669 T1=1.83	No data	OPT f=18 TT=6.686 T1=0.96	OPT f=18 TT=5.72 T1=0.86	OPT f=18 TT=15.831 T1=5.85	OPT f=18 TT=1.052 T1=0.94	OPT f=18 TT=0.437 T1=0.42	OPT f=18 TT=0.826 T1=0.03	SAT (TO) f=18 TT=2400.09 T1=16.06	OPT f=18 TT=3.602 T1=1.51	OPT f=18 TT=3.857 T1=1.81	OPT f=18 TT=2.389 T1=0.81	OPT f=18 TT=1.942 T1=0.89
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	BTD 2017-07-25 (complete)	BTD 2017-08-10 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: BTD 2017-06-30 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
StillLife/ StillLife-m1-s1/ StillLife-04-05.xml	OPT f=12 TT=0.014 T1=0.01	OPT f=12 TT=1.494 T1=0.75	No data	No data	OPT f=12 TT=1.766 T1=0.61	OPT f=12 TT=1.755 T1=0.61	OPT f=12 TT=1.116 T1=0.62	OPT f=12 TT=1.119 T1=0.62	OPT f=12 TT=1.663 T1=0.65	OPT f=12 TT=1.666 T1=0.66	OPT f=12 TT=7.755 T1=3.83	OPT f=12 TT=0.014 T1=0.13	OPT f=12 TT=0.018 T1=0.07	OPT f=12 TT=0.014 T1=0.1	SAT (TO) f=12 TT=2520.04 T1=1.76	OPT f=12 TT=1.539 T1=0.95	OPT f=12 TT=1.577 T1=0.95	OPT f=12 TT=4.397 T1=1.42	OPT f=12 TT=4.256 T1=3.31	OPT f=12 TT=2.014 T1=0.74	No data	OPT f=12 TT=2.164 T1=0.73	OPT f=12 TT=1.879 T1=0.63	OPT f=12 TT=10.084 T1=4.14	OPT f=12 TT=0.022 T1=0.01	OPT f=12 TT=0.031 T1=0.01	OPT f=12 TT=0.023 T1=0.01	SAT (TO) f=12 TT=2400.06 T1=1.63	OPT f=12 TT=1.737 T1=0.87	OPT f=12 TT=1.686 T1=0.86	OPT f=12 TT=1.363 T1=0.51	OPT f=12 TT=1.131 T1=0.6
StillLife/ StillLife-m1-s1/ StillLife-05-06.xml	OPT f=16 TT=0.188 T1=0.06	OPT f=16 TT=4.683 T1=1.65	No data	No data	OPT f=16 TT=3.091 T1=0.65	OPT f=16 TT=3.269 T1=0.65	OPT f=16 TT=1.898 T1=0.62	OPT f=16 TT=1.867 T1=0.61	OPT f=16 TT=6.025 T1=0.65	OPT f=16 TT=5.669 T1=0.67	OPT f=16 TT=12.364 T1=3.94	OPT f=16 TT=0.364 T1=0.06	OPT f=16 TT=0.188 T1=0.08	OPT f=16 TT=0.455 T1=0.13	SAT (TO) f=16 TT=2520.09 T1=1.29	OPT f=16 TT=3.284 T1=1.26	OPT f=16 TT=3.297 T1=1.32	OPT f=16 TT=6.719 T1=2.02	OPT f=16 TT=6.889 T1=6.19	OPT f=16 TT=6.291 T1=1.79	No data	OPT f=16 TT=3.821 T1=0.77	OPT f=16 TT=3.962 T1=0.73	OPT f=16 TT=13.871 T1=3.93	OPT f=16 TT=0.371 T1=0.01	OPT f=16 TT=0.238 T1=0.04	OPT f=16 TT=0.507 T1=0.06	SAT (TO) f=16 TT=2400.13 T1=1.36	OPT f=16 TT=3.682 T1=1.17	OPT f=16 TT=3.502 T1=1.2	OPT f=16 TT=2.152 T1=0.65	OPT f=16 TT=1.861 T1=0.81
StillLife/ StillLife-m1-s1/ StillLife-06-13.xml	OPT f=40 TT=18912 T1=1.03	SAT (TO) f=37 TT=2520.1 T1=1122.65	No data	No data	OPT f=40 TT=17607.199 T1=1.03	OPT f=40 TT=18912 T1=1.03	SAT (TO) f=40 TT=2520.09 T1=13.35	SAT (TO) f=40 TT=2520.15 T1=13.34	SAT (TO) f=40 TT=2520.07 T1=80.87	SAT (TO) f=40 TT=2520.07 T1=79.83	SAT (TO) f=40 TT=2520.05 T1=19.37	SAT (TO) f=40 TT=2520.1 T1=377.83	SAT (TO) f=40 TT=2519.7 T1=1498.06	SAT (TO) f=40 TT=2519.95 T1=0.27	SAT (TO) f=40 TT=2520.07 T1=142.7	SAT (TO) f=38 TT=2520.03 T1=1391.21	SAT (TO) f=40 TT=2520.07 T1=131.93	SAT (TO) f=39 TT=19838 T1=1039.85	SAT (TO) f=39 TT=19849.5 T1=7876.79	SAT (TO) f=37 TT=2400.03 T1=1109.5	No data	SAT (TO) f=40 TT=2400.3 T1=1.45	SAT (TO) f=40 TT=2400.18 T1=1.36	SAT (TO) f=40 TT=2400.09 T1=19.53	? (TO) TT=2400.04	? (TO) TT=2400.01	SAT (TO) f=40 TT=2400.05 T1=0.25	SAT (TO) f=40 TT=2400.04 T1=23.19	SAT (TO) f=38 TT=2400.1 T1=1398.83	SAT (TO) f=40 TT=2400.11 T1=176.26	SAT (TO) f=40 TT=2400.25 T1=5.8	SAT (TO) f=40 TT=2520.33 T1=7.23
StillLife/ StillLife-m1-s1/ StillLife-08-10.xml	OPT f=44 TT=6836.89 T1=1.41	SAT (TO) f=38 TT=2520.11 T1=1854.13	No data	No data	OPT f=44 TT=6724.39 T1=1.31	OPT f=44 TT=6836.89 T1=1.41	SAT (TO) f=44 TT=2520.03 T1=488.3	SAT (TO) f=44 TT=2520.06 T1=465.55	SAT (TO) f=43 TT=2520.08 T1=1175.44	SAT (TO) f=43 TT=2520.02 T1=1205.73	SAT (TO) f=41 TT=2520.05 T1=156.25	SAT (TO) f=43 TT=2519.99 T1=20.98	SAT (TO) f=44 TT=2519.94 T1=1737.62	SAT (TO) f=44 TT=2519.9 T1=6.93	SAT (TO) f=44 TT=2520.07 T1=1.76	SAT (TO) f=34 TT=2520.02 T1=2071.58	SAT (TO) f=44 TT=2520.11 T1=19.38	SAT (TO) f=39 TT=19846.199 T1=450.89	SAT (TO) f=39 TT=19843.699 T1=7604.81	SAT (TO) f=38 TT=2400.05 T1=1844.55	No data	SAT (TO) f=44 TT=2400.61 T1=1.88	SAT (TO) f=44 TT=2400.28 T1=1.7	SAT (TO) f=41 TT=2400.12 T1=165.2	? (TO) TT=2400.1	? (TO) TT=2400.11	SAT (TO) f=44 TT=2400.07 T1=7.06	SAT (TO) f=44 TT=2400.06 T1=2.84	SAT (TO) f=34 TT=2400.12 T1=2068.27	SAT (TO) f=44 TT=2400.06 T1=128.61	SAT (TO) f=44 TT=2400.39 T1=46.28	? (TO) TT=2520.37
StillLife/ StillLife-m1-s1/ StillLife-08-13.xml	SAT TO f=57 TT=2400.03 T1=392.89	SAT (TO) f=45 TT=2520.1 T1=2019.69	No data	No data	SAT (TO) f=56 TT=20036.1 T1=6.81	SAT (TO) f=56 TT=20005.5 T1=7.55	SAT (TO) f=54 TT=2520.04 T1=1126.28	SAT (TO) f=54 TT=2520.11 T1=1034.35	SAT (TO) f=54 TT=2520.06 T1=142.13	SAT (TO) f=54 TT=2520.03 T1=142.79	SAT (TO) f=54 TT=2520.05 T1=147.19	SAT (TO) f=51 TT=2519.84 T1=219.41	SAT (TO) f=55 TT=2520.01 T1=313.68	SAT (TO) f=57 TT=2519.96 T1=693.85	SAT (TO) f=56 TT=2520.12 T1=293.83	SAT (TO) f=37 TT=2520.07 T1=1820.76	SAT (TO) f=57 TT=2520.05 T1=392.89	SAT (TO) f=43 TT=19847.301 T1=309.74	SAT (TO) f=43 TT=19846 T1=5820.59	SAT (TO) f=45 TT=2400.06 T1=1896.83	No data	SAT (TO) f=56 TT=2400.62 T1=13.54	SAT (TO) f=56 TT=2400.75 T1=13.35	SAT (TO) f=54 TT=2400.07 T1=149.11	? (TO) TT=2400.05	? (TO) TT=2400.06	SAT (TO) f=57 TT=2400.03 T1=717.77	SAT (TO) f=56 TT=2400.06 T1=197.15	SAT (TO) f=37 TT=2400.07 T1=1906.43	SAT (TO) f=56 TT=2400.04 T1=158.97	SAT (TO) f=54 TT=2400.13 T1=2055.27	SAT (TO) f=54 TT=2520.19 T1=2062.73
StillLife/ StillLife-m1-s1/ StillLife-09-12.xml	SAT TO f=58 TT=2400.02 T1=306.9	SAT (TO) f=47 TT=2520.1 T1=1611.16	No data	No data	SAT (TO) f=58 TT=20011.301 T1=1814.3	SAT (TO) f=58 TT=20017.6 T1=1658.62	SAT (TO) f=55 TT=2520.13 T1=692.91	SAT (TO) f=55 TT=2520.12 T1=689.25	SAT (TO) f=55 TT=2520.06 T1=1446.71	SAT (TO) f=55 TT=2520.02 T1=1506.4	SAT (TO) f=57 TT=2520.13 T1=1173.55	SAT (TO) f=54 TT=2519.72 T1=2432.74	SAT (TO) f=55 TT=2520.02 T1=883.75	SAT (TO) f=58 TT=2520.05 T1=306.9	SAT (TO) f=56 TT=2520.06 T1=74.42	SAT (TO) f=37 TT=2520.05 T1=2390.69	SAT (TO) f=57 TT=2520.08 T1=514.7	SAT (TO) f=48 TT=19860.6 T1=1511.08	SAT (TO) f=48 TT=19852.301 T1=10968.93	SAT (TO) f=47 TT=2400.09 T1=1601.96	No data	SAT (TO) f=57 TT=2400.41 T1=4.56	SAT (TO) f=57 TT=2400.55 T1=4.08	SAT (TO) f=57 TT=2400.1 T1=1243.53	? (TO) TT=2400.09	? (TO) TT=2400.05	SAT (TO) f=58 TT=2400.02 T1=315.72	SAT (TO) f=58 TT=2400.11 T1=784.19	SAT (TO) f=36 TT=2400.11 T1=1286.05	SAT (TO) f=57 TT=2400.06 T1=406.58	SAT (TO) f=56 TT=2400.18 T1=562.25	SAT (TO) f=56 TT=2520.19 T1=611.13
StillLife/ StillLife-m1-s1/ StillLife-10-11.xml	SAT TO f=59 TT=2400.04 T1=2.16	SAT (TO) f=45 TT=2520.03 T1=1769.31	No data	No data	SAT (TO) f=59 TT=20028 T1=2.24	SAT (TO) f=59 TT=20035.6 T1=2.16	SAT (TO) f=55 TT=2520.07 T1=302	SAT (TO) f=55 TT=2520.08 T1=301.54	SAT (TO) f=58 TT=2520.12 T1=393.71	SAT (TO) f=58 TT=2520.12 T1=403.89	SAT (TO) f=58 TT=2520.1 T1=1279.33	SAT (TO) f=57 TT=2520.01 T1=92.89	SAT (TO) f=56 TT=2519.99 T1=910.7	SAT (TO) f=59 TT=2519.69 T1=50.8	SAT (TO) f=58 TT=2520.05 T1=18.68	SAT (TO) f=34 TT=2520.08 T1=1801.86	SAT (TO) f=59 TT=2520.04 T1=1025.38	SAT (TO) f=43 TT=19846.301 T1=2109.55	SAT (TO) f=44 TT=19841.9 T1=11848.2	SAT (TO) f=45 TT=2400.08 T1=1744.46	No data	SAT (TO) f=59 TT=2400.53 T1=3.98	SAT (TO) f=59 TT=2400.09 T1=3.94	SAT (TO) f=58 TT=2400.13 T1=1342.09	? (TO) TT=2400.04	? (TO) TT=2400.06	SAT (TO) f=59 TT=2400.04 T1=51.67	SAT (TO) f=59 TT=2400.04 T1=234.43	SAT (TO) f=34 TT=2400.26 T1=1851.7	SAT (TO) f=59 TT=2400.04 T1=392.18	SAT (TO) f=55 TT=2400.36 T1=53.2	SAT (TO) f=55 TT=2520.35 T1=46.55
StillLife/ StillLife-m1-s1/ StillLife-10-12.xml	SAT TO f=64 TT=2400.02 T1=279.91	SAT (TO) f=46 TT=2520.07 T1=1635.65	No data	No data	SAT (TO) f=63 TT=20019.1 T1=42.92	SAT (TO) f=63 TT=20049.5 T1=42.36	SAT (TO) f=59 TT=2520.05 T1=10.27	SAT (TO) f=59 TT=2520.07 T1=10.43	SAT (TO) f=60 TT=2520.11 T1=1341.88	SAT (TO) f=60 TT=2520.06 T1=1309.75	SAT (TO) f=60 TT=2520.08 T1=1830.93	SAT (TO) f=60 TT=2519.9 T1=405.04	SAT (TO) f=61 TT=2519.79 T1=870.7	SAT (TO) f=64 TT=2520 T1=279.91	SAT (TO) f=63 TT=2520.05 T1=106.91	SAT (TO) f=36 TT=2520.09 T1=2168.7	SAT (TO) f=63 TT=2520.1 T1=165.78	SAT (TO) f=48 TT=19843.801 T1=1566.54	SAT (TO) f=49 TT=19859.6 T1=10759.6	SAT (TO) f=46 TT=2400.03 T1=1594.93	No data	SAT (TO) f=63 TT=2400.27 T1=88.53	SAT (TO) f=63 TT=2400.74 T1=86.6	SAT (TO) f=60 TT=2400.07 T1=1929.69	? (TO) TT=2400.02	? (TO) TT=2400.01	SAT (TO) f=64 TT=2400.02 T1=289.01	SAT (TO) f=64 TT=2400.05 T1=313.16	SAT (TO) f=36 TT=2400.03 T1=2223.6	SAT (TO) f=64 TT=2400.1 T1=398.14	? (TO) TT=2400.26	SAT (TO) f=60 TT=2520.16 T1=995.12
StillLife/ StillLife-m1-s1/ StillLife-10-14.xml	SAT TO f=74 TT=2400.07 T1=30.32	SAT (TO) f=49 TT=2520.1 T1=1204	No data	No data	SAT (TO) f=74 TT=20013 T1=30.62	SAT (TO) f=74 TT=20054.5 T1=30.32	SAT (TO) f=69 TT=2520.06 T1=14.08	SAT (TO) f=69 TT=2520.1 T1=14.09	SAT (TO) f=70 TT=2520.04 T1=1089.83	SAT (TO) f=70 TT=2520.06 T1=1073.17	SAT (TO) f=72 TT=2520.08 T1=351.04	SAT (TO) f=65 TT=2519.84 T1=1211.11	SAT (TO) f=68 TT=2520.01 T1=812.16	SAT (TO) f=73 TT=2519.71 T1=1049.25	SAT (TO) f=74 TT=2520.03 T1=245.6	SAT (TO) f=35 TT=2520.09 T1=982.96	SAT (TO) f=74 TT=2520.09 T1=323.87	SAT (TO) f=49 TT=19855.801 T1=852.47	SAT (TO) f=49 TT=19864.6 T1=8441.06	SAT (TO) f=49 TT=2400.07 T1=1201.42	No data	SAT (TO) f=74 TT=2400.57 T1=68.49	SAT (TO) f=74 TT=2400.09 T1=62.76	SAT (TO) f=72 TT=2400.08 T1=371.29	? (TO) TT=2400.05	? (TO) TT=2400.03	SAT (TO) f=73 TT=2400.08 T1=1042.82	SAT (TO) f=74 TT=2400.08 T1=222.26	SAT (TO) f=35 TT=2400.08 T1=1019.87	SAT (TO) f=74 TT=2400.07 T1=481.97	SAT (TO) f=70 TT=2400.36 T1=385.85	? (TO) TT=2520.35
StillLife/ StillLife-m1-s1/ StillLife-11-12.xml	SAT TO f=70 TT=2400.01 T1=126.95	SAT (TO) f=49 TT=2520.09 T1=1730.02	No data	No data	SAT (TO) f=69 TT=20069 T1=152.41	SAT (TO) f=69 TT=20038.9 T1=151.67	SAT (TO) f=66 TT=2520.05 T1=143.99	SAT (TO) f=66 TT=2520.05 T1=145.45	SAT (TO) f=65 TT=2520.08 T1=2006.2	SAT (TO) f=65 TT=2520.08 T1=2038.57	SAT (TO) f=68 TT=2520.09 T1=559.62	SAT (TO) f=62 TT=2519.7 T1=1024.99	SAT (TO) f=63 TT=2520.07 T1=507.75	SAT (TO) f=70 TT=2520.08 T1=126.95	SAT (TO) f=70 TT=2520.06 T1=1873.32	SAT (TO) f=36 TT=2520.1 T1=1353.61	SAT (TO) f=70 TT=2520.07 T1=540.65	SAT (TO) f=52 TT=19836.1 T1=982.86	SAT (TO) f=52 TT=19841.301 T1=7310.52	SAT (TO) f=49 TT=2400.1 T1=1711.89	No data	SAT (TO) f=67 TT=2400.66 T1=12.9	SAT (TO) f=67 TT=2400.6 T1=12.95	SAT (TO) f=68 TT=2400.06 T1=571.68	? (TO) TT=2400.07	? (TO) TT=2400.09	SAT (TO) f=70 TT=2400.01 T1=128.48	SAT (TO) f=70 TT=2400.1 T1=1615.27	SAT (TO) f=36 TT=2400.13 T1=1383.08	SAT (TO) f=67 TT=2400.06 T1=358.66	SAT (TO) f=64 TT=2400.28 T1=50	SAT (TO) f=64 TT=2520.3 T1=49.61
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	BTD 2017-07-25 (complete)	BTD 2017-08-10 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: BTD 2017-06-30 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
StillLife/ StillLife-m1-s1/ StillLife-11-14.xml	SAT TO f=81 TT=2400.11 T1=1054.13	SAT (TO) f=49 TT=2520.04 T1=2459	No data	No data	SAT (TO) f=80 TT=20036.9 T1=712.13	SAT (TO) f=80 TT=20007 T1=673.83	SAT (TO) f=77 TT=2520.09 T1=1036.97	SAT (TO) f=77 TT=2520.06 T1=1046.7	SAT (TO) f=77 TT=2520.12 T1=329.8	SAT (TO) f=77 TT=2520.09 T1=330.81	SAT (TO) f=76 TT=2520.1 T1=713.48	SAT (TO) f=67 TT=2520.02 T1=865.68	SAT (TO) f=78 TT=2519.85 T1=192.45	SAT (TO) f=80 TT=2519.96 T1=228.25	SAT (TO) f=81 TT=2520.04 T1=1962.72	SAT (TO) f=36 TT=2520.12 T1=1775.77	SAT (TO) f=79 TT=2520.09 T1=685.5	SAT (TO) f=52 TT=19855.4 T1=1751.44	SAT (TO) f=52 TT=19853.6 T1=6971.7	SAT (TO) f=49 TT=2400.02 T1=2382.1	No data	SAT (TO) f=78 TT=2400.08 T1=7.99	? (TO) TT=2400.04	SAT (TO) f=76 TT=2400.13 T1=747.36	? (TO) TT=2400.07	? (TO) TT=2400.08	SAT (TO) f=80 TT=2400.1 T1=229.89	SAT (TO) f=79 TT=2400.09 T1=1157.18	SAT (TO) f=36 TT=2400.09 T1=1851.78	SAT (TO) f=81 TT=2400.11 T1=1054.13	SAT (TO) f=75 TT=2400.26 T1=262.26	SAT (TO) f=75 TT=2520.23 T1=306.31
StillLife/ StillLife-m1-s1/ StillLife-11-15.xml	SAT TO f=86 TT=2400.03 T1=32.59	SAT (TO) f=50 TT=2520.07 T1=2321.24	No data	No data	SAT (TO) f=84 TT=20049.801 T1=1333.88	SAT (TO) f=84 TT=20007.5 T1=1867.22	SAT (TO) f=80 TT=2520.12 T1=5.77	SAT (TO) f=80 TT=2520.19 T1=5.95	SAT (TO) f=79 TT=2520.08 T1=2376.47	SAT (TO) f=79 TT=2520.06 T1=2318.19	SAT (TO) f=82 TT=2520.06 T1=142.64	SAT (TO) f=71 TT=2519.92 T1=2511.04	SAT (TO) f=71 TT=2520.01 T1=1277.7	SAT (TO) f=86 TT=2520.02 T1=32.59	SAT (TO) f=84 TT=2520.05 T1=624.43	SAT (TO) f=36 TT=2520.11 T1=1722.93	SAT (TO) f=86 TT=2520.05 T1=477.36	SAT (TO) f=57 TT=19853.199 T1=2146.83	SAT (TO) f=58 TT=19832 T1=18018.949	SAT (TO) f=50 TT=2400.08 T1=2339.76	No data	SAT (TO) f=83 TT=2400.63 T1=102.42	SAT (TO) f=83 TT=2400.4 T1=123.88	SAT (TO) f=82 TT=2400.14 T1=139.73	? (TO) TT=2400.06	SAT (TO) f=71 TT=2400.05 T1=1272.22	SAT (TO) f=86 TT=2400.03 T1=33.07	SAT (TO) f=85 TT=2400.07 T1=1199.98	SAT (TO) f=36 TT=2400.1 T1=1843.06	SAT (TO) f=83 TT=2400.06 T1=443.57	SAT (TO) f=75 TT=2400.24 T1=1034.14	SAT (TO) f=75 TT=2520.33 T1=1255.35
StillLife/ StillLife-m1-s1/ StillLife-12-12.xml	SAT TO f=76 TT=2400.01 T1=112.38	SAT (TO) f=49 TT=2520.03 T1=2046.9	No data	No data	SAT (TO) f=74 TT=20030.801 T1=522.5	SAT (TO) f=74 TT=19999.6 T1=559.11	SAT (TO) f=71 TT=2520.06 T1=1963.15	SAT (TO) f=71 TT=2520.07 T1=2005.86	SAT (TO) f=71 TT=2520.09 T1=1620.36	SAT (TO) f=71 TT=2520.04 T1=1624.1	SAT (TO) f=74 TT=2520.1 T1=42.92	SAT (TO) f=67 TT=2520.09 T1=2371.7	SAT (TO) f=67 TT=2519.73 T1=991.42	SAT (TO) f=76 TT=2520.09 T1=112.38	SAT (TO) f=76 TT=2520.1 T1=262.52	SAT (TO) f=35 TT=2520.12 T1=2131.62	SAT (TO) f=75 TT=2520.09 T1=203.41	SAT (TO) f=51 TT=19857.9 T1=1135.27	SAT (TO) f=54 TT=19849.301 T1=15362.96	SAT (TO) f=49 TT=2400.04 T1=2049.1	No data	SAT (TO) f=73 TT=2400.6 T1=70.04	SAT (TO) f=73 TT=2400.71 T1=61.46	SAT (TO) f=74 TT=2400.06 T1=43.63	? (TO) TT=2400.04	? (TO) TT=2400.05	SAT (TO) f=76 TT=2400.01 T1=112.61	SAT (TO) f=76 TT=2400.12 T1=2002.2	SAT (TO) f=35 TT=2400.11 T1=2310.91	SAT (TO) f=76 TT=2400.08 T1=742.8	SAT (TO) f=73 TT=2400.61 T1=389.14	SAT (TO) f=73 TT=2520.17 T1=444.15
StillLife/ StillLife-wst-s1/ StillLife-wastage-03.xml	OPT f=6 TT=0.033 T1=0.07	OPT f=6 TT=1.483 T1=0.79	No data	No data	OPT f=6 TT=2.298 T1=0.75	OPT f=6 TT=2.254 T1=0.77	OPT f=6 TT=1.181 T1=0.67	OPT f=6 TT=1.186 T1=0.65	OPT f=6 TT=1.316 T1=0.72	OPT f=6 TT=1.288 T1=0.72	OPT f=6 TT=8.543 T1=4.25	OPT f=6 TT=0.033 T1=0.11	OPT f=6 TT=0.034 T1=0.09	OPT f=6 TT=0.044 T1=0.13	SAT (TO) f=6 TT=2520.09 T1=1.11	OPT f=6 TT=1.557 T1=0.93	OPT f=6 TT=1.547 T1=1.02	OPT f=6 TT=6.006 T1=1.69	OPT f=6 TT=6.491 T1=4.19	OPT f=6 TT=1.828 T1=0.78	No data	OPT f=6 TT=2.579 T1=0.83	OPT f=6 TT=2.385 T1=0.77	OPT f=6 TT=10.734 T1=4.37	OPT f=6 TT=0.056 T1=0.05	OPT f=6 TT=0.045 T1=0.04	OPT f=6 TT=0.076 T1=0.07	SAT (TO) f=6 TT=2400.08 T1=1.03	OPT f=6 TT=1.673 T1=0.88	OPT f=6 TT=1.677 T1=0.86	OPT f=6 TT=15.707 T1=9.46	OPT f=6 TT=13.842 T1=9.63
StillLife/ StillLife-wst-s1/ StillLife-wastage-07.xml	OPT f=28 TT=0.603 T1=0.58	OPT f=28 TT=4.022 T1=1.74	No data	No data	OPT f=28 TT=4.405 T1=1.11	OPT f=28 TT=4.341 T1=1.1	OPT f=28 TT=3.687 T1=1.38	OPT f=28 TT=3.702 T1=1.36	OPT f=28 TT=20.641 T1=11.28	OPT f=28 TT=22.207 T1=11.66	OPT f=28 TT=48.307 T1=34.18	OPT f=28 TT=0.603 T1=0.58	OPT f=28 TT=1.291 T1=1.29	OPT f=28 TT=2.876 T1=2.86	SAT (TO) f=28 TT=2520.13 T1=38.84	OPT f=28 TT=5.213 T1=2.72	OPT f=28 TT=5.065 T1=2.72	OPT f=28 TT=10.643 T1=2.59	OPT f=28 TT=10.402 T1=8.77	OPT f=28 TT=4.723 T1=1.69	No data	OPT f=28 TT=5.056 T1=1.22	OPT f=28 TT=4.662 T1=1.18	OPT f=28 TT=50.767 T1=32.54	OPT f=28 TT=0.621 T1=0.52	OPT f=28 TT=1.318 T1=1.27	OPT f=28 TT=2.917 T1=2.83	SAT (TO) f=28 TT=2400.11 T1=44.3	OPT f=28 TT=5.94 T1=3.09	OPT f=28 TT=5.571 T1=2.6	SAT (TO) f=9 TT=2400.2 T1=2287.56	SAT (TO) f=9 TT=2520.2 T1=2262.46
StillLife/ StillLife-wst-s1/ StillLife-wastage-08.xml	OPT f=36 TT=3.516 T1=1.3	OPT f=36 TT=6.001 T1=3.4	No data	No data	OPT f=36 TT=5.369 T1=1.27	OPT f=36 TT=5.341 T1=1.3	OPT f=36 TT=22.856 T1=18.93	OPT f=36 TT=23.217 T1=19.1	OPT f=36 TT=49.143 T1=35.87	OPT f=36 TT=48.749 T1=34.28	OPT f=36 TT=139.82 T1=102.42	OPT f=36 TT=3.516 T1=3.3	OPT f=36 TT=8.784 T1=8.4	OPT f=36 TT=13.333 T1=13.78	SAT (TO) f=36 TT=2520.04 T1=78.1	OPT f=36 TT=26.739 T1=22.38	OPT f=36 TT=1803.37 T1=144.03	OPT f=36 TT=31.077 T1=5.01	OPT f=36 TT=29.281 T1=26.64	OPT f=36 TT=6.002 T1=3.26	No data	OPT f=36 TT=6.842 T1=1.44	OPT f=36 TT=7.671 T1=1.6	OPT f=36 TT=146.467 T1=104.35	OPT f=36 TT=3.549 T1=3.22	OPT f=36 TT=8.863 T1=8.44	OPT f=36 TT=13.343 T1=13.24	SAT (TO) f=36 TT=2400.11 T1=91.29	OPT f=36 TT=27.101 T1=21.95	OPT f=36 TT=1737.54 T1=110.46	? (TO) TT=2400.15	? (TO) TT=2520.11
StillLife/ StillLife-wst-s1/ StillLife-wastage-09.xml	OPT f=43 TT=24.084 T1=2.93	OPT f=43 TT=24.084 T1=11.43	No data	No data	OPT f=43 TT=50.298 T1=3.03	OPT f=43 TT=51.562 T1=2.93	OPT f=43 TT=29.543 T1=10.4	OPT f=43 TT=28.39 T1=10.02	OPT f=43 TT=55.07 T1=18.68	OPT f=43 TT=58.193 T1=19.84	SAT (TO) f=43 TT=2520.13 T1=1659.62	OPT f=43 TT=142.075 T1=23.85	OPT f=43 TT=198.095 T1=69.48	OPT f=43 TT=221.048 T1=38.86	SAT (TO) f=43 TT=2520.11 T1=183.55	SAT (TO) f=43 TT=2520.06 T1=439.68	OPT f=43 TT=1928.48 T1=184.08	OPT f=43 TT=297.748 T1=10.41	OPT f=43 TT=376.806 T1=59.42	OPT f=43 TT=24.484 T1=11.41	No data	OPT f=43 TT=119.212 T1=5.55	OPT f=43 TT=111.491 T1=5.02	SAT (TO) f=43 TT=2400.16 T1=1809.96	OPT f=43 TT=142.931 T1=23.91	OPT f=43 TT=199.129 T1=69.69	OPT f=43 TT=220.147 T1=38.8	SAT (TO) f=43 TT=2400.45 T1=133.93	SAT (TO) f=43 TT=2400.03 T1=468.99	OPT f=43 TT=1869.14 T1=290.15	? (TO) TT=2415.29	? (TO) TT=2520.18
StillLife/ StillLife-wst-s1/ StillLife-wastage-14.xml	SAT TO f=104 TT=2400.03 T1=924.55	SAT (TO) f=104 TT=2520.07 T1=1848.37	No data	No data	SAT (TO) f=103 TT=20071.801 T1=2358.2	SAT (TO) f=101 TT=20050.6 T1=257.07	SAT (TO) f=90 TT=2520.12 T1=1074.76	SAT (TO) f=90 TT=2520.05 T1=1079.96	SAT (TO) f=94 TT=2520.11 T1=2396.73	SAT (TO) f=94 TT=2520.09 T1=2422.78	SAT (TO) f=98 TT=2520.18 T1=1319.15	SAT (TO) f=72 TT=2519.89 T1=2476.47	SAT (TO) f=82 TT=2519.48 T1=2303.08	SAT (TO) f=104 TT=2519.95 T1=924.55	SAT (TO) f=100 TT=2520.09 T1=1206.72	SAT (TO) f=76 TT=2520.07 T1=574.63	SAT (TO) f=102 TT=2520.06 T1=1473.84	SAT (TO) f=90 TT=20007.801 T1=964.71	SAT (TO) f=92 TT=19991.4 T1=15791.21	SAT (TO) f=104 TT=2400.05 T1=1826.91	No data	SAT (TO) f=100 TT=2400.57 T1=134.12	SAT (TO) f=99 TT=2400.52 T1=9.98	SAT (TO) f=98 TT=2400.12 T1=1414.27	No Cert. TT=2400.04	No Cert. TT=2400.11	SAT (TO) f=104 TT=2400.03 T1=925.87	SAT (TO) f=102 TT=2400.16 T1=1317.77	SAT (TO) f=76 TT=2400.04 T1=586.9	SAT (TO) f=100 TT=2400.12 T1=941.12	? (TO) TT=2400.13	? (TO) TT=2520.16
StillLife/ StillLife-wst-s1/ StillLife-wastage-15.xml	SAT TO f=117 TT=2400.03 T1=1058.17	SAT (TO) f=117 TT=2520.11 T1=1058.17	No data	No data	SAT (TO) f=117 TT=20038.199 T1=2001.94	SAT (TO) f=116 TT=20036.301 T1=709.63	SAT (TO) f=102 TT=2520.12 T1=1481.98	SAT (TO) f=102 TT=2520.07 T1=1452.85	SAT (TO) f=101 TT=2520.04 T1=1553.3	SAT (TO) f=101 TT=2520.04 T1=1571.49	SAT (TO) f=112 TT=2520.15 T1=524.44	SAT (TO) f=77 TT=2519.83 T1=2475.25	SAT (TO) f=65 TT=2519.79 T1=2485.13	SAT (TO) f=117 TT=2519.8 T1=2488.88	SAT (TO) f=116 TT=2520.1 T1=1692.25	SAT (TO) f=81 TT=2520.12 T1=1414.42	SAT (TO) f=115 TT=2520.04 T1=794.39	SAT (TO) f=94 TT=19994.699 T1=400.74	SAT (TO) f=96 TT=19995 T1=8067.85	SAT (TO) f=117 TT=2400.03 T1=1113.58	No data	SAT (TO) f=113 TT=2400.15 T1=254.95	SAT (TO) f=113 TT=2400.59 T1=277.93	SAT (TO) f=112 TT=2400.12 T1=609.78	No Cert. TT=2400.07	No Cert. TT=2400.05	SAT (TO) f=116 TT=2400.05 T1=51.24	SAT (TO) f=115 TT=2400.06 T1=1176.75	SAT (TO) f=81 TT=2400.12 T1=1291.47	SAT (TO) f=115 TT=2400.13 T1=1166.26	? (TO) TT=2400.11	? (TO) TT=2520.22
StillLife/ StillLife-wst-s1/ StillLife-wastage-24.xml	SAT TO f=297 TT=2400.05 T1=1569.79	SAT (TO) f=217 TT=2520.11 T1=1331.87	No data	No data	SAT (TO) f=270 TT=20081.1 T1=2046.11	SAT (TO) f=271 TT=20026 T1=2378.94	SAT (TO) f=247 TT=2520.1 T1=2008.76	SAT (TO) f=247 TT=2520.12 T1=2047.22	SAT (TO) f=231 TT=2520.03 T1=46.69	SAT (TO) f=231 TT=2520.44 T1=46.57	SAT (TO) f=262 TT=2520.15 T1=1328.53	SAT (TO) f=50 TT=2519.77 T1=383.01	SAT (TO) f=53 TT=2519.82 T1=2396.35	SAT (TO) f=297 TT=2519.97 T1=1581.84	SAT (TO) f=267 TT=2520.06 T1=2356.03	SAT (TO) f=180 TT=2520.06 T1=36.77	SAT (TO) f=234 TT=2520.11 T1=1530.6	SAT (TO) f=198 TT=20014.301 T1=2492.8	SAT (TO) f=197 TT=20014.699 T1=4844.91	SAT (TO) f=217 TT=2400.04 T1=1350.85	No data	SAT (TO) f=269 TT=2400.32 T1=299.09	SAT (TO) f=268 TT=2400.12 T1=36.06	SAT (TO) f=262 TT=2400.14 T1=1416.24	No Cert. TT=2400.04	No Cert. TT=2400.08	SAT (TO) f=297 TT=2400.05 T1=1569.79	SAT (TO) f=271 TT=2400.06 T1=1792.64	SAT (TO) f=180 TT=2400.07 T1=34.44	SAT (TO) f=279 TT=2400.04 T1=1117.67	? (TO) TT=2416.34	? TT=2025.63
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	BTD 2017-07-25 (complete)	BTD 2017-08-10 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: BTD 2017-06-30 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
StillLife/ StillLife-wst-s1/ StillLife-wastage-26.xml	SAT TO f=345 TT=2400.02 T1=1194.88	SAT (TO) f=237 TT=2520.09 T1=2454.1	No data	No data	SAT (TO) f=322 TT=20082.4 T1=594.89	SAT (TO) f=322 TT=20041.1 T1=621.51	SAT (TO) f=274 TT=2520.11 T1=1103.87	SAT (TO) f=274 TT=2520.11 T1=1100.32	SAT (TO) f=276 TT=2520.1 T1=354.74	SAT (TO) f=276 TT=2520.04 T1=325.24	SAT (TO) f=322 TT=2520.11 T1=2027.52	SAT (TO) f=63 TT=2520.03 T1=2002.9	SAT (TO) f=55 TT=2520.08 T1=1416.06	SAT (TO) f=345 TT=2520.02 T1=1203.72	SAT (TO) f=290 TT=2520.07 T1=2299.13	SAT (TO) f=200 TT=2520.05 T1=487.36	SAT (TO) f=286 TT=2520.04 T1=1740.37	SAT (TO) f=230 TT=20023.1 T1=303.35	SAT (TO) f=230 TT=19962.699 T1=2366.99	SAT (TO) f=234 TT=2400.03 T1=821.63	No data	SAT (TO) f=318 TT=2400.39 T1=9.38	SAT (TO) f=318 TT=2400.7 T1=10.04	SAT (TO) f=322 TT=2400.15 T1=2137.61	No Cert. TT=2400.09	No Cert. TT=2400.06	SAT (TO) f=345 TT=2400.02 T1=1194.88	SAT (TO) f=284 TT=2400.21 T1=2293.6	SAT (TO) f=200 TT=2400.06 T1=461.51	SAT (TO) f=250 TT=2400.08 T1=1008.42	? (TO) TT=2415.85	? TT=2265.39
StillLife/ StillLife-wst-s1/ StillLife-wastage-27.xml	SAT TO f=373 TT=2400.03 T1=1792.98	SAT (TO) f=246 TT=2520.05 T1=1865.51	No data	No data	SAT (TO) f=341 TT=20085.199 T1=9.26	SAT (TO) f=341 TT=20034 T1=8.51	SAT (TO) f=295 TT=2520.11 T1=1409.28	SAT (TO) f=306 TT=2520.08 T1=2505.92	SAT (TO) f=299 TT=2520.09 T1=698.37	SAT (TO) f=299 TT=2520.06 T1=683.34	SAT (TO) f=327 TT=2520.14 T1=1598.56	SAT (TO) f=49 TT=2520.1 T1=1408.43	SAT (TO) f=55 TT=2519.81 T1=2128.87	SAT (TO) f=373 TT=2519.68 T1=1792.98	SAT (TO) f=265 TT=2520.07 T1=2438.26	SAT (TO) f=249 TT=2520.09 T1=853.08	SAT (TO) f=341 TT=2520.06 T1=2026.92	SAT (TO) f=242 TT=20039.9 T1=1224.65	SAT (TO) f=242 TT=19958.4 T1=18023.529	SAT (TO) f=246 TT=2400.09 T1=1835.13	No data	SAT (TO) f=341 TT=2400 T1=12.66	SAT (TO) f=341 TT=2400.7 T1=13.15	SAT (TO) f=327 TT=2400.14 T1=1675.32	No Cert. TT=2400.05	No Cert. TT=2400.04	SAT (TO) f=373 TT=2400.03 T1=1796.98	SAT (TO) f=310 TT=2400.06 T1=2249.54	SAT (TO) f=249 TT=2400.09 T1=841.17	SAT (TO) f=341 TT=2400.13 T1=1939.66	? (TO) TT=2416.19	? (TO) TT=2528.04
StillLife/ StillLife-wst-s1/ StillLife-wastage-28.xml	SAT TO f=398 TT=2400.02 T1=1336.91	SAT (TO) f=280 TT=2520.08 T1=2078.88	No data	No data	SAT (TO) f=366 TT=20078.9 T1=2210.24	SAT (TO) f=365 TT=20031.699 T1=1748.87	SAT (TO) f=303 TT=2520.1 T1=198.16	SAT (TO) f=303 TT=2520.07 T1=194.02	SAT (TO) f=313 TT=2520.08 T1=892.5	SAT (TO) f=313 TT=2520.04 T1=914.81	SAT (TO) f=352 TT=2520.12 T1=1976.02	SAT (TO) f=70 TT=2519.94 T1=1502.7	SAT (TO) f=69 TT=2520.05 T1=88.35	SAT (TO) f=398 TT=2520.1 T1=1336.91	SAT (TO) f=335 TT=2520.14 T1=2261.9	SAT (TO) f=242 TT=2520.05 T1=56.31	SAT (TO) f=363 TT=2520.14 T1=1795.3	SAT (TO) f=243 TT=19993.301 T1=1802.42	SAT (TO) f=244 TT=19970 T1=17244.811	SAT (TO) f=280 TT=2400.05 T1=2119	No data	SAT (TO) f=363 TT=2400.35 T1=25.42	SAT (TO) f=363 TT=2400.34 T1=25.46	SAT (TO) f=352 TT=2400.12 T1=2177.47	No Cert. TT=2400.03	No Cert. TT=2400.11	SAT (TO) f=398 TT=2400.02 T1=1347.85	SAT (TO) f=334 TT=2400.05 T1=2261.19	SAT (TO) f=242 TT=2400.14 T1=55.65	SAT (TO) f=363 TT=2400.08 T1=942.41	? (TO) TT=2416.04	? TT=2456.73
StillLife/ StillLife-wst-s1/ StillLife-wastage-29.xml	SAT TO f=425 TT=2519.58 T1=2461.49	SAT (TO) f=314 TT=2520.08 T1=2494.58	No data	No data	SAT (TO) f=388 TT=20086.1 T1=1105.17	SAT (TO) f=388 TT=20023.6 T1=1159.59	SAT (TO) f=335 TT=2520.07 T1=14.73	SAT (TO) f=335 TT=2520.1 T1=14.71	SAT (TO) f=332 TT=2520.1 T1=355.52	SAT (TO) f=332 TT=2520.1 T1=360.57	SAT (TO) f=383 TT=2520.15 T1=1268.76	SAT (TO) f=65 TT=2520.06 T1=10.73	SAT (TO) f=52 TT=2519.82 T1=2503.78	SAT (TO) f=425 TT=2519.58 T1=2461.49	SAT (TO) f=271 TT=2520.12 T1=1193.74	SAT (TO) f=294 TT=2520.07 T1=2487.19	SAT (TO) f=337 TT=2520.04 T1=1597.08	SAT (TO) f=277 TT=19976.301 T1=1345.06	SAT (TO) f=277 TT=19966.1 T1=4406.84	SAT (TO) f=313 TT=2400.03 T1=1364.12	No data	SAT (TO) f=387 TT=2400.44 T1=8.35	SAT (TO) f=388 TT=2400.71 T1=58.6	SAT (TO) f=383 TT=2400.15 T1=1446.65	No Cert. TT=2400.08	No Cert. TT=2400.03	SAT (TO) f=424 TT=2400.03 T1=2058.46	SAT (TO) f=366 TT=2400.13 T1=2150.01	SAT (TO) f=293 TT=2400.12 T1=350.29	SAT (TO) f=387 TT=2400.05 T1=1686.32	? (TO) TT=2415.86	? (TO) TT=2528.06
StillLife/ StillLife-wst-s1/ StillLife-wastage-32.xml	SAT TO f=516 TT=2519.78 T1=2428.82	SAT (TO) f=351 TT=2520.02 T1=1025.72	No data	No data	SAT (TO) f=479 TT=20063.1 T1=868.11	SAT (TO) f=479 TT=20012.199 T1=844.83	SAT (TO) f=405 TT=2520.03 T1=1295.82	SAT (TO) f=405 TT=2520.11 T1=1302.24	SAT (TO) f=403 TT=2520.05 T1=13.36	SAT (TO) f=403 TT=2520.06 T1=13.18	SAT (TO) f=464 TT=2520.16 T1=2040.67	SAT (TO) f=151 TT=2520.07 T1=145.23	SAT (TO) f=71 TT=2520.1 T1=245.98	SAT (TO) f=516 TT=2519.78 T1=2428.82	SAT (TO) f=374 TT=2520.14 T1=2045.59	SAT (TO) f=293 TT=2520.14 T1=71.88	SAT (TO) f=374 TT=2520.07 T1=1739.14	SAT (TO) f=351 TT=20017.1 T1=1759.44	SAT (TO) f=351 TT=20000.1 T1=15132.24	SAT (TO) f=351 TT=2400.05 T1=1008.8	No data	SAT (TO) f=475 TT=2400.61 T1=142.71	SAT (TO) f=475 TT=2400.21 T1=142.52	SAT (TO) f=464 TT=2400.07 T1=2124.62	No Cert. TT=2400.1	No Cert. TT=2400.13	SAT (TO) f=515 TT=2400.1 T1=1783.06	SAT (TO) f=371 TT=2400.07 T1=2243.69	SAT (TO) f=293 TT=2400.07 T1=74.31	SAT (TO) f=469 TT=2400.08 T1=2090.49	? (TO) TT=2415.77	? (TO) TT=2528
StillLife/ StillLife-wst-s1/ StillLife-wastage-37.xml	SAT TO f=686 TT=2400.02 T1=2367.74	SAT (TO) f=438 TT=2520.03 T1=2137.09	No data	No data	SAT (TO) f=638 TT=19980 T1=786.03	SAT (TO) f=638 TT=19909.1 T1=754.62	SAT (TO) f=532 TT=2520.1 T1=117.12	SAT (TO) f=532 TT=2520.09 T1=115.62	SAT (TO) f=532 TT=2520.06 T1=263.14	SAT (TO) f=532 TT=2520.12 T1=260.97	SAT (TO) f=613 TT=2520.13 T1=2217.55	SAT (TO) f=139 TT=2519.71 T1=903.63	SAT (TO) f=106 TT=2520.1 T1=526.88	SAT (TO) f=686 TT=2519.88 T1=2367.74	SAT (TO) f=276 TT=2520.15 T1=2157.91	SAT (TO) f=478 TT=2520.1 T1=218.76	SAT (TO) f=495 TT=2520.05 T1=803.09	SAT (TO) f=393 TT=20016.6 T1=1886.37	SAT (TO) f=393 TT=20007.699 T1=14317.19	SAT (TO) f=438 TT=2404.68 T1=2252.17	No data	SAT (TO) f=635 TT=2400.3 T1=238.3	SAT (TO) f=635 TT=2400.43 T1=238.46	SAT (TO) f=609 TT=2400.07 T1=434.8	No Cert. TT=2400.01	No Cert. TT=2400.18	SAT (TO) f=686 TT=2400.02 T1=2391.98	SAT (TO) f=318 TT=2400.11 T1=1074.13	SAT (TO) f=478 TT=2400.09 T1=226.29	SAT (TO) f=470 TT=2400.23 T1=54.03	? (TO) TT=2416.16	? TT=2316.91
StillLife/ StillLife-wst-s1/ StillLife-wastage-42.xml	SAT TO f=857 TT=2400.03 T1=2302.68	SAT (TO) f=380 TT=2520.04 T1=2357.52	No data	No data	SAT (TO) f=808 TT=19853 T1=563.52	SAT (TO) f=808 TT=19791.9 T1=566.84	SAT (TO) f=673 TT=2520.1 T1=1884.12	SAT (TO) f=673 TT=2520.08 T1=1843.01	SAT (TO) f=698 TT=2520.05 T1=1654.79	SAT (TO) f=698 TT=2520.02 T1=1629.4	SAT (TO) f=731 TT=2520.11 T1=2051.89	SAT (TO) f=310 TT=2520.09 T1=487.08	SAT (TO) f=232 TT=2520.58 T1=1568.29	SAT (TO) f=857 TT=2519.69 T1=2302.68	SAT (TO) f=403 TT=2520.16 T1=619.92	SAT (TO) f=519 TT=2520.09 T1=63.42	SAT (TO) f=523 TT=2520.09 T1=327.81	SAT (TO) f=595 TT=20010.9 T1=900.73	SAT (TO) f=595 TT=20021.5 T1=4438.36	SAT (TO) f=380 TT=2400.05 T1=2327.66	No data	SAT (TO) f=807 TT=2400.42 T1=83.66	SAT (TO) f=807 TT=2400.33 T1=77.34	SAT (TO) f=731 TT=2400.17 T1=1967.07	No Cert. TT=2400.05	No Cert. TT=2400.49	SAT (TO) f=857 TT=2400.03 T1=2313.51	SAT (TO) f=403 TT=2400.1 T1=484.76	SAT (TO) f=519 TT=2400.17 T1=63.9	SAT (TO) f=691 TT=2400.09 T1=1414.05	? (TO) TT=2414.17	? (TO) TT=2528.32
StillLife/ StillLife-wst-s1/ StillLife-wastage-43.xml	SAT TO f=911 TT=2400.05 T1=2302.07	SAT (TO) f=449 TT=2520.03 T1=2431.66	No data	No data	SAT (TO) f=852 TT=19876.4 T1=2230.21	SAT (TO) f=852 TT=19821.6 T1=2087.36	SAT (TO) f=710 TT=2520.07 T1=772.87	SAT (TO) f=710 TT=2520.09 T1=756.21	SAT (TO) f=692 TT=2520.11 T1=120	SAT (TO) f=692 TT=2520.12 T1=122.32	SAT (TO) f=769 TT=2520.21 T1=2396.84	SAT (TO) f=238 TT=2520.05 T1=2176.61	SAT (TO) f=268 TT=2520.58 T1=2191.44	SAT (TO) f=911 TT=2519.64 T1=2302.07	SAT (TO) f=492 TT=2520.14 T1=631.76	SAT (TO) f=670 TT=2520.08 T1=922.22	SAT (TO) f=668 TT=2520.13 T1=132.24	SAT (TO) f=606 TT=20026.9 T1=2187.75	SAT (TO) f=606 TT=20015.9 T1=17103.939	SAT (TO) f=439 TT=2404.67 T1=2211.63	No data	SAT (TO) f=846 TT=2400.42 T1=187.77	SAT (TO) f=846 TT=2400.27 T1=68.73	SAT (TO) f=767 TT=2400.13 T1=2162.54	No Cert. TT=2400.07	No Cert. TT=2400.57	SAT (TO) f=911 TT=2400.05 T1=2332.88	SAT (TO) f=489 TT=2400.4 T1=536.13	SAT (TO) f=670 TT=2400.11 T1=939.98	SAT (TO) f=843 TT=2400.06 T1=2196.02	? (TO) TT=2416.64	? (TO) TT=2528.26
StillLife/ StillLife-wst-s1/ StillLife-wastage-44.xml	SAT TO f=941 TT=2519.68 T1=2506.66	SAT (TO) f=458 TT=2520.07 T1=2416.39	No data	No data	SAT (TO) f=890 TT=19856 T1=688.92	SAT (TO) f=890 TT=19826.199 T1=665.61	SAT (TO) f=754 TT=2520.02 T1=858.81	SAT (TO) f=754 TT=2520.05 T1=849.52	SAT (TO) f=752 TT=2520.09 T1=113.06	SAT (TO) f=752 TT=2520.04 T1=113.63	SAT (TO) f=727 TT=2520.15 T1=2139.63	SAT (TO) f=143 TT=2519.8 T1=1924.01	Signal TT=43.603	SAT (TO) f=941 TT=2519.68 T1=2506.66	SAT (TO) f=468 TT=2520.15 T1=1430.41	SAT (TO) f=548 TT=2520.09 T1=276.35	SAT (TO) f=560 TT=2520.11 T1=422.09	SAT (TO) f=519 TT=20022.4 T1=363.99	SAT (TO) f=519 TT=20023.9 T1=3567.07	SAT (TO) f=437 TT=2400.09 T1=2335.01	No data	SAT (TO) f=887 TT=2400.11 T1=111.23	SAT (TO) f=887 TT=2400.23 T1=145.79	SAT (TO) f=727 TT=2400.09 T1=2059.24	No Cert. TT=2400.01	Signal TT=50.802	SAT (TO) f=940 TT=2400.03 T1=2305.7	SAT (TO) f=463 TT=2400.06 T1=376.26	SAT (TO) f=548 TT=2400.13 T1=272.1	SAT (TO) f=565 TT=2400.12 T1=825.26	? (TO) TT=2415.91	? TT=2375.39
StillLife/ StillLife-wst-s1/ StillLife-wastage-50.xml	SAT TO f=1196 TT=2400.09 T1=2311.5	SAT (TO) f=333 TT=2524.36 T1=2175.92	No data	No data	SAT (TO) f=1137 TT=19858.4 T1=49.38	SAT (TO) f=1137 TT=19885.5 T1=47.53	? (TO) TT=2520.1	SAT (TO) f=959 TT=2520.13 T1=2504.83	SAT (TO) f=998 TT=2520.06 T1=450.97	SAT (TO) f=998 TT=2520.11 T1=435.59	SAT (TO) f=886 TT=2520.11 T1=2382.46	SAT (TO) f=391 TT=2519.73 T1=1114.29	? (MO) TT=32.173	SAT (TO) f=1196 TT=2519.8 T1=2311.5	SAT (TO) f=658 TT=2520.09 T1=1634	SAT (TO) f=700 TT=2520.14 T1=1703.71	SAT (TO) f=747 TT=2520.1 T1=710.01	SAT (TO) f=669 TT=20000.1 T1=1724.72	SAT (TO) f=670 TT=20013.4 T1=18043.98	SAT (TO) f=333 TT=2400.12 T1=2314.65	No data	SAT (TO) f=1137 TT=2400.32 T1=68.6	SAT (TO) f=1137 TT=2400.36 T1=66.37	SAT (TO) f=885 TT=2400.1 T1=2073.08	No Cert. TT=2400.07	? (MO) TT=32.792	SAT (TO) f=1196 TT=2400.09 T1=2320.42	SAT (TO) f=667 TT=2400.07 T1=2282.45	SAT (TO) f=700 TT=2400.08 T1=1742.83	SAT (TO) f=751 TT=2400.06 T1=632.45	? (TO) TT=2415.99	? (TO) TT=2527.66
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	BTD 2017-07-25 (complete)	BTD 2017-08-10 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: BTD 2017-06-30 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
StripPacking/ StripPacking-m1-series1/ StripPacking-C4P1.xml		? (TO) TT=2520.1	? (NS) TT=0.07	? (NS) TT=0.07	? (TO) TT=19998	? (TO) TT=19982.199	? (TO) TT=2520.04	? (TO) TT=2520.04	? (TO) TT=2520.07	? (TO) TT=2520.06	? (NS) TT=4.908	? (NS) TT=0.114	? (NS) TT=0.117	? (TO) TT=2519.65	No data	? (TO) TT=2520.05	No data	? (TO) TT=20065.9	? (TO) TT=20069.5	? (TO) TT=2400.11	? (NS) TT=0.097	? (TO) TT=2400.53	? (TO) TT=2400.49	? (NS) TT=4.897	? (NS) TT=0.174	? (NS) TT=0.168	? (TO) TT=2400.03	No data	? (TO) TT=2400.12	No data	? (TO) TT=2400.16	? (TO) TT=2520.14
StripPacking/ StripPacking-m1-seriesN/ StripPacking-N1c.xml		? (TO) TT=2520.04	? (NS) TT=0.033	? (NS) TT=0.033	? (TO) TT=20034	? (TO) TT=20016.199	? (TO) TT=2520.1	? (TO) TT=2520.12	? (TO) TT=2520.15	? (TO) TT=2520.06	? (NS) TT=4.286	? (NS) TT=0.043	? (NS) TT=0.043	? (TO) TT=2519.79	No data	? (TO) TT=2520.06	No data	? (TO) TT=20063.5	? (TO) TT=20065.199	? (TO) TT=2400.02	? (NS) TT=0.059	? (TO) TT=2400.07	? (TO) TT=2400.23	? (NS) TT=5.002	? (NS) TT=0.071	? (NS) TT=0.072	? (TO) TT=2400.07	No data	? (TO) TT=2400.05	No data	? (TO) TT=2400.14	? (TO) TT=2520.17
StripPacking/ StripPacking-m1-seriesN/ StripPacking-N3d.xml		? (TO) TT=2520.02	? (NS) TT=0.052	? (NS) TT=0.053	? (TO) TT=19913.5	? (TO) TT=19877.199	? (TO) TT=2520.07	? (TO) TT=2520.1	? (TO) TT=2520.07	? (TO) TT=2520.08	? (NS) TT=4.361	? (NS) TT=0.068	? (NS) TT=0.072	? (TO) TT=2519.85	No data	? (TO) TT=2520.1	No data	? (TO) TT=20052.5	? (TO) TT=20066.9	? (TO) TT=2400.12	? (NS) TT=0.082	? (TO) TT=2400.62	? (TO) TT=2400.6	? (NS) TT=5.15	? (NS) TT=0.116	? (NS) TT=0.111	? (TO) TT=2400.08	No data	? (TO) TT=2400.06	No data	? (TO) TT=2416.25	? TT=1416.27
StripPacking/ StripPacking-m1-seriesN/ StripPacking-N7a.xml		? (TO) TT=2525.72	? (NS) TT=0.335	? (NS) TT=0.335	? (TO) TT=19090	? (TO) TT=18977.1	? (TO) TT=2520.16	? (TO) TT=2520.07	? (TO) TT=2520.12	? (TO) TT=2520.09	? (NS) TT=5.817	? (NS) TT=0.451	? (NS) TT=0.459	? (TO) TT=2519.73	No data	? (TO) TT=2520.07	No data	? (TO) TT=20012.301	? (TO) TT=20012.4	? (TO) TT=2400.12	? (NS) TT=0.39	? (TO) TT=2400.05	? (TO) TT=2400.18	? (NS) TT=6.544	? (NS) TT=0.511	? (NS) TT=0.501	? (TO) TT=2400.01	No data	? (TO) TT=2400.07	No data	? (TO) TT=2416.05	? (problem) TT=1521.55
StripPacking/ StripPacking-m1-seriesN/ StripPacking-N7e.xml		? (TO) TT=2525.71	? (NS) TT=0.333	? (NS) TT=0.336	? (TO) TT=19239.4	? (TO) TT=19003.699	? (TO) TT=2520.36	? (TO) TT=2520.28	? (TO) TT=2520.06	? (TO) TT=2520.03	? (NS) TT=5.82	? (NS) TT=0.452	? (NS) TT=0.452	? (TO) TT=2519.72	No data	? (TO) TT=2520.12	No data	? (TO) TT=19998.9	? (TO) TT=19998.5	? (TO) TT=2400.05	? (NS) TT=0.353	? (TO) TT=2400.23	? (TO) TT=2400.02	? (NS) TT=5.867	? (NS) TT=0.511	? (NS) TT=0.498	? (TO) TT=2400.02	No data	? (TO) TT=2400.06	No data	? (TO) TT=2416.42	? TT=1422.41
StripPacking/ StripPacking-m1-seriesT/ StripPacking-T1e.xml	SAT TT=1129.25	? (TO) TT=2520.1	? (NS) TT=0.033	? (NS) TT=0.034	? (TO) TT=19946.801	? (TO) TT=19930	? (TO) TT=2520.13	? (TO) TT=2520.07	? (TO) TT=2520.12	? (TO) TT=2520.08	? (NS) TT=4.671	? (NS) TT=0.042	? (NS) TT=0.042	SAT TT=1129.25	No data	? (TO) TT=2520.11	No data	? (TO) TT=20062.301	? (TO) TT=20050.4	? (TO) TT=2400.05	? (NS) TT=0.058	? (TO) TT=2400.11	? (TO) TT=2400.52	? (NS) TT=4.642	? (NS) TT=0.075	? (NS) TT=0.077	SAT TT=179.364	No data	? (TO) TT=2400.1	No data	? (TO) TT=2400.15	? (TO) TT=2520.19
Subisomorphism/ Subisomorphism-m1-LV/ Subisomorphism-g07-g39.xml	UNSAT TT=0.008	UNSAT TT=1.21	Signal TT=0.038	Signal TT=0.038	UNSAT TT=1.956	UNSAT TT=1.957	UNSAT TT=1.035	UNSAT TT=1.037	UNSAT TT=1.087	UNSAT TT=1.108	? TT=8.919	UNSAT TT=0.008	UNSAT TT=0.02	UNSAT TT=0.026	No data	UNSAT TT=1.174	No data	UNSAT TT=1.214	UNSAT TT=1.233	UNSAT TT=1.474	Signal TT=0.066	UNSAT TT=2.135	UNSAT TT=2.124	? TT=9.895	UNSAT TT=0.013	UNSAT TT=0.033	UNSAT TT=0.043	No data	UNSAT TT=1.349	No data	UNSAT TT=52.708	UNSAT TT=25.399
Subisomorphism/ Subisomorphism-m1-LV/ Subisomorphism-g08-g31.xml	SAT TT=0.018	SAT TT=1.503	SAT TT=0.301	SAT TT=0.301	SAT TT=3.863	SAT TT=4.068	SAT TT=1.382	SAT TT=1.416	SAT TT=1.425	SAT TT=1.502	SAT TT=9.985	SAT TT=0.018	SAT TT=0.026	SAT TT=0.048	No data	SAT TT=1.738	No data	SAT (TO) TT=11966.2	SAT TT=9.12	SAT TT=1.725	SAT TT=0.358	SAT TT=3.772	SAT TT=4.079	SAT TT=11.973	SAT TT=0.022	SAT TT=0.043	SAT TT=0.065	No data	SAT TT=1.998	No data	? (TO) TT=2400.09	? (TO) TT=2520.07
Subisomorphism/ Subisomorphism-m1-LV/ Subisomorphism-g10-g35.xml	UNSAT TT=0.008	UNSAT TT=1.261	UNSAT TT=0.042	UNSAT TT=0.041	UNSAT TT=2.027	UNSAT TT=1.992	UNSAT TT=1.021	UNSAT TT=1.036	UNSAT TT=1.108	UNSAT TT=1.114	? TT=7.832	UNSAT TT=0.008	UNSAT TT=0.032	UNSAT TT=0.023	No data	UNSAT TT=1.179	No data	UNSAT TT=1.216	UNSAT TT=1.238	UNSAT TT=1.451	UNSAT TT=0.068	UNSAT TT=2.184	UNSAT TT=2.371	? TT=9.973	UNSAT TT=0.011	UNSAT TT=0.053	UNSAT TT=0.038	No data	UNSAT TT=1.489	No data	UNSAT TT=25.257	UNSAT TT=15.359
Subisomorphism/ Subisomorphism-m1-SF/ Subisomorphism-A-15.xml	SAT TT=0.062	SAT TT=2.653	SAT TT=20.238	SAT TT=20.175	SAT TT=14.032	SAT TT=14.099	SAT TT=3.507	SAT TT=3.602	SAT TT=5.566	SAT TT=5.522	SAT TT=17.388	SAT TT=0.062	SAT TT=0.349	SAT TT=0.21	No data	SAT TT=3.197	No data	SAT TT=11.885	SAT TT=11.517	SAT TT=3.133	SAT TT=20.225	SAT TT=13.849	SAT TT=15.448	SAT TT=20.192	SAT TT=0.104	SAT TT=0.39	SAT TT=0.235	No data	SAT TT=3.737	No data	? (TO) TT=2415.37	? (problem) TT=1703.07
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	BTD 2017-07-25 (complete)	BTD 2017-08-10 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: BTD 2017-06-30 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
Subisomorphism/ Subisomorphism-m1-si2-bvg/ Subisomorphism-si2-b09-m200-02.xml	SAT TT=0.015	SAT TT=1.525	SAT TT=0.287	SAT TT=0.286	SAT TT=5.219	SAT TT=5.481	SAT TT=1.65	SAT TT=1.66	SAT TT=1.812	SAT TT=1.826	SAT TT=14.512	SAT TT=0.015	SAT TT=0.08	SAT TT=0.092	No data	SAT TT=2.231	No data	SAT TT=69.902	SAT TT=23.489	SAT TT=1.9	SAT TT=0.34	SAT TT=5.435	SAT TT=5.286	SAT TT=16.385	SAT TT=0.026	SAT TT=0.12	SAT TT=0.142	No data	SAT TT=2.756	No data	? (TO) TT=2410.42	? (TO) TT=2528.15
Subisomorphism/ Subisomorphism-m1-si6-bvg/ Subisomorphism-si6-b03-m800-07.xml	SAT TT=0.613	SAT TT=4.946	SAT TT=1425.44	SAT TT=1422.71	SAT TT=77.683	SAT TT=76.17	SAT TT=9.316	SAT TT=9.292	SAT TT=9.911	SAT TT=9.769	SAT TT=63.493	SAT TT=0.613	SAT TT=11.803	SAT TT=1.275	No data	SAT TT=7.168	No data	SAT TT=904.111	SAT TT=349.424	SAT TT=5.315	SAT TT=1430.91	SAT TT=117.154	SAT TT=114.112	SAT TT=70.483	SAT TT=0.636	SAT TT=11.925	SAT TT=1.344	No data	SAT TT=9.6	No data	? (TO) TT=2416.1	? TT=2448.57
Sudoku/Sudoku-alldiff-s1/ Sudoku-s01a-alldiff.xml	SAT TT=0.006	SAT TT=1.144	? (NS) TT=0.007	? (NS) TT=0.007	SAT TT=1.35	SAT TT=1.3	SAT TT=0.837	SAT TT=0.845	SAT TT=0.896	SAT TT=0.894	SAT TT=6.542	SAT TT=0.006	SAT TT=0.006	SAT TT=0.006	No data	SAT TT=1.204	No data	SAT TT=2.27	SAT TT=2.188	SAT TT=1.395	? (NS) TT=0.014	SAT TT=1.516	SAT TT=1.485	SAT TT=7.293	SAT TT=0.009	SAT TT=0.01	SAT TT=0.01	No data	SAT TT=1.259	No data	SAT TT=0.91	SAT TT=0.678
Sudoku/Sudoku-alldiff-s1/ Sudoku-s09b-alldiff.xml	SAT TT=0.006	SAT TT=1.142	? (NS) TT=0.008	? (NS) TT=0.007	SAT TT=1.317	SAT TT=1.357	SAT TT=0.885	SAT TT=0.892	SAT TT=0.989	SAT TT=0.988	SAT TT=7.136	SAT TT=0.006	SAT TT=0.006	SAT TT=0.006	No data	SAT TT=1.206	No data	SAT TT=2.301	SAT TT=2.242	SAT TT=1.283	? (NS) TT=0.013	SAT TT=1.487	SAT TT=1.497	SAT TT=8.412	SAT TT=0.009	SAT TT=0.01	SAT TT=0.009	No data	SAT TT=1.254	No data	SAT TT=0.883	SAT TT=0.744
Sudoku/Sudoku-alldiff-s1/ Sudoku-s10b-alldiff.xml	SAT TT=0.005	SAT TT=1.154	? (NS) TT=0.007	? (NS) TT=0.007	SAT TT=1.313	SAT TT=1.359	SAT TT=0.834	SAT TT=0.841	SAT TT=0.893	SAT TT=0.88	SAT TT=6.392	SAT TT=0.005	SAT TT=0.006	SAT TT=0.006	No data	SAT TT=1.208	No data	SAT TT=2.218	SAT TT=2.238	SAT TT=1.402	? (NS) TT=0.012	SAT TT=1.551	SAT TT=1.711	SAT TT=7.737	SAT TT=0.009	SAT TT=0.01	SAT TT=0.008	No data	SAT TT=1.268	No data	SAT TT=0.768	SAT TT=0.682
Sudoku/Sudoku-alldiff-s1/ Sudoku-s11a-alldiff.xml	SAT TT=0.005	SAT TT=1.147	? (NS) TT=0.007	? (NS) TT=0.007	SAT TT=1.403	SAT TT=1.298	SAT TT=0.854	SAT TT=0.878	SAT TT=0.896	SAT TT=0.891	SAT TT=7.423	SAT TT=0.005	SAT TT=0.006	SAT TT=0.005	No data	SAT TT=1.206	No data	SAT TT=2.245	SAT TT=2.227	SAT TT=1.418	? (NS) TT=0.012	SAT TT=1.464	SAT TT=1.58	SAT TT=9.093	SAT TT=0.008	SAT TT=0.01	SAT TT=0.009	No data	SAT TT=1.295	No data	SAT TT=0.814	SAT TT=0.681
Sudoku/Sudoku-alldiff-s1/ Sudoku-s12a-alldiff.xml	SAT TT=0.006	SAT TT=1.14	? (NS) TT=0.008	? (NS) TT=0.007	SAT TT=1.375	SAT TT=1.369	SAT TT=0.879	SAT TT=0.87	SAT TT=0.975	SAT TT=0.97	SAT TT=7.233	SAT TT=0.008	SAT TT=0.012	SAT TT=0.006	No data	SAT TT=1.205	No data	SAT TT=2.235	SAT TT=2.201	SAT TT=1.434	? (NS) TT=0.013	SAT TT=1.541	SAT TT=1.656	SAT TT=8.682	SAT TT=0.014	SAT TT=0.019	SAT TT=0.009	No data	SAT TT=1.27	No data	SAT TT=1.11	SAT TT=0.956
Sudoku/Sudoku-alldiff-s1/ Sudoku-s13b-alldiff.xml	SAT TT=0.006	SAT TT=1.153	? (NS) TT=0.007	? (NS) TT=0.007	SAT TT=1.331	SAT TT=1.358	SAT TT=0.835	SAT TT=0.854	SAT TT=0.887	SAT TT=0.893	SAT TT=6.812	SAT TT=0.006	SAT TT=0.006	SAT TT=0.006	No data	SAT TT=1.196	No data	SAT TT=2.243	SAT TT=2.246	SAT TT=1.367	? (NS) TT=0.013	SAT TT=1.473	SAT TT=1.481	SAT TT=7.633	SAT TT=0.009	SAT TT=0.01	SAT TT=0.009	No data	SAT TT=1.46	No data	SAT TT=0.898	SAT TT=0.678
Sudoku/Sudoku-table-s1/ Sudoku-s03c-table.xml	SAT TT=6.544	SAT TT=8.036	? (NS) TT=13.201	? (NS) TT=13.085	SAT TT=142.826	SAT TT=143.308	SAT TT=15.227	SAT TT=15.482	SAT TT=15.385	SAT TT=14.762	SAT TT=52.082	SAT TT=9.389	SAT TT=9.405	SAT TT=11.998	No data	SAT TT=6.544	No data	SAT TT=14.735	SAT TT=14.617	SAT TT=9.117	? (NS) TT=13.124	SAT TT=152.408	SAT TT=160.666	SAT TT=58.553	SAT TT=9.394	SAT TT=9.426	SAT TT=11.923	No data	SAT TT=8.278	No data	? (TO) TT=2416.42	? TT=1682.28
Sudoku/Sudoku-table-s1/ Sudoku-s05c-table.xml	SAT TT=6.599	SAT TT=7.68	? (NS) TT=13.209	? (NS) TT=13.228	SAT TT=145.714	SAT TT=159.03	SAT TT=15.016	SAT TT=15.157	SAT TT=15.192	SAT TT=15.097	SAT TT=51.53	SAT TT=9.44	SAT TT=9.421	SAT TT=11.957	No data	SAT TT=6.599	No data	SAT TT=14.698	SAT TT=14.871	SAT TT=9.197	? (NS) TT=13.323	SAT TT=153.014	SAT TT=158.104	SAT TT=60.377	SAT TT=9.496	SAT TT=9.187	SAT TT=11.936	No data	SAT TT=8.15	No data	? (TO) TT=2416.08	? TT=1724.09
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	BTD 2017-07-25 (complete)	BTD 2017-08-10 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: BTD 2017-06-30 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
Sudoku/Sudoku-table-s1/ Sudoku-s11b-table.xml	SAT TT=6.577	SAT TT=7.653	? (NS) TT=13.19	? (NS) TT=13.248	SAT TT=145.034	SAT TT=145.072	SAT TT=15.13	SAT TT=15.48	SAT TT=15.709	SAT TT=15.061	SAT TT=50.599	SAT TT=9.474	SAT TT=9.442	SAT TT=12.182	No data	SAT TT=6.577	No data	SAT TT=14.345	SAT TT=14.304	SAT TT=9.118	? (NS) TT=12.992	SAT TT=151.788	SAT TT=152.649	SAT TT=62.092	SAT TT=9.505	SAT TT=9.474	SAT TT=12.096	No data	SAT TT=8.112	No data	? (TO) TT=2416.12	? TT=1819.93
Sudoku/Sudoku-table-s1/ Sudoku-s12b-table.xml	SAT TT=6.643	SAT TT=7.807	? (NS) TT=13.155	? (NS) TT=13.085	SAT TT=143.635	SAT TT=148.416	SAT TT=15.034	SAT TT=14.9	SAT TT=15.456	SAT TT=15.255	SAT TT=50.882	SAT TT=9.271	SAT TT=9.394	SAT TT=11.976	No data	SAT TT=6.643	No data	SAT TT=14.942	SAT TT=14.995	SAT TT=9.17	? (NS) TT=13.06	SAT TT=168.933	SAT TT=157.58	SAT TT=57.611	SAT TT=9.459	SAT TT=9.357	SAT TT=11.744	No data	SAT TT=8.107	No data	? (TO) TT=2416.24	? TT=1794.26
Sudoku/Sudoku-table-s1/ Sudoku-s14b-table.xml	SAT TT=6.821	SAT TT=8.074	? (NS) TT=13.213	? (NS) TT=13.114	SAT TT=144.726	SAT TT=145.656	SAT TT=15.056	SAT TT=15.33	SAT TT=15.3	SAT TT=15.223	SAT TT=50.212	SAT TT=9.11	SAT TT=9.119	SAT TT=11.895	No data	SAT TT=6.821	No data	SAT TT=15.664	SAT TT=14.75	SAT TT=9.298	? (NS) TT=13.327	SAT TT=152.765	SAT TT=152.414	SAT TT=58.864	SAT TT=9.125	SAT TT=9.135	SAT TT=11.85	No data	SAT TT=8.298	No data	? (TO) TT=2416.31	? TT=1748.81
Sudoku/Sudoku-table-s1/ Sudoku-s16-table.xml	SAT TT=7.115	SAT TT=7.804	? (NS) TT=13.182	? (NS) TT=13.103	SAT TT=144.044	SAT TT=146.049	SAT TT=15.214	SAT TT=15.454	SAT TT=15.719	SAT TT=15.159	SAT TT=50.215	SAT TT=9.284	SAT TT=9.334	SAT TT=12.284	No data	SAT TT=7.115	No data	SAT TT=23.041	SAT TT=23.042	SAT TT=9.263	? (NS) TT=13.209	SAT TT=152.241	SAT TT=153.925	SAT TT=60.509	SAT TT=9.315	SAT TT=9.422	SAT TT=12.515	No data	SAT TT=9.097	No data	? (TO) TT=2415.81	? TT=1640.44
SuperSolutions/ SuperSolutions-Queens-s1/ SuperQueens-02.xml		? (TO) TT=2520.04	? (TO) TT=2519.67	? (TO) TT=2519.83	? TT=1831.64	? TT=7468.62	? TT=2497.11	? TT=1367.13	? TT=1530.9	? TT=1135.7	? (TO) TT=2527.99	? (TO) TT=2520.07	? (TO) TT=2520	? (TO) TT=2519.64	No data	? (TO) TT=2528.04	No data	? TT=6699.3	? (TO) TT=12319	? (TO) TT=2400.11	? (TO) TT=2400.06	? (TO) TT=2400.47	? TT=2274.46	? (TO) TT=2415.35	? (TO) TT=2400.02	? (TO) TT=2400.1	? (TO) TT=2400.03	No data	? (TO) TT=2415.71	No data	? (TO) TT=2415.79	? TT=1236.53
SuperSolutions/ SuperSolutions-Queens-s1/ SuperQueens-05.xml	UNSAT TT=410.879	UNSAT TT=1011.97	UNSAT TT=409.698	UNSAT TT=410.879	? (TO) TT=20087.4	? (TO) TT=20087.9	? (TO) TT=2520.06	? (TO) TT=2520.07	? (TO) TT=2520.06	? (TO) TT=2520.06	UNSAT TT=797.984	UNSAT TT=1579.98	UNSAT TT=922.063	? (TO) TT=2519.81	No data	UNSAT TT=1564.46	No data	UNSAT TT=4805.33	UNSAT TT=4534.73	UNSAT TT=1039.92	UNSAT TT=408.32	? (TO) TT=2400.78	? (TO) TT=2400.4	UNSAT TT=799.461	UNSAT TT=1590.66	UNSAT TT=925.004	? (TO) TT=2400.06	No data	UNSAT TT=1596.22	No data	? (TO) TT=2400.13	? (TO) TT=2520.19
SuperSolutions/ SuperSolutions-Queens-s1/ SuperQueens-07.xml		? (TO) TT=2520.1	? (TO) TT=2519.74	? (TO) TT=2519.64	? TT=945.947	? TT=878.266	? TT=587.265	? TT=282.262	? TT=587.101	? TT=588.999	? (TO) TT=2528.12	? (TO) TT=2520.01	? (TO) TT=2519.97	? (TO) TT=2519.63	No data	? (TO) TT=2528.25	No data	? TT=11748.5	? (TO) TT=18641.301	? (TO) TT=2400.06	? (TO) TT=2400.04	? TT=1260.36	? TT=621.447	? (TO) TT=2416.42	? (TO) TT=2400.05	? (TO) TT=2400.02	? (TO) TT=2400.03	No data	? (TO) TT=2415.8	No data	? (TO) TT=2416.06	? TT=1285.89
SuperSolutions/ SuperSolutions-Queens-s1/ SuperQueens-12.xml		? (TO) TT=2520.04	? TT=2520.03	? (TO) TT=2519.83	? (TO) TT=19921.301	? (TO) TT=19914.699	? (TO) TT=2520.1	? (TO) TT=2520.07	? (TO) TT=2520.12	? (TO) TT=2520.08	? (TO) TT=2521.72	? (TO) TT=2520.03	? (TO) TT=2520.01	? (TO) TT=2519.87	No data	? (TO) TT=2520.05	No data	? (TO) TT=19398.801	? (TO) TT=19430.4	? (TO) TT=2400.08	? TT=2400.03	? (TO) TT=2400.68	? (TO) TT=2400.43	? (TO) TT=2404.7	? (TO) TT=2400.02	? (TO) TT=2400.1	? (TO) TT=2400.06	No data	? (TO) TT=2400.12	No data	? (TO) TT=2400.13	? (TO) TT=2520.12
SuperSolutions/ SuperSolutions-Queens-s1/ SuperQueens-13.xml	UNSAT TT=0.061	UNSAT TT=1.403	UNSAT TT=0.062	UNSAT TT=0.061	UNSAT TT=3.061	UNSAT TT=3.265	UNSAT TT=1.344	UNSAT TT=1.347	UNSAT TT=1.717	UNSAT TT=1.722	UNSAT TT=8.324	UNSAT TT=0.116	UNSAT TT=0.119	UNSAT TT=0.196	No data	UNSAT TT=1.574	No data	UNSAT TT=2.409	UNSAT TT=2.304	UNSAT TT=1.689	UNSAT TT=0.08	UNSAT TT=3.342	UNSAT TT=3.583	UNSAT TT=10.497	UNSAT TT=0.162	UNSAT TT=0.158	UNSAT TT=0.236	No data	UNSAT TT=1.663	No data	UNSAT TT=1.668	UNSAT TT=1.372
SuperSolutions/ SuperSolutions-Queens-s1/ SuperQueens-14.xml		? (TO) TT=2520.11	? (TO) TT=2519.79	? (TO) TT=2519.69	? TT=4125.44	? TT=5643.47	? (TO) TT=2520.06	? (TO) TT=2520.39	? (TO) TT=2520.11	? (TO) TT=2520.12	? (TO) TT=2527.72	? (TO) TT=2520.04	? (TO) TT=2520.08	? (TO) TT=2520.03	No data	? (TO) TT=2520.09	No data	? (TO) TT=16345.3	? TT=5400.94	? (TO) TT=2400.08	? (TO) TT=2400.08	? (TO) TT=2400.75	? TT=1386.02	? (TO) TT=2415.04	? (TO) TT=2400.03	? (TO) TT=2400.06	? (TO) TT=2400.07	No data	? (TO) TT=2400.05	No data	? (TO) TT=2416.14	? TT=1114.74
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	BTD 2017-07-25 (complete)	BTD 2017-08-10 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: BTD 2017-06-30 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
SuperSolutions/ SuperSolutions-Sadeh-js/ SuperSadeh-js-e0ddr1-1.xml	SAT TT=24.138	? (TO) TT=2520.04	? (TO) TT=2519.8	? (TO) TT=2519.82	SAT TT=998.484	SAT TT=1049.65	? (TO) TT=2520.04	? (TO) TT=2520.04	? (TO) TT=2520.08	? (TO) TT=2520.05	? (TO) TT=2521.91	? (TO) TT=2520.04	? (TO) TT=2520.06	SAT TT=24.138	No data	? (TO) TT=2520.03	No data	? (TO) TT=19818.699	? (TO) TT=19815.801	? (TO) TT=2400.12	? TT=2400	SAT TT=254.873	SAT TT=258.483	? (TO) TT=2403.92	? (TO) TT=2400.06	? (TO) TT=2400.01	SAT TT=2.905	No data	? (TO) TT=2400.03	No data	? (TO) TT=2400.25	? (TO) TT=2520.23
SuperSolutions/ SuperSolutions-Sadeh-js/ SuperSadeh-js-e0ddr2-1.xml	SAT TT=10.162	? (TO) TT=2520.03	? TT=2520	? (TO) TT=2519.68	SAT TT=1361.87	SAT TT=376.157	? (TO) TT=2520.1	? (TO) TT=2520.1	? (TO) TT=2520.15	? (TO) TT=2520.19	? (TO) TT=2522.1	? (TO) TT=2520.1	SAT TT=466.005	SAT TT=10.162	No data	SAT TT=350.532	No data	SAT (TO) TT=8244.29	SAT TT=249.797	? (TO) TT=2400.11	? TT=2400	SAT TT=576.634	SAT TT=590.079	? (TO) TT=2403.14	? (TO) TT=2400.06	SAT TT=462.997	SAT TT=81.098	No data	SAT TT=360.468	No data	? (TO) TT=2400.2	? (TO) TT=2520.24
SuperSolutions/ SuperSolutions-Sadeh-js/ SuperSadeh-js-e0ddr2-7.xml	SAT TT=0.584	SAT TT=4.381	SAT TT=0.581	SAT TT=0.584	SAT TT=224.741	SAT TT=247.337	SAT TT=26.862	SAT TT=27.271	SAT TT=26.431	SAT TT=26.527	SAT TT=59.077	SAT TT=2.338	SAT TT=7.523	SAT TT=6.627	No data	? (TO) TT=2520.06	No data	? (TO) TT=7800.19	SAT (TO) TT=5244.05	SAT TT=5.454	SAT TT=0.605	SAT TT=301.623	SAT TT=314.386	SAT TT=68.967	SAT TT=2.358	SAT TT=7.647	SAT TT=2.327	No data	? (TO) TT=2400.12	No data	? (TO) TT=2400.32	? (TO) TT=2521.3
SuperSolutions/ SuperSolutions-Sadeh-js/ SuperSadeh-js-enddr1-5.xml	SAT TT=0.551	? (TO) TT=2520.06	SAT TT=0.549	SAT TT=0.551	SAT TT=174.368	SAT TT=162.375	? (TO) TT=2520.06	? (TO) TT=2520.12	? (TO) TT=2520.13	? (TO) TT=2520.13	? (TO) TT=2521.32	? (TO) TT=2520.01	? (TO) TT=2519.95	SAT TT=3.102	No data	? (TO) TT=2520.07	No data	? (TO) TT=19776.1	? (TO) TT=19784.199	? (TO) TT=2400.1	SAT TT=0.615	SAT TT=219.645	SAT TT=237.59	? (TO) TT=2404.82	? (TO) TT=2400.07	? (TO) TT=2400.08	SAT TT=2.029	No data	? (TO) TT=2400.1	No data	SAT TT=1958.87	SAT TT=1852.27
SuperSolutions/ SuperSolutions-Sadeh-js/ SuperSadeh-js-enddr1-9.xml	SAT TT=2.074	SAT TT=3.62	SAT TT=1363.29	SAT TT=1324.21	SAT TT=179.846	SAT TT=181.206	SAT TT=1477.54	SAT TT=1493.3	SAT TT=759.05	SAT TT=746.717	? (TO) TT=2522.62	SAT TT=79.055	SAT TT=297.14	SAT TT=2.074	No data	? (TO) TT=2520.1	No data	SAT (TO) TT=18416.801	SAT TT=474.038	SAT TT=4.627	SAT TT=1363.39	SAT TT=223.013	SAT TT=221.355	? (TO) TT=2403.28	SAT TT=80.439	SAT TT=300.865	SAT TT=4.168	No data	? (TO) TT=2400.06	No data	? (TO) TT=2400.21	? (TO) TT=2520.24
SuperSolutions/ SuperSolutions-Sadeh-js/ SuperSadeh-js-ewddr2-3.xml	SAT TT=0.553	SAT TT=4.458	SAT TT=0.548	SAT TT=0.553	SAT TT=235.2	SAT TT=232.957	SAT TT=29.792	SAT TT=29.845	SAT TT=28.781	SAT TT=28.629	SAT TT=54.5	SAT TT=1.915	SAT TT=1.748	SAT TT=1.645	No data	SAT TT=18.085	No data	SAT (TO) TT=8775.11	SAT TT=211.221	SAT TT=4.972	SAT TT=0.611	SAT TT=310.134	SAT TT=311.796	SAT TT=65.539	SAT TT=1.951	SAT TT=1.796	SAT TT=1.788	No data	SAT TT=32.84	No data	? (TO) TT=2400.23	? (TO) TT=2520.18
SuperSolutions/ SuperSolutions-Taillard-js20-15/ SuperTaillard-js-20-15-15.xml		? (TO) TT=2520.06	? (TO) TT=2519.97	? (TO) TT=2519.67	? TT=5664.64	? TT=5639.46	? TT=2360.21	? (TO) TT=2528.27	? TT=2302.71	? (TO) TT=2528.18	? (TO) TT=2523.86	? (TO) TT=2520.06	Signal TT=54.402	? (TO) TT=2519.79	No data	? (TO) TT=2520.05	No data	? (TO) TT=19998.5	? (TO) TT=19976.199	? (TO) TT=2400.03	? (TO) TT=2400.04	? TT=494.286	? TT=613.185	? (TO) TT=2409.72	? (TO) TT=2400.08	Signal TT=59.506	? (TO) TT=2400.04	No data	? (TO) TT=2400.08	No data	? (TO) TT=2415.99	? TT=1583.64
SuperSolutions/ SuperSolutions-Taillard-os04/ SuperTaillard-os-04-26.xml	UNSAT TT=0.107	UNSAT TT=2.022	UNSAT TT=0.107	UNSAT TT=0.107	UNSAT TT=40.654	UNSAT TT=41.176	UNSAT TT=5.506	UNSAT TT=5.641	UNSAT TT=5.638	UNSAT TT=5.716	UNSAT TT=17.766	UNSAT TT=0.223	UNSAT TT=0.251	UNSAT TT=0.274	No data	UNSAT TT=3.843	No data	UNSAT TT=4.667	UNSAT TT=4.229	UNSAT TT=2.294	UNSAT TT=0.161	UNSAT TT=48.823	UNSAT TT=48.583	UNSAT TT=21.173	UNSAT TT=0.279	UNSAT TT=0.281	UNSAT TT=0.318	No data	UNSAT TT=4.828	No data	UNSAT TT=25.758	UNSAT TT=19.086
SuperSolutions/ SuperSolutions-Taillard-os07/ SuperTaillard-os-07-26.xml	UNSAT TT=9.851	? (TO) TT=2520.02	? TT=2520.01	? (TO) TT=2519.83	? TT=7903.52	? TT=11507.4	? (TO) TT=2520.1	? (TO) TT=2520.07	? (TO) TT=2520.06	? (TO) TT=2520.07	? (TO) TT=2527.79	? (TO) TT=2520.03	? (TO) TT=2519.79	UNSAT TT=9.851	No data	? TT=1403.43	No data	? TT=2733.31	? TT=6493.27	? (TO) TT=2400.02	? TT=2400.01	? TT=1292.08	? TT=1299.19	? (TO) TT=2415.69	? (TO) TT=2400.04	? (TO) TT=2400.09	UNSAT TT=6.381	No data	? TT=1165.47	No data	? (TO) TT=2415.77	? (problem) TT=1472.76
SuperSolutions/ SuperSolutions-Taillard-os10/ SuperTaillard-os-10-11.xml	SAT TT=122.536	? (TO) TT=2520.06	? (TO) TT=2519.66	? (TO) TT=2519.84	? TT=6611.63	? TT=7289.29	? TT=1931.87	? TT=2157.66	? TT=1982.26	? TT=1537.73	? (TO) TT=2526.51	? (TO) TT=2520.08	? (TO) TT=2520.01	SAT TT=122.536	No data	? TT=446.615	No data	? TT=737.479	? TT=3814.74	? (TO) TT=2400.1	? (TO) TT=2400.02	? TT=789.851	? TT=765.538	? (TO) TT=2413.33	? (TO) TT=2400.03	? (TO) TT=2400.06	SAT TT=107.671	No data	? (TO) TT=2416.18	No data	? (TO) TT=2415.9	? (problem) TT=1618.22
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	BTD 2017-07-25 (complete)	BTD 2017-08-10 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: BTD 2017-06-30 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
SuperSolutions/ SuperSolutions-Taillard-os15/ SuperTaillard-os-15-22.xml		? (TO) TT=2520.08	? (TO) TT=2519.85	? (TO) TT=2519.67	? (TO) TT=16564.699	? TT=9439.46	? TT=1891.35	? TT=1925.58	? (TO) TT=2527.6	? (TO) TT=2528.28	? (TO) TT=2528.04	? (TO) TT=2520.02	? (TO) TT=2520.18	? (TO) TT=2519.66	No data	? TT=432.368	No data	? TT=12427.5	? (TO) TT=18332	? (TO) TT=2400.05	? (TO) TT=2400.05	? TT=921.691	? TT=895.604	? (TO) TT=2416.02	? (TO) TT=2400.11	? (TO) TT=2400.22	? (TO) TT=2400.07	No data	? TT=1255.58	No data	? (TO) TT=2415.52	? (problem) TT=1526.07
SuperSolutions/ SuperSolutions-Taillard-os20/ SuperTaillard-os-20-17.xml		? (TO) TT=2520.05	? (TO) TT=2519.74	? (TO) TT=2519.78	? TT=4690.8	? TT=5727.28	? TT=1699.46	? TT=2374.29	? TT=1988.19	? TT=1720.12	? (TO) TT=2527.67	? (TO) TT=2520.08	Signal TT=68.141	? (TO) TT=2520.08	No data	? (TO) TT=2520.09	No data	? (TO) TT=19876.6	? (TO) TT=19876.1	? (TO) TT=2400.05	? (TO) TT=2400.1	? TT=470.321	? TT=454.9	? (TO) TT=2415.07	? (TO) TT=2400.09	Signal TT=73.112	? (TO) TT=2400.02	No data	? (TO) TT=2400.11	No data	? (TO) TT=2416.03	? TT=1482.71
TravellingSalesman/ TravellingSalesman-m1-n100/ TravellingSalesman-100-50-00.xml	SAT TO f=398 TT=2520.06 T1=2167.35	SAT (TO) f=479 TT=2520.07 T1=3.36	No data	No data	SAT (TO) f=466 TT=19966 T1=11.79	SAT (TO) f=466 TT=19971.699 T1=11.64	SAT (TO) f=458 TT=2520.04 T1=1141.83	SAT (TO) f=458 TT=2520.06 T1=1121.5	SAT (TO) f=488 TT=2520.08 T1=617.12	SAT (TO) f=488 TT=2520.02 T1=609.46	SAT (TO) f=586 TT=2520.4 T1=1828.56	SAT (TO) f=451 TT=2519.72 T1=2520	SAT (TO) f=449 TT=2519.75 T1=2520	SAT (TO) f=445 TT=2519.75 T1=2093.07	SAT (TO) f=398 TT=2520.06 T1=2167.35	SAT (TO) f=3557 TT=2520.09 T1=980.54	SAT (TO) f=406 TT=2520.06 T1=1747.78	SAT (TO) f=3535 TT=19987.199 T1=2434.87	SAT (TO) f=3540 TT=19982.4 T1=17598.199	SAT (TO) f=479 TT=2400.03 T1=3.32	No data	SAT (TO) f=466 TT=2400.08 T1=12.75	SAT (TO) f=466 TT=2400.62 T1=12.63	SAT (TO) f=595 TT=2400.15 T1=1132.52	? (TO) TT=2400.08	? (TO) TT=2400.05	SAT (TO) f=445 TT=2400.1 T1=2101.32	SAT (TO) f=413 TT=2400.13 T1=1873.87	SAT (TO) f=3557 TT=2400.08 T1=918.88	SAT (TO) f=406 TT=2400.07 T1=1517.46	? TT=983.53	? TT=512.288
TravellingSalesman/ TravellingSalesman-m1-n100/ TravellingSalesman-100-50-05.xml	SAT TO f=406 TT=2400.03 T1=2006.04	SAT (TO) f=571 TT=2520.03 T1=2436.45	No data	No data	SAT (TO) f=457 TT=19977.1 T1=12.41	SAT (TO) f=457 TT=19978.199 T1=12.17	SAT (TO) f=463 TT=2520.08 T1=1107.09	SAT (TO) f=463 TT=2520.06 T1=1136.7	SAT (TO) f=469 TT=2520.03 T1=9.32	SAT (TO) f=469 TT=2520.12 T1=9.53	SAT (TO) f=694 TT=2520.15 T1=1928.03	SAT (TO) f=424 TT=2520.08 T1=2519.9	SAT (TO) f=430 TT=2520.03 T1=2519.9	SAT (TO) f=460 TT=2519.96 T1=487.17	SAT (TO) f=428 TT=2520.03 T1=2349.21	SAT (TO) f=3655 TT=2520.1 T1=1946.67	SAT (TO) f=434 TT=2520.07 T1=1482.16	SAT (TO) f=3632 TT=19985.6 T1=2248.7	SAT (TO) f=3633 TT=19994.6 T1=17693.801	SAT (TO) f=571 TT=2400.05 T1=2307.46	No data	SAT (TO) f=457 TT=2400.67 T1=12.97	SAT (TO) f=457 TT=2400.06 T1=12.66	SAT (TO) f=778 TT=2400.86 T1=1021.16	? (TO) TT=2400.02	? (TO) TT=2400.02	SAT (TO) f=460 TT=2400.04 T1=493.65	SAT (TO) f=406 TT=2400.03 T1=2006.04	SAT (TO) f=3655 TT=2400.07 T1=1949.53	SAT (TO) f=427 TT=2400.07 T1=1575.17	? TT=1169.87	? TT=443.642
TravellingSalesman/ TravellingSalesman-m1-n100/ TravellingSalesman-100-50-08.xml	SAT TO f=410 TT=2400.06 T1=1719.28	SAT (TO) f=607 TT=2520.07 T1=2166.07	No data	No data	SAT (TO) f=457 TT=19953.5 T1=12.1	SAT (TO) f=457 TT=19965.6 T1=12.59	SAT (TO) f=513 TT=2520.02 T1=1396.24	SAT (TO) f=513 TT=2520.12 T1=1375.81	SAT (TO) f=505 TT=2520.11 T1=40.13	SAT (TO) f=505 TT=2520.07 T1=40.03	SAT (TO) f=592 TT=2520.12 T1=1879.6	SAT (TO) f=443 TT=2520.05 T1=2519.9	SAT (TO) f=443 TT=2520.01 T1=2520	SAT (TO) f=536 TT=2519.74 T1=2366.95	SAT (TO) f=459 TT=2520.11 T1=2016.1	SAT (TO) f=3639 TT=2520.07 T1=2365.83	SAT (TO) f=472 TT=2520.12 T1=2035.61	SAT (TO) f=3609 TT=19970.4 T1=2276.07	SAT (TO) f=3603 TT=19979.1 T1=16551.461	SAT (TO) f=607 TT=2400.58 T1=2062.92	No data	SAT (TO) f=457 TT=2400.12 T1=12.88	SAT (TO) f=457 TT=2400.33 T1=12.78	SAT (TO) f=748 TT=2401.02 T1=916.58	? (TO) TT=2400.05	? (TO) TT=2400.05	SAT (TO) f=545 TT=2400.1 T1=2381.95	SAT (TO) f=410 TT=2400.06 T1=1719.28	SAT (TO) f=3644 TT=2400.12 T1=2357.07	SAT (TO) f=418 TT=2400.06 T1=1820.74	? TT=1153.79	? TT=416.195
TravellingSalesman/ TravellingSalesman-m1-n150/ TravellingSalesman-150-50-14.xml	SAT TO f=531 TT=2400.12 T1=2215.23	SAT (TO) f=614 TT=2520.09 T1=3.2	No data	No data	SAT (TO) f=562 TT=19776.801 T1=47.4	SAT (TO) f=562 TT=19761.9 T1=48.47	SAT (TO) f=655 TT=2520.05 T1=11.41	SAT (TO) f=655 TT=2520.07 T1=11.53	SAT (TO) f=655 TT=2520.12 T1=11.66	SAT (TO) f=655 TT=2520.11 T1=11.74	? (TO) TT=2528.18	SAT (TO) f=551 TT=2519.92 T1=2520	SAT (TO) f=555 TT=2519.94 T1=2520	SAT (TO) f=689 TT=2520.01 T1=2305.39	SAT (TO) f=532 TT=2520.12 T1=2318.34	SAT (TO) f=5389 TT=2520.07 T1=1824.53	SAT (TO) f=543 TT=2520.14 T1=1563.23	SAT (TO) f=5380 TT=20038.301 T1=1492.93	SAT (TO) f=5376 TT=20034.4 T1=13958.71	SAT (TO) f=614 TT=2400.05 T1=3.21	No data	SAT (TO) f=562 TT=2400.25 T1=50.04	SAT (TO) f=562 TT=2400.78 T1=49.48	SAT (TO) f=3494 TT=2401.36 T1=470.22	? (TO) TT=2400.08	? (TO) TT=2400.05	SAT (TO) f=689 TT=2400.06 T1=2335.85	SAT (TO) f=531 TT=2400.12 T1=2215.23	SAT (TO) f=5389 TT=2400.05 T1=1739.4	SAT (TO) f=549 TT=2400.12 T1=2261.74	? (TO) TT=2411.22	? (TO) TT=2528.2
TravellingSalesman/ TravellingSalesman-m1-n150/ TravellingSalesman-150-50-15.xml	SAT TO f=524 TT=2520.12 T1=2457.23	SAT (TO) f=597 TT=2520.1 T1=2.91	No data	No data	SAT (TO) f=573 TT=19758 T1=50.55	SAT (TO) f=573 TT=19765.199 T1=51.17	SAT (TO) f=692 TT=2520.07 T1=11.4	SAT (TO) f=692 TT=2520.11 T1=11.34	SAT (TO) f=678 TT=2520.09 T1=12.02	SAT (TO) f=678 TT=2520.04 T1=12.15	? (TO) TT=2528.13	SAT (TO) f=585 TT=2519.92 T1=2520	SAT (TO) f=586 TT=2520.01 T1=2520	SAT (TO) f=574 TT=2519.62 T1=1740.55	SAT (TO) f=524 TT=2520.12 T1=2457.23	SAT (TO) f=5620 TT=2520.04 T1=1496.42	SAT (TO) f=539 TT=2520.08 T1=1912.15	SAT (TO) f=5603 TT=20042.199 T1=2494.19	SAT (TO) f=5584 TT=20046.5 T1=18704.039	SAT (TO) f=597 TT=2400.08 T1=2.99	No data	SAT (TO) f=573 TT=2400.56 T1=51.01	SAT (TO) f=573 TT=2400.48 T1=50.08	SAT (TO) f=3595 TT=2400.13 T1=459.58	? (TO) TT=2400.07	? (TO) TT=2400.07	SAT (TO) f=574 TT=2400.05 T1=1756.68	SAT (TO) f=535 TT=2400.11 T1=1989.41	SAT (TO) f=5620 TT=2400.07 T1=1511.87	SAT (TO) f=554 TT=2400.11 T1=1819.74	? (TO) TT=2416.16	? (TO) TT=2527.98
TravellingSalesman/ TravellingSalesman-m1-n15/ TravellingSalesman-15-30-13.xml	OPT f=104 TT=461.744 T1=2.64	OPT f=104 TT=461.744 T1=6.78	No data	No data	OPT f=104 TT=6606.34 T1=2.69	OPT f=104 TT=6724.7 T1=2.64	SAT (TO) f=104 TT=2520.12 T1=2.77	SAT (TO) f=104 TT=2520.13 T1=2.9	SAT (TO) f=104 TT=2520.03 T1=57.37	SAT (TO) f=104 TT=2520.04 T1=57.47	SAT (TO) f=104 TT=2520.05 T1=4.44	SAT (TO) f=104 TT=2519.81 T1=2520	SAT (TO) f=104 TT=2519.88 T1=2520	SAT (TO) f=104 TT=2520.04 T1=0.14	SAT (TO) f=104 TT=2520.1 T1=2.46	OPT f=104 TT=1946.82 T1=150.2	SAT (TO) f=104 TT=2520.08 T1=149.61	OPT f=104 TT=1134.66 T1=20.44	OPT f=104 TT=1342.77 T1=205.33	OPT f=104 TT=473.138 T1=6.65	No data	SAT (TO) f=104 TT=2400.51 T1=7.01	SAT (TO) f=104 TT=2400.05 T1=5.99	SAT (TO) f=104 TT=2400.07 T1=4.59	? (TO) TT=2400.05	? (TO) TT=2400.11	SAT (TO) f=104 TT=2400.01 T1=0.09	SAT (TO) f=104 TT=2400.08 T1=2.77	OPT f=104 TT=2045.1 T1=156.63	SAT (TO) f=104 TT=2400.11 T1=153.35	SAT (TO) f=140 TT=2400.09 T1=379.21	SAT (TO) f=135 TT=2520.12 T1=2441.76
TravellingSalesman/ TravellingSalesman-m1-n20/ TravellingSalesman-20-30-02.xml	SAT TO f=119 TT=2400.03 T1=0.36	SAT (TO) f=119 TT=2520.04 T1=390.61	No data	No data	SAT (TO) f=119 TT=20097.9 T1=15.51	SAT (TO) f=119 TT=20087.9 T1=47.14	SAT (TO) f=119 TT=2520.09 T1=367.62	SAT (TO) f=119 TT=2520.05 T1=343.52	SAT (TO) f=119 TT=2520.06 T1=185	SAT (TO) f=119 TT=2520.11 T1=181.28	SAT (TO) f=119 TT=2520.17 T1=5.12	SAT (TO) f=119 TT=2520.02 T1=2519.8	SAT (TO) f=119 TT=2520.01 T1=2519.9	SAT (TO) f=119 TT=2520.09 T1=0.42	SAT (TO) f=119 TT=2520.02 T1=5.54	SAT (TO) f=163 TT=2520.06 T1=2244.03	SAT (TO) f=119 TT=2520.05 T1=55.42	SAT (TO) f=132 TT=19838.4 T1=2089.43	SAT (TO) f=119 TT=19854.1 T1=17642.91	SAT (TO) f=119 TT=2400.03 T1=382.82	No data	SAT (TO) f=119 TT=2400.36 T1=29.62	SAT (TO) f=119 TT=2400.62 T1=211.17	SAT (TO) f=119 TT=2400.08 T1=5.29	? (TO) TT=2400.07	? (TO) TT=2400.07	SAT (TO) f=119 TT=2400.1 T1=0.36	SAT (TO) f=119 TT=2400.03 T1=3.82	SAT (TO) f=163 TT=2400.12 T1=2249.93	SAT (TO) f=119 TT=2400.05 T1=75.85	SAT (TO) f=245 TT=2400.32 T1=1808.96	SAT (TO) f=245 TT=2520.37 T1=1618.5
TravellingSalesman/ TravellingSalesman-m1-n20/ TravellingSalesman-20-30-09.xml	SAT TO f=120 TT=2400.04 T1=1.81	SAT (TO) f=121 TT=2520.06 T1=260.96	No data	No data	SAT (TO) f=120 TT=20088.5 T1=50.12	SAT (TO) f=120 TT=20074.4 T1=86.68	SAT (TO) f=121 TT=2520.1 T1=2254.77	SAT (TO) f=121 TT=2520.03 T1=2245.99	SAT (TO) f=121 TT=2520.08 T1=842.78	SAT (TO) f=121 TT=2520.12 T1=840.62	SAT (TO) f=120 TT=2520.07 T1=54.57	SAT (TO) f=123 TT=2520.08 T1=2519.9	SAT (TO) f=126 TT=2520.04 T1=2519.7	SAT (TO) f=120 TT=2519.99 T1=1.84	SAT (TO) f=120 TT=2520.04 T1=9.73	SAT (TO) f=173 TT=2520.07 T1=1314.34	SAT (TO) f=120 TT=2520.05 T1=192.31	SAT (TO) f=120 TT=19858.4 T1=2222.33	SAT (TO) f=120 TT=19768.1 T1=11873.27	SAT (TO) f=121 TT=2400.05 T1=266.34	No data	SAT (TO) f=124 TT=2400.36 T1=262.28	SAT (TO) f=127 TT=2400.06 T1=297.2	SAT (TO) f=120 TT=2400.06 T1=55.08	? (TO) TT=2400.01	? (TO) TT=2400.05	SAT (TO) f=120 TT=2400.1 T1=1.81	SAT (TO) f=120 TT=2400.04 T1=147.98	SAT (TO) f=173 TT=2400.05 T1=1371.04	SAT (TO) f=120 TT=2400.1 T1=73.33	SAT (TO) f=201 TT=2400.18 T1=1528.8	SAT (TO) f=201 TT=2520.23 T1=1717.96
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	BTD 2017-07-25 (complete)	BTD 2017-08-10 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: BTD 2017-06-30 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
TravellingSalesman/ TravellingSalesman-m1-n20/ TravellingSalesman-20-30-18.xml	SAT TO f=104 TT=2400.03 T1=35.01	SAT (TO) f=105 TT=2520.04 T1=114.06	No data	No data	SAT (TO) f=104 TT=20079.6 T1=1220.03	SAT (TO) f=104 TT=20072.4 T1=1084.46	SAT (TO) f=106 TT=2520.02 T1=12.66	SAT (TO) f=106 TT=2520.11 T1=12.82	SAT (TO) f=106 TT=2520.1 T1=30.01	SAT (TO) f=106 TT=2520.06 T1=29.83	SAT (TO) f=104 TT=2520.05 T1=35.01	SAT (TO) f=106 TT=2520.01 T1=2519.9	SAT (TO) f=105 TT=2519.93 T1=2520	SAT (TO) f=105 TT=2519.99 T1=0.2	SAT (TO) f=105 TT=2520.07 T1=99.92	SAT (TO) f=179 TT=2520.03 T1=1200.49	SAT (TO) f=104 TT=2520.09 T1=79.94	SAT (TO) f=143 TT=19850.5 T1=1579.58	SAT (TO) f=142 TT=19855.6 T1=19166.27	SAT (TO) f=105 TT=2400.09 T1=115.85	No data	SAT (TO) f=106 TT=2400.56 T1=1.05	SAT (TO) f=106 TT=2400.27 T1=1	SAT (TO) f=104 TT=2400.12 T1=35.59	? (TO) TT=2400.04	? (TO) TT=2400.05	SAT (TO) f=105 TT=2400.08 T1=0.18	SAT (TO) f=104 TT=2400.09 T1=950.77	SAT (TO) f=179 TT=2400.07 T1=1232.62	SAT (TO) f=104 TT=2400.03 T1=101.84	SAT (TO) f=176 TT=2400.29 T1=1401.54	SAT (TO) f=176 TT=2520.18 T1=1646.74
TravellingSalesman/ TravellingSalesman-m1-n30/ TravellingSalesman-30-30-18.xml	SAT TO f=126 TT=2400.11 T1=623.54	SAT (TO) f=136 TT=2520.09 T1=2414.48	No data	No data	SAT (TO) f=139 TT=20064.6 T1=310.06	SAT (TO) f=135 TT=20048.6 T1=311.75	SAT (TO) f=137 TT=2520.09 T1=2057.17	SAT (TO) f=137 TT=2520.07 T1=2061.28	SAT (TO) f=139 TT=2520.02 T1=214.57	SAT (TO) f=139 TT=2520.04 T1=217.23	SAT (TO) f=127 TT=2520.1 T1=2005.5	SAT (TO) f=137 TT=2520.05 T1=2519.9	SAT (TO) f=140 TT=2519.83 T1=2520	SAT (TO) f=128 TT=2519.99 T1=2	SAT (TO) f=129 TT=2520.03 T1=470.02	SAT (TO) f=430 TT=2520.03 T1=2147.19	SAT (TO) f=126 TT=2520.08 T1=756.34	SAT (TO) f=410 TT=19862.301 T1=2468.55	SAT (TO) f=417 TT=19848.5 T1=16673.57	SAT (TO) f=137 TT=2400.07 T1=478.85	No data	SAT (TO) f=142 TT=2400.59 T1=26.56	SAT (TO) f=139 TT=2400.44 T1=203.31	SAT (TO) f=127 TT=2400.18 T1=2138.81	? (TO) TT=2400.05	? (TO) TT=2400.05	SAT (TO) f=128 TT=2400.02 T1=2	SAT (TO) f=126 TT=2400.11 T1=623.54	SAT (TO) f=430 TT=2400.12 T1=2213.78	SAT (TO) f=129 TT=2400.02 T1=501.55	SAT (TO) f=326 TT=2400.16 T1=1245.07	SAT (TO) f=322 TT=2520.15 T1=2450.43
TravellingSalesman/ TravellingSalesman-m1-n40/ TravellingSalesman-40-30-19.xml	SAT TO f=146 TT=2400.03 T1=478.32	SAT (TO) f=174 TT=2520.09 T1=1851.7	No data	No data	SAT (TO) f=172 TT=20064.301 T1=639.76	SAT (TO) f=172 TT=20046.199 T1=626.54	SAT (TO) f=172 TT=2520.1 T1=364.25	SAT (TO) f=172 TT=2520.1 T1=365.25	SAT (TO) f=168 TT=2520.09 T1=22.87	SAT (TO) f=168 TT=2520.11 T1=21.55	SAT (TO) f=173 TT=2520.15 T1=203.44	SAT (TO) f=155 TT=2520.04 T1=2520	SAT (TO) f=171 TT=2519.58 T1=2520	SAT (TO) f=146 TT=2519.82 T1=2473.06	SAT (TO) f=149 TT=2520.04 T1=243.03	SAT (TO) f=675 TT=2520.11 T1=2176.83	SAT (TO) f=146 TT=2520.02 T1=797.52	SAT (TO) f=658 TT=19843.699 T1=2318.95	SAT (TO) f=655 TT=19851.4 T1=7775.42	SAT (TO) f=174 TT=2400.05 T1=2092.26	No data	SAT (TO) f=180 TT=2400.32 T1=32.83	SAT (TO) f=181 TT=2400.61 T1=1.53	SAT (TO) f=173 TT=2400.13 T1=224.47	? (TO) TT=2400.03	? (TO) TT=2400.01	SAT (TO) f=160 TT=2400.06 T1=814.09	SAT (TO) f=146 TT=2400.08 T1=478.32	SAT (TO) f=675 TT=2400.1 T1=2251.78	SAT (TO) f=146 TT=2400.03 T1=499.5	SAT (TO) f=525 TT=2400.38 T1=20.65	SAT (TO) f=525 TT=2520.4 T1=20.42
TravellingSalesman/ TravellingSalesman-m1-n45/ TravellingSalesman-45-30-04.xml	SAT TO f=163 TT=2520.11 T1=675.6	SAT (TO) f=211 TT=2520.09 T1=1853.46	No data	No data	SAT (TO) f=180 TT=20064.1 T1=967.77	SAT (TO) f=180 TT=20060.699 T1=990.92	SAT (TO) f=182 TT=2520.11 T1=1792.81	SAT (TO) f=182 TT=2520.07 T1=1817.7	SAT (TO) f=181 TT=2520.05 T1=2353.65	SAT (TO) f=181 TT=2520.04 T1=2331.26	SAT (TO) f=176 TT=2520.08 T1=408.37	SAT (TO) f=171 TT=2520.01 T1=2520	SAT (TO) f=171 TT=2519.97 T1=2520	SAT (TO) f=168 TT=2519.69 T1=1960.89	SAT (TO) f=174 TT=2520.09 T1=1562.92	SAT (TO) f=774 TT=2520.03 T1=1643	SAT (TO) f=163 TT=2520.11 T1=675.6	SAT (TO) f=747 TT=19859.301 T1=2502.91	SAT (TO) f=746 TT=19845.1 T1=15909.96	SAT (TO) f=211 TT=2400.03 T1=2056.12	No data	SAT (TO) f=185 TT=2400.25 T1=111.51	SAT (TO) f=185 TT=2400.66 T1=111.09	SAT (TO) f=176 TT=2400.17 T1=417.82	? (TO) TT=2400.02	? (TO) TT=2400.09	SAT (TO) f=168 TT=2400.07 T1=1980.07	SAT (TO) f=172 TT=2400.04 T1=1823.9	SAT (TO) f=774 TT=2400.12 T1=1692.71	SAT (TO) f=164 TT=2400.05 T1=1639.14	SAT (TO) f=644 TT=2400.36 T1=29.67	SAT (TO) f=644 TT=2520.39 T1=29.25
TravellingSalesman/ TravellingSalesman-m1-n45/ TravellingSalesman-45-30-09.xml	SAT TO f=159 TT=2400.04 T1=60.77	SAT (TO) f=180 TT=2520.08 T1=1441.77	No data	No data	SAT (TO) f=193 TT=20070.301 T1=1317.55	SAT (TO) f=193 TT=20063.5 T1=1293.22	SAT (TO) f=191 TT=2520.11 T1=1732.78	SAT (TO) f=191 TT=2520.1 T1=1737.76	SAT (TO) f=196 TT=2520.09 T1=1009.75	SAT (TO) f=196 TT=2520.04 T1=1001.7	SAT (TO) f=185 TT=2520.12 T1=42.66	SAT (TO) f=185 TT=2519.8 T1=2520	SAT (TO) f=186 TT=2519.83 T1=2520	SAT (TO) f=159 TT=2519.96 T1=151.25	SAT (TO) f=159 TT=2520.11 T1=60.77	SAT (TO) f=879 TT=2520.09 T1=2412.82	SAT (TO) f=162 TT=2520.12 T1=1311.83	SAT (TO) f=842 TT=19851 T1=2354.98	SAT (TO) f=842 TT=19759.199 T1=17794.529	SAT (TO) f=180 TT=2400.04 T1=1449.17	No data	SAT (TO) f=196 TT=2400.37 T1=1.62	SAT (TO) f=196 TT=2400.15 T1=1.6	SAT (TO) f=185 TT=2400.16 T1=47.19	? (TO) TT=2400.02	? (TO) TT=2400.03	SAT (TO) f=159 TT=2400.07 T1=152.57	SAT (TO) f=159 TT=2400.04 T1=1985.16	SAT (TO) f=880 TT=2400.1 T1=2136.55	SAT (TO) f=161 TT=2400.04 T1=1390.53	SAT (TO) f=595 TT=2400.25 T1=781.54	SAT (TO) f=595 TT=2520.3 T1=793.86
TravellingSalesman/ TravellingSalesman-m1-n50/ TravellingSalesman-50-30-01.xml	SAT TO f=176 TT=2520.11 T1=2393.76	SAT (TO) f=218 TT=2520.08 T1=775.47	No data	No data	SAT (TO) f=204 TT=20073.801 T1=402.66	SAT (TO) f=204 TT=20066.4 T1=384.6	SAT (TO) f=204 TT=2520.09 T1=235.31	SAT (TO) f=204 TT=2520.04 T1=238.86	SAT (TO) f=204 TT=2520.05 T1=299.12	SAT (TO) f=204 TT=2520.05 T1=298.5	SAT (TO) f=222 TT=2520.13 T1=80.77	SAT (TO) f=203 TT=2519.93 T1=2520	SAT (TO) f=201 TT=2520.04 T1=2519.8	SAT (TO) f=187 TT=2519.87 T1=12.97	SAT (TO) f=176 TT=2520.11 T1=2393.76	SAT (TO) f=945 TT=2520.11 T1=2169	SAT (TO) f=180 TT=2520.05 T1=1244.19	SAT (TO) f=893 TT=19877.301 T1=1134.66	SAT (TO) f=893 TT=19855 T1=15414.23	SAT (TO) f=218 TT=2400.03 T1=719.78	No data	SAT (TO) f=208 TT=2400.68 T1=113.68	SAT (TO) f=208 TT=2400.21 T1=107.53	SAT (TO) f=222 TT=2400.1 T1=75.31	? (TO) TT=2400.03	? (TO) TT=2400.04	SAT (TO) f=187 TT=2400.04 T1=13.11	SAT (TO) f=193 TT=2400.13 T1=1422.65	SAT (TO) f=945 TT=2400.06 T1=2190.15	SAT (TO) f=178 TT=2400.09 T1=938.58	SAT (TO) f=756 TT=2400.33 T1=42.89	? (TO) TT=2520.36
TravellingSalesman/ TravellingSalesman-m1-n50/ TravellingSalesman-50-30-05.xml	SAT TO f=175 TT=2400.05 T1=377.35	SAT (TO) f=216 TT=2520.1 T1=308.54	No data	No data	SAT (TO) f=208 TT=20078.301 T1=2517.06	SAT (TO) f=210 TT=20056.301 T1=573.45	SAT (TO) f=208 TT=2520.06 T1=423.87	SAT (TO) f=208 TT=2520.08 T1=419.36	SAT (TO) f=210 TT=2520.12 T1=2148.45	SAT (TO) f=210 TT=2520.03 T1=2172.23	SAT (TO) f=206 TT=2520.06 T1=227.33	SAT (TO) f=185 TT=2519.68 T1=2520	SAT (TO) f=185 TT=2519.8 T1=2520	SAT (TO) f=206 TT=2519.78 T1=120.3	SAT (TO) f=180 TT=2520.07 T1=1246.32	SAT (TO) f=899 TT=2520.04 T1=1448.82	SAT (TO) f=175 TT=2520.07 T1=426.3	SAT (TO) f=881 TT=19867.801 T1=2519.63	SAT (TO) f=868 TT=19771.699 T1=18203.59	SAT (TO) f=216 TT=2400.08 T1=323.26	No data	SAT (TO) f=212 TT=2400.5 T1=2.13	SAT (TO) f=212 TT=2400.78 T1=2.07	SAT (TO) f=206 TT=2400.14 T1=216.36	? (TO) TT=2400.08	? (TO) TT=2400.01	SAT (TO) f=206 TT=2400.08 T1=119.65	SAT (TO) f=175 TT=2400.05 T1=1055.52	SAT (TO) f=899 TT=2400.03 T1=1492.58	SAT (TO) f=175 TT=2400.07 T1=377.35	? (TO) TT=2400.2	? (TO) TT=2520.13
TravellingSalesman/ TravellingSalesman-m1-n75/ TravellingSalesman-75-50-02.xml	SAT TO f=336 TT=2400.06 T1=2314.84	SAT (TO) f=461 TT=2520.07 T1=9.56	No data	No data	SAT (TO) f=376 TT=19995 T1=4.72	SAT (TO) f=376 TT=19988 T1=4.95	SAT (TO) f=433 TT=2520.06 T1=5.37	SAT (TO) f=433 TT=2520.06 T1=5.52	SAT (TO) f=428 TT=2520.09 T1=519.42	SAT (TO) f=428 TT=2520.07 T1=531.48	SAT (TO) f=544 TT=2520.08 T1=326.16	SAT (TO) f=401 TT=2519.84 T1=2520	SAT (TO) f=402 TT=2520.06 T1=2519.9	SAT (TO) f=391 TT=2519.97 T1=2293.52	SAT (TO) f=342 TT=2520.04 T1=2372.62	SAT (TO) f=2433 TT=2520.06 T1=2008.47	SAT (TO) f=355 TT=2520.05 T1=1739.4	SAT (TO) f=2379 TT=19954.4 T1=1903.55	SAT (TO) f=2381 TT=19932.5 T1=18561.49	SAT (TO) f=461 TT=2400.1 T1=9.74	No data	SAT (TO) f=376 TT=2400.64 T1=5.34	SAT (TO) f=376 TT=2400.04 T1=5.31	SAT (TO) f=544 TT=2400.21 T1=271.02	? (TO) TT=2400.02	? (TO) TT=2400.03	SAT (TO) f=391 TT=2400.03 T1=2317.46	SAT (TO) f=336 TT=2400.06 T1=2314.84	SAT (TO) f=2433 TT=2400.17 T1=1996.65	SAT (TO) f=339 TT=2400.02 T1=1714.16	? (TO) TT=2400.09	? TT=2481.78
TravellingSalesman/ TravellingSalesman-m1-n75/ TravellingSalesman-75-50-15.xml	SAT TO f=341 TT=2400.12 T1=443.26	SAT (TO) f=482 TT=2520.09 T1=2358.21	No data	No data	SAT (TO) f=400 TT=20001.4 T1=5.08	SAT (TO) f=400 TT=19995.5 T1=5.44	SAT (TO) f=420 TT=2520.08 T1=2189.44	SAT (TO) f=420 TT=2520.04 T1=2173.73	SAT (TO) f=437 TT=2520.05 T1=23.14	SAT (TO) f=437 TT=2520.09 T1=22.97	SAT (TO) f=394 TT=2520.32 T1=1832.76	SAT (TO) f=375 TT=2520.03 T1=2519.9	SAT (TO) f=375 TT=2519.87 T1=2520	SAT (TO) f=389 TT=2519.97 T1=1478.37	SAT (TO) f=349 TT=2520.08 T1=2311.47	SAT (TO) f=2581 TT=2520.03 T1=1854.36	SAT (TO) f=348 TT=2520.11 T1=1625.62	SAT (TO) f=2563 TT=19931.6 T1=2331.93	SAT (TO) f=2562 TT=19931.1 T1=19372.891	SAT (TO) f=484 TT=2400.11 T1=2054.52	No data	SAT (TO) f=400 TT=2400.2 T1=5.63	SAT (TO) f=400 TT=2400.43 T1=5.48	SAT (TO) f=407 TT=2400.16 T1=1824.98	? (TO) TT=2400.05	? (TO) TT=2400.01	SAT (TO) f=389 TT=2400.03 T1=1503.73	SAT (TO) f=341 TT=2400.12 T1=443.26	SAT (TO) f=2581 TT=2400.1 T1=1852.91	SAT (TO) f=373 TT=2400.13 T1=1697.72	? (TO) TT=2415.47	? (TO) TT=2520.25
TravellingSalesman/ TravellingSalesman-xcsp2-s20a4/ TravellingSalesman-4-20-001-a4_X2.xml	SAT TT=0.771	SAT TT=4.354	SAT TT=4.328	SAT TT=4.312	SAT TT=27.663	SAT TT=27.21	SAT TT=5.818	SAT TT=5.63	SAT TT=6.259	SAT TT=6.298	SAT TT=19.251	SAT TT=0.771	SAT TT=1.763	SAT TT=1.078	No data	SAT TT=3.891	No data	SAT TT=19.392	SAT TT=19.571	SAT TT=5.8	SAT TT=4.325	SAT TT=93.013	SAT TT=93.002	SAT TT=24.97	SAT TT=0.821	SAT TT=1.751	SAT TT=0.814	No data	SAT TT=5.133	No data	? (TO) TT=2415.95	? (TO) TT=2524.96
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	BTD 2017-07-25 (complete)	BTD 2017-08-10 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: BTD 2017-06-30 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
TravellingSalesman/ TravellingSalesman-xcsp2-s20a4/ TravellingSalesman-4-20-727-a4_X2.xml	SAT TT=7.46	SAT TT=9.257	SAT TT=20.22	SAT TT=20.41	SAT TT=70.678	SAT TT=71.109	SAT TT=10.336	SAT TT=10.432	SAT TT=15.081	SAT TT=15.864	SAT TT=31.428	SAT TT=26.648	SAT TT=11.905	SAT TT=11.638	No data	SAT TT=7.46	No data	SAT TT=53.302	SAT TT=53.372	SAT TT=12.372	SAT TT=20.363	SAT TT=146.759	SAT TT=150.312	SAT TT=36.712	SAT TT=26.245	SAT TT=11.514	SAT TT=1.502	No data	SAT TT=9.446	No data	? (TO) TT=2416.34	? TT=1551.84
TravellingSalesman/ TravellingSalesman-xcsp2-s20/ TravellingSalesman-20-076_X2.xml	SAT TT=4.622	SAT TT=7.18	SAT TT=4.913	SAT TT=4.622	SAT TT=26.596	SAT TT=25.877	SAT TT=8.769	SAT TT=9.584	SAT TT=14.092	SAT TT=13.48	SAT TT=18.019	SAT TT=20.218	SAT TT=5.195	SAT TT=12.638	No data	SAT TT=6.494	No data	SAT TT=17.608	SAT TT=16.06	SAT TT=8.783	SAT TT=4.635	SAT TT=51.363	SAT TT=51.566	SAT TT=23.43	SAT TT=20.399	SAT TT=5.314	SAT TT=19.038	No data	SAT TT=7.077	No data	? (TO) TT=2416.09	? TT=1831.9
TravellingSalesman/ TravellingSalesman-xcsp2-s20/ TravellingSalesman-20-142_X2.xml	SAT TT=6.396	SAT TT=11.621	SAT TT=86.227	SAT TT=84.592	SAT TT=38.48	SAT TT=38.936	SAT TT=13.058	SAT TT=12.952	SAT TT=21.215	SAT TT=20.262	SAT TT=34.274	SAT TT=18.896	SAT TT=15.611	SAT TT=7.093	No data	SAT TT=6.396	No data	SAT TT=32.14	SAT TT=17.409	SAT TT=11.213	SAT TT=83.794	SAT TT=49.148	SAT TT=56.651	SAT TT=42.678	SAT TT=18.731	SAT TT=15.914	SAT TT=5.811	No data	SAT TT=7.048	No data	? (TO) TT=2415.89	? TT=1087.86
TravellingSalesman/ TravellingSalesman-xcsp2-s25/ TravellingSalesman-25-003_X2.xml	SAT TT=2.194	SAT TT=5.227	SAT TT=6.469	SAT TT=6.126	SAT TT=22.889	SAT TT=23.876	SAT TT=5.932	SAT TT=5.828	SAT TT=9.277	SAT TT=9.513	SAT TT=20.38	SAT TT=2.194	SAT TT=2.723	SAT TT=3.184	No data	SAT TT=2.812	No data	SAT TT=21.378	SAT TT=18.503	SAT TT=5.993	SAT TT=6.133	SAT TT=24.679	SAT TT=24.357	SAT TT=28.646	SAT TT=2.217	SAT TT=2.75	SAT TT=2	No data	SAT TT=3.678	No data	? (TO) TT=2416.3	? (TO) TT=2528.12
TravellingSalesman/ TravellingSalesman-xcsp2-s25/ TravellingSalesman-25-066_X2.xml	SAT TT=0.089	SAT TT=2.635	SAT TT=2.758	SAT TT=2.498	SAT TT=17.701	SAT TT=16.451	SAT TT=3.501	SAT TT=3.535	SAT TT=4.817	SAT TT=4.789	SAT TT=17.199	SAT TT=0.089	SAT TT=1.058	SAT TT=0.407	No data	SAT TT=2.766	No data	SAT TT=56.784	SAT TT=11.848	SAT TT=3.497	SAT TT=2.556	SAT TT=19.053	SAT TT=18.092	SAT TT=25.027	SAT TT=0.136	SAT TT=1.132	SAT TT=1.605	No data	SAT TT=3.465	No data	? (TO) TT=2411.15	? TT=1812.13
Vrp/Vrp-zinc-s1/ Vrp-A-n33-k5.xml	SAT TO f=661 TT=2400.07 T1=416.95	SAT (TO) f=1414 TT=2520.07 T1=689.9	No data	No data	SAT (TO) f=708 TT=20029.1 T1=2125.43	SAT (TO) f=684 TT=19965.5 T1=1435.22	SAT (TO) f=1329 TT=2520.13 T1=278.31	SAT (TO) f=1329 TT=2520.11 T1=275.51	SAT (TO) f=1409 TT=2520.03 T1=1615.19	SAT (TO) f=1409 TT=2520.03 T1=1711.38	SAT (TO) f=709 TT=2520.04 T1=1873.95	SAT (TO) f=1814 TT=2519.84 T1=2520	SAT (TO) f=1597 TT=2520.03 T1=2519.9	SAT (TO) f=661 TT=2520.04 T1=424.42	SAT (TO) f=1159 TT=2520.14 T1=2099.51	SAT (TO) f=1604 TT=2520.07 T1=394.2	SAT (TO) f=1191 TT=2520.13 T1=1661.72	SAT (TO) f=1285 TT=19953.199 T1=2043.95	SAT (TO) f=1295 TT=19922.9 T1=9861.36	SAT (TO) f=1414 TT=2400.02 T1=686.39	No data	SAT (TO) f=1235 TT=2400.08 T1=252.49	SAT (TO) f=1138 TT=2400.49 T1=273.65	SAT (TO) f=709 TT=2400.06 T1=1906.76	No Cert. TT=2400.09	No Cert. TT=2400.06	SAT (TO) f=661 TT=2400.07 T1=416.95	SAT (TO) f=1360 TT=2400.13 T1=1538.96	SAT (TO) f=1604 TT=2400.14 T1=403.27	SAT (TO) f=1213 TT=2400.09 T1=1307.34	SAT (TO) f=1600 TT=2401.58 T1=16.33	SAT (TO) f=1600 TT=2520.22 T1=15.25
Vrp/Vrp-zinc-s1/ Vrp-A-n33-k6.xml	SAT TO f=743 TT=2400.03 T1=202.16	SAT (TO) f=1372 TT=2520.02 T1=192.4	No data	No data	SAT (TO) f=788 TT=19980.699 T1=2142.14	SAT (TO) f=803 TT=19999.5 T1=2263.96	SAT (TO) f=1202 TT=2520.06 T1=215.99	SAT (TO) f=1202 TT=2520.11 T1=208.72	SAT (TO) f=1397 TT=2520.06 T1=1185.22	SAT (TO) f=1397 TT=2520.03 T1=1230.23	SAT (TO) f=784 TT=2520.06 T1=1551.36	SAT (TO) f=1670 TT=2520.08 T1=2519.9	SAT (TO) f=1625 TT=2519.97 T1=2520	SAT (TO) f=743 TT=2519.94 T1=202.16	SAT (TO) f=1240 TT=2520.06 T1=2346.61	SAT (TO) f=1261 TT=2520.1 T1=1420.71	SAT (TO) f=839 TT=2520.12 T1=1566.17	SAT (TO) f=1283 TT=19957.9 T1=2310.45	SAT (TO) f=1283 TT=19967.699 T1=17869.35	SAT (TO) f=1372 TT=2400.04 T1=196.04	No data	SAT (TO) f=1221 TT=2400.69 T1=300.24	SAT (TO) f=1361 TT=2400.15 T1=156.57	SAT (TO) f=784 TT=2400.08 T1=1642.96	No Cert. TT=2400.07	No Cert. TT=2400.02	SAT (TO) f=743 TT=2400.03 T1=205.34	SAT (TO) f=1234 TT=2400.19 T1=1700.18	SAT (TO) f=1261 TT=2400.09 T1=1408.32	SAT (TO) f=1075 TT=2400.12 T1=1666.65	SAT (TO) f=1353 TT=2400.23 T1=175.82	SAT (TO) f=1353 TT=2520.43 T1=169.81
Vrp/Vrp-zinc-s1/ Vrp-A-n34-k5.xml	SAT TO f=783 TT=19994.6 T1=2079.33	SAT (TO) f=1659 TT=2520.03 T1=1971	No data	No data	SAT (TO) f=848 TT=20025.9 T1=1362.41	SAT (TO) f=783 TT=19994.6 T1=2079.33	SAT (TO) f=1384 TT=2520.11 T1=2492.96	SAT (TO) f=1384 TT=2520.14 T1=2467.27	SAT (TO) f=1404 TT=2520.03 T1=1575.47	SAT (TO) f=1404 TT=2520.02 T1=1437.58	SAT (TO) f=795 TT=2520.13 T1=2170.88	SAT (TO) f=1883 TT=2519.9 T1=2520	SAT (TO) f=1888 TT=2519.98 T1=2520	SAT (TO) f=789 TT=2519.9 T1=100.5	SAT (TO) f=1519 TT=2520.12 T1=2319.64	SAT (TO) f=1562 TT=2520.12 T1=36.55	SAT (TO) f=1569 TT=2520.07 T1=202	SAT (TO) f=1385 TT=20003.6 T1=2506.36	SAT (TO) f=1402 TT=19935.4 T1=13273.7	SAT (TO) f=1659 TT=2400.02 T1=2005.25	No data	SAT (TO) f=1324 TT=2400.17 T1=259.34	SAT (TO) f=1482 TT=2400.36 T1=127.02	SAT (TO) f=803 TT=2400.11 T1=1731.65	No Cert. TT=2400.1	No Cert. TT=2400.1	SAT (TO) f=789 TT=2400.07 T1=100.91	SAT (TO) f=1562 TT=2400.14 T1=2270.4	SAT (TO) f=1562 TT=2400.04 T1=36.59	SAT (TO) f=1081 TT=2400.07 T1=1532.72	SAT (TO) f=1393 TT=2400.12 T1=1191.91	SAT (TO) f=1393 TT=2520.21 T1=1185.55
Vrp/Vrp-zinc-s1/ Vrp-A-n36-k5.xml	SAT TO f=853 TT=2400.08 T1=187.67	SAT (TO) f=1690 TT=2520.13 T1=1657.07	No data	No data	SAT (TO) f=925 TT=20008.1 T1=1805.7	SAT (TO) f=905 TT=20020.699 T1=2437.32	SAT (TO) f=1487 TT=2520.11 T1=1878.68	SAT (TO) f=1487 TT=2520.1 T1=1905.3	SAT (TO) f=1560 TT=2520.04 T1=1747.61	SAT (TO) f=1560 TT=2520.06 T1=1944.51	SAT (TO) f=947 TT=2520.08 T1=117.94	SAT (TO) f=2002 TT=2520.03 T1=2520	SAT (TO) f=1974 TT=2519.79 T1=2520	SAT (TO) f=853 TT=2519.57 T1=189.1	SAT (TO) f=1572 TT=2520.49 T1=1282.12	SAT (TO) f=1409 TT=2520.08 T1=1901.31	SAT (TO) f=1538 TT=2520.11 T1=1166.38	SAT (TO) f=1332 TT=19900.699 T1=761.63	SAT (TO) f=1332 TT=19911.699 T1=6204.03	SAT (TO) f=1690 TT=2400.09 T1=1675.77	No data	SAT (TO) f=1550 TT=2400.08 T1=246.18	SAT (TO) f=1556 TT=2400.57 T1=266.1	SAT (TO) f=947 TT=2400.06 T1=111.28	No Cert. TT=2400.03	No Cert. TT=2400.1	SAT (TO) f=853 TT=2400.08 T1=187.67	SAT (TO) f=1661 TT=2400.07 T1=1583.27	SAT (TO) f=1409 TT=2400.06 T1=1908.71	SAT (TO) f=1637 TT=2400.11 T1=434.83	SAT (TO) f=1720 TT=2400.31 T1=93.81	SAT (TO) f=1720 TT=2520.16 T1=105.08
Vrp/Vrp-zinc-s1/ Vrp-A-n48-k7.xml	SAT TO f=1130 TT=2400.06 T1=888.07	SAT (TO) f=2429 TT=2520.1 T1=565.71	No data	No data	SAT (TO) f=1260 TT=20035.301 T1=1867.05	SAT (TO) f=2229 TT=19955.199 T1=1217.16	SAT (TO) f=2314 TT=2520.05 T1=649.96	SAT (TO) f=2314 TT=2520.11 T1=658.05	SAT (TO) f=2417 TT=2520.09 T1=1124.19	SAT (TO) f=2417 TT=2520.02 T1=1135.85	SAT (TO) f=1195 TT=2520.1 T1=1968.83	SAT (TO) f=2786 TT=2519.98 T1=2520	SAT (TO) f=2947 TT=2520.04 T1=2519.9	SAT (TO) f=1130 TT=2520.01 T1=892.21	SAT (TO) f=1862 TT=2520.12 T1=2319.64	SAT (TO) f=2688 TT=2520.06 T1=1171.15	SAT (TO) f=2486 TT=2520.12 T1=753.65	SAT (TO) f=2289 TT=19936.9 T1=2479.15	SAT (TO) f=2281 TT=19996.199 T1=15273.98	SAT (TO) f=2429 TT=2400.05 T1=461.16	No data	SAT (TO) f=2501 TT=2400.67 T1=8.94	SAT (TO) f=2337 TT=2400.76 T1=234.33	SAT (TO) f=1195 TT=2400.16 T1=2033.18	No Cert. TT=2400.05	No Cert. TT=2400.07	SAT (TO) f=1130 TT=2400.06 T1=888.07	SAT (TO) f=2389 TT=2400.1 T1=1369.54	SAT (TO) f=2688 TT=2400.15 T1=1169.01	SAT (TO) f=2263 TT=2400.13 T1=1666.74	SAT (TO) f=2507 TT=2400.23 T1=1484.04	SAT (TO) f=2507 TT=2520.2 T1=1444.01
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	BTD 2017-07-25 (complete)	BTD 2017-08-10 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: BTD 2017-06-30 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
Vrp/Vrp-zinc-s1/ Vrp-A-n60-k9.xml	SAT TO f=1407 TT=2400.09 T1=2291.29	SAT (TO) f=3431 TT=2520.1 T1=1093.96	No data	No data	SAT (TO) f=1891 TT=19380.4 T1=2502.24	SAT (TO) f=3022 TT=19757.301 T1=861.51	SAT (TO) f=2882 TT=2520.09 T1=730.82	SAT (TO) f=2882 TT=2520.02 T1=742.95	SAT (TO) f=2931 TT=2520.03 T1=6.83	SAT (TO) f=2931 TT=2520.04 T1=6.83	SAT (TO) f=1609 TT=2520.12 T1=1956.78	SAT (TO) f=3609 TT=2519.98 T1=2520	SAT (TO) f=3426 TT=2520.03 T1=2520	SAT (TO) f=1407 TT=2519.98 T1=2291.29	SAT (TO) f=3110 TT=2520.11 T1=2045.38	SAT (TO) f=3700 TT=2520.05 T1=490.52	SAT (TO) f=3321 TT=2520.13 T1=1164.21	SAT (TO) f=3113 TT=19963.1 T1=2477.68	SAT (TO) f=3108 TT=19940.9 T1=8685.96	SAT (TO) f=3431 TT=2400.11 T1=1117.17	No data	SAT (TO) f=3156 TT=2400.52 T1=26.06	SAT (TO) f=3152 TT=2400.46 T1=245.16	SAT (TO) f=1609 TT=2400.1 T1=1904.19	No Cert. TT=2400.02	No Cert. TT=2400.09	SAT (TO) f=1407 TT=2400.09 T1=2313.81	SAT (TO) f=3208 TT=2400.07 T1=110.3	SAT (TO) f=3700 TT=2400.16 T1=498.28	SAT (TO) f=3300 TT=2400.13 T1=1323.11	? TT=1548.27	? TT=641.791
Vrp/Vrp-zinc-s1/ Vrp-A-n61-k9.xml	SAT TO f=1147 TT=2400.09 T1=1219.44	SAT (TO) f=2613 TT=2520.06 T1=1157.65	No data	No data	SAT (TO) f=1542 TT=20040.699 T1=1237.35	SAT (TO) f=1578 TT=20026.199 T1=488.95	SAT (TO) f=2500 TT=2520.04 T1=1669.31	SAT (TO) f=2500 TT=2520.12 T1=1613.48	SAT (TO) f=2499 TT=2520.05 T1=8.2	SAT (TO) f=2499 TT=2520.09 T1=8.11	SAT (TO) f=1200 TT=2520.11 T1=2348.91	SAT (TO) f=2960 TT=2519.2 T1=2520	SAT (TO) f=2931 TT=2520.01 T1=2520	SAT (TO) f=1147 TT=2519.76 T1=1219.44	SAT (TO) f=2549 TT=2520.08 T1=2420.55	SAT (TO) f=2541 TT=2520.14 T1=2004.5	SAT (TO) f=2733 TT=2520.11 T1=2.31	SAT (TO) f=2621 TT=19961.6 T1=2271.65	SAT (TO) f=2635 TT=19969.9 T1=15251.71	SAT (TO) f=2613 TT=2400.05 T1=1170.99	No data	SAT (TO) f=2499 TT=2400.03 T1=262.45	SAT (TO) f=2444 TT=2400.51 T1=127.05	SAT (TO) f=1213 TT=2400.15 T1=1098.06	No Cert. TT=2400.01	No Cert. TT=2400.1	SAT (TO) f=1147 TT=2400.09 T1=1223.88	SAT (TO) f=2660 TT=2400.09 T1=1746.15	SAT (TO) f=2541 TT=2400.1 T1=2042.77	SAT (TO) f=2733 TT=2400.2 T1=1.99	? (TO) TT=2415.32	? (problem) TT=1377.26
Vrp/Vrp-zinc-s1/ Vrp-B-n31-k5.xml	SAT TO f=684 TT=2400.02 T1=210.89	SAT (TO) f=1058 TT=2520.06 T1=292.42	No data	No data	SAT (TO) f=687 TT=20019.699 T1=900.04	SAT (TO) f=718 TT=20006.6 T1=2178.85	SAT (TO) f=929 TT=2520.12 T1=2128.48	SAT (TO) f=929 TT=2520.04 T1=2136.63	SAT (TO) f=1115 TT=2520.09 T1=1792.49	SAT (TO) f=1115 TT=2520.05 T1=1923.54	SAT (TO) f=781 TT=2520.13 T1=1842.12	SAT (TO) f=1349 TT=2520.05 T1=2519.9	SAT (TO) f=1274 TT=2520.03 T1=2519.9	SAT (TO) f=684 TT=2519.64 T1=210.89	SAT (TO) f=918 TT=2520.04 T1=2113.25	SAT (TO) f=1134 TT=2520.11 T1=2382.16	SAT (TO) f=919 TT=2520.09 T1=1445.26	SAT (TO) f=1051 TT=19957.801 T1=1650.64	SAT (TO) f=1048 TT=19912.4 T1=2437.51	SAT (TO) f=1058 TT=2400.08 T1=295.8	No data	SAT (TO) f=919 TT=2400.52 T1=307.47	SAT (TO) f=1060 TT=2400.47 T1=281.14	SAT (TO) f=781 TT=2400.11 T1=1784.86	No Cert. TT=2400.05	No Cert. TT=2400.04	SAT (TO) f=684 TT=2400.02 T1=213.58	SAT (TO) f=707 TT=2400.14 T1=2229.26	SAT (TO) f=1137 TT=2400.07 T1=2237.56	SAT (TO) f=902 TT=2400.14 T1=1257.71	SAT (TO) f=1398 TT=2400.1 T1=2284.99	SAT (TO) f=1398 TT=2520.15 T1=2230.53
Vrp/Vrp-zinc-s1/ Vrp-B-n45-k5.xml	SAT TO f=756 TT=2400.09 T1=1039.18	SAT (TO) f=2241 TT=2520.06 T1=1002.38	No data	No data	SAT (TO) f=907 TT=20075 T1=1363.41	SAT (TO) f=822 TT=20059 T1=2354.77	SAT (TO) f=1777 TT=2520.09 T1=546.99	SAT (TO) f=1777 TT=2520.11 T1=551.19	SAT (TO) f=1951 TT=2520.07 T1=1006.94	SAT (TO) f=1951 TT=2520.09 T1=1011.63	SAT (TO) f=1058 TT=2520.17 T1=1463.94	SAT (TO) f=2432 TT=2519.99 T1=2520	SAT (TO) f=2323 TT=2519.92 T1=2520	SAT (TO) f=756 TT=2520.02 T1=1039.18	SAT (TO) f=2075 TT=2520.12 T1=1261.27	SAT (TO) f=2220 TT=2520.13 T1=2471.63	SAT (TO) f=1745 TT=2520.1 T1=1083.86	SAT (TO) f=1853 TT=19941.6 T1=1827.01	SAT (TO) f=1932 TT=19983.4 T1=8026.13	SAT (TO) f=2241 TT=2400.12 T1=998.63	No data	SAT (TO) f=1771 TT=2400.55 T1=294.92	SAT (TO) f=1867 TT=2400.48 T1=295.2	SAT (TO) f=1058 TT=2400.08 T1=1423.65	No Cert. TT=2400.01	No Cert. TT=2400.05	SAT (TO) f=756 TT=2400.09 T1=1046.95	SAT (TO) f=1251 TT=2400.15 T1=1292.24	SAT (TO) f=2221 TT=2400.09 T1=715.43	SAT (TO) f=1663 TT=2400.08 T1=1642.58	SAT (TO) f=1904 TT=2400.31 T1=293.51	SAT (TO) f=1904 TT=2520.31 T1=293.16
Vrp/Vrp-zinc-s1/ Vrp-B-n45-k6.xml	SAT TO f=715 TT=2400.09 T1=128	SAT (TO) f=1514 TT=2520.11 T1=517.06	No data	No data	SAT (TO) f=793 TT=19938.6 T1=2487.92	SAT (TO) f=750 TT=19826.301 T1=2460.95	SAT (TO) f=1319 TT=2520.09 T1=252.25	SAT (TO) f=1319 TT=2520.06 T1=238.74	SAT (TO) f=1443 TT=2520.11 T1=1464.81	SAT (TO) f=1443 TT=2520.05 T1=1452.89	SAT (TO) f=772 TT=2520.11 T1=497.06	SAT (TO) f=1775 TT=2519.85 T1=2520	SAT (TO) f=1773 TT=2519.16 T1=2520	SAT (TO) f=715 TT=2519.78 T1=128	SAT (TO) f=1575 TT=2520.15 T1=1620.31	SAT (TO) f=1646 TT=2520.13 T1=998.1	SAT (TO) f=1544 TT=2520.09 T1=853.96	SAT (TO) f=1475 TT=19950.9 T1=2019.77	SAT (TO) f=1475 TT=19935.199 T1=9837.21	SAT (TO) f=1514 TT=2400.04 T1=436.12	No data	SAT (TO) f=1029 TT=2400.12 T1=60.87	SAT (TO) f=1483 TT=2400.68 T1=82.78	SAT (TO) f=772 TT=2400.1 T1=504.61	No Cert. TT=2400.05	No Cert. TT=2400.03	SAT (TO) f=715 TT=2400.09 T1=128.76	SAT (TO) f=1272 TT=2400.07 T1=2216.73	SAT (TO) f=1646 TT=2400.49 T1=1022.63	SAT (TO) f=1383 TT=2400.07 T1=1325	SAT (TO) f=1549 TT=2401.66 T1=1870.83	SAT (TO) f=1549 TT=2520.15 T1=1860.26
Vrp/Vrp-zinc-s1/ Vrp-B-n50-k8.xml	SAT TO f=1327 TT=2400.05 T1=339.25	SAT (TO) f=2430 TT=2520.02 T1=1143.26	No data	No data	SAT (TO) f=1859 TT=20025 T1=200.3	SAT (TO) f=1745 TT=20012.6 T1=248.1	SAT (TO) f=2251 TT=2520.05 T1=736.97	SAT (TO) f=2251 TT=2520.12 T1=721	SAT (TO) f=2281 TT=2520.28 T1=58.45	SAT (TO) f=2281 TT=2520.1 T1=59.4	SAT (TO) f=1496 TT=2520.13 T1=1745.6	SAT (TO) f=2798 TT=2520.07 T1=2519.9	SAT (TO) f=2785 TT=2520.05 T1=2519.9	SAT (TO) f=1327 TT=2520.07 T1=339.25	SAT (TO) f=2420 TT=2520.14 T1=1040.98	SAT (TO) f=2621 TT=2520.1 T1=2284.81	SAT (TO) f=2538 TT=2520.11 T1=65.31	SAT (TO) f=2267 TT=19962.699 T1=2341.42	SAT (TO) f=2237 TT=19950.4 T1=19853.68	SAT (TO) f=2430 TT=2400.04 T1=657.79	No data	SAT (TO) f=1728 TT=2400.32 T1=21.28	SAT (TO) f=2098 TT=2400.22 T1=137.34	SAT (TO) f=1496 TT=2400.11 T1=1639.47	No Cert. TT=2400.05	No Cert. TT=2400.07	SAT (TO) f=1327 TT=2400.05 T1=340.93	SAT (TO) f=2410 TT=2400.09 T1=1581.04	SAT (TO) f=2623 TT=2400.08 T1=2302.44	SAT (TO) f=2438 TT=2400.12 T1=1061.21	SAT (TO) f=2779 TT=2400.24 T1=1416.9	SAT (TO) f=2779 TT=2520.22 T1=1427.63
Vrp/Vrp-zinc-s1/ Vrp-B-n57-k9.xml	SAT TO f=1663 TT=2400.09 T1=1650.39	SAT (TO) f=3362 TT=2520.06 T1=1112.02	No data	No data	SAT (TO) f=2693 TT=20037.699 T1=1569.38	SAT (TO) f=2218 TT=19982.699 T1=81.09	SAT (TO) f=2884 TT=2520.11 T1=2311.37	SAT (TO) f=2884 TT=2520.03 T1=2286.96	SAT (TO) f=3014 TT=2520.07 T1=18.69	SAT (TO) f=2994 TT=2520.04 T1=2260.86	SAT (TO) f=1805 TT=2520.1 T1=686.54	SAT (TO) f=3561 TT=2519.79 T1=2520	SAT (TO) f=3270 TT=2519.91 T1=2520	SAT (TO) f=1663 TT=2519.79 T1=1650.39	SAT (TO) f=3209 TT=2520.12 T1=1185.01	SAT (TO) f=3227 TT=2520.11 T1=1664.2	SAT (TO) f=3050 TT=2520.1 T1=1248.06	SAT (TO) f=2927 TT=19969.9 T1=1682.13	SAT (TO) f=2927 TT=19978 T1=7879.85	SAT (TO) f=3362 TT=2400.12 T1=1027.92	No data	SAT (TO) f=2168 TT=2400.14 T1=135.7	SAT (TO) f=2933 TT=2400.2 T1=188.16	SAT (TO) f=1805 TT=2400.16 T1=758.29	No Cert. TT=2400.06	No Cert. TT=2400.05	SAT (TO) f=1663 TT=2400.09 T1=1663.16	SAT (TO) f=3146 TT=2400.17 T1=2024.32	SAT (TO) f=3227 TT=2400.15 T1=1684.54	SAT (TO) f=3238 TT=2400.15 T1=23.3	SAT (TO) f=4071 TT=2400.26 T1=796.77	? (TO) TT=2528.01
Vrp/Vrp-zinc-s1/ Vrp-B-n67-k10.xml	SAT TO f=1093 TT=2400.07 T1=2139.19	SAT (TO) f=3265 TT=2520.07 T1=961.58	No data	No data	SAT (TO) f=1382 TT=20087.801 T1=2471.95	SAT (TO) f=1454 TT=19483.199 T1=2321.62	SAT (TO) f=2705 TT=2520.08 T1=2328.79	SAT (TO) f=2705 TT=2520.12 T1=2237.87	SAT (TO) f=2774 TT=2520.11 T1=104.79	SAT (TO) f=2774 TT=2520.14 T1=102.94	SAT (TO) f=1287 TT=2520.07 T1=2210.33	SAT (TO) f=3334 TT=2520.08 T1=2520	SAT (TO) f=3314 TT=2519.89 T1=2520	SAT (TO) f=1093 TT=2520.11 T1=2139.19	SAT (TO) f=2978 TT=2520.19 T1=1754.82	SAT (TO) f=3154 TT=2520.12 T1=1926.88	SAT (TO) f=3028 TT=2520.09 T1=1768.61	SAT (TO) f=2643 TT=19968.699 T1=975.82	SAT (TO) f=2656 TT=19933.199 T1=16250.31	SAT (TO) f=3265 TT=2400.1 T1=965.72	No data	SAT (TO) f=2492 TT=2400.18 T1=267.09	SAT (TO) f=2781 TT=2400.34 T1=301.74	SAT (TO) f=1287 TT=2400.12 T1=2188.94	No Cert. TT=2400.01	No Cert. TT=2400.08	SAT (TO) f=1093 TT=2400.07 T1=2149.57	SAT (TO) f=3121 TT=2400.08 T1=2266.12	SAT (TO) f=3154 TT=2400.15 T1=1948.62	SAT (TO) f=3075 TT=2400.07 T1=1222.7	? (TO) TT=2416.37	? TT=1330.41
Vrp/Vrp-zinc-s1/ Vrp-B-n68-k9.xml	SAT TO f=1300 TT=2400.1 T1=1969.46	SAT (TO) f=3823 TT=2520.1 T1=1710.28	No data	No data	SAT (TO) f=2063 TT=20086.699 T1=1389.59	SAT (TO) f=1776 TT=19976.5 T1=124.91	SAT (TO) f=2976 TT=2520.04 T1=2408.92	SAT (TO) f=2976 TT=2520.04 T1=2373.01	SAT (TO) f=3088 TT=2520.07 T1=201.38	SAT (TO) f=3088 TT=2520.06 T1=199.03	SAT (TO) f=1717 TT=2520.17 T1=1762.46	SAT (TO) f=3679 TT=2519.73 T1=2520	SAT (TO) f=3832 TT=2520.02 T1=2519.9	SAT (TO) f=1300 TT=2520.07 T1=1969.46	SAT (TO) f=3537 TT=2520.07 T1=1989.31	SAT (TO) f=3814 TT=2520.1 T1=1369.78	SAT (TO) f=3621 TT=2520.15 T1=1307.03	SAT (TO) f=3415 TT=19963 T1=2266.71	SAT (TO) f=3415 TT=19965 T1=18496.061	SAT (TO) f=3823 TT=2400.11 T1=1731.32	No data	Wrong Opt. f=3846 TT=65.668 T1=9.71	Wrong Opt. f=3846 TT=67.441 T1=9.88	SAT (TO) f=1717 TT=2400.11 T1=1914.98	No Cert. TT=2400.08	No Cert. TT=2400.04	SAT (TO) f=1300 TT=2400.1 T1=1972.14	SAT (TO) f=3621 TT=2400.15 T1=1644.23	SAT (TO) f=3814 TT=2400.15 T1=1366.44	SAT (TO) f=3621 TT=2400.15 T1=1549.78	? (TO) TT=2415.29	? (problem) TT=1536.2
Vrp/Vrp-zinc-s1/ Vrp-B-n78-k10.xml	SAT TO f=1282 TT=2400.05 T1=2265.37	SAT (TO) f=4025 TT=2520.05 T1=687	No data	No data	SAT (TO) f=1604 TT=20090.199 T1=2484.58	SAT (TO) f=1618 TT=19765 T1=2502.46	SAT (TO) f=3294 TT=2520.11 T1=24.34	SAT (TO) f=3294 TT=2520.06 T1=24.45	SAT (TO) f=3453 TT=2520.1 T1=160.7	SAT (TO) f=3453 TT=2520.09 T1=158.51	SAT (TO) f=1973 TT=2520.09 T1=2194.52	SAT (TO) f=4381 TT=2520.06 T1=2520	SAT (TO) f=4232 TT=2520.04 T1=2519.9	SAT (TO) f=1282 TT=2519.98 T1=2265.37	SAT (TO) f=3670 TT=2520.46 T1=2220.82	SAT (TO) f=4041 TT=2520.12 T1=1930.78	SAT (TO) f=4343 TT=2520.16 T1=3.8	SAT (TO) f=3558 TT=19960.801 T1=1924.84	SAT (TO) f=3583 TT=19949.9 T1=6796.64	SAT (TO) f=4025 TT=2400.08 T1=696.11	No data	Wrong Opt. f=4091 TT=176.295 T1=25.52	Wrong Opt. f=4091 TT=155.188 T1=22.62	SAT (TO) f=1973 TT=2400.15 T1=2189.38	No Cert. TT=2400.08	No Cert. TT=2400.06	SAT (TO) f=1282 TT=2400.05 T1=2271.58	SAT (TO) f=3994 TT=2400.19 T1=1561.17	SAT (TO) f=4041 TT=2400.11 T1=1406.15	SAT (TO) f=4030 TT=2400.06 T1=440.58	? (TO) TT=2416.51	? TT=1270.43
Bench name	Best results	AbsCon-basic 2017-06-11 (complete)	BTD 2017-07-25 (complete)	BTD 2017-08-10 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: BTD 2017-06-30 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
Vrp/Vrp-zinc-s1/ Vrp-P-n50-k10.xml	SAT TO f=725 TT=2400.03 T1=1503.36	SAT (TO) f=1488 TT=2520.07 T1=1152.49	No data	No data	SAT (TO) f=819 TT=20073.6 T1=2010.58	SAT (TO) f=919 TT=20032.801 T1=122.04	SAT (TO) f=1343 TT=2520.1 T1=2199.54	SAT (TO) f=1343 TT=2520.11 T1=2190.6	SAT (TO) f=1397 TT=2520.05 T1=495.13	SAT (TO) f=1397 TT=2520.3 T1=489.18	SAT (TO) f=748 TT=2520.1 T1=1775.11	SAT (TO) f=1571 TT=2519.83 T1=2520	SAT (TO) f=1581 TT=2520.03 T1=2519.9	SAT (TO) f=725 TT=2519.76 T1=1503.36	SAT (TO) f=1379 TT=2520.09 T1=1541.87	SAT (TO) f=1349 TT=2520.11 T1=420.1	SAT (TO) f=1406 TT=2520.1 T1=1.99	SAT (TO) f=1421 TT=19948.1 T1=523.01	SAT (TO) f=1421 TT=19929.801 T1=10152.88	SAT (TO) f=1488 TT=2400.09 T1=995.03	No data	SAT (TO) f=1294 TT=2400.24 T1=186.99	SAT (TO) f=1433 TT=2400.31 T1=238.63	SAT (TO) f=748 TT=2400.05 T1=1515.15	No Cert. TT=2400.01	No Cert. TT=2400.02	SAT (TO) f=725 TT=2400.03 T1=1517.37	SAT (TO) f=1337 TT=2400.09 T1=1488.48	SAT (TO) f=1349 TT=2400.15 T1=447.05	SAT (TO) f=1406 TT=2400.08 T1=1.82	SAT (TO) f=1248 TT=2400.19 T1=318.84	SAT (TO) f=1248 TT=2521.11 T1=308.3
Vrp/Vrp-zinc-s1/ Vrp-P-n65-k10.xml	SAT TO f=809 TT=2400.04 T1=1548.7	SAT (TO) f=2204 TT=2520.09 T1=621.57	No data	No data	SAT (TO) f=1016 TT=20080.199 T1=1863.37	SAT (TO) f=1013 TT=19933.4 T1=2198.01	SAT (TO) f=1920 TT=2520.06 T1=30.42	SAT (TO) f=1920 TT=2520.04 T1=31.47	SAT (TO) f=1796 TT=2520.1 T1=68.94	SAT (TO) f=1796 TT=2520.1 T1=66.86	SAT (TO) f=996 TT=2520.14 T1=2255.02	SAT (TO) f=2166 TT=2519.58 T1=2520	SAT (TO) f=2087 TT=2519.89 T1=2520	SAT (TO) f=809 TT=2519.94 T1=1548.7	SAT (TO) f=1969 TT=2520.13 T1=1515.25	SAT (TO) f=2083 TT=2520.12 T1=2156.06	SAT (TO) f=1964 TT=2520.08 T1=1218.65	SAT (TO) f=1854 TT=19974.199 T1=1515.13	SAT (TO) f=1860 TT=19976.5 T1=11694.32	SAT (TO) f=2204 TT=2400.1 T1=617.21	No data	SAT (TO) f=1851 TT=2400.4 T1=286.99	SAT (TO) f=1922 TT=2400.46 T1=78.33	SAT (TO) f=998 TT=2400.15 T1=509.65	No Cert. TT=2400.07	No Cert. TT=2400.1	SAT (TO) f=809 TT=2400.04 T1=1555.1	SAT (TO) f=1894 TT=2400.2 T1=2221.29	SAT (TO) f=2083 TT=2400.05 T1=2187.41	SAT (TO) f=2023 TT=2400.13 T1=1112.2	? (TO) TT=2416.02	? TT=1258.09
Wwtpp/Wwtpp-ord-s1/ Wwtpp-ord-ex02280.xml	UNSAT TT=0.31	UNSAT TT=3.851	? (TO) TT=2519.97	? (TO) TT=2519.8	UNSAT TT=395.597	UNSAT TT=366.398	UNSAT TT=41.847	UNSAT TT=43.033	UNSAT TT=26.693	UNSAT TT=26.646	UNSAT TT=23.748	UNSAT TT=0.31	Signal TT=43.515	UNSAT TT=0.85	No data	UNSAT TT=6.846	No data	UNSAT TT=10.112	UNSAT TT=9.923	UNSAT TT=3.885	? (TO) TT=2400.04	UNSAT TT=169.128	UNSAT TT=167.867	UNSAT TT=27.153	UNSAT TT=0.304	Signal TT=39.95	UNSAT TT=0.838	No data	UNSAT TT=13.368	No data	? (problem) TT=1811.64	? TT=1775.42
Wwtpp/Wwtpp-ord-s1/ Wwtpp-ord-ex03380.xml	UNSAT TT=0.401	UNSAT TT=3.971	? (TO) TT=2520.03	? (TO) TT=2519.8	UNSAT TT=377.033	UNSAT TT=376.899	UNSAT TT=41.543	UNSAT TT=41.883	UNSAT TT=26.771	UNSAT TT=26.72	UNSAT TT=27.842	UNSAT TT=0.401	Signal TT=43.573	UNSAT TT=0.891	No data	UNSAT TT=12.668	No data	UNSAT TT=18.956	UNSAT TT=19.1	UNSAT TT=4.077	? (TO) TT=2400.04	UNSAT TT=168.916	UNSAT TT=162.934	UNSAT TT=26.724	UNSAT TT=0.395	Signal TT=40.608	UNSAT TT=0.894	No data	UNSAT TT=13.856	No data	? TT=1735.93	? TT=1785.59
Wwtpp/Wwtpp-ord-s1/ Wwtpp-ord-ex05480.xml	SAT TT=33.343	? (TO) TT=2520.08	? (TO) TT=2519.82	? (TO) TT=2519.8	? (TO) TT=20063	? (TO) TT=20064	? (TO) TT=2520.05	? (TO) TT=2520.07	? (TO) TT=2520.1	? (TO) TT=2520.03	? (TO) TT=2523.3	? (TO) TT=2520.03	Signal TT=42	SAT TT=33.343	No data	? (TO) TT=2520.07	No data	? TT=1952.59	? (TO) TT=10598.2	? (TO) TT=2400.04	? (TO) TT=2400.16	? (TO) TT=2400.09	? (TO) TT=2400.06	? (TO) TT=2403.08	? (TO) TT=2400.04	Signal TT=40.359	SAT TT=84.072	No data	? (TO) TT=2400.1	No data	? TT=1741.93	? TT=1765.77
Wwtpp/Wwtpp-ord-s1/ Wwtpp-ord-ex06460.xml	SAT TT=2.062	SAT TT=42.086	? (TO) TT=2520.02	? (TO) TT=2519.8	SAT TT=448.888	SAT TT=427.844	? (TO) TT=2520.18	? (TO) TT=2520.11	? (TO) TT=2520.07	? (TO) TT=2520.11	SAT TT=131.072	SAT TT=38.199	Signal TT=44.244	SAT TT=2.062	No data	SAT TT=13.225	No data	? TT=2205.55	SAT TT=2195.67	SAT TT=41.807	? (TO) TT=2400.02	SAT TT=132.243	SAT TT=129.833	SAT TT=128.987	SAT TT=38.289	Signal TT=41.398	SAT TT=1.359	No data	SAT TT=13.989	No data	? TT=1714.62	? TT=1829.05
Wwtpp/Wwtpp-ord-s1/ Wwtpp-ord-ex07180.xml	SAT TT=0.925	SAT TT=4.782	? (TO) TT=2520.15	? (TO) TT=2519.86	SAT TT=447.279	SAT TT=306.956	SAT TT=323.039	SAT TT=324.665	SAT TT=443.117	SAT TT=441.048	SAT TT=126.475	SAT TT=10.983	Signal TT=43.781	SAT TT=0.925	No data	SAT TT=13.92	No data	? TT=586.839	SAT TT=485.581	SAT TT=4.749	? (TO) TT=2400.11	SAT TT=182.434	SAT TT=183.859	SAT TT=127.481	SAT TT=10.88	Signal TT=40.254	SAT TT=1.013	No data	SAT TT=14.146	No data	? TT=1681.02	? TT=1804.82
Wwtpp/Wwtpp-ord-s1/ Wwtpp-ord-ex08540.xml	SAT TT=0.925	SAT TT=4.58	? (TO) TT=2520.06	? (TO) TT=2519.83	SAT TT=413.519	SAT TT=432.689	SAT TT=597.774	SAT TT=598.465	SAT TT=52.559	SAT TT=52.772	SAT TT=128.428	SAT TT=1.578	Signal TT=45.115	SAT TT=0.925	No data	SAT TT=13.841	No data	? TT=595.342	SAT (TO) TT=2771.97	SAT TT=4.788	? (TO) TT=2400.05	SAT TT=188.8	SAT TT=187.327	SAT TT=127.75	SAT TT=1.582	Signal TT=40.654	SAT TT=0.916	No data	SAT TT=13.573	No data	? TT=1872.17	? TT=1742.86

Statistics		AbsCon-basic 2017-06-11 (complete)	BTD 2017-07-25 (complete)	BTD 2017-08-10 (complete)	choco-solver 4.0.5 par (2017-08-09) (complete)	choco-solver 4.0.5 par (2017-08-18) (complete)	choco-solver 4.0.5 seq (2017-08-09) (complete)	choco-solver 4.0.5 seq (2017-08-18) (complete)	choco-solver 5a (2017-07-26) (complete)	choco-solver 5a (2017-08-18) (complete)	Concrete 3.4 (complete)	cosoco 1.12 (complete)	cosoco-sat 1.12 (complete)	Mistral-2.0 2017-07-28 (complete)	OscaR - ALNS 2017-07-26 (complete)	OscaR - Conflict Ordering 2017-07-26 (complete)	OscaR - Hybrid 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-07-26 (complete)	OscaR - Parallel with EPS 2017-08-22 (complete)	R1: AbsCon-basic 2017-06-11 (complete)	R1: BTD 2017-06-30 (complete)	R1: choco-solver 4.0.5 (2017-07-05) (complete)	R1: choco-solver 5a (2017-07-05) (complete)	R1: Concrete 3.4 (complete)	R1: cosoco 1.1 (complete)	R1: cosoco-sat 1.1 (complete)	R1: Mistral-2.0 2017-06-28 (complete)	R1: OscaR - ALNS 2017-06-30 (complete)	R1: OscaR - Conflict Ordering 2017-06-30 (complete)	R1: OscaR - Hybrid 2017-06-30 (complete)	R1: sat4j-CSP 2017-07-05 (complete)	sat4j-CSP 2017-07-05 (complete)
Number of times the solver is able to give the best known answer		544	0	241	0	611	0	502	0	496	454	467	116	613	56	480	164	502	511	544	0	0	0	451	0	0	238	60	478	157	313	314
Number of times the solver is the best solver from a complete solver point of view (i.e. best known answer and best TT time)		36	0	99	0	40	0	31	0	8	7	150	8	147	11	43	14	13	13	68	0	0	0	18	0	0	115	58	24	48	4	4