PB'12 competition: satisfaction and optimization track: results by benchmark

Results by benchmark for category optimisation, small integers, linear constraints (OPT-SMALLINT-LIN), subcategory Handmade, subsubcategory Number Factorization

This page displays the results of the different solvers for each benchmark for category optimisation, small integers, linear constraints (OPT-SMALLINT-LIN), subcategory Handmade, subsubcategory Number Factorization

REMINDER

Keep in mind that the 'Best result' columns only provide the best result given by one of the solvers. This 'Best result' may be wrong in case of an UNSATISFIABLE or OPTIMUM FOUND answer (because there's no efficient way to check these answers).

Description of a cell contents:

Cell example	Meaning
Answer	Solver result
f=...	value of the objective function for the model reported by the solver
TT=...	Total Time (TT): this is the CPU time (in seconds) used by the solver until termination. This time is only meaningful for complete solvers because incomplete solvers will always run until they time out

Remember that CPU time and wall clock time are two very different notions. The CPU time represents the time during which the instructions of the solver were executed by the processor. The wall clock time represents how much time ellapsed on the clock. For a same event, the CPU time may be either smaller or greater than the wall clock time depending on the number of threads of execution and the number of processors.

Meaning of some abbreviations:

Abbreviation	Meaning
f=...	Value of the objective function
TO	Time Out
MO	Mem. Out (out of memory)

Meaning of the different colors:

Color	Meaning
text	the solver cannot handle this instance
text	the solver gave no answer
text	the solver could give an answer (SAT)
text	the solver gave a definitive answer (OPTIMUM FOUND or UNSAT)
text	the solver performed better than the other ones on that instance (complete solvers point of view)
text	the solver performed better than the other ones on that instance (incomplete solvers point of view)
text	the solver was ended by a signal or other problem
text	the solver gave an incomplete answer
text	the solver gave a wrong answer

For better readability, you may choose to hide some solvers:
bsolo 3.2 (complete)
clasp 2.0.6-R5325 (opt) (complete)
npSolver 1.0 (complete)
npSolver 1.0 (fixed) (complete)
npSolver inc (complete)
npSolver inc (fixed) (complete)
npSolver inc-topDown (complete)
npSolver inc-topDown (fixed) (complete)
npSolver inc-topdown-quickBound (complete)
npSolver inc-topdown-quickBound (fixed) (complete)
PB07: bsolo 3.0.17 (complete)
PB07: minisat+ 1.14 (complete)
PB07: PB-clasp 2007-04-10 (complete)
PB07: Pueblo 1.4 (incomplete)
PB07: SAT4JPseudoResolution 2007-03-23 (complete)
PB09: bsolo 3.1 (complete)
PB09: SAT4J Pseudo Resolution 2.1.1 (complete)
PB09: SCIPspx SCIP 1.1.0.7 with SoPLEX 1.4.1(24.4.2009) (complete)
PB10: pb_cplex 2010-06-29 (complete)
PB10: SAT4J PB RES // CP 2.2.0 2010-05-31 (complete)
PB10: SCIPspx SCIP 1.2.1.3 with SoPlex 1.4.2 (CVS Version 30.5.2010) as LP solver (complete)
PB11: Sat4j Res//CP 2.3.0 (complete)
PB11: SCIP spx E_2 2011-06-10 (fixed) (complete)
PB12: minisatp 1.0-2-g022594c (complete)
pb2sat 2012-05-19 (complete)
pb2satCp2 2012-05-19 (complete)
pwbo 2.0 (complete)
pwbo 2.02 (complete)
SAT 4j PB RES // CP 2.3.2 Snapshot (complete)
Sat 4j PB Resolution 2.3.2 Snapshot (complete)
SAT4J PB specific settings 2.3.2 snapshot (complete)
SCIP spx SCIP 2.1.1.4. with SoPlex 1.6.0.3 fixed (complete)
SCIP spx E SCIP 2.1.1.4. Exp with SoPlex 1.6.0.3 fixed (complete)
SCIP spx standard SCIP 2.1.1.4. with SoPlex 1.6.0.3 standard fixed (complete)
toysat 2012-05-17 (complete)
toysat 2012-06-01 (complete)
wbo 1.7 (complete)
wbo 1.72 (complete)

Bench name	Best results on this instance	bsolo 3.2 (complete)	clasp 2.0.6-R5325 (opt) (complete)	npSolver 1.0 (complete)	npSolver 1.0 (fixed) (complete)	npSolver inc (complete)	npSolver inc (fixed) (complete)	npSolver inc-topDown (complete)	npSolver inc-topDown (fixed) (complete)	npSolver inc-topdown-quickBound (complete)	npSolver inc-topdown-quickBound (fixed) (complete)	PB07: bsolo 3.0.17 (complete)	PB07: minisat+ 1.14 (complete)	PB07: PB-clasp 2007-04-10 (complete)	PB07: Pueblo 1.4 (incomplete)	PB07: SAT4JPseudoResolution 2007-03-23 (complete)	PB09: bsolo 3.1 (complete)	PB09: SAT4J Pseudo Resolution 2.1.1 (complete)	PB09: SCIPspx SCIP 1.1.0.7 with SoPLEX 1.4.1(24.4.2009) (complete)	PB10: pb_cplex 2010-06-29 (complete)	PB10: SAT4J PB RES // CP 2.2.0 2010-05-31 (complete)	PB10: SCIPspx SCIP 1.2.1.3 with SoPlex 1.4.2 (CVS Version 30.5.2010) as LP solver (complete)	PB11: Sat4j Res//CP 2.3.0 (complete)	PB11: SCIP spx E_2 2011-06-10 (fixed) (complete)	PB12: minisatp 1.0-2-g022594c (complete)	pb2sat 2012-05-19 (complete)	pb2satCp2 2012-05-19 (complete)	pwbo 2.0 (complete)	pwbo 2.02 (complete)	SAT 4j PB RES // CP 2.3.2 Snapshot (complete)	Sat 4j PB Resolution 2.3.2 Snapshot (complete)	SAT4J PB specific settings 2.3.2 snapshot (complete)	SCIP spx SCIP 2.1.1.4. with SoPlex 1.6.0.3 fixed (complete)	SCIP spx E SCIP 2.1.1.4. Exp with SoPlex 1.6.0.3 fixed (complete)	SCIP spx standard SCIP 2.1.1.4. with SoPlex 1.6.0.3 standard fixed (complete)	toysat 2012-05-17 (complete)	toysat 2012-06-01 (complete)	wbo 1.7 (complete)	wbo 1.72 (complete)
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=101-Q=379.opb	OPT f=101 TT=0.006 T1=0	OPT f=101 TT=0.027 T1=0.02	OPT f=101 TT=0.006 T1=0	OPT f=101 TT=8.576 T1=1.81	OPT f=101 TT=0.189 T1=0.11	OPT f=101 TT=8.759 T1=1.83	OPT f=101 TT=0.125 T1=0.09	OPT f=101 TT=3.591 T1=1.89	OPT f=101 TT=0.112 T1=0.1	OPT f=101 TT=3.468 T1=1.88	? (TO) TT=1800.09	OPT f=101 TT=0.02 T1=0.02	OPT f=101 TT=0.026 T1=0.02	OPT f=101 TT=0.045 T1=0.03	OPT f=101 TT=0.017 T1=0.01	OPT f=101 TT=0.423 T1=0.23	OPT f=101 TT=0.025 T1=0.01	OPT f=101 TT=0.486 T1=0.25	OPT f=101 TT=0.225 T1=0.13	OPT f=101 TT=0.726 T1=0.32	OPT f=101 TT=0.784 T1=1.14	OPT f=101 TT=0.383 T1=0.37	OPT f=101 TT=0.714 T1=0.67	OPT f=101 TT=0.472 T1=0.46	OPT f=101 TT=0.013 T1=0.01	OPT f=101 TT=0.083 T1=0.04	OPT f=101 TT=0.052 T1=0.04	OPT f=101 TT=0.062 T1=0.02	OPT f=101 TT=0.062 T1=0.02	OPT f=101 TT=0.605 T1=0.65	OPT f=101 TT=0.274 T1=0.17	OPT f=101 TT=0.405 T1=0.22	OPT f=101 TT=0.127 T1=0.11	OPT f=101 TT=0.128 T1=0.11	OPT f=101 TT=0.614 T1=0.6	OPT f=101 TT=0.037 T1=0.03	OPT f=101 TT=0.037 T1=0.03	OPT f=101 TT=0.051 T1=0.05	OPT f=101 TT=0.753 T1=0.74
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=113-Q=233.opb	OPT f=113 TT=0.004 T1=0	OPT f=113 TT=0.035 T1=0.02	OPT f=113 TT=0.004 T1=0	OPT f=113 TT=34.289 T1=6.69	OPT f=113 TT=0.184 T1=0.09	OPT f=113 TT=33.504 T1=6.5	OPT f=113 TT=0.129 T1=0.08	OPT f=113 TT=6.847 T1=6.61	OPT f=113 TT=0.094 T1=0.08	? (TO) TT=1751.85	OPT f=113 TT=0.102 T1=0.08	OPT f=113 TT=0.018 T1=0.01	OPT f=113 TT=0.018 T1=0.01	OPT f=113 TT=0.062 T1=0.04	OPT f=113 TT=0.032 T1=0.03	OPT f=113 TT=0.444 T1=0.24	OPT f=113 TT=0.032 T1=0.02	OPT f=113 TT=0.515 T1=0.25	OPT f=113 TT=0.566 T1=0.56	OPT f=113 TT=0.143 T1=0.09	OPT f=113 TT=0.795 T1=1.14	OPT f=113 TT=0.056 T1=0.05	OPT f=113 TT=0.723 T1=0.67	OPT f=113 TT=0.469 T1=0.46	OPT f=113 TT=0.008 T1=0	OPT f=113 TT=0.21 T1=0.1	OPT f=113 TT=0.131 T1=0.1	OPT f=113 TT=0.102 T1=0.04	OPT f=113 TT=0.062 T1=0.03	OPT f=113 TT=0.675 T1=0.65	OPT f=113 TT=0.334 T1=0.17	OPT f=113 TT=0.464 T1=0.24	OPT f=113 TT=0.134 T1=0.12	OPT f=113 TT=0.132 T1=0.12	OPT f=113 TT=0.423 T1=0.3	OPT f=113 TT=0.119 T1=0.11	OPT f=113 TT=0.118 T1=0.11	OPT f=113 TT=0.182 T1=0.18	OPT f=113 TT=0.181 T1=0.18
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=11-Q=53.opb	OPT f=11 TT=0.002 T1=0	OPT f=11 TT=0.017 T1=0.01	OPT f=11 TT=0.003 T1=0	OPT f=11 TT=1.317 T1=1.16	OPT f=11 TT=0.103 T1=0.06	OPT f=11 TT=1.209 T1=1.32	OPT f=11 TT=0.051 T1=0.04	OPT f=11 TT=1.121 T1=1.12	OPT f=11 TT=0.051 T1=0.05	? (TO) TT=1800.04	? (TO) TT=1800.1	OPT f=11 TT=0.009 T1=0.01	OPT f=11 TT=0.011 T1=0.01	OPT f=11 TT=0.04 T1=0.02	OPT f=11 TT=0.007 T1=0	OPT f=11 TT=0.252 T1=0.17	OPT f=11 TT=0.018 T1=0.01	OPT f=11 TT=0.264 T1=0.16	OPT f=11 TT=0.07 T1=0.06	OPT f=11 TT=0.043 T1=0.06	OPT f=11 TT=0.414 T1=1.17	OPT f=11 TT=0.033 T1=0.02	OPT f=11 TT=0.544 T1=0.67	OPT f=11 TT=0.049 T1=0.04	OPT f=11 TT=0.006 T1=0	OPT f=11 TT=1.147 T1=0.82	OPT f=11 TT=1.087 T1=0.92	Wrong Cert. TT=0.002	OPT f=11 TT=0.002 T1=0	OPT f=11 TT=0.385 T1=0.65	OPT f=11 TT=0.224 T1=0.15	OPT f=11 TT=0.325 T1=0.19	OPT f=11 TT=0.084 T1=0.07	OPT f=11 TT=0.07 T1=0.05	OPT f=11 TT=0.12 T1=0.05	OPT f=11 TT=0.016 T1=0.01	OPT f=11 TT=0.017 T1=0.01	Wrong Cert. TT=0.002	OPT f=11 TT=0.002 T1=0
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=131-Q=137.opb	OPT f=131 TT=0.005 T1=0	OPT f=131 TT=0.058 T1=0.05	OPT f=131 TT=0.005 T1=0	OPT f=131 TT=22.81 T1=0.55	OPT f=131 TT=0.227 T1=0.09	OPT f=131 TT=22.497 T1=0.54	OPT f=131 TT=0.157 T1=0.19	OPT f=131 TT=2.053 T1=0.52	OPT f=131 TT=0.102 T1=0.09	OPT f=131 TT=4.491 T1=0.53	OPT f=131 TT=0.112 T1=0.08	OPT f=131 TT=0.033 T1=0.03	OPT f=131 TT=0.024 T1=0.02	OPT f=131 TT=0.066 T1=0.04	OPT f=131 TT=0.03 T1=0.02	OPT f=131 TT=0.444 T1=0.23	OPT f=131 TT=0.048 T1=0.04	OPT f=131 TT=0.473 T1=0.23	OPT f=131 TT=0.484 T1=0.48	OPT f=131 TT=0.26 T1=0.14	OPT f=131 TT=1.034 T1=1.14	OPT f=131 TT=0.542 T1=0.53	OPT f=131 TT=1.004 T1=0.67	OPT f=131 TT=0.451 T1=0.44	OPT f=131 TT=0.013 T1=0.01	OPT f=131 TT=0.268 T1=0.06	OPT f=131 TT=0.107 T1=0.06	Wrong Cert. TT=0.062	OPT f=131 TT=0.062 T1=0.02	OPT f=131 TT=0.794 T1=0.65	OPT f=131 TT=0.394 T1=0.21	OPT f=131 TT=0.463 T1=0.24	OPT f=131 TT=0.457 T1=0.43	OPT f=131 TT=0.387 T1=0.36	OPT f=131 TT=0.603 T1=0.27	OPT f=131 TT=0.098 T1=0.09	OPT f=131 TT=0.097 T1=0.08	Wrong Cert. TT=0.062	OPT f=131 TT=0.073 T1=0.06
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=167-Q=179.opb	OPT f=167 TT=0.005 T1=0	OPT f=167 TT=0.052 T1=0.05	OPT f=167 TT=0.005 T1=0	OPT f=167 TT=17.592 T1=10.46	OPT f=167 TT=0.234 T1=0.17	OPT f=167 TT=15.804 T1=10.41	OPT f=167 TT=0.149 T1=0.12	OPT f=167 TT=15.757 T1=8.76	OPT f=167 TT=0.096 T1=0.09	OPT f=167 TT=16.822 T1=9.82	OPT f=167 TT=0.108 T1=0.1	OPT f=167 TT=0.031 T1=0.02	OPT f=167 TT=0.027 T1=0.02	OPT f=167 TT=0.05 T1=0.03	OPT f=167 TT=0.063 T1=0.01	OPT f=167 TT=0.422 T1=0.22	OPT f=167 TT=0.042 T1=0.03	OPT f=167 TT=0.495 T1=0.23	OPT f=167 TT=0.527 T1=0.52	OPT f=167 TT=0.222 T1=0.11	OPT f=167 TT=0.903 T1=2.14	OPT f=167 TT=0.064 T1=0.05	OPT f=167 TT=0.864 T1=1.17	OPT f=167 TT=0.563 T1=0.55	OPT f=167 TT=0.016 T1=0.01	OPT f=167 TT=0.285 T1=0.32	OPT f=167 TT=0.181 T1=0.1	Wrong Cert. TT=0.042	OPT f=167 TT=0.083 T1=0.03	OPT f=167 TT=5.443 T1=1.15	OPT f=167 TT=0.394 T1=0.2	SAT f=167 TT=0.495 T1=0.25	OPT f=167 TT=0.111 T1=0.1	OPT f=167 TT=0.121 T1=0.1	OPT f=167 TT=0.79 T1=0.77	OPT f=167 TT=0.09 T1=0.07	OPT f=167 TT=0.09 T1=0.07	Wrong Cert. TT=0.031	? TT=1799.52
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=167-Q=347.opb	OPT f=167 TT=0.006 T1=0	OPT f=167 TT=0.078 T1=0.07	OPT f=167 TT=0.006 T1=0	OPT f=167 TT=18.019 T1=4.58	OPT f=167 TT=0.226 T1=0.12	OPT f=167 TT=18.365 T1=4.58	OPT f=167 TT=0.147 T1=0.09	OPT f=167 TT=6.232 T1=4.57	OPT f=167 TT=0.107 T1=0.1	OPT f=167 TT=6.211 T1=4.58	? (TO) TT=1800.08	OPT f=167 TT=0.039 T1=0.04	OPT f=167 TT=0.03 T1=0.02	OPT f=167 TT=0.048 T1=0.03	OPT f=167 TT=0.022 T1=0.01	OPT f=167 TT=0.393 T1=0.21	OPT f=167 TT=0.061 T1=0.05	OPT f=167 TT=0.525 T1=0.26	OPT f=167 TT=0.653 T1=0.64	OPT f=167 TT=0.146 T1=0.08	OPT f=167 TT=0.854 T1=1.15	OPT f=167 TT=0.058 T1=0.05	OPT f=167 TT=0.844 T1=0.67	OPT f=167 TT=0.535 T1=0.52	OPT f=167 TT=0.017 T1=0.01	OPT f=167 TT=0.114 T1=0.04	OPT f=167 TT=0.079 T1=0.04	OPT f=167 TT=0.062 T1=0.03	OPT f=167 TT=0.063 T1=0.02	OPT f=167 TT=0.723 T1=0.65	OPT f=167 TT=0.453 T1=0.22	SAT f=167 TT=0.455 T1=0.24	OPT f=167 TT=0.109 T1=0.09	OPT f=167 TT=0.082 T1=0.07	OPT f=167 TT=0.532 T1=0.52	OPT f=167 TT=0.108 T1=0.08	OPT f=167 TT=0.106 T1=0.08	OPT f=167 TT=193.45 T1=193.57	? TT=1799.91
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=197-Q=479.opb	OPT f=197 TT=0.006 T1=0	OPT f=197 TT=0.109 T1=0.1	OPT f=197 TT=0.006 T1=0	OPT f=197 TT=3.003 T1=1.15	OPT f=197 TT=0.203 T1=0.11	OPT f=197 TT=2.956 T1=1.14	OPT f=197 TT=0.122 T1=0.09	OPT f=197 TT=1.59 T1=1.3	OPT f=197 TT=0.106 T1=0.1	OPT f=197 TT=1.546 T1=1.16	? (TO) TT=1800.07	OPT f=197 TT=0.024 T1=0.02	OPT f=197 TT=0.027 T1=0.02	OPT f=197 TT=0.069 T1=0.05	OPT f=197 TT=0.047 T1=0.04	OPT f=197 TT=0.455 T1=0.23	OPT f=197 TT=0.08 T1=0.07	OPT f=197 TT=0.483 T1=0.24	OPT f=197 TT=0.587 T1=0.58	OPT f=197 TT=0.046 T1=0.04	OPT f=197 TT=0.875 T1=1.14	OPT f=197 TT=0.049 T1=0.04	OPT f=197 TT=0.844 T1=0.73	OPT f=197 TT=0.516 T1=0.51	OPT f=197 TT=0.015 T1=0.01	OPT f=197 TT=0.083 T1=0.04	OPT f=197 TT=0.094 T1=0.05	OPT f=197 TT=0.041 T1=0.01	OPT f=197 TT=0.042 T1=0.01	OPT f=197 TT=0.585 T1=0.65	OPT f=197 TT=0.335 T1=0.19	OPT f=197 TT=0.465 T1=0.24	OPT f=197 TT=0.108 T1=0.1	OPT f=197 TT=0.12 T1=0.1	OPT f=197 TT=0.385 T1=0.33	OPT f=197 TT=0.111 T1=0.1	OPT f=197 TT=0.109 T1=0.11	OPT f=197 TT=0.044 T1=0.04	OPT f=197 TT=0.042 T1=0.04
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=223-Q=307.opb	OPT f=223 TT=0.008 T1=0	OPT f=223 TT=0.094 T1=0.06	OPT f=223 TT=0.008 T1=0	OPT f=223 TT=22.057 T1=2.61	OPT f=223 TT=0.211 T1=0.09	OPT f=223 TT=22.317 T1=2.62	OPT f=223 TT=0.147 T1=0.08	OPT f=223 TT=7.123 T1=2.73	OPT f=223 TT=0.094 T1=0.08	OPT f=223 TT=7.007 T1=2.71	OPT f=223 TT=0.108 T1=0.08	OPT f=223 TT=0.051 T1=0.04	OPT f=223 TT=0.031 T1=0.02	OPT f=223 TT=0.045 T1=0.03	OPT f=223 TT=0.021 T1=0.02	OPT f=223 TT=0.385 T1=0.2	OPT f=223 TT=0.082 T1=0.06	OPT f=223 TT=0.514 T1=0.25	OPT f=223 TT=0.571 T1=0.56	OPT f=223 TT=0.133 T1=0.08	OPT f=223 TT=1.083 T1=2.14	OPT f=223 TT=0.276 T1=0.06	OPT f=223 TT=1.004 T1=1.17	OPT f=223 TT=0.37 T1=0.36	OPT f=223 TT=0.017 T1=0.01	OPT f=223 TT=0.103 T1=0.03	OPT f=223 TT=0.049 T1=0.03	OPT f=223 TT=0.062 T1=0.02	OPT f=223 TT=0.082 T1=0.03	OPT f=223 TT=0.653 T1=0.65	OPT f=223 TT=0.364 T1=0.18	OPT f=223 TT=0.454 T1=0.23	OPT f=223 TT=0.109 T1=0.09	OPT f=223 TT=0.11 T1=0.09	OPT f=223 TT=0.615 T1=0.59	OPT f=223 TT=0.188 T1=0.17	OPT f=223 TT=0.187 T1=0.16	OPT f=223 TT=0.232 T1=0.22	OPT f=223 TT=0.223 T1=0.22
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=223-Q=347.opb	OPT f=223 TT=0.007 T1=0	OPT f=223 TT=0.042 T1=0.03	OPT f=223 TT=0.007 T1=0	OPT f=223 TT=27.233 T1=6.03	OPT f=223 TT=0.208 T1=0.09	OPT f=223 TT=26.038 T1=6.02	OPT f=223 TT=0.138 T1=0.08	OPT f=223 TT=4.242 T1=2.79	OPT f=223 TT=0.09 T1=0.08	OPT f=223 TT=4.971 T1=3.52	OPT f=223 TT=0.098 T1=0.07	OPT f=223 TT=0.052 T1=0.05	OPT f=223 TT=0.031 T1=0.02	OPT f=223 TT=0.052 T1=0.02	OPT f=223 TT=0.019 T1=0.01	OPT f=223 TT=0.426 T1=0.23	OPT f=223 TT=0.041 T1=0.03	OPT f=223 TT=0.534 T1=0.26	OPT f=223 TT=0.338 T1=0.14	OPT f=223 TT=0.158 T1=0.09	OPT f=223 TT=0.835 T1=1.16	OPT f=223 TT=0.325 T1=0.15	OPT f=223 TT=0.895 T1=0.67	OPT f=223 TT=0.561 T1=0.55	OPT f=223 TT=0.019 T1=0.01	OPT f=223 TT=0.116 T1=0.06	OPT f=223 TT=0.069 T1=0.05	OPT f=223 TT=0.083 T1=0.04	OPT f=223 TT=0.062 T1=0.03	OPT f=223 TT=0.654 T1=0.65	OPT f=223 TT=0.383 T1=0.19	OPT f=223 TT=0.506 T1=0.28	OPT f=223 TT=0.117 T1=0.1	OPT f=223 TT=0.121 T1=0.1	OPT f=223 TT=0.773 T1=0.76	OPT f=223 TT=0.161 T1=0.15	OPT f=223 TT=0.16 T1=0.15	OPT f=223 TT=0.572 T1=0.57	OPT f=223 TT=0.623 T1=0.62
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=23-Q=293.opb	OPT f=23 TT=0.005 T1=0	OPT f=23 TT=0.033 T1=0.03	OPT f=23 TT=0.005 T1=0	OPT f=23 TT=7.044 T1=5.16	OPT f=23 TT=0.148 T1=0.1	OPT f=23 TT=6.993 T1=5.11	OPT f=23 TT=0.097 T1=0.08	OPT f=23 TT=7.951 T1=7.1	OPT f=23 TT=0.093 T1=0.09	? (TO) TT=1800.07	? (TO) TT=1800.08	OPT f=23 TT=0.012 T1=0.01	OPT f=23 TT=0.018 T1=0.01	OPT f=23 TT=0.055 T1=0.04	OPT f=23 TT=0.024 T1=0.17	OPT f=23 TT=0.265 T1=0.17	OPT f=23 TT=0.027 T1=0.02	OPT f=23 TT=0.325 T1=0.19	OPT f=23 TT=0.343 T1=0.33	OPT f=23 TT=0.069 T1=0.07	OPT f=23 TT=0.555 T1=1.14	OPT f=23 TT=0.057 T1=0.05	OPT f=23 TT=1.194 T1=0.67	OPT f=23 TT=0.366 T1=0.35	OPT f=23 TT=0.008 T1=0.01	OPT f=23 TT=0.475 T1=0.31	OPT f=23 TT=0.377 T1=0.32	OPT f=23 TT=0.043 T1=0.01	OPT f=23 TT=0.044 T1=0.01	OPT f=23 TT=1.104 T1=0.65	OPT f=23 TT=0.244 T1=0.16	OPT f=23 TT=0.454 T1=0.24	OPT f=23 TT=0.089 T1=0.07	OPT f=23 TT=0.097 T1=0.08	OPT f=23 TT=0.325 T1=0.31	OPT f=23 TT=0.017 T1=0.01	OPT f=23 TT=0.016 T1=0.01	OPT f=23 TT=0.022 T1=0.01	OPT f=23 TT=0.022 T1=0.01
Bench name	Best results	bsolo 3.2 (complete)	clasp 2.0.6-R5325 (opt) (complete)	npSolver 1.0 (complete)	npSolver 1.0 (fixed) (complete)	npSolver inc (complete)	npSolver inc (fixed) (complete)	npSolver inc-topDown (complete)	npSolver inc-topDown (fixed) (complete)	npSolver inc-topdown-quickBound (complete)	npSolver inc-topdown-quickBound (fixed) (complete)	PB07: bsolo 3.0.17 (complete)	PB07: minisat+ 1.14 (complete)	PB07: PB-clasp 2007-04-10 (complete)	PB07: Pueblo 1.4 (incomplete)	PB07: SAT4JPseudoResolution 2007-03-23 (complete)	PB09: bsolo 3.1 (complete)	PB09: SAT4J Pseudo Resolution 2.1.1 (complete)	PB09: SCIPspx SCIP 1.1.0.7 with SoPLEX 1.4.1(24.4.2009) (complete)	PB10: pb_cplex 2010-06-29 (complete)	PB10: SAT4J PB RES // CP 2.2.0 2010-05-31 (complete)	PB10: SCIPspx SCIP 1.2.1.3 with SoPlex 1.4.2 (CVS Version 30.5.2010) as LP solver (complete)	PB11: Sat4j Res//CP 2.3.0 (complete)	PB11: SCIP spx E_2 2011-06-10 (fixed) (complete)	PB12: minisatp 1.0-2-g022594c (complete)	pb2sat 2012-05-19 (complete)	pb2satCp2 2012-05-19 (complete)	pwbo 2.0 (complete)	pwbo 2.02 (complete)	SAT 4j PB RES // CP 2.3.2 Snapshot (complete)	Sat 4j PB Resolution 2.3.2 Snapshot (complete)	SAT4J PB specific settings 2.3.2 snapshot (complete)	SCIP spx SCIP 2.1.1.4. with SoPlex 1.6.0.3 fixed (complete)	SCIP spx E SCIP 2.1.1.4. Exp with SoPlex 1.6.0.3 fixed (complete)	SCIP spx standard SCIP 2.1.1.4. with SoPlex 1.6.0.3 standard fixed (complete)	toysat 2012-05-17 (complete)	toysat 2012-06-01 (complete)	wbo 1.7 (complete)	wbo 1.72 (complete)
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=23-Q=521.opb	UNSAT TT=0.007	UNSAT TT=0.07	UNSAT TT=0.007	UNSAT TT=1.658	UNSAT TT=0.081	UNSAT TT=1.56	UNSAT TT=0.054	UNSAT TT=1.67	UNSAT TT=0.052	UNSAT TT=1.56	UNSAT TT=0.052	UNSAT TT=0.034	UNSAT TT=0.026	UNSAT TT=0.034	UNSAT TT=0.041	UNSAT TT=0.434	UNSAT TT=0.056	UNSAT TT=0.544	UNSAT TT=0.585	UNSAT TT=0.705	UNSAT TT=0.934	UNSAT TT=0.145	UNSAT TT=0.864	UNSAT TT=0.542	UNSAT TT=0.014	UNSAT TT=0.14	UNSAT TT=0.138	Wrong Cert. TT=0.042	UNSAT TT=0.042	UNSAT TT=0.773	UNSAT TT=0.424	UNSAT TT=0.483	UNSAT TT=0.119	UNSAT TT=0.088	UNSAT TT=0.732	UNSAT TT=0.122	UNSAT TT=0.121	Wrong Cert. TT=0.022	UNSAT TT=41.57
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=251-Q=307.opb	OPT f=251 TT=0.009 T1=0	OPT f=251 TT=0.048 T1=0.04	OPT f=251 TT=0.009 T1=0	OPT f=251 TT=26.341 T1=8.13	OPT f=251 TT=0.241 T1=0.15	OPT f=251 TT=23.06 T1=8.01	OPT f=251 TT=0.156 T1=0.11	OPT f=251 TT=8.529 T1=7.43	OPT f=251 TT=0.103 T1=0.1	OPT f=251 TT=9.09 T1=8.08	OPT f=251 TT=0.12 T1=0.12	OPT f=251 TT=0.048 T1=0.04	OPT f=251 TT=0.025 T1=0.02	OPT f=251 TT=0.051 T1=0.03	OPT f=251 TT=0.017 T1=0.01	OPT f=251 TT=0.454 T1=0.22	OPT f=251 TT=0.038 T1=0.03	OPT f=251 TT=0.583 T1=0.28	OPT f=251 TT=0.525 T1=0.52	OPT f=251 TT=0.257 T1=0.13	OPT f=251 TT=1.172 T1=2.14	OPT f=251 TT=0.445 T1=0.44	OPT f=251 TT=1.033 T1=1.18	OPT f=251 TT=0.345 T1=0.33	OPT f=251 TT=0.015 T1=0.01	OPT f=251 TT=0.108 T1=0.04	OPT f=251 TT=0.054 T1=0.04	OPT f=251 TT=0.062 T1=0.02	OPT f=251 TT=0.082 T1=0.03	OPT f=251 TT=0.685 T1=0.65	OPT f=251 TT=0.393 T1=0.2	OPT f=251 TT=0.464 T1=0.24	OPT f=251 TT=0.12 T1=0.11	OPT f=251 TT=0.125 T1=0.11	OPT f=251 TT=0.582 T1=0.52	OPT f=251 TT=0.073 T1=0.03	OPT f=251 TT=0.071 T1=0.04	? TT=1799.56	? TT=1799.82
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=257-Q=331.opb	OPT f=257 TT=0.01 T1=0	OPT f=257 TT=0.14 T1=0.14	OPT f=257 TT=0.01 T1=0	OPT f=257 TT=23.895 T1=2.4	OPT f=257 TT=0.2 T1=0.15	OPT f=257 TT=23.699 T1=2.34	OPT f=257 TT=0.144 T1=0.11	OPT f=257 TT=5.928 T1=2.47	OPT f=257 TT=0.104 T1=0.1	OPT f=257 TT=5.628 T1=2.34	OPT f=257 TT=0.115 T1=0.11	OPT f=257 TT=0.037 T1=0.03	OPT f=257 TT=0.023 T1=0.01	OPT f=257 TT=0.07 T1=0.04	OPT f=257 TT=0.012 T1=0	OPT f=257 TT=0.407 T1=0.2	OPT f=257 TT=0.133 T1=0.13	OPT f=257 TT=0.504 T1=0.21	OPT f=257 TT=0.42 T1=0.38	OPT f=257 TT=0.295 T1=0.13	OPT f=257 TT=1.093 T1=2.16	OPT f=257 TT=0.153 T1=0.07	OPT f=257 TT=2.743 T1=1.17	OPT f=257 TT=0.257 T1=0.04	OPT f=257 TT=0.011 T1=0.01	OPT f=257 TT=0.109 T1=0.07	OPT f=257 TT=0.073 T1=0.05	OPT f=257 TT=0.042 T1=0.01	OPT f=257 TT=0.062 T1=0.02	OPT f=257 TT=0.694 T1=0.66	OPT f=257 TT=0.394 T1=0.19	OPT f=257 TT=0.484 T1=0.25	OPT f=257 TT=0.103 T1=0.09	OPT f=257 TT=0.105 T1=0.09	OPT f=257 TT=0.63 T1=0.48	OPT f=257 TT=0.092 T1=0.08	OPT f=257 TT=0.091 T1=0.08	OPT f=257 TT=0.053 T1=0.04	OPT f=257 TT=0.063 T1=0.05
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=269-Q=431.opb	OPT f=269 TT=0.006 T1=0	OPT f=269 TT=0.102 T1=0.08	OPT f=269 TT=0.006 T1=0	OPT f=269 TT=12.777 T1=6.52	OPT f=269 TT=0.21 T1=0.12	OPT f=269 TT=12.847 T1=6.6	OPT f=269 TT=0.135 T1=0.09	OPT f=269 TT=8.638 T1=6.87	OPT f=269 TT=0.099 T1=0.1	OPT f=269 TT=8.355 T1=6.58	OPT f=269 TT=0.11 T1=0.11	OPT f=269 TT=0.039 T1=0.04	OPT f=269 TT=0.022 T1=0.01	OPT f=269 TT=0.05 T1=0.03	OPT f=269 TT=0.009 T1=0	OPT f=269 TT=0.414 T1=0.22	OPT f=269 TT=0.1 T1=0.07	OPT f=269 TT=0.414 T1=0.21	OPT f=269 TT=0.307 T1=0.3	OPT f=269 TT=0.203 T1=0.09	OPT f=269 TT=1.035 T1=2.14	OPT f=269 TT=0.064 T1=0.05	OPT f=269 TT=1.624 T1=1.17	OPT f=269 TT=0.405 T1=0.39	OPT f=269 TT=0.013 T1=0.01	OPT f=269 TT=0.108 T1=0.03	OPT f=269 TT=0.071 T1=0.03	OPT f=269 TT=0.062 T1=0.02	OPT f=269 TT=0.073 T1=0.03	OPT f=269 TT=0.713 T1=0.65	OPT f=269 TT=0.313 T1=0.18	OPT f=269 TT=0.413 T1=0.2	OPT f=269 TT=0.112 T1=0.1	OPT f=269 TT=0.083 T1=0.07	OPT f=269 TT=0.299 T1=0.24	OPT f=269 TT=0.052 T1=0.04	OPT f=269 TT=0.051 T1=0.04	? TT=1799.6	? TT=1799.56
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=29-Q=521.opb	UNSAT TT=0.008	UNSAT TT=0.062	UNSAT TT=0.008	UNSAT TT=10.062	UNSAT TT=0.084	UNSAT TT=9.98	UNSAT TT=0.062	UNSAT TT=10.57	UNSAT TT=0.06	UNSAT TT=9.96	UNSAT TT=0.058	UNSAT TT=0.033	UNSAT TT=0.025	UNSAT TT=0.037	UNSAT TT=0.021	UNSAT TT=0.454	UNSAT TT=0.055	UNSAT TT=0.555	UNSAT TT=0.783	UNSAT TT=1.165	UNSAT TT=1.034	UNSAT TT=0.068	UNSAT TT=0.964	UNSAT TT=0.555	UNSAT TT=0.013	UNSAT TT=0.139	UNSAT TT=0.138	Wrong Cert. TT=0.042	UNSAT TT=0.042	UNSAT TT=0.804	UNSAT TT=0.434	UNSAT TT=0.474	UNSAT TT=0.132	UNSAT TT=0.135	UNSAT TT=0.665	UNSAT TT=0.149	UNSAT TT=0.148	Wrong Cert. TT=0.024	UNSAT TT=0.212
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=307-Q=347.opb	OPT f=307 TT=0.009 T1=0	OPT f=307 TT=0.084 T1=0.08	OPT f=307 TT=0.009 T1=0	OPT f=307 TT=22.066 T1=2.84	OPT f=307 TT=0.209 T1=0.18	OPT f=307 TT=22.353 T1=2.85	OPT f=307 TT=0.14 T1=0.13	OPT f=307 TT=8.167 T1=2.94	OPT f=307 TT=0.111 T1=0.1	OPT f=307 TT=8.144 T1=2.86	OPT f=307 TT=0.125 T1=0.12	OPT f=307 TT=0.033 T1=0.03	OPT f=307 TT=0.022 T1=0.02	OPT f=307 TT=0.047 T1=0.03	OPT f=307 TT=0.026 T1=0.02	OPT f=307 TT=0.415 T1=0.23	OPT f=307 TT=0.08 T1=0.07	OPT f=307 TT=0.525 T1=0.26	OPT f=307 TT=0.415 T1=0.39	OPT f=307 TT=0.837 T1=0.35	OPT f=307 TT=1.124 T1=1.14	OPT f=307 TT=0.372 T1=0.35	OPT f=307 TT=1.003 T1=1.17	OPT f=307 TT=0.317 T1=0.24	OPT f=307 TT=0.009 T1=0.01	OPT f=307 TT=0.097 T1=0.08	OPT f=307 TT=0.07 T1=0.05	OPT f=307 TT=0.062 T1=0.03	OPT f=307 TT=0.062 T1=0.02	OPT f=307 TT=0.814 T1=0.65	OPT f=307 TT=0.433 T1=0.22	OPT f=307 TT=0.475 T1=0.25	OPT f=307 TT=0.096 T1=0.08	OPT f=307 TT=0.098 T1=0.08	OPT f=307 TT=0.579 T1=0.57	OPT f=307 TT=0.111 T1=0.1	OPT f=307 TT=0.109 T1=0.1	OPT f=307 TT=0.063 T1=0.05	OPT f=307 TT=0.073 T1=0.06
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=331-Q=347.opb	OPT f=331 TT=0.008 T1=0	OPT f=331 TT=0.101 T1=0.09	OPT f=331 TT=0.008 T1=0	OPT f=331 TT=21.012 T1=12.48	OPT f=331 TT=0.238 T1=0.19	OPT f=331 TT=20.316 T1=12.51	? (problem) TT=0.06	OPT f=331 TT=8.034 T1=6.65	? (problem) TT=0.059	OPT f=331 TT=7.812 T1=6.45	? (problem) TT=0.063	OPT f=331 TT=0.031 T1=0.03	OPT f=331 TT=0.03 T1=0.02	OPT f=331 TT=0.048 T1=0.03	OPT f=331 TT=0.029 T1=0.02	OPT f=331 TT=0.475 T1=0.23	OPT f=331 TT=0.083 T1=0.07	OPT f=331 TT=0.545 T1=0.27	OPT f=331 TT=0.483 T1=0.47	OPT f=331 TT=0.225 T1=0.11	OPT f=331 TT=1.156 T1=2.17	OPT f=331 TT=0.206 T1=0.06	OPT f=331 TT=2.013 T1=1.17	OPT f=331 TT=0.57 T1=0.56	OPT f=331 TT=0.017 T1=0.01	OPT f=331 TT=0.132 T1=0.03	OPT f=331 TT=0.075 T1=0.03	OPT f=331 TT=0.082 T1=0.04	OPT f=331 TT=0.063 T1=0.02	OPT f=331 TT=0.693 T1=1.15	OPT f=331 TT=0.394 T1=0.2	SAT f=331 TT=0.493 T1=0.25	OPT f=331 TT=0.091 T1=0.08	OPT f=331 TT=0.103 T1=0.09	OPT f=331 TT=0.33 T1=0.14	OPT f=331 TT=0.12 T1=0.11	OPT f=331 TT=0.12 T1=0.11	? TT=1799.55	? TT=1799.91
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=347-Q=379.opb	OPT f=347 TT=0.007 T1=0	OPT f=347 TT=0.064 T1=0.06	OPT f=347 TT=0.007 T1=0	OPT f=347 TT=19.343 T1=4.75	OPT f=347 TT=0.234 T1=0.16	OPT f=347 TT=19.268 T1=5.89	? (problem) TT=0.067	OPT f=347 TT=7.808 T1=4.94	? (problem) TT=0.066	OPT f=347 TT=7.732 T1=4.99	? (problem) TT=0.067	OPT f=347 TT=0.019 T1=0.02	OPT f=347 TT=0.022 T1=0.02	OPT f=347 TT=0.06 T1=0.04	OPT f=347 TT=0.023 T1=0.16	OPT f=347 TT=0.384 T1=0.23	OPT f=347 TT=0.063 T1=0.06	OPT f=347 TT=0.462 T1=0.25	OPT f=347 TT=0.419 T1=0.41	OPT f=347 TT=0.235 T1=0.11	OPT f=347 TT=1.064 T1=2.16	OPT f=347 TT=0.05 T1=0.04	OPT f=347 TT=2.438 T1=1.19	OPT f=347 TT=0.302 T1=0.29	OPT f=347 TT=0.012 T1=0.01	OPT f=347 TT=0.102 T1=0.06	OPT f=347 TT=0.054 T1=0.04	OPT f=347 TT=0.102 T1=0.04	OPT f=347 TT=0.102 T1=0.05	OPT f=347 TT=1.925 T1=1.15	OPT f=347 TT=0.424 T1=0.21	OPT f=347 TT=0.465 T1=0.26	OPT f=347 TT=0.097 T1=0.08	OPT f=347 TT=0.097 T1=0.08	OPT f=347 TT=0.464 T1=0.29	OPT f=347 TT=0.117 T1=0.1	OPT f=347 TT=0.116 T1=0.1	OPT f=347 TT=0.072 T1=0.06	OPT f=347 TT=0.062 T1=0.06
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=409-Q=499.opb	OPT f=409 TT=0.002 T1=0	OPT f=409 TT=0.014 T1=0.01	OPT f=409 TT=0.005 T1=0	OPT f=409 TT=1.185 T1=0.52	OPT f=409 TT=0.231 T1=0.16	? (problem) TT=0.341	? (problem) TT=0.079	? (problem) TT=0.34	? (problem) TT=0.079	? (problem) TT=0.346	? (problem) TT=0.078	OPT f=409 TT=0.011 T1=0.01	OPT f=409 TT=0.018 T1=0.01	OPT f=409 TT=0.051 T1=0.04	OPT f=409 TT=0.011 T1=0	OPT f=409 TT=0.236 T1=0.16	OPT f=409 TT=0.016 T1=0.01	OPT f=409 TT=0.265 T1=0.16	OPT f=409 TT=0.254 T1=0.25	OPT f=409 TT=0.034 T1=0.04	OPT f=409 TT=0.395 T1=1.14	OPT f=409 TT=0.046 T1=0.04	OPT f=409 TT=0.424 T1=0.67	OPT f=409 TT=0.153 T1=0.14	OPT f=409 TT=0.008 T1=0	OPT f=409 TT=0.085 T1=0.05	OPT f=409 TT=0.053 T1=0.04	OPT f=409 TT=0.002 T1=0.01	OPT f=409 TT=0.004 T1=0.01	OPT f=409 TT=0.324 T1=0.65	OPT f=409 TT=0.212 T1=0.15	OPT f=409 TT=0.243 T1=0.16	OPT f=409 TT=0.083 T1=0.07	OPT f=409 TT=0.082 T1=0.07	OPT f=409 TT=0.079 T1=0.06	OPT f=409 TT=0.015 T1=0.01	OPT f=409 TT=0.016 T1=0.01	OPT f=409 TT=0.002 T1=0.01	OPT f=409 TT=0.002 T1=0.01
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=47-Q=197.opb	OPT f=47 TT=0.004 T1=0	OPT f=47 TT=0.04 T1=0.03	OPT f=47 TT=0.004 T1=0	OPT f=47 TT=12.612 T1=5.14	OPT f=47 TT=0.149 T1=0.08	OPT f=47 TT=12.041 T1=5.05	OPT f=47 TT=0.103 T1=0.07	OPT f=47 TT=2.482 T1=2.17	OPT f=47 TT=0.084 T1=0.07	? (TO) TT=1800.06	OPT f=47 TT=0.096 T1=0.08	OPT f=47 TT=0.033 T1=0.03	OPT f=47 TT=0.018 T1=0.01	OPT f=47 TT=0.046 T1=0.03	OPT f=47 TT=0.028 T1=0.02	OPT f=47 TT=0.335 T1=0.17	OPT f=47 TT=0.035 T1=0.03	OPT f=47 TT=0.373 T1=0.19	OPT f=47 TT=0.563 T1=0.55	OPT f=47 TT=0.284 T1=0.14	OPT f=47 TT=0.922 T1=2.14	OPT f=47 TT=0.068 T1=0.06	OPT f=47 TT=0.824 T1=1.17	OPT f=47 TT=0.515 T1=0.5	OPT f=47 TT=0.009 T1=0.01	OPT f=47 TT=0.364 T1=0.21	OPT f=47 TT=0.276 T1=0.24	OPT f=47 TT=0.082 T1=0.03	OPT f=47 TT=0.053 T1=0.02	OPT f=47 TT=0.513 T1=0.65	OPT f=47 TT=0.303 T1=0.18	SAT f=47 TT=0.394 T1=0.21	OPT f=47 TT=0.14 T1=0.13	OPT f=47 TT=0.135 T1=0.12	OPT f=47 TT=0.493 T1=0.48	OPT f=47 TT=0.03 T1=0.02	OPT f=47 TT=0.031 T1=0.02	OPT f=47 TT=0.071 T1=0.06	OPT f=47 TT=0.073 T1=0.06
Bench name	Best results	bsolo 3.2 (complete)	clasp 2.0.6-R5325 (opt) (complete)	npSolver 1.0 (complete)	npSolver 1.0 (fixed) (complete)	npSolver inc (complete)	npSolver inc (fixed) (complete)	npSolver inc-topDown (complete)	npSolver inc-topDown (fixed) (complete)	npSolver inc-topdown-quickBound (complete)	npSolver inc-topdown-quickBound (fixed) (complete)	PB07: bsolo 3.0.17 (complete)	PB07: minisat+ 1.14 (complete)	PB07: PB-clasp 2007-04-10 (complete)	PB07: Pueblo 1.4 (incomplete)	PB07: SAT4JPseudoResolution 2007-03-23 (complete)	PB09: bsolo 3.1 (complete)	PB09: SAT4J Pseudo Resolution 2.1.1 (complete)	PB09: SCIPspx SCIP 1.1.0.7 with SoPLEX 1.4.1(24.4.2009) (complete)	PB10: pb_cplex 2010-06-29 (complete)	PB10: SAT4J PB RES // CP 2.2.0 2010-05-31 (complete)	PB10: SCIPspx SCIP 1.2.1.3 with SoPlex 1.4.2 (CVS Version 30.5.2010) as LP solver (complete)	PB11: Sat4j Res//CP 2.3.0 (complete)	PB11: SCIP spx E_2 2011-06-10 (fixed) (complete)	PB12: minisatp 1.0-2-g022594c (complete)	pb2sat 2012-05-19 (complete)	pb2satCp2 2012-05-19 (complete)	pwbo 2.0 (complete)	pwbo 2.02 (complete)	SAT 4j PB RES // CP 2.3.2 Snapshot (complete)	Sat 4j PB Resolution 2.3.2 Snapshot (complete)	SAT4J PB specific settings 2.3.2 snapshot (complete)	SCIP spx SCIP 2.1.1.4. with SoPlex 1.6.0.3 fixed (complete)	SCIP spx E SCIP 2.1.1.4. Exp with SoPlex 1.6.0.3 fixed (complete)	SCIP spx standard SCIP 2.1.1.4. with SoPlex 1.6.0.3 standard fixed (complete)	toysat 2012-05-17 (complete)	toysat 2012-06-01 (complete)	wbo 1.7 (complete)	wbo 1.72 (complete)
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=47-Q=487.opb	OPT f=47 TT=0.002 T1=0	OPT f=47 TT=0.035 T1=0.03	OPT f=47 TT=0.004 T1=0	OPT f=47 TT=1.496 T1=1.09	OPT f=47 TT=0.189 T1=0.12	OPT f=47 TT=1.463 T1=1.08	OPT f=47 TT=0.107 T1=0.1	OPT f=47 TT=1.242 T1=1.13	OPT f=47 TT=0.106 T1=0.1	OPT f=47 TT=1.21 T1=1.08	? (TO) TT=1800.08	OPT f=47 TT=0.015 T1=0.01	OPT f=47 TT=0.026 T1=0.02	OPT f=47 TT=0.053 T1=0.03	OPT f=47 TT=0.032 T1=0.03	OPT f=47 TT=0.194 T1=0.14	OPT f=47 TT=0.029 T1=0.02	OPT f=47 TT=0.225 T1=0.15	OPT f=47 TT=0.137 T1=0.13	OPT f=47 TT=0.232 T1=0.12	OPT f=47 TT=0.414 T1=1.15	OPT f=47 TT=0.446 T1=0.44	OPT f=47 TT=0.323 T1=0.67	OPT f=47 TT=0.23 T1=0.22	OPT f=47 TT=0.014 T1=0.01	OPT f=47 TT=0.121 T1=0.07	OPT f=47 TT=0.092 T1=0.07	OPT f=47 TT=0.042 T1=0.01	OPT f=47 TT=0.002 T1=0.01	OPT f=47 TT=0.224 T1=0.65	OPT f=47 TT=0.204 T1=0.14	OPT f=47 TT=0.404 T1=0.22	OPT f=47 TT=0.117 T1=0.1	OPT f=47 TT=0.092 T1=0.08	OPT f=47 TT=0.372 T1=0.36	OPT f=47 TT=0.009 T1=0	OPT f=47 TT=0.009 T1=0	OPT f=47 TT=0.002 T1=0.01	OPT f=47 TT=0.002 T1=0.01
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=53-Q=127.opb	OPT f=53 TT=0.003 T1=0	OPT f=53 TT=0.031 T1=0.02	OPT f=53 TT=0.003 T1=0	OPT f=53 TT=11.045 T1=1.64	OPT f=53 TT=0.161 T1=0.08	OPT f=53 TT=11.102 T1=1.55	OPT f=53 TT=0.106 T1=0.07	OPT f=53 TT=3.523 T1=1.6	OPT f=53 TT=0.084 T1=0.07	OPT f=53 TT=3.831 T1=1.52	OPT f=53 TT=0.097 T1=0.07	OPT f=53 TT=0.016 T1=0.01	OPT f=53 TT=0.019 T1=0.01	OPT f=53 TT=0.055 T1=0.04	OPT f=53 TT=0.019 T1=0.01	OPT f=53 TT=0.323 T1=0.18	OPT f=53 TT=0.031 T1=0.02	OPT f=53 TT=0.515 T1=0.25	OPT f=53 TT=0.445 T1=0.41	OPT f=53 TT=0.041 T1=0.04	OPT f=53 TT=0.724 T1=1.18	OPT f=53 TT=0.041 T1=0.03	OPT f=53 TT=0.693 T1=0.67	OPT f=53 TT=0.421 T1=0.29	OPT f=53 TT=0.008 T1=0.01	OPT f=53 TT=1.004 T1=0.5	OPT f=53 TT=0.719 T1=0.56	Wrong Cert. TT=0.002	OPT f=53 TT=0.082 T1=0.03	OPT f=53 TT=5.596 T1=0.67	OPT f=53 TT=0.313 T1=0.17	SAT f=53 TT=0.435 T1=0.23	OPT f=53 TT=0.107 T1=0.09	OPT f=53 TT=0.082 T1=0.07	OPT f=53 TT=0.261 T1=0.23	OPT f=53 TT=0.039 T1=0.03	OPT f=53 TT=0.038 T1=0.03	Wrong Cert. TT=0.001	OPT f=53 TT=126.57 T1=126.64
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=59-Q=419.opb	OPT f=59 TT=0.005 T1=0	OPT f=59 TT=0.034 T1=0.03	OPT f=59 TT=0.005 T1=0	OPT f=59 TT=10.418 T1=8.03	OPT f=59 TT=0.153 T1=0.09	OPT f=59 TT=10.418 T1=8.06	OPT f=59 TT=0.104 T1=0.08	OPT f=59 TT=3.596 T1=3.58	OPT f=59 TT=0.089 T1=0.08	? (TO) TT=1722.65	OPT f=59 TT=0.108 T1=0.09	OPT f=59 TT=0.018 T1=0.01	OPT f=59 TT=0.024 T1=0.02	OPT f=59 TT=0.063 T1=0.05	OPT f=59 TT=0.028 T1=0.02	OPT f=59 TT=0.266 T1=0.17	OPT f=59 TT=0.032 T1=0.03	OPT f=59 TT=0.322 T1=0.18	OPT f=59 TT=0.301 T1=0.27	OPT f=59 TT=0.087 T1=0.07	OPT f=59 TT=0.584 T1=1.14	OPT f=59 TT=0.064 T1=0.05	OPT f=59 TT=0.595 T1=0.67	OPT f=59 TT=0.38 T1=0.35	OPT f=59 TT=0.013 T1=0.01	OPT f=59 TT=0.151 T1=0.1	OPT f=59 TT=0.178 T1=0.14	OPT f=59 TT=0.042 T1=0.01	OPT f=59 TT=0.042 T1=0.01	OPT f=59 TT=0.443 T1=0.65	OPT f=59 TT=0.243 T1=0.16	SAT f=59 TT=0.434 T1=0.23	OPT f=59 TT=0.109 T1=0.1	OPT f=59 TT=0.087 T1=0.07	OPT f=59 TT=0.391 T1=0.36	OPT f=59 TT=0.019 T1=0.01	OPT f=59 TT=0.019 T1=0.01	OPT f=59 TT=0.022 T1=0.01	OPT f=59 TT=0.022 T1=0.01
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=61-Q=163.opb	OPT f=61 TT=0.004 T1=0	OPT f=61 TT=0.03 T1=0.02	OPT f=61 TT=0.004 T1=0	OPT f=61 TT=14.231 T1=4.74	OPT f=61 TT=0.154 T1=0.08	OPT f=61 TT=13.673 T1=4.72	OPT f=61 TT=0.108 T1=0.07	OPT f=61 TT=7.261 T1=7.05	OPT f=61 TT=0.084 T1=0.08	? (TO) TT=1800.03	OPT f=61 TT=0.093 T1=0.07	OPT f=61 TT=0.02 T1=0.02	OPT f=61 TT=0.021 T1=0.02	OPT f=61 TT=0.046 T1=0.03	OPT f=61 TT=0.026 T1=0.02	OPT f=61 TT=0.355 T1=0.17	OPT f=61 TT=0.03 T1=0.02	OPT f=61 TT=0.413 T1=0.18	OPT f=61 TT=0.428 T1=0.41	OPT f=61 TT=0.219 T1=0.1	OPT f=61 TT=0.665 T1=1.14	OPT f=61 TT=0.073 T1=0.06	OPT f=61 TT=0.635 T1=0.67	OPT f=61 TT=0.355 T1=0.34	OPT f=61 TT=0.013 T1=0.01	OPT f=61 TT=0.308 T1=0.12	OPT f=61 TT=0.181 T1=0.13	OPT f=61 TT=0.062 T1=0.02	OPT f=61 TT=0.052 T1=0.02	OPT f=61 TT=0.553 T1=0.7	OPT f=61 TT=0.304 T1=0.16	SAT f=61 TT=0.402 T1=0.21	OPT f=61 TT=0.103 T1=0.09	OPT f=61 TT=0.104 T1=0.09	OPT f=61 TT=0.609 T1=0.54	OPT f=61 TT=0.04 T1=0.02	OPT f=61 TT=0.038 T1=0.02	OPT f=61 TT=19.43 T1=19.48	OPT f=61 TT=17.52 T1=17.51
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=67-Q=191.opb	OPT f=67 TT=0.004 T1=0	OPT f=67 TT=0.047 T1=0.04	OPT f=67 TT=0.004 T1=0	OPT f=67 TT=13.705 T1=1.58	OPT f=67 TT=0.179 T1=0.09	OPT f=67 TT=13.96 T1=1.49	OPT f=67 TT=0.117 T1=0.08	OPT f=67 TT=4.406 T1=1.55	OPT f=67 TT=0.086 T1=0.08	OPT f=67 TT=5.211 T1=1.51	OPT f=67 TT=0.102 T1=0.08	OPT f=67 TT=0.02 T1=0.02	OPT f=67 TT=0.022 T1=0.01	OPT f=67 TT=0.047 T1=0.03	OPT f=67 TT=0.022 T1=0.01	OPT f=67 TT=0.354 T1=0.2	OPT f=67 TT=0.041 T1=0.04	OPT f=67 TT=0.454 T1=0.21	OPT f=67 TT=0.519 T1=0.48	OPT f=67 TT=0.744 T1=0.32	OPT f=67 TT=1.164 T1=2.15	OPT f=67 TT=0.056 T1=0.05	OPT f=67 TT=0.944 T1=1.17	OPT f=67 TT=0.409 T1=0.4	OPT f=67 TT=0.015 T1=0.01	OPT f=67 TT=0.36 T1=0.13	OPT f=67 TT=0.183 T1=0.13	Wrong Cert. TT=0.052	OPT f=67 TT=0.042 T1=0.01	OPT f=67 TT=0.625 T1=1.16	OPT f=67 TT=0.364 T1=0.2	OPT f=67 TT=0.424 T1=0.2	OPT f=67 TT=0.113 T1=0.1	OPT f=67 TT=0.113 T1=0.1	OPT f=67 TT=0.422 T1=0.41	OPT f=67 TT=0.081 T1=0.08	OPT f=67 TT=0.08 T1=0.08	Wrong Cert. TT=0.033	OPT f=67 TT=0.042 T1=0.03
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=79-Q=257.opb	OPT f=79 TT=0.007 T1=0	OPT f=79 TT=0.09 T1=0.09	OPT f=79 TT=0.009 T1=0	OPT f=79 TT=16.44 T1=3.4	OPT f=79 TT=0.202 T1=0.11	OPT f=79 TT=16.662 T1=3.38	OPT f=79 TT=0.126 T1=0.09	OPT f=79 TT=10.459 T1=9.48	OPT f=79 TT=0.099 T1=0.1	? (TO) TT=1800.04	? (TO) TT=1800.09	OPT f=79 TT=0.033 T1=0.03	OPT f=79 TT=0.016 T1=0.01	OPT f=79 TT=0.06 T1=0.04	OPT f=79 TT=0.018 T1=0.01	OPT f=79 TT=0.392 T1=0.22	OPT f=79 TT=0.075 T1=0.07	OPT f=79 TT=0.413 T1=0.21	OPT f=79 TT=0.326 T1=0.3	OPT f=79 TT=0.176 T1=0.08	OPT f=79 TT=0.973 T1=2.14	OPT f=79 TT=0.072 T1=0.06	OPT f=79 TT=0.893 T1=1.17	OPT f=79 TT=0.457 T1=0.44	OPT f=79 TT=0.007 T1=0.01	OPT f=79 TT=0.163 T1=0.07	OPT f=79 TT=0.09 T1=0.07	OPT f=79 TT=0.073 T1=0.03	OPT f=79 TT=0.102 T1=0.04	OPT f=79 TT=0.865 T1=0.67	OPT f=79 TT=0.364 T1=0.19	SAT f=79 TT=0.373 T1=0.19	OPT f=79 TT=0.114 T1=0.1	OPT f=79 TT=0.113 T1=0.1	OPT f=79 TT=0.482 T1=0.28	? (exit code) TT=0.031	OPT f=79 TT=0.034 T1=0.03	OPT f=79 TT=7.351 T1=7.36	OPT f=79 TT=19.51 T1=19.56
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=7-Q=31.opb	OPT f=1 TT=0.002 T1=0	OPT f=1 TT=0.006 T1=0	OPT f=1 TT=0.002 T1=0	OPT f=1 TT=0.368 T1=0.34	OPT f=1 TT=0.093 T1=0.08	OPT f=1 TT=0.316 T1=0.31	? (problem) TT=0.03	OPT f=1 TT=0.312 T1=0.31	? (problem) TT=0.027	? (TO) TT=1800.06	? (problem) TT=0.029	OPT f=1 TT=0.008 T1=0	OPT f=1 TT=0.007 T1=0	OPT f=1 TT=0.061 T1=0.04	OPT f=1 TT=0.005 T1=0	OPT f=1 TT=0.163 T1=0.14	OPT f=1 TT=0.006 T1=0	OPT f=1 TT=0.193 T1=0.14	OPT f=1 TT=0.025 T1=0.02	OPT f=1 TT=0.01 T1=0	OPT f=1 TT=0.215 T1=1.14	OPT f=1 TT=0.03 T1=0.02	OPT f=1 TT=0.215 T1=0.67	OPT f=1 TT=0.044 T1=0.03	OPT f=1 TT=0.004 T1=0	OPT f=1 TT=0.091 T1=0.08	OPT f=1 TT=0.133 T1=0.08	OPT f=1 TT=0.003 T1=0	OPT f=1 TT=0.002 T1=0	OPT f=1 TT=0.205 T1=0.65	OPT f=1 TT=0.184 T1=0.14	Wrong Cert. TT=0.254	OPT f=1 TT=0.045 T1=0.03	OPT f=1 TT=0.045 T1=0.03	OPT f=1 TT=0.053 T1=0.04	OPT f=1 TT=0.007 T1=0	OPT f=1 TT=0.006 T1=0	OPT f=1 TT=0.002 T1=0	OPT f=1 TT=0.003 T1=0
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=83-Q=449.opb	OPT f=83 TT=0.008 T1=0.01	OPT f=83 TT=0.079 T1=0.07	OPT f=83 TT=0.008 T1=0.01	OPT f=83 TT=20.843 T1=17.57	OPT f=83 TT=0.196 T1=0.12	OPT f=83 TT=20.892 T1=17.63	OPT f=83 TT=0.126 T1=0.1	OPT f=83 TT=11.274 T1=11.13	OPT f=83 TT=0.116 T1=0.11	? (TO) TT=1800.16	? (TO) TT=1800.05	OPT f=83 TT=0.017 T1=0.01	OPT f=83 TT=0.026 T1=0.02	OPT f=83 TT=0.038 T1=0.03	OPT f=83 TT=0.026 T1=0.02	OPT f=83 TT=0.254 T1=0.16	OPT f=83 TT=0.066 T1=0.06	OPT f=83 TT=0.285 T1=0.17	OPT f=83 TT=0.206 T1=0.2	OPT f=83 TT=0.043 T1=0.04	OPT f=83 TT=0.633 T1=1.14	OPT f=83 TT=0.074 T1=0.06	OPT f=83 TT=0.664 T1=0.67	OPT f=83 TT=0.25 T1=0.24	OPT f=83 TT=0.013 T1=0.01	OPT f=83 TT=0.101 T1=0.05	OPT f=83 TT=0.08 T1=0.07	OPT f=83 TT=0.002 T1=0.01	OPT f=83 TT=0.043 T1=0.01	OPT f=83 TT=0.303 T1=0.65	OPT f=83 TT=0.223 T1=0.15	OPT f=83 TT=0.343 T1=0.21	OPT f=83 TT=0.115 T1=0.1	OPT f=83 TT=0.114 T1=0.1	OPT f=83 TT=0.362 T1=0.33	OPT f=83 TT=0.024 T1=0.02	OPT f=83 TT=0.024 T1=0.02	OPT f=83 TT=0.022 T1=0.01	OPT f=83 TT=0.022 T1=0.01
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=83-Q=89.opb	OPT f=83 TT=0.003 T1=0	OPT f=83 TT=0.051 T1=0.04	OPT f=83 TT=0.003 T1=0	OPT f=83 TT=15.764 T1=0.98	OPT f=83 TT=0.171 T1=0.14	OPT f=83 TT=15.728 T1=0.98	OPT f=83 TT=0.116 T1=0.1	OPT f=83 TT=4.199 T1=1.02	OPT f=83 TT=0.088 T1=0.08	OPT f=83 TT=6.294 T1=1	OPT f=83 TT=0.096 T1=0.09	OPT f=83 TT=0.027 T1=0.03	OPT f=83 TT=0.019 T1=0.01	OPT f=83 TT=0.043 T1=0.02	OPT f=83 TT=0.018 T1=0.01	OPT f=83 TT=0.374 T1=0.24	OPT f=83 TT=0.042 T1=0.04	OPT f=83 TT=0.505 T1=0.25	OPT f=83 TT=0.651 T1=0.44	OPT f=83 TT=0.218 T1=0.11	OPT f=83 TT=0.914 T1=2.14	OPT f=83 TT=0.056 T1=0.05	OPT f=83 TT=3.505 T1=1.17	OPT f=83 TT=0.48 T1=0.43	OPT f=83 TT=0.008 T1=0	OPT f=83 TT=1.2 T1=0.88	OPT f=83 TT=0.69 T1=0.53	Wrong Cert. TT=0.002	OPT f=83 TT=0.062 T1=0.02	OPT f=83 TT=4.011 T1=1.4	OPT f=83 TT=0.374 T1=0.19	OPT f=83 TT=0.443 T1=0.24	OPT f=83 TT=0.103 T1=0.09	OPT f=83 TT=0.082 T1=0.07	OPT f=83 TT=0.369 T1=0.33	OPT f=83 TT=0.076 T1=0.06	OPT f=83 TT=0.076 T1=0.06	Wrong Cert. TT=0.003	? TT=1799.86
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=89-Q=317.opb	OPT f=89 TT=0.006 T1=0	OPT f=89 TT=0.034 T1=0.03	OPT f=89 TT=0.006 T1=0	OPT f=89 TT=19.655 T1=7.93	OPT f=89 TT=0.202 T1=0.11	OPT f=89 TT=19.628 T1=7.93	OPT f=89 TT=0.121 T1=0.09	OPT f=89 TT=3.254 T1=3.14	OPT f=89 TT=0.099 T1=0.1	? (TO) TT=1800.08	? (TO) TT=1800.08	OPT f=89 TT=0.033 T1=0.03	OPT f=89 TT=0.026 T1=0.02	OPT f=89 TT=0.056 T1=0.04	OPT f=89 TT=0.029 T1=0.02	OPT f=89 TT=0.334 T1=0.17	OPT f=89 TT=0.028 T1=0.02	OPT f=89 TT=0.494 T1=0.25	OPT f=89 TT=0.392 T1=0.38	OPT f=89 TT=0.166 T1=0.09	OPT f=89 TT=0.903 T1=1.15	OPT f=89 TT=0.066 T1=0.06	OPT f=89 TT=1.063 T1=0.67	OPT f=89 TT=0.411 T1=0.4	OPT f=89 TT=0.016 T1=0.01	OPT f=89 TT=0.178 T1=0.09	OPT f=89 TT=0.153 T1=0.1	OPT f=89 TT=0.062 T1=0.02	OPT f=89 TT=0.042 T1=0.02	OPT f=89 TT=0.714 T1=1.15	OPT f=89 TT=0.334 T1=0.18	OPT f=89 TT=0.494 T1=0.25	OPT f=89 TT=0.102 T1=0.09	OPT f=89 TT=0.113 T1=0.09	OPT f=89 TT=0.672 T1=0.65	OPT f=89 TT=0.051 T1=0.04	OPT f=89 TT=0.051 T1=0.05	? TT=1799.58	? TT=1799.56

Statistics		bsolo 3.2 (complete)	clasp 2.0.6-R5325 (opt) (complete)	npSolver 1.0 (complete)	npSolver 1.0 (fixed) (complete)	npSolver inc (complete)	npSolver inc (fixed) (complete)	npSolver inc-topDown (complete)	npSolver inc-topDown (fixed) (complete)	npSolver inc-topdown-quickBound (complete)	npSolver inc-topdown-quickBound (fixed) (complete)	PB07: bsolo 3.0.17 (complete)	PB07: minisat+ 1.14 (complete)	PB07: PB-clasp 2007-04-10 (complete)	PB07: Pueblo 1.4 (incomplete)	PB07: SAT4JPseudoResolution 2007-03-23 (complete)	PB09: bsolo 3.1 (complete)	PB09: SAT4J Pseudo Resolution 2.1.1 (complete)	PB09: SCIPspx SCIP 1.1.0.7 with SoPLEX 1.4.1(24.4.2009) (complete)	PB10: pb_cplex 2010-06-29 (complete)	PB10: SAT4J PB RES // CP 2.2.0 2010-05-31 (complete)	PB10: SCIPspx SCIP 1.2.1.3 with SoPlex 1.4.2 (CVS Version 30.5.2010) as LP solver (complete)	PB11: Sat4j Res//CP 2.3.0 (complete)	PB11: SCIP spx E_2 2011-06-10 (fixed) (complete)	PB12: minisatp 1.0-2-g022594c (complete)	pb2sat 2012-05-19 (complete)	pb2satCp2 2012-05-19 (complete)	pwbo 2.0 (complete)	pwbo 2.02 (complete)	SAT 4j PB RES // CP 2.3.2 Snapshot (complete)	Sat 4j PB Resolution 2.3.2 Snapshot (complete)	SAT4J PB specific settings 2.3.2 snapshot (complete)	SCIP spx SCIP 2.1.1.4. with SoPlex 1.6.0.3 fixed (complete)	SCIP spx E SCIP 2.1.1.4. Exp with SoPlex 1.6.0.3 fixed (complete)	SCIP spx standard SCIP 2.1.1.4. with SoPlex 1.6.0.3 standard fixed (complete)	toysat 2012-05-17 (complete)	toysat 2012-06-01 (complete)	wbo 1.7 (complete)	wbo 1.72 (complete)
Number of times the solver is able to give the best known answer		30	30	30	30	29	26	29	26	19	17	0	30	30	30	30	0	30	0	30	30	30	30	30	30	30	30	0	30	30	30	0	30	30	30	29	30	0	23
Number of times the solver is the best solver from a complete solver point of view (i.e. best known answer and best TT time)		0	25	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0	2	0	0	0	3	0	0	0	0	0	0	0	0	0	3