PB'12 competition: satisfaction and optimization track: results by benchmark

Results by benchmark for category optimisation, small integers, non linear constraints (OPT-SMALLINT-NLC)

This page displays the results of the different solvers for each benchmark for category optimisation, small integers, non linear constraints (OPT-SMALLINT-NLC)

REMINDER

Keep in mind that the 'Best result' columns only provide the best result given by one of the solvers. This 'Best result' may be wrong in case of an UNSATISFIABLE or OPTIMUM FOUND answer (because there's no efficient way to check these answers).

Description of a cell contents:

Cell exampleMeaning
AnswerSolver result
f=...value of the objective function for the model reported by the solver
TT=...Total Time (TT): this is the CPU time (in seconds) used by the solver until termination. This time is only meaningful for complete solvers because incomplete solvers will always run until they time out
Remember that CPU time and wall clock time are two very different notions. The CPU time represents the time during which the instructions of the solver were executed by the processor. The wall clock time represents how much time ellapsed on the clock. For a same event, the CPU time may be either smaller or greater than the wall clock time depending on the number of threads of execution and the number of processors.

Meaning of some abbreviations:

AbbreviationMeaning
f=...Value of the objective function
TOTime Out
MOMem. Out (out of memory)

Meaning of the different colors:

ColorMeaning
textthe solver cannot handle this instance
textthe solver gave no answer
textthe solver could give an answer (SAT)
textthe solver gave a definitive answer (OPTIMUM FOUND or UNSAT)
textthe solver performed better than the other ones on that instance (complete solvers point of view)
textthe solver performed better than the other ones on that instance (incomplete solvers point of view)
textthe solver was ended by a signal or other problem
textthe solver gave an incomplete answer
textthe solver gave a wrong answer

For better readability, you may choose to hide some solvers:
bsolo 3.2 (complete)
clasp 2.0.6-R5325 (opt) (complete)
npSolver 1.0 (complete)
npSolver 1.0 (fixed) (complete)
npSolver inc (complete)
npSolver inc (fixed) (complete)
npSolver inc-topDown (complete)
npSolver inc-topDown (fixed) (complete)
npSolver inc-topdown-quickBound (complete)
npSolver inc-topdown-quickBound (fixed) (complete)
PB07: bsolo 3.0.17 (complete)
PB07: minisat+ 1.14 (complete)
PB07: PB-clasp 2007-04-10 (complete)
PB07: Pueblo 1.4 (incomplete)
PB07: SAT4JPseudoResolution 2007-03-23 (complete)
PB09: bsolo 3.1 (complete)
PB09: SAT4J Pseudo Resolution 2.1.1 (complete)
PB09: SCIPspx SCIP 1.1.0.7 with SoPLEX 1.4.1(24.4.2009) (complete)
PB10: pb_cplex 2010-06-29 (complete)
PB10: SAT4J PB RES // CP 2.2.0 2010-05-31 (complete)
PB10: SCIPspx SCIP 1.2.1.3 with SoPlex 1.4.2 (CVS Version 30.5.2010) as LP solver (complete)
PB11: Sat4j Res//CP 2.3.0 (complete)
PB11: SCIP spx E_2 2011-06-10 (fixed) (complete)
PB12: minisatp 1.0-2-g022594c (complete)
pb2sat 2012-05-19 (complete)
pb2satCp2 2012-05-19 (complete)
pwbo 2.0 (complete)
pwbo 2.02 (complete)
SAT 4j PB RES // CP 2.3.2 Snapshot (complete)
Sat 4j PB Resolution 2.3.2 Snapshot (complete)
SAT4J PB specific settings 2.3.2 snapshot (complete)
SCIP spx SCIP 2.1.1.4. with SoPlex 1.6.0.3 fixed (complete)
SCIP spx E SCIP 2.1.1.4. Exp with SoPlex 1.6.0.3 fixed (complete)
SCIP spx standard SCIP 2.1.1.4. with SoPlex 1.6.0.3 standard fixed (complete)
toysat 2012-05-17 (complete)
toysat 2012-06-01 (complete)
wbo 1.7 (complete)
wbo 1.72 (complete)

Bench nameBest results
on this
instance		bsolo
3.2
(complete)		clasp
2.0.6-R5325 (opt)
(complete)		npSolver
1.0
(complete)		npSolver
1.0 (fixed)
(complete)		npSolver
inc
(complete)		npSolver
inc (fixed)
(complete)		npSolver
inc-topDown
(complete)		npSolver
inc-topDown (fixed)
(complete)		npSolver
inc-topdown-quickBound
(complete)		npSolver
inc-topdown-quickBound (fixed)
(complete)		PB07: bsolo
3.0.17
(complete)		PB07: minisat+
1.14
(complete)		PB07: PB-clasp
2007-04-10
(complete)		PB07: Pueblo
1.4
(incomplete)		PB07: SAT4JPseudoResolution
2007-03-23
(complete)		PB09: bsolo
3.1
(complete)		PB09: SAT4J Pseudo Resolution
2.1.1
(complete)		PB09: SCIPspx
SCIP 1.1.0.7 with SoPLEX 1.4.1(24.4.2009)
(complete)		PB10: pb_cplex
2010-06-29
(complete)		PB10: SAT4J PB RES // CP
2.2.0 2010-05-31
(complete)		PB10: SCIPspx
SCIP 1.2.1.3 with SoPlex 1.4.2 (CVS Version 30.5.2010) as LP solver
(complete)		PB11: Sat4j Res//CP
2.3.0
(complete)		PB11: SCIP spx E_2
2011-06-10 (fixed)
(complete)		PB12: minisatp
1.0-2-g022594c
(complete)		pb2sat
2012-05-19
(complete)		pb2satCp2
2012-05-19
(complete)		pwbo
2.0
(complete)		pwbo
2.02
(complete)		SAT 4j PB RES // CP
2.3.2 Snapshot
(complete)		Sat 4j PB Resolution
2.3.2 Snapshot
(complete)		SAT4J PB specific settings
2.3.2 snapshot
(complete)		SCIP spx
SCIP 2.1.1.4. with SoPlex 1.6.0.3 fixed
(complete)		SCIP spx E
SCIP 2.1.1.4. Exp with SoPlex 1.6.0.3 fixed
(complete)		SCIP spx standard
SCIP 2.1.1.4. with SoPlex 1.6.0.3 standard fixed
(complete)		toysat
2012-05-17
(complete)		toysat
2012-06-01
(complete)		wbo
1.7
(complete)		wbo
1.72
(complete)
normalized-PB07/OPT-SMALLINT-NLC/
submittedPB07/manquinho/bsg/
normalized-bsg_1000_25_1.opb 		SAT
f=-134
TT=1800.1
T1=610.85
 SAT
f=-111
TT=1798.01
T1=1741.55
 SAT (TO)
f=-134
TT=1800.1
T1=610.85
 ? (TO)

TT=1800.08

 ? (TO)

TT=1800.05

 ? (TO)

TT=1800.08

 ? (TO)

TT=1800.09

 ? (TO)

TT=1800.14

 ? (TO)

TT=1800.07

 ? (TO)

TT=1800.14

 ? (TO)

TT=1800.07

 SAT (TO)
f=-35
TT=1800.17
T1=166.28
 ? (TO)

TT=1800.11

 ? (TO)

TT=1800.05

 SAT
f=-101
TT=1783.03
T1=1783.48
 ?

TT=38.25

 Signal

TT=1156.77

 SAT (TO)
f=-100
TT=1800.58
T1=1085.23
 ?

TT=1793.1

 No Cert.

TT=1800.09

 SAT (TO)
f=-79
TT=1800.63
T1=769.65
 SAT
f=0
TT=1791.91
T1=0.33
 SAT (TO)
f=-82
TT=1800.02
T1=276.31
 SAT
f=-2
TT=1797.21
T1=1113.09
 ?

TT=0.005

 ? (TO)

TT=1800.01

 ? (TO)

TT=1800.06

 SAT (TO)
f=-2
TT=1800.02
T1=900.41
 SAT (TO)
f=-2
TT=1800.03
T1=900.41
 SAT (TO)
f=-94
TT=1800.14
T1=274.94
 SAT (TO)
f=-84
TT=1800.03
T1=491.58
 SAT (TO)
f=-110
TT=1800.4
T1=1016.38
 SAT
f=-17
TT=1796.99
T1=1661.12
 SAT
f=-3
TT=1798.26
T1=1496
 SAT
f=-17
TT=1796.99
T1=1686.93
 ? (TO)

TT=1800.08

 ? (TO)

TT=1800.03

 ?

TT=1800.01

 ?

TT=1800
normalized-PB07/OPT-SMALLINT-NLC/
submittedPB07/manquinho/bsg/
normalized-bsg_1000_25_2.opb 		SAT
f=-130
TT=1800.1
T1=8.81
 SAT
f=-113
TT=1798.02
T1=1358.81
 SAT (TO)
f=-130
TT=1800.1
T1=8.81
 ? (TO)

TT=1800.04

 ? (TO)

TT=1800.13

 ? (TO)

TT=1800.13

 ? (TO)

TT=1800.08

 ? (TO)

TT=1800.11

 ? (TO)

TT=1800.08

 ? (TO)

TT=1800.05

 ? (TO)

TT=1800.04

 SAT (TO)
f=-33
TT=1800.11
T1=221.29
 ? (TO)

TT=1800.1

 ? (TO)

TT=1729.75

 SAT
f=-98
TT=1783.02
T1=1783.41
 ?

TT=36.61

 Signal

TT=774.185

 ? (exit code)

TT=1204.3

 ?

TT=1794.06

 No Cert.

TT=1800.02

 SAT (TO)
f=-78
TT=1800.19
T1=491.92
 SAT
f=0
TT=1791.96
T1=0.38
 SAT (TO)
f=-79
TT=1800.74
T1=185.55
 ? (TO)

TT=1802.03

 ?

TT=0.006

 ? (TO)

TT=1800.09

 ? (TO)

TT=1800.09

 SAT (TO)
f=-2
TT=1800.06
T1=900.41
 SAT (TO)
f=-2
TT=1800.03
T1=900.41
 SAT (TO)
f=-90
TT=1800.64
T1=144.79
 SAT (TO)
f=-76
TT=1800.01
T1=207.58
 SAT (TO)
f=-111
TT=1800.08
T1=1125.06
 SAT
f=-20
TT=1797.06
T1=471.37
 SAT
f=-3
TT=1797.05
T1=1359.14
 SAT
f=-20
TT=1797.13
T1=572.33
 ? (TO)

TT=1800.08

 ? (TO)

TT=1800.08

 ?

TT=1799.84

 ?

TT=1799.95
normalized-PB07/OPT-SMALLINT-NLC/
submittedPB07/manquinho/bsg/
normalized-bsg_1000_60_1.opb 		SAT
f=-70
TT=1800.11
T1=652.41
 SAT
f=-61
TT=1798.04
T1=1546.1
 SAT (TO)
f=-70
TT=1800.11
T1=652.41
 ? (TO)

TT=1800.1

 ? (TO)

TT=1800.04

 ? (TO)

TT=1800.05

 ? (TO)

TT=1800.09

 ? (TO)

TT=1800.11

 ? (TO)

TT=1800.13

 ? (TO)

TT=1800.1

 ? (TO)

TT=1800.01

 SAT (TO)
f=-23
TT=1800.11
T1=296.27
 ? (TO)

TT=1800.11

 ? (TO)

TT=1486.37

 SAT
f=-49
TT=1783.06
T1=1783.52
 ?

TT=257.367

 Signal

TT=1597.25

 SAT (TO)
f=-54
TT=1800.08
T1=522.66
 ?

TT=1795.99

 No Cert.

TT=1800.01

 SAT (TO)
f=-47
TT=1800.06
T1=760.15
 SAT
f=0
TT=1792.39
T1=0.81
 SAT (TO)
f=-43
TT=1800.19
T1=227.04
 ? (TO)

TT=1802.09

 ?

TT=0.006

 ? (TO)

TT=1800

 ? (TO)

TT=1800.13

 SAT (TO)
f=-48
TT=1800.18
T1=900.71
 SAT (TO)
f=-53
TT=1800.11
T1=900.71
 SAT (TO)
f=-47
TT=1800.08
T1=607.39
 SAT (TO)
f=-41
TT=1800.75
T1=259.2
 SAT (TO)
f=-61
TT=1800.54
T1=298.53
 ? (TO)

TT=1802.03

 SAT
f=-2
TT=1798.44
T1=1323.5
 ? (TO)

TT=1802.02

 ? (TO)

TT=1800.03

 ? (TO)

TT=1800.06

 ?

TT=1799.57

 ?

TT=1799.52
normalized-PB07/OPT-SMALLINT-NLC/
submittedPB07/manquinho/bsg/
normalized-bsg_1000_60_2.opb 		SAT
f=-69
TT=1800.02
T1=1700.33
 SAT
f=-64
TT=1798.01
T1=562.03
 SAT (TO)
f=-69
TT=1800.02
T1=1700.33
 ? (TO)

TT=1800.15

 ? (TO)

TT=1800.07

 ? (TO)

TT=1800.11

 ? (TO)

TT=1800.1

 ? (TO)

TT=1800.12

 ? (TO)

TT=1800.1

 ? (TO)

TT=1800.12

 ? (TO)

TT=1800.09

 Signal

TT=938.131

 ? (TO)

TT=1800.11

 ? (TO)

TT=876.135

 SAT
f=-58
TT=1783.06
T1=1783.59
 ?

TT=392.71

 Signal

TT=1498.56

 ? (exit code)

TT=1547.26

 ?

TT=1794.08

 No Cert.

TT=1800

 SAT (TO)
f=-37
TT=1800.62
T1=1071.1
 SAT
f=0
TT=1792.25
T1=0.76
 SAT (TO)
f=-42
TT=1800.39
T1=306.06
 ? (TO)

TT=1802.02

 ?

TT=0.005

 ? (TO)

TT=1800.06

 ? (TO)

TT=1800.06

 SAT (TO)
f=-50
TT=1800.6
T1=900.71
 SAT (TO)
f=-50
TT=1800.62
T1=900.71
 SAT (TO)
f=-52
TT=1800.16
T1=81.74
 SAT (TO)
f=-45
TT=1800.02
T1=1087.33
 SAT (TO)
f=-62
TT=1800.58
T1=54.24
 ? (TO)

TT=1802.02

 ? (TO)

TT=1802.03

 ? (TO)

TT=1802.03

 ? (TO)

TT=1800.09

 ? (TO)

TT=1800.07

 ?

TT=1799.82

 ?

TT=1799.95
normalized-PB07/OPT-SMALLINT-NLC/
submittedPB07/manquinho/bsg/
normalized-bsg_1000_60_3.opb 		SAT
f=-69
TT=1800.02
T1=1619.66
 SAT
f=-60
TT=1798.03
T1=1342.53
 SAT (TO)
f=-69
TT=1800.02
T1=1619.66
 ? (TO)

TT=1800.09

 ? (TO)

TT=1800.11

 ? (TO)

TT=1800.12

 ? (TO)

TT=1800.08

 ? (TO)

TT=1800.11

 ? (TO)

TT=1800.04

 ? (TO)

TT=1800.08

 ? (TO)

TT=1800.06

 Signal

TT=740.923

 ? (TO)

TT=1800.09

 ? (TO)

TT=1264.05

 SAT
f=-52
TT=1783.04
T1=1783.77
 ?

TT=255.145

 ? (TO)

TT=1777.8

 SAT (TO)
f=-53
TT=1800.01
T1=1567.43
 ?

TT=1793.9

 No Cert.

TT=1800.01

 SAT (TO)
f=-47
TT=1800.18
T1=1079.2
 SAT
f=0
TT=1792.34
T1=0.76
 SAT (TO)
f=-42
TT=1800.12
T1=278.63
 ? (TO)

TT=1802.12

 ?

TT=0.006

 ? (TO)

TT=1800.06

 ? (TO)

TT=1800.1

 SAT (TO)
f=-46
TT=1800.09
T1=900.71
 SAT (TO)
f=-53
TT=1800.02
T1=900.71
 SAT (TO)
f=-47
TT=1800.2
T1=449.23
 SAT (TO)
f=-39
TT=1800
T1=302.45
 SAT (TO)
f=-62
TT=1800.69
T1=1074.67
 SAT (TO)
f=-18
TT=1802.04
T1=1753.07
 SAT
f=-1
TT=1799.47
T1=155.22
 ? (TO)

TT=1802.02

 ? (TO)

TT=1800.07

 ? (TO)

TT=1800.07

 ?

TT=1799.55

 ?

TT=1799.5
normalized-PB07/OPT-SMALLINT-NLC/
submittedPB07/manquinho/bsg/
normalized-bsg_1000_60_4.opb 		SAT
f=-69
TT=1800.11
T1=830.34
 SAT
f=-62
TT=1798.01
T1=1305.67
 SAT (TO)
f=-69
TT=1800.11
T1=830.34
 ? (TO)

TT=1800.15

 ? (TO)

TT=1800.1

 ? (TO)

TT=1800.04

 ? (TO)

TT=1800.05

 ? (TO)

TT=1800.3

 ? (TO)

TT=1800.09

 ? (TO)

TT=1800.09

 ? (TO)

TT=1800.08

 SAT (TO)
f=-24
TT=1800.28
T1=283.53
 ? (TO)

TT=1800.09

 ? (TO)

TT=1524.02

 SAT
f=-56
TT=1783.06
T1=1783.5
 ?

TT=257.94

 SAT
f=-57
TT=1798.11
T1=1762.42
 SAT (TO)
f=-54
TT=1800.02
T1=1755.3
 ?

TT=1793.73

 No Cert.

TT=1800.03

 SAT (TO)
f=-47
TT=1800.4
T1=943.94
 SAT
f=0
TT=1792.7
T1=0.92
 SAT (TO)
f=-42
TT=1800.18
T1=727.98
 SAT
f=-2
TT=1798.44
T1=715.64
 ?

TT=0.008

 ? (TO)

TT=1800.04

 ? (TO)

TT=1800.1

 SAT (TO)
f=-49
TT=1800.54
T1=900.71
 SAT (TO)
f=-51
TT=1800.59
T1=900.71
 SAT (TO)
f=-56
TT=1800.52
T1=446.7
 SAT (TO)
f=-38
TT=1800.01
T1=222.64
 SAT (TO)
f=-60
TT=1800.52
T1=107.61
 SAT (TO)
f=0
TT=1802.11
T1=0.54
 SAT
f=-2
TT=1798.29
T1=1266.09
 ? (TO)

TT=1802.03

 ? (TO)

TT=1800.07

 ? (TO)

TT=1800.09

 ?

TT=1799.55

 ? (TO)

TT=1800.1
normalized-PB07/OPT-SMALLINT-NLC/
submittedPB07/manquinho/
bsg/normalized-bsg_100_10_1.opb 		SAT
f=-28
TT=1789.76
T1=17.12
 SAT
f=-21
TT=1798.01
T1=398.69
 SAT (TO)
f=-26
TT=1800.02
T1=267.4
 ? (TO)

TT=1800.14

 ? (TO)

TT=1800.12

 ? (TO)

TT=1800.12

 ? (TO)

TT=1800.13

 ? (TO)

TT=1800.07

 ? (TO)

TT=1800.07

 ? (TO)

TT=1800.1

 ? (TO)

TT=1800.12

 SAT (TO)
f=-15
TT=1800.01
T1=1028.65
 SAT (TO)
f=-25
TT=1800.02
T1=470.86
 ? (TO)

TT=1784.83

 SAT
f=-25
TT=1783.01
T1=1783.28
 ?

TT=0.504

 SAT
f=-22
TT=1798
T1=1095.89
 SAT (TO)
f=-25
TT=1800.03
T1=43.71
 SAT (TO)
f=-28
TT=1800.2
T1=1536.27
 ? (TO)

TT=1800.14

 SAT (TO)
f=-23
TT=1800.03
T1=243.89
 SAT
f=-28
TT=1789.76
T1=878.9
 SAT (TO)
f=-23
TT=1800.45
T1=41.84
 SAT
f=-28
TT=1797.15
T1=17.12
 ?

TT=0.005

 ? (TO)

TT=1800.11

 ? (TO)

TT=1800.11

 SAT (TO)
f=-20
TT=1800.42
T1=900.31
 SAT (TO)
f=-19
TT=1800.1
T1=900.31
 SAT (TO)
f=-24
TT=1800.02
T1=430.14
 SAT (TO)
f=-19
TT=1800.1
T1=402.43
 SAT (TO)
f=-26
TT=1800.68
T1=904.06
 SAT
f=-27
TT=1796.75
T1=220.88
 SAT
f=-28
TT=1797.36
T1=20.11
 SAT
f=-27
TT=1796.76
T1=324.86
 ? (TO)

TT=1800.06

 ? (TO)

TT=1800.04

 ?

TT=1799.86

 ?

TT=1799.41
normalized-PB07/OPT-SMALLINT-NLC/
submittedPB07/manquinho/
bsg/normalized-bsg_100_10_3.opb 		SAT
f=-28
TT=1797.3
T1=14.46
 SAT
f=-22
TT=1798.01
T1=538.63
 SAT (TO)
f=-26
TT=1800.02
T1=472.31
 ? (TO)

TT=1800.05

 ? (TO)

TT=1800.13

 ? (problem)

TT=0.192

 ? (TO)

TT=1800.12

 ? (problem)

TT=0.196

 ? (TO)

TT=1800.12

 ? (problem)

TT=0.194

 ? (TO)

TT=1800.1

 SAT (TO)
f=-15
TT=1800.07
T1=642.08
 SAT (TO)
f=-24
TT=1800.02
T1=48.19
 ? (TO)

TT=1498.86

 SAT
f=-26
TT=1783.01
T1=1783.28
 ?

TT=0.496

 SAT
f=-23
TT=1798.01
T1=423.8
 SAT (TO)
f=-24
TT=1800.7
T1=112.74
 SAT (TO)
f=-27
TT=1800.23
T1=1006.1
 ? (TO)

TT=1800.22

 SAT (TO)
f=-25
TT=1800.1
T1=527.49
 SAT
f=-27
TT=1789.76
T1=68.83
 SAT (TO)
f=-22
TT=1800.7
T1=9.86
 SAT
f=-28
TT=1797.42
T1=14.46
 ?

TT=0.005

 ? (TO)

TT=1800.08

 ? (TO)

TT=1800.08

 SAT (TO)
f=-18
TT=1800.14
T1=900.31
 SAT (TO)
f=-21
TT=1800.52
T1=900.31
 SAT (TO)
f=-23
TT=1800.63
T1=669.89
 SAT (TO)
f=-20
TT=1800.03
T1=805.32
 SAT (TO)
f=-25
TT=1800.72
T1=158.7
 SAT
f=-27
TT=1796.75
T1=133.83
 SAT
f=-28
TT=1797.3
T1=19.95
 SAT
f=-27
TT=1796.75
T1=600.27
 ? (TO)

TT=1800.09

 ? (TO)

TT=1800.1

 ?

TT=1799.9

 ?

TT=1799.46
normalized-PB07/OPT-SMALLINT-NLC/
submittedPB07/manquinho/
bsg/normalized-bsg_100_25_1.opb 		SAT
f=-15
TT=1797.5
T1=67.36
 SAT
f=-13
TT=1798.03
T1=231.7
 SAT (TO)
f=-15
TT=1800.02
T1=700
 ? (TO)

TT=1800.11

 ? (TO)

TT=1800.11

 ? (TO)

TT=1800.07

 ? (TO)

TT=1800.11

 ? (TO)

TT=1800.1

 ? (TO)

TT=1800.12

 ? (TO)

TT=1800.09

 ? (TO)

TT=1800.05

 SAT (TO)
f=-10
TT=1800.08
T1=521.05
 SAT (TO)
f=-14
TT=1800.02
T1=554.85
 ? (TO)

TT=1800.17

 SAT
f=-14
TT=1783.01
T1=1783.29
 ?

TT=0.965

 SAT
f=-13
TT=1798.01
T1=12.73
 SAT (TO)
f=-14
TT=1800.34
T1=290.32
 SAT
f=-14
TT=1796.44
T1=1236.72
 ? (TO)

TT=1800.08

 SAT (TO)
f=-13
TT=1801.1
T1=62.83
 SAT
f=-14
TT=1789.79
T1=166.34
 SAT (TO)
f=-13
TT=1800.11
T1=61.19
 SAT
f=-15
TT=1797.5
T1=740.89
 ?

TT=0.005

 ? (TO)

TT=1800.05

 ? (TO)

TT=1800.1

 SAT (TO)
f=-12
TT=1800.15
T1=900.31
 SAT (TO)
f=-12
TT=1800.47
T1=900.31
 SAT (TO)
f=-14
TT=1800.67
T1=312.02
 SAT (TO)
f=-13
TT=1800.02
T1=1181.2
 SAT (TO)
f=-14
TT=1800.59
T1=14.31
 SAT
f=-14
TT=1796.76
T1=359.25
 SAT
f=-15
TT=1797.56
T1=67.36
 SAT
f=-14
TT=1796.77
T1=461.08
 ? (TO)

TT=1800.07

 ? (TO)

TT=1800.09

 ?

TT=1799.72

 ?

TT=1799.37
normalized-PB07/OPT-SMALLINT-NLC/
submittedPB07/manquinho/
bsg/normalized-bsg_100_25_3.opb 		SAT
f=-15
TT=1797.54
T1=197.54
 SAT
f=-13
TT=1798.01
T1=11.7
 SAT (TO)
f=-15
TT=1800.02
T1=197.54
 ? (TO)

TT=1800.12

 ? (TO)

TT=1800.13

 ? (problem)

TT=0.258

 ? (TO)

TT=1800.12

 ? (problem)

TT=0.249

 ? (TO)

TT=1800.1

 ? (problem)

TT=0.26

 ? (TO)

TT=1800.12

 SAT (TO)
f=-8
TT=1800.1
T1=7.73
 SAT (TO)
f=-14
TT=1800.1
T1=169.81
 ? (TO)

TT=1739.46

 SAT
f=-14
TT=1783.01
T1=1783.29
 ?

TT=0.984

 SAT
f=-12
TT=1798.03
T1=106
 SAT (TO)
f=-14
TT=1800.02
T1=48.64
 SAT
f=-13
TT=1798.22
T1=98.41
 ? (TO)

TT=1800.14

 SAT (TO)
f=-13
TT=1800.27
T1=17.78
 SAT
f=-14
TT=1789.77
T1=1225.81
 SAT (TO)
f=-13
TT=1800.01
T1=12
 SAT
f=-15
TT=1797.54
T1=319.73
 ?

TT=0.005

 ? (TO)

TT=1800.09

 ? (TO)

TT=1800.06

 SAT (TO)
f=-11
TT=1800.44
T1=900.31
 SAT (TO)
f=-12
TT=1800.49
T1=900.31
 SAT (TO)
f=-14
TT=1800.09
T1=252.78
 SAT (TO)
f=-13
TT=1800.08
T1=1748.67
 SAT (TO)
f=-14
TT=1800.07
T1=39.57
 SAT
f=-14
TT=1796.77
T1=876.99
 SAT
f=-15
TT=1797.82
T1=690.3
 SAT
f=-14
TT=1796.78
T1=507.55
 ? (TO)

TT=1800.04

 ? (TO)

TT=1800.03

 ?

TT=1799.91

 ?

TT=1799.5
Bench nameBest resultsbsolo
3.2
(complete)		clasp
2.0.6-R5325 (opt)
(complete)		npSolver
1.0
(complete)		npSolver
1.0 (fixed)
(complete)		npSolver
inc
(complete)		npSolver
inc (fixed)
(complete)		npSolver
inc-topDown
(complete)		npSolver
inc-topDown (fixed)
(complete)		npSolver
inc-topdown-quickBound
(complete)		npSolver
inc-topdown-quickBound (fixed)
(complete)		PB07: bsolo
3.0.17
(complete)		PB07: minisat+
1.14
(complete)		PB07: PB-clasp
2007-04-10
(complete)		PB07: Pueblo
1.4
(incomplete)		PB07: SAT4JPseudoResolution
2007-03-23
(complete)		PB09: bsolo
3.1
(complete)		PB09: SAT4J Pseudo Resolution
2.1.1
(complete)		PB09: SCIPspx
SCIP 1.1.0.7 with SoPLEX 1.4.1(24.4.2009)
(complete)		PB10: pb_cplex
2010-06-29
(complete)		PB10: SAT4J PB RES // CP
2.2.0 2010-05-31
(complete)		PB10: SCIPspx
SCIP 1.2.1.3 with SoPlex 1.4.2 (CVS Version 30.5.2010) as LP solver
(complete)		PB11: Sat4j Res//CP
2.3.0
(complete)		PB11: SCIP spx E_2
2011-06-10 (fixed)
(complete)		PB12: minisatp
1.0-2-g022594c
(complete)		pb2sat
2012-05-19
(complete)		pb2satCp2
2012-05-19
(complete)		pwbo
2.0
(complete)		pwbo
2.02
(complete)		SAT 4j PB RES // CP
2.3.2 Snapshot
(complete)		Sat 4j PB Resolution
2.3.2 Snapshot
(complete)		SAT4J PB specific settings
2.3.2 snapshot
(complete)		SCIP spx
SCIP 2.1.1.4. with SoPlex 1.6.0.3 fixed
(complete)		SCIP spx E
SCIP 2.1.1.4. Exp with SoPlex 1.6.0.3 fixed
(complete)		SCIP spx standard
SCIP 2.1.1.4. with SoPlex 1.6.0.3 standard fixed
(complete)		toysat
2012-05-17
(complete)		toysat
2012-06-01
(complete)		wbo
1.7
(complete)		wbo
1.72
(complete)
normalized-PB07/OPT-SMALLINT-NLC/
submittedPB07/manquinho/
bsg/normalized-bsg_100_25_5.opb 		SAT
f=-15
TT=1797.4
T1=7.64
 SAT
f=-12
TT=1798.01
T1=10.27
 SAT (TO)
f=-14
TT=1800.02
T1=6.29
 ? (TO)

TT=1800.12

 ? (TO)

TT=1800.11

 ? (TO)

TT=1800.1

 ? (TO)

TT=1800.09

 ? (TO)

TT=1800.1

 ? (TO)

TT=1800.13

 ? (TO)

TT=1800.09

 ? (TO)

TT=1800.09

 SAT (TO)
f=-9
TT=1800.17
T1=571.01
 SAT (TO)
f=-13
TT=1800.11
T1=142.49
 ? (TO)

TT=1246.33

 SAT
f=-13
TT=1783.01
T1=1783.29
 ?

TT=0.973

 SAT
f=-13
TT=1798.01
T1=8.43
 SAT (TO)
f=-13
TT=1800.01
T1=5.34
 SAT
f=-13
TT=1797.5
T1=438.39
 ? (TO)

TT=1800.34

 SAT (TO)
f=-12
TT=1800.05
T1=16.83
 SAT
f=-14
TT=1789.76
T1=937.09
 SAT (TO)
f=-13
TT=1800.3
T1=729.85
 SAT
f=-15
TT=1797.4
T1=1791.38
 ?

TT=0.005

 ? (TO)

TT=1800.1

 ? (TO)

TT=1800.07

 SAT (TO)
f=-11
TT=1800.21
T1=900.41
 SAT (TO)
f=-11
TT=1800.14
T1=900.31
 SAT (TO)
f=-13
TT=1800.14
T1=86.7
 SAT (TO)
f=-14
TT=1800.08
T1=1187.98
 SAT (TO)
f=-14
TT=1800.09
T1=23.09
 SAT
f=-14
TT=1796.77
T1=778.52
 SAT
f=-15
TT=1797.57
T1=7.64
 SAT
f=-14
TT=1796.77
T1=1250.76
 ? (TO)

TT=1800.05

 ? (TO)

TT=1800.05

 ?

TT=1799.76

 ?

TT=1799.53
normalized-PB07/OPT-SMALLINT-NLC/
submittedPB07/manquinho/bsg/
normalized-bsg_10_4_1.opb 		OPT
f=-3
TT=0.002
T1=0
 OPT
f=-3
TT=0.009
T1=0
 OPT
f=-3
TT=0.003
T1=0
 OPT
f=-3
TT=0.07
T1=0.07
 OPT
f=-3
TT=0.074
T1=0.04
 OPT
f=-3
TT=0.038
T1=0.03
 OPT
f=-3
TT=0.047
T1=0.03
 OPT
f=-3
TT=0.06
T1=0.02
 OPT
f=-3
TT=0.038
T1=0.03
 OPT
f=-3
TT=0.031
T1=0.02
 OPT
f=-3
TT=0.034
T1=0.03
 OPT
f=-3
TT=0.01
T1=0
 OPT
f=-3
TT=0.013
T1=0
 ? (TO)

TT=1800.28

 OPT
f=-3
TT=0.003
T1=0
 ?

TT=0.114

 OPT
f=-3
TT=0.007
T1=0
 OPT
f=-3
TT=0.445
T1=0.16
 OPT
f=-3
TT=0.481
T1=0.44
 OPT
f=-3
TT=0.117
T1=0.12
 OPT
f=-3
TT=0.643
T1=2.14
 OPT
f=-3
TT=0.225
T1=0.06
 OPT
f=-3
TT=0.673
T1=1.17
 OPT
f=-3
TT=0.088
T1=0.03
 ?

TT=0.005

 OPT
f=-3
TT=0.03
T1=0.02
 OPT
f=-3
TT=0.025
T1=0.01
 OPT
f=-3
TT=0.002
T1=0
 OPT
f=-3
TT=0.002
T1=0
 OPT
f=-3
TT=0.602
T1=1.16
 OPT
f=-3
TT=0.303
T1=0.15
 OPT
f=-3
TT=0.323
T1=0.15
 OPT
f=-3
TT=0.095
T1=0.07
 OPT
f=-3
TT=0.079
T1=0.06
 OPT
f=-3
TT=0.285
T1=0.25
 OPT
f=-3
TT=0.014
T1=0
 OPT
f=-3
TT=0.017
T1=0
 OPT
f=-3
TT=4.822
T1=4.93
 OPT
f=-3
TT=4.822
T1=4.83
normalized-PB07/OPT-SMALLINT-NLC/
submittedPB07/manquinho/bsg/
normalized-bsg_10_4_3.opb 		OPT
f=-3
TT=0.002
T1=0
 OPT
f=-3
TT=0.011
T1=0
 OPT
f=-3
TT=0.003
T1=0
 OPT
f=-3
TT=0.07
T1=0.06
 OPT
f=-3
TT=0.075
T1=0.08
 OPT
f=-3
TT=0.041
T1=0.04
 OPT
f=-3
TT=0.047
T1=0.04
 OPT
f=-3
TT=0.033
T1=0.03
 OPT
f=-3
TT=0.042
T1=0.04
 OPT
f=-3
TT=0.033
T1=0.03
 OPT
f=-3
TT=0.042
T1=0.03
 OPT
f=-3
TT=0.016
T1=0.01
 OPT
f=-3
TT=0.01
T1=0
 ? (TO)

TT=1691.57

 OPT
f=-3
TT=0.004
T1=0
 ?

TT=0.114

 OPT
f=-3
TT=0.008
T1=0
 OPT
f=-3
TT=0.444
T1=0.15
 OPT
f=-3
TT=0.304
T1=0.27
 OPT
f=-3
TT=0.023
T1=0.02
 OPT
f=-3
TT=0.645
T1=2.15
 OPT
f=-3
TT=0.088
T1=0.06
 OPT
f=-3
TT=0.625
T1=1.15
 OPT
f=-3
TT=0.095
T1=0.02
 ?

TT=0.006

 OPT
f=-3
TT=0.032
T1=0.03
 OPT
f=-3
TT=0.023
T1=0.02
 OPT
f=-3
TT=0.002
T1=0
 OPT
f=-3
TT=0.002
T1=0
 OPT
f=-3
TT=0.635
T1=1.14
 OPT
f=-3
TT=0.334
T1=0.15
 OPT
f=-3
TT=0.333
T1=0.16
 OPT
f=-3
TT=0.096
T1=0.08
 OPT
f=-3
TT=0.075
T1=0.06
 OPT
f=-3
TT=0.174
T1=0.13
 OPT
f=-3
TT=0.016
T1=0
 OPT
f=-3
TT=0.015
T1=0.01
 OPT
f=-3
TT=2.781
T1=2.78
 OPT
f=-3
TT=2.952
T1=2.94
normalized-PB07/OPT-SMALLINT-NLC/
submittedPB07/manquinho/
bsg/normalized-bsg_200_10_1.opb 		SAT
f=-58
TT=1796.83
T1=108.6
 SAT
f=-44
TT=1798.01
T1=30.13
 SAT (TO)
f=-50
TT=1800.03
T1=1424.21
 ? (TO)

TT=1800.04

 ? (TO)

TT=1800.06

 ? (TO)

TT=1800.03

 ? (TO)

TT=1800.03

 ? (TO)

TT=1800.07

 ? (TO)

TT=1800.12

 ? (TO)

TT=1800.08

 ? (TO)

TT=1800.06

 SAT (TO)
f=-19
TT=1800.11
T1=1179.36
 SAT (TO)
f=-48
TT=1800.05
T1=1743.98
 ? (TO)

TT=1646.77

 SAT
f=-39
TT=1783.01
T1=1783.3
 ?

TT=0.886

 SAT
f=-43
TT=1798
T1=8.3
 ? (exit code)

TT=745.721

 SAT
f=-51
TT=1797.05
T1=755.84
 ? (TO)

TT=1800.19

 SAT (TO)
f=-40
TT=1800.69
T1=29.66
 SAT
f=-51
TT=1789.79
T1=782.3
 SAT (TO)
f=-40
TT=1800.16
T1=17.43
 SAT
f=-58
TT=1796.83
T1=108.6
 ?

TT=0.005

 ? (TO)

TT=1800.06

 ? (TO)

TT=1800.06

 SAT (TO)
f=-39
TT=1800.56
T1=900.41
 SAT (TO)
f=-35
TT=1800.47
T1=900.31
 SAT (TO)
f=-42
TT=1800.65
T1=98.56
 SAT (TO)
f=-34
TT=1800.35
T1=1.97
 SAT (TO)
f=-46
TT=1800.55
T1=200.94
 SAT
f=-50
TT=1796.74
T1=318.76
 SAT
f=-57
TT=1796.82
T1=499.21
 SAT
f=-52
TT=1796.75
T1=720.71
 ? (TO)

TT=1800.08

 ? (TO)

TT=1800.08

 ?

TT=1799.7

 ?

TT=1799.8
normalized-PB07/OPT-SMALLINT-NLC/
submittedPB07/manquinho/
bsg/normalized-bsg_200_10_4.opb 		SAT
f=-58
TT=1796.84
T1=87.18
 SAT
f=-43
TT=1798
T1=7.44
 SAT (TO)
f=-49
TT=1800.11
T1=316.32
 ? (TO)

TT=1800.11

 ? (TO)

TT=1800.1

 ? (TO)

TT=1800.13

 ? (TO)

TT=1800.09

 ? (TO)

TT=1800.13

 ? (TO)

TT=1800.09

 ? (TO)

TT=1800.06

 ? (TO)

TT=1800.06

 SAT (TO)
f=-17
TT=1800.09
T1=1791.43
 SAT (TO)
f=-50
TT=1800.06
T1=1036.24
 ? (TO)

TT=1341

 SAT
f=-46
TT=1783.02
T1=1783.3
 ?

TT=0.904

 SAT
f=-43
TT=1798
T1=3.78
 ? (exit code)

TT=550.15

 SAT
f=-52
TT=1798.13
T1=1620.99
 ? (TO)

TT=1800.12

 SAT (TO)
f=-41
TT=1800.55
T1=71.8
 SAT
f=-51
TT=1789.75
T1=1532.21
 SAT (TO)
f=-43
TT=1800.17
T1=14.45
 SAT
f=-58
TT=1796.84
T1=87.18
 ?

TT=0.005

 ? (TO)

TT=1800.1

 ? (TO)

TT=1800.13

 SAT (TO)
f=-36
TT=1800.4
T1=900.31
 SAT (TO)
f=-39
TT=1800.11
T1=900.41
 SAT (TO)
f=-42
TT=1800.03
T1=623.83
 SAT (TO)
f=-33
TT=1800.51
T1=2.46
 SAT (TO)
f=-46
TT=1800.07
T1=257.33
 SAT
f=-51
TT=1796.76
T1=135.25
 SAT
f=-57
TT=1796.83
T1=124.27
 SAT
f=-52
TT=1796.74
T1=403.74
 ? (TO)

TT=1800.05

 ? (TO)

TT=1800.09

 ?

TT=1799.73

 ?

TT=1799.69
normalized-PB07/OPT-SMALLINT-NLC/
submittedPB07/manquinho/
bsg/normalized-bsg_200_25_1.opb 		SAT
f=-33
TT=1796.84
T1=140.4
 SAT
f=-23
TT=1798.01
T1=27.57
 SAT (TO)
f=-27
TT=1800.02
T1=227.68
 ? (TO)

TT=1800.11

 ? (TO)

TT=1800.11

 ? (TO)

TT=1800.11

 ? (TO)

TT=1800.12

 ? (TO)

TT=1800.03

 ? (TO)

TT=1800.08

 ? (TO)

TT=1800.06

 ? (TO)

TT=1800.08

 SAT (TO)
f=-16
TT=1800.09
T1=424.64
 SAT (TO)
f=-28
TT=1800.03
T1=57.46
 ? (TO)

TT=1639.5

 SAT
f=-24
TT=1783.01
T1=1783.31
 ?

TT=1.835

 SAT
f=-24
TT=1798.01
T1=929
 SAT (TO)
f=-25
TT=1800.55
T1=92.7
 SAT
f=-7
TT=1794.98
T1=121.52
 ? (TO)

TT=1800.36

 SAT (TO)
f=-23
TT=1800.02
T1=45.19
 SAT
f=-10
TT=1789.77
T1=34.61
 SAT (TO)
f=-24
TT=1800.18
T1=546.22
 SAT
f=-32
TT=1796.85
T1=148.85
 ?

TT=0.003

 ? (TO)

TT=1800.11

 ? (TO)

TT=1800.1

 SAT (TO)
f=-21
TT=1800.36
T1=900.31
 SAT (TO)
f=-22
TT=1800.19
T1=900.41
 SAT (TO)
f=-23
TT=1800.41
T1=373.78
 SAT (TO)
f=-19
TT=1800.01
T1=868.46
 SAT (TO)
f=-27
TT=1800.6
T1=135.96
 SAT
f=-27
TT=1796.79
T1=1726.91
 SAT
f=-33
TT=1796.84
T1=140.4
 SAT
f=-23
TT=1796.76
T1=1338.71
 ? (TO)

TT=1800.09

 ? (TO)

TT=1800.07

 ?

TT=1799.44

 ?

TT=1799.9
normalized-PB07/OPT-SMALLINT-NLC/
submittedPB07/manquinho/
bsg/normalized-bsg_200_25_2.opb 		SAT
f=-33
TT=1796.73
T1=141.32
 SAT
f=-24
TT=1798.01
T1=1446.28
 SAT (TO)
f=-28
TT=1800.03
T1=282.64
 ? (TO)

TT=1800.1

 ? (TO)

TT=1800.12

 ? (TO)

TT=1800.07

 ? (TO)

TT=1800.09

 ? (TO)

TT=1800.11

 ? (TO)

TT=1800.1

 ? (TO)

TT=1800.09

 ? (TO)

TT=1800.07

 SAT (TO)
f=-17
TT=1800.05
T1=172.71
 SAT (TO)
f=-29
TT=1800.07
T1=241.09
 ? (TO)

TT=1279.36

 SAT
f=-27
TT=1783.01
T1=1783.31
 ?

TT=1.794

 SAT
f=-24
TT=1798.03
T1=5.41
 SAT (TO)
f=-25
TT=1800.06
T1=11.29
 SAT
f=-7
TT=1794.43
T1=43.43
 ? (TO)

TT=1800.13

 SAT (TO)
f=-25
TT=1800.15
T1=768.11
 SAT
f=-23
TT=1789.78
T1=1456.54
 SAT (TO)
f=-25
TT=1800.12
T1=623.97
 SAT
f=-33
TT=1796.8
T1=507.05
 ?

TT=0.005

 ? (TO)

TT=1800.07

 ? (TO)

TT=1800.13

 SAT (TO)
f=-20
TT=1800.08
T1=900.31
 SAT (TO)
f=-23
TT=1800.01
T1=900.31
 SAT (TO)
f=-24
TT=1800.51
T1=190.26
 SAT (TO)
f=-17
TT=1800.04
T1=1.49
 SAT (TO)
f=-26
TT=1800.58
T1=94.05
 SAT
f=-27
TT=1796.77
T1=1286.11
 SAT
f=-33
TT=1796.73
T1=141.32
 SAT
f=-24
TT=1796.76
T1=955.26
 ? (TO)

TT=1800.05

 ? (TO)

TT=1800.07

 ?

TT=1799.56

 ?

TT=1799.51
normalized-PB07/OPT-SMALLINT-NLC/
submittedPB07/manquinho/
bsg/normalized-bsg_200_25_5.opb 		SAT
f=-33
TT=1796.8
T1=140.15
 SAT
f=-23
TT=1798.01
T1=33.46
 SAT (TO)
f=-29
TT=1800.02
T1=1271.83
 ? (TO)

TT=1800.11

 ? (TO)

TT=1800.08

 ? (TO)

TT=1800.12

 ? (TO)

TT=1800.11

 ? (TO)

TT=1800.12

 ? (TO)

TT=1800.07

 ? (TO)

TT=1800.1

 ? (TO)

TT=1800.07

 SAT (TO)
f=-8
TT=1800.03
T1=897.05
 SAT (TO)
f=-29
TT=1800.03
T1=813.78
 ? (TO)

TT=1800.04

 SAT
f=-26
TT=1783.01
T1=1783.3
 ?

TT=1.765

 SAT
f=-24
TT=1798.04
T1=20.49
 SAT (TO)
f=-24
TT=1800.05
T1=7.48
 SAT
f=-8
TT=1794.55
T1=39.26
 ? (TO)

TT=1800.36

 SAT (TO)
f=-23
TT=1800.11
T1=355.72
 SAT
f=-26
TT=1789.79
T1=1743.62
 SAT (TO)
f=-23
TT=1800.07
T1=503.86
 SAT
f=-33
TT=1796.8
T1=140.15
 ?

TT=0.005

 ? (TO)

TT=1800.07

 ? (TO)

TT=1800.12

 SAT (TO)
f=-20
TT=1800.13
T1=900.31
 SAT (TO)
f=-23
TT=1800.05
T1=900.31
 SAT (TO)
f=-22
TT=1800.45
T1=11.66
 SAT (TO)
f=-17
TT=1800.75
T1=17.26
 SAT (TO)
f=-26
TT=1800.51
T1=409.79
 SAT
f=-27
TT=1796.76
T1=1636.21
 SAT
f=-33
TT=1796.81
T1=154.3
 SAT
f=-23
TT=1796.78
T1=1569.56
 ? (TO)

TT=1800.1

 ? (TO)

TT=1800.1

 ?

TT=1799.62

 ?

TT=1799.83
normalized-PB07/OPT-SMALLINT-NLC/
submittedPB07/manquinho/
bsg/normalized-bsg_500_10_1.opb 		SAT
f=-146
TT=1796.74
T1=876.93
 SAT
f=-108
TT=1798.03
T1=531.5
 SAT (TO)
f=-115
TT=1800.11
T1=569.25
 ? (TO)

TT=1800.12

 ? (TO)

TT=1800.09

 ? (TO)

TT=1800.1

 ? (TO)

TT=1800.09

 ? (TO)

TT=1800.11

 ? (TO)

TT=1800.11

 ? (TO)

TT=1800.09

 ? (TO)

TT=1800.05

 SAT (TO)
f=-14
TT=1800.05
T1=1073.83
 SAT (TO)
f=-110
TT=1800.06
T1=466.43
 ? (TO)

TT=1800.07

 SAT
f=-119
TT=1783.01
T1=1783.3
 ?

TT=2.353

 SAT
f=-105
TT=1798.02
T1=1263.35
 ? (exit code)

TT=574.09

 SAT
f=-12
TT=1793.69
T1=99.61
 ? (TO)

TT=1800.39

 SAT (TO)
f=-91
TT=1800.22
T1=889.64
 SAT
f=-12
TT=1789.91
T1=6.81
 SAT (TO)
f=-91
TT=1800.36
T1=666.44
 SAT
f=-145
TT=1796.74
T1=731.2
 ?

TT=0.005

 ? (TO)

TT=1800.12

 ? (TO)

TT=1800.1

 SAT (TO)
f=-77
TT=1800.16
T1=900.41
 SAT (TO)
f=-67
TT=1800.5
T1=900.31
 SAT (TO)
f=-99
TT=1800.1
T1=870.03
 SAT (TO)
f=-78
TT=1800.07
T1=67.19
 SAT (TO)
f=-101
TT=1800.45
T1=1077.74
 SAT
f=-16
TT=1796.82
T1=13.01
 SAT
f=-146
TT=1796.74
T1=876.93
 SAT
f=-16
TT=1796.86
T1=13.96
 ? (TO)

TT=1800.1

 ? (TO)

TT=1800.07

 ?

TT=1799.36

 ?

TT=1799.21
normalized-PB07/OPT-SMALLINT-NLC/
submittedPB07/manquinho/
bsg/normalized-bsg_500_10_2.opb 		SAT
f=-144
TT=1796.75
T1=1714.16
 SAT
f=-106
TT=1798.01
T1=377.36
 SAT (TO)
f=-115
TT=1800.11
T1=1630.28
 ? (TO)

TT=1800.12

 ? (TO)

TT=1800.12

 ? (TO)

TT=1800.12

 ? (TO)

TT=1800.11

 ? (TO)

TT=1800.09

 ? (TO)

TT=1800.09

 ? (TO)

TT=1800.09

 ? (TO)

TT=1800.1

 SAT (TO)
f=-19
TT=1800.16
T1=450.52
 SAT (TO)
f=-111
TT=1800.02
T1=1742.21
 ? (TO)

TT=1800.05

 SAT
f=-103
TT=1783.01
T1=1783.3
 ?

TT=2.326

 SAT
f=-103
TT=1798.05
T1=503.28
 ? (exit code)

TT=767.09

 SAT
f=-10
TT=1794.57
T1=111.55
 ? (TO)

TT=1800.34

 SAT (TO)
f=-94
TT=1800.13
T1=591.41
 SAT
f=-11
TT=1789.81
T1=53.46
 SAT (TO)
f=-90
TT=1800.03
T1=529.44
 SAT
f=-143
TT=1796.77
T1=1248.79
 ?

TT=0.006

 ? (TO)

TT=1800.12

 ? (TO)

TT=1800.07

 SAT (TO)
f=-79
TT=1800.17
T1=900.41
 SAT (TO)
f=-77
TT=1800.44
T1=900.31
 SAT (TO)
f=-98
TT=1800.22
T1=734.05
 SAT (TO)
f=-79
TT=1800.01
T1=85.71
 SAT (TO)
f=-106
TT=1800.08
T1=744.01
 SAT
f=-11
TT=1796.78
T1=41.79
 SAT
f=-144
TT=1796.75
T1=1714.16
 SAT
f=-11
TT=1796.84
T1=29.47
 ? (TO)

TT=1800.09

 ? (TO)

TT=1800.07

 ?

TT=1799.66

 ?

TT=1799.17
Bench nameBest resultsbsolo
3.2
(complete)		clasp
2.0.6-R5325 (opt)
(complete)		npSolver
1.0
(complete)		npSolver
1.0 (fixed)
(complete)		npSolver
inc
(complete)		npSolver
inc (fixed)
(complete)		npSolver
inc-topDown
(complete)		npSolver
inc-topDown (fixed)
(complete)		npSolver
inc-topdown-quickBound
(complete)		npSolver
inc-topdown-quickBound (fixed)
(complete)		PB07: bsolo
3.0.17
(complete)		PB07: minisat+
1.14
(complete)		PB07: PB-clasp
2007-04-10
(complete)		PB07: Pueblo
1.4
(incomplete)		PB07: SAT4JPseudoResolution
2007-03-23
(complete)		PB09: bsolo
3.1
(complete)		PB09: SAT4J Pseudo Resolution
2.1.1
(complete)		PB09: SCIPspx
SCIP 1.1.0.7 with SoPLEX 1.4.1(24.4.2009)
(complete)		PB10: pb_cplex
2010-06-29
(complete)		PB10: SAT4J PB RES // CP
2.2.0 2010-05-31
(complete)		PB10: SCIPspx
SCIP 1.2.1.3 with SoPlex 1.4.2 (CVS Version 30.5.2010) as LP solver
(complete)		PB11: Sat4j Res//CP
2.3.0
(complete)		PB11: SCIP spx E_2
2011-06-10 (fixed)
(complete)		PB12: minisatp
1.0-2-g022594c
(complete)		pb2sat
2012-05-19
(complete)		pb2satCp2
2012-05-19
(complete)		pwbo
2.0
(complete)		pwbo
2.02
(complete)		SAT 4j PB RES // CP
2.3.2 Snapshot
(complete)		Sat 4j PB Resolution
2.3.2 Snapshot
(complete)		SAT4J PB specific settings
2.3.2 snapshot
(complete)		SCIP spx
SCIP 2.1.1.4. with SoPlex 1.6.0.3 fixed
(complete)		SCIP spx E
SCIP 2.1.1.4. Exp with SoPlex 1.6.0.3 fixed
(complete)		SCIP spx standard
SCIP 2.1.1.4. with SoPlex 1.6.0.3 standard fixed
(complete)		toysat
2012-05-17
(complete)		toysat
2012-06-01
(complete)		wbo
1.7
(complete)		wbo
1.72
(complete)
normalized-PB07/OPT-SMALLINT-NLC/
submittedPB07/manquinho/
bsg/normalized-bsg_500_10_3.opb 		SAT
f=-146
TT=1796.83
T1=1271.51
 SAT
f=-107
TT=1798.01
T1=1244.37
 SAT (TO)
f=-116
TT=1800.11
T1=1747.9
 ? (TO)

TT=1800.15

 ? (TO)

TT=1800.13

 ? (TO)

TT=1800.09

 ? (TO)

TT=1800.04

 ? (TO)

TT=1800.09

 ? (TO)

TT=1800.06

 ? (TO)

TT=1800.09

 ? (TO)

TT=1800.08

 SAT (TO)
f=-16
TT=1800.12
T1=402.13
 SAT (TO)
f=-115
TT=1800.03
T1=1669.54
 ? (TO)

TT=1514.6

 SAT
f=-100
TT=1783.01
T1=1783.32
 ?

TT=2.363

 SAT
f=-106
TT=1798.02
T1=1016.96
 ? (exit code)

TT=1040.3

 SAT
f=-14
TT=1794.22
T1=160.79
 ? (TO)

TT=1800.1

 SAT (TO)
f=-94
TT=1800.45
T1=742.31
 SAT
f=-20
TT=1789.79
T1=35.42
 SAT (TO)
f=-94
TT=1800.23
T1=707.2
 SAT
f=-146
TT=1796.85
T1=1271.51
 ?

TT=0.004

 ? (TO)

TT=1800.13

 ? (TO)

TT=1800.1

 SAT (TO)
f=-81
TT=1800.05
T1=900.31
 SAT (TO)
f=-72
TT=1800.58
T1=900.41
 SAT (TO)
f=-98
TT=1800.15
T1=650.87
 SAT (TO)
f=-74
TT=1800.03
T1=32.23
 SAT (TO)
f=-103
TT=1800.08
T1=330.26
 SAT
f=-15
TT=1796.78
T1=65.3
 SAT
f=-146
TT=1796.83
T1=1414.71
 SAT
f=-15
TT=1796.77
T1=56.35
 ? (TO)

TT=1800.07

 ? (TO)

TT=1800.07

 ?

TT=1799.56

 ?

TT=1799.41
normalized-PB07/OPT-SMALLINT-NLC/
submittedPB07/manquinho/
bsg/normalized-bsg_500_10_4.opb 		SAT
f=-144
TT=1796.77
T1=765.94
 SAT
f=-105
TT=1798.01
T1=1142.03
 SAT (TO)
f=-115
TT=1800.11
T1=1406.02
 ? (TO)

TT=1800.09

 ? (TO)

TT=1800.1

 ? (TO)

TT=1800.07

 ? (TO)

TT=1800.11

 ? (TO)

TT=1800.14

 ? (TO)

TT=1800.09

 ? (TO)

TT=1800.05

 ? (TO)

TT=1800.13

 SAT (TO)
f=-24
TT=1800.16
T1=6.27
 SAT (TO)
f=-109
TT=1800.05
T1=1252.66
 ? (TO)

TT=1647.23

 SAT
f=-105
TT=1783.01
T1=1783.32
 ?

TT=2.354

 SAT
f=-106
TT=1798.03
T1=1750.32
 ? (exit code)

TT=489.51

 SAT
f=-12
TT=1794.46
T1=176.36
 ? (TO)

TT=1800.31

 SAT (TO)
f=-90
TT=1800.08
T1=786.6
 SAT
f=-19
TT=1789.73
T1=59.99
 SAT (TO)
f=-95
TT=1800.12
T1=908.19
 SAT
f=-144
TT=1796.89
T1=765.94
 ?

TT=0.005

 ? (TO)

TT=1800.1

 ? (TO)

TT=1800.05

 SAT (TO)
f=-87
TT=1800.16
T1=900.41
 SAT (TO)
f=-69
TT=1800.38
T1=900.31
 SAT (TO)
f=-98
TT=1800.56
T1=895.64
 SAT (TO)
f=-78
TT=1800.06
T1=40.62
 SAT (TO)
f=-103
TT=1800.07
T1=843.49
 SAT
f=-18
TT=1796.77
T1=64.37
 SAT
f=-144
TT=1796.77
T1=1253.93
 SAT
f=-18
TT=1796.79
T1=54.87
 ? (TO)

TT=1800.06

 ? (TO)

TT=1800.09

 ?

TT=1799.87

 ?

TT=1799.38
normalized-PB07/OPT-SMALLINT-NLC/
submittedPB07/manquinho/
bsg/normalized-bsg_500_10_5.opb 		SAT
f=-146
TT=1796.75
T1=1005.12
 SAT (TO)
f=-107
TT=1800.09
T1=40.4
 SAT (TO)
f=-116
TT=1800.11
T1=1478.13
 ? (TO)

TT=1800.12

 ? (TO)

TT=1800.12

 ? (TO)

TT=1800.1

 ? (TO)

TT=1800.11

 ? (TO)

TT=1800.13

 ? (TO)

TT=1800.05

 ? (TO)

TT=1800.1

 ? (TO)

TT=1800.05

 SAT (TO)
f=-23
TT=1800.08
T1=1505.51
 SAT (TO)
f=-110
TT=1800.02
T1=1780.1
 ? (TO)

TT=1800.04

 SAT
f=-100
TT=1783.01
T1=1783.34
 ?

TT=2.346

 SAT
f=-107
TT=1798.03
T1=24.25
 ? (exit code)

TT=882.59

 SAT
f=-17
TT=1793.69
T1=72.15
 ? (TO)

TT=1800.11

 SAT (TO)
f=-93
TT=1800.09
T1=839.44
 SAT
f=-19
TT=1790.3
T1=34.61
 SAT (TO)
f=-96
TT=1800.04
T1=846.5
 SAT
f=-146
TT=1796.75
T1=1005.12
 ?

TT=0.006

 ? (TO)

TT=1800.09

 ? (TO)

TT=1800.11

 SAT (TO)
f=-80
TT=1800.04
T1=900.31
 SAT (TO)
f=-80
TT=1800.15
T1=900.41
 SAT (TO)
f=-98
TT=1800.08
T1=816.66
 SAT (TO)
f=-77
TT=1800.03
T1=36.87
 SAT (TO)
f=-102
TT=1800.04
T1=1291.88
 SAT
f=-15
TT=1796.79
T1=35.98
 SAT
f=-145
TT=1796.79
T1=1390.28
 SAT
f=-15
TT=1796.76
T1=24.34
 ? (TO)

TT=1800.09

 ? (TO)

TT=1800.08

 ?

TT=1799.55

 ?

TT=1799.87
normalized-PB07/OPT-SMALLINT-NLC/
submittedPB07/manquinho/
bsg/normalized-bsg_500_60_4.opb 		SAT
f=-44
TT=1796.97
T1=1263.65
 SAT
f=-32
TT=1798.02
T1=1455.83
 SAT (TO)
f=-34
TT=1800.09
T1=401.19
 ? (TO)

TT=1800.13

 ? (TO)

TT=1800.09

 ? (TO)

TT=1800.1

 ? (TO)

TT=1800.12

 ? (TO)

TT=1800.05

 ? (TO)

TT=1800.13

 ? (TO)

TT=1800.07

 ? (TO)

TT=1800.04

 SAT (TO)
f=-19
TT=1800.19
T1=185.95
 SAT (TO)
f=-35
TT=1800.04
T1=940.45
 ? (TO)

TT=1781.22

 SAT
f=-31
TT=1783.03
T1=1783.38
 ?

TT=93.25

 SAT
f=-31
TT=1798.04
T1=190.48
 SAT (TO)
f=-31
TT=1800.24
T1=305.64
 ?

TT=1793.28

 No Cert.

TT=1800.02

 SAT (TO)
f=-29
TT=1800.13
T1=586.07
 SAT
f=-8
TT=1790.08
T1=260.87
 SAT (TO)
f=-29
TT=1800.33
T1=393.49
 SAT
f=-43
TT=1797.07
T1=1643.17
 ?

TT=0.005

 ? (TO)

TT=1800.12

 ? (TO)

TT=1800.14

 SAT (TO)
f=-26
TT=1800.1
T1=900.51
 SAT (TO)
f=-24
TT=1800.12
T1=900.51
 SAT (TO)
f=-29
TT=1800.11
T1=201.81
 SAT (TO)
f=-22
TT=1800.02
T1=84.59
 SAT (TO)
f=-32
TT=1800.54
T1=139.53
 SAT
f=-5
TT=1797.04
T1=531.17
 SAT
f=-44
TT=1796.97
T1=1263.65
 SAT
f=-5
TT=1797.07
T1=541.76
 ? (TO)

TT=1800.12

 ? (TO)

TT=1800.11

 ?

TT=1799.47

 ?

TT=1799.58
normalized-PB07/OPT-SMALLINT-NLC/
submittedPB07/manquinho/
bsg/normalized-bsg_50_10_1.opb 		OPT
f=-14
TT=214.256
T1=1.84
 SAT
f=-14
TT=1798
T1=1503.33
 SAT (TO)
f=-14
TT=1800.03
T1=1.84
 ? (TO)

TT=1800.12

 ? (TO)

TT=1800.13

 ? (TO)

TT=1800.09

 ? (TO)

TT=1800.13

 ? (TO)

TT=1800.11

 ? (TO)

TT=1800.1

 ? (TO)

TT=1800.1

 ? (TO)

TT=1800.12

 SAT (TO)
f=-10
TT=1800.09
T1=166.95
 SAT (TO)
f=-13
TT=1800.03
T1=471.45
 ? (TO)

TT=1510.13

 SAT
f=-13
TT=1783.01
T1=1783.28
 ?

TT=0.323

 SAT
f=-13
TT=1798
T1=1586.94
 SAT (TO)
f=-13
TT=1800.89
T1=14.9
 OPT
f=-14
TT=542.182
T1=106.67
 OPT
f=-14
TT=1480.87
T1=416.62
 SAT (TO)
f=-13
TT=1800.07
T1=37.42
 OPT
f=-14
TT=654.38
T1=62.61
 SAT (TO)
f=-13
TT=1800.05
T1=12.82
 OPT
f=-14
TT=214.256
T1=7.42
 ?

TT=0.006

 ? (TO)

TT=1800.04

 ? (TO)

TT=1800.12

 SAT (TO)
f=-12
TT=1800.07
T1=900.31
 SAT (TO)
f=-12
TT=1800.11
T1=900.31
 SAT (TO)
f=-13
TT=1800.1
T1=47.57
 SAT (TO)
f=-13
TT=1800.02
T1=44.17
 SAT (TO)
f=-13
TT=1800.07
T1=3.45
 OPT
f=-14
TT=791.665
T1=147.89
 OPT
f=-14
TT=310.953
T1=9.69
 OPT
f=-14
TT=634.053
T1=206.25
 ? (TO)

TT=1800.09

 ? (TO)

TT=1800.04

 ?

TT=1799.73

 ? (TO)

TT=1800.02
normalized-PB07/OPT-SMALLINT-NLC/
submittedPB07/manquinho/
bsg/normalized-bsg_50_10_4.opb 		OPT
f=-14
TT=160.333
T1=21.7
 SAT
f=-12
TT=1798
T1=5.1
 SAT (TO)
f=-13
TT=1800.04
T1=14.45
 ? (TO)

TT=1800.11

 ? (TO)

TT=1800.12

 ? (TO)

TT=1800.11

 ? (TO)

TT=1800.13

 ? (TO)

TT=1800.11

 ? (TO)

TT=1800.1

 ? (TO)

TT=1800.12

 ? (TO)

TT=1800.11

 SAT (TO)
f=-11
TT=1800.09
T1=448.24
 SAT (TO)
f=-13
TT=1800.03
T1=1250.12
 ? (TO)

TT=1746.23

 SAT
f=-13
TT=1783
T1=1783.28
 ?

TT=0.336

 SAT
f=-13
TT=1798
T1=209.09
 SAT (TO)
f=-13
TT=1800.04
T1=66.7
 OPT
f=-14
TT=988.381
T1=900.81
 OPT
f=-14
TT=963.04
T1=274.27
 SAT (TO)
f=-12
TT=1800.1
T1=7.31
 OPT
f=-14
TT=525.549
T1=331.46
 SAT (TO)
f=-13
TT=1801.1
T1=162.01
 OPT
f=-14
TT=163.56
T1=39.12
 ?

TT=0.004

 ? (TO)

TT=1800.06

 ? (TO)

TT=1800.08

 SAT (TO)
f=-11
TT=1800.47
T1=900.31
 SAT (TO)
f=-11
TT=1800.47
T1=900.31
 SAT (TO)
f=-13
TT=1800.75
T1=308.17
 SAT (TO)
f=-13
TT=1800.31
T1=1322.78
 SAT (TO)
f=-13
TT=1800.08
T1=9.57
 OPT
f=-14
TT=406.866
T1=102.33
 OPT
f=-14
TT=160.333
T1=21.7
 OPT
f=-14
TT=263.672
T1=100.81
 ? (TO)

TT=1800.11

 ? (TO)

TT=1800.08

 ?

TT=1799.79

 ?

TT=1799.95
normalized-PB07/OPT-SMALLINT-NLC/
submittedPB07/manquinho/
bsg/normalized-bsg_50_25_1.opb 		OPT
f=-6
TT=14.858
T1=0.01
 SAT (TO)
f=-6
TT=1800.09
T1=3.03
 OPT
f=-6
TT=60.434
T1=0.01
 OPT
f=-6
TT=306.116
T1=92.54
 OPT
f=-6
TT=303.253
T1=89.28
 OPT
f=-6
TT=316.527
T1=97.04
 OPT
f=-6
TT=309.655
T1=91.86
 OPT
f=-6
TT=225.124
T1=0.48
 OPT
f=-6
TT=212.983
T1=0.58
 OPT
f=-6
TT=219.262
T1=0.47
 OPT
f=-6
TT=214.175
T1=0.58
 SAT (TO)
f=-6
TT=1800.13
T1=434.8
 OPT
f=-6
TT=1028.97
T1=1.75
 ? (TO)

TT=1800.04

 OPT
f=-6
TT=39.752
T1=39.76
 ?

TT=0.724

 SAT
f=-6
TT=1798.01
T1=0.81
 SAT (TO)
f=-6
TT=1800.25
T1=0.8
 OPT
f=-6
TT=643.476
T1=67.84
 OPT
f=-6
TT=1226.07
T1=386.28
 OPT
f=-6
TT=1009.12
T1=5.42
 OPT
f=-6
TT=475.187
T1=41.1
 OPT
f=-6
TT=848.413
T1=2.36
 OPT
f=-6
TT=15.488
T1=0.73
 ?

TT=0.006

 OPT
f=-6
TT=345.085
T1=117.64
 OPT
f=-6
TT=220.909
T1=0.41
 SAT (TO)
f=-6
TT=1800.25
T1=900.21
 SAT (TO)
f=-6
TT=1800.2
T1=900.31
 OPT
f=-6
TT=783.344
T1=3.32
 OPT
f=-6
TT=217.95
T1=0.95
 OPT
f=-6
TT=344.93
T1=0.57
 OPT
f=-6
TT=214.697
T1=19.06
 OPT
f=-6
TT=14.858
T1=0.17
 OPT
f=-6
TT=257.305
T1=23.17
 OPT
f=-6
TT=1702.58
T1=0.53
 OPT
f=-6
TT=1711.18
T1=0.53
 ?

TT=1799.62

 ?

TT=1799.54
normalized-PB07/OPT-SMALLINT-NLC/
submittedPB07/manquinho/
bsg/normalized-bsg_50_25_2.opb 		OPT
f=-7
TT=9.399
T1=0.76
 SAT
f=-7
TT=1798.01
T1=380.82
 OPT
f=-7
TT=58.29
T1=0.76
 OPT
f=-7
TT=303.098
T1=118.11
 OPT
f=-7
TT=260.291
T1=107.84
 OPT
f=-7
TT=304.812
T1=116.78
 OPT
f=-7
TT=260.026
T1=106.46
 OPT
f=-7
TT=190.181
T1=1.55
 OPT
f=-7
TT=153.43
T1=5.46
 OPT
f=-7
TT=187.753
T1=1.56
 OPT
f=-7
TT=155.385
T1=5.73
 SAT (TO)
f=-6
TT=1800.02
T1=2.89
 OPT
f=-7
TT=1291.46
T1=22.59
 ? (TO)

TT=1542.74

 OPT
f=-7
TT=25.917
T1=25.92
 ?

TT=0.684

 SAT
f=-7
TT=1798
T1=1.37
 SAT (TO)
f=-7
TT=1801
T1=3.03
 OPT
f=-7
TT=353.993
T1=247.91
 OPT
f=-7
TT=528.71
T1=169.72
 OPT
f=-7
TT=1088.87
T1=65.72
 OPT
f=-7
TT=234.998
T1=87.72
 OPT
f=-7
TT=816.791
T1=12.4
 OPT
f=-7
TT=17.287
T1=3.47
 ?

TT=0.006

 OPT
f=-7
TT=352.873
T1=153.49
 OPT
f=-7
TT=189.771
T1=3.59
 SAT (TO)
f=-7
TT=1800.02
T1=900.21
 SAT (TO)
f=-7
TT=1800.35
T1=900.21
 OPT
f=-7
TT=728.155
T1=7.36
 OPT
f=-7
TT=225.58
T1=32.92
 OPT
f=-7
TT=320.43
T1=5.76
 OPT
f=-7
TT=150.047
T1=41.91
 OPT
f=-7
TT=9.399
T1=2.81
 OPT
f=-7
TT=138.015
T1=63.94
 OPT
f=-7
TT=1781.24
T1=1.49
 OPT
f=-7
TT=1712.66
T1=1.48
 ?

TT=1799.64

 ?

TT=1799.56
normalized-PB07/OPT-SMALLINT-NLC/
submittedPB07/manquinho/
bsg/normalized-bsg_50_25_3.opb 		OPT
f=-7
TT=9.751
T1=4.02
 SAT
f=-7
TT=1798.01
T1=23.43
 OPT
f=-7
TT=54.13
T1=4.02
 OPT
f=-7
TT=280.663
T1=125.6
 OPT
f=-7
TT=289.149
T1=113.56
 OPT
f=-7
TT=279.812
T1=127.18
 OPT
f=-7
TT=301.561
T1=119.71
 OPT
f=-7
TT=167.159
T1=4.45
 OPT
f=-7
TT=180.412
T1=5.79
 OPT
f=-7
TT=157.446
T1=4.22
 OPT
f=-7
TT=183.959
T1=5.74
 SAT (TO)
f=-7
TT=1800.03
T1=1688.89
 OPT
f=-7
TT=1310.91
T1=164.9
 ? (TO)

TT=1596.25

 OPT
f=-7
TT=67.178
T1=67.19
 ?

TT=0.706

 SAT
f=-7
TT=1798
T1=653.03
 SAT (TO)
f=-7
TT=1800.32
T1=29.96
 OPT
f=-7
TT=361.748
T1=196.92
 OPT
f=-7
TT=647.732
T1=206.4
 OPT
f=-7
TT=1042.71
T1=18.46
 OPT
f=-7
TT=292.113
T1=192.72
 OPT
f=-7
TT=726.695
T1=13.91
 OPT
f=-7
TT=9.751
T1=5.38
 ?

TT=0.004

 OPT
f=-7
TT=335.044
T1=163.03
 OPT
f=-7
TT=202.475
T1=25.14
 SAT (TO)
f=-7
TT=1800.2
T1=900.31
 SAT (TO)
f=-7
TT=1800.55
T1=900.31
 OPT
f=-7
TT=732.474
T1=36.23
 OPT
f=-7
TT=198.41
T1=10.06
 OPT
f=-7
TT=341.67
T1=6.64
 OPT
f=-7
TT=151.765
T1=120.12
 OPT
f=-7
TT=10.647
T1=6.18
 OPT
f=-7
TT=147.515
T1=79.81
 ? (TO)

TT=1800.05

 ? (TO)

TT=1800.05

 ?

TT=1799.85

 ?

TT=1799.97
normalized-PB07/OPT-SMALLINT-NLC/
submittedPB07/manquinho/
bsg/normalized-bsg_50_25_4.opb 		OPT
f=-7
TT=9.476
T1=0.04
 SAT
f=-7
TT=1798
T1=152.87
 OPT
f=-7
TT=61.983
T1=0.04
 OPT
f=-7
TT=312.919
T1=131.23
 OPT
f=-7
TT=286.368
T1=107.97
 OPT
f=-7
TT=314.712
T1=133.96
 OPT
f=-7
TT=280.094
T1=104.76
 OPT
f=-7
TT=180.857
T1=0.73
 OPT
f=-7
TT=181.594
T1=2.13
 OPT
f=-7
TT=183.546
T1=0.69
 OPT
f=-7
TT=179.43
T1=2.11
 SAT (TO)
f=-7
TT=1800.05
T1=429.92
 SAT (TO)
f=-7
TT=1800.02
T1=8.98
 ? (TO)

TT=1800.35

 OPT
f=-7
TT=48.584
T1=48.59
 ?

TT=0.694

 SAT
f=-7
TT=1798.01
T1=241.33
 SAT (TO)
f=-7
TT=1800.3
T1=5.45
 OPT
f=-7
TT=455.878
T1=241.68
 OPT
f=-7
TT=649.25
T1=204.24
 OPT
f=-7
TT=961.839
T1=18.41
 OPT
f=-7
TT=232.235
T1=95.74
 OPT
f=-7
TT=697.568
T1=41.5
 OPT
f=-7
TT=9.476
T1=2.72
 ?

TT=0.007

 OPT
f=-7
TT=348.492
T1=119.42
 OPT
f=-7
TT=231.829
T1=3.34
 SAT (TO)
f=-7
TT=1800.51
T1=900.31
 SAT (TO)
f=-7
TT=1800.32
T1=900.21
 OPT
f=-7
TT=821.937
T1=24.6
 OPT
f=-7
TT=207.14
T1=9.13
 OPT
f=-7
TT=332.87
T1=18.4
 OPT
f=-7
TT=163.576
T1=104.05
 OPT
f=-7
TT=10.761
T1=0.89
 OPT
f=-7
TT=190.057
T1=113.29
 OPT
f=-7
TT=1690.32
T1=12.52
 OPT
f=-7
TT=1660.09
T1=12.55
 ?

TT=1799.66

 ? (TO)

TT=1800.04
Bench nameBest resultsbsolo
3.2
(complete)		clasp
2.0.6-R5325 (opt)
(complete)		npSolver
1.0
(complete)		npSolver
1.0 (fixed)
(complete)		npSolver
inc
(complete)		npSolver
inc (fixed)
(complete)		npSolver
inc-topDown
(complete)		npSolver
inc-topDown (fixed)
(complete)		npSolver
inc-topdown-quickBound
(complete)		npSolver
inc-topdown-quickBound (fixed)
(complete)		PB07: bsolo
3.0.17
(complete)		PB07: minisat+
1.14
(complete)		PB07: PB-clasp
2007-04-10
(complete)		PB07: Pueblo
1.4
(incomplete)		PB07: SAT4JPseudoResolution
2007-03-23
(complete)		PB09: bsolo
3.1
(complete)		PB09: SAT4J Pseudo Resolution
2.1.1
(complete)		PB09: SCIPspx
SCIP 1.1.0.7 with SoPLEX 1.4.1(24.4.2009)
(complete)		PB10: pb_cplex
2010-06-29
(complete)		PB10: SAT4J PB RES // CP
2.2.0 2010-05-31
(complete)		PB10: SCIPspx
SCIP 1.2.1.3 with SoPlex 1.4.2 (CVS Version 30.5.2010) as LP solver
(complete)		PB11: Sat4j Res//CP
2.3.0
(complete)		PB11: SCIP spx E_2
2011-06-10 (fixed)
(complete)		PB12: minisatp
1.0-2-g022594c
(complete)		pb2sat
2012-05-19
(complete)		pb2satCp2
2012-05-19
(complete)		pwbo
2.0
(complete)		pwbo
2.02
(complete)		SAT 4j PB RES // CP
2.3.2 Snapshot
(complete)		Sat 4j PB Resolution
2.3.2 Snapshot
(complete)		SAT4J PB specific settings
2.3.2 snapshot
(complete)		SCIP spx
SCIP 2.1.1.4. with SoPlex 1.6.0.3 fixed
(complete)		SCIP spx E
SCIP 2.1.1.4. Exp with SoPlex 1.6.0.3 fixed
(complete)		SCIP spx standard
SCIP 2.1.1.4. with SoPlex 1.6.0.3 standard fixed
(complete)		toysat
2012-05-17
(complete)		toysat
2012-06-01
(complete)		wbo
1.7
(complete)		wbo
1.72
(complete)
normalized-PB07/OPT-SMALLINT-NLC/
submittedPB07/manquinho/mds/
normalized-mds_1000_25_1.opb 		SAT
f=57
TT=1798.23
T1=674.4
 SAT
f=88
TT=1798.02
T1=47.07
 SAT (TO)
f=83
TT=1800.06
T1=403.6
 ? (TO)

TT=1800.13

 ? (TO)

TT=1800.05

 ? (TO)

TT=1800.12

 ? (TO)

TT=1800.07

 ? (TO)

TT=1800.07

 ? (TO)

TT=1800.06

 ? (TO)

TT=1800.15

 ? (TO)

TT=1800.02

 SAT (TO)
f=84
TT=1800.18
T1=2.37
 SAT (TO)
f=77
TT=1800.71
T1=1181.27
 SAT (TO)
f=93
TT=1802.1
T1=1211.09
 SAT
f=87
TT=1783.02
T1=5.41
 SAT (TO)
f=89
TT=1800.51
T1=41.75
 SAT
f=84
TT=1798.02
T1=1.9
 SAT (TO)
f=89
TT=1800.04
T1=68.24
 SAT
f=91
TT=1793.95
T1=10.66
 ? (TO)

TT=1800.09

 SAT (TO)
f=83
TT=1800.05
T1=622.27
 SAT
f=91
TT=1789.94
T1=12.75
 SAT (TO)
f=83
TT=1800.17
T1=766.56
 SAT
f=57
TT=1798.23
T1=674.4
 ?

TT=0.006

 ? (TO)

TT=1800.08

 ? (TO)

TT=1800.13

 SAT (TO)
f=76
TT=1800.05
T1=900.41
 SAT (TO)
f=76
TT=1800.13
T1=900.51
 SAT (TO)
f=85
TT=1800.04
T1=781.32
 SAT (TO)
f=88
TT=1800.04
T1=173.24
 SAT (TO)
f=78
TT=1800.51
T1=3.69
 SAT
f=91
TT=1796.97
T1=8.46
 SAT
f=58
TT=1796.96
T1=673.5
 SAT
f=91
TT=1796.92
T1=8.39
 ? (TO)

TT=1800.11

 ? (TO)

TT=1800.02

 ?

TT=1799.9

 ?

TT=1799.89
normalized-PB07/OPT-SMALLINT-NLC/
submittedPB07/manquinho/mds/
normalized-mds_1000_25_5.opb 		SAT
f=58
TT=1796.82
T1=1274.65
 SAT
f=81
TT=1798.01
T1=25.27
 SAT (TO)
f=84
TT=1800.09
T1=178.65
 ? (TO)

TT=1800.12

 ? (TO)

TT=1800.06

 ? (TO)

TT=1800.12

 ? (TO)

TT=1800.05

 ? (TO)

TT=1800.1

 ? (TO)

TT=1800.11

 ? (TO)

TT=1800.06

 ? (TO)

TT=1800.04

 SAT (TO)
f=85
TT=1800.08
T1=2.78
 SAT (TO)
f=85
TT=1800.13
T1=25.9
 SAT (TO)
f=94
TT=1802.1
T1=51.22
 SAT
f=87
TT=1783.02
T1=5.2
 SAT (TO)
f=89
TT=1800.04
T1=42.57
 SAT
f=85
TT=1798.02
T1=2.75
 SAT (TO)
f=89
TT=1800.03
T1=70.08
 SAT
f=91
TT=1793.73
T1=9.21
 ? (TO)

TT=1800.08

 SAT (TO)
f=83
TT=1801.24
T1=583.44
 SAT
f=91
TT=1789.91
T1=10.95
 SAT (TO)
f=84
TT=1800.07
T1=111.17
 SAT
f=58
TT=1796.82
T1=1357.64
 ?

TT=0.006

 ? (TO)

TT=1800.12

 ? (TO)

TT=1800.04

 SAT (TO)
f=78
TT=1800.05
T1=900.51
 SAT (TO)
f=78
TT=1800.15
T1=900.51
 SAT (TO)
f=85
TT=1800.03
T1=457.18
 SAT (TO)
f=89
TT=1800.07
T1=0.97
 SAT (TO)
f=78
TT=1800.01
T1=2.95
 SAT
f=91
TT=1796.92
T1=8.87
 SAT
f=58
TT=1796.91
T1=1274.65
 SAT
f=91
TT=1796.93
T1=8.37
 ? (TO)

TT=1800.11

 ? (TO)

TT=1800.1

 ?

TT=1799.76

 ?

TT=1799.74
normalized-PB07/OPT-SMALLINT-NLC/
submittedPB07/manquinho/mds/
normalized-mds_1000_60_2.opb 		SAT
f=29
TT=1796.96
T1=943.28
 SAT
f=47
TT=1798.01
T1=199.83
 SAT (TO)
f=43
TT=1800.08
T1=821.47
 ? (TO)

TT=1800.12

 ? (TO)

TT=1800.13

 ? (TO)

TT=1800.12

 ? (TO)

TT=1800.05

 ? (TO)

TT=1800.09

 ? (TO)

TT=1800.1

 ? (TO)

TT=1800.08

 ? (TO)

TT=1800.09

 SAT (TO)
f=38
TT=1800.13
T1=13.89
 SAT (TO)
f=47
TT=1800.08
T1=4.48
 SAT (TO)
f=48
TT=1801.98
T1=1440.44
 SAT
f=46
TT=1783.06
T1=35.44
 SAT (TO)
f=46
TT=1800.04
T1=308.82
 SAT
f=45
TT=1798.05
T1=8.23
 SAT (TO)
f=46
TT=1800.04
T1=477.09
 SAT
f=48
TT=1793.77
T1=91.88
 ? (TO)

TT=1800.01

 SAT (TO)
f=44
TT=1800.72
T1=640.77
 SAT
f=48
TT=1790.16
T1=98.26
 SAT (TO)
f=43
TT=1800.01
T1=454.02
 SAT
f=30
TT=1797.97
T1=660.62
 ?

TT=0.007

 ? (TO)

TT=1800.07

 ? (TO)

TT=1800.06

 SAT (TO)
f=41
TT=1800.09
T1=900.61
 SAT (TO)
f=41
TT=1800.18
T1=900.71
 SAT (TO)
f=42
TT=1800.04
T1=552.98
 SAT (TO)
f=45
TT=1800.9
T1=38.26
 SAT (TO)
f=38
TT=1800.01
T1=6.5
 SAT
f=38
TT=1797.33
T1=1599.86
 SAT
f=29
TT=1796.96
T1=943.28
 SAT
f=38
TT=1797.18
T1=1416.34
 ? (TO)

TT=1800.09

 ? (TO)

TT=1800.08

 ?

TT=1799.9

 ?

TT=1799.63
normalized-PB07/OPT-SMALLINT-NLC/
submittedPB07/manquinho/mds/
normalized-mds_1000_60_3.opb 		SAT
f=29
TT=1797.19
T1=1108.68
 SAT
f=42
TT=1798.01
T1=64.96
 SAT (TO)
f=43
TT=1800.08
T1=811.99
 ? (TO)

TT=1800.12

 ? (TO)

TT=1800.07

 ? (TO)

TT=1800.14

 ? (TO)

TT=1800.05

 ? (TO)

TT=1800.06

 ? (TO)

TT=1800.13

 ? (TO)

TT=1800.03

 ? (TO)

TT=1800.03

 SAT (TO)
f=42
TT=1800.11
T1=17.6
 SAT (TO)
f=42
TT=1800.15
T1=115.13
 SAT (TO)
f=47
TT=1802.04
T1=216.98
 SAT
f=46
TT=1783.03
T1=1343.1
 SAT (TO)
f=49
TT=1800.36
T1=461.03
 SAT
f=43
TT=1798.06
T1=10.28
 SAT (TO)
f=49
TT=1800.08
T1=311.37
 SAT
f=51
TT=1793.83
T1=63.31
 ? (TO)

TT=1800.09

 SAT (TO)
f=41
TT=1800.09
T1=824.14
 SAT
f=51
TT=1790.3
T1=60.95
 SAT (TO)
f=43
TT=1800.42
T1=643.37
 SAT
f=30
TT=1796.95
T1=767.2
 ?

TT=0.01

 ? (TO)

TT=1800.12

 ? (TO)

TT=1800.11

 SAT (TO)
f=39
TT=1800.09
T1=900.61
 SAT (TO)
f=39
TT=1800.1
T1=900.61
 SAT (TO)
f=42
TT=1800.41
T1=550.89
 SAT (TO)
f=47
TT=1800.03
T1=640.56
 SAT (TO)
f=41
TT=1800.02
T1=13.17
 SAT
f=52
TT=1797.33
T1=35.15
 SAT
f=29
TT=1797.19
T1=1108.68
 SAT
f=52
TT=1797.15
T1=31.34
 ? (TO)

TT=1800.1

 ? (TO)

TT=1800.1

 ?

TT=1799.58

 ?

TT=1799.74
normalized-PB07/OPT-SMALLINT-NLC/
submittedPB07/manquinho/mds/
normalized-mds_1000_60_4.opb 		SAT
f=29
TT=1797.18
T1=1043.96
 SAT
f=45
TT=1798.02
T1=350.92
 SAT (TO)
f=43
TT=1800.06
T1=715.02
 ? (TO)

TT=1800.11

 ? (TO)

TT=1800.08

 ? (TO)

TT=1800.12

 ? (TO)

TT=1800.13

 ? (TO)

TT=1800.09

 ? (TO)

TT=1800.01

 ? (TO)

TT=1800.08

 ? (TO)

TT=1800.03

 SAT (TO)
f=43
TT=1800.05
T1=25.92
 SAT (TO)
f=43
TT=1800.05
T1=1611.88
 SAT (TO)
f=47
TT=1802.03
T1=180.42
 SAT
f=45
TT=1783.05
T1=28.92
 SAT (TO)
f=48
TT=1800.1
T1=455.72
 SAT
f=44
TT=1798.06
T1=8.14
 SAT (TO)
f=48
TT=1801.06
T1=325.43
 SAT
f=48
TT=1793.78
T1=85.84
 ? (TO)

TT=1800.02

 SAT (TO)
f=44
TT=1800.12
T1=974.3
 SAT
f=48
TT=1790.21
T1=82.72
 SAT (TO)
f=43
TT=1800.2
T1=80.47
 SAT
f=30
TT=1796.98
T1=995.78
 ?

TT=0.005

 ? (TO)

TT=1800.08

 ? (TO)

TT=1800.08

 SAT (TO)
f=40
TT=1800.14
T1=900.61
 SAT (TO)
f=40
TT=1800.05
T1=900.61
 SAT (TO)
f=43
TT=1800.56
T1=229.41
 SAT (TO)
f=47
TT=1800.08
T1=6.55
 SAT (TO)
f=41
TT=1800.06
T1=9.12
 SAT
f=48
TT=1797.35
T1=34.01
 SAT
f=29
TT=1797.18
T1=1043.96
 SAT
f=48
TT=1797.35
T1=30.26
 ? (TO)

TT=1800.08

 ? (TO)

TT=1800.07

 ?

TT=1799.59

 ?

TT=1800.02
normalized-PB07/OPT-SMALLINT-NLC/
submittedPB07/manquinho/
mds/normalized-mds_100_10_4.opb 		OPT
f=10
TT=4.324
T1=4.31
 SAT
f=12
TT=1798
T1=595.61
 SAT (TO)
f=12
TT=1800.02
T1=14.95
 ? (TO)

TT=1800.12

 ? (TO)

TT=1800.13

 ? (TO)

TT=1800.12

 ? (TO)

TT=1800.12

 ? (TO)

TT=1800.06

 ? (TO)

TT=1800.14

 ? (TO)

TT=1800.11

 ? (TO)

TT=1800.12

 SAT (TO)
f=12
TT=1800.09
T1=60.62
 SAT (TO)
f=11
TT=1800.02
T1=12.24
 SAT (TO)
f=11
TT=1802.09
T1=1110.05
 SAT
f=12
TT=1783.01
T1=78.35
 SAT (TO)
f=13
TT=1800.01
T1=232.1
 SAT
f=12
TT=1798
T1=906.3
 SAT (TO)
f=13
TT=1800.51
T1=624.03
 OPT
f=10
TT=44.125
T1=43.01
 OPT
f=10
TT=262.73
T1=77.63
 SAT (TO)
f=11
TT=1800.1
T1=40.41
 OPT
f=10
TT=106.038
T1=106.05
 SAT (TO)
f=11
TT=1800.76
T1=473.57
 OPT
f=10
TT=4.324
T1=4.31
 ?

TT=0.006

 ? (TO)

TT=1800.08

 ? (TO)

TT=1800.08

 SAT (TO)
f=11
TT=1800.47
T1=900.31
 SAT (TO)
f=11
TT=1800.08
T1=900.31
 SAT (TO)
f=12
TT=1800.59
T1=27.13
 SAT (TO)
f=12
TT=1800.05
T1=174.56
 SAT (TO)
f=12
TT=1800.09
T1=1021.25
 OPT
f=10
TT=16.051
T1=15.18
 OPT
f=10
TT=5.331
T1=5.32
 OPT
f=10
TT=16.355
T1=14.14
 ? (TO)

TT=1800.1

 ? (TO)

TT=1800.03

 ?

TT=1799.91

 ?

TT=1799.58
normalized-PB07/OPT-SMALLINT-NLC/
submittedPB07/manquinho/
mds/normalized-mds_100_25_2.opb 		OPT
f=5
TT=2.741
T1=1.49
 SAT
f=6
TT=1798.04
T1=240.5
 OPT
f=5
TT=11.909
T1=6.35
 OPT
f=5
TT=32.915
T1=32.92
 OPT
f=5
TT=16.273
T1=12.46
 OPT
f=5
TT=7.481
T1=7.49
 OPT
f=5
TT=21.276
T1=12.45
 OPT
f=5
TT=19.159
T1=12.73
 OPT
f=5
TT=26.616
T1=17.38
 OPT
f=5
TT=19.331
T1=12.97
 OPT
f=5
TT=25.766
T1=16.98
 SAT (TO)
f=6
TT=1800.03
T1=0.11
 OPT
f=5
TT=28.512
T1=17.13
 OPT
f=5
TT=1103.5
T1=191.54
 SAT
f=6
TT=1783
T1=1.04
 SAT (TO)
f=6
TT=1800.04
T1=0.67
 SAT
f=6
TT=1798
T1=2.97
 SAT (TO)
f=5
TT=1800.68
T1=788.67
 OPT
f=5
TT=46.979
T1=43.06
 OPT
f=5
TT=661.13
T1=203.13
 SAT (TO)
f=5
TT=1800.16
T1=59.59
 OPT
f=5
TT=95.372
T1=95.2
 SAT (TO)
f=6
TT=1800.02
T1=1.38
 OPT
f=5
TT=2.741
T1=2.1
 ?

TT=0.005

 OPT
f=5
TT=4.758
T1=1.61
 OPT
f=5
TT=4.803
T1=1.49
 OPT
f=5
TT=628.287
T1=314.18
 OPT
f=5
TT=635.57
T1=317.93
 OPT
f=5
TT=1601.2
T1=403.56
 OPT
f=5
TT=837.43
T1=482.47
 SAT (TO)
f=5
TT=1800.56
T1=1509.45
 OPT
f=5
TT=42.171
T1=42.16
 OPT
f=5
TT=2.806
T1=2.13
 OPT
f=5
TT=26.932
T1=25.1
 ? (TO)

TT=1800.08

 ? (TO)

TT=1800.06

 OPT
f=5
TT=1553.18
T1=1553.38
 OPT
f=5
TT=1551.08
T1=1551.52
normalized-PB07/OPT-SMALLINT-NLC/
submittedPB07/manquinho/
mds/normalized-mds_100_25_3.opb 		OPT
f=5
TT=1.592
T1=0.3
 SAT
f=5
TT=1798
T1=1567.74
 OPT
f=5
TT=11.013
T1=4.65
 OPT
f=5
TT=6.423
T1=2.67
 OPT
f=5
TT=16.64
T1=16.64
 OPT
f=5
TT=7.618
T1=2.6
 OPT
f=5
TT=18.16
T1=18.16
 OPT
f=5
TT=8.564
T1=2.75
 OPT
f=5
TT=6.844
T1=0.81
 OPT
f=5
TT=8.714
T1=2.76
 OPT
f=5
TT=6.549
T1=0.81
 SAT (TO)
f=6
TT=1800.11
T1=0.1
 OPT
f=5
TT=52.101
T1=39.72
 OPT
f=5
TT=1256.21
T1=78.32
 OPT
f=5
TT=1584.02
T1=624.57
 SAT (TO)
f=6
TT=1800.05
T1=79.82
 SAT
f=6
TT=1798.02
T1=7.55
 SAT (TO)
f=6
TT=1800.26
T1=19.29
 OPT
f=5
TT=40.519
T1=25.61
 OPT
f=5
TT=905
T1=292.55
 SAT (TO)
f=5
TT=1800.13
T1=127.04
 OPT
f=5
TT=35.165
T1=15.04
 SAT (TO)
f=5
TT=1800.1
T1=193.92
 OPT
f=5
TT=1.592
T1=0.3
 ?

TT=0.006

 OPT
f=5
TT=8.812
T1=5.51
 OPT
f=5
TT=8.928
T1=5.83
 OPT
f=5
TT=146.49
T1=73.24
 OPT
f=5
TT=147.15
T1=73.61
 SAT (TO)
f=6
TT=1800.11
T1=3.89
 OPT
f=5
TT=751.1
T1=417.29
 OPT
f=5
TT=746.172
T1=131.4
 OPT
f=5
TT=29.324
T1=28.1
 OPT
f=5
TT=1.735
T1=0.48
 OPT
f=5
TT=12.878
T1=7.4
 ? (TO)

TT=1800.04

 ? (TO)

TT=1800.1

 ?

TT=1799.76

 ?

TT=1799.9
normalized-PB07/OPT-SMALLINT-NLC/
submittedPB07/manquinho/
mds/normalized-mds_100_25_4.opb 		OPT
f=5
TT=1.881
T1=0.43
 SAT
f=6
TT=1798.03
T1=1.51
 OPT
f=5
TT=10.383
T1=4.17
 OPT
f=5
TT=4.126
T1=0.36
 OPT
f=5
TT=5.878
T1=0.97
 OPT
f=5
TT=9.236
T1=5.3
 OPT
f=5
TT=5.352
T1=0.9
 OPT
f=5
TT=9.238
T1=2.84
 OPT
f=5
TT=11.069
T1=3.83
 OPT
f=5
TT=9.428
T1=2.9
 OPT
f=5
TT=10.739
T1=3.79
 SAT (TO)
f=5
TT=1800.08
T1=1755.59
 OPT
f=5
TT=32.69
T1=0.92
 OPT
f=5
TT=1536.27
T1=39.99
 OPT
f=5
TT=1622.13
T1=656.8
 SAT (TO)
f=5
TT=1800.5
T1=563.63
 SAT
f=6
TT=1798.01
T1=7.34
 SAT (TO)
f=6
TT=1800.34
T1=2.94
 OPT
f=5
TT=46.222
T1=41.43
 OPT
f=5
TT=419.16
T1=135.15
 SAT (TO)
f=5
TT=1800.71
T1=273.43
 OPT
f=5
TT=50.974
T1=46.53
 SAT (TO)
f=5
TT=1800.5
T1=61.65
 OPT
f=5
TT=1.881
T1=0.43
 ?

TT=0.004

 OPT
f=5
TT=29.997
T1=26.55
 OPT
f=5
TT=30.666
T1=27.26
 OPT
f=5
TT=124.293
T1=62.15
 OPT
f=5
TT=122.53
T1=61.3
 OPT
f=5
TT=1455.8
T1=291.57
 OPT
f=5
TT=1133.65
T1=846.75
 SAT (TO)
f=5
TT=1800.06
T1=1510.9
 OPT
f=5
TT=13.153
T1=10.65
 OPT
f=5
TT=2.089
T1=0.68
 OPT
f=5
TT=20.692
T1=14.74
 ? (TO)

TT=1800.06

 ? (TO)

TT=1800.06

 ?

TT=1799.75

 ?

TT=1799.77
normalized-PB07/OPT-SMALLINT-NLC/
submittedPB07/manquinho/
mds/normalized-mds_100_25_5.opb 		OPT
f=5
TT=1.081
T1=0.24
 SAT
f=6
TT=1798.08
T1=137.05
 OPT
f=5
TT=32.288
T1=25.98
 OPT
f=5
TT=40.205
T1=33.12
 OPT
f=5
TT=103.382
T1=99.16
 OPT
f=5
TT=43.724
T1=36.4
 OPT
f=5
TT=107.685
T1=103.38
 OPT
f=5
TT=9.029
T1=4.35
 OPT
f=5
TT=17.884
T1=7.77
 OPT
f=5
TT=9.225
T1=4.44
 OPT
f=5
TT=17.445
T1=7.76
 SAT (TO)
f=6
TT=1800.12
T1=10.58
 OPT
f=5
TT=106.493
T1=95.65
 SAT (TO)
f=6
TT=1800.11
T1=35.2
 OPT
f=5
TT=1419.18
T1=267.81
 SAT (TO)
f=6
TT=1800.06
T1=26.74
 SAT
f=6
TT=1798.01
T1=124.84
 SAT (TO)
f=6
TT=1800.21
T1=4.23
 OPT
f=5
TT=75.999
T1=74.32
 OPT
f=5
TT=659.13
T1=204.62
 SAT (TO)
f=6
TT=1800.07
T1=4.57
 OPT
f=5
TT=179.244
T1=179.26
 SAT (TO)
f=5
TT=1800.18
T1=239.96
 OPT
f=5
TT=1.37
T1=1.02
 ?

TT=0.007

 OPT
f=5
TT=22.579
T1=16.94
 OPT
f=5
TT=22.721
T1=17.14
 OPT
f=5
TT=129.28
T1=64.76
 OPT
f=5
TT=144.33
T1=72.26
 SAT (TO)
f=6
TT=1800.13
T1=3.9
 SAT (TO)
f=6
TT=1800.07
T1=4.73
 OPT
f=5
TT=1622.28
T1=1227.97
 OPT
f=5
TT=17.637
T1=14.35
 OPT
f=5
TT=1.081
T1=0.24
 OPT
f=5
TT=13.355
T1=8.54
 ? (TO)

TT=1800.03

 ? (TO)

TT=1800.04

 ?

TT=1799.87

 ?

TT=1799.48
Bench nameBest resultsbsolo
3.2
(complete)		clasp
2.0.6-R5325 (opt)
(complete)		npSolver
1.0
(complete)		npSolver
1.0 (fixed)
(complete)		npSolver
inc
(complete)		npSolver
inc (fixed)
(complete)		npSolver
inc-topDown
(complete)		npSolver
inc-topDown (fixed)
(complete)		npSolver
inc-topdown-quickBound
(complete)		npSolver
inc-topdown-quickBound (fixed)
(complete)		PB07: bsolo
3.0.17
(complete)		PB07: minisat+
1.14
(complete)		PB07: PB-clasp
2007-04-10
(complete)		PB07: Pueblo
1.4
(incomplete)		PB07: SAT4JPseudoResolution
2007-03-23
(complete)		PB09: bsolo
3.1
(complete)		PB09: SAT4J Pseudo Resolution
2.1.1
(complete)		PB09: SCIPspx
SCIP 1.1.0.7 with SoPLEX 1.4.1(24.4.2009)
(complete)		PB10: pb_cplex
2010-06-29
(complete)		PB10: SAT4J PB RES // CP
2.2.0 2010-05-31
(complete)		PB10: SCIPspx
SCIP 1.2.1.3 with SoPlex 1.4.2 (CVS Version 30.5.2010) as LP solver
(complete)		PB11: Sat4j Res//CP
2.3.0
(complete)		PB11: SCIP spx E_2
2011-06-10 (fixed)
(complete)		PB12: minisatp
1.0-2-g022594c
(complete)		pb2sat
2012-05-19
(complete)		pb2satCp2
2012-05-19
(complete)		pwbo
2.0
(complete)		pwbo
2.02
(complete)		SAT 4j PB RES // CP
2.3.2 Snapshot
(complete)		Sat 4j PB Resolution
2.3.2 Snapshot
(complete)		SAT4J PB specific settings
2.3.2 snapshot
(complete)		SCIP spx
SCIP 2.1.1.4. with SoPlex 1.6.0.3 fixed
(complete)		SCIP spx E
SCIP 2.1.1.4. Exp with SoPlex 1.6.0.3 fixed
(complete)		SCIP spx standard
SCIP 2.1.1.4. with SoPlex 1.6.0.3 standard fixed
(complete)		toysat
2012-05-17
(complete)		toysat
2012-06-01
(complete)		wbo
1.7
(complete)		wbo
1.72
(complete)
normalized-PB07/OPT-SMALLINT-NLC/
submittedPB07/manquinho/mds/
normalized-mds_10_4_1.opb 		OPT
f=2
TT=0.001
T1=0
 OPT
f=2
TT=0.003
T1=0
 OPT
f=2
TT=0.002
T1=0
 OPT
f=2
TT=0.04
T1=0.04
 OPT
f=2
TT=0.061
T1=0.06
 OPT
f=2
TT=0.017
T1=0.01
 OPT
f=2
TT=0.022
T1=0.02
 OPT
f=2
TT=0.018
T1=0.01
 OPT
f=2
TT=0.023
T1=0.02
 OPT
f=2
TT=0.019
T1=0.01
 OPT
f=2
TT=0.027
T1=0.02
 OPT
f=2
TT=0.004
T1=0.01
 OPT
f=2
TT=0.003
T1=0
 OPT
f=2
TT=0.047
T1=0.03
 OPT
f=2
TT=0.002
T1=0
 OPT
f=2
TT=0.144
T1=0.13
 OPT
f=2
TT=0.002
T1=0
 OPT
f=2
TT=0.156
T1=0.13
 OPT
f=2
TT=0.017
T1=0.01
 OPT
f=2
TT=0.008
T1=0
 OPT
f=2
TT=0.163
T1=2.12
 OPT
f=2
TT=0.033
T1=0.03
 OPT
f=2
TT=0.165
T1=1.13
 OPT
f=2
TT=0.016
T1=0.01
 ?

TT=0.004

 OPT
f=2
TT=0.017
T1=0.01
 OPT
f=2
TT=0.018
T1=0.01
 OPT
f=2
TT=0.001
T1=0
 OPT
f=2
TT=0.002
T1=0
 OPT
f=2
TT=0.184
T1=1.15
 OPT
f=2
TT=0.156
T1=0.14
 OPT
f=2
TT=0.182
T1=0.14
 OPT
f=2
TT=0.034
T1=0.03
 OPT
f=2
TT=0.021
T1=0.01
 OPT
f=2
TT=0.029
T1=0.02
 OPT
f=2
TT=0.004
T1=0
 OPT
f=2
TT=0.002
T1=0
 OPT
f=2
TT=0.002
T1=0
 OPT
f=2
TT=0.003
T1=0
normalized-PB07/OPT-SMALLINT-NLC/
submittedPB07/manquinho/mds/
normalized-mds_10_4_2.opb 		OPT
f=2
TT=0.001
T1=0
 OPT
f=2
TT=0.001
T1=0
 OPT
f=2
TT=0.002
T1=0
 OPT
f=2
TT=0.044
T1=0.04
 OPT
f=2
TT=0.059
T1=0.06
 OPT
f=2
TT=0.018
T1=0.01
 OPT
f=2
TT=0.027
T1=0.02
 OPT
f=2
TT=0.019
T1=0.01
 OPT
f=2
TT=0.023
T1=0.02
 OPT
f=2
TT=0.016
T1=0.01
 OPT
f=2
TT=0.028
T1=0.02
 OPT
f=2
TT=0.002
T1=0
 OPT
f=2
TT=0.003
T1=0
 OPT
f=2
TT=0.039
T1=0.03
 OPT
f=2
TT=0.002
T1=0
 OPT
f=2
TT=0.145
T1=0.13
 OPT
f=2
TT=0.002
T1=0
 OPT
f=2
TT=0.164
T1=0.13
 OPT
f=2
TT=0.02
T1=0.01
 OPT
f=2
TT=0.007
T1=0.01
 OPT
f=2
TT=0.164
T1=2.14
 OPT
f=2
TT=0.035
T1=0.03
 OPT
f=2
TT=0.164
T1=1.13
 OPT
f=2
TT=0.016
T1=0.01
 ?

TT=0.005

 OPT
f=2
TT=0.016
T1=0.01
 OPT
f=2
TT=0.017
T1=0.01
 OPT
f=2
TT=0.001
T1=0
 OPT
f=2
TT=0.002
T1=0
 OPT
f=2
TT=0.185
T1=1.14
 OPT
f=2
TT=0.165
T1=0.13
 OPT
f=2
TT=0.184
T1=0.14
 OPT
f=2
TT=0.04
T1=0.03
 OPT
f=2
TT=0.017
T1=0.01
 OPT
f=2
TT=0.03
T1=0.02
 OPT
f=2
TT=0.003
T1=0
 OPT
f=2
TT=0.003
T1=0
 OPT
f=2
TT=0.001
T1=0
 OPT
f=2
TT=0.001
T1=0
normalized-PB07/OPT-SMALLINT-NLC/
submittedPB07/manquinho/mds/
normalized-mds_10_4_3.opb 		OPT
f=2
TT=0.001
T1=0
 OPT
f=2
TT=0.002
T1=0
 OPT
f=2
TT=0.002
T1=0
 OPT
f=2
TT=0.045
T1=0.04
 OPT
f=2
TT=0.057
T1=0.06
 OPT
f=2
TT=0.014
T1=0.01
 OPT
f=2
TT=0.025
T1=0.02
 OPT
f=2
TT=0.016
T1=0.01
 OPT
f=2
TT=0.02
T1=0.02
 OPT
f=2
TT=0.016
T1=0.01
 OPT
f=2
TT=0.023
T1=0.02
 OPT
f=2
TT=0.002
T1=0
 OPT
f=2
TT=0.005
T1=0
 OPT
f=2
TT=0.046
T1=0.04
 OPT
f=2
TT=0.003
T1=0
 OPT
f=2
TT=0.144
T1=0.11
 OPT
f=2
TT=0.002
T1=0
 OPT
f=2
TT=0.177
T1=0.14
 OPT
f=2
TT=0.017
T1=0.02
 OPT
f=2
TT=0.009
T1=0.01
 OPT
f=2
TT=0.165
T1=2.13
 OPT
f=2
TT=0.035
T1=0.03
 OPT
f=2
TT=0.175
T1=1.13
 OPT
f=2
TT=0.021
T1=0.01
 ?

TT=0.005

 OPT
f=2
TT=0.016
T1=0.01
 OPT
f=2
TT=0.014
T1=0.01
 OPT
f=2
TT=0.001
T1=0
 OPT
f=2
TT=0.002
T1=0
 OPT
f=2
TT=0.175
T1=1.14
 OPT
f=2
TT=0.177
T1=0.15
 OPT
f=2
TT=0.174
T1=0.14
 OPT
f=2
TT=0.037
T1=0.03
 OPT
f=2
TT=0.019
T1=0.01
 OPT
f=2
TT=0.029
T1=0.02
 OPT
f=2
TT=0.003
T1=0
 OPT
f=2
TT=0.003
T1=0
 OPT
f=2
TT=0.001
T1=0
 OPT
f=2
TT=0.001
T1=0
normalized-PB07/OPT-SMALLINT-NLC/
submittedPB07/manquinho/mds/
normalized-mds_10_4_5.opb 		OPT
f=2
TT=0.001
T1=0
 OPT
f=2
TT=0.002
T1=0
 OPT
f=2
TT=0.004
T1=0
 OPT
f=2
TT=0.045
T1=0.04
 OPT
f=2
TT=0.048
T1=0.04
 OPT
f=2
TT=0.015
T1=0.01
 OPT
f=2
TT=0.025
T1=0.02
 OPT
f=2
TT=0.02
T1=0.01
 OPT
f=2
TT=0.022
T1=0.02
 OPT
f=2
TT=0.019
T1=0.01
 OPT
f=2
TT=0.022
T1=0.02
 OPT
f=2
TT=0.004
T1=0
 OPT
f=2
TT=0.003
T1=0
 OPT
f=2
TT=0.039
T1=0.05
 OPT
f=2
TT=0.002
T1=0
 OPT
f=2
TT=0.155
T1=0.14
 OPT
f=2
TT=0.002
T1=0
 OPT
f=2
TT=0.167
T1=0.15
 OPT
f=2
TT=0.019
T1=0.01
 OPT
f=2
TT=0.008
T1=0
 OPT
f=2
TT=0.164
T1=2.14
 OPT
f=2
TT=0.04
T1=0.03
 OPT
f=2
TT=0.184
T1=1.14
 OPT
f=2
TT=0.018
T1=0.01
 ?

TT=0.005

 OPT
f=2
TT=0.02
T1=0.01
 OPT
f=2
TT=0.019
T1=0.01
 OPT
f=2
TT=0.001
T1=0
 OPT
f=2
TT=0.002
T1=0
 OPT
f=2
TT=0.175
T1=1.15
 OPT
f=2
TT=0.165
T1=0.14
 OPT
f=2
TT=0.175
T1=0.14
 OPT
f=2
TT=0.035
T1=0.03
 OPT
f=2
TT=0.017
T1=0.01
 OPT
f=2
TT=0.029
T1=0.02
 OPT
f=2
TT=0.003
T1=0
 OPT
f=2
TT=0.004
T1=0
 OPT
f=2
TT=0.001
T1=0
 OPT
f=2
TT=0.001
T1=0
normalized-PB07/OPT-SMALLINT-NLC/
submittedPB07/manquinho/
mds/normalized-mds_200_10_2.opb 		SAT
f=21
TT=1789.78
T1=53.9
 SAT
f=29
TT=1798
T1=52.45
 SAT (TO)
f=26
TT=1800.02
T1=583.92
 ? (TO)

TT=1800.12

 ? (TO)

TT=1800.1

 ? (TO)

TT=1800.03

 ? (TO)

TT=1800.04

 ? (TO)

TT=1800.07

 ? (TO)

TT=1800.05

 ? (TO)

TT=1800.06

 ? (TO)

TT=1800.06

 SAT (TO)
f=28
TT=1800.05
T1=0.08
 SAT (TO)
f=26
TT=1800.09
T1=30.04
 SAT (TO)
f=29
TT=1802.12
T1=1.79
 SAT
f=30
TT=1783.01
T1=0.08
 SAT (TO)
f=32
TT=1800.25
T1=770.13
 SAT
f=30
TT=1798
T1=0.06
 SAT (TO)
f=33
TT=1800.34
T1=0.52
 SAT
f=21
TT=1798.78
T1=53.9
 ? (TO)

TT=1800.41

 SAT (TO)
f=26
TT=1800.89
T1=698.44
 SAT
f=21
TT=1789.78
T1=631.99
 SAT (TO)
f=28
TT=1800.5
T1=3.87
 SAT
f=21
TT=1796.96
T1=77.18
 ?

TT=0.005

 ? (TO)

TT=1800.05

 ? (TO)

TT=1800.06

 SAT (TO)
f=25
TT=1800.11
T1=900.31
 SAT (TO)
f=26
TT=1800.11
T1=900.31
 SAT (TO)
f=27
TT=1800.6
T1=14.46
 SAT (TO)
f=28
TT=1800.66
T1=972.27
 SAT (TO)
f=29
TT=1800.67
T1=0.52
 SAT
f=21
TT=1796.8
T1=606.11
 SAT
f=21
TT=1796.99
T1=114.99
 SAT
f=21
TT=1796.76
T1=166.65
 ? (TO)

TT=1800.11

 ? (TO)

TT=1800.02

 ?

TT=1799.68

 ?

TT=1799.79
normalized-PB07/OPT-SMALLINT-NLC/
submittedPB07/manquinho/
mds/normalized-mds_200_10_5.opb 		SAT
f=20
TT=1789.75
T1=43.23
 SAT
f=30
TT=1798
T1=0.28
 SAT (TO)
f=25
TT=1800.03
T1=713.64
 ? (TO)

TT=1800.11

 ? (TO)

TT=1800.03

 ? (TO)

TT=1800.11

 ? (TO)

TT=1800.13

 ? (TO)

TT=1800.11

 ? (TO)

TT=1800.1

 ? (TO)

TT=1800.11

 ? (TO)

TT=1800.09

 SAT (TO)
f=27
TT=1800.08
T1=156.62
 SAT (TO)
f=26
TT=1800.1
T1=16.47
 SAT (TO)
f=29
TT=1802.09
T1=5.51
 SAT
f=29
TT=1783
T1=35.8
 SAT (TO)
f=28
TT=1800.08
T1=0.73
 SAT
f=28
TT=1798.01
T1=52.72
 SAT (TO)
f=29
TT=1800.27
T1=0.62
 SAT (TO)
f=20
TT=1800.18
T1=43.23
 ? (TO)

TT=1800.05

 SAT (TO)
f=27
TT=1800.19
T1=649.22
 SAT
f=20
TT=1789.75
T1=1388.13
 SAT (TO)
f=26
TT=1800.74
T1=238.85
 SAT
f=20
TT=1796.89
T1=867.79
 ?

TT=0.004

 ? (TO)

TT=1800.01

 ? (TO)

TT=1800.14

 SAT (TO)
f=23
TT=1800.49
T1=900.31
 SAT (TO)
f=24
TT=1800.08
T1=900.31
 SAT (TO)
f=27
TT=1800.01
T1=21.01
 SAT (TO)
f=27
TT=1800.02
T1=42.58
 SAT (TO)
f=30
TT=1800.41
T1=0.54
 SAT
f=21
TT=1796.77
T1=1004.9
 SAT
f=20
TT=1796.82
T1=1409.41
 SAT
f=20
TT=1796.75
T1=589.72
 ? (TO)

TT=1800.01

 ? (TO)

TT=1800.11

 ?

TT=1799.81

 ?

TT=1799.81
normalized-PB07/OPT-SMALLINT-NLC/
submittedPB07/manquinho/
mds/normalized-mds_200_25_1.opb 		SAT
f=11
TT=1789.78
T1=5.41
 SAT
f=15
TT=1798.01
T1=69.46
 SAT (TO)
f=13
TT=1800.02
T1=1019.67
 ? (TO)

TT=1800.13

 ? (TO)

TT=1800.09

 ? (TO)

TT=1800.12

 ? (TO)

TT=1800.03

 ? (TO)

TT=1800.1

 ? (TO)

TT=1800.08

 ? (TO)

TT=1800.11

 ? (TO)

TT=1800.07

 SAT (TO)
f=14
TT=1800.12
T1=0.28
 SAT (TO)
f=13
TT=1800.06
T1=41.1
 SAT (TO)
f=14
TT=1802.07
T1=108.65
 SAT
f=15
TT=1783
T1=2.6
 SAT (TO)
f=15
TT=1800.35
T1=1.34
 SAT
f=15
TT=1798.02
T1=243.09
 SAT (TO)
f=15
TT=1800.68
T1=1.31
 SAT
f=11
TT=1795.94
T1=383.27
 ? (TO)

TT=1800.36

 SAT (TO)
f=13
TT=1800.1
T1=130.95
 SAT
f=11
TT=1789.78
T1=1736.93
 SAT (TO)
f=14
TT=1800.73
T1=2.03
 SAT
f=11
TT=1796.94
T1=5.41
 ?

TT=0.004

 ? (TO)

TT=1800.06

 ? (TO)

TT=1800.11

 SAT (TO)
f=12
TT=1800.09
T1=900.31
 SAT (TO)
f=12
TT=1800.12
T1=900.31
 SAT (TO)
f=14
TT=1800.73
T1=2.01
 SAT (TO)
f=13
TT=1800.04
T1=702.86
 SAT (TO)
f=15
TT=1800.07
T1=1073.62
 SAT
f=11
TT=1796.79
T1=838.5
 SAT
f=11
TT=1797.02
T1=5.55
 SAT
f=11
TT=1796.78
T1=150.64
 ? (TO)

TT=1800.1

 ? (TO)

TT=1800.1

 ?

TT=1799.77

 ?

TT=1799.48
normalized-PB07/OPT-SMALLINT-NLC/
submittedPB07/manquinho/
mds/normalized-mds_200_25_3.opb 		SAT
f=11
TT=1789.78
T1=3.46
 SAT
f=15
TT=1798.11
T1=0.39
 SAT (TO)
f=13
TT=1800.11
T1=48.01
 ? (TO)

TT=1800.13

 ? (TO)

TT=1800.02

 ? (TO)

TT=1800.12

 ? (TO)

TT=1800.08

 ? (TO)

TT=1800.13

 ? (TO)

TT=1800.13

 ? (TO)

TT=1800.06

 ? (TO)

TT=1800.11

 SAT (TO)
f=13
TT=1800.07
T1=0.26
 SAT (TO)
f=12
TT=1800.08
T1=951.71
 SAT (TO)
f=14
TT=1800.15
T1=1284.29
 SAT
f=15
TT=1783.01
T1=11.92
 SAT (TO)
f=15
TT=1800.05
T1=1164.82
 SAT
f=15
TT=1798.02
T1=3.78
 SAT (TO)
f=16
TT=1801.44
T1=1.45
 SAT
f=11
TT=1796.07
T1=483.32
 ? (TO)

TT=1800.4

 SAT (TO)
f=14
TT=1800.12
T1=8.27
 SAT
f=11
TT=1789.78
T1=987.08
 SAT (TO)
f=14
TT=1800.1
T1=6.04
 SAT
f=11
TT=1796.91
T1=3.46
 ?

TT=0.007

 ? (TO)

TT=1800.02

 ? (TO)

TT=1800.08

 SAT (TO)
f=12
TT=1800.42
T1=900.41
 SAT (TO)
f=12
TT=1800.1
T1=900.41
 SAT (TO)
f=13
TT=1800.03
T1=70.52
 SAT (TO)
f=13
TT=1800.09
T1=80.49
 SAT (TO)
f=16
TT=1800.06
T1=1.07
 SAT
f=11
TT=1796.79
T1=591.94
 SAT
f=11
TT=1796.98
T1=3.51
 SAT
f=11
TT=1796.76
T1=176.93
 ? (TO)

TT=1800.11

 ? (TO)

TT=1800.02

 ?

TT=1799.55

 ?

TT=1799.44
normalized-PB07/OPT-SMALLINT-NLC/
submittedPB07/manquinho/
mds/normalized-mds_200_25_4.opb 		OPT
f=10
TT=351.226
T1=3.45
 SAT
f=14
TT=1798.03
T1=493.81
 SAT (TO)
f=12
TT=1800.02
T1=31.82
 ? (TO)

TT=1800.13

 ? (TO)

TT=1800.11

 ? (TO)

TT=1800.12

 ? (TO)

TT=1800.13

 ? (TO)

TT=1800.12

 ? (TO)

TT=1800.04

 ? (TO)

TT=1800.12

 ? (TO)

TT=1800.14

 SAT (TO)
f=13
TT=1800.1
T1=1602.5
 SAT (TO)
f=13
TT=1800.07
T1=87.4
 SAT (TO)
f=15
TT=1802.1
T1=91.33
 SAT
f=13
TT=1783.01
T1=750.38
 SAT (TO)
f=16
TT=1800.01
T1=1.48
 SAT
f=15
TT=1798.03
T1=6.89
 SAT (TO)
f=16
TT=1800.28
T1=1.41
 SAT
f=11
TT=1796.06
T1=303.66
 ? (TO)

TT=1800.18

 SAT (TO)
f=14
TT=1801.37
T1=9.38
 SAT
f=11
TT=1789.82
T1=970.52
 SAT (TO)
f=13
TT=1800.1
T1=297.39
 OPT
f=10
TT=351.226
T1=3.45
 ?

TT=0.008

 ? (TO)

TT=1800.13

 ? (TO)

TT=1800.13

 SAT (TO)
f=12
TT=1800.04
T1=900.31
 SAT (TO)
f=12
TT=1800.02
T1=900.31
 SAT (TO)
f=13
TT=1800.12
T1=94.98
 SAT (TO)
f=13
TT=1800
T1=424.09
 SAT (TO)
f=14
TT=1800.56
T1=47.49
 SAT
f=11
TT=1796.8
T1=504.44
 OPT
f=10
TT=374.091
T1=7.36
 SAT
f=10
TT=1796.78
T1=162.98
 ? (TO)

TT=1800.09

 ? (TO)

TT=1800.1

 ?

TT=1799.52

 ?

TT=1799.84
normalized-PB07/OPT-SMALLINT-NLC/
submittedPB07/manquinho/
mds/normalized-mds_200_25_5.opb 		SAT
f=10
TT=1796.78
T1=672.74
 SAT
f=15
TT=1798.06
T1=0.42
 SAT (TO)
f=13
TT=1800.01
T1=15.3
 ? (TO)

TT=1800.08

 ? (TO)

TT=1800.1

 ? (TO)

TT=1800.11

 ? (TO)

TT=1800.04

 ? (TO)

TT=1800.09

 ? (TO)

TT=1800.09

 ? (TO)

TT=1800.05

 ? (TO)

TT=1800.04

 SAT (TO)
f=14
TT=1800.1
T1=263.33
 SAT (TO)
f=13
TT=1800.09
T1=384.44
 SAT (TO)
f=14
TT=1800.08
T1=1589.57
 SAT
f=14
TT=1783.01
T1=522.79
 SAT (TO)
f=15
TT=1800.3
T1=529.97
 SAT
f=14
TT=1798.01
T1=85.48
 SAT (TO)
f=15
TT=1800.78
T1=416.75
 SAT
f=11
TT=1795.88
T1=275.82
 ? (TO)

TT=1800.25

 SAT (TO)
f=14
TT=1800.17
T1=82.44
 SAT
f=11
TT=1789.79
T1=612.83
 SAT (TO)
f=14
TT=1800.06
T1=18.23
 SAT
f=11
TT=1796.92
T1=3.1
 ?

TT=0.008

 ? (TO)

TT=1800.08

 ? (TO)

TT=1800.03

 SAT (TO)
f=12
TT=1800.39
T1=900.41
 SAT (TO)
f=12
TT=1800.08
T1=900.41
 SAT (TO)
f=14
TT=1800.05
T1=23.6
 SAT (TO)
f=14
TT=1800
T1=417.8
 SAT (TO)
f=15
TT=1800.08
T1=146.12
 SAT
f=11
TT=1796.8
T1=751.17
 SAT
f=11
TT=1797.04
T1=3.22
 SAT
f=10
TT=1796.78
T1=672.74
 ? (TO)

TT=1800.1

 ? (TO)

TT=1800.1

 ?

TT=1799.85

 ?

TT=1799.48
Bench nameBest resultsbsolo
3.2
(complete)		clasp
2.0.6-R5325 (opt)
(complete)		npSolver
1.0
(complete)		npSolver
1.0 (fixed)
(complete)		npSolver
inc
(complete)		npSolver
inc (fixed)
(complete)		npSolver
inc-topDown
(complete)		npSolver
inc-topDown (fixed)
(complete)		npSolver
inc-topdown-quickBound
(complete)		npSolver
inc-topdown-quickBound (fixed)
(complete)		PB07: bsolo
3.0.17
(complete)		PB07: minisat+
1.14
(complete)		PB07: PB-clasp
2007-04-10
(complete)		PB07: Pueblo
1.4
(incomplete)		PB07: SAT4JPseudoResolution
2007-03-23
(complete)		PB09: bsolo
3.1
(complete)		PB09: SAT4J Pseudo Resolution
2.1.1
(complete)		PB09: SCIPspx
SCIP 1.1.0.7 with SoPLEX 1.4.1(24.4.2009)
(complete)		PB10: pb_cplex
2010-06-29
(complete)		PB10: SAT4J PB RES // CP
2.2.0 2010-05-31
(complete)		PB10: SCIPspx
SCIP 1.2.1.3 with SoPlex 1.4.2 (CVS Version 30.5.2010) as LP solver
(complete)		PB11: Sat4j Res//CP
2.3.0
(complete)		PB11: SCIP spx E_2
2011-06-10 (fixed)
(complete)		PB12: minisatp
1.0-2-g022594c
(complete)		pb2sat
2012-05-19
(complete)		pb2satCp2
2012-05-19
(complete)		pwbo
2.0
(complete)		pwbo
2.02
(complete)		SAT 4j PB RES // CP
2.3.2 Snapshot
(complete)		Sat 4j PB Resolution
2.3.2 Snapshot
(complete)		SAT4J PB specific settings
2.3.2 snapshot
(complete)		SCIP spx
SCIP 2.1.1.4. with SoPlex 1.6.0.3 fixed
(complete)		SCIP spx E
SCIP 2.1.1.4. Exp with SoPlex 1.6.0.3 fixed
(complete)		SCIP spx standard
SCIP 2.1.1.4. with SoPlex 1.6.0.3 standard fixed
(complete)		toysat
2012-05-17
(complete)		toysat
2012-06-01
(complete)		wbo
1.7
(complete)		wbo
1.72
(complete)
normalized-PB07/OPT-SMALLINT-NLC/
submittedPB07/manquinho/
mds/normalized-mds_500_10_2.opb 		SAT
f=53
TT=1796.76
T1=131.19
 SAT
f=75
TT=1798.01
T1=1.05
 SAT (TO)
f=73
TT=1800.1
T1=497.46
 ? (TO)

TT=1800.09

 ? (TO)

TT=1800.09

 ? (TO)

TT=1800.1

 ? (TO)

TT=1800.11

 ? (TO)

TT=1800.13

 ? (TO)

TT=1800.07

 ? (TO)

TT=1800.07

 ? (TO)

TT=1800.06

 SAT (TO)
f=77
TT=1800.09
T1=705.31
 SAT (TO)
f=74
TT=1800.11
T1=14.45
 SAT (TO)
f=78
TT=1800.08
T1=1.2
 SAT
f=76
TT=1783.02
T1=0.53
 SAT (TO)
f=83
TT=1800.09
T1=1.45
 SAT
f=76
TT=1798.01
T1=0.18
 SAT (TO)
f=82
TT=1800.13
T1=1.52
 SAT
f=58
TT=1794.55
T1=1134.76
 ? (TO)

TT=1800.35

 SAT (TO)
f=74
TT=1800.06
T1=7.34
 SAT
f=93
TT=1789.79
T1=4.54
 SAT (TO)
f=75
TT=1800.09
T1=824.61
 SAT
f=53
TT=1796.77
T1=411.23
 ?

TT=0.005

 ? (TO)

TT=1800.09

 ? (TO)

TT=1800.09

 SAT (TO)
f=69
TT=1800.03
T1=900.31
 SAT (TO)
f=69
TT=1800.05
T1=900.31
 SAT (TO)
f=77
TT=1800.17
T1=39.58
 SAT (TO)
f=82
TT=1800.07
T1=1.39
 SAT (TO)
f=79
TT=1800.08
T1=0.84
 SAT
f=92
TT=1796.78
T1=2.66
 SAT
f=53
TT=1796.76
T1=131.19
 SAT
f=55
TT=1796.77
T1=183.93
 ? (TO)

TT=1800.11

 ? (TO)

TT=1800.09

 ?

TT=1799.59

 ?

TT=1799.58
normalized-PB07/OPT-SMALLINT-NLC/
submittedPB07/manquinho/
mds/normalized-mds_500_25_1.opb 		SAT
f=27
TT=1796.79
T1=510.52
 SAT
f=42
TT=1798.01
T1=3.53
 SAT (TO)
f=40
TT=1800.09
T1=141.45
 ? (TO)

TT=1800.11

 ? (TO)

TT=1800.09

 ? (TO)

TT=1800.13

 ? (TO)

TT=1800.1

 ? (TO)

TT=1800.09

 ? (TO)

TT=1800.08

 ? (TO)

TT=1800.07

 ? (TO)

TT=1800.13

 SAT (TO)
f=39
TT=1800.07
T1=0.67
 SAT (TO)
f=40
TT=1800.05
T1=15.03
 SAT (TO)
f=42
TT=1802.11
T1=692.47
 SAT
f=40
TT=1783.01
T1=4.6
 SAT (TO)
f=45
TT=1800.61
T1=6.28
 SAT
f=41
TT=1798.01
T1=17.76
 SAT (TO)
f=45
TT=1800.06
T1=7.95
 SAT
f=48
TT=1794.79
T1=13.43
 ? (TO)

TT=1800.21

 SAT (TO)
f=40
TT=1800.93
T1=49.72
 SAT
f=48
TT=1789.85
T1=12.32
 SAT (TO)
f=39
TT=1800.01
T1=745.92
 SAT
f=27
TT=1796.79
T1=510.52
 ?

TT=0.006

 ? (TO)

TT=1800.07

 ? (TO)

TT=1800.01

 SAT (TO)
f=37
TT=1800.08
T1=900.41
 SAT (TO)
f=37
TT=1800.2
T1=900.51
 SAT (TO)
f=40
TT=1800.55
T1=94.69
 SAT (TO)
f=45
TT=1800.04
T1=0.79
 SAT (TO)
f=39
TT=1800.51
T1=1.34
 SAT
f=30
TT=1796.85
T1=452.33
 SAT
f=27
TT=1796.8
T1=598.66
 SAT
f=30
TT=1796.9
T1=472.05
 ? (TO)

TT=1800.08

 ? (TO)

TT=1800.07

 ?

TT=1799.57

 ?

TT=1799.59
normalized-PB07/OPT-SMALLINT-NLC/
submittedPB07/manquinho/
mds/normalized-mds_500_25_2.opb 		SAT
f=28
TT=1796.77
T1=109.6
 SAT
f=43
TT=1798.01
T1=8.47
 SAT (TO)
f=40
TT=1800.09
T1=1154.62
 ? (TO)

TT=1800.12

 ? (TO)

TT=1800.13

 ? (TO)

TT=1800.11

 ? (TO)

TT=1800.12

 ? (TO)

TT=1800.06

 ? (TO)

TT=1800.04

 ? (TO)

TT=1800.06

 ? (TO)

TT=1800.11

 SAT (TO)
f=38
TT=1800.11
T1=0.74
 SAT (TO)
f=40
TT=1800.06
T1=11.92
 SAT (TO)
f=43
TT=1802.06
T1=226.84
 SAT
f=40
TT=1783.01
T1=83.86
 SAT (TO)
f=45
TT=1800.05
T1=7.13
 SAT
f=40
TT=1798.02
T1=0.89
 SAT (TO)
f=45
TT=1800.05
T1=8.1
 SAT
f=51
TT=1794.75
T1=14.15
 ? (TO)

TT=1800.17

 SAT (TO)
f=40
TT=1800.17
T1=91.8
 SAT
f=51
TT=1789.82
T1=12.36
 SAT (TO)
f=39
TT=1800.14
T1=426.87
 SAT
f=28
TT=1796.77
T1=509.11
 ?

TT=0.008

 ? (TO)

TT=1800.12

 ? (TO)

TT=1800.05

 SAT (TO)
f=35
TT=1800.54
T1=900.41
 SAT (TO)
f=35
TT=1800.18
T1=900.41
 SAT (TO)
f=41
TT=1800.11
T1=168.06
 SAT (TO)
f=43
TT=1800.09
T1=454.74
 SAT (TO)
f=37
TT=1800.65
T1=2.44
 SAT
f=51
TT=1796.83
T1=12.01
 SAT
f=28
TT=1796.79
T1=109.6
 SAT
f=51
TT=1796.86
T1=11
 ? (TO)

TT=1800.02

 ? (TO)

TT=1800.01

 ?

TT=1799.47

 ?

TT=1799.46
normalized-PB07/OPT-SMALLINT-NLC/
submittedPB07/manquinho/
mds/normalized-mds_500_25_3.opb 		SAT
f=27
TT=1796.78
T1=233.61
 SAT
f=39
TT=1798.02
T1=3.78
 SAT (TO)
f=39
TT=1800.09
T1=1585.81
 ? (TO)

TT=1800.13

 ? (TO)

TT=1800.12

 ? (TO)

TT=1800.13

 ? (TO)

TT=1800.1

 ? (TO)

TT=1800.04

 ? (TO)

TT=1800.03

 ? (TO)

TT=1800.13

 ? (TO)

TT=1800.13

 SAT (TO)
f=37
TT=1800.11
T1=1.36
 SAT (TO)
f=36
TT=1800.03
T1=373.4
 SAT (TO)
f=44
TT=1802.07
T1=34.05
 SAT
f=41
TT=1783.01
T1=13.02
 SAT (TO)
f=42
TT=1800.05
T1=6.98
 SAT
f=42
TT=1798.03
T1=82.67
 SAT (TO)
f=42
TT=1800.56
T1=7.05
 SAT
f=45
TT=1795.31
T1=16.32
 ? (TO)

TT=1800.18

 SAT (TO)
f=39
TT=1800.86
T1=150.12
 SAT
f=45
TT=1789.87
T1=15.03
 SAT (TO)
f=39
TT=1800.76
T1=73.08
 SAT
f=27
TT=1796.78
T1=677.67
 ?

TT=0.006

 ? (TO)

TT=1800.1

 ? (TO)

TT=1800.08

 SAT (TO)
f=36
TT=1800.21
T1=900.41
 SAT (TO)
f=36
TT=1800.08
T1=900.41
 SAT (TO)
f=40
TT=1800.2
T1=85.89
 SAT (TO)
f=41
TT=1800.51
T1=47.67
 SAT (TO)
f=40
TT=1800.43
T1=2.51
 SAT
f=45
TT=1796.85
T1=12.76
 SAT
f=27
TT=1796.8
T1=233.61
 SAT
f=45
TT=1796.82
T1=13.83
 ? (TO)

TT=1800.1

 ? (TO)

TT=1800.1

 ?

TT=1799.72

 ?

TT=1799.46
normalized-PB07/OPT-SMALLINT-NLC/
submittedPB07/manquinho/
mds/normalized-mds_500_25_4.opb 		SAT
f=28
TT=1796.78
T1=58.17
 SAT
f=43
TT=1798.02
T1=5.28
 SAT (TO)
f=40
TT=1800.08
T1=177.98
 ? (TO)

TT=1800.05

 ? (TO)

TT=1800.1

 ? (TO)

TT=1800.12

 ? (TO)

TT=1800.09

 ? (TO)

TT=1800.04

 ? (TO)

TT=1800.07

 ? (TO)

TT=1800.1

 ? (TO)

TT=1800.09

 SAT (TO)
f=41
TT=1800.13
T1=0.83
 SAT (TO)
f=38
TT=1800.06
T1=34.12
 SAT (TO)
f=43
TT=1802.12
T1=6.9
 SAT
f=44
TT=1783.01
T1=1.96
 SAT (TO)
f=45
TT=1800.68
T1=6.41
 SAT
f=41
TT=1798.01
T1=1035.37
 SAT (TO)
f=45
TT=1800.28
T1=6.99
 SAT
f=48
TT=1794.67
T1=8.11
 ? (TO)

TT=1800.29

 SAT (TO)
f=40
TT=1800.09
T1=173.47
 SAT
f=48
TT=1789.88
T1=7.72
 SAT (TO)
f=39
TT=1800.43
T1=304.82
 SAT
f=28
TT=1796.78
T1=58.55
 ?

TT=0.006

 ? (TO)

TT=1800.13

 ? (TO)

TT=1800.03

 SAT (TO)
f=35
TT=1800.2
T1=900.41
 SAT (TO)
f=35
TT=1800.19
T1=900.41
 SAT (TO)
f=39
TT=1800.01
T1=3.37
 SAT (TO)
f=43
TT=1800.06
T1=203.59
 SAT (TO)
f=39
TT=1800.58
T1=1.44
 SAT
f=48
TT=1796.82
T1=10.63
 SAT
f=28
TT=1796.78
T1=58.17
 SAT
f=48
TT=1796.85
T1=12.05
 ? (TO)

TT=1800.1

 ? (TO)

TT=1800.01

 ?

TT=1799.46

 ?

TT=1799.47
normalized-PB07/OPT-SMALLINT-NLC/
submittedPB07/manquinho/
mds/normalized-mds_500_60_3.opb 		SAT
f=15
TT=1796.85
T1=55.4
 SAT
f=22
TT=1798.05
T1=368.49
 SAT (TO)
f=18
TT=1800.08
T1=77.65
 ? (TO)

TT=1800.12

 ? (TO)

TT=1800.01

 ? (TO)

TT=1800.13

 ? (TO)

TT=1800.04

 ? (TO)

TT=1800.12

 ? (TO)

TT=1800.04

 ? (TO)

TT=1800.1

 ? (TO)

TT=1800.04

 SAT (TO)
f=20
TT=1800.07
T1=4.81
 SAT (TO)
f=19
TT=1800.06
T1=4.76
 SAT (TO)
f=21
TT=1802.14
T1=429.72
 SAT
f=22
TT=1783.02
T1=15.46
 SAT (TO)
f=22
TT=1800.56
T1=963.74
 SAT
f=21
TT=1798.03
T1=104.32
 SAT (TO)
f=23
TT=1800.06
T1=68.04
 SAT
f=23
TT=1795.01
T1=892.49
 ? (TO)

TT=1800.08

 SAT (TO)
f=20
TT=1800.17
T1=186.7
 SAT
f=24
TT=1790.03
T1=98.79
 SAT (TO)
f=19
TT=1800.11
T1=176
 SAT
f=15
TT=1796.86
T1=61.05
 ?

TT=0.005

 ? (TO)

TT=1800.1

 ? (TO)

TT=1800.07

 SAT (TO)
f=18
TT=1800.42
T1=900.51
 SAT (TO)
f=18
TT=1800.06
T1=900.51
 SAT (TO)
f=19
TT=1800.5
T1=587.9
 SAT (TO)
f=23
TT=1800
T1=0.98
 SAT (TO)
f=18
TT=1800.02
T1=2.86
 SAT
f=17
TT=1797.07
T1=1000.24
 SAT
f=15
TT=1796.85
T1=55.4
 SAT
f=17
TT=1796.91
T1=957.7
 ? (TO)

TT=1800.03

 ? (TO)

TT=1800.11

 ?

TT=1799.92

 ?

TT=1799.81
normalized-PB07/OPT-SMALLINT-NLC/
submittedPB07/manquinho/
mds/normalized-mds_500_60_4.opb 		SAT
f=14
TT=1796.86
T1=846.56
 SAT
f=21
TT=1798.04
T1=682.98
 SAT (TO)
f=18
TT=1800.09
T1=35
 ? (TO)

TT=1800.12

 ? (TO)

TT=1800.08

 ? (TO)

TT=1800.11

 ? (TO)

TT=1800.08

 ? (TO)

TT=1800.11

 ? (TO)

TT=1800.05

 ? (TO)

TT=1800.08

 ? (TO)

TT=1800.01

 SAT (TO)
f=20
TT=1800.08
T1=4.48
 SAT (TO)
f=20
TT=1800.11
T1=3.79
 SAT (TO)
f=21
TT=1802.17
T1=30.67
 SAT
f=21
TT=1783.01
T1=462.5
 SAT (TO)
f=23
TT=1800.1
T1=69.09
 SAT
f=19
TT=1798.03
T1=4.08
 SAT (TO)
f=23
TT=1800.07
T1=69.35
 SAT
f=23
TT=1794.76
T1=55.39
 ? (TO)

TT=1800.05

 SAT (TO)
f=19
TT=1800.17
T1=653.19
 SAT
f=22
TT=1790.02
T1=1502.31
 SAT (TO)
f=19
TT=1800.18
T1=744.16
 SAT
f=14
TT=1796.86
T1=846.56
 ?

TT=0.007

 ? (TO)

TT=1800.11

 ? (TO)

TT=1800.15

 SAT (TO)
f=18
TT=1800.61
T1=900.51
 SAT (TO)
f=18
TT=1800.14
T1=900.51
 SAT (TO)
f=19
TT=1800.07
T1=459.74
 SAT (TO)
f=23
TT=1800.03
T1=0.93
 SAT (TO)
f=22
TT=1800.08
T1=6.66
 SAT
f=16
TT=1796.98
T1=1179.1
 SAT
f=15
TT=1796.85
T1=59.61
 SAT
f=16
TT=1797.07
T1=1258
 ? (TO)

TT=1800.1

 ? (TO)

TT=1800.11

 ?

TT=1799.92

 ?

TT=1799.44
normalized-PB07/OPT-SMALLINT-NLC/
submittedPB07/manquinho/
mds/normalized-mds_50_10_4.opb 		OPT
f=6
TT=0.323
T1=0.01
 OPT
f=6
TT=27.624
T1=0.03
 OPT
f=6
TT=1.822
T1=0.01
 OPT
f=6
TT=0.383
T1=0.38
 OPT
f=6
TT=0.367
T1=0.36
 OPT
f=6
TT=0.34
T1=0.33
 OPT
f=6
TT=0.323
T1=0.32
 OPT
f=6
TT=0.351
T1=0.05
 OPT
f=6
TT=0.425
T1=0.06
 OPT
f=6
TT=0.352
T1=0.05
 OPT
f=6
TT=0.434
T1=0.06
 OPT
f=6
TT=88.544
T1=0.01
 OPT
f=6
TT=1.246
T1=0.05
 OPT
f=6
TT=25.834
T1=0.16
 OPT
f=6
TT=42.998
T1=0.03
 OPT
f=6
TT=52.36
T1=0.65
 OPT
f=6
TT=321.632
T1=0.03
 OPT
f=6
TT=60.736
T1=0.49
 OPT
f=6
TT=5.409
T1=3.2
 OPT
f=6
TT=11.444
T1=5.19
 OPT
f=6
TT=160.631
T1=2.24
 OPT
f=6
TT=5.744
T1=2.62
 OPT
f=6
TT=82.75
T1=1.23
 OPT
f=6
TT=0.333
T1=0.04
 ?

TT=0.007

 OPT
f=6
TT=0.355
T1=0.35
 OPT
f=6
TT=0.368
T1=0.05
 OPT
f=6
TT=7.504
T1=3.75
 OPT
f=6
TT=7.684
T1=3.84
 OPT
f=6
TT=30.808
T1=1.23
 OPT
f=6
TT=16.272
T1=0.34
 OPT
f=6
TT=32.83
T1=1.55
 OPT
f=6
TT=2.941
T1=2.15
 OPT
f=6
TT=0.471
T1=0.17
 OPT
f=6
TT=2.224
T1=1.52
 OPT
f=6
TT=44.655
T1=0.01
 OPT
f=6
TT=43.85
T1=0.01
 OPT
f=6
TT=1050.12
T1=1050.15
 OPT
f=6
TT=1005.04
T1=1005.4
normalized-PB07/OPT-SMALLINT-NLC/
submittedPB07/manquinho/
mds/normalized-mds_50_10_5.opb 		OPT
f=6
TT=0.413
T1=0.01
 OPT
f=6
TT=21.332
T1=0.06
 OPT
f=6
TT=1.914
T1=0.01
 OPT
f=6
TT=0.61
T1=0.6
 OPT
f=6
TT=0.668
T1=0.16
 OPT
f=6
TT=0.554
T1=0.55
 OPT
f=6
TT=0.505
T1=0.12
 OPT
f=6
TT=0.467
T1=0.04
 OPT
f=6
TT=0.517
T1=0.07
 OPT
f=6
TT=0.465
T1=0.05
 OPT
f=6
TT=0.508
T1=0.07
 OPT
f=6
TT=87.084
T1=0.01
 OPT
f=6
TT=1.316
T1=0.1
 OPT
f=6
TT=31.061
T1=0.18
 OPT
f=6
TT=68.118
T1=3.29
 OPT
f=6
TT=68.95
T1=0.62
 OPT
f=6
TT=135.186
T1=0.83
 OPT
f=6
TT=61.54
T1=1.77
 OPT
f=6
TT=4.113
T1=2.24
 OPT
f=6
TT=3.335
T1=1.13
 OPT
f=6
TT=158.099
T1=2.23
 OPT
f=6
TT=5.225
T1=2.05
 OPT
f=6
TT=95.121
T1=1.23
 OPT
f=6
TT=0.413
T1=0.04
 ?

TT=0.006

 OPT
f=6
TT=0.508
T1=0.51
 OPT
f=6
TT=0.505
T1=0.02
 OPT
f=6
TT=9.005
T1=4.5
 OPT
f=6
TT=9.295
T1=4.66
 OPT
f=6
TT=35.109
T1=1.22
 OPT
f=6
TT=20.1
T1=0.59
 OPT
f=6
TT=31.81
T1=0.26
 OPT
f=6
TT=2.632
T1=1.61
 OPT
f=6
TT=0.421
T1=0.06
 OPT
f=6
TT=2.71
T1=1.75
 OPT
f=6
TT=43.914
T1=0.01
 OPT
f=6
TT=43.622
T1=0.01
 OPT
f=6
TT=128.324
T1=128.31
 OPT
f=6
TT=120.341
T1=120.37
normalized-PB07/OPT-SMALLINT-NLC/
submittedPB07/manquinho/
mds/normalized-mds_50_25_4.opb 		OPT
f=2
TT=0.013
T1=0.01
 OPT
f=2
TT=0.351
T1=0.32
 OPT
f=2
TT=0.013
T1=0.01
 OPT
f=2
TT=0.16
T1=0.14
 OPT
f=2
TT=0.147
T1=0.15
 OPT
f=2
TT=0.097
T1=0.09
 OPT
f=2
TT=0.113
T1=0.11
 OPT
f=2
TT=0.112
T1=0.11
 OPT
f=2
TT=0.105
T1=0.1
 OPT
f=2
TT=0.111
T1=0.11
 OPT
f=2
TT=0.109
T1=0.1
 OPT
f=2
TT=0.142
T1=0.13
 OPT
f=2
TT=0.089
T1=0.08
 OPT
f=2
TT=0.402
T1=0.36
 OPT
f=2
TT=0.182
T1=0.17
 OPT
f=2
TT=1.263
T1=0.59
 OPT
f=2
TT=0.742
T1=0.73
 OPT
f=2
TT=1.355
T1=0.64
 OPT
f=2
TT=3.124
T1=3.1
 OPT
f=2
TT=62.769
T1=32.09
 OPT
f=2
TT=2.924
T1=3.35
 OPT
f=2
TT=2.739
T1=2.72
 OPT
f=2
TT=2.522
T1=1.82
 OPT
f=2
TT=0.178
T1=0.17
 ?

TT=0.005

 OPT
f=2
TT=0.1
T1=0.1
 OPT
f=2
TT=0.141
T1=0.12
 OPT
f=2
TT=0.051
T1=0.02
 OPT
f=2
TT=0.051
T1=0.02
 OPT
f=2
TT=2.784
T1=1.83
 OPT
f=2
TT=1.024
T1=0.52
 OPT
f=2
TT=0.804
T1=0.39
 OPT
f=2
TT=1.159
T1=0.77
 OPT
f=2
TT=0.316
T1=0.3
 OPT
f=2
TT=0.84
T1=0.83
 OPT
f=2
TT=0.147
T1=0.04
 OPT
f=2
TT=0.146
T1=0.04
 OPT
f=2
TT=0.03
T1=0.02
 OPT
f=2
TT=0.029
T1=0.02
Bench nameBest resultsbsolo
3.2
(complete)		clasp
2.0.6-R5325 (opt)
(complete)		npSolver
1.0
(complete)		npSolver
1.0 (fixed)
(complete)		npSolver
inc
(complete)		npSolver
inc (fixed)
(complete)		npSolver
inc-topDown
(complete)		npSolver
inc-topDown (fixed)
(complete)		npSolver
inc-topdown-quickBound
(complete)		npSolver
inc-topdown-quickBound (fixed)
(complete)		PB07: bsolo
3.0.17
(complete)		PB07: minisat+
1.14
(complete)		PB07: PB-clasp
2007-04-10
(complete)		PB07: Pueblo
1.4
(incomplete)		PB07: SAT4JPseudoResolution
2007-03-23
(complete)		PB09: bsolo
3.1
(complete)		PB09: SAT4J Pseudo Resolution
2.1.1
(complete)		PB09: SCIPspx
SCIP 1.1.0.7 with SoPLEX 1.4.1(24.4.2009)
(complete)		PB10: pb_cplex
2010-06-29
(complete)		PB10: SAT4J PB RES // CP
2.2.0 2010-05-31
(complete)		PB10: SCIPspx
SCIP 1.2.1.3 with SoPlex 1.4.2 (CVS Version 30.5.2010) as LP solver
(complete)		PB11: Sat4j Res//CP
2.3.0
(complete)		PB11: SCIP spx E_2
2011-06-10 (fixed)
(complete)		PB12: minisatp
1.0-2-g022594c
(complete)		pb2sat
2012-05-19
(complete)		pb2satCp2
2012-05-19
(complete)		pwbo
2.0
(complete)		pwbo
2.02
(complete)		SAT 4j PB RES // CP
2.3.2 Snapshot
(complete)		Sat 4j PB Resolution
2.3.2 Snapshot
(complete)		SAT4J PB specific settings
2.3.2 snapshot
(complete)		SCIP spx
SCIP 2.1.1.4. with SoPlex 1.6.0.3 fixed
(complete)		SCIP spx E
SCIP 2.1.1.4. Exp with SoPlex 1.6.0.3 fixed
(complete)		SCIP spx standard
SCIP 2.1.1.4. with SoPlex 1.6.0.3 standard fixed
(complete)		toysat
2012-05-17
(complete)		toysat
2012-06-01
(complete)		wbo
1.7
(complete)		wbo
1.72
(complete)
normalized-PB07/OPT-SMALLINT-NLC/
submittedPB07/manquinho/mis/
normalized-mis_1000_25_1.opb 		SAT
f=-126
TT=1798.01
T1=0.48
 SAT
f=-126
TT=1798.01
T1=0.48
 SAT (TO)
f=-125
TT=1800.05
T1=556.82
 ? (TO)

TT=1800.12

 ? (TO)

TT=1800.07

 ? (TO)

TT=1800.06

 ? (TO)

TT=1800.12

 ? (TO)

TT=1800.15

 ? (TO)

TT=1800.03

 ? (TO)

TT=1800.1

 ? (TO)

TT=1800.13

 SAT (TO)
f=-126
TT=1800.07
T1=0.48
 SAT (TO)
f=-126
TT=1800.05
T1=835.14
 ? (TO)

TT=1201.24

 SAT
f=-85
TT=1783.01
T1=1783.34
 ?

TT=8.702

 SAT
f=-126
TT=1798.01
T1=0.27
 SAT
f=-118
TT=158.79
T1=16.41
 SAT
f=-98
TT=1799.5
T1=1.06
 ? (TO)

TT=1800.39

 SAT (TO)
f=-123
TT=1800.28
T1=770.37
 SAT
f=-99
TT=1789.74
T1=1.02
 SAT (TO)
f=-124
TT=1800.03
T1=330.19
 SAT
f=-99
TT=1796.91
T1=1.05
 ?

TT=0.006

 ? (TO)

TT=1800.15

 ? (TO)

TT=1800.1

 SAT (TO)
f=-126
TT=1800.19
T1=900.51
 SAT (TO)
f=-126
TT=1800.09
T1=900.41
 SAT (TO)
f=-121
TT=1800.17
T1=362.4
 SAT (TO)
f=-106
TT=1800.02
T1=0.82
 SAT (TO)
f=-120
TT=1801.33
T1=1203.18
 SAT
f=-99
TT=1796.86
T1=1.16
 SAT
f=-99
TT=1797
T1=0.97
 SAT
f=-99
TT=1796.93
T1=0.98
 ? (TO)

TT=1800.06

 ? (TO)

TT=1800.11

 ?

TT=1799.94

 ?

TT=1799.9
normalized-PB07/OPT-SMALLINT-NLC/
submittedPB07/manquinho/mis/
normalized-mis_1000_25_2.opb 		SAT
f=-128
TT=1800.09
T1=900.41
 SAT
f=-122
TT=1798.01
T1=0.52
 SAT (TO)
f=-127
TT=1800.01
T1=1074.34
 ? (TO)

TT=1800.1

 ? (TO)

TT=1800.12

 ? (TO)

TT=1800.06

 ? (TO)

TT=1800.09

 ? (TO)

TT=1800.06

 ? (TO)

TT=1800.04

 ? (TO)

TT=1800.08

 ? (TO)

TT=1800.12

 SAT (TO)
f=-122
TT=1800.08
T1=0.45
 SAT (TO)
f=-125
TT=1800.03
T1=2.06
 ? (TO)

TT=1800.11

 SAT
f=-76
TT=1783.01
T1=1783.35
 ?

TT=8.754

 SAT
f=-122
TT=1798.01
T1=0.25
 ? (exit code)

TT=159.27

 SAT
f=-91
TT=1799.73
T1=2.29
 ? (TO)

TT=1800.1

 ? (TO)

TT=1258.94

 SAT
f=-102
TT=1789.8
T1=1.03
 SAT (TO)
f=-125
TT=1800.03
T1=662.79
 SAT
f=-102
TT=1796.95
T1=1.08
 ?

TT=0.006

 ? (TO)

TT=1800.1

 ? (TO)

TT=1800.04

 SAT (TO)
f=-128
TT=1800.09
T1=900.41
 SAT (TO)
f=-128
TT=1800.44
T1=900.41
 SAT (TO)
f=-122
TT=1802.44
T1=172.6
 SAT (TO)
f=-103
TT=1800.72
T1=0.88
 SAT (TO)
f=-120
TT=1800.05
T1=498.03
 SAT
f=-102
TT=1796.83
T1=0.95
 SAT
f=-102
TT=1796.9
T1=0.92
 SAT
f=-102
TT=1796.94
T1=1.2
 ? (TO)

TT=1800.05

 ? (TO)

TT=1800.1

 ?

TT=1799.86

 ?

TT=1799.44
normalized-PB07/OPT-SMALLINT-NLC/
submittedPB07/manquinho/mis/
normalized-mis_1000_25_4.opb 		SAT
f=-128
TT=1800.02
T1=900.41
 SAT
f=-119
TT=1798.01
T1=177.56
 SAT (TO)
f=-126
TT=1800.06
T1=1196.61
 ? (TO)

TT=1800.12

 ? (TO)

TT=1800.13

 ? (TO)

TT=1800.13

 ? (TO)

TT=1800.09

 ? (TO)

TT=1800.09

 ? (TO)

TT=1800.09

 ? (TO)

TT=1800.06

 ? (TO)

TT=1800.09

 SAT (TO)
f=-118
TT=1800.05
T1=0.48
 SAT (TO)
f=-124
TT=1800.05
T1=2.4
 ? (TO)

TT=1695.5

 SAT
f=-83
TT=1783.01
T1=1783.36
 ?

TT=8.853

 SAT
f=-120
TT=1798.01
T1=496.04
 ? (exit code)

TT=163.14

 SAT (TO)
f=-94
TT=1800.72
T1=5.17
 ? (TO)

TT=1800.34

 SAT (TO)
f=-122
TT=1800.13
T1=486.66
 SAT
f=-99
TT=1789.79
T1=492.15
 SAT (TO)
f=-124
TT=1800.23
T1=854.84
 SAT
f=-98
TT=1796.89
T1=1.23
 ?

TT=0.006

 ? (TO)

TT=1800.09

 ? (TO)

TT=1800.08

 SAT (TO)
f=-128
TT=1800.02
T1=900.41
 SAT (TO)
f=-128
TT=1800.13
T1=900.41
 SAT (TO)
f=-120
TT=1800.57
T1=105.46
 SAT (TO)
f=-108
TT=1800.91
T1=0.93
 SAT (TO)
f=-118
TT=1801.47
T1=24.69
 SAT
f=-98
TT=1796.83
T1=0.98
 SAT
f=-98
TT=1796.89
T1=0.95
 SAT
f=-98
TT=1796.85
T1=0.92
 ? (TO)

TT=1800.1

 ? (TO)

TT=1800.1

 ?

TT=1799.95

 ?

TT=1799.59
normalized-PB07/OPT-SMALLINT-NLC/
submittedPB07/manquinho/mis/
normalized-mis_1000_25_5.opb 		SAT
f=-128
TT=1800.07
T1=900.41
 SAT
f=-120
TT=1798.01
T1=36.36
 SAT (TO)
f=-127
TT=1800.05
T1=1338.5
 ? (TO)

TT=1800.11

 ? (TO)

TT=1800.11

 ? (TO)

TT=1800.1

 ? (TO)

TT=1800.09

 ? (TO)

TT=1800.15

 ? (TO)

TT=1800.04

 ? (TO)

TT=1800.08

 ? (TO)

TT=1800.09

 SAT (TO)
f=-120
TT=1800.05
T1=196.04
 SAT (TO)
f=-124
TT=1800.04
T1=443.64
 ? (TO)

TT=1800.09

 SAT
f=-95
TT=1783.01
T1=1783.35
 ?

TT=8.811

 SAT
f=-119
TT=1798.01
T1=0.27
 No Cert.

TT=180.34

 SAT (TO)
f=-91
TT=1800.26
T1=0.73
 ? (TO)

TT=1800.27

 SAT (TO)
f=-122
TT=1800.37
T1=575.32
 SAT
f=-101
TT=1789.75
T1=0.95
 SAT (TO)
f=-123
TT=1800.19
T1=771.35
 SAT
f=-101
TT=1796.98
T1=1.05
 ?

TT=0.008

 ? (TO)

TT=1800.12

 ? (TO)

TT=1800.09

 SAT (TO)
f=-128
TT=1800.11
T1=900.41
 SAT (TO)
f=-128
TT=1800.07
T1=900.41
 SAT (TO)
f=-121
TT=1800.63
T1=425.57
 SAT (TO)
f=-100
TT=1800.6
T1=0.96
 SAT (TO)
f=-119
TT=1800.47
T1=54.41
 SAT
f=-101
TT=1796.93
T1=1.18
 SAT
f=-101
TT=1796.97
T1=1.18
 SAT
f=-101
TT=1796.85
T1=1.19
 ? (TO)

TT=1800.08

 ? (TO)

TT=1800.05

 ?

TT=1799.91

 ?

TT=1799.56
normalized-PB07/OPT-SMALLINT-NLC/
submittedPB07/manquinho/mis/
normalized-mis_1000_60_1.opb 		SAT
f=-73
TT=1800.04
T1=900.51
 SAT
f=-65
TT=1798.01
T1=2.52
 SAT (TO)
f=-73
TT=1800.06
T1=1253.4
 ? (TO)

TT=1800.15

 ? (TO)

TT=1800.04

 ? (TO)

TT=1800.08

 ? (TO)

TT=1800.01

 ? (TO)

TT=1800.07

 ? (TO)

TT=1800.13

 ? (TO)

TT=1800.08

 ? (TO)

TT=1800.01

 SAT (TO)
f=-65
TT=1800.09
T1=2.52
 SAT (TO)
f=-70
TT=1800.13
T1=72.85
 ? (TO)

TT=1568.22

 SAT
f=-39
TT=1783.04
T1=1783.39
 ?

TT=85.291

 SAT
f=-66
TT=1798.01
T1=223.74
 SAT (TO)
f=-65
TT=1800.04
T1=164.72
 SAT
f=-51
TT=1797.75
T1=9.48
 ? (TO)

TT=1800.1

 SAT (TO)
f=-69
TT=1801.23
T1=212.83
 SAT
f=-58
TT=1789.85
T1=1180.54
 SAT (TO)
f=-68
TT=1800.87
T1=56.16
 SAT
f=-51
TT=1796.97
T1=2.92
 ?

TT=0.006

 ? (TO)

TT=1800.1

 ? (TO)

TT=1800.04

 SAT (TO)
f=-73
TT=1800.58
T1=900.61
 SAT (TO)
f=-73
TT=1800.04
T1=900.51
 SAT (TO)
f=-68
TT=1800.39
T1=661.5
 SAT (TO)
f=-55
TT=1800.08
T1=15.77
 SAT (TO)
f=-66
TT=1800.54
T1=399.38
 SAT
f=-51
TT=1796.85
T1=2.31
 SAT
f=-51
TT=1797.04
T1=2.26
 SAT
f=-51
TT=1796.88
T1=2.51
 ? (TO)

TT=1800.07

 ? (TO)

TT=1800.03

 ?

TT=1799.87

 ?

TT=1800
normalized-PB07/OPT-SMALLINT-NLC/
submittedPB07/manquinho/mis/
normalized-mis_1000_60_4.opb 		SAT
f=-71
TT=1800.09
T1=900.41
 SAT
f=-66
TT=1798.01
T1=1690.52
 SAT (TO)
f=-71
TT=1800.09
T1=1215.82
 ? (TO)

TT=1800.06

 ? (TO)

TT=1800.1

 ? (TO)

TT=1800.06

 ? (TO)

TT=1800.13

 ? (TO)

TT=1800.07

 ? (TO)

TT=1800.04

 ? (TO)

TT=1800.03

 ? (TO)

TT=1800.03

 SAT (TO)
f=-63
TT=1800.11
T1=2.56
 SAT (TO)
f=-68
TT=1800.12
T1=3.21
 ? (TO)

TT=1800.06

 SAT
f=-42
TT=1783.02
T1=1783.47
 ?

TT=85.161

 SAT
f=-65
TT=1798.01
T1=1027.44
 SAT (TO)
f=-67
TT=1800.1
T1=567.2
 SAT
f=-50
TT=1797.17
T1=5.53
 ? (TO)

TT=1800.29

 SAT (TO)
f=-69
TT=1800.77
T1=432.03
 SAT
f=-57
TT=1789.86
T1=1681.79
 SAT (TO)
f=-70
TT=1800.16
T1=14.64
 SAT
f=-53
TT=1796.98
T1=3.16
 ?

TT=0.006

 ? (TO)

TT=1800.11

 ? (TO)

TT=1800.11

 SAT (TO)
f=-71
TT=1800.2
T1=900.61
 SAT (TO)
f=-71
TT=1800.44
T1=900.41
 SAT (TO)
f=-66
TT=1800.18
T1=134.66
 SAT (TO)
f=-55
TT=1800.93
T1=1.34
 SAT (TO)
f=-68
TT=1800.05
T1=200.23
 SAT
f=-53
TT=1796.85
T1=2.64
 SAT
f=-53
TT=1796.94
T1=2.21
 SAT
f=-53
TT=1796.86
T1=2.34
 ? (TO)

TT=1800.06

 ? (TO)

TT=1800.08

 ?

TT=1799.89

 ?

TT=1799.62
normalized-PB07/OPT-SMALLINT-NLC/
submittedPB07/manquinho/
mis/normalized-mis_100_10_1.opb 		OPT
f=-26
TT=2.581
T1=1.31
 SAT
f=-26
TT=1798
T1=166.92
 OPT
f=-26
TT=844.311
T1=4.95
 OPT
f=-26
TT=131.195
T1=76.94
 OPT
f=-26
TT=130.845
T1=76.73
 OPT
f=-26
TT=130.707
T1=76.3
 OPT
f=-26
TT=132.701
T1=77.49
 OPT
f=-26
TT=82.08
T1=28.4
 OPT
f=-26
TT=83.559
T1=27.59
 OPT
f=-26
TT=84.459
T1=28.39
 OPT
f=-26
TT=82.616
T1=28.05
 SAT (TO)
f=-26
TT=1800.03
T1=74.32
 OPT
f=-26
TT=106.784
T1=35.47
 ? (TO)

TT=1578.12

 OPT
f=-26
TT=639.869
T1=639.96
 ?

TT=0.315

 SAT
f=-26
TT=1798
T1=88.88
 SAT (TO)
f=-25
TT=1800.06
T1=57.49
 OPT
f=-26
TT=2.752
T1=1.31
 OPT
f=-26
TT=1.015
T1=0.57
 OPT
f=-26
TT=1624.17
T1=46.33
 SAT
f=-26
TT=1789.74
T1=1388.44
 OPT
f=-26
TT=1283.72
T1=123.29
 OPT
f=-26
TT=2.857
T1=2.17
 ?

TT=0.005

 OPT
f=-26
TT=118.654
T1=60.24
 OPT
f=-26
TT=60.989
T1=2.44
 OPT
f=-26
TT=1260.5
T1=630.3
 OPT
f=-26
TT=1095.31
T1=547.68
 SAT (TO)
f=-25
TT=1800.08
T1=19.33
 SAT (TO)
f=-24
TT=1800.68
T1=142.64
 SAT (TO)
f=-26
TT=1800.02
T1=25.56
 OPT
f=-26
TT=3.093
T1=2.7
 OPT
f=-26
TT=2.581
T1=2.22
 OPT
f=-26
TT=3.405
T1=3.11
 ? (TO)

TT=1800.07

 ? (TO)

TT=1800.09

 ?

TT=1799.9

 ?

TT=1799.5
normalized-PB07/OPT-SMALLINT-NLC/
submittedPB07/manquinho/
mis/normalized-mis_100_10_2.opb 		OPT
f=-26
TT=2.641
T1=0.42
 SAT
f=-26
TT=1798
T1=205.72
 OPT
f=-26
TT=590.279
T1=0.42
 OPT
f=-26
TT=234.374
T1=154.24
 OPT
f=-26
TT=235.291
T1=153.09
 OPT
f=-26
TT=234.677
T1=153.3
 OPT
f=-26
TT=238.344
T1=155.67
 OPT
f=-26
TT=181.636
T1=100.85
 OPT
f=-26
TT=183.002
T1=101.17
 OPT
f=-26
TT=186.323
T1=100.99
 OPT
f=-26
TT=181.391
T1=100.91
 SAT (TO)
f=-26
TT=1800.03
T1=412.37
 OPT
f=-26
TT=146.944
T1=12.5
 ? (TO)

TT=1800.04

 OPT
f=-26
TT=467.716
T1=467.82
 ?

TT=0.325

 SAT
f=-26
TT=1798
T1=359.41
 SAT (TO)
f=-24
TT=1801.02
T1=0.56
 OPT
f=-26
TT=4.281
T1=3.75
 OPT
f=-26
TT=1.038
T1=0.55
 SAT (TO)
f=-26
TT=1800.12
T1=728.18
 OPT
f=-26
TT=1768.52
T1=378.82
 OPT
f=-26
TT=1235.76
T1=14.83
 OPT
f=-26
TT=3.361
T1=3.08
 ?

TT=0.005

 OPT
f=-26
TT=212.904
T1=111.55
 OPT
f=-26
TT=148.044
T1=52.04
 SAT (TO)
f=-26
TT=1800.16
T1=900.31
 SAT (TO)
f=-26
TT=1800.15
T1=900.31
 SAT (TO)
f=-24
TT=1800.78
T1=4.75
 SAT (TO)
f=-25
TT=1800.05
T1=848.42
 SAT (TO)
f=-26
TT=1800.09
T1=2.56
 OPT
f=-26
TT=3.235
T1=2.45
 OPT
f=-26
TT=2.641
T1=1.62
 OPT
f=-26
TT=3.653
T1=3.1
 ? (TO)

TT=1800.12

 ? (TO)

TT=1800.11

 ?

TT=1799.92

 ?

TT=1799.91
normalized-PB07/OPT-SMALLINT-NLC/
submittedPB07/manquinho/
mis/normalized-mis_100_10_3.opb 		OPT
f=-26
TT=3.019
T1=2.17
 SAT
f=-26
TT=1798
T1=1106.35
 OPT
f=-26
TT=671.417
T1=9.67
 OPT
f=-26
TT=216.293
T1=147.05
 OPT
f=-26
TT=218.557
T1=148.35
 OPT
f=-26
TT=220.576
T1=151.62
 OPT
f=-26
TT=216.806
T1=148.81
 OPT
f=-26
TT=191.588
T1=118.14
 OPT
f=-26
TT=184.453
T1=114.65
 OPT
f=-26
TT=184.236
T1=115.11
 OPT
f=-26
TT=182.57
T1=113.59
 SAT (TO)
f=-25
TT=1800.02
T1=697.47
 OPT
f=-26
TT=108.009
T1=10.26
 ? (TO)

TT=1349.65

 OPT
f=-26
TT=647.784
T1=647.88
 ?

TT=0.325

 ?

TT=0.005

 SAT (TO)
f=-25
TT=1800.04
T1=67.32
 OPT
f=-26
TT=3.019
T1=2.17
 No Cert.

TT=1.351

 OPT
f=-26
TT=1440.88
T1=81.65
 SAT
f=-26
TT=1789.74
T1=1451.71
 SAT (TO)
f=-26
TT=1800.62
T1=642.31
 OPT
f=-26
TT=4.728
T1=4.62
 ?

TT=0.005

 OPT
f=-26
TT=164.647
T1=109.97
 OPT
f=-26
TT=112.448
T1=59.35
 No Cert.

TT=1116.69

 No Cert.

TT=1007.27

 SAT (TO)
f=-24
TT=1800.66
T1=167.25
 SAT (TO)
f=-24
TT=1800.03
T1=1359.49
 SAT (TO)
f=-25
TT=1800.06
T1=19.31
 OPT
f=-26
TT=3.435
T1=3.23
 OPT
f=-26
TT=3.164
T1=2.93
 OPT
f=-26
TT=3.979
T1=3.95
 ? (TO)

TT=1800.07

 ? (TO)

TT=1800.07

 ?

TT=1799.92

 ?

TT=1799.57
normalized-PB07/OPT-SMALLINT-NLC/
submittedPB07/manquinho/
mis/normalized-mis_100_10_5.opb 		OPT
f=-25
TT=3.149
T1=0.46
 SAT
f=-25
TT=1798
T1=166.38
 OPT
f=-25
TT=1090.24
T1=0.46
 OPT
f=-25
TT=97.315
T1=16.96
 OPT
f=-25
TT=95.832
T1=16.75
 OPT
f=-25
TT=98.054
T1=16.88
 OPT
f=-25
TT=96.065
T1=16.57
 OPT
f=-25
TT=79.282
T1=17.75
 OPT
f=-25
TT=78.426
T1=18.26
 OPT
f=-25
TT=78.056
T1=18.08
 OPT
f=-25
TT=79.417
T1=19.07
 SAT (TO)
f=-25
TT=1800.03
T1=54.71
 OPT
f=-25
TT=107.313
T1=0.62
 ? (TO)

TT=1487.87

 OPT
f=-25
TT=652.945
T1=653.04
 ?

TT=0.313

 SAT
f=-25
TT=1798
T1=728.64
 SAT (TO)
f=-24
TT=1800.01
T1=0.93
 OPT
f=-25
TT=3.279
T1=2.72
 OPT
f=-25
TT=3.249
T1=1.56
 SAT (TO)
f=-25
TT=1800.25
T1=24.33
 SAT
f=-25
TT=1789.74
T1=191.03
 OPT
f=-25
TT=1712.82
T1=7.82
 OPT
f=-25
TT=4.783
T1=3.81
 ?

TT=0.005

 OPT
f=-25
TT=110.406
T1=28.22
 OPT
f=-25
TT=89.489
T1=28.91
 OPT
f=-25
TT=909.91
T1=455.1
 OPT
f=-25
TT=860.245
T1=430.19
 SAT (TO)
f=-24
TT=1800.64
T1=493.41
 SAT (TO)
f=-23
TT=1801.02
T1=50.8
 SAT (TO)
f=-25
TT=1800.77
T1=7.11
 OPT
f=-25
TT=3.735
T1=3.38
 OPT
f=-25
TT=3.149
T1=2.24
 OPT
f=-25
TT=3.529
T1=2.86
 ? (TO)

TT=1800.1

 ? (TO)

TT=1800.03

 ?

TT=1799.58

 ?

TT=1799.55
Bench nameBest resultsbsolo
3.2
(complete)		clasp
2.0.6-R5325 (opt)
(complete)		npSolver
1.0
(complete)		npSolver
1.0 (fixed)
(complete)		npSolver
inc
(complete)		npSolver
inc (fixed)
(complete)		npSolver
inc-topDown
(complete)		npSolver
inc-topDown (fixed)
(complete)		npSolver
inc-topdown-quickBound
(complete)		npSolver
inc-topdown-quickBound (fixed)
(complete)		PB07: bsolo
3.0.17
(complete)		PB07: minisat+
1.14
(complete)		PB07: PB-clasp
2007-04-10
(complete)		PB07: Pueblo
1.4
(incomplete)		PB07: SAT4JPseudoResolution
2007-03-23
(complete)		PB09: bsolo
3.1
(complete)		PB09: SAT4J Pseudo Resolution
2.1.1
(complete)		PB09: SCIPspx
SCIP 1.1.0.7 with SoPLEX 1.4.1(24.4.2009)
(complete)		PB10: pb_cplex
2010-06-29
(complete)		PB10: SAT4J PB RES // CP
2.2.0 2010-05-31
(complete)		PB10: SCIPspx
SCIP 1.2.1.3 with SoPlex 1.4.2 (CVS Version 30.5.2010) as LP solver
(complete)		PB11: Sat4j Res//CP
2.3.0
(complete)		PB11: SCIP spx E_2
2011-06-10 (fixed)
(complete)		PB12: minisatp
1.0-2-g022594c
(complete)		pb2sat
2012-05-19
(complete)		pb2satCp2
2012-05-19
(complete)		pwbo
2.0
(complete)		pwbo
2.02
(complete)		SAT 4j PB RES // CP
2.3.2 Snapshot
(complete)		Sat 4j PB Resolution
2.3.2 Snapshot
(complete)		SAT4J PB specific settings
2.3.2 snapshot
(complete)		SCIP spx
SCIP 2.1.1.4. with SoPlex 1.6.0.3 fixed
(complete)		SCIP spx E
SCIP 2.1.1.4. Exp with SoPlex 1.6.0.3 fixed
(complete)		SCIP spx standard
SCIP 2.1.1.4. with SoPlex 1.6.0.3 standard fixed
(complete)		toysat
2012-05-17
(complete)		toysat
2012-06-01
(complete)		wbo
1.7
(complete)		wbo
1.72
(complete)
normalized-PB07/OPT-SMALLINT-NLC/
submittedPB07/manquinho/
mis/normalized-mis_100_25_1.opb 		OPT
f=-15
TT=2.462
T1=0.09
 OPT
f=-15
TT=31.645
T1=6
 OPT
f=-15
TT=3.372
T1=0.32
 OPT
f=-15
TT=8.019
T1=3.16
 OPT
f=-15
TT=7.957
T1=3.2
 OPT
f=-15
TT=8.446
T1=3.31
 OPT
f=-15
TT=8.342
T1=3.3
 OPT
f=-15
TT=5.874
T1=0.74
 OPT
f=-15
TT=5.844
T1=0.8
 OPT
f=-15
TT=5.606
T1=0.74
 OPT
f=-15
TT=5.495
T1=0.75
 OPT
f=-15
TT=39.602
T1=4.1
 OPT
f=-15
TT=7.247
T1=0.09
 ? (TO)

TT=1674.3

 OPT
f=-15
TT=18.672
T1=18.67
 ?

TT=0.673

 OPT
f=-15
TT=31.43
T1=0.27
 OPT
f=-15
TT=248.125
T1=43.72
 OPT
f=-15
TT=3.484
T1=2.34
 OPT
f=-15
TT=1.733
T1=0.97
 OPT
f=-15
TT=46.347
T1=5.43
 OPT
f=-15
TT=24.697
T1=1.49
 OPT
f=-15
TT=31.49
T1=2.84
 OPT
f=-15
TT=2.718
T1=1.99
 ?

TT=0.006

 OPT
f=-15
TT=10.667
T1=5.24
 OPT
f=-15
TT=7.976
T1=2.47
 OPT
f=-15
TT=59.805
T1=29.98
 OPT
f=-15
TT=61.332
T1=30.76
 OPT
f=-15
TT=52.224
T1=23.04
 OPT
f=-15
TT=29.861
T1=8.09
 OPT
f=-15
TT=26.35
T1=12.62
 OPT
f=-15
TT=2.848
T1=2.74
 OPT
f=-15
TT=2.55
T1=1.36
 OPT
f=-15
TT=2.462
T1=1.1
 OPT
f=-15
TT=149.236
T1=99.48
 OPT
f=-15
TT=154.067
T1=102.71
 ?

TT=1799.61

 ?

TT=1799.83
normalized-PB07/OPT-SMALLINT-NLC/
submittedPB07/manquinho/mis/
normalized-mis_10_4_1.opb 		OPT
f=-3
TT=0.001
T1=0
 OPT
f=-3
TT=0.001
T1=0
 OPT
f=-3
TT=0.002
T1=0
 OPT
f=-3
TT=0.05
T1=0.04
 OPT
f=-3
TT=0.058
T1=0.04
 OPT
f=-3
TT=0.013
T1=0.01
 OPT
f=-3
TT=0.022
T1=0.02
 OPT
f=-3
TT=0.016
T1=0.02
 OPT
f=-3
TT=0.02
T1=0.02
 OPT
f=-3
TT=0.014
T1=0.01
 OPT
f=-3
TT=0.022
T1=0.02
 OPT
f=-3
TT=0.001
T1=0.06
 OPT
f=-3
TT=0.002
T1=0
 ? (TO)

TT=1800.11

 OPT
f=-3
TT=0.002
T1=0
 ?

TT=0.104

 OPT
f=-3
TT=0.001
T1=0
 OPT
f=-3
TT=0.164
T1=0.14
 OPT
f=-3
TT=0.011
T1=0.01
 OPT
f=-3
TT=0.004
T1=0
 OPT
f=-3
TT=0.165
T1=1.13
 OPT
f=-3
TT=0.015
T1=0.01
 OPT
f=-3
TT=0.184
T1=0.64
 OPT
f=-3
TT=0.039
T1=0.03
 ?

TT=0.004

 OPT
f=-3
TT=0.023
T1=0.01
 OPT
f=-3
TT=0.025
T1=0.02
 OPT
f=-3
TT=0.001
T1=0
 OPT
f=-3
TT=0.001
T1=0
 OPT
f=-3
TT=0.182
T1=0.64
 OPT
f=-3
TT=0.163
T1=0.14
 OPT
f=-3
TT=0.205
T1=0.16
 OPT
f=-3
TT=0.021
T1=0.01
 OPT
f=-3
TT=0.034
T1=0.02
 OPT
f=-3
TT=0.013
T1=0.01
 OPT
f=-3
TT=0.002
T1=0
 OPT
f=-3
TT=0.003
T1=0
 OPT
f=-3
TT=0.001
T1=0
 OPT
f=-3
TT=0.001
T1=0
normalized-PB07/OPT-SMALLINT-NLC/
submittedPB07/manquinho/mis/
normalized-mis_10_4_2.opb 		OPT
f=-3
TT=0.001
T1=0
 OPT
f=-3
TT=0.002
T1=0
 OPT
f=-3
TT=0.002
T1=0
 OPT
f=-3
TT=0.062
T1=0.05
 OPT
f=-3
TT=0.07
T1=0.06
 OPT
f=-3
TT=0.018
T1=0.01
 OPT
f=-3
TT=0.024
T1=0.02
 OPT
f=-3
TT=0.017
T1=0.04
 OPT
f=-3
TT=0.025
T1=0.02
 OPT
f=-3
TT=0.015
T1=0.01
 OPT
f=-3
TT=0.021
T1=0.02
 OPT
f=-3
TT=0.003
T1=0
 OPT
f=-3
TT=0.002
T1=0
 ? (TO)

TT=1800.06

 OPT
f=-3
TT=0.002
T1=0
 ?

TT=0.102

 OPT
f=-3
TT=0.001
T1=0
 OPT
f=-3
TT=0.163
T1=0.14
 OPT
f=-3
TT=0.014
T1=0.01
 OPT
f=-3
TT=0.006
T1=0
 OPT
f=-3
TT=0.163
T1=2.14
 OPT
f=-3
TT=0.015
T1=0.01
 OPT
f=-3
TT=0.186
T1=1.16
 OPT
f=-3
TT=0.042
T1=0.03
 ?

TT=0.009

 OPT
f=-3
TT=0.023
T1=0.01
 OPT
f=-3
TT=0.025
T1=0.02
 OPT
f=-3
TT=0.002
T1=0
 OPT
f=-3
TT=0.001
T1=0
 OPT
f=-3
TT=0.193
T1=1.15
 OPT
f=-3
TT=0.152
T1=0.13
 OPT
f=-3
TT=0.174
T1=0.14
 OPT
f=-3
TT=0.027
T1=0.02
 OPT
f=-3
TT=0.034
T1=0.02
 OPT
f=-3
TT=0.016
T1=0.01
 OPT
f=-3
TT=0.003
T1=0
 OPT
f=-3
TT=0.003
T1=0
 OPT
f=-3
TT=0.001
T1=0
 OPT
f=-3
TT=0.001
T1=0
normalized-PB07/OPT-SMALLINT-NLC/
submittedPB07/manquinho/mis/
normalized-mis_10_4_3.opb 		OPT
f=-3
TT=0.001
T1=0
 OPT
f=-3
TT=0.001
T1=0
 OPT
f=-3
TT=0.002
T1=0
 OPT
f=-3
TT=0.039
T1=0.03
 OPT
f=-3
TT=0.07
T1=0.05
 OPT
f=-3
TT=0.02
T1=0.01
 OPT
f=-3
TT=0.029
T1=0.02
 OPT
f=-3
TT=0.012
T1=0.01
 OPT
f=-3
TT=0.023
T1=0.02
 OPT
f=-3
TT=0.016
T1=0.01
 OPT
f=-3
TT=0.026
T1=0.02
 OPT
f=-3
TT=0.002
T1=0
 OPT
f=-3
TT=0.002
T1=0
 ? (TO)

TT=1800.12

 OPT
f=-3
TT=0.002
T1=0
 ?

TT=0.115

 OPT
f=-3
TT=0.001
T1=0
 OPT
f=-3
TT=0.184
T1=0.13
 OPT
f=-3
TT=0.012
T1=0
 OPT
f=-3
TT=0.005
T1=0
 OPT
f=-3
TT=0.164
T1=2.14
 OPT
f=-3
TT=0.015
T1=0.01
 OPT
f=-3
TT=0.164
T1=1.13
 OPT
f=-3
TT=0.047
T1=0.03
 ?

TT=0.006

 OPT
f=-3
TT=0.023
T1=0.02
 OPT
f=-3
TT=0.018
T1=0.02
 OPT
f=-3
TT=0.002
T1=0
 OPT
f=-3
TT=0.001
T1=0
 OPT
f=-3
TT=0.174
T1=1.13
 OPT
f=-3
TT=0.174
T1=0.13
 OPT
f=-3
TT=0.185
T1=0.13
 OPT
f=-3
TT=0.024
T1=0.01
 OPT
f=-3
TT=0.026
T1=0.01
 OPT
f=-3
TT=0.015
T1=0.01
 OPT
f=-3
TT=0.003
T1=0
 OPT
f=-3
TT=0.004
T1=0
 OPT
f=-3
TT=0.001
T1=0
 OPT
f=-3
TT=0.001
T1=0
normalized-PB07/OPT-SMALLINT-NLC/
submittedPB07/manquinho/mis/
normalized-mis_10_4_5.opb 		OPT
f=-4
TT=0.001
T1=0
 OPT
f=-4
TT=0.001
T1=0
 OPT
f=-4
TT=0.002
T1=0
 OPT
f=-4
TT=0.039
T1=0.03
 OPT
f=-4
TT=0.052
T1=0.05
 OPT
f=-4
TT=0.014
T1=0.01
 OPT
f=-4
TT=0.027
T1=0.02
 OPT
f=-4
TT=0.015
T1=0.01
 OPT
f=-4
TT=0.023
T1=0.02
 OPT
f=-4
TT=0.011
T1=0.01
 OPT
f=-4
TT=0.022
T1=0.02
 OPT
f=-4
TT=0.004
T1=0.03
 OPT
f=-4
TT=0.001
T1=0
 ? (TO)

TT=1744.62

 OPT
f=-4
TT=0.001
T1=0
 ?

TT=0.104

 OPT
f=-4
TT=0.001
T1=0
 OPT
f=-4
TT=0.166
T1=0.16
 OPT
f=-4
TT=0.015
T1=0.01
 OPT
f=-4
TT=0.005
T1=0
 OPT
f=-4
TT=0.165
T1=3.14
 OPT
f=-4
TT=0.013
T1=0.01
 OPT
f=-4
TT=0.163
T1=1.64
 OPT
f=-4
TT=0.044
T1=0.03
 ?

TT=0.005

 OPT
f=-4
TT=0.028
T1=0.02
 OPT
f=-4
TT=0.031
T1=0.02
 OPT
f=-4
TT=0.001
T1=0
 OPT
f=-4
TT=0.001
T1=0
 OPT
f=-4
TT=0.172
T1=1.64
 OPT
f=-4
TT=0.174
T1=0.12
 OPT
f=-4
TT=0.174
T1=0.14
 OPT
f=-4
TT=0.028
T1=0.02
 OPT
f=-4
TT=0.034
T1=0.02
 OPT
f=-4
TT=0.016
T1=0.01
 OPT
f=-4
TT=0.002
T1=0
 OPT
f=-4
TT=0.003
T1=0
 OPT
f=-4
TT=0.003
T1=0
 OPT
f=-4
TT=0.001
T1=0
normalized-PB07/OPT-SMALLINT-NLC/
submittedPB07/manquinho/
mis/normalized-mis_200_10_1.opb 		SAT
f=-52
TT=1797.52
T1=426.41
 SAT
f=-48
TT=1798
T1=1009.42
 SAT (TO)
f=-50
TT=1800.03
T1=404.46
 ? (TO)

TT=1800.11

 ? (TO)

TT=1800.1

 ? (TO)

TT=1800.11

 ? (TO)

TT=1800.11

 ? (TO)

TT=1800.1

 ? (TO)

TT=1800.07

 ? (TO)

TT=1800.11

 ? (TO)

TT=1800.1

 SAT (TO)
f=-46
TT=1800.09
T1=455.12
 SAT (TO)
f=-48
TT=1800.02
T1=43.95
 ? (TO)

TT=1800.29

 SAT
f=-44
TT=1783.01
T1=1783.29
 ?

TT=0.553

 SAT
f=-48
TT=1798
T1=1045.86
 SAT (TO)
f=-46
TT=1800.71
T1=3.21
 SAT (TO)
f=-52
TT=1800.28
T1=426.41
 ? (TO)

TT=1800.02

 SAT (TO)
f=-48
TT=1800.59
T1=43.41
 SAT
f=-41
TT=1789.74
T1=625.6
 SAT (TO)
f=-48
TT=1800.55
T1=937.24
 SAT
f=-51
TT=1797.96
T1=400.88
 ?

TT=0.005

 ? (TO)

TT=1800.09

 ? (TO)

TT=1800.05

 SAT (TO)
f=-48
TT=1800.38
T1=900.31
 SAT (TO)
f=-48
TT=1800.53
T1=900.31
 SAT (TO)
f=-46
TT=1800.03
T1=345.44
 SAT (TO)
f=-43
TT=1800.02
T1=1044.28
 SAT (TO)
f=-46
TT=1800.1
T1=27.9
 SAT
f=-51
TT=1797.86
T1=258.54
 SAT
f=-52
TT=1797.58
T1=1506.54
 SAT
f=-52
TT=1797.52
T1=725.61
 ? (TO)

TT=1800.08

 ? (TO)

TT=1800.12

 ?

TT=1799.6

 ?

TT=1799.51
normalized-PB07/OPT-SMALLINT-NLC/
submittedPB07/manquinho/
mis/normalized-mis_200_10_5.opb 		SAT
f=-52
TT=1797.47
T1=62.38
 SAT
f=-47
TT=1798
T1=32.27
 SAT (TO)
f=-51
TT=1800.02
T1=613.14
 ? (TO)

TT=1800.03

 ? (TO)

TT=1800.11

 ? (TO)

TT=1800.12

 ? (TO)

TT=1800.13

 ? (TO)

TT=1800.12

 ? (TO)

TT=1800.07

 ? (TO)

TT=1800.09

 ? (TO)

TT=1800.09

 SAT (TO)
f=-47
TT=1800.12
T1=1762.97
 SAT (TO)
f=-50
TT=1800.02
T1=1466.5
 ? (TO)

TT=1800.11

 SAT
f=-44
TT=1783.01
T1=1783.3
 ?

TT=0.574

 SAT
f=-47
TT=1798
T1=1730.25
 SAT (TO)
f=-46
TT=1800.01
T1=2.87
 SAT (TO)
f=-52
TT=1800.31
T1=62.38
 ? (TO)

TT=1800.16

 SAT (TO)
f=-48
TT=1800.78
T1=339.15
 SAT
f=-45
TT=1789.74
T1=1278.31
 ? (TO)

TT=1801.41

 SAT
f=-52
TT=1797.74
T1=294.3
 ?

TT=0.005

 ? (TO)

TT=1800.05

 ? (TO)

TT=1800.12

 SAT (TO)
f=-48
TT=1800.08
T1=900.31
 SAT (TO)
f=-48
TT=1800.01
T1=900.31
 SAT (TO)
f=-47
TT=1800.49
T1=756.28
 SAT (TO)
f=-39
TT=1800.05
T1=10.39
 SAT (TO)
f=-48
TT=1800.61
T1=1674.91
 SAT
f=-52
TT=1797.47
T1=824.26
 SAT
f=-52
TT=1797.47
T1=468.31
 SAT
f=-52
TT=1797.47
T1=947.24
 ? (TO)

TT=1800.09

 ? (TO)

TT=1800.07

 ?

TT=1799.88

 ?

TT=1799.88
normalized-PB07/OPT-SMALLINT-NLC/
submittedPB07/manquinho/
mis/normalized-mis_200_25_1.opb 		SAT
f=-31
TT=1796.94
T1=428.22
 SAT
f=-28
TT=1798
T1=1024.83
 SAT (TO)
f=-30
TT=1800.02
T1=1332.27
 ? (TO)

TT=1800.12

 ? (TO)

TT=1800.12

 ? (TO)

TT=1800.11

 ? (TO)

TT=1800.12

 ? (TO)

TT=1800.09

 ? (TO)

TT=1800.11

 ? (TO)

TT=1800.1

 ? (TO)

TT=1800.08

 SAT (TO)
f=-28
TT=1800.08
T1=695.52
 SAT (TO)
f=-29
TT=1800.02
T1=250.01
 ? (TO)

TT=1143.95

 SAT
f=-26
TT=1783.01
T1=1783.28
 ?

TT=1.055

 SAT
f=-28
TT=1798
T1=1266.03
 SAT (TO)
f=-27
TT=1800.02
T1=245.72
 SAT (TO)
f=-31
TT=1800.25
T1=1156.45
 ? (TO)

TT=1800.15

 SAT (TO)
f=-29
TT=1800.57
T1=507.18
 SAT
f=-28
TT=1789.74
T1=1218.2
 SAT (TO)
f=-28
TT=1800.02
T1=8.5
 SAT
f=-31
TT=1797.08
T1=752.49
 ?

TT=0.004

 ? (TO)

TT=1800.11

 ? (TO)

TT=1800.12

 SAT (TO)
f=-30
TT=1800.37
T1=900.31
 SAT (TO)
f=-30
TT=1800.07
T1=900.31
 SAT (TO)
f=-26
TT=1800.06
T1=67.91
 SAT (TO)
f=-24
TT=1800.79
T1=474.85
 SAT (TO)
f=-27
TT=1800.09
T1=24.71
 SAT
f=-31
TT=1797.08
T1=428.22
 SAT
f=-31
TT=1796.99
T1=1135.77
 SAT
f=-31
TT=1796.94
T1=543.08
 ? (TO)

TT=1800.04

 ? (TO)

TT=1800.04

 ?

TT=1799.84

 ?

TT=1799.56
normalized-PB07/OPT-SMALLINT-NLC/
submittedPB07/manquinho/
mis/normalized-mis_200_25_3.opb 		SAT
f=-29
TT=1797.7
T1=6.18
 SAT
f=-27
TT=1798
T1=2.99
 SAT (TO)
f=-29
TT=1800.02
T1=24.24
 ? (TO)

TT=1800.12

 ? (TO)

TT=1800.12

 ? (TO)

TT=1800.12

 ? (TO)

TT=1800.11

 ? (TO)

TT=1800.12

 ? (TO)

TT=1800.13

 ? (TO)

TT=1800.12

 ? (TO)

TT=1800.12

 SAT (TO)
f=-27
TT=1800.11
T1=86.72
 SAT (TO)
f=-29
TT=1800.02
T1=312.78
 ? (TO)

TT=1800.06

 SAT
f=-25
TT=1783.01
T1=1783.31
 ?

TT=1.054

 SAT
f=-26
TT=1798
T1=0.04
 SAT (TO)
f=-28
TT=1801.16
T1=55.43
 SAT (TO)
f=-29
TT=1800.85
T1=341.25
 ? (TO)

TT=1800.21

 SAT (TO)
f=-28
TT=1800.85
T1=252.06
 SAT
f=-26
TT=1789.74
T1=220.51
 SAT (TO)
f=-28
TT=1800.14
T1=108.01
 SAT
f=-29
TT=1797.79
T1=88.08
 ?

TT=0.005

 ? (TO)

TT=1800.07

 ? (TO)

TT=1800.11

 SAT (TO)
f=-29
TT=1800.15
T1=900.31
 SAT (TO)
f=-29
TT=1800.14
T1=900.31
 SAT (TO)
f=-26
TT=1800.04
T1=22.17
 SAT (TO)
f=-25
TT=1800.05
T1=295.43
 SAT (TO)
f=-28
TT=1800.7
T1=6.52
 SAT
f=-29
TT=1797.8
T1=6.18
 SAT
f=-29
TT=1797.92
T1=348.38
 SAT
f=-29
TT=1797.7
T1=89.29
 ? (TO)

TT=1800.06

 ? (TO)

TT=1800.06

 ?

TT=1799.54

 ?

TT=1799.97
normalized-PB07/OPT-SMALLINT-NLC/
submittedPB07/manquinho/
mis/normalized-mis_200_25_5.opb 		SAT
f=-31
TT=1797.22
T1=1533.44
 SAT
f=-27
TT=1798
T1=163.75
 SAT (TO)
f=-30
TT=1800.03
T1=335.14
 ? (TO)

TT=1800.1

 ? (TO)

TT=1800.13

 ? (TO)

TT=1800.06

 ? (TO)

TT=1800.1

 ? (TO)

TT=1800.11

 ? (TO)

TT=1800.11

 ? (TO)

TT=1800.12

 ? (TO)

TT=1800.1

 SAT (TO)
f=-28
TT=1800.01
T1=156.02
 SAT (TO)
f=-28
TT=1800.02
T1=33.91
 ? (TO)

TT=1800.26

 SAT
f=-27
TT=1783.01
T1=1783.28
 ?

TT=1.054

 SAT
f=-27
TT=1798
T1=147.82
 SAT (TO)
f=-27
TT=1800.07
T1=90.39
 SAT (TO)
f=-30
TT=1800.52
T1=296.37
 ? (TO)

TT=1800.03

 SAT (TO)
f=-28
TT=1800.48
T1=53.99
 SAT
f=-28
TT=1789.74
T1=1430.7
 SAT (TO)
f=-28
TT=1800.74
T1=14.62
 SAT
f=-31
TT=1797.22
T1=1533.44
 ?

TT=0.004

 ? (TO)

TT=1800.1

 ? (TO)

TT=1800.05

 SAT (TO)
f=-28
TT=1800.07
T1=900.31
 SAT (TO)
f=-28
TT=1800.04
T1=900.31
 SAT (TO)
f=-27
TT=1800.1
T1=107.85
 SAT (TO)
f=-24
TT=1800.03
T1=0.74
 SAT (TO)
f=-27
TT=1800.56
T1=13.81
 SAT
f=-30
TT=1797.6
T1=744.74
 SAT
f=-30
TT=1797.55
T1=367.92
 SAT
f=-30
TT=1797.35
T1=622.89
 ? (TO)

TT=1800.05

 ? (TO)

TT=1800.07

 ?

TT=1799.52

 ?

TT=1799.86
Bench nameBest resultsbsolo
3.2
(complete)		clasp
2.0.6-R5325 (opt)
(complete)		npSolver
1.0
(complete)		npSolver
1.0 (fixed)
(complete)		npSolver
inc
(complete)		npSolver
inc (fixed)
(complete)		npSolver
inc-topDown
(complete)		npSolver
inc-topDown (fixed)
(complete)		npSolver
inc-topdown-quickBound
(complete)		npSolver
inc-topdown-quickBound (fixed)
(complete)		PB07: bsolo
3.0.17
(complete)		PB07: minisat+
1.14
(complete)		PB07: PB-clasp
2007-04-10
(complete)		PB07: Pueblo
1.4
(incomplete)		PB07: SAT4JPseudoResolution
2007-03-23
(complete)		PB09: bsolo
3.1
(complete)		PB09: SAT4J Pseudo Resolution
2.1.1
(complete)		PB09: SCIPspx
SCIP 1.1.0.7 with SoPLEX 1.4.1(24.4.2009)
(complete)		PB10: pb_cplex
2010-06-29
(complete)		PB10: SAT4J PB RES // CP
2.2.0 2010-05-31
(complete)		PB10: SCIPspx
SCIP 1.2.1.3 with SoPlex 1.4.2 (CVS Version 30.5.2010) as LP solver
(complete)		PB11: Sat4j Res//CP
2.3.0
(complete)		PB11: SCIP spx E_2
2011-06-10 (fixed)
(complete)		PB12: minisatp
1.0-2-g022594c
(complete)		pb2sat
2012-05-19
(complete)		pb2satCp2
2012-05-19
(complete)		pwbo
2.0
(complete)		pwbo
2.02
(complete)		SAT 4j PB RES // CP
2.3.2 Snapshot
(complete)		Sat 4j PB Resolution
2.3.2 Snapshot
(complete)		SAT4J PB specific settings
2.3.2 snapshot
(complete)		SCIP spx
SCIP 2.1.1.4. with SoPlex 1.6.0.3 fixed
(complete)		SCIP spx E
SCIP 2.1.1.4. Exp with SoPlex 1.6.0.3 fixed
(complete)		SCIP spx standard
SCIP 2.1.1.4. with SoPlex 1.6.0.3 standard fixed
(complete)		toysat
2012-05-17
(complete)		toysat
2012-06-01
(complete)		wbo
1.7
(complete)		wbo
1.72
(complete)
normalized-PB07/OPT-SMALLINT-NLC/
submittedPB07/manquinho/
mis/normalized-mis_500_10_1.opb 		SAT
f=-120
TT=1800.14
T1=708.44
 SAT
f=-108
TT=1798
T1=1597.79
 SAT (TO)
f=-113
TT=1800.11
T1=1267.7
 ? (TO)

TT=1800.12

 ? (TO)

TT=1800.13

 ? (TO)

TT=1800.03

 ? (TO)

TT=1800.12

 ? (TO)

TT=1800.02

 ? (TO)

TT=1800.03

 ? (TO)

TT=1800.04

 ? (TO)

TT=1800.09

 SAT (TO)
f=-107
TT=1800.08
T1=1538.55
 SAT (TO)
f=-111
TT=1800.05
T1=77.82
 ? (TO)

TT=1773.89

 SAT
f=-84
TT=1783
T1=1783.3
 ?

TT=1.075

 SAT
f=-108
TT=1798
T1=365.3
 ? (exit code)

TT=218.2

 SAT (TO)
f=-120
TT=1800.14
T1=708.44
 ? (TO)

TT=1800.24

 SAT (TO)
f=-111
TT=1800.52
T1=130.53
 SAT
f=-86
TT=1789.74
T1=69.48
 SAT (TO)
f=-112
TT=1800.11
T1=521.94
 SAT
f=-81
TT=1797.25
T1=0.24
 ?

TT=0.007

 ? (TO)

TT=1800.11

 ? (TO)

TT=1800.07

 SAT (TO)
f=-113
TT=1800.19
T1=900.41
 SAT (TO)
f=-113
TT=1800.54
T1=900.41
 SAT (TO)
f=-111
TT=1800.1
T1=517.41
 SAT (TO)
f=-97
TT=1800.57
T1=0.81
 SAT (TO)
f=-109
TT=1800.34
T1=171.6
 SAT
f=-85
TT=1797.25
T1=332.28
 SAT
f=-84
TT=1797.28
T1=0.28
 SAT
f=-83
TT=1797.4
T1=10.9
 ? (TO)

TT=1800.05

 ? (TO)

TT=1800.1

 ?

TT=1799.52

 ?

TT=1799.83
normalized-PB07/OPT-SMALLINT-NLC/
submittedPB07/manquinho/
mis/normalized-mis_500_10_2.opb 		SAT
f=-116
TT=1800.22
T1=1506.96
 SAT
f=-110
TT=1798
T1=780.88
 SAT (TO)
f=-112
TT=1800.1
T1=276.85
 ? (TO)

TT=1800.12

 ? (TO)

TT=1800.1

 ? (TO)

TT=1800.13

 ? (TO)

TT=1800.13

 ? (TO)

TT=1800.06

 ? (TO)

TT=1800.12

 ? (TO)

TT=1800.05

 ? (TO)

TT=1800.02

 SAT (TO)
f=-109
TT=1800.09
T1=0.05
 SAT (TO)
f=-112
TT=1800.09
T1=5.23
 ? (TO)

TT=1604.56

 SAT
f=-96
TT=1783
T1=1783.29
 ?

TT=1.073

 SAT
f=-109
TT=1798
T1=0.03
 ? (exit code)

TT=222.082

 SAT (TO)
f=-116
TT=1800.22
T1=1506.96
 ? (TO)

TT=1800.08

 SAT (TO)
f=-111
TT=1800.44
T1=556.04
 SAT
f=-88
TT=1789.75
T1=1382.92
 SAT (TO)
f=-110
TT=1800.66
T1=10.74
 SAT
f=-86
TT=1797.17
T1=1614.6
 ?

TT=0.007

 ? (TO)

TT=1800.05

 ? (TO)

TT=1800.09

 SAT (TO)
f=-114
TT=1800.1
T1=900.31
 SAT (TO)
f=-114
TT=1800.56
T1=900.41
 SAT (TO)
f=-109
TT=1800.62
T1=78.95
 SAT (TO)
f=-90
TT=1801.1
T1=300.95
 SAT (TO)
f=-108
TT=1800.01
T1=501.84
 SAT
f=-88
TT=1797.43
T1=600.76
 SAT
f=-86
TT=1797.37
T1=0.46
 SAT
f=-86
TT=1797.49
T1=0.36
 ? (TO)

TT=1800.14

 ? (TO)

TT=1800.13

 ?

TT=1799.92

 ?

TT=1799.51
normalized-PB07/OPT-SMALLINT-NLC/
submittedPB07/manquinho/
mis/normalized-mis_500_10_3.opb 		SAT
f=-115
TT=1800.13
T1=900.41
 SAT
f=-107
TT=1798
T1=0.05
 SAT (TO)
f=-113
TT=1800.02
T1=208.82
 ? (TO)

TT=1800.12

 ? (TO)

TT=1800.11

 ? (TO)

TT=1800.11

 ? (TO)

TT=1800.13

 ? (TO)

TT=1800.06

 ? (TO)

TT=1800.06

 ? (TO)

TT=1800.06

 ? (TO)

TT=1800.05

 SAT (TO)
f=-108
TT=1800.09
T1=11.32
 SAT (TO)
f=-111
TT=1800.09
T1=733.68
 ? (TO)

TT=1800.12

 SAT
f=-91
TT=1783.01
T1=1783.29
 ?

TT=1.082

 SAT
f=-108
TT=1798
T1=52.39
 SAT
f=-107
TT=200.18
T1=143.25
 SAT (TO)
f=-114
TT=1800.19
T1=843.04
 ? (TO)

TT=1800.03

 SAT (TO)
f=-112
TT=1800.34
T1=950.02
 SAT
f=-91
TT=1789.73
T1=461.38
 SAT (TO)
f=-112
TT=1800.92
T1=147.58
 SAT
f=-80
TT=1797.11
T1=0.25
 ?

TT=0.005

 ? (TO)

TT=1800.13

 ? (TO)

TT=1800.09

 SAT (TO)
f=-115
TT=1800.54
T1=900.41
 SAT (TO)
f=-115
TT=1800.13
T1=900.41
 SAT (TO)
f=-110
TT=1800.6
T1=312.04
 SAT (TO)
f=-98
TT=1800.04
T1=0.84
 SAT (TO)
f=-108
TT=1800.05
T1=181.72
 SAT
f=-83
TT=1797.19
T1=0.29
 SAT
f=-83
TT=1797.25
T1=0.46
 SAT
f=-83
TT=1797.36
T1=0.22
 ? (TO)

TT=1800.08

 ? (TO)

TT=1800.06

 ?

TT=1799.86

 ?

TT=1799.52
normalized-PB07/OPT-SMALLINT-NLC/
submittedPB07/manquinho/
mis/normalized-mis_500_25_3.opb 		SAT
f=-68
TT=1800.42
T1=900.41
 SAT
f=-63
TT=1798
T1=1030.16
 SAT (TO)
f=-67
TT=1800.1
T1=689.34
 ? (TO)

TT=1800.09

 ? (TO)

TT=1800.11

 ? (TO)

TT=1800.11

 ? (TO)

TT=1800.12

 ? (TO)

TT=1800.04

 ? (TO)

TT=1800.02

 ? (TO)

TT=1800.06

 ? (TO)

TT=1800.05

 SAT (TO)
f=-62
TT=1800.08
T1=128.56
 SAT (TO)
f=-65
TT=1800.07
T1=240.01
 ? (TO)

TT=1800.1

 SAT
f=-49
TT=1783.01
T1=1783.33
 ?

TT=2.535

 SAT
f=-63
TT=1798.01
T1=854.5
 SAT (TO)
f=-62
TT=1800.55
T1=11.62
 SAT (TO)
f=-60
TT=1800.32
T1=1760.66
 ? (TO)

TT=1800.3

 SAT (TO)
f=-65
TT=1800.02
T1=155.94
 SAT
f=-55
TT=1789.76
T1=1688.28
 SAT (TO)
f=-65
TT=1800.15
T1=137.53
 SAT
f=-47
TT=1797.71
T1=0.46
 ?

TT=0.005

 ? (TO)

TT=1800.14

 ? (TO)

TT=1800.11

 SAT (TO)
f=-68
TT=1800.42
T1=900.41
 SAT (TO)
f=-68
TT=1800.48
T1=900.41
 SAT (TO)
f=-62
TT=1800.08
T1=119.02
 SAT (TO)
f=-54
TT=1800.04
T1=1.4
 SAT (TO)
f=-63
TT=1800.78
T1=758.96
 SAT
f=-48
TT=1797.72
T1=0.52
 SAT
f=-52
TT=1797.56
T1=1294.09
 SAT
f=-57
TT=1797.95
T1=1409.65
 ? (TO)

TT=1800.09

 ? (TO)

TT=1800.1

 ?

TT=1799.61

 ?

TT=1799.62
normalized-PB07/OPT-SMALLINT-NLC/
submittedPB07/manquinho/
mis/normalized-mis_500_25_5.opb 		SAT
f=-69
TT=1800.08
T1=568.19
 SAT
f=-64
TT=1798
T1=1767.2
 SAT (TO)
f=-66
TT=1800.09
T1=1002.39
 ? (TO)

TT=1800.11

 ? (TO)

TT=1800.11

 ? (TO)

TT=1800.1

 ? (TO)

TT=1800.06

 ? (TO)

TT=1800.04

 ? (TO)

TT=1800.09

 ? (TO)

TT=1800.05

 ? (TO)

TT=1800.09

 SAT (TO)
f=-62
TT=1800.04
T1=0.18
 SAT (TO)
f=-69
TT=1800.08
T1=568.19
 ? (TO)

TT=1705.87

 SAT
f=-46
TT=1783.01
T1=1783.32
 ?

TT=2.544

 SAT
f=-63
TT=1798
T1=1421
 SAT (TO)
f=-63
TT=1800.02
T1=1618.39
 SAT (TO)
f=-47
TT=1800.17
T1=1.83
 ? (TO)

TT=1800.31

 SAT (TO)
f=-64
TT=1800.15
T1=102.34
 SAT
f=-53
TT=1789.76
T1=273.5
 SAT (TO)
f=-63
TT=1801.27
T1=4.71
 SAT
f=-52
TT=1797.82
T1=1526.13
 ?

TT=0.005

 ? (TO)

TT=1800.04

 ? (TO)

TT=1800.09

 SAT (TO)
f=-67
TT=1800.05
T1=900.31
 SAT (TO)
f=-67
TT=1800.07
T1=900.31
 SAT (TO)
f=-63
TT=1800.18
T1=294.01
 SAT (TO)
f=-51
TT=1800.35
T1=1.28
 SAT (TO)
f=-63
TT=1800.04
T1=76.12
 SAT
f=-59
TT=1797.45
T1=1586.36
 SAT
f=-49
TT=1797.78
T1=0.74
 SAT
f=-53
TT=1797.48
T1=480.48
 ? (TO)

TT=1800.06

 ? (TO)

TT=1800.11

 ?

TT=1799.91

 ?

TT=1799.54
normalized-PB07/OPT-SMALLINT-NLC/
submittedPB07/manquinho/
mis/normalized-mis_500_60_1.opb 		SAT
f=-37
TT=1800.06
T1=192.83
 SAT
f=-35
TT=1798.01
T1=18.6
 SAT (TO)
f=-37
TT=1800.09
T1=722.68
 ? (TO)

TT=1800.08

 ? (TO)

TT=1800.13

 ? (TO)

TT=1800.14

 ? (TO)

TT=1800.13

 ? (TO)

TT=1800.09

 ? (TO)

TT=1800.12

 ? (TO)

TT=1800.09

 ? (TO)

TT=1800.12

 SAT (TO)
f=-34
TT=1800.02
T1=245.89
 SAT (TO)
f=-37
TT=1800.06
T1=192.83
 ? (TO)

TT=1800.1

 SAT
f=-29
TT=1783.01
T1=1783.38
 ?

TT=11.931

 SAT
f=-34
TT=1798.01
T1=1291.97
 SAT (TO)
f=-36
TT=1800.09
T1=794.21
 SAT (TO)
f=-33
TT=1800.66
T1=878.68
 ? (TO)

TT=1800.24

 SAT (TO)
f=-36
TT=1800.07
T1=159.77
 SAT
f=-32
TT=1789.8
T1=933.26
 SAT (TO)
f=-36
TT=1800.1
T1=56.28
 SAT
f=-36
TT=1797.4
T1=1405.77
 ?

TT=0.007

 ? (TO)

TT=1800.07

 ? (TO)

TT=1800.09

 SAT (TO)
f=-37
TT=1800.11
T1=900.41
 SAT (TO)
f=-37
TT=1800.59
T1=900.51
 SAT (TO)
f=-35
TT=1800.12
T1=828.69
 SAT (TO)
f=-28
TT=1800.52
T1=1.03
 SAT (TO)
f=-35
TT=1800.35
T1=656.44
 SAT
f=-35
TT=1797.5
T1=1214.33
 SAT
f=-36
TT=1797.37
T1=832.82
 SAT
f=-35
TT=1797.32
T1=1200.7
 ? (TO)

TT=1800.12

 ? (TO)

TT=1800.1

 ?

TT=1799.55

 ?

TT=1799.56
normalized-PB07/OPT-SMALLINT-NLC/
submittedPB07/manquinho/
mis/normalized-mis_500_60_3.opb 		SAT
f=-38
TT=1800.05
T1=113.73
 SAT
f=-35
TT=1798
T1=1184.21
 SAT (TO)
f=-38
TT=1800.05
T1=118.58
 ? (TO)

TT=1800.09

 ? (TO)

TT=1800.1

 ? (TO)

TT=1800.06

 ? (TO)

TT=1800.1

 ? (TO)

TT=1800.09

 ? (TO)

TT=1800.13

 ? (TO)

TT=1800.1

 ? (TO)

TT=1800.05

 SAT (TO)
f=-34
TT=1800.04
T1=1.03
 SAT (TO)
f=-38
TT=1800.05
T1=1595.66
 ? (TO)

TT=1557.91

 SAT
f=-29
TT=1783.03
T1=1783.38
 ?

TT=23.041

 SAT
f=-34
TT=1798.01
T1=0.45
 SAT (TO)
f=-36
TT=1800.07
T1=852.11
 SAT (TO)
f=-33
TT=1800.59
T1=1007.85
 ? (TO)

TT=1800.23

 SAT (TO)
f=-38
TT=1800.21
T1=113.73
 SAT
f=-32
TT=1789.77
T1=718.65
 SAT (TO)
f=-37
TT=1800.03
T1=642.51
 SAT
f=-35
TT=1797.54
T1=848.04
 ?

TT=0.006

 ? (TO)

TT=1800.08

 ? (TO)

TT=1800.13

 SAT (TO)
f=-38
TT=1800.48
T1=900.41
 SAT (TO)
f=-38
TT=1800.11
T1=900.41
 SAT (TO)
f=-35
TT=1800.12
T1=464.47
 SAT (TO)
f=-29
TT=1800.01
T1=5.28
 SAT (TO)
f=-35
TT=1800.01
T1=1503.84
 SAT
f=-36
TT=1797.36
T1=1371.35
 SAT
f=-34
TT=1797.59
T1=661.53
 SAT
f=-36
TT=1797.32
T1=1383.48
 ? (TO)

TT=1800.1

 ? (TO)

TT=1800.08

 ?

TT=1799.99

 ?

TT=1799.58
normalized-PB07/OPT-SMALLINT-NLC/
submittedPB07/manquinho/
mis/normalized-mis_50_10_3.opb 		OPT
f=-13
TT=0.03
T1=0
 OPT
f=-13
TT=0.369
T1=0.19
 OPT
f=-13
TT=0.03
T1=0
 OPT
f=-13
TT=0.321
T1=0.24
 OPT
f=-13
TT=0.359
T1=0.26
 OPT
f=-13
TT=0.287
T1=0.2
 OPT
f=-13
TT=0.291
T1=0.21
 OPT
f=-13
TT=0.198
T1=0.12
 OPT
f=-13
TT=0.224
T1=0.13
 OPT
f=-13
TT=0.201
T1=0.12
 OPT
f=-13
TT=0.201
T1=0.12
 OPT
f=-13
TT=0.202
T1=0.07
 OPT
f=-13
TT=0.153
T1=0.15
 ? (TO)

TT=1800.11

 OPT
f=-13
TT=0.083
T1=0.08
 ?

TT=0.215

 OPT
f=-13
TT=0.321
T1=0.08
 OPT
f=-13
TT=1.084
T1=0.64
 OPT
f=-13
TT=0.57
T1=0.56
 OPT
f=-13
TT=0.149
T1=0.15
 OPT
f=-13
TT=2.035
T1=5.23
 OPT
f=-13
TT=0.617
T1=0.54
 OPT
f=-13
TT=1.745
T1=2.71
 OPT
f=-13
TT=0.485
T1=0.44
 ?

TT=0.005

 OPT
f=-13
TT=0.247
T1=0.15
 OPT
f=-13
TT=0.181
T1=0.09
 OPT
f=-13
TT=0.203
T1=0.1
 OPT
f=-13
TT=0.225
T1=0.11
 OPT
f=-13
TT=1.863
T1=2.7
 OPT
f=-13
TT=0.784
T1=0.4
 OPT
f=-13
TT=0.787
T1=0.3
 OPT
f=-13
TT=0.46
T1=0.43
 OPT
f=-13
TT=0.376
T1=0.36
 OPT
f=-13
TT=0.431
T1=0.42
 OPT
f=-13
TT=0.468
T1=0.23
 OPT
f=-13
TT=0.464
T1=0.23
 ?

TT=1799.87

 ?

TT=1799.54
normalized-PB07/OPT-SMALLINT-NLC/
submittedPB07/manquinho/
mis/normalized-mis_50_25_1.opb 		OPT
f=-6
TT=0.005
T1=0
 OPT
f=-6
TT=0.039
T1=0.02
 OPT
f=-6
TT=0.005
T1=0
 OPT
f=-6
TT=0.124
T1=0.08
 OPT
f=-6
TT=0.141
T1=0.09
 OPT
f=-6
TT=0.095
T1=0.05
 OPT
f=-6
TT=0.101
T1=0.06
 OPT
f=-6
TT=0.065
T1=0.04
 OPT
f=-6
TT=0.07
T1=0.05
 OPT
f=-6
TT=0.068
T1=0.04
 OPT
f=-6
TT=0.081
T1=0.05
 OPT
f=-6
TT=0.027
T1=0.02
 OPT
f=-6
TT=0.041
T1=0.02
 ? (TO)

TT=1493.88

 OPT
f=-6
TT=0.036
T1=0.03
 ?

TT=0.344

 OPT
f=-6
TT=0.03
T1=0.01
 OPT
f=-6
TT=0.855
T1=0.34
 OPT
f=-6
TT=0.815
T1=0.81
 OPT
f=-6
TT=0.096
T1=0.09
 OPT
f=-6
TT=1.495
T1=3.31
 OPT
f=-6
TT=0.748
T1=0.74
 OPT
f=-6
TT=0.975
T1=1.77
 OPT
f=-6
TT=0.385
T1=0.08
 ?

TT=0.005

 OPT
f=-6
TT=0.102
T1=0.05
 OPT
f=-6
TT=0.065
T1=0.04
 OPT
f=-6
TT=0.047
T1=0.02
 OPT
f=-6
TT=0.048
T1=0.02
 OPT
f=-6
TT=1.034
T1=2.28
 OPT
f=-6
TT=0.604
T1=0.27
 OPT
f=-6
TT=0.595
T1=0.27
 OPT
f=-6
TT=0.183
T1=0.11
 OPT
f=-6
TT=0.186
T1=0.11
 OPT
f=-6
TT=0.558
T1=0.55
 OPT
f=-6
TT=0.067
T1=0.02
 OPT
f=-6
TT=0.068
T1=0.02
 ?

TT=1799.71

 ?

TT=1799.93
normalized-PB07/OPT-SMALLINT-NLC/
submittedPB07/manquinho/
mis/normalized-mis_50_25_3.opb 		OPT
f=-6
TT=0.006
T1=0
 OPT
f=-6
TT=0.04
T1=0.01
 OPT
f=-6
TT=0.006
T1=0
 OPT
f=-6
TT=0.151
T1=0.09
 OPT
f=-6
TT=0.157
T1=0.11
 OPT
f=-6
TT=0.097
T1=0.06
 OPT
f=-6
TT=0.102
T1=0.06
 OPT
f=-6
TT=0.087
T1=0.06
 OPT
f=-6
TT=0.094
T1=0.07
 OPT
f=-6
TT=0.084
T1=0.06
 OPT
f=-6
TT=0.101
T1=0.07
 OPT
f=-6
TT=0.028
T1=0.02
 OPT
f=-6
TT=0.043
T1=0.02
 ? (TO)

TT=1800.08

 OPT
f=-6
TT=0.035
T1=0.03
 ?

TT=0.343

 OPT
f=-6
TT=0.034
T1=0
 OPT
f=-6
TT=0.856
T1=0.39
 OPT
f=-6
TT=0.712
T1=0.7
 OPT
f=-6
TT=0.071
T1=0.06
 OPT
f=-6
TT=1.564
T1=3.27
 OPT
f=-6
TT=0.482
T1=0.47
 OPT
f=-6
TT=1.174
T1=1.78
 OPT
f=-6
TT=0.579
T1=0.57
 ?

TT=0.004

 OPT
f=-6
TT=0.097
T1=0.05
 OPT
f=-6
TT=0.078
T1=0.04
 OPT
f=-6
TT=0.046
T1=0.02
 OPT
f=-6
TT=0.047
T1=0.02
 OPT
f=-6
TT=1.093
T1=1.77
 OPT
f=-6
TT=0.584
T1=0.27
 OPT
f=-6
TT=0.584
T1=0.24
 OPT
f=-6
TT=0.384
T1=0.26
 OPT
f=-6
TT=0.39
T1=0.25
 OPT
f=-6
TT=0.476
T1=0.47
 OPT
f=-6
TT=0.073
T1=0.02
 OPT
f=-6
TT=0.074
T1=0.02
 ?

TT=1799.89

 ?

TT=1799.86
Bench nameBest resultsbsolo
3.2
(complete)		clasp
2.0.6-R5325 (opt)
(complete)		npSolver
1.0
(complete)		npSolver
1.0 (fixed)
(complete)		npSolver
inc
(complete)		npSolver
inc (fixed)
(complete)		npSolver
inc-topDown
(complete)		npSolver
inc-topDown (fixed)
(complete)		npSolver
inc-topdown-quickBound
(complete)		npSolver
inc-topdown-quickBound (fixed)
(complete)		PB07: bsolo
3.0.17
(complete)		PB07: minisat+
1.14
(complete)		PB07: PB-clasp
2007-04-10
(complete)		PB07: Pueblo
1.4
(incomplete)		PB07: SAT4JPseudoResolution
2007-03-23
(complete)		PB09: bsolo
3.1
(complete)		PB09: SAT4J Pseudo Resolution
2.1.1
(complete)		PB09: SCIPspx
SCIP 1.1.0.7 with SoPLEX 1.4.1(24.4.2009)
(complete)		PB10: pb_cplex
2010-06-29
(complete)		PB10: SAT4J PB RES // CP
2.2.0 2010-05-31
(complete)		PB10: SCIPspx
SCIP 1.2.1.3 with SoPlex 1.4.2 (CVS Version 30.5.2010) as LP solver
(complete)		PB11: Sat4j Res//CP
2.3.0
(complete)		PB11: SCIP spx E_2
2011-06-10 (fixed)
(complete)		PB12: minisatp
1.0-2-g022594c
(complete)		pb2sat
2012-05-19
(complete)		pb2satCp2
2012-05-19
(complete)		pwbo
2.0
(complete)		pwbo
2.02
(complete)		SAT 4j PB RES // CP
2.3.2 Snapshot
(complete)		Sat 4j PB Resolution
2.3.2 Snapshot
(complete)		SAT4J PB specific settings
2.3.2 snapshot
(complete)		SCIP spx
SCIP 2.1.1.4. with SoPlex 1.6.0.3 fixed
(complete)		SCIP spx E
SCIP 2.1.1.4. Exp with SoPlex 1.6.0.3 fixed
(complete)		SCIP spx standard
SCIP 2.1.1.4. with SoPlex 1.6.0.3 standard fixed
(complete)		toysat
2012-05-17
(complete)		toysat
2012-06-01
(complete)		wbo
1.7
(complete)		wbo
1.72
(complete)
normalized-PB07/OPT-SMALLINT-NLC/submittedPB07/roussel/
factor-mod-B/
factor-mod-size=5-P0=11-P1=13-P2=29-P3=23-P4=5-P5=29-P6=29-P7=31-P8=29-P9=31-B.opb 		OPT
f=3
TT=0.037
T1=0.02
 OPT
f=3
TT=1.925
T1=0.68
 OPT
f=3
TT=0.171
T1=0.02
 OPT
f=3
TT=69.594
T1=11.69
 OPT
f=3
TT=0.501
T1=0.25
 OPT
f=3
TT=71.237
T1=11.57
 OPT
f=3
TT=0.425
T1=0.19
 OPT
f=3
TT=70.609
T1=11.63
 OPT
f=3
TT=0.492
T1=0.26
 OPT
f=3
TT=67.772
T1=11.2
 ? (TO)

TT=1800.06

 OPT
f=3
TT=0.895
T1=0.35
 OPT
f=3
TT=0.037
T1=0.03
 OPT
f=3
TT=7.827
T1=5.73
 OPT
f=3
TT=1.942
T1=0.5
 OPT
f=3
TT=1.175
T1=0.39
 OPT
f=3
TT=1.01
T1=0.92
 OPT
f=3
TT=1.344
T1=0.65
 OPT
f=3
TT=1.378
T1=1.37
 ? (TO)

TT=1800.24

 OPT
f=3
TT=4.463
T1=1.18
 OPT
f=3
TT=0.819
T1=0.81
 OPT
f=3
TT=3.803
T1=1.17
 OPT
f=3
TT=0.079
T1=0.06
 ?

TT=0.004

 OPT
f=3
TT=2.446
T1=1.53
 OPT
f=3
TT=2.144
T1=1.52
 OPT
f=3
TT=0.504
T1=0.24
 OPT
f=3
TT=0.664
T1=0.32
 OPT
f=3
TT=4.663
T1=0.68
 OPT
f=3
TT=1.054
T1=0.33
 SAT
f=3
TT=1.224
T1=0.37
 OPT
f=3
TT=0.062
T1=0.05
 OPT
f=3
TT=0.111
T1=0.1
 OPT
f=3
TT=0.091
T1=0.08
 OPT
f=3
TT=6.212
T1=0.38
 OPT
f=3
TT=16.838
T1=0.39
 OPT
f=3
TT=0.454
T1=0.45
 OPT
f=3
TT=0.454
T1=0.45
normalized-PB07/OPT-SMALLINT-NLC/
submittedPB07/roussel/factor-mod-B/
factor-mod-size=5-P0=11-P1=2-P2=23-B.opb 		OPT
f=2
TT=0.001
T1=0
 OPT
f=2
TT=0.012
T1=0.01
 OPT
f=2
TT=0.003
T1=0
 OPT
f=2
TT=1.407
T1=1.35
 OPT
f=2
TT=0.06
T1=0.05
 OPT
f=2
TT=1.412
T1=1.41
 OPT
f=2
TT=0.04
T1=0.03
 OPT
f=2
TT=1.462
T1=1.45
 OPT
f=2
TT=0.036
T1=0.03
 ? (TO)

TT=1800.2

 ? (TO)

TT=1800.1

 OPT
f=2
TT=0.005
T1=0
 OPT
f=2
TT=0.008
T1=0
 OPT
f=2
TT=0.063
T1=0.05
 OPT
f=2
TT=0.005
T1=0
 OPT
f=2
TT=0.136
T1=0.13
 OPT
f=2
TT=0.01
T1=0
 OPT
f=2
TT=0.175
T1=0.14
 OPT
f=2
TT=0.056
T1=0.05
 OPT
f=2
TT=0.036
T1=0.05
 OPT
f=2
TT=0.214
T1=1.14
 OPT
f=2
TT=0.225
T1=0.22
 OPT
f=2
TT=0.194
T1=0.63
 OPT
f=2
TT=0.051
T1=0.03
 ?

TT=0.005

 OPT
f=2
TT=0.396
T1=0.36
 OPT
f=2
TT=0.364
T1=0.33
 OPT
f=2
TT=0.001
T1=0
 OPT
f=2
TT=0.001
T1=0
 OPT
f=2
TT=0.185
T1=0.64
 OPT
f=2
TT=0.162
T1=0.13
 SAT
f=2
TT=0.314
T1=0.2
 OPT
f=2
TT=0.05
T1=0.04
 OPT
f=2
TT=0.054
T1=0.04
 OPT
f=2
TT=0.042
T1=0.03
 OPT
f=2
TT=0.01
T1=0.01
 OPT
f=2
TT=0.011
T1=0.01
 OPT
f=2
TT=0.003
T1=0
 OPT
f=2
TT=0.002
T1=0
normalized-PB07/OPT-SMALLINT-NLC/submittedPB07/
roussel/factor-mod-B/
factor-mod-size=5-P0=13-P1=5-P2=17-P3=2-P4=29-P5=5-P6=19-P7=17-P8=5-B.opb 		OPT
f=2
TT=0.033
T1=0.03
 OPT
f=2
TT=0.639
T1=0.63
 OPT
f=2
TT=0.05
T1=0.05
 OPT
f=2
TT=26.786
T1=26.65
 OPT
f=2
TT=0.212
T1=0.2
 OPT
f=2
TT=16.77
T1=16.77
 OPT
f=2
TT=0.187
T1=0.19
 OPT
f=2
TT=63.436
T1=63.43
 OPT
f=2
TT=0.309
T1=0.31
 ? (TO)

TT=1800.07

 ? (TO)

TT=1800.07

 OPT
f=2
TT=0.646
T1=0.64
 OPT
f=2
TT=0.033
T1=0.03
 OPT
f=2
TT=1.904
T1=1.89
 OPT
f=2
TT=1.248
T1=1.24
 OPT
f=2
TT=0.895
T1=0.58
 OPT
f=2
TT=0.818
T1=0.81
 OPT
f=2
TT=1.024
T1=0.59
 OPT
f=2
TT=2.321
T1=2.31
 OPT
f=2
TT=865.807
T1=299.04
 OPT
f=2
TT=3.254
T1=2.18
 OPT
f=2
TT=1.405
T1=1.4
 OPT
f=2
TT=3.013
T1=1.16
 OPT
f=2
TT=0.072
T1=0.05
 ?

TT=0.005

 OPT
f=2
TT=1.397
T1=1.36
 OPT
f=2
TT=1.552
T1=1.51
 OPT
f=2
TT=0.264
T1=0.13
 OPT
f=2
TT=0.144
T1=0.06
 OPT
f=2
TT=1.553
T1=1.17
 OPT
f=2
TT=0.785
T1=0.49
 SAT
f=2
TT=1.034
T1=0.6
 OPT
f=2
TT=2.816
T1=2.8
 OPT
f=2
TT=2.306
T1=2.3
 OPT
f=2
TT=7.102
T1=7.09
 OPT
f=2
TT=2.668
T1=2.66
 OPT
f=2
TT=6.287
T1=6.28
 OPT
f=2
TT=0.202
T1=0.19
 OPT
f=2
TT=0.202
T1=0.19
normalized-PB07/OPT-SMALLINT-NLC/submittedPB07/
roussel/factor-mod-B/
factor-mod-size=5-P0=17-P1=13-P2=11-P3=19-P4=11-P5=23-B.opb 		OPT
f=3
TT=0.021
T1=0.01
 OPT
f=3
TT=0.514
T1=0.49
 OPT
f=3
TT=0.091
T1=0.01
 OPT
f=3
TT=37.625
T1=11.63
 OPT
f=3
TT=0.274
T1=0.27
 OPT
f=3
TT=36.389
T1=11.73
 OPT
f=3
TT=0.242
T1=0.24
 OPT
f=3
TT=36.013
T1=13.01
 OPT
f=3
TT=0.249
T1=0.15
 ? (TO)

TT=1800.34

 OPT
f=3
TT=0.38
T1=0.28
 OPT
f=3
TT=0.206
T1=0.17
 OPT
f=3
TT=0.021
T1=0.02
 OPT
f=3
TT=0.539
T1=0.28
 OPT
f=3
TT=0.794
T1=0.05
 OPT
f=3
TT=0.842
T1=0.3
 OPT
f=3
TT=0.327
T1=0.3
 OPT
f=3
TT=0.816
T1=0.27
 OPT
f=3
TT=0.489
T1=0.48
 ? (TO)

TT=1800.2

 OPT
f=3
TT=3.092
T1=2.19
 OPT
f=3
TT=0.049
T1=0.04
 OPT
f=3
TT=2.174
T1=0.66
 OPT
f=3
TT=0.062
T1=0.05
 ?

TT=0.006

 OPT
f=3
TT=1.369
T1=0.68
 OPT
f=3
TT=1.796
T1=1.14
 OPT
f=3
TT=0.143
T1=0.06
 OPT
f=3
TT=0.183
T1=0.09
 OPT
f=3
TT=3.274
T1=2.25
 OPT
f=3
TT=0.806
T1=0.32
 SAT
f=3
TT=0.883
T1=0.39
 OPT
f=3
TT=0.065
T1=0.05
 OPT
f=3
TT=0.069
T1=0.05
 OPT
f=3
TT=0.056
T1=0.04
 OPT
f=3
TT=5.008
T1=0.41
 OPT
f=3
TT=5.629
T1=0.4
 OPT
f=3
TT=0.163
T1=0.16
 OPT
f=3
TT=0.163
T1=0.16
normalized-PB07/OPT-SMALLINT-NLC/submittedPB07/
roussel/factor-mod-B/
factor-mod-size=5-P0=29-P1=11-P2=11-P3=17-P4=29-P5=23-B.opb 		OPT
f=3
TT=0.021
T1=0.01
 OPT
f=3
TT=0.584
T1=0.34
 OPT
f=3
TT=0.063
T1=0.01
 OPT
f=3
TT=42.257
T1=16.69
 OPT
f=3
TT=0.352
T1=0.35
 OPT
f=3
TT=35.152
T1=8.62
 OPT
f=3
TT=0.192
T1=0.19
 OPT
f=3
TT=31.383
T1=16.02
 OPT
f=3
TT=0.214
T1=0.2
 ? (TO)

TT=1800.07

 ? (TO)

TT=1800.04

 OPT
f=3
TT=0.3
T1=0.07
 OPT
f=3
TT=0.021
T1=0.02
 OPT
f=3
TT=0.765
T1=0.37
 OPT
f=3
TT=0.168
T1=0.08
 OPT
f=3
TT=0.764
T1=0.24
 OPT
f=3
TT=0.193
T1=0.15
 OPT
f=3
TT=0.863
T1=0.26
 OPT
f=3
TT=0.49
T1=0.48
 ? (TO)

TT=1800.25

 OPT
f=3
TT=1.894
T1=1.16
 OPT
f=3
TT=0.06
T1=0.05
 OPT
f=3
TT=2.013
T1=0.65
 OPT
f=3
TT=0.073
T1=0.06
 ?

TT=0.007

 OPT
f=3
TT=1.492
T1=1.05
 OPT
f=3
TT=1.706
T1=1.32
 OPT
f=3
TT=0.222
T1=0.1
 OPT
f=3
TT=0.183
T1=0.09
 OPT
f=3
TT=3.672
T1=0.65
 OPT
f=3
TT=0.864
T1=0.2
 SAT
f=3
TT=0.994
T1=0.29
 OPT
f=3
TT=0.065
T1=0.05
 OPT
f=3
TT=0.071
T1=0.05
 OPT
f=3
TT=0.056
T1=0.04
 OPT
f=3
TT=6.279
T1=0.07
 OPT
f=3
TT=4.756
T1=0.06
 OPT
f=3
TT=0.192
T1=0.18
 OPT
f=3
TT=0.183
T1=0.18
normalized-PB07/OPT-SMALLINT-NLC/
submittedPB07/roussel/factor-mod-B/
factor-mod-size=5-P0=2-P1=23-P2=29-P3=19-B.opb 		OPT
f=2
TT=0.002
T1=0
 OPT
f=2
TT=0.069
T1=0.06
 OPT
f=2
TT=0.018
T1=0.01
 OPT
f=2
TT=3.953
T1=3.95
 OPT
f=2
TT=0.104
T1=0.09
 OPT
f=2
TT=3.767
T1=3.76
 OPT
f=2
TT=0.083
T1=0.08
 OPT
f=2
TT=2.799
T1=2.79
 OPT
f=2
TT=0.08
T1=0.08
 ? (TO)

TT=1800.06

 ? (TO)

TT=-1

 OPT
f=2
TT=0.019
T1=0.01
 OPT
f=2
TT=0.012
T1=0.01
 OPT
f=2
TT=0.167
T1=0.15
 OPT
f=2
TT=0.194
T1=0.19
 OPT
f=2
TT=0.196
T1=0.16
 OPT
f=2
TT=0.019
T1=0.01
 OPT
f=2
TT=0.174
T1=0.14
 OPT
f=2
TT=0.404
T1=0.4
 OPT
f=2
TT=0.018
T1=0.01
 OPT
f=2
TT=0.265
T1=1.15
 OPT
f=2
TT=0.659
T1=0.65
 OPT
f=2
TT=0.244
T1=0.64
 OPT
f=2
TT=0.047
T1=0.03
 ?

TT=0.004

 OPT
f=2
TT=0.421
T1=0.42
 OPT
f=2
TT=0.507
T1=0.7
 OPT
f=2
TT=0.002
T1=0
 OPT
f=2
TT=0.002
T1=0
 OPT
f=2
TT=0.233
T1=0.64
 OPT
f=2
TT=0.167
T1=0.15
 SAT
f=2
TT=0.484
T1=0.25
 OPT
f=2
TT=0.039
T1=0.03
 OPT
f=2
TT=0.101
T1=0.09
 OPT
f=2
TT=0.039
T1=0.03
 OPT
f=2
TT=0.043
T1=0.04
 OPT
f=2
TT=0.043
T1=0.04
 OPT
f=2
TT=0.002
T1=0
 OPT
f=2
TT=0.003
T1=0
normalized-PB07/OPT-SMALLINT-NLC/submittedPB07/roussel/
factor-mod-B/
factor-mod-size=6-P0=11-P1=37-P2=59-P3=23-P4=53-P5=31-P6=59-P7=29-P8=2-P9=67-B.opb 		OPT
f=2
TT=0.056
T1=0.05
 OPT
f=2
TT=29.201
T1=29.2
 OPT
f=2
TT=0.514
T1=0.51
 ? (TO)

TT=1800.07

 OPT
f=2
TT=1.373
T1=1.5
 ? (TO)

TT=1800.13

 OPT
f=2
TT=0.534
T1=0.66
 ? (TO)

TT=1800.09

 OPT
f=2
TT=0.959
T1=0.95
 ? (TO)

TT=1800.03

 ? (TO)

TT=1800.17

 OPT
f=2
TT=1.967
T1=1.96
 OPT
f=2
TT=0.056
T1=0.05
 OPT
f=2
TT=45.747
T1=45.75
 OPT
f=2
TT=18.025
T1=18.03
 OPT
f=2
TT=2.774
T1=2.32
 OPT
f=2
TT=8.385
T1=8.37
 OPT
f=2
TT=3.704
T1=3.15
 OPT
f=2
TT=5.941
T1=5.94
 ? (TO)

TT=1800.13

 OPT
f=2
TT=5.994
T1=3.2
 OPT
f=2
TT=6.004
T1=5.99
 OPT
f=2
TT=6.302
T1=2.69
 OPT
f=2
TT=24.873
T1=24.87
 ?

TT=0.004

 OPT
f=2
TT=30.485
T1=15.12
 OPT
f=2
TT=17.205
T1=17.16
 OPT
f=2
TT=1.324
T1=0.65
 OPT
f=2
TT=1.284
T1=0.63
 OPT
f=2
TT=5.393
T1=1.72
 OPT
f=2
TT=2.624
T1=1.45
 SAT
f=2
TT=3.114
T1=2.61
 OPT
f=2
TT=9.793
T1=9.78
 OPT
f=2
TT=5.026
T1=5.01
 OPT
f=2
TT=37.024
T1=37.02
 OPT
f=2
TT=43.558
T1=43.57
 OPT
f=2
TT=18.653
T1=18.65
 OPT
f=2
TT=1.735
T1=1.73
 OPT
f=2
TT=1.735
T1=1.72
normalized-PB07/OPT-SMALLINT-NLC/submittedPB07/
roussel/factor-mod-B/
factor-mod-size=6-P0=29-P1=2-P2=59-P3=2-P4=47-P5=53-P6=37-P7=53-P8=53-B.opb 		OPT
f=2
TT=0.049
T1=0.04
 OPT
f=2
TT=11.47
T1=11.47
 OPT
f=2
TT=0.273
T1=0.27
 OPT
f=2
TT=266.148
T1=266.2
 OPT
f=2
TT=0.536
T1=0.53
 OPT
f=2
TT=308.833
T1=308.97
 OPT
f=2
TT=0.467
T1=0.46
 OPT
f=2
TT=324.753
T1=324.77
 OPT
f=2
TT=0.37
T1=0.37
 OPT
f=2
TT=262.19
T1=262.5
 ? (TO)

TT=1800.08

 OPT
f=2
TT=2.822
T1=2.82
 OPT
f=2
TT=0.049
T1=0.04
 OPT
f=2
TT=31.849
T1=31.86
 OPT
f=2
TT=3.202
T1=3.2
 OPT
f=2
TT=2.173
T1=1.81
 OPT
f=2
TT=0.854
T1=0.85
 OPT
f=2
TT=2.164
T1=1.68
 OPT
f=2
TT=3.683
T1=3.67
 OPT
f=2
TT=0.044
T1=0.04
 OPT
f=2
TT=5.851
T1=4.19
 OPT
f=2
TT=12.097
T1=12.09
 OPT
f=2
TT=3.233
T1=1.17
 OPT
f=2
TT=72.408
T1=72.4
 ?

TT=0.007

 OPT
f=2
TT=5.481
T1=5.8
 OPT
f=2
TT=8.462
T1=8.92
 OPT
f=2
TT=0.104
T1=0.04
 OPT
f=2
TT=0.523
T1=0.26
 OPT
f=2
TT=2.024
T1=1.19
 OPT
f=2
TT=0.576
T1=0.28
 SAT
f=2
TT=1.163
T1=0.74
 OPT
f=2
TT=26.71
T1=26.7
 OPT
f=2
TT=1.439
T1=1.43
 OPT
f=2
TT=30.741
T1=30.72
 OPT
f=2
TT=3.044
T1=3.04
 OPT
f=2
TT=3.04
T1=3.04
 OPT
f=2
TT=0.054
T1=0.04
 OPT
f=2
TT=0.055
T1=0.04
normalized-PB07/OPT-SMALLINT-NLC/
submittedPB07/roussel/factor-mod-B/
factor-mod-size=6-P0=41-P1=53-P2=59-B.opb 		OPT
f=3
TT=0.013
T1=0.01
 OPT
f=3
TT=0.25
T1=0.2
 OPT
f=3
TT=0.037
T1=0.03
 OPT
f=3
TT=35.458
T1=35.79
 OPT
f=3
TT=0.177
T1=0.13
 OPT
f=3
TT=42.961
T1=43.07
 OPT
f=3
TT=0.137
T1=0.11
 OPT
f=3
TT=50.682
T1=48.83
 OPT
f=3
TT=0.117
T1=0.1
 ? (TO)

TT=1800.05

 ? (TO)

TT=1800.16

 OPT
f=3
TT=0.093
T1=0.07
 OPT
f=3
TT=0.013
T1=0.01
 OPT
f=3
TT=0.15
T1=0.12
 OPT
f=3
TT=0.053
T1=0.01
 OPT
f=3
TT=0.534
T1=0.28
 OPT
f=3
TT=0.126
T1=0.12
 OPT
f=3
TT=0.624
T1=0.28
 OPT
f=3
TT=0.315
T1=0.31
 OPT
f=3
TT=0.285
T1=0.15
 OPT
f=3
TT=1.924
T1=4.15
 OPT
f=3
TT=0.114
T1=0.11
 OPT
f=3
TT=6.572
T1=1.14
 OPT
f=3
TT=0.073
T1=0.05
 ?

TT=0.006

 OPT
f=3
TT=10.635
T1=10.63
 OPT
f=3
TT=19.75
T1=15.3
 OPT
f=3
TT=0.062
T1=0.03
 OPT
f=3
TT=0.082
T1=0.03
 OPT
f=3
TT=1.135
T1=0.64
 OPT
f=3
TT=0.486
T1=0.22
 SAT
f=3
TT=0.584
T1=0.26
 OPT
f=3
TT=0.034
T1=0.03
 OPT
f=3
TT=0.055
T1=0.04
 OPT
f=3
TT=0.04
T1=0.03
 OPT
f=3
TT=0.392
T1=0.18
 OPT
f=3
TT=0.399
T1=0.18
 OPT
f=3
TT=0.042
T1=0.03
 OPT
f=3
TT=0.043
T1=0.03
normalized-PB07/OPT-SMALLINT-NLC/submittedPB07/
roussel/factor-mod-B/
factor-mod-size=6-P0=53-P1=17-P2=17-P3=13-P4=17-P5=61-B.opb 		OPT
f=3
TT=0.032
T1=0.03
 OPT
f=3
TT=2.862
T1=1.93
 OPT
f=3
TT=0.851
T1=0.07
 ? (TO)

TT=1800.11

 OPT
f=3
TT=1.202
T1=0.55
 OPT
f=3
TT=1786.39
T1=1786.7
 OPT
f=3
TT=1.048
T1=0.39
 ? (TO)

TT=1800.1

 OPT
f=3
TT=0.858
T1=0.3
 ? (TO)

TT=1800.06

 ? (TO)

TT=1800.09

 OPT
f=3
TT=3.85
T1=1
 OPT
f=3
TT=0.032
T1=0.03
 OPT
f=3
TT=4.055
T1=1.44
 OPT
f=3
TT=0.603
T1=0.54
 OPT
f=3
TT=1.663
T1=0.24
 Wrong UNSAT

TT=0.279

 OPT
f=3
TT=2.105
T1=0.27
 OPT
f=3
TT=1.098
T1=1.09
 ? (TO)

TT=1800.23

 OPT
f=3
TT=6.313
T1=1.17
 OPT
f=3
TT=0.227
T1=0.22
 OPT
f=3
TT=5.065
T1=0.67
 OPT
f=3
TT=0.099
T1=0.08
 ?

TT=0.005

 OPT
f=3
TT=17.883
T1=7.33
 OPT
f=3
TT=21.728
T1=11.34
 OPT
f=3
TT=0.723
T1=0.35
 OPT
f=3
TT=1.063
T1=0.52
 OPT
f=3
TT=4.804
T1=0.66
 OPT
f=3
TT=1.313
T1=0.26
 SAT
f=3
TT=2.045
T1=0.37
 OPT
f=3
TT=0.073
T1=0.06
 OPT
f=3
TT=0.082
T1=0.07
 OPT
f=3
TT=0.048
T1=0.04
 OPT
f=3
TT=92.807
T1=0.21
 OPT
f=3
TT=39.139
T1=0.21
 OPT
f=3
TT=0.934
T1=0.93
 OPT
f=3
TT=0.933
T1=1.06
Bench nameBest resultsbsolo
3.2
(complete)		clasp
2.0.6-R5325 (opt)
(complete)		npSolver
1.0
(complete)		npSolver
1.0 (fixed)
(complete)		npSolver
inc
(complete)		npSolver
inc (fixed)
(complete)		npSolver
inc-topDown
(complete)		npSolver
inc-topDown (fixed)
(complete)		npSolver
inc-topdown-quickBound
(complete)		npSolver
inc-topdown-quickBound (fixed)
(complete)		PB07: bsolo
3.0.17
(complete)		PB07: minisat+
1.14
(complete)		PB07: PB-clasp
2007-04-10
(complete)		PB07: Pueblo
1.4
(incomplete)		PB07: SAT4JPseudoResolution
2007-03-23
(complete)		PB09: bsolo
3.1
(complete)		PB09: SAT4J Pseudo Resolution
2.1.1
(complete)		PB09: SCIPspx
SCIP 1.1.0.7 with SoPLEX 1.4.1(24.4.2009)
(complete)		PB10: pb_cplex
2010-06-29
(complete)		PB10: SAT4J PB RES // CP
2.2.0 2010-05-31
(complete)		PB10: SCIPspx
SCIP 1.2.1.3 with SoPlex 1.4.2 (CVS Version 30.5.2010) as LP solver
(complete)		PB11: Sat4j Res//CP
2.3.0
(complete)		PB11: SCIP spx E_2
2011-06-10 (fixed)
(complete)		PB12: minisatp
1.0-2-g022594c
(complete)		pb2sat
2012-05-19
(complete)		pb2satCp2
2012-05-19
(complete)		pwbo
2.0
(complete)		pwbo
2.02
(complete)		SAT 4j PB RES // CP
2.3.2 Snapshot
(complete)		Sat 4j PB Resolution
2.3.2 Snapshot
(complete)		SAT4J PB specific settings
2.3.2 snapshot
(complete)		SCIP spx
SCIP 2.1.1.4. with SoPlex 1.6.0.3 fixed
(complete)		SCIP spx E
SCIP 2.1.1.4. Exp with SoPlex 1.6.0.3 fixed
(complete)		SCIP spx standard
SCIP 2.1.1.4. with SoPlex 1.6.0.3 standard fixed
(complete)		toysat
2012-05-17
(complete)		toysat
2012-06-01
(complete)		wbo
1.7
(complete)		wbo
1.72
(complete)
normalized-PB07/OPT-SMALLINT-NLC/
submittedPB07/roussel/factor-mod-B/
factor-mod-size=6-P0=53-P1=41-P2=53-B.opb 		OPT
f=3
TT=0.014
T1=0.01
 OPT
f=3
TT=0.298
T1=0.29
 OPT
f=3
TT=0.027
T1=0.02
 OPT
f=3
TT=45.947
T1=45.96
 OPT
f=3
TT=0.15
T1=0.11
 OPT
f=3
TT=48.726
T1=48.77
 OPT
f=3
TT=0.12
T1=0.1
 OPT
f=3
TT=34.086
T1=31.23
 OPT
f=3
TT=0.103
T1=0.1
 ? (TO)

TT=1800.62

 ? (TO)

TT=1800.07

 OPT
f=3
TT=0.399
T1=0.4
 OPT
f=3
TT=0.014
T1=0.01
 OPT
f=3
TT=0.145
T1=0.1
 OPT
f=3
TT=0.046
T1=0.03
 OPT
f=3
TT=0.514
T1=0.25
 OPT
f=3
TT=0.128
T1=0.12
 OPT
f=3
TT=0.658
T1=0.3
 OPT
f=3
TT=0.271
T1=0.26
 OPT
f=3
TT=0.217
T1=0.11
 OPT
f=3
TT=1.396
T1=1.14
 OPT
f=3
TT=0.088
T1=0.08
 OPT
f=3
TT=0.993
T1=0.64
 OPT
f=3
TT=0.075
T1=0.06
 ?

TT=0.005

 OPT
f=3
TT=11.636
T1=6.66
 OPT
f=3
TT=8.156
T1=4.05
 OPT
f=3
TT=0.082
T1=0.03
 OPT
f=3
TT=0.082
T1=0.03
 OPT
f=3
TT=1.283
T1=1.65
 OPT
f=3
TT=0.485
T1=0.19
 SAT
f=3
TT=0.555
T1=0.22
 OPT
f=3
TT=0.064
T1=0.05
 OPT
f=3
TT=0.063
T1=0.06
 OPT
f=3
TT=0.141
T1=0.13
 OPT
f=3
TT=0.374
T1=0.09
 OPT
f=3
TT=0.375
T1=0.09
 OPT
f=3
TT=0.043
T1=0.03
 OPT
f=3
TT=0.043
T1=0.03
normalized-PB07/OPT-SMALLINT-NLC/submittedPB07/
roussel/factor-mod-B/
factor-mod-size=6-P0=7-P1=29-P2=53-P3=31-P4=23-P5=47-P6=67-B.opb 		OPT
f=3
TT=0.041
T1=0.04
 OPT
f=3
TT=5.602
T1=2.34
 OPT
f=3
TT=0.885
T1=0.13
 ? (TO)

TT=1800.08

 OPT
f=3
TT=1.074
T1=0.21
 ? (TO)

TT=1800

 OPT
f=3
TT=1.026
T1=0.19
 ? (TO)

TT=1800.11

 OPT
f=3
TT=0.921
T1=0.21
 ? (TO)

TT=1800.02

 ? (TO)

TT=1777.94

 OPT
f=3
TT=2.334
T1=1.8
 OPT
f=3
TT=0.041
T1=0.04
 OPT
f=3
TT=7.163
T1=3.04
 OPT
f=3
TT=3.18
T1=0.37
 OPT
f=3
TT=2.042
T1=0.57
 OPT
f=3
TT=2.385
T1=0.9
 OPT
f=3
TT=3.351
T1=0.33
 OPT
f=3
TT=1.695
T1=1.69
 ? (TO)

TT=1800.12

 OPT
f=3
TT=5.715
T1=2.18
 OPT
f=3
TT=0.195
T1=0.18
 OPT
f=3
TT=4.763
T1=2.17
 OPT
f=3
TT=0.119
T1=0.1
 ?

TT=0.005

 OPT
f=3
TT=20.882
T1=20.87
 OPT
f=3
TT=51.026
T1=35.18
 OPT
f=3
TT=0.784
T1=0.38
 OPT
f=3
TT=1.343
T1=0.67
 OPT
f=3
TT=6.573
T1=1.67
 OPT
f=3
TT=3.154
T1=0.46
 SAT
f=3
TT=2.424
T1=0.47
 OPT
f=3
TT=0.054
T1=0.05
 OPT
f=3
TT=0.101
T1=0.08
 OPT
f=3
TT=0.08
T1=0.07
 OPT
f=3
TT=105.736
T1=2.46
 OPT
f=3
TT=70.885
T1=2.46
 OPT
f=3
TT=0.954
T1=0.94
 OPT
f=3
TT=0.953
T1=0.94
normalized-PB07/OPT-SMALLINT-NLC/submittedPB07/
roussel/factor-mod-B/
factor-mod-size=7-P0=107-P1=13-P2=17-P3=127-P4=13-P5=53-P6=73-P7=59-B.opb 		OPT
f=3
TT=0.063
T1=0.06
 OPT
f=3
TT=55.639
T1=11.04
 OPT
f=3
TT=7.804
T1=0.28
 ? (TO)

TT=1800.07

 OPT
f=3
TT=9.601
T1=9.6
 ? (TO)

TT=1800.05

 OPT
f=3
TT=6.77
T1=6.77
 ? (TO)

TT=1800.03

 OPT
f=3
TT=8.082
T1=1.75
 ? (TO)

TT=1800.1

 ? (TO)

TT=1800.29

 OPT
f=3
TT=21.003
T1=9.91
 OPT
f=3
TT=0.063
T1=0.06
 OPT
f=3
TT=498.435
T1=286.47
 OPT
f=3
TT=10.827
T1=4.69
 OPT
f=3
TT=14.552
T1=6.59
 OPT
f=3
TT=20.362
T1=19.91
 OPT
f=3
TT=15.552
T1=5.16
 OPT
f=3
TT=3.218
T1=3.21
 ? (TO)

TT=1800.1

 OPT
f=3
TT=22.832
T1=14.2
 OPT
f=3
TT=0.296
T1=0.28
 OPT
f=3
TT=16.261
T1=6.69
 OPT
f=3
TT=0.169
T1=0.15
 ?

TT=0.006

 OPT
f=3
TT=1279.91
T1=661.5
 OPT
f=3
TT=1330.4
T1=678.2
 OPT
f=3
TT=8.934
T1=4.46
 OPT
f=3
TT=9.803
T1=4.91
 OPT
f=3
TT=19.609
T1=2.7
 OPT
f=3
TT=10.902
T1=1.32
 SAT
f=3
TT=10.312
T1=0.78
 OPT
f=3
TT=0.075
T1=0.06
 OPT
f=3
TT=0.134
T1=0.12
 OPT
f=3
TT=0.086
T1=0.07
 OPT
f=3
TT=666.123
T1=9.16
 OPT
f=3
TT=616.706
T1=9.07
 OPT
f=3
TT=6.395
T1=6.39
 OPT
f=3
TT=6.065
T1=6.06
normalized-PB07/OPT-SMALLINT-NLC/
submittedPB07/roussel/factor-mod-B/
factor-mod-size=7-P0=17-P1=53-P2=109-B.opb 		OPT
f=3
TT=0.018
T1=0.01
 OPT
f=3
TT=1.3
T1=1.08
 OPT
f=3
TT=0.133
T1=0.05
 OPT
f=3
TT=612.692
T1=320.17
 OPT
f=3
TT=0.253
T1=0.14
 OPT
f=3
TT=963.687
T1=687.39
 OPT
f=3
TT=0.218
T1=0.22
 OPT
f=3
TT=353.993
T1=265.39
 OPT
f=3
TT=0.945
T1=0.94
 ? (TO)

TT=1800.07

 ? (TO)

TT=1800.07

 OPT
f=3
TT=0.472
T1=0.46
 OPT
f=3
TT=0.018
T1=0.01
 OPT
f=3
TT=0.437
T1=0.25
 OPT
f=3
TT=0.318
T1=0.06
 OPT
f=3
TT=0.832
T1=0.4
 Wrong UNSAT

TT=0.392

 OPT
f=3
TT=0.955
T1=0.29
 OPT
f=3
TT=0.452
T1=0.44
 OPT
f=3
TT=8.537
T1=2.96
 OPT
f=3
TT=3.259
T1=2.17
 OPT
f=3
TT=0.154
T1=0.14
 OPT
f=3
TT=3.006
T1=1.65
 OPT
f=3
TT=0.08
T1=0.06
 ?

TT=0.005

 OPT
f=3
TT=178.458
T1=29.05
 OPT
f=3
TT=181.278
T1=29.87
 OPT
f=3
TT=0.342
T1=0.16
 OPT
f=3
TT=0.382
T1=0.18
 OPT
f=3
TT=2.115
T1=2.15
 OPT
f=3
TT=0.654
T1=0.21
 SAT
f=3
TT=0.924
T1=0.36
 OPT
f=3
TT=0.038
T1=0.03
 OPT
f=3
TT=0.058
T1=0.04
 OPT
f=3
TT=0.046
T1=0.04
 OPT
f=3
TT=2.107
T1=0.33
 OPT
f=3
TT=2.123
T1=0.33
 OPT
f=3
TT=0.232
T1=0.22
 OPT
f=3
TT=0.233
T1=0.22
normalized-PB07/OPT-SMALLINT-NLC/
submittedPB07/roussel/factor-mod-B/
factor-mod-size=7-P0=37-P1=43-B.opb 		OPT
f=3
TT=0.001
T1=0
 OPT
f=3
TT=0.078
T1=0.07
 OPT
f=3
TT=0.007
T1=0
 OPT
f=3
TT=249.031
T1=244.05
 OPT
f=3
TT=0.145
T1=0.12
 OPT
f=3
TT=251.075
T1=248.64
 OPT
f=3
TT=0.099
T1=0.09
 OPT
f=3
TT=331.97
T1=332.35
 OPT
f=3
TT=0.107
T1=0.11
 ? (TO)

TT=1800.01

 ? (TO)

TT=1800.01

 OPT
f=3
TT=0.012
T1=0.01
 OPT
f=3
TT=0.009
T1=0
 OPT
f=3
TT=0.141
T1=0.12
 OPT
f=3
TT=0.009
T1=0.01
 OPT
f=3
TT=0.124
T1=0.13
 OPT
f=3
TT=0.058
T1=0.05
 OPT
f=3
TT=0.175
T1=0.14
 OPT
f=3
TT=0.167
T1=0.16
 OPT
f=3
TT=0.02
T1=0.03
 OPT
f=3
TT=0.213
T1=1.14
 OPT
f=3
TT=0.038
T1=0.03
 OPT
f=3
TT=0.325
T1=0.63
 OPT
f=3
TT=0.053
T1=0.04
 ?

TT=0.004

 OPT
f=3
TT=224.059
T1=226.62
 OPT
f=3
TT=316.494
T1=314.03
 OPT
f=3
TT=0.002
T1=0
 OPT
f=3
TT=0.001
T1=0
 OPT
f=3
TT=0.242
T1=0.64
 OPT
f=3
TT=0.154
T1=0.12
 SAT
f=3
TT=0.344
T1=0.2
 OPT
f=3
TT=0.052
T1=0.04
 OPT
f=3
TT=0.068
T1=0.05
 OPT
f=3
TT=0.043
T1=0.03
 OPT
f=3
TT=0.005
T1=0
 OPT
f=3
TT=0.005
T1=0
 OPT
f=3
TT=0.001
T1=0
 OPT
f=3
TT=0.002
T1=0
normalized-PB07/OPT-SMALLINT-NLC/submittedPB07/
roussel/factor-mod-B/
factor-mod-size=7-P0=43-P1=107-P2=31-P3=113-P4=127-P5=2-P6=79-B.opb 		OPT
f=2
TT=0.055
T1=0.05
 OPT
f=2
TT=73.537
T1=73.51
 OPT
f=2
TT=0.171
T1=0.17
 ? (TO)

TT=1800.03

 OPT
f=2
TT=1.687
T1=1.69
 ? (TO)

TT=1800.06

 OPT
f=2
TT=1.616
T1=1.61
 ? (TO)

TT=1800.06

 OPT
f=2
TT=0.569
T1=0.57
 ? (TO)

TT=1800.09

 ? (TO)

TT=1800.33

 OPT
f=2
TT=16.008
T1=16.01
 OPT
f=2
TT=0.055
T1=0.05
 OPT
f=2
TT=273.348
T1=273.44
 OPT
f=2
TT=50.101
T1=50.11
 OPT
f=2
TT=1.782
T1=1.38
 Wrong Opt.
f=3
TT=29.373
T1=3.92
 OPT
f=2
TT=14.133
T1=12.81
 OPT
f=2
TT=3.7
T1=3.69
 OPT
f=2
TT=1217.21
T1=386.4
 OPT
f=2
TT=2.195
T1=1.2
 OPT
f=2
TT=3.055
T1=3.04
 OPT
f=2
TT=9.353
T1=4.18
 OPT
f=2
TT=2.323
T1=2.31
 ?

TT=0.006

 OPT
f=2
TT=230.565
T1=230.64
 OPT
f=2
TT=350.766
T1=348.41
 OPT
f=2
TT=0.684
T1=0.33
 OPT
f=2
TT=1.604
T1=0.8
 OPT
f=2
TT=4.401
T1=2.21
 OPT
f=2
TT=1.673
T1=1.15
 SAT
f=2
TT=2.985
T1=2.44
 OPT
f=2
TT=1.287
T1=1.27
 OPT
f=2
TT=0.158
T1=0.14
 OPT
f=2
TT=20.185
T1=20.17
 OPT
f=2
TT=13.037
T1=13.03
 OPT
f=2
TT=21.143
T1=21.15
 OPT
f=2
TT=0.073
T1=0.07
 OPT
f=2
TT=0.073
T1=0.07
normalized-PB07/OPT-SMALLINT-NLC/submittedPB07/roussel/
factor-mod-B/
factor-mod-size=7-P0=53-P1=109-P2=43-P3=13-P4=17-P5=101-P6=59-P7=7-P8=29-P9=107-B.opb 		OPT
f=3
TT=0.081
T1=0.08
 OPT
f=3
TT=72.896
T1=50
 OPT
f=3
TT=10.607
T1=3.23
 ? (problem)

TT=44.064

 OPT
f=3
TT=15.399
T1=1.34
 ? (problem)

TT=43.23

 OPT
f=3
TT=15.39
T1=1.37
 ? (problem)

TT=44.08

 OPT
f=3
TT=11.06
T1=3.38
 ? (problem)

TT=43.11

 ? (TO)

TT=1800.1

 OPT
f=3
TT=46.529
T1=18.82
 OPT
f=3
TT=0.081
T1=0.08
 OPT
f=3
TT=561.075
T1=398.98
 OPT
f=3
TT=86.488
T1=3.83
 OPT
f=3
TT=19.554
T1=7.46
 Wrong Opt.
f=65
TT=12.014
T1=3.45
 OPT
f=3
TT=43.977
T1=17.81
 OPT
f=3
TT=4.496
T1=4.49
 ? (TO)

TT=1800.07

 OPT
f=3
TT=32.329
T1=12.22
 OPT
f=3
TT=0.267
T1=0.25
 OPT
f=3
TT=32.24
T1=14.83
 OPT
f=3
TT=0.181
T1=0.16
 ?

TT=0.005

 OPT
f=3
TT=1667.81
T1=1060.32
 OPT
f=3
TT=1596.5
T1=986.3
 OPT
f=3
TT=11.943
T1=5.96
 OPT
f=3
TT=10.683
T1=5.35
 OPT
f=3
TT=43.148
T1=1.71
 OPT
f=3
TT=18.151
T1=2.36
 SAT
f=3
TT=12.272
T1=1.26
 OPT
f=3
TT=0.099
T1=0.09
 OPT
f=3
TT=0.218
T1=0.2
 OPT
f=3
TT=0.196
T1=0.18
 OPT
f=3
TT=1388.01
T1=7.86
 ? (TO)

TT=1800.02

 OPT
f=3
TT=10.965
T1=10.95
 OPT
f=3
TT=10.904
T1=10.91
normalized-PB07/OPT-SMALLINT-NLC/submittedPB07/
roussel/factor-mod-B/
factor-mod-size=7-P0=53-P1=37-P2=29-P3=83-P4=23-P5=67-B.opb 		OPT
f=3
TT=0.045
T1=0.04
 OPT
f=3
TT=30.288
T1=2.41
 OPT
f=3
TT=5.539
T1=0.38
 ? (TO)

TT=1800.1

 OPT
f=3
TT=7.403
T1=0.93
 ? (TO)

TT=1800.04

 OPT
f=3
TT=7.32
T1=0.91
 ? (TO)

TT=1800.08

 OPT
f=3
TT=4.99
T1=0.92
 ? (TO)

TT=1800.05

 ? (TO)

TT=1800.21

 OPT
f=3
TT=8.861
T1=6.96
 OPT
f=3
TT=0.045
T1=0.04
 OPT
f=3
TT=65.576
T1=28.35
 OPT
f=3
TT=7.076
T1=1.16
 OPT
f=3
TT=9.023
T1=0.64
 OPT
f=3
TT=4.094
T1=1.67
 OPT
f=3
TT=8.113
T1=1.13
 OPT
f=3
TT=3.848
T1=3.84
 ? (TO)

TT=1800.2

 OPT
f=3
TT=19.72
T1=5.2
 OPT
f=3
TT=0.195
T1=0.18
 OPT
f=3
TT=18.09
T1=5.67
 OPT
f=3
TT=0.112
T1=0.09
 ?

TT=0.004

 OPT
f=3
TT=954.479
T1=641.3
 OPT
f=3
TT=693.014
T1=366.79
 OPT
f=3
TT=4.723
T1=2.36
 OPT
f=3
TT=4.823
T1=2.41
 OPT
f=3
TT=14.765
T1=0.69
 OPT
f=3
TT=6.575
T1=0.3
 SAT
f=3
TT=6.59
T1=0.72
 OPT
f=3
TT=0.058
T1=0.05
 OPT
f=3
TT=0.104
T1=0.09
 OPT
f=3
TT=0.06
T1=0.06
 OPT
f=3
TT=792.574
T1=6.88
 OPT
f=3
TT=322.413
T1=6.86
 OPT
f=3
TT=3.474
T1=3.46
 OPT
f=3
TT=3.453
T1=3.45
normalized-PB07/OPT-SMALLINT-NLC/submittedPB07/
roussel/factor-mod-B/
factor-mod-size=7-P0=61-P1=127-P2=131-P3=107-P4=47-B.opb 		OPT
f=3
TT=0.034
T1=0.02
 OPT
f=3
TT=12.072
T1=2.52
 OPT
f=3
TT=3.55
T1=0.07
 ? (TO)

TT=1800.01

 OPT
f=3
TT=4.896
T1=4.98
 ? (TO)

TT=1800.05

 OPT
f=3
TT=4.103
T1=1.6
 ? (TO)

TT=1800.06

 OPT
f=3
TT=3.339
T1=1.55
 ? (TO)

TT=1800.09

 ? (TO)

TT=1800.07

 OPT
f=3
TT=18.949
T1=0.46
 OPT
f=3
TT=0.036
T1=0.03
 OPT
f=3
TT=20.351
T1=6.64
 OPT
f=3
TT=9.496
T1=0.49
 OPT
f=3
TT=6.495
T1=0.79
 OPT
f=3
TT=4.83
T1=3.16
 OPT
f=3
TT=14.563
T1=0.42
 OPT
f=3
TT=3.493
T1=3.48
 ? (TO)

TT=1800.17

 OPT
f=3
TT=10.284
T1=1.17
 OPT
f=3
TT=0.15
T1=0.14
 OPT
f=3
TT=10.921
T1=0.66
 OPT
f=3
TT=0.034
T1=0.02
 ?

TT=0.006

 OPT
f=3
TT=693.221
T1=693.52
 OPT
f=3
TT=510.959
T1=260.79
 OPT
f=3
TT=2.622
T1=1.3
 OPT
f=3
TT=3.452
T1=1.72
 OPT
f=3
TT=11.613
T1=0.67
 OPT
f=3
TT=3.7
T1=0.26
 SAT
f=3
TT=4.204
T1=0.71
 OPT
f=3
TT=0.05
T1=0.04
 OPT
f=3
TT=0.086
T1=0.07
 OPT
f=3
TT=0.056
T1=0.04
 OPT
f=3
TT=631.832
T1=1.48
 OPT
f=3
TT=200.172
T1=1.47
 OPT
f=3
TT=2.933
T1=2.93
 OPT
f=3
TT=2.934
T1=2.92
normalized-PB07/OPT-SMALLINT-NLC/
submittedPB07/roussel/factor-mod-B/
factor-mod-size=7-P0=89-P1=17-P2=37-B.opb 		OPT
f=3
TT=0.018
T1=0.01
 OPT
f=3
TT=1.184
T1=0.22
 OPT
f=3
TT=0.125
T1=0.06
 OPT
f=3
TT=696.286
T1=309.27
 OPT
f=3
TT=1.485
T1=1.35
 ? (TO)

TT=1800.04

 OPT
f=3
TT=1.532
T1=1.39
 OPT
f=3
TT=361.595
T1=311.62
 OPT
f=3
TT=1.441
T1=1.35
 ? (TO)

TT=1800.08

 ? (TO)

TT=1800.05

 OPT
f=3
TT=0.665
T1=0.66
 OPT
f=3
TT=0.018
T1=0.01
 OPT
f=3
TT=0.443
T1=0.24
 OPT
f=3
TT=0.423
T1=0.02
 OPT
f=3
TT=0.826
T1=0.36
 OPT
f=3
TT=0.199
T1=0.07
 OPT
f=3
TT=0.905
T1=0.31
 OPT
f=3
TT=0.483
T1=0.48
 OPT
f=3
TT=18.299
T1=6.6
 OPT
f=3
TT=3.853
T1=2.15
 OPT
f=3
TT=0.174
T1=0.16
 OPT
f=3
TT=3.315
T1=1.14
 OPT
f=3
TT=0.084
T1=0.07
 ?

TT=0.003

 OPT
f=3
TT=245.023
T1=245.06
 OPT
f=3
TT=248.771
T1=92.34
 OPT
f=3
TT=0.403
T1=0.19
 OPT
f=3
TT=0.462
T1=0.22
 OPT
f=3
TT=2.514
T1=0.64
 OPT
f=3
TT=0.653
T1=0.2
 SAT
f=3
TT=0.946
T1=0.32
 OPT
f=3
TT=0.053
T1=0.04
 OPT
f=3
TT=0.054
T1=0.04
 OPT
f=3
TT=0.048
T1=0.04
 OPT
f=3
TT=2.059
T1=0.15
 OPT
f=3
TT=1.575
T1=0.15
 OPT
f=3
TT=0.213
T1=0.21
 OPT
f=3
TT=0.212
T1=0.21
Bench nameBest resultsbsolo
3.2
(complete)		clasp
2.0.6-R5325 (opt)
(complete)		npSolver
1.0
(complete)		npSolver
1.0 (fixed)
(complete)		npSolver
inc
(complete)		npSolver
inc (fixed)
(complete)		npSolver
inc-topDown
(complete)		npSolver
inc-topDown (fixed)
(complete)		npSolver
inc-topdown-quickBound
(complete)		npSolver
inc-topdown-quickBound (fixed)
(complete)		PB07: bsolo
3.0.17
(complete)		PB07: minisat+
1.14
(complete)		PB07: PB-clasp
2007-04-10
(complete)		PB07: Pueblo
1.4
(incomplete)		PB07: SAT4JPseudoResolution
2007-03-23
(complete)		PB09: bsolo
3.1
(complete)		PB09: SAT4J Pseudo Resolution
2.1.1
(complete)		PB09: SCIPspx
SCIP 1.1.0.7 with SoPLEX 1.4.1(24.4.2009)
(complete)		PB10: pb_cplex
2010-06-29
(complete)		PB10: SAT4J PB RES // CP
2.2.0 2010-05-31
(complete)		PB10: SCIPspx
SCIP 1.2.1.3 with SoPlex 1.4.2 (CVS Version 30.5.2010) as LP solver
(complete)		PB11: Sat4j Res//CP
2.3.0
(complete)		PB11: SCIP spx E_2
2011-06-10 (fixed)
(complete)		PB12: minisatp
1.0-2-g022594c
(complete)		pb2sat
2012-05-19
(complete)		pb2satCp2
2012-05-19
(complete)		pwbo
2.0
(complete)		pwbo
2.02
(complete)		SAT 4j PB RES // CP
2.3.2 Snapshot
(complete)		Sat 4j PB Resolution
2.3.2 Snapshot
(complete)		SAT4J PB specific settings
2.3.2 snapshot
(complete)		SCIP spx
SCIP 2.1.1.4. with SoPlex 1.6.0.3 fixed
(complete)		SCIP spx E
SCIP 2.1.1.4. Exp with SoPlex 1.6.0.3 fixed
(complete)		SCIP spx standard
SCIP 2.1.1.4. with SoPlex 1.6.0.3 standard fixed
(complete)		toysat
2012-05-17
(complete)		toysat
2012-06-01
(complete)		wbo
1.7
(complete)		wbo
1.72
(complete)
normalized-PB07/OPT-SMALLINT-NLC/submittedPB07/
roussel/factor-mod-B/
factor-mod-size=7-P0=89-P1=37-P2=43-P3=47-P4=41-P5=107-P6=127-B.opb 		OPT
f=3
TT=0.054
T1=0.05
 OPT
f=3
TT=24.499
T1=22.73
 OPT
f=3
TT=5.2
T1=0.76
 ? (TO)

TT=1800.1

 OPT
f=3
TT=10.038
T1=2.92
 ? (TO)

TT=1800.04

 OPT
f=3
TT=6.035
T1=6.03
 ? (TO)

TT=1800.02

 OPT
f=3
TT=5.794
T1=1.87
 ? (TO)

TT=1800.08

 ? (TO)

TT=1800.11

 OPT
f=3
TT=16.81
T1=12.38
 OPT
f=3
TT=0.054
T1=0.05
 OPT
f=3
TT=76.346
T1=10.07
 OPT
f=3
TT=18.623
T1=4.72
 OPT
f=3
TT=10.013
T1=0.88
 Wrong UNSAT

TT=11.191

 OPT
f=3
TT=11.064
T1=1.93
 OPT
f=3
TT=2.814
T1=2.8
 ? (TO)

TT=1800.31

 OPT
f=3
TT=18.462
T1=10.19
 OPT
f=3
TT=0.262
T1=0.25
 OPT
f=3
TT=23.02
T1=2.18
 OPT
f=3
TT=0.15
T1=0.13
 ?

TT=0.006

 OPT
f=3
TT=1164.19
T1=1164.46
 OPT
f=3
TT=1017.08
T1=337.35
 OPT
f=3
TT=5.933
T1=2.96
 OPT
f=3
TT=6.042
T1=3.02
 OPT
f=3
TT=17.291
T1=1.68
 OPT
f=3
TT=7.512
T1=1.41
 SAT
f=3
TT=8.624
T1=0.87
 OPT
f=3
TT=0.067
T1=0.05
 OPT
f=3
TT=0.126
T1=0.11
 OPT
f=3
TT=0.076
T1=0.06
 OPT
f=3
TT=921.312
T1=5.31
 OPT
f=3
TT=824.791
T1=5.26
 OPT
f=3
TT=6.604
T1=6.59
 OPT
f=3
TT=6.614
T1=6.6
normalized-PB07/OPT-SMALLINT-NLC/submittedPB07/
roussel/factor-mod-B/
factor-mod-size=7-P0=97-P1=37-P2=107-P3=53-P4=53-B.opb 		OPT
f=3
TT=0.036
T1=0.03
 OPT
f=3
TT=12.416
T1=4.91
 OPT
f=3
TT=4.139
T1=0.19
 ? (TO)

TT=1800.01

 OPT
f=3
TT=4.831
T1=1.65
 ? (TO)

TT=1800.05

 OPT
f=3
TT=4.457
T1=1.16
 ? (TO)

TT=1800.03

 OPT
f=3
TT=3.009
T1=1.24
 ? (TO)

TT=1800.09

 ? (TO)

TT=1800.11

 OPT
f=3
TT=4.535
T1=3.39
 OPT
f=3
TT=0.036
T1=0.03
 OPT
f=3
TT=15.901
T1=13.74
 OPT
f=3
TT=5.958
T1=0.35
 OPT
f=3
TT=9.224
T1=0.32
 OPT
f=3
TT=5.144
T1=3.81
 OPT
f=3
TT=10.441
T1=0.44
 OPT
f=3
TT=3.022
T1=3.01
 ? (TO)

TT=1800.05

 OPT
f=3
TT=10.864
T1=1.19
 OPT
f=3
TT=0.188
T1=0.18
 OPT
f=3
TT=8.752
T1=1.16
 OPT
f=3
TT=0.118
T1=0.1
 ?

TT=0.004

 OPT
f=3
TT=689.972
T1=214.77
 OPT
f=3
TT=800.774
T1=326.72
 OPT
f=3
TT=3.702
T1=1.84
 OPT
f=3
TT=3.223
T1=1.6
 OPT
f=3
TT=9.333
T1=2.17
 OPT
f=3
TT=3.973
T1=0.25
 SAT
f=3
TT=5.584
T1=0.52
 OPT
f=3
TT=0.084
T1=0.07
 OPT
f=3
TT=0.082
T1=0.06
 OPT
f=3
TT=0.074
T1=0.06
 OPT
f=3
TT=1376.37
T1=1.37
 OPT
f=3
TT=784.644
T1=1.41
 OPT
f=3
TT=3.872
T1=4
 OPT
f=3
TT=3.872
T1=3.86
normalized-PB07/OPT-SMALLINT-NLC/submittedPB07/
roussel/factor-mod-B/
factor-mod-size=8-P0=139-P1=101-P2=227-P3=251-P4=227-P5=251-B.opb 		OPT
f=3
TT=0.066
T1=0.06
 OPT
f=3
TT=291.212
T1=101.23
 OPT
f=3
TT=40.64
T1=1.6
 Wrong UNSAT

TT=321.859

 OPT
f=3
TT=33.778
T1=0.37
 Wrong UNSAT

TT=324.24

 OPT
f=3
TT=33.997
T1=0.35
 Wrong UNSAT

TT=323.75

 OPT
f=3
TT=25.294
T1=0.67
 Wrong UNSAT

TT=323.48

 OPT
f=3
TT=66.541
T1=42.4
 OPT
f=3
TT=145.051
T1=139.68
 OPT
f=3
TT=0.066
T1=0.06
 OPT
f=3
TT=438.751
T1=198.28
 OPT
f=3
TT=516.003
T1=2.44
 OPT
f=3
TT=128.63
T1=3.38
 Wrong Opt.
f=33
TT=10.072
T1=2.45
 OPT
f=3
TT=416.521
T1=1.53
 OPT
f=3
TT=4.663
T1=4.65
 ? (TO)

TT=1800.14

 OPT
f=3
TT=76.771
T1=34.32
 OPT
f=3
TT=1.591
T1=1.58
 OPT
f=3
TT=87.822
T1=28.75
 OPT
f=3
TT=0.125
T1=0.11
 ?

TT=0.005

 ? (TO)

TT=1800.09

 ? (TO)

TT=1800.04

 OPT
f=3
TT=38.328
T1=19.16
 OPT
f=3
TT=34.16
T1=17.1
 OPT
f=3
TT=50.846
T1=2.69
 OPT
f=3
TT=16.801
T1=0.37
 SAT
f=3
TT=33.929
T1=0.73
 OPT
f=3
TT=0.072
T1=0.06
 OPT
f=3
TT=0.127
T1=0.11
 OPT
f=3
TT=0.129
T1=0.12
 ? (TO)

TT=1800.02

 ? (TO)

TT=1800.02

 OPT
f=3
TT=53.177
T1=53.19
 OPT
f=3
TT=105.217
T1=52.69
normalized-PB07/OPT-SMALLINT-NLC/submittedPB07/
roussel/factor-mod-B/
factor-mod-size=8-P0=149-P1=79-P2=59-P3=73-P4=211-B.opb 		OPT
f=3
TT=0.049
T1=0.04
 OPT
f=3
TT=426.646
T1=0.92
 OPT
f=3
TT=25.743
T1=0.91
 Wrong UNSAT

TT=321.728

 OPT
f=3
TT=26.163
T1=26.17
 Wrong UNSAT

TT=317.38

 OPT
f=3
TT=25.884
T1=1.71
 Wrong UNSAT

TT=315.81

 OPT
f=3
TT=14.371
T1=1.85
 Wrong UNSAT

TT=320.09

 ? (TO)

TT=1800.06

 OPT
f=3
TT=56.488
T1=31.84
 OPT
f=3
TT=0.049
T1=0.04
 OPT
f=3
TT=156.554
T1=104.65
 OPT
f=3
TT=81.814
T1=6.08
 OPT
f=3
TT=16.682
T1=0.5
 Wrong Opt.
f=41
TT=4.204
T1=0.23
 OPT
f=3
TT=39.569
T1=0.63
 OPT
f=3
TT=2.26
T1=2.25
 ? (TO)

TT=1800.11

 OPT
f=3
TT=41.509
T1=2.18
 OPT
f=3
TT=1.1
T1=1.09
 OPT
f=3
TT=43.966
T1=5.17
 OPT
f=3
TT=0.087
T1=0.07
 ?

TT=0.005

 ? (TO)

TT=1800.08

 ? (TO)

TT=1800.08

 OPT
f=3
TT=19.801
T1=9.9
 OPT
f=3
TT=24.99
T1=12.53
 OPT
f=3
TT=35.549
T1=1.68
 OPT
f=3
TT=13.122
T1=0.54
 SAT
f=3
TT=18.422
T1=0.7
 OPT
f=3
TT=0.105
T1=0.09
 OPT
f=3
TT=0.108
T1=0.09
 OPT
f=3
TT=0.061
T1=0.06
 ? (TO)

TT=1800.03

 ? (TO)

TT=1800.03

 OPT
f=3
TT=51.551
T1=51.54
 OPT
f=3
TT=48.57
T1=48.63
normalized-PB07/OPT-SMALLINT-NLC/submittedPB07/roussel/
factor-mod-B/
factor-mod-size=8-P0=211-P1=113-P2=103-P3=37-P4=167-P5=5-P6=191-P7=13-P8=223-P9=137-B.opb 		OPT
f=3
TT=0.113
T1=0.11
 SAT
f=3
TT=1798
T1=369.64
 OPT
f=3
TT=151.564
T1=13.11
 Wrong UNSAT

TT=325.185

 OPT
f=3
TT=72.659
T1=28.11
 Wrong UNSAT

TT=324.95

 OPT
f=3
TT=64.493
T1=20.56
 Wrong UNSAT

TT=326.62

 OPT
f=3
TT=54.805
T1=11.13
 Wrong UNSAT

TT=320.91

 ? (TO)

TT=1800.57

 OPT
f=3
TT=500.909
T1=348.26
 OPT
f=3
TT=0.113
T1=0.11
 SAT (TO)
f=129
TT=1800.12
T1=1587.78
 OPT
f=3
TT=176.264
T1=91.41
 OPT
f=3
TT=181.11
T1=70.14
 Wrong UNSAT

TT=1.462

 OPT
f=3
TT=798.21
T1=146.02
 OPT
f=3
TT=3.459
T1=3.45
 ? (TO)

TT=1800.08

 OPT
f=3
TT=166.719
T1=89.3
 OPT
f=3
TT=3.067
T1=3.05
 OPT
f=3
TT=127.615
T1=51.03
 OPT
f=3
TT=0.18
T1=0.16
 ?

TT=0.006

 ? (TO)

TT=1800.08

 ? (TO)

TT=1800.01

 OPT
f=3
TT=118.908
T1=59.46
 OPT
f=3
TT=87.35
T1=43.76
 OPT
f=3
TT=230.279
T1=14.8
 OPT
f=3
TT=78.79
T1=7.07
 SAT
f=3
TT=105.11
T1=1.17
 OPT
f=3
TT=0.295
T1=0.28
 OPT
f=3
TT=0.248
T1=0.23
 OPT
f=3
TT=0.288
T1=0.27
 ? (TO)

TT=1800.11

 ? (TO)

TT=1800.11

 OPT
f=3
TT=124.969
T1=125.01
 OPT
f=3
TT=125.528
T1=125.58
normalized-PB07/OPT-SMALLINT-NLC/submittedPB07/
roussel/factor-mod-B/
factor-mod-size=8-P0=229-P1=67-P2=149-P3=97-P4=149-P5=211-P6=89-P7=59-B.opb 		OPT
f=3
TT=0.087
T1=0.08
 OPT
f=3
TT=1117.07
T1=408.21
 OPT
f=3
TT=71.209
T1=3.21
 Wrong UNSAT

TT=340.893

 OPT
f=3
TT=42.925
T1=5.65
 Wrong UNSAT

TT=322

 OPT
f=3
TT=40.804
T1=40.86
 Wrong UNSAT

TT=326.48

 OPT
f=3
TT=41.341
T1=9.49
 Wrong UNSAT

TT=323.41

 ? (TO)

TT=1800.06

 OPT
f=3
TT=256.805
T1=151.85
 OPT
f=3
TT=0.087
T1=0.08
 OPT
f=3
TT=1514.02
T1=1234.03
 OPT
f=3
TT=388.097
T1=2.71
 OPT
f=3
TT=230.12
T1=2.49
 OPT
f=3
TT=31.65
T1=4.05
 OPT
f=3
TT=881.231
T1=68.5
 OPT
f=3
TT=2.039
T1=2.03
 ? (TO)

TT=1800.23

 OPT
f=3
TT=129.454
T1=41.45
 OPT
f=3
TT=8.624
T1=8.61
 OPT
f=3
TT=84.74
T1=31.41
 OPT
f=3
TT=1.605
T1=1.59
 ?

TT=0.006

 ? (TO)

TT=1800.06

 ? (TO)

TT=1800.09

 OPT
f=3
TT=62.246
T1=31.11
 OPT
f=3
TT=60.56
T1=30.35
 OPT
f=3
TT=104.658
T1=1.22
 OPT
f=3
TT=78.73
T1=5.74
 SAT
f=3
TT=60.51
T1=5.96
 OPT
f=3
TT=0.184
T1=0.17
 OPT
f=3
TT=0.179
T1=0.16
 OPT
f=3
TT=0.177
T1=0.16
 ? (TO)

TT=1800.01

 ? (TO)

TT=1800.03

 OPT
f=3
TT=128.129
T1=128.17
 OPT
f=3
TT=127.748
T1=127.79
normalized-PB07/OPT-SMALLINT-NLC/submittedPB07/
roussel/factor-mod-B/
factor-mod-size=8-P0=61-P1=167-P2=157-P3=13-P4=173-P5=47-P6=47-P7=251-P8=79-B.opb 		OPT
f=3
TT=0.114
T1=0.1
 SAT
f=3
TT=1798.25
T1=721
 OPT
f=3
TT=93.867
T1=2.4
 Wrong UNSAT

TT=314.52

 OPT
f=3
TT=61.489
T1=17.17
 Wrong UNSAT

TT=313.81

 OPT
f=3
TT=58.362
T1=58.37
 Wrong UNSAT

TT=317.07

 OPT
f=3
TT=46.341
T1=11.21
 Wrong UNSAT

TT=320.08

 ? (TO)

TT=1800.08

 OPT
f=3
TT=193.877
T1=147.83
 OPT
f=3
TT=0.137
T1=0.13
 SAT (TO)
f=239
TT=1802.07
T1=1538.56
 OPT
f=3
TT=589.752
T1=112.38
 OPT
f=3
TT=369.95
T1=1.04
 Wrong UNSAT

TT=4.986

 OPT
f=3
TT=175.09
T1=12.81
 OPT
f=3
TT=1.012
T1=1
 ? (TO)

TT=1800.36

 OPT
f=3
TT=154.533
T1=68.53
 OPT
f=3
TT=4.066
T1=4.06
 OPT
f=3
TT=187.505
T1=41.77
 OPT
f=3
TT=0.22
T1=0.2
 ?

TT=0.005

 ? (TO)

TT=1800.05

 ? (TO)

TT=1800.04

 OPT
f=3
TT=112.109
T1=56.07
 OPT
f=3
TT=73.75
T1=36.91
 OPT
f=3
TT=169.007
T1=7.23
 OPT
f=3
TT=114.86
T1=4.35
 SAT
f=3
TT=135.2
T1=2.8
 OPT
f=3
TT=0.114
T1=0.1
 OPT
f=3
TT=0.213
T1=0.19
 OPT
f=3
TT=0.236
T1=0.22
 ? (TO)

TT=1800.02

 ? (TO)

TT=1800.02

 OPT
f=3
TT=97.994
T1=98.02
 OPT
f=3
TT=99.225
T1=99.24
normalized-PB07/OPT-SMALLINT-NLC/
submittedPB07/roussel/factor-mod-B/
factor-mod-size=9-P0=41-P1=331-P2=37-B.opb 		OPT
f=3
TT=0.033
T1=0.03
 OPT
f=3
TT=50.285
T1=5.03
 OPT
f=3
TT=3.68
T1=0.86
 ? (problem)

TT=677.802

 OPT
f=3
TT=3.221
T1=0.32
 ? (problem)

TT=637.292

 OPT
f=3
TT=3.285
T1=0.32
 ? (problem)

TT=638.619

 OPT
f=3
TT=3.749
T1=0.57
 ? (problem)

TT=652.096

 ? (TO)

TT=1800.26

 OPT
f=3
TT=40.203
T1=3.48
 OPT
f=3
TT=0.033
T1=0.03
 OPT
f=3
TT=5.938
T1=0.27
 OPT
f=3
TT=6.838
T1=0.17
 OPT
f=3
TT=7.263
T1=0.34
 OPT
f=3
TT=3.395
T1=0.77
 OPT
f=3
TT=20.071
T1=0.3
 OPT
f=3
TT=1.016
T1=1.01
 Wrong Cert.

TT=149.979

 OPT
f=3
TT=33.818
T1=2.17
 OPT
f=3
TT=1.333
T1=1.32
 OPT
f=3
TT=32.079
T1=3.15
 OPT
f=3
TT=0.121
T1=0.1
 ?

TT=0.005

 ? (problem)

TT=622.995

 ? (problem)

TT=633.929

 OPT
f=3
TT=18.479
T1=9.23
 OPT
f=3
TT=18.59
T1=9.32
 OPT
f=3
TT=12.583
T1=2.17
 OPT
f=3
TT=6.043
T1=0.35
 SAT
f=3
TT=8.253
T1=1.53
 OPT
f=3
TT=0.068
T1=0.06
 OPT
f=3
TT=0.069
T1=0.05
 OPT
f=3
TT=0.06
T1=0.05
 OPT
f=3
TT=58.673
T1=1.25
 OPT
f=3
TT=55.059
T1=1.25
 OPT
f=3
TT=8.752
T1=8.74
 OPT
f=3
TT=8.971
T1=8.97
normalized-PB07/OPT-SMALLINT-NLC/submittedPB07/
roussel/factor-mod-B/
factor-mod-size=9-P0=499-P1=293-P2=223-P3=277-B.opb 		OPT
f=3
TT=0.05
T1=0.04
 OPT
f=3
TT=1536.65
T1=3.83
 OPT
f=3
TT=107.306
T1=1.3
 ? (problem)

TT=637.449

 OPT
f=3
TT=73.177
T1=73.19
 ? (problem)

TT=637.826

 OPT
f=3
TT=73.65
T1=0.46
 ? (problem)

TT=637.929

 OPT
f=3
TT=28.78
T1=0.58
 ? (problem)

TT=654.206

 ? (TO)

TT=1800.23

 OPT
f=3
TT=257.383
T1=162.74
 OPT
f=3
TT=0.05
T1=0.04
 OPT
f=3
TT=607.233
T1=138.39
 SAT
f=3
TT=1783
T1=0.2
 OPT
f=3
TT=66.5
T1=0.43
 Wrong UNSAT

TT=3.716

 OPT
f=3
TT=1685.81
T1=0.43
 OPT
f=3
TT=1.067
T1=1.06
 ? (TO)

TT=1800.09

 OPT
f=3
TT=121.775
T1=32.2
 OPT
f=3
TT=0.183
T1=0.17
 OPT
f=3
TT=86.002
T1=24.7
 OPT
f=3
TT=0.129
T1=0.11
 ?

TT=0.005

 ? (problem)

TT=623.034

 ? (problem)

TT=627.939

 OPT
f=3
TT=111.197
T1=55.6
 OPT
f=3
TT=104.37
T1=52.26
 OPT
f=3
TT=116.536
T1=0.68
 OPT
f=3
TT=41.12
T1=0.26
 SAT
f=3
TT=55.09
T1=1.79
 OPT
f=3
TT=0.099
T1=0.09
 OPT
f=3
TT=0.105
T1=0.09
 OPT
f=3
TT=0.057
T1=0.05
 ? (TO)

TT=1800.11

 ? (TO)

TT=1800.03

 OPT
f=3
TT=42.58
T1=42.58
 OPT
f=3
TT=42.68
T1=42.73
normalized-PB07/OPT-SMALLINT-NLC/submittedPB07/
roussel/factor-mod-B/
factor-mod-size=9-P0=67-P1=349-P2=67-P3=499-P4=79-P5=347-P6=307-B.opb 		OPT
f=3
TT=0.111
T1=0.1
 SAT
f=3
TT=1798
T1=1200.94
 OPT
f=3
TT=534.921
T1=10.11
 ? (problem)

TT=628.95

 OPT
f=3
TT=204.42
T1=204.46
 ? (problem)

TT=633.839

 OPT
f=3
TT=202.323
T1=202.36
 ? (problem)

TT=631.49

 OPT
f=3
TT=188.89
T1=26.28
 ? (problem)

TT=632.832

 ? (TO)

TT=1800.03

 OPT
f=3
TT=1542.36
T1=1120.27
 OPT
f=3
TT=0.199
T1=0.19
 ? (TO)

TT=1802.11

 SAT
f=3
TT=1783.01
T1=84.69
 OPT
f=3
TT=1258.94
T1=86.3
 Wrong UNSAT

TT=5.59

 SAT (TO)
f=3
TT=1800.5
T1=112.56
 OPT
f=3
TT=1.694
T1=1.68
 ? (TO)

TT=1800.03

 OPT
f=3
TT=628.574
T1=81.51
 OPT
f=3
TT=2.573
T1=2.56
 OPT
f=3
TT=328.545
T1=112.14
 OPT
f=3
TT=0.188
T1=0.17
 ?

TT=0.006

 ? (problem)

TT=616.997

 ? (problem)

TT=618.19

 OPT
f=3
TT=294.039
T1=147.06
 OPT
f=3
TT=379.05
T1=189.6
 OPT
f=3
TT=1007.6
T1=10.72
 OPT
f=3
TT=291.11
T1=5.29
 SAT
f=3
TT=1067.13
T1=14.16
 OPT
f=3
TT=0.111
T1=0.1
 OPT
f=3
TT=0.24
T1=0.22
 OPT
f=3
TT=0.239
T1=0.23
 ? (TO)

TT=1800.02

 ? (TO)

TT=1800.02

 OPT
f=3
TT=1492.26
T1=1492.49
 OPT
f=3
TT=1494.15
T1=1494.44
Bench nameBest resultsbsolo
3.2
(complete)		clasp
2.0.6-R5325 (opt)
(complete)		npSolver
1.0
(complete)		npSolver
1.0 (fixed)
(complete)		npSolver
inc
(complete)		npSolver
inc (fixed)
(complete)		npSolver
inc-topDown
(complete)		npSolver
inc-topDown (fixed)
(complete)		npSolver
inc-topdown-quickBound
(complete)		npSolver
inc-topdown-quickBound (fixed)
(complete)		PB07: bsolo
3.0.17
(complete)		PB07: minisat+
1.14
(complete)		PB07: PB-clasp
2007-04-10
(complete)		PB07: Pueblo
1.4
(incomplete)		PB07: SAT4JPseudoResolution
2007-03-23
(complete)		PB09: bsolo
3.1
(complete)		PB09: SAT4J Pseudo Resolution
2.1.1
(complete)		PB09: SCIPspx
SCIP 1.1.0.7 with SoPLEX 1.4.1(24.4.2009)
(complete)		PB10: pb_cplex
2010-06-29
(complete)		PB10: SAT4J PB RES // CP
2.2.0 2010-05-31
(complete)		PB10: SCIPspx
SCIP 1.2.1.3 with SoPlex 1.4.2 (CVS Version 30.5.2010) as LP solver
(complete)		PB11: Sat4j Res//CP
2.3.0
(complete)		PB11: SCIP spx E_2
2011-06-10 (fixed)
(complete)		PB12: minisatp
1.0-2-g022594c
(complete)		pb2sat
2012-05-19
(complete)		pb2satCp2
2012-05-19
(complete)		pwbo
2.0
(complete)		pwbo
2.02
(complete)		SAT 4j PB RES // CP
2.3.2 Snapshot
(complete)		Sat 4j PB Resolution
2.3.2 Snapshot
(complete)		SAT4J PB specific settings
2.3.2 snapshot
(complete)		SCIP spx
SCIP 2.1.1.4. with SoPlex 1.6.0.3 fixed
(complete)		SCIP spx E
SCIP 2.1.1.4. Exp with SoPlex 1.6.0.3 fixed
(complete)		SCIP spx standard
SCIP 2.1.1.4. with SoPlex 1.6.0.3 standard fixed
(complete)		toysat
2012-05-17
(complete)		toysat
2012-06-01
(complete)		wbo
1.7
(complete)		wbo
1.72
(complete)
/OPT-SMALLINT-NLC/oren/
keeloq_tasca_instances/
normalized-90_rounds_0_errors.opb 		OPT
f=0
TT=0.045
T1=0.03
 SAT
f=26
TT=1798.02
T1=317.05
 OPT
f=0
TT=0.595
T1=0.59
 OPT
f=0
TT=1.368
T1=1.51
 OPT
f=0
TT=1.425
T1=1.42
 ? (problem)

TT=0.97

 ? (problem)

TT=1.11

 ? (problem)

TT=0.96

 ? (problem)

TT=1.11

 ? (problem)

TT=0.96

 ? (problem)

TT=1.08

 ? (TO)

TT=1800.12

 SAT (TO)
f=18
TT=1800.1
T1=1518.46
 SAT (TO)
f=27
TT=1802.1
T1=1550.9
 OPT
f=0
TT=0.1
T1=0.1
 OPT
f=0
TT=1.193
T1=0.55
 Wrong Opt.
f=33
TT=329.696
T1=124.24
 OPT
f=0
TT=1.013
T1=0.52
 OPT
f=0
TT=80.93
T1=80.92
 OPT
f=0
TT=12.305
T1=12.29
 OPT
f=0
TT=1.174
T1=1.48
 OPT
f=0
TT=27.595
T1=27.56
 OPT
f=0
TT=1.293
T1=1
 OPT
f=0
TT=15.942
T1=15.89
 ?

TT=0.007

 OPT
f=0
TT=5.412
T1=5.41
 OPT
f=0
TT=5.347
T1=5.34
 OPT
f=0
TT=0.073
T1=0.04
 OPT
f=0
TT=0.071
T1=0.04
 OPT
f=0
TT=1.324
T1=1.01
 OPT
f=0
TT=0.926
T1=0.48
 SAT (TO)
f=32
TT=1800.38
T1=1687.5
 OPT
f=0
TT=15.044
T1=15.01
 OPT
f=0
TT=11.921
T1=11.89
 OPT
f=0
TT=13.983
T1=13.94
 OPT
f=0
TT=0.105
T1=0.11
 OPT
f=0
TT=0.114
T1=0.11
 OPT
f=0
TT=0.045
T1=0.03
 OPT
f=0
TT=0.045
T1=0.03
/OPT-SMALLINT-NLC/oren/
keeloq_tasca_instances/
normalized-90_rounds_10_errors.opb 		OPT
f=10
TT=19.745
T1=19.7
 SAT
f=31
TT=1798.01
T1=191.73
 SAT (TO)
f=31
TT=1800.02
T1=1660.01
 ? (TO)

TT=1800.13

 ? (TO)

TT=1800.11

 ? (problem)

TT=0.9

 ? (problem)

TT=4.45

 ? (problem)

TT=0.92

 ? (problem)

TT=4.5

 ? (problem)

TT=0.91

 ? (problem)

TT=4.47

 SAT (TO)
f=55
TT=1800.05
T1=83.08
 SAT (TO)
f=25
TT=1800.01
T1=1603.51
 SAT (TO)
f=34
TT=1802.09
T1=755.61
 SAT
f=23
TT=1783.01
T1=1515.09
 SAT (TO)
f=37
TT=1800.03
T1=573.98
 Wrong Opt.
f=35
TT=455.467
T1=72.54
 SAT (TO)
f=38
TT=1800.6
T1=1481
 OPT
f=10
TT=30.455
T1=30.45
 OPT
f=10
TT=7.636
T1=7.62
 SAT (TO)
f=35
TT=1800.8
T1=857.94
 OPT
f=10
TT=92.415
T1=92.39
 SAT (TO)
f=37
TT=1800.01
T1=583.8
 OPT
f=10
TT=29.663
T1=29.63
 ?

TT=0.006

 ? (TO)

TT=1800.1

 ? (TO)

TT=1800.08

 SAT (TO)
f=35
TT=1800.05
T1=900.41
 SAT (TO)
f=37
TT=1800.33
T1=900.31
 SAT (TO)
f=33
TT=1800.18
T1=128
 SAT (TO)
f=29
TT=1800.06
T1=514.68
 SAT (TO)
f=33
TT=1800.59
T1=1749.96
 OPT
f=10
TT=19.756
T1=19.72
 OPT
f=10
TT=19.745
T1=19.7
 OPT
f=10
TT=20.15
T1=20.12
 ? (TO)

TT=1800.03

 ? (TO)

TT=1800.05

 ?

TT=1799.84

 ?

TT=1799.57
/OPT-SMALLINT-NLC/oren/
keeloq_tasca_instances/
normalized-90_rounds_15_errors.opb 		OPT
f=15
TT=49.981
T1=45.15
 SAT
f=26
TT=1798.04
T1=1025.11
 SAT (TO)
f=32
TT=1800.03
T1=1114.4
 ? (TO)

TT=1800.14

 ? (TO)

TT=1800.13

 ? (problem)

TT=0.9

 ? (problem)

TT=2.23

 ? (problem)

TT=0.85

 ? (problem)

TT=2.11

 ? (problem)

TT=0.86

 ? (problem)

TT=2.2

 SAT (TO)
f=59
TT=1800.11
T1=3.24
 OPT
f=15
TT=995.053
T1=979.09
 SAT (TO)
f=40
TT=1800.14
T1=656.79
 SAT
f=24
TT=1783
T1=685
 SAT (TO)
f=36
TT=1800.08
T1=1343.88
 Wrong Opt.
f=34
TT=74.321
T1=4.18
 SAT (TO)
f=40
TT=1801.09
T1=277.72
 SAT (TO)
f=43
TT=1800.06
T1=1432.37
 ? (TO)

TT=1800.17

 SAT (TO)
f=34
TT=1800.82
T1=944.71
 ?

TT=1789.76

 SAT (TO)
f=30
TT=1800.54
T1=917.98
 OPT
f=15
TT=681.7
T1=673.07
 ?

TT=0.004

 ? (TO)

TT=1800.08

 ? (TO)

TT=1800.1

 SAT (TO)
f=36
TT=1800.11
T1=900.81
 SAT (TO)
f=37
TT=1800.17
T1=900.81
 SAT (TO)
f=34
TT=1800.05
T1=694.39
 SAT (TO)
f=30
TT=1800.05
T1=1445.52
 SAT (TO)
f=33
TT=1800.64
T1=1663.55
 OPT
f=15
TT=1789.57
T1=1789.82
 OPT
f=15
TT=49.981
T1=45.15
 ?

TT=1796.77

 ? (TO)

TT=1800.07

 ? (TO)

TT=1800.08

 ?

TT=1799.59

 ?

TT=1799.95
/OPT-SMALLINT-NLC/oren/
keeloq_tasca_instances/
normalized-90_rounds_5_errors.opb 		OPT
f=5
TT=1.695
T1=0.1
 SAT
f=23
TT=1798
T1=1356.02
 SAT (TO)
f=30
TT=1800.03
T1=1435.6
 ? (TO)

TT=1800.12

 ? (TO)

TT=1800.12

 ? (problem)

TT=7.86

 ? (problem)

TT=4.87

 ? (problem)

TT=8.47

 ? (problem)

TT=4.92

 ? (problem)

TT=8.19

 ? (problem)

TT=4.44

 ? (TO)

TT=1800.13

 SAT (TO)
f=21
TT=1800.12
T1=1794.11
 SAT (TO)
f=30
TT=1802.08
T1=1516.22
 SAT
f=16
TT=1783.01
T1=1734.82
 SAT (TO)
f=34
TT=1800.07
T1=1414.84
 Wrong Opt.
f=36
TT=66.826
T1=42.82
 SAT (TO)
f=37
TT=1800.75
T1=1095.23
 OPT
f=5
TT=42.254
T1=42.24
 OPT
f=5
TT=7.318
T1=7.31
 OPT
f=5
TT=1761.45
T1=943.27
 OPT
f=5
TT=13.61
T1=13.57
 OPT
f=5
TT=535.72
T1=284.96
 OPT
f=5
TT=9.218
T1=9.18
 ?

TT=0.005

 ? (TO)

TT=1800.07

 ? (TO)

TT=1800.07

 SAT (TO)
f=31
TT=1800.13
T1=900.41
 SAT (TO)
f=30
TT=1800.45
T1=900.61
 OPT
f=5
TT=5.453
T1=3.53
 SAT (TO)
f=27
TT=1800.1
T1=1670.9
 SAT (TO)
f=30
TT=1800.61
T1=1370.11
 OPT
f=5
TT=15.801
T1=15.77
 OPT
f=5
TT=11.128
T1=11.09
 OPT
f=5
TT=15.509
T1=15.48
 OPT
f=5
TT=1.695
T1=0.1
 OPT
f=5
TT=1.745
T1=0.11
 ?

TT=1799.94

 ?

TT=1799.6



Statisticsbsolo
3.2
(complete)		clasp
2.0.6-R5325 (opt)
(complete)		npSolver
1.0
(complete)		npSolver
1.0 (fixed)
(complete)		npSolver
inc
(complete)		npSolver
inc (fixed)
(complete)		npSolver
inc-topDown
(complete)		npSolver
inc-topDown (fixed)
(complete)		npSolver
inc-topdown-quickBound
(complete)		npSolver
inc-topdown-quickBound (fixed)
(complete)		PB07: bsolo
3.0.17
(complete)		PB07: minisat+
1.14
(complete)		PB07: PB-clasp
2007-04-10
(complete)		PB07: Pueblo
1.4
(incomplete)		PB07: SAT4JPseudoResolution
2007-03-23
(complete)		PB09: bsolo
3.1
(complete)		PB09: SAT4J Pseudo Resolution
2.1.1
(complete)		PB09: SCIPspx
SCIP 1.1.0.7 with SoPLEX 1.4.1(24.4.2009)
(complete)		PB10: pb_cplex
2010-06-29
(complete)		PB10: SAT4J PB RES // CP
2.2.0 2010-05-31
(complete)		PB10: SCIPspx
SCIP 1.2.1.3 with SoPlex 1.4.2 (CVS Version 30.5.2010) as LP solver
(complete)		PB11: Sat4j Res//CP
2.3.0
(complete)		PB11: SCIP spx E_2
2011-06-10 (fixed)
(complete)		PB12: minisatp
1.0-2-g022594c
(complete)		pb2sat
2012-05-19
(complete)		pb2satCp2
2012-05-19
(complete)		pwbo
2.0
(complete)		pwbo
2.02
(complete)		SAT 4j PB RES // CP
2.3.2 Snapshot
(complete)		Sat 4j PB Resolution
2.3.2 Snapshot
(complete)		SAT4J PB specific settings
2.3.2 snapshot
(complete)		SCIP spx
SCIP 2.1.1.4. with SoPlex 1.6.0.3 fixed
(complete)		SCIP spx E
SCIP 2.1.1.4. Exp with SoPlex 1.6.0.3 fixed
(complete)		SCIP spx standard
SCIP 2.1.1.4. with SoPlex 1.6.0.3 standard fixed
(complete)		toysat
2012-05-17
(complete)		toysat
2012-06-01
(complete)		wbo
1.7
(complete)		wbo
1.72
(complete)
Number of times the solver is able to give the best known answer457306005905903148643757380477605667569605252656555552372987445444545
Number of times the solver is the best solver from a complete solver point of view
(i.e. best known answer and best TT time)		51400010000128010003015025000191700032461098