PB'16 competition: satisfaction and optimization track: results by benchmark

Results by benchmark for category optimisation, small integers, linear constraints (OPT-SMALLINT-LIN)

This page displays the results of the different solvers for each benchmark for category optimisation, small integers, linear constraints (OPT-SMALLINT-LIN)

REMINDER

Keep in mind that the 'Best result' columns only provide the best result given by one of the solvers. This 'Best result' may be wrong in case of an UNSATISFIABLE or OPTIMUM FOUND answer (because there's no efficient way to check these answers).

Description of a cell contents:

Cell example	Meaning
Answer	Solver result
f=...	value of the objective function for the model reported by the solver
TT=...	Total Time (TT): this is the CPU time (in seconds) used by the solver until termination. This time is only meaningful for complete solvers because incomplete solvers will always run until they time out

Remember that CPU time and wall clock time are two very different notions. The CPU time represents the time during which the instructions of the solver were executed by the processor. The wall clock time represents how much time ellapsed on the clock. For a same event, the CPU time may be either smaller or greater than the wall clock time depending on the number of threads of execution and the number of processors.

Meaning of some abbreviations:

Abbreviation	Meaning
f=...	Value of the objective function
TO	Time Out
MO	Mem. Out (out of memory)

Meaning of the different colors:

Color	Meaning
text	the solver cannot handle this instance
text	the solver gave no answer
text	the solver could give an answer (SAT)
text	the solver gave a definitive answer (OPTIMUM FOUND or UNSAT)
text	the solver performed better than the other ones on that instance (complete solvers point of view)
text	the solver performed better than the other ones on that instance (incomplete solvers point of view)
text	the solver was ended by a signal or other problem
text	the solver gave an incomplete answer
text	the solver gave a wrong answer

For better readability, you may choose to hide some solvers:
cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)
cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)
minisatp 2012-10-02 git-d91742b (complete)
NaPS 1.02 (complete)
Open-WBO PB16 (complete)
Open-WBO-LSU PB16 (complete)
Sat4j PB 2.3.6 Res+CP PB16 (complete)
Sat4j PB 2.3.6 Resolution PB16 (complete)
toysat 2016-05-02 (complete)

Bench name	Best results on this instance	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
normalized-PB06/OPT-SMALLINT/ mps-v2-20-10/MIPLIB/miplib2003/ normalized-mps-v2-20-10-10teams.opb	SAT f=914 TT=1800.03 T1=1800.3	? (TO) TT=1800.06	? (TO) TT=1800.02	SAT (TO) f=926 TT=1800.01 T1=1800.3	SAT (TO) f=972 TT=1800.11 T1=1800.4	SAT (TO) f=914 TT=1800.03 T1=1800.3	SAT (TO) f=922 TT=1800.07 T1=1800.4	SAT (TO) f=916 TT=1800.87 T1=47.63	SAT (TO) f=916 TT=1800.09 T1=128.78	? (TO) TT=1800.02
normalized-PB06/OPT-SMALLINT/ mps-v2-20-10/MIPLIB/miplib2003/ normalized-mps-v2-20-10-fast0507.opb	SAT f=251 TT=1800.09 T1=1800.4	? (TO) TT=1800.04	? (TO) TT=1800.03	SAT (TO) f=349 TT=1800.12 T1=1800.5	SAT (TO) f=349 TT=1800.1 T1=1800.4	SAT (TO) f=251 TT=1800.09 T1=1800.4	SAT (TO) f=294 TT=1800.06 T1=1800.4	SAT (TO) f=259 TT=1800.05 T1=80.62	SAT (TO) f=259 TT=1800.09 T1=1.37	? (TO) TT=1800.15
normalized-PB06/OPT-SMALLINT/ mps-v2-20-10/MIPLIB/miplib2003/ normalized-mps-v2-20-10-manna81.opb	SAT f=-11615 TT=1800.1 T1=1800.4	? (TO) TT=1800.1	? (TO) TT=1800.04	SAT (TO) f=-11615 TT=1800.1 T1=1800.4	SAT (TO) f=-10793 TT=1800.06 T1=1800.4	SAT (TO) f=-9792 TT=1800.08 T1=1800.4	SAT (TO) f=-11306 TT=1800.31 T1=1800.4	SAT (TO) f=-11521 TT=1800.12 T1=69.78	SAT (TO) f=-10910 TT=1800.06 T1=20.82	? (TO) TT=1800.04
normalized-PB06/OPT-SMALLINT/ mps-v2-20-10/MIPLIB/miplib2003/ normalized-mps-v2-20-10-mzzv11.opb	OPT f=-10859 TT=217.128 T1=217.11	? (TO) TT=1800.12	? (TO) TT=1800.02	SAT (TO) f=-9909 TT=1800.08 T1=1800.4	OPT f=-10859 TT=217.128 T1=217.11	OPT f=-10859 TT=250.064 T1=250.09	? TT=179.48	SAT (TO) f=-10319 TT=1800.05 T1=136.39	OPT f=-10859 TT=336.933 T1=333.31	? (TO) TT=1800.12
normalized-PB06/OPT-SMALLINT/ mps-v2-20-10/MIPLIB/miplib2003/ normalized-mps-v2-20-10-mzzv42z.opb	OPT f=-10270 TT=53.71 T1=53.66	? (TO) TT=1800.1	? (TO) TT=1800.02	OPT f=-10270 TT=456.118 T1=456.2	OPT f=-10270 TT=53.71 T1=53.66	OPT f=-10270 TT=170.322 T1=170.3	? TT=185.58	SAT (TO) f=-10171 TT=1800 T1=177.74	OPT f=-10270 TT=355.05 T1=351.42	OPT f=-10270 TT=65.911 T1=65.84
normalized-PB06/OPT-SMALLINT/ mps-v2-20-10/MIPLIB/miplib2003/ normalized-mps-v2-20-10-net12.opb	OPT f=214 TT=2.877 T1=2.84	OPT f=214 TT=4.988 T1=4.94	OPT f=214 TT=2.877 T1=2.84	? (TO) TT=1800.05	OPT f=214 TT=954.538 T1=953.92	? (MO) TT=61.054	? (MO) TT=61.599	OPT f=214 TT=17.072 T1=8.32	OPT f=214 TT=7.473 T1=4.58	OPT f=214 TT=40.068 T1=23.42
normalized-PB06/OPT-SMALLINT/ mps-v2-20-10/MIPLIB/miplib2003/ normalized-mps-v2-20-10-opt1217.opb	SAT f=-16384 TT=1800.75 T1=79.38	? (TO) TT=1800.01	? (TO) TT=1800.02	SAT (TO) f=-12288 TT=1800.02 T1=1800.3	SAT (TO) f=0 TT=1800.02 T1=1800.3	SAT (TO) f=0 TT=1800.31 T1=1800.3	? (TO) TT=1800.21	SAT (TO) f=-16384 TT=1800.75 T1=79.38	? (TO) TT=1800.05	? (TO) TT=1800.03
normalized-PB06/OPT-SMALLINT/ mps-v2-20-10/MIPLIB/miplib2003/ normalized-mps-v2-20-10-p2756.opb	SAT f=3671 TT=1800.66 T1=156.69	? (TO) TT=1800.01	? (TO) TT=1800.02	SAT (TO) f=151108 TT=1800.05 T1=1800.4	SAT (TO) f=3743 TT=1800.03 T1=1800.4	SAT (TO) f=9372 TT=1800.09 T1=1800.4	? TT=74.482	SAT (TO) f=3671 TT=1800.66 T1=156.69	SAT (TO) f=3719 TT=1800.95 T1=585.32	? (TO) TT=1800.05
normalized-PB06/OPT-SMALLINT/ mps-v2-20-10/MIPLIB/miplib2003/ normalized-mps-v2-20-10-protfold.opb	SAT f=-25 TT=1800.01 T1=1642.99	? (TO) TT=1800.1	? (TO) TT=1800.02	SAT (TO) f=-24 TT=1800.1 T1=1800.4	SAT (TO) f=-14 TT=1800.08 T1=1800.4	SAT (TO) f=-14 TT=1800.03 T1=1800.3	SAT (TO) f=-25 TT=1800.01 T1=1800.3	SAT (TO) f=-21 TT=1800.67 T1=463.44	SAT (TO) f=-25 TT=1800.8 T1=1642.99	? (TO) TT=1800.02
normalized-PB06/OPT-SMALLINT/ mps-v2-20-10/MIPLIB/miplib2003/ normalized-mps-v2-20-10-seymour.opb	SAT f=448 TT=1800.01 T1=1800.3	? (TO) TT=1800.01	? (TO) TT=1800.03	SAT (TO) f=457 TT=1800.02 T1=1800.3	SAT (TO) f=466 TT=1800.02 T1=1800.3	SAT (TO) f=466 TT=1800.02 T1=1800.3	SAT (TO) f=448 TT=1800.01 T1=1800.3	SAT (TO) f=477 TT=1800.04 T1=230.48	SAT (TO) f=490 TT=1800.06 T1=0.37	? (TO) TT=1800.05
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
normalized-PB06/OPT-SMALLINT/ mps-v2-20-10/MIPLIB/miplib3/ normalized-mps-v2-20-10-mitre.opb	SAT f=7680 TT=1800.15 T1=6.29	? (TO) TT=1800.01	? (TO) TT=1800.01	SAT (TO) f=9073 TT=1800.08 T1=1800.4	SAT (TO) f=9331 TT=1800.2 T1=1800.4	? TT=61.417	? TT=62.36	SAT (TO) f=7680 TT=1800.15 T1=6.29	SAT (TO) f=7941 TT=1800.04 T1=1.96	? (TO) TT=1800.01
normalized-PB06/OPT-SMALLINT/ mps-v2-20-10/MIPLIB/miplib/ normalized-mps-v2-20-10-bm23.opb	OPT f=34 TT=0.171 T1=0.17	OPT f=34 TT=0.294 T1=0.29	OPT f=34 TT=0.171 T1=0.17	OPT f=34 TT=1.184 T1=1.18	OPT f=34 TT=0.486 T1=0.48	OPT f=34 TT=0.527 T1=0.55	OPT f=34 TT=0.773 T1=0.78	OPT f=34 TT=1.305 T1=1.64	OPT f=34 TT=0.644 T1=0.23	OPT f=34 TT=0.986 T1=0.95
normalized-PB06/OPT-SMALLINT/ mps-v2-20-10/MIPLIB/miplib/ normalized-mps-v2-20-10-cracpb1.opb	SAT f=22199 TT=1800.09 T1=1800.4	? (TO) TT=1800.01	? (TO) TT=1800.02	SAT (TO) f=30188 TT=1800.1 T1=1800.4	SAT (TO) f=44407 TT=1800.09 T1=1800.4	SAT (TO) f=22199 TT=1800.09 T1=1800.4	? TT=76.441	SAT (TO) f=44331 TT=1800.12 T1=10.79	? (TO) TT=1800.9	? (TO) TT=1800.05
normalized-PB06/OPT-SMALLINT/ mps-v2-20-10/MIPLIB/miplib/ normalized-mps-v2-20-10-diamond.opb	UNSAT TT=0	UNSAT TT=0.021	UNSAT TT=0.012	UNSAT TT=0.001	UNSAT TT=0.001	UNSAT TT=0	UNSAT TT=0	UNSAT TT=0.165	UNSAT TT=0.154	UNSAT TT=0.016
normalized-PB06/OPT-SMALLINT/ mps-v2-20-10/MIPLIB/miplib/ normalized-mps-v2-20-10-l152lav.opb	SAT f=5556 TT=1800.47 T1=1800.3	? (TO) TT=1800.09	? (TO) TT=1800.1	? (TO) TT=1800.1	SAT (TO) f=5614 TT=1800.08 T1=1800.4	SAT (TO) f=5561 TT=1800.01 T1=1800.3	SAT (TO) f=5556 TT=1800.47 T1=1800.3	? (TO) TT=1800.07	? (TO) TT=1800.8	? (TO) TT=1800.02
normalized-PB06/OPT-SMALLINT/ mps-v2-20-10/MIPLIB/miplib/ normalized-mps-v2-20-10-lp4l.opb	SAT f=3666 TT=1800.12 T1=1800.4	? (TO) TT=1800.02	? (TO) TT=1800.01	SAT (TO) f=3666 TT=1800.12 T1=1800.4	SAT (TO) f=4551 TT=1800.09 T1=1800.4	SAT (TO) f=4001 TT=1800.08 T1=1800.4	SAT (TO) f=3899 TT=1800.08 T1=1800.4	SAT (TO) f=3792 TT=1800.77 T1=82.11	SAT (TO) f=3958 TT=1800.01 T1=1314.86	? (TO) TT=1800.08
normalized-PB06/OPT-SMALLINT/ mps-v2-20-10/MIPLIB/miplib/ normalized-mps-v2-20-10-lseu.opb	OPT f=1120 TT=34.554 T1=8.14	OPT f=1120 TT=85.011 T1=85.02	OPT f=1120 TT=234.073 T1=234.11	OPT f=1120 TT=37.752 T1=37.75	OPT f=1120 TT=34.554 T1=34.55	OPT f=1120 TT=607.395 T1=607.51	OPT f=1120 TT=275.005 T1=275	OPT f=1120 TT=53.026 T1=10.67	OPT f=1120 TT=49.597 T1=8.14	OPT f=1120 TT=113.609 T1=113.57
normalized-PB06/OPT-SMALLINT/ mps-v2-20-10/MIPLIB/miplib/ normalized-mps-v2-20-10-mod008.opb	OPT f=307 TT=1187.4 T1=0.33	? (TO) TT=1800.02	? (TO) TT=1800.02	SAT (TO) f=321 TT=1800.05 T1=1800.4	SAT (TO) f=409 TT=1800.08 T1=1800.4	? TT=99.756	? TT=98.893	OPT f=307 TT=1187.4 T1=1.2	SAT (TO) f=307 TT=1800.9 T1=0.33	? (TO) TT=1800.03
normalized-PB06/OPT-SMALLINT/ mps-v2-20-10/MIPLIB/miplib/ normalized-mps-v2-20-10-mod010.opb	SAT f=7984 TT=1800.16 T1=714.05	? (TO) TT=1800.07	? (TO) TT=1800.02	? (TO) TT=1800.11	? (TO) TT=1800.1	? (TO) TT=1800.1	? (TO) TT=1800.02	SAT (TO) f=7984 TT=1800.16 T1=714.05	? (TO) TT=1800.57	? (TO) TT=1800.03
normalized-PB06/OPT-SMALLINT/ mps-v2-20-10/MIPLIB/miplib/ normalized-mps-v2-20-10-p0033.opb	OPT f=3089 TT=0.016 T1=0.01	OPT f=3089 TT=0.048 T1=0.05	OPT f=3089 TT=0.016 T1=0.01	OPT f=3089 TT=0.271 T1=0.27	OPT f=3089 TT=0.207 T1=0.21	OPT f=3089 TT=0.033 T1=0.03	OPT f=3089 TT=0.608 T1=0.6	OPT f=3089 TT=0.723 T1=1.15	OPT f=3089 TT=0.404 T1=0.15	OPT f=3089 TT=0.154 T1=0.15
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
normalized-PB06/OPT-SMALLINT/ mps-v2-20-10/MIPLIB/miplib/ normalized-mps-v2-20-10-p0040.opb	OPT f=62027 TT=0.015 T1=0.01	OPT f=62027 TT=0.282 T1=0.28	OPT f=62027 TT=0.075 T1=0.07	OPT f=62027 TT=51.82 T1=51.82	OPT f=62027 TT=1.306 T1=1.3	OPT f=62027 TT=0.015 T1=0.01	? TT=128.93	OPT f=62027 TT=0.815 T1=1.83	OPT f=62027 TT=13.782 T1=0.13	OPT f=62027 TT=19.186 T1=10.37
normalized-PB06/OPT-SMALLINT/ mps-v2-20-10/MIPLIB/miplib/ normalized-mps-v2-20-10-p0201.opb	OPT f=1523 TT=436.099 T1=0.33	? (TO) TT=1800.02	? (TO) TT=1800.02	OPT f=1523 TT=544.158 T1=544.24	OPT f=1523 TT=436.099 T1=436.16	OPT f=1523 TT=612.866 T1=612.96	SAT (TO) f=1563 TT=1800.04 T1=1800.4	SAT (TO) f=1523 TT=1800.64 T1=3.72	SAT (TO) f=1523 TT=1800.09 T1=0.33	? (TO) TT=1800.06
normalized-PB06/OPT-SMALLINT/ mps-v2-20-10/MIPLIB/miplib/ normalized-mps-v2-20-10-p0548.opb	SAT f=10087 TT=1800.65 T1=3.22	? (TO) TT=1800.02	? (TO) TT=1800.02	SAT (TO) f=44199 TT=1800.02 T1=1800.3	SAT (TO) f=15217 TT=1800.1 T1=1800.4	SAT (TO) f=59642 TT=1800.07 T1=1800.4	? TT=85.08	SAT (TO) f=10087 TT=1800.65 T1=3.22	? (TO) TT=1800.06	? (TO) TT=1800.05
normalized-PB06/OPT-SMALLINT/ mps-v2-20-10/MIPLIB/miplib/ normalized-mps-v2-20-10-sentoy.opb	OPT f=-7772 TT=2.588 T1=0.54	? (TO) TT=1800.11	? (TO) TT=1800.01	SAT (TO) f=-7502 TT=1800.01 T1=1800.3	OPT f=-7772 TT=69.279 T1=69.27	? TT=74.237	? TT=74.968	OPT f=-7772 TT=4.562 T1=3.7	OPT f=-7772 TT=2.588 T1=0.54	OPT f=-7772 TT=12.606 T1=7.57
normalized-PB06/OPT-SMALLINT/ mps-v2-20-10/MIPLIB/miplib/ normalized-mps-v2-20-10-stein15.opb	OPT f=9 TT=0.003 T1=0	OPT f=9 TT=0.023 T1=0.02	OPT f=9 TT=0.013 T1=0.01	OPT f=9 TT=0.004 T1=0	OPT f=9 TT=0.006 T1=0	OPT f=9 TT=0.003 T1=0	OPT f=9 TT=0.003 T1=0	OPT f=9 TT=0.374 T1=0.63	OPT f=9 TT=0.263 T1=0.12	OPT f=9 TT=0.049 T1=0.02
normalized-PB06/OPT-SMALLINT/ mps-v2-20-10/MIPLIB/miplib/ normalized-mps-v2-20-10-stein27.opb	OPT f=18 TT=0.046 T1=0.04	OPT f=18 TT=0.329 T1=0.32	OPT f=18 TT=0.285 T1=0.28	OPT f=18 TT=0.165 T1=0.16	OPT f=18 TT=0.139 T1=0.13	OPT f=18 TT=0.046 T1=0.04	OPT f=18 TT=0.14 T1=0.14	OPT f=18 TT=5.502 T1=0.65	OPT f=18 TT=2.134 T1=0.13	OPT f=18 TT=2.517 T1=2.46
normalized-PB06/OPT-SMALLINT/ mps-v2-20-10/MIPLIB/miplib/ normalized-mps-v2-20-10-stein45.opb	OPT f=30 TT=7.583 T1=1.21	OPT f=30 TT=265.117 T1=265.15	OPT f=30 TT=235.005 T1=235.04	OPT f=30 TT=10.397 T1=10.39	OPT f=30 TT=7.583 T1=7.58	OPT f=30 TT=35.292 T1=35.29	OPT f=30 TT=9.199 T1=9.2	OPT f=30 TT=1723.22 T1=2.18	OPT f=30 TT=582.647 T1=1.21	OPT f=30 TT=420.124 T1=420.13
normalized-PB06/OPT-SMALLINT/ mps-v2-20-10/MIPLIB/miplib/ normalized-mps-v2-20-10-stein9.opb	OPT f=5 TT=0 T1=0	OPT f=5 TT=0.021 T1=0.02	OPT f=5 TT=0.012 T1=0.01	OPT f=5 TT=0.001 T1=0	OPT f=5 TT=0.001 T1=0	OPT f=5 TT=0 T1=0	OPT f=5 TT=0.001 T1=0	OPT f=5 TT=0.163 T1=0.62	OPT f=5 TT=0.164 T1=0.11	OPT f=5 TT=0.02 T1=0.01
normalized-PB06/OPT-SMALLINT/ mps-v2-20-10/plato.asu.edu/pub/ milp/normalized-mps-v2-20-10-neos10.opb	OPT f=-1135 TT=4.334 T1=2.36	OPT f=-1135 TT=18.457 T1=18.44	OPT f=-1135 TT=13.896 T1=13.89	OPT f=-1135 TT=79.025 T1=79.01	OPT f=-1135 TT=28.36 T1=28.32	OPT f=-1135 TT=92.54 T1=92.53	OPT f=-1135 TT=80.941 T1=80.78	OPT f=-1135 TT=104.858 T1=109.88	OPT f=-1135 TT=4.334 T1=2.36	OPT f=-1135 TT=19.078 T1=19.02
normalized-PB06/OPT-SMALLINT/ mps-v2-20-10/plato.asu.edu/pub/ milp/normalized-mps-v2-20-10-neos16.opb	SAT f=114 TT=1800.01 T1=40.32	? (TO) TT=1800.02	? (TO) TT=1800.02	SAT (TO) f=114 TT=1800.02 T1=1800.3	SAT (TO) f=114 TT=1800.02 T1=1800.3	SAT (TO) f=122 TT=1800.01 T1=1800.3	? (TO) TT=1800.02	SAT (TO) f=114 TT=1800.18 T1=40.32	SAT (TO) f=114 TT=1800.01 T1=370.93	? (TO) TT=1800.08
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
normalized-PB06/OPT-SMALLINT/ mps-v2-20-10/plato.asu.edu/pub/ milp/normalized-mps-v2-20-10-neos18.opb	OPT f=16 TT=0.043 T1=0.04	OPT f=16 TT=0.182 T1=0.18	OPT f=16 TT=0.131 T1=0.13	OPT f=16 TT=0.115 T1=0.11	OPT f=16 TT=0.106 T1=0.1	OPT f=16 TT=0.043 T1=0.04	OPT f=16 TT=0.047 T1=0.04	OPT f=16 TT=3.59 T1=4.46	OPT f=16 TT=1.507 T1=0.51	OPT f=16 TT=0.617 T1=0.24
normalized-PB06/OPT-SMALLINT/ mps-v2-20-10/plato.asu.edu/pub/ milp/normalized-mps-v2-20-10-neos19.opb		? (exit code) TT=1.354	? (exit code) TT=0.006	? (TO) TT=1800.31	? (TO) TT=1800.13	? TT=38.082	? TT=38.136	? (TO) TT=1800.19	? (TO) TT=1800.08	? (TO) TT=1800.27
normalized-PB06/OPT-SMALLINT/ mps-v2-20-10/plato.asu.edu/pub/milp/ normalized-mps-v2-20-10-neos1.opb	OPT f=19 TT=3.841 T1=3.83	? (TO) TT=1800.01	? (TO) TT=1800.02	OPT f=19 TT=3.841 T1=3.83	OPT f=19 TT=8.465 T1=8.46	OPT f=19 TT=5.774 T1=5.77	OPT f=19 TT=6.279 T1=6.27	SAT (TO) f=22 TT=1800.8 T1=117.48	SAT (TO) f=22 TT=1800.81 T1=1122.57	? (TO) TT=1800.05
normalized-PB06/OPT-SMALLINT/ mps-v2-20-10/plato.asu.edu/pub/milp/ normalized-mps-v2-20-10-neos5.opb	OPT f=15360 TT=465.143 T1=465.21	? (TO) TT=1800.02	? (TO) TT=1800.02	SAT (TO) f=15488 TT=1800.02 T1=1800.3	OPT f=15360 TT=465.143 T1=465.21	SAT (TO) f=16409 TT=1800.03 T1=1800.4	SAT (TO) f=16288 TT=1800.04 T1=1800.4	SAT (TO) f=16430 TT=1800.66 T1=707.18	SAT (TO) f=19713 TT=1800.02 T1=1062.77	? (TO) TT=1800.1
normalized-PB06/OPT-SMALLINT/ mps-v2-20-10/plato.asu.edu/pub/milp/ normalized-mps-v2-20-10-neos8.opb	OPT f=-3719 TT=0.899 T1=0.89	OPT f=-3719 TT=0.899 T1=0.89	OPT f=-3719 TT=3.575 T1=3.56	OPT f=-3719 TT=120.375 T1=120.36	OPT f=-3719 TT=27.438 T1=27.39	OPT f=-3719 TT=31.353 T1=31.32	OPT f=-3719 TT=49.49 T1=49.28	OPT f=-3719 TT=6.751 T1=10.13	OPT f=-3719 TT=3.255 T1=1.82	OPT f=-3719 TT=14.989 T1=13.61
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/ftp.netlib.org/lp/data/ normalized-reduced-mps-v2-20-10-25fv47.opb		? (TO) TT=1800.02	? (TO) TT=1800.03	? (TO) TT=1800.06	? (TO) TT=1800.27	? TT=143.055	? TT=147.209	? (TO) TT=1800.83	? (TO) TT=1800.65	? (TO) TT=1800.12
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/ftp.netlib.org/lp/data/ normalized-reduced-mps-v2-20-10-80bau3b.opb	UNSAT TT=0.511	UNSAT TT=0.572	UNSAT TT=0.511	UNSAT TT=3.268	UNSAT TT=3.513	? (MO) TT=64.354	? TT=60.395	UNSAT TT=4.393	UNSAT TT=3.176	UNSAT TT=20.375
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/ftp.netlib.org/lp/data/ normalized-reduced-mps-v2-20-10-adlittle.opb	SAT f=12 TT=1800.79 T1=153.44	? (TO) TT=1800.09	? (TO) TT=1800.02	? (TO) TT=1800.02	SAT (TO) f=95 TT=1800.08 T1=1800.4	? TT=142.792	? TT=137.031	SAT (TO) f=12 TT=1800.79 T1=153.44	? (TO) TT=1800.84	? (TO) TT=1800.05
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/ftp.netlib.org/lp/data/ normalized-reduced-mps-v2-20-10-afiro.opb	OPT f=-66 TT=6.932 T1=6.92	OPT f=-66 TT=6.932 T1=6.92	OPT f=-66 TT=1141.65 T1=1141.82	SAT (TO) f=-48 TT=1800.02 T1=1800.3	OPT f=-66 TT=46.055 T1=46.06	? TT=158.976	? TT=150.227	OPT f=-66 TT=1609.84 T1=140.29	SAT (TO) f=-62 TT=1800.05 T1=1178.3	? (TO) TT=1800.01
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/ftp.netlib.org/lp/data/ normalized-reduced-mps-v2-20-10-agg2.opb	SAT f=16917 TT=1800.19 T1=233.91	? (TO) TT=1800.04	? (TO) TT=1800.02	? (TO) TT=1800.05	? (TO) TT=1800.14	? TT=152.984	? TT=147.859	SAT (TO) f=16917 TT=1800.19 T1=233.91	SAT (TO) f=22499 TT=1800.04 T1=46.44	? (TO) TT=1800.04
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/ftp.netlib.org/lp/data/ normalized-reduced-mps-v2-20-10-agg3.opb	SAT f=975 TT=1800.05 T1=1.17	? (TO) TT=1800.13	? (TO) TT=1800.03	? (TO) TT=1800.06	? (TO) TT=1800.07	? TT=142.914	? TT=154.201	SAT (TO) f=49318 TT=1800.81 T1=25.23	SAT (TO) f=975 TT=1800.05 T1=1.17	? (TO) TT=1800.03
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/ftp.netlib.org/lp/data/ normalized-reduced-mps-v2-20-10-agg.opb	SAT f=-5638 TT=1800.02 T1=9.07	? (TO) TT=1800.02	? (TO) TT=1800.02	? (TO) TT=1800.07	? (TO) TT=1800.09	? TT=128.962	? TT=127.287	SAT (TO) f=-5638 TT=1800.02 T1=9.07	SAT (TO) f=751 TT=1800.07 T1=1.43	? (TO) TT=1800.06
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/ftp.netlib.org/lp/data/ normalized-reduced-mps-v2-20-10-bandm.opb	UNSAT TT=0.103	UNSAT TT=0.167	UNSAT TT=0.103	UNSAT TT=6.7	UNSAT TT=80.18	? TT=153.988	? TT=162.486	UNSAT TT=3.544	UNSAT TT=1.415	UNSAT TT=1.156
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/ftp.netlib.org/lp/data/ normalized-reduced-mps-v2-20-10-beaconfd.opb		? (TO) TT=1800.02	? (TO) TT=1800.03	? (TO) TT=1800.1	? (TO) TT=1800.13	? TT=138.23	? TT=140.01	? (TO) TT=1800.18	? (TO) TT=1800	? (TO) TT=1800.04
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/ftp.netlib.org/lp/data/ normalized-reduced-mps-v2-20-10-blend.opb	OPT f=-24 TT=68.247 T1=68.25	OPT f=-24 TT=235.139 T1=235.16	OPT f=-24 TT=68.247 T1=68.25	? (TO) TT=1800.06	SAT (TO) f=-19 TT=1800.09 T1=1800.4	? TT=145.648	? TT=139.537	OPT f=-24 TT=562.188 T1=258.32	? (TO) TT=1800	? (TO) TT=1800.02
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/ftp.netlib.org/lp/data/ normalized-reduced-mps-v2-20-10-bnl1.opb	UNSAT TT=1.223	UNSAT TT=1.248	UNSAT TT=1.223	UNSAT TT=10.852	UNSAT TT=107.417	? TT=166.262	? TT=156.853	UNSAT TT=2.754	UNSAT TT=2.155	UNSAT TT=3.419
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/ftp.netlib.org/lp/data/ normalized-reduced-mps-v2-20-10-bnl2.opb	UNSAT TT=2.586	UNSAT TT=2.677	UNSAT TT=2.586	UNSAT TT=67.176	? (TO) TT=1800.41	? TT=139.526	? TT=139.523	UNSAT TT=85.38	UNSAT TT=3.903	UNSAT TT=33.725
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/ftp.netlib.org/lp/data/ normalized-reduced-mps-v2-20-10-boeing1.opb		? (TO) TT=1800.02	? (TO) TT=1800.03	? (TO) TT=1800.08	? (TO) TT=1800.03	? TT=129.306	? TT=128.373	? (TO) TT=1800.11	? (TO) TT=1800.07	? (TO) TT=1800.1
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/ftp.netlib.org/lp/data/ normalized-reduced-mps-v2-20-10-boeing2.opb		? (TO) TT=1800.09	? (TO) TT=1800.03	? (TO) TT=1800.08	? (TO) TT=1800.1	? TT=138.725	? TT=137.201	? (TO) TT=1800	? (TO) TT=1800.07	? (TO) TT=1800.08
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/ftp.netlib.org/lp/data/ normalized-reduced-mps-v2-20-10-bore3d.opb	UNSAT TT=0.036	UNSAT TT=0.05	UNSAT TT=0.036	UNSAT TT=0.329	UNSAT TT=0.543	? TT=131.177	? TT=132.967	UNSAT TT=1.613	UNSAT TT=0.988	UNSAT TT=0.486
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/ftp.netlib.org/lp/data/ normalized-reduced-mps-v2-20-10-brandy.opb	UNSAT TT=0.222	UNSAT TT=0.248	UNSAT TT=0.222	? (TO) TT=1800.09	UNSAT TT=279.797	? TT=83.682	? TT=84.986	UNSAT TT=2.335	? (TO) TT=1800.03	? (TO) TT=1800.08
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/ftp.netlib.org/lp/data/ normalized-reduced-mps-v2-20-10-capri.opb		? (TO) TT=1800.03	? (TO) TT=1800.02	? (TO) TT=1800.08	? (TO) TT=1800.09	? TT=129.676	? TT=130.533	? (TO) TT=1800.05	? (TO) TT=1800.59	? (TO) TT=1800.03
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/ftp.netlib.org/lp/data/ normalized-reduced-mps-v2-20-10-cycle.opb		? (TO) TT=1800.01	? (TO) TT=1800.01	? (TO) TT=1800.1	? (TO) TT=1800.32	? (MO) TT=106.555	? (MO) TT=107.558	? (TO) TT=1800.03	? (TO) TT=1800.59	? (TO) TT=1800.09
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/ftp.netlib.org/lp/data/ normalized-reduced-mps-v2-20-10-czprob.opb	UNSAT TT=2.403	UNSAT TT=3.316	UNSAT TT=3.318	UNSAT TT=51.113	UNSAT TT=193.705	? TT=178.757	? TT=177.271	UNSAT TT=3.395	UNSAT TT=2.403	? (TO) TT=1800.08
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/ftp.netlib.org/lp/data/ normalized-reduced-mps-v2-20-10-d2q06c.opb	UNSAT TT=52.644	UNSAT TT=52.644	UNSAT TT=54.733	? (TO) TT=1800.02	? (TO) TT=1800.14	? TT=131.639	? TT=133.21	? (TO) TT=1800.84	? (TO) TT=1800.02	? (TO) TT=1800.01
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/ftp.netlib.org/lp/data/ normalized-reduced-mps-v2-20-10-d6cube.opb	UNSAT TT=4.31	UNSAT TT=4.93	UNSAT TT=4.31	? (TO) TT=1800.02	Signal TT=319.173	? TT=114.477	? TT=112.789	UNSAT TT=12.261	UNSAT TT=15.551	? (TO) TT=1800.09
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/ftp.netlib.org/lp/data/ normalized-reduced-mps-v2-20-10-degen2.opb	UNSAT TT=0.391	UNSAT TT=0.483	UNSAT TT=0.391	? (TO) TT=1800.1	UNSAT TT=91.733	? TT=96.698	? TT=97.186	UNSAT TT=54.905	? (TO) TT=1800.03	? (TO) TT=1800.08
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/ftp.netlib.org/lp/data/ normalized-reduced-mps-v2-20-10-degen3.opb	UNSAT TT=1154.83	UNSAT TT=1154.83	UNSAT TT=1277.7	? (TO) TT=1800.04	? (TO) TT=1800.34	? TT=99.512	? TT=98.082	? (TO) TT=1800.06	? (TO) TT=1800.55	? (TO) TT=1800.07
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/ftp.netlib.org/lp/data/ normalized-reduced-mps-v2-20-10-dfl001.opb		? (exit code) TT=0.537	? (exit code) TT=0.006	? (TO) TT=1800.17	? (TO) TT=1800.07	? TT=122.023	? TT=123.465	? (TO) TT=1800.72	? (TO) TT=1800.01	? (TO) TT=1800.09
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/ftp.netlib.org/lp/data/ normalized-reduced-mps-v2-20-10-e226.opb	UNSAT TT=0.145	UNSAT TT=0.195	UNSAT TT=0.145	UNSAT TT=7.66	UNSAT TT=102.175	? TT=163.856	? TT=164.165	UNSAT TT=3.984	? (TO) TT=1800.08	? (TO) TT=1800.05
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/ftp.netlib.org/lp/data/ normalized-reduced-mps-v2-20-10-etamacro.opb	SAT f=9 TT=1800.64 T1=51.11	? (TO) TT=1800.08	? (TO) TT=1800.02	? (TO) TT=1800.08	SAT (TO) f=136 TT=1800.08 T1=1800.4	? TT=138.964	? TT=137.962	SAT (TO) f=9 TT=1800.64 T1=51.11	SAT (TO) f=32 TT=1800.05 T1=19.26	? (TO) TT=1800.01
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/ftp.netlib.org/lp/data/ normalized-reduced-mps-v2-20-10-fffff800.opb		? (TO) TT=1800.02	? (TO) TT=1800.02	? (TO) TT=1800.1	? (TO) TT=1800.1	? TT=98.572	? TT=98.294	? (TO) TT=1800.67	? (TO) TT=1800.07	? (TO) TT=1800.09
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/ftp.netlib.org/lp/data/ normalized-reduced-mps-v2-20-10-fit1d.opb		? (TO) TT=1800.04	? (TO) TT=1800.03	? (TO) TT=1800.08	? (TO) TT=1800.21	? TT=96.786	? TT=97.488	? (TO) TT=1800	? (TO) TT=1801.09	? (TO) TT=1800.07
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/ftp.netlib.org/lp/data/ normalized-reduced-mps-v2-20-10-fit1p.opb	OPT f=0 TT=1.079 T1=1.06	OPT f=0 TT=4.013 T1=3.99	OPT f=0 TT=1.079 T1=1.06	? (TO) TT=1800.03	? (MO) TT=1568.85	? TT=67.975	? TT=68.271	OPT f=0 TT=4.543 T1=2.51	OPT f=0 TT=2.643 T1=1.42	? (TO) TT=1800.08
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/ftp.netlib.org/lp/data/ normalized-reduced-mps-v2-20-10-fit2d.opb		? (TO) TT=1800.03	? (TO) TT=1800.03	? (TO) TT=1800.1	Signal TT=215.112	? (MO) TT=70.013	? (MO) TT=70.295	? (TO) TT=1800.08	? (TO) TT=1800.03	? (TO) TT=1800.08
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/ftp.netlib.org/lp/data/ normalized-reduced-mps-v2-20-10-fit2p.opb	SAT f=208 TT=1800.36 T1=41.32	? (exit code) TT=0.732	? (exit code) TT=0.006	? (TO) TT=1800.08	? (TO) TT=1800.08	? TT=69.141	? TT=69.49	SAT (TO) f=1782 TT=1800.92 T1=56.41	SAT (TO) f=208 TT=1800.36 T1=41.32	? (TO) TT=1800.07
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/ftp.netlib.org/lp/data/ normalized-reduced-mps-v2-20-10-forplan.opb		? (TO) TT=1800.02	? (TO) TT=1800.02	? (TO) TT=1800.07	? (TO) TT=1800.12	? TT=78.305	? TT=80.221	? (TO) TT=1800.9	? (TO) TT=1800.91	? (TO) TT=1800.08
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/ftp.netlib.org/lp/data/ normalized-reduced-mps-v2-20-10-ganges.opb		? (TO) TT=1800.1	? (TO) TT=1800.03	? (TO) TT=1800.1	? (TO) TT=1800.07	? TT=61.795	? TT=62.596	? (TO) TT=1800.03	? (TO) TT=1800.65	? (TO) TT=1800.09
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/ftp.netlib.org/lp/data/ normalized-reduced-mps-v2-20-10-gfrd-pnc.opb		? (TO) TT=1800.03	? (TO) TT=1800.02	? (TO) TT=1800.07	? (TO) TT=1800.13	? TT=140.022	? TT=143.276	? (TO) TT=1800.02	? (TO) TT=1800.64	? (TO) TT=1800.02
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/ftp.netlib.org/lp/data/ normalized-reduced-mps-v2-20-10-greenbea.opb		? (TO) TT=1800.11	? (TO) TT=1800.11	? (TO) TT=1800.07	? (TO) TT=1800.06	? TT=223.064	? TT=229.849	? (TO) TT=1800.89	? (TO) TT=1800.04	? (TO) TT=1800.11
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/ftp.netlib.org/lp/data/ normalized-reduced-mps-v2-20-10-greenbeb.opb		? (TO) TT=1800.1	? (TO) TT=1800.02	? (TO) TT=1800.08	? (TO) TT=1800.16	? TT=318.776	? TT=318.522	? (TO) TT=1800.04	? (TO) TT=1800.08	? (TO) TT=1800.09
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/ftp.netlib.org/lp/data/ normalized-reduced-mps-v2-20-10-grow15.opb		? (TO) TT=1800.12	? (TO) TT=1800.02	? (TO) TT=1800.09	? (TO) TT=1800.03	? TT=76.754	? TT=77.472	? (TO) TT=1800.9	? (TO) TT=1800.05	? (TO) TT=1800.03
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/ftp.netlib.org/lp/data/ normalized-reduced-mps-v2-20-10-grow22.opb		? (TO) TT=1800.11	? (TO) TT=1800.02	? (TO) TT=1800.06	? (TO) TT=1800.09	? TT=74.315	? TT=75.326	? (TO) TT=1800.84	? (TO) TT=1800.05	? (TO) TT=1800.1
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/ftp.netlib.org/lp/data/ normalized-reduced-mps-v2-20-10-grow7.opb		? (TO) TT=1800.09	? (TO) TT=1800.02	? (TO) TT=1800.06	? (TO) TT=1800.2	? TT=76.18	? TT=75.879	? (TO) TT=1800.79	? (TO) TT=1801.24	? (TO) TT=1800.06
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/ftp.netlib.org/lp/data/ normalized-reduced-mps-v2-20-10-israel.opb	OPT f=-41 TT=321.257 T1=321.3	OPT f=-41 TT=1571.14 T1=1571.35	OPT f=-41 TT=321.257 T1=321.3	? (TO) TT=1800.03	SAT (TO) f=14 TT=1800.09 T1=1800.5	? TT=157.71	? TT=154.596	OPT f=-41 TT=1643.33 T1=806.1	? (TO) TT=1800.01	? (TO) TT=1800.08
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/ftp.netlib.org/lp/data/ normalized-reduced-mps-v2-20-10-kb2.opb	OPT f=-293850 TT=0.117 T1=0.12	OPT f=-293850 TT=0.145 T1=0.14	OPT f=-293850 TT=0.117 T1=0.12	OPT f=-293850 TT=98.238 T1=98.25	OPT f=-293850 TT=51.118 T1=51.11	? TT=149.131	? TT=154.173	OPT f=-293850 TT=6.295 T1=4.91	SAT (TO) f=-136357 TT=1800.05 T1=1.79	OPT f=-293850 TT=190.322 T1=190.29
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/ftp.netlib.org/lp/data/ normalized-reduced-mps-v2-20-10-lotfi.opb		? (TO) TT=1800.1	? (TO) TT=1800.01	? (TO) TT=1800.09	? (TO) TT=1800.1	? TT=163.188	? TT=159.427	? (TO) TT=1800.13	? (TO) TT=1800.05	? (TO) TT=1800.05
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/ftp.netlib.org/lp/data/ normalized-reduced-mps-v2-20-10-maros.opb		? (TO) TT=1800.09	? (TO) TT=1800.03	? (TO) TT=1800.05	? (TO) TT=1800.2	? TT=130.08	? TT=128.204	? (TO) TT=1800.12	? (TO) TT=1800.08	? (TO) TT=1800.07
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/ftp.netlib.org/lp/data/ normalized-reduced-mps-v2-20-10-maros-r7.opb		? (exit code) TT=0.929	? (exit code) TT=0.005	? (TO) TT=1800.1	? (TO) TT=1800.09	? TT=144.815	? TT=149.352	? (TO) TT=1800.17	? (TO) TT=1800.09	? (TO) TT=1800.25
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/ftp.netlib.org/lp/data/ normalized-reduced-mps-v2-20-10-modszk1.opb		? (TO) TT=1800.09	? (TO) TT=1800.02	? (TO) TT=1800.09	? (TO) TT=1800.26	? TT=134.075	? TT=135.312	? (TO) TT=1800.07	? (TO) TT=1800	? (TO) TT=1800.03
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/ftp.netlib.org/lp/data/ normalized-reduced-mps-v2-20-10-nesm.opb		? (TO) TT=1800.11	? (TO) TT=1800.11	? (TO) TT=1800.08	? (TO) TT=1800.43	? TT=64.202	? TT=64.186	? (TO) TT=1800.14	? (TO) TT=1800.04	? (TO) TT=1800.07
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/ftp.netlib.org/lp/data/ normalized-reduced-mps-v2-20-10-perold.opb		? (TO) TT=1800.1	? (TO) TT=1800.02	? (TO) TT=1800.07	? (TO) TT=1800.01	? (MO) TT=108.104	? (MO) TT=107.988	? (TO) TT=1800.67	? (TO) TT=1800.71	? (TO) TT=1800.08
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/ftp.netlib.org/lp/data/ normalized-reduced-mps-v2-20-10-pilot4.opb		? (TO) TT=1800.1	? (TO) TT=1800.02	? (TO) TT=1800.06	? (TO) TT=1800.06	? TT=112.48	? TT=112.261	? (TO) TT=1800.65	? (TO) TT=1800.05	? (TO) TT=1800.07
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/ftp.netlib.org/lp/data/ normalized-reduced-mps-v2-20-10-pilot87.opb	UNSAT TT=0.627	UNSAT TT=0.904	UNSAT TT=0.627	UNSAT TT=4.741	UNSAT TT=4.754	? (MO) TT=113.162	? (MO) TT=116.526	UNSAT TT=4.242	UNSAT TT=2.724	UNSAT TT=11.516
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/ftp.netlib.org/lp/data/ normalized-reduced-mps-v2-20-10-pilot.opb	UNSAT TT=0.248	UNSAT TT=0.482	UNSAT TT=0.248	UNSAT TT=5.396	UNSAT TT=6.038	? TT=136.342	? TT=134.66	UNSAT TT=4.773	UNSAT TT=2.963	UNSAT TT=7.872
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/ftp.netlib.org/lp/data/ normalized-reduced-mps-v2-20-10-pilot.we.opb		? (TO) TT=1800.02	? (TO) TT=1800.03	? (TO) TT=1800.09	? (TO) TT=1800.07	? TT=106.127	? TT=104.569	? (TO) TT=1800.8	? (TO) TT=1800.69	? (TO) TT=1800.08
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/ftp.netlib.org/lp/data/ normalized-reduced-mps-v2-20-10-recipe.opb	SAT f=-122041 TT=1800.33 T1=842.8	? (TO) TT=1800.1	? (TO) TT=1800.01	? (TO) TT=1800.08	? (TO) TT=1800.07	? TT=201.047	? TT=204.697	SAT (TO) f=-122041 TT=1800.33 T1=842.8	SAT (TO) f=-121839 TT=1800.71 T1=0.96	? (TO) TT=1800.1
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/ftp.netlib.org/lp/data/ normalized-reduced-mps-v2-20-10-sc105.opb	SAT f=-14 TT=1800.23 T1=869.91	? (TO) TT=1800.02	? (TO) TT=1800.02	? (TO) TT=1800.06	SAT (TO) f=0 TT=1800.07 T1=1800.4	? TT=125.11	? TT=124.592	SAT (TO) f=-14 TT=1800.23 T1=869.91	SAT (TO) f=-3 TT=1800.01 T1=908.73	? (TO) TT=1800.11
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/ftp.netlib.org/lp/data/ normalized-reduced-mps-v2-20-10-sc205.opb	SAT f=0 TT=1800.08 T1=0.97	? (TO) TT=1800.11	? (TO) TT=1800.02	? (TO) TT=1800.08	? (TO) TT=1800.07	? (MO) TT=123.862	? TT=124.592	SAT (TO) f=0 TT=1800.16 T1=0.97	SAT (TO) f=0 TT=1800.08 T1=1273.47	? (TO) TT=1800.15
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/ftp.netlib.org/lp/data/ normalized-reduced-mps-v2-20-10-sc50a.opb	SAT f=-35 TT=1800.02 T1=1800.3	? (TO) TT=1800.02	? (TO) TT=1800.02	SAT (TO) f=-6 TT=1800.02 T1=1800.3	SAT (TO) f=-35 TT=1800.02 T1=1800.3	? TT=123.345	? TT=123.767	SAT (TO) f=-29 TT=1800.52 T1=838.01	SAT (TO) f=-21 TT=1800.06 T1=435.04	? (TO) TT=1800.05
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/ftp.netlib.org/lp/data/ normalized-reduced-mps-v2-20-10-sc50b.opb	OPT f=-45 TT=242.948 T1=242.98	OPT f=-45 TT=242.948 T1=242.98	OPT f=-45 TT=895.616 T1=895.75	SAT (TO) f=-17 TT=1800.02 T1=1800.3	SAT (TO) f=-27 TT=1800.1 T1=1800.4	? TT=123.294	? TT=123.786	SAT (TO) f=-35 TT=1800.72 T1=450.24	SAT (TO) f=-23 TT=1800.58 T1=1586.45	? (TO) TT=1800.03
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/ftp.netlib.org/lp/data/ normalized-reduced-mps-v2-20-10-scagr25.opb		? (TO) TT=1800.11	? (TO) TT=1800.02	? (TO) TT=1800.07	? (TO) TT=1800.03	? TT=123.764	? TT=123.135	? (TO) TT=1800.69	? (TO) TT=1800.63	? (TO) TT=1800.06
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/ftp.netlib.org/lp/data/ normalized-reduced-mps-v2-20-10-scagr7.opb	SAT f=527 TT=1800.65 T1=106.48	? (TO) TT=1800.09	? (TO) TT=1800.02	? (TO) TT=1800.1	? (TO) TT=1800.06	? TT=124.275	? TT=123.361	SAT (TO) f=527 TT=1800.65 T1=106.48	SAT (TO) f=552 TT=1800.01 T1=70.72	? (TO) TT=1800.02
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/ftp.netlib.org/lp/data/ normalized-reduced-mps-v2-20-10-scfxm1.opb		? (TO) TT=1800.08	? (TO) TT=1800.02	? (TO) TT=1800.08	? (TO) TT=1800.04	? TT=155.571	? TT=156.397	? (TO) TT=1800.12	? (TO) TT=1800	? (TO) TT=1800.07
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/ftp.netlib.org/lp/data/ normalized-reduced-mps-v2-20-10-scfxm2.opb		? (TO) TT=1800.05	? (TO) TT=1800.02	? (TO) TT=1800.09	? (TO) TT=1800.08	? TT=142.148	? TT=144.376	? (TO) TT=1800.79	? (TO) TT=1800.01	? (TO) TT=1800.06
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/ftp.netlib.org/lp/data/ normalized-reduced-mps-v2-20-10-scfxm3.opb		? (TO) TT=1800.05	? (TO) TT=1800.02	? (TO) TT=1800.09	? (TO) TT=1800.13	? TT=137.614	? TT=138.281	? (TO) TT=1800.14	? (TO) TT=1800.58	? (TO) TT=1800.11
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/ftp.netlib.org/lp/data/ normalized-reduced-mps-v2-20-10-scorpion.opb		? (TO) TT=1800.11	? (TO) TT=1800.03	? (TO) TT=1800.08	? (TO) TT=1800.12	? TT=137.105	? TT=129.592	? (TO) TT=1800.13	? (TO) TT=1800.58	? (TO) TT=1800.12
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/ftp.netlib.org/lp/data/ normalized-reduced-mps-v2-20-10-scrs8.opb	UNSAT TT=0.166	UNSAT TT=0.227	UNSAT TT=0.166	? (TO) TT=1800.06	? (TO) TT=1800.1	? TT=261.209	? TT=259.487	UNSAT TT=4.322	UNSAT TT=44.477	UNSAT TT=33.895
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/ftp.netlib.org/lp/data/ normalized-reduced-mps-v2-20-10-scsd1.opb		? (TO) TT=1800.02	? (TO) TT=1800.02	? (TO) TT=1800.1	? (TO) TT=1800.07	? TT=96.98	? TT=97.645	? (TO) TT=1800.77	? (TO) TT=1800.81	? (TO) TT=1800.12
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/ftp.netlib.org/lp/data/ normalized-reduced-mps-v2-20-10-scsd6.opb		? (TO) TT=1800.13	? (TO) TT=1800.01	? (TO) TT=1800.08	? (TO) TT=1800.11	? TT=100.503	? TT=99.177	? (TO) TT=1800.74	? (TO) TT=1800.03	? (TO) TT=1800.15
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/ftp.netlib.org/lp/data/ normalized-reduced-mps-v2-20-10-scsd8.opb		? (TO) TT=1800.13	? (TO) TT=1800.12	? (TO) TT=1800.06	? (TO) TT=1800.08	? TT=118.744	? TT=120.584	? (TO) TT=1800.02	? (TO) TT=1800.02	? (TO) TT=1800.23
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/ftp.netlib.org/lp/data/ normalized-reduced-mps-v2-20-10-sctap1.opb	SAT f=297 TT=1800.08 T1=1800.4	? (TO) TT=1800.01	? (TO) TT=1800.02	? (TO) TT=1800.08	SAT (TO) f=297 TT=1800.08 T1=1800.4	? TT=143.087	? TT=137.184	SAT (TO) f=846 TT=1800.04 T1=4.57	No Cert. TT=1800.06	? (TO) TT=1800.09
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/ftp.netlib.org/lp/data/ normalized-reduced-mps-v2-20-10-sctap2.opb	SAT f=653 TT=1800.04 T1=44.05	? (TO) TT=1800.02	? (TO) TT=1800.03	? (TO) TT=1800.03	SAT (TO) f=816 TT=1800.37 T1=1800.4	? TT=135.63	? TT=136.451	SAT (TO) f=653 TT=1800.04 T1=44.05	No Cert. TT=1801.26	? (TO) TT=1800.06
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/ftp.netlib.org/lp/data/ normalized-reduced-mps-v2-20-10-sctap3.opb	SAT f=838 TT=1800.79 T1=5.22	? (TO) TT=1800.02	? (TO) TT=1800.03	? (TO) TT=1800.07	SAT (TO) f=2093 TT=1800.44 T1=1800.5	? TT=141.92	? TT=141.946	SAT (TO) f=838 TT=1800.79 T1=5.22	No Cert. TT=1800.04	? (TO) TT=1800.15
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/ftp.netlib.org/lp/data/ normalized-reduced-mps-v2-20-10-seba.opb	UNSAT TT=0.151	UNSAT TT=0.22	UNSAT TT=0.151	UNSAT TT=4.717	UNSAT TT=219.266	? (MO) TT=115.517	? (MO) TT=111.087	UNSAT TT=2.573	UNSAT TT=11.451	UNSAT TT=61.898
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/ftp.netlib.org/lp/data/ normalized-reduced-mps-v2-20-10-share1b.opb	UNSAT TT=26.507	UNSAT TT=26.507	UNSAT TT=26.983	? (TO) TT=1800.03	UNSAT TT=318.86	? TT=179.033	? TT=187.413	UNSAT TT=182.196	? (TO) TT=1800.02	? (TO) TT=1800.01
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/ftp.netlib.org/lp/data/ normalized-reduced-mps-v2-20-10-share2b.opb	OPT f=-52 TT=0.52 T1=0.51	OPT f=-52 TT=0.683 T1=0.68	OPT f=-52 TT=0.52 T1=0.51	? (TO) TT=1800.03	OPT f=-52 TT=180.735 T1=180.74	? TT=107.464	? TT=107.128	OPT f=-52 TT=4.474 T1=4.01	? (TO) TT=1800.06	? (TO) TT=1800.04
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/ftp.netlib.org/lp/data/ normalized-reduced-mps-v2-20-10-shell.opb		? (TO) TT=1800.01	? (TO) TT=1800.02	? (TO) TT=1800.09	? (TO) TT=1800.18	? (MO) TT=110.808	? (MO) TT=111.087	? (TO) TT=1800.86	? (TO) TT=1800.01	? (TO) TT=1800.05
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/ftp.netlib.org/lp/data/ normalized-reduced-mps-v2-20-10-ship04l.opb		? (TO) TT=1800.11	? (TO) TT=1800.03	? (TO) TT=1800.09	? (TO) TT=1800.03	? TT=103.421	? TT=100.502	? (TO) TT=1800.15	? (TO) TT=1800.01	? (TO) TT=1800.25
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/ftp.netlib.org/lp/data/ normalized-reduced-mps-v2-20-10-ship04s.opb		? (TO) TT=1800.02	? (TO) TT=1800.02	? (TO) TT=1800.1	? (TO) TT=1800.03	? TT=86.07	? TT=88.71	? (TO) TT=1800.1	? (TO) TT=1800.04	? (TO) TT=1800.2
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/ftp.netlib.org/lp/data/ normalized-reduced-mps-v2-20-10-ship08l.opb		? (TO) TT=1800.04	? (TO) TT=1800.04	? (TO) TT=1800.1	? (TO) TT=1800.22	? TT=105.927	? TT=107.347	? (TO) TT=1800.79	? (TO) TT=1800.01	? (TO) TT=1800.13
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/ftp.netlib.org/lp/data/ normalized-reduced-mps-v2-20-10-ship08s.opb		? (TO) TT=1800.13	? (TO) TT=1800.03	? (TO) TT=1800.09	? (TO) TT=1800.1	? TT=92.338	? TT=89.041	? (TO) TT=1800.72	? (TO) TT=1800.63	? (TO) TT=1800.04
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/ftp.netlib.org/lp/data/ normalized-reduced-mps-v2-20-10-ship12l.opb		? (TO) TT=1800.04	? (TO) TT=1800.02	? (TO) TT=1800.09	? (TO) TT=1800.32	? TT=86.13	? TT=86.514	? (TO) TT=1800.01	? (TO) TT=1800.08	? (TO) TT=1800.17
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/ftp.netlib.org/lp/data/ normalized-reduced-mps-v2-20-10-ship12s.opb		? (TO) TT=1800.11	? (TO) TT=1800.02	? (TO) TT=1800.1	? (TO) TT=1800.51	? TT=99.914	? TT=100.242	? (TO) TT=1800.71	? (TO) TT=1800.04	? (TO) TT=1800.05
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/ftp.netlib.org/lp/data/ normalized-reduced-mps-v2-20-10-sierra.opb		? (TO) TT=1800.02	? (TO) TT=1800.04	? (TO) TT=1800.03	? (TO) TT=1800.19	? TT=70.453	? TT=72.15	? (TO) TT=1800.06	? (TO) TT=1800.04	? (TO) TT=1800.03
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/ftp.netlib.org/lp/data/ normalized-reduced-mps-v2-20-10-stair.opb	UNSAT TT=2.102	UNSAT TT=2.102	UNSAT TT=2.163	? (TO) TT=1800.07	UNSAT TT=1198.35	? TT=133.672	? TT=132.598	UNSAT TT=140.923	UNSAT TT=1650.43	? (TO) TT=1800.06
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/ftp.netlib.org/lp/data/ normalized-reduced-mps-v2-20-10-standata.opb		? (TO) TT=1800.02	? (TO) TT=1800.02	? (TO) TT=1800.03	? (TO) TT=1800.1	? TT=154.456	? TT=151.969	? (TO) TT=1800.63	? (TO) TT=1800.02	? (TO) TT=1800.1
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/ftp.netlib.org/lp/data/ normalized-reduced-mps-v2-20-10-standgub.opb		? (TO) TT=1800.01	? (TO) TT=1800.02	? (TO) TT=1800.07	? (TO) TT=1800.1	? TT=75.756	? TT=75.69	? (TO) TT=1800.18	? (TO) TT=1800.77	? (TO) TT=1800.02
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/ftp.netlib.org/lp/data/ normalized-reduced-mps-v2-20-10-stocfor1.opb	SAT f=-40 TT=1800.02 T1=206.02	? (TO) TT=1800.1	? (TO) TT=1800.03	? (TO) TT=1800.11	SAT (TO) f=4399 TT=1800.07 T1=1800.4	? TT=135.475	? TT=137.552	SAT (TO) f=-40 TT=1800.02 T1=206.02	? (TO) TT=1800.54	? (TO) TT=1800.06
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/ftp.netlib.org/lp/data/ normalized-reduced-mps-v2-20-10-stocfor2.opb		? (TO) TT=1800.1	? (TO) TT=1800.02	? (TO) TT=1800.05	? (TO) TT=1800.23	? TT=137.3	? TT=136.97	? (TO) TT=1800.72	? (TO) TT=1800.02	? (TO) TT=1800.02
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/ftp.netlib.org/lp/data/ normalized-reduced-mps-v2-20-10-tuff.opb		? (TO) TT=1800.01	? (TO) TT=1800.02	? (TO) TT=1800.11	? (TO) TT=1800.06	? TT=143.599	? TT=144.997	? (TO) TT=1800.18	? (TO) TT=1800.07	? (TO) TT=1800.05
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/ftp.netlib.org/lp/data/ normalized-reduced-mps-v2-20-10-vtp.base.opb	UNSAT TT=5.814	UNSAT TT=13.496	UNSAT TT=13.744	UNSAT TT=108.669	UNSAT TT=59.054	? TT=134.935	? TT=138.653	UNSAT TT=5.814	? (TO) TT=1800.04	? (TO) TT=1800.14
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/ftp.netlib.org/lp/data/ normalized-reduced-mps-v2-20-10-wood1p.opb	UNSAT TT=193.848	UNSAT TT=198.437	UNSAT TT=193.848	? (TO) TT=1800.09	? (TO) TT=1800.1	? TT=72.903	? TT=76.732	? (TO) TT=1800.92	UNSAT TT=1284.91	? (TO) TT=1800.09
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/ftp.netlib.org/lp/data/ normalized-reduced-mps-v2-20-10-woodw.opb		? (exit code) TT=0.518	? (exit code) TT=0.006	? (TO) TT=1800.05	? (TO) TT=1800.17	? TT=84.58	? TT=85.71	? (TO) TT=1800.12	? (TO) TT=1800.09	? (TO) TT=1800.2
normalized-PB06/OPT-SMALLINT/reduced/mps-v2-20-10/MIPLIB/ miplib2003/normalized-reduced-mps-v2-20-10-a1c1s1.opb	UNSAT TT=1.45	UNSAT TT=1.592	UNSAT TT=1.45	? (TO) TT=1800.09	UNSAT TT=745.75	? TT=117.609	? TT=116.819	UNSAT TT=8.175	UNSAT TT=3.893	UNSAT TT=214.709
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/MIPLIB/miplib2003/ normalized-reduced-mps-v2-20-10-aflow30a.opb	SAT f=3405 TT=1800.36 T1=847.63	? (TO) TT=1800.1	? (TO) TT=1800.02	? (TO) TT=1800.02	? (TO) TT=1800.08	? TT=107.26	? TT=107.537	SAT (TO) f=3405 TT=1800.36 T1=847.63	No Cert. TT=1800.99	? (TO) TT=1800.07
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/MIPLIB/miplib2003/ normalized-reduced-mps-v2-20-10-aflow40b.opb		? (TO) TT=1800.11	? (TO) TT=1800.02	? (TO) TT=1800.09	? (TO) TT=1800.17	? (MO) TT=65.343	? (MO) TT=63.659	? (TO) TT=1800.11	? (TO) TT=1800.71	? (TO) TT=1800.02
normalized-PB06/OPT-SMALLINT/reduced/mps-v2-20-10/MIPLIB/ miplib2003/normalized-reduced-mps-v2-20-10-air04.opb	SAT f=5967 TT=1800.09 T1=1800.4	? (TO) TT=1800.09	? (TO) TT=1800.1	SAT (TO) f=5967 TT=1800.09 T1=1800.4	SAT (TO) f=5991 TT=1800.06 T1=1800.4	? (TO) TT=1800.03	? (TO) TT=1800.02	? (TO) TT=1800.79	? (TO) TT=1800.08	? (TO) TT=1800.09
normalized-PB06/OPT-SMALLINT/reduced/mps-v2-20-10/MIPLIB/ miplib2003/normalized-reduced-mps-v2-20-10-air05.opb	SAT f=4098 TT=1800.12 T1=1800.4	? (TO) TT=1800.06	? (TO) TT=1800.02	SAT (TO) f=4482 TT=1800.12 T1=1800.4	SAT (TO) f=4609 TT=1800.08 T1=1800.4	SAT (TO) f=4098 TT=1800.12 T1=1800.4	? TT=69.455	SAT (TO) f=5293 TT=1800.48 T1=721.7	SAT (TO) f=5852 TT=1800.67 T1=2.85	? (TO) TT=1800.05
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/MIPLIB/miplib2003/ normalized-reduced-mps-v2-20-10-arki001.opb	UNSAT TT=2.515	? (TO) TT=1800.08	? (TO) TT=1800.02	? (TO) TT=1800.07	? (TO) TT=1800.05	? TT=100.018	? TT=92.396	UNSAT TT=2.515	? (TO) TT=1800.01	? (TO) TT=1800.07
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/MIPLIB/miplib2003/ normalized-reduced-mps-v2-20-10-atlanta-ip.opb	UNSAT TT=0.651	UNSAT TT=0.942	UNSAT TT=0.651	? (TO) TT=1800.08	? (TO) TT=1800.09	? (MO) TT=85.139	? (MO) TT=83.942	UNSAT TT=8.252	UNSAT TT=5.014	UNSAT TT=46.02
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/MIPLIB/miplib2003/ normalized-reduced-mps-v2-20-10-dano3mip.opb		? (exit code) TT=0.911	? (exit code) TT=0.006	? (TO) TT=1800.04	? (TO) TT=1800.08	? TT=148.843	? TT=139.689	? (TO) TT=1800.17	? (TO) TT=1800.03	? (TO) TT=1800.11
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/MIPLIB/miplib2003/ normalized-reduced-mps-v2-20-10-danoint.opb		? (TO) TT=1800.09	? (TO) TT=1800.03	? (TO) TT=1800.04	? (TO) TT=1800.05	? TT=142.231	? TT=137.849	? (TO) TT=1800.1	? (TO) TT=1800.09	? (TO) TT=1800.04
normalized-PB06/OPT-SMALLINT/reduced/mps-v2-20-10/MIPLIB/ miplib2003/normalized-reduced-mps-v2-20-10-fiber.opb	OPT f=4372 TT=1413.34 T1=1413.32	? (TO) TT=1800.02	? (TO) TT=1800.02	SAT (TO) f=195272 TT=1800.09 T1=1800.4	OPT f=4372 TT=1413.34 T1=1413.32	? TT=152.988	? TT=150.847	SAT (TO) f=8209 TT=1800.14 T1=1.81	SAT (TO) f=7552 TT=1800.01 T1=0.46	? (TO) TT=1800.09
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/MIPLIB/miplib2003/ normalized-reduced-mps-v2-20-10-fixnet6.opb		? (TO) TT=1800.1	? (TO) TT=1800.03	? (TO) TT=1800.08	? (TO) TT=1800.09	? (MO) TT=100.805	? (MO) TT=103.289	? (TO) TT=1800.08	? (TO) TT=1800.06	? (TO) TT=1800.05
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/MIPLIB/miplib2003/ normalized-reduced-mps-v2-20-10-gesa2-o.opb	SAT f=756 TT=1800.06 T1=34.03	? (TO) TT=1800.01	? (TO) TT=1800.03	SAT (TO) f=1018 TT=1800.08 T1=1800.4	SAT (TO) f=1004 TT=1800.05 T1=1800.4	? TT=141.856	? TT=136.556	SAT (TO) f=786 TT=1800.04 T1=12.11	SAT (TO) f=756 TT=1800.06 T1=34.03	? (TO) TT=1800.09
normalized-PB06/OPT-SMALLINT/reduced/mps-v2-20-10/MIPLIB/ miplib2003/normalized-reduced-mps-v2-20-10-gesa2.opb	SAT f=738 TT=1800.04 T1=1800.4	? (TO) TT=1800.03	? (TO) TT=1800.02	SAT (TO) f=1615 TT=1800.05 T1=1800.4	SAT (TO) f=738 TT=1800.04 T1=1800.4	? TT=143.756	? TT=145.155	SAT (TO) f=777 TT=1800.07 T1=2.95	No Cert. TT=1801.22	? (TO) TT=1800.03
normalized-PB06/OPT-SMALLINT/reduced/mps-v2-20-10/MIPLIB/ miplib2003/normalized-reduced-mps-v2-20-10-glass4.opb	SAT f=1212 TT=1800.92 T1=492.7	? (TO) TT=1800.1	? (TO) TT=1800.02	SAT (TO) f=5736 TT=1800.06 T1=1800.4	SAT (TO) f=1273 TT=1800.06 T1=1800.4	? TT=144.688	? TT=144.858	SAT (TO) f=1212 TT=1800.92 T1=492.7	No Cert. TT=1800.09	? (TO) TT=1800.03
normalized-PB06/OPT-SMALLINT/reduced/mps-v2-20-10/MIPLIB/ miplib2003/normalized-reduced-mps-v2-20-10-harp2.opb	SAT f=-8127 TT=1800.71 T1=1.3	? (TO) TT=1800.01	? (TO) TT=1800.03	SAT (TO) f=-7377 TT=1800.02 T1=1800.3	SAT (TO) f=-5841 TT=1800.08 T1=1800.4	? TT=123.805	? TT=120.743	SAT (TO) f=-8127 TT=1800.71 T1=1.3	SAT (TO) f=-7153 TT=1800.09 T1=6.37	? (TO) TT=1800.1
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/MIPLIB/miplib2003/ normalized-reduced-mps-v2-20-10-liu.opb	SAT f=688 TT=1800.61 T1=1375.81	? (TO) TT=1800.09	? (TO) TT=1800.02	? (TO) TT=1800.15	? (TO) TT=1800.12	? TT=137.095	? TT=138.771	SAT (TO) f=768 TT=1800.22 T1=882.69	SAT (TO) f=688 TT=1800.61 T1=1375.81	? (TO) TT=1800.07
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/MIPLIB/miplib2003/ normalized-reduced-mps-v2-20-10-markshare1.opb	SAT f=9 TT=1800.02 T1=1800.3	? (TO) TT=1800.02	? (TO) TT=1800.02	SAT (TO) f=21 TT=1800.02 T1=1800.3	SAT (TO) f=9 TT=1800.02 T1=1800.3	? TT=158.595	? TT=166.508	SAT (TO) f=41 TT=1800.3 T1=871.14	SAT (TO) f=44 TT=1800.06 T1=1605.69	? (TO) TT=1800.01
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/MIPLIB/miplib2003/ normalized-reduced-mps-v2-20-10-markshare2.opb	SAT f=9 TT=1800.02 T1=1800.3	? (TO) TT=1800.09	? (TO) TT=1800.02	SAT (TO) f=34 TT=1800.02 T1=1800.3	SAT (TO) f=9 TT=1800.02 T1=1800.3	? TT=149	? TT=146.176	SAT (TO) f=29 TT=1800.85 T1=282.1	SAT (TO) f=68 TT=1800.02 T1=0.37	? (TO) TT=1800.04
normalized-PB06/OPT-SMALLINT/reduced/mps-v2-20-10/MIPLIB/ miplib2003/normalized-reduced-mps-v2-20-10-mas74.opb	OPT f=1 TT=0.014 T1=0.01	OPT f=1 TT=0.025 T1=0.02	OPT f=1 TT=0.014 T1=0.01	OPT f=1 TT=0.093 T1=0.09	OPT f=1 TT=0.051 T1=0.05	? (MO) TT=239.926	? (MO) TT=239.32	OPT f=1 TT=0.365 T1=0.75	OPT f=1 TT=0.344 T1=0.19	OPT f=1 TT=0.035 T1=0.03
normalized-PB06/OPT-SMALLINT/reduced/mps-v2-20-10/MIPLIB/ miplib2003/normalized-reduced-mps-v2-20-10-mas76.opb	OPT f=1 TT=0.014 T1=0.01	OPT f=1 TT=0.025 T1=0.02	OPT f=1 TT=0.014 T1=0.01	OPT f=1 TT=0.097 T1=0.09	OPT f=1 TT=0.043 T1=0.04	? (MO) TT=238.243	? (MO) TT=230.73	OPT f=1 TT=0.352 T1=0.71	OPT f=1 TT=0.325 T1=0.22	OPT f=1 TT=0.035 T1=0.03
normalized-PB06/OPT-SMALLINT/reduced/mps-v2-20-10/MIPLIB/ miplib2003/normalized-reduced-mps-v2-20-10-misc07.opb	OPT f=262858 TT=140.83 T1=17.91	? (TO) TT=1800.02	? (TO) TT=1800.02	SAT (TO) f=262859 TT=1800.02 T1=1800.3	OPT f=262858 TT=784.752 T1=784.86	? TT=130.498	? TT=135.985	OPT f=262858 TT=686.832 T1=44.38	OPT f=262858 TT=140.83 T1=17.91	? (TO) TT=1800.08
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/MIPLIB/miplib2003/ normalized-reduced-mps-v2-20-10-mkc.opb	SAT f=-3323 TT=1800.1 T1=1800.4	? (TO) TT=1800.12	? (TO) TT=1800.03	SAT (TO) f=-3323 TT=1800.1 T1=1800.4	SAT (TO) f=4426 TT=1800.03 T1=1800.4	? TT=91.242	? TT=92.336	SAT (TO) f=-3137 TT=1800.18 T1=572.22	SAT (TO) f=-3121 TT=1800.03 T1=0.56	? (TO) TT=1800.04
normalized-PB06/OPT-SMALLINT/reduced/mps-v2-20-10/MIPLIB/ miplib2003/normalized-reduced-mps-v2-20-10-mod011.opb		? (exit code) TT=0.385	? (exit code) TT=0.007	? (TO) TT=1800.03	? (TO) TT=1800.48	? TT=66.209	? TT=66.829	? (TO) TT=1800.78	? (TO) TT=1800.68	? (TO) TT=1800.17
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/MIPLIB/miplib2003/ normalized-reduced-mps-v2-20-10-modglob.opb		? (TO) TT=1800.02	? (TO) TT=1800.02	? (TO) TT=1800.05	? (TO) TT=1800.04	? TT=155.43	? TT=154.355	? (TO) TT=1800.85	? (TO) TT=1800.08	? (TO) TT=1800.07
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/MIPLIB/miplib2003/ normalized-reduced-mps-v2-20-10-momentum1.opb	UNSAT TT=0.426	UNSAT TT=0.458	UNSAT TT=0.426	UNSAT TT=2.363	UNSAT TT=2.343	? (MO) TT=416.496	? (MO) TT=385.918	UNSAT TT=4.344	UNSAT TT=2.456	UNSAT TT=4.722
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/MIPLIB/miplib2003/ normalized-reduced-mps-v2-20-10-momentum2.opb	UNSAT TT=1.573	UNSAT TT=1.913	UNSAT TT=1.573	UNSAT TT=17.015	UNSAT TT=16.979	? (MO) TT=199.839	? (MO) TT=200.91	UNSAT TT=11.662	UNSAT TT=7.033	UNSAT TT=802.808
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/MIPLIB/miplib2003/ normalized-reduced-mps-v2-20-10-momentum3.opb	SAT f=407422 TT=1800.19 T1=158.45	? (TO) TT=1800.01	? (TO) TT=1800.03	? (TO) TT=1800.18	? (TO) TT=1800.08	? (MO) TT=85.413	? (MO) TT=86.557	SAT (TO) f=407422 TT=1800.19 T1=158.45	SAT (TO) f=408052 TT=1800.06 T1=190.01	? (TO) TT=1800.42
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/MIPLIB/miplib2003/ normalized-reduced-mps-v2-20-10-msc98-ip.opb	UNSAT TT=1373.53	? (TO) TT=1800.01	? (TO) TT=1800.02	? (TO) TT=1800.03	? (TO) TT=1800.1	? TT=78.814	? TT=79.051	UNSAT TT=1373.53	? (TO) TT=1800.58	? (TO) TT=1800.04
normalized-PB06/OPT-SMALLINT/reduced/mps-v2-20-10/MIPLIB/ miplib2003/normalized-reduced-mps-v2-20-10-noswot.opb	OPT f=-7 TT=0.024 T1=0.02	OPT f=-7 TT=0.038 T1=0.03	OPT f=-7 TT=0.024 T1=0.02	OPT f=-7 TT=7.142 T1=7.13	OPT f=-7 TT=3.188 T1=3.18	? TT=144.21	? TT=144.393	OPT f=-7 TT=1.324 T1=0.79	SAT (TO) f=-7 TT=1800.58 T1=0.33	? (TO) TT=1800.05
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/MIPLIB/miplib2003/ normalized-reduced-mps-v2-20-10-nsrand-ipx.opb	SAT f=295446 TT=1800.82 T1=701.63	? (TO) TT=1800.11	? (TO) TT=1800.03	SAT (TO) f=520663 TT=1800.1 T1=1800.5	SAT (TO) f=497871 TT=1800.04 T1=1800.7	? TT=81.19	? TT=80.391	SAT (TO) f=295446 TT=1800.82 T1=701.63	SAT (TO) f=524296 TT=1800.05 T1=0.95	? (TO) TT=1800.1
normalized-PB06/OPT-SMALLINT/reduced/mps-v2-20-10/MIPLIB/ miplib2003/normalized-reduced-mps-v2-20-10-nw04.opb	SAT f=73 TT=1800.04 T1=1800.3	? (TO) TT=1800.03	? (TO) TT=1800.03	? (TO) TT=1800.01	SAT f=96 TT=236.13 T1=235.6	SAT (TO) f=142 TT=1800.05 T1=1800.3	SAT (TO) f=73 TT=1800.04 T1=1800.3	SAT (TO) f=86 TT=1800.19 T1=800.61	No Cert. TT=1800.06	? (TO) TT=1800.13
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/MIPLIB/miplib2003/ normalized-reduced-mps-v2-20-10-pk1.opb	SAT f=21 TT=1800.02 T1=1800.3	? (TO) TT=1800.02	? (TO) TT=1800.02	SAT (TO) f=21 TT=1800.02 T1=1800.3	SAT (TO) f=33 TT=1800.09 T1=1800.4	? TT=131.466	? TT=133.149	? (TO) TT=1800.64	? (TO) TT=1800.01	? (TO) TT=1800.05
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/MIPLIB/miplib2003/ normalized-reduced-mps-v2-20-10-pp08aCUTS.opb	SAT f=8084 TT=1800.24 T1=880.08	? (TO) TT=1800.03	? (TO) TT=1800.03	? (TO) TT=1800.1	? (TO) TT=1800.1	? (MO) TT=138.508	? (MO) TT=137.953	SAT (TO) f=8084 TT=1800.24 T1=880.08	? (TO) TT=1800	? (TO) TT=1800.1
normalized-PB06/OPT-SMALLINT/reduced/mps-v2-20-10/MIPLIB/ miplib2003/normalized-reduced-mps-v2-20-10-pp08a.opb		? (TO) TT=1800.04	? (TO) TT=1800.02	? (TO) TT=1800.06	? (TO) TT=1800.09	? TT=130.01	? TT=129.132	? (TO) TT=1800.04	? (TO) TT=1800.03	? (TO) TT=1800.07
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/MIPLIB/miplib2003/ normalized-reduced-mps-v2-20-10-qiu.opb		? (TO) TT=1800.04	? (TO) TT=1800.1	? (TO) TT=1800.03	? (TO) TT=1800.05	? TT=208.163	? TT=206.102	? (TO) TT=1800.57	? (TO) TT=1800.66	? (TO) TT=1800.24
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/MIPLIB/miplib2003/ normalized-reduced-mps-v2-20-10-rd-rplusc-21.opb		? (TO) TT=1800.03	? (TO) TT=1800.03	? (TO) TT=1800.07	? (TO) TT=1800.1	? TT=126.996	? TT=128.184	? (TO) TT=1800.1	? (TO) TT=1800	? (TO) TT=1800.33
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/MIPLIB/miplib2003/ normalized-reduced-mps-v2-20-10-roll3000.opb	SAT f=450588 TT=1800.03 T1=1657.34	? (TO) TT=1800.08	? (TO) TT=1800.02	? (TO) TT=1800.08	? (TO) TT=1800.04	? TT=77.272	? TT=78.156	SAT (TO) f=507933 TT=1800.53 T1=845.8	SAT (TO) f=450588 TT=1800.03 T1=1657.34	? (TO) TT=1800.03
normalized-PB06/OPT-SMALLINT/reduced/mps-v2-20-10/MIPLIB/ miplib2003/normalized-reduced-mps-v2-20-10-rout.opb	SAT f=262441 TT=1800.7 T1=195.94	? (TO) TT=1800	? (TO) TT=1800.03	SAT (TO) f=262484 TT=1800.01 T1=1800.3	SAT (TO) f=262548 TT=1800.08 T1=1800.4	? TT=115.573	? TT=122.411	SAT (TO) f=262441 TT=1800.7 T1=195.94	SAT (TO) f=262475 TT=1800.09 T1=252.53	? (TO) TT=1800.01
normalized-PB06/OPT-SMALLINT/reduced/mps-v2-20-10/MIPLIB/ miplib2003/normalized-reduced-mps-v2-20-10-set1ch.opb	SAT f=1755 TT=1800.02 T1=68.81	? (TO) TT=1800.01	? (TO) TT=1800.03	? (TO) TT=1800.07	SAT (TO) f=7008 TT=1800.04 T1=1800.4	? TT=138.194	? TT=138.121	SAT (TO) f=5458 TT=1800.09 T1=9.16	SAT (TO) f=1755 TT=1800.02 T1=68.81	? (TO) TT=1800.07
normalized-PB06/OPT-SMALLINT/reduced/mps-v2-20-10/MIPLIB/ miplib2003/normalized-reduced-mps-v2-20-10-sp97ar.opb	SAT f=52 TT=1800.04 T1=9.22	? (exit code) TT=2.433	? (exit code) TT=0.006	SAT (TO) f=57 TT=1800.15 T1=1800.4	SAT (TO) f=57 TT=1800.16 T1=1800.4	? TT=77.366	? TT=77.799	SAT (TO) f=52 TT=1800.04 T1=9.22	No Cert. TT=1800.79	? (TO) TT=1800.15
normalized-PB06/OPT-SMALLINT/reduced/mps-v2-20-10/MIPLIB/ miplib2003/normalized-reduced-mps-v2-20-10-stp3d.opb		? (TO) TT=1800.09	? (TO) TT=1800.01	? (TO) TT=1800.08	? (TO) TT=1800.05	? (TO) TT=1800.01	? (TO) TT=1800.04	? (TO) TT=1800.73	? (TO) TT=1800.09	? (TO) TT=1800.09
normalized-PB06/OPT-SMALLINT/reduced/mps-v2-20-10/MIPLIB/ miplib2003/normalized-reduced-mps-v2-20-10-swath.opb	SAT f=262299 TT=1800.63 T1=371.28	? (TO) TT=1800.01	? (TO) TT=1800.03	? (TO) TT=1800.07	? (TO) TT=1800.11	? TT=72.197	? TT=73.22	SAT (TO) f=262299 TT=1800.63 T1=371.28	SAT (TO) f=266262 TT=1800.08 T1=853.37	? (TO) TT=1800.02
normalized-PB06/OPT-SMALLINT/reduced/mps-v2-20-10/MIPLIB/ miplib2003/normalized-reduced-mps-v2-20-10-t1717.opb	SAT f=660 TT=113.085 T1=112.5	? (TO) TT=1800.04	? (TO) TT=1801.29	SAT (TO) f=660 TT=1800.04 T1=1800.4	SAT (MO) f=660 TT=113.085 T1=112.5	SAT (TO) f=664 TT=1800.09 T1=1800.4	SAT (TO) f=664 TT=1800.1 T1=1800.4	SAT (TO) f=1170 TT=1800 T1=13.36	No Cert. TT=1800.09	? (TO) TT=1800.15
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/MIPLIB/miplib2003/ normalized-reduced-mps-v2-20-10-timtab1.opb	SAT f=162257 TT=1800.11 T1=1.88	? (TO) TT=1800.1	? (TO) TT=1800.02	? (TO) TT=1800.09	? (TO) TT=1800.1	? TT=142.282	? TT=137.577	SAT (TO) f=162257 TT=1800.11 T1=1.88	SAT (TO) f=181135 TT=1800.04 T1=0.6	? (TO) TT=1800.05
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/MIPLIB/miplib2003/ normalized-reduced-mps-v2-20-10-timtab2.opb	SAT f=202233 TT=1800.12 T1=1.95	? (TO) TT=1800.07	? (TO) TT=1800.03	? (TO) TT=1800.05	? (TO) TT=1800.1	? (MO) TT=128.999	? (MO) TT=130.078	SAT (TO) f=202233 TT=1800.12 T1=1.95	SAT (TO) f=212655 TT=1800.04 T1=1.22	? (TO) TT=1800.17
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/MIPLIB/miplib2003/ normalized-reduced-mps-v2-20-10-tr12-30.opb		? (TO) TT=1800.01	? (TO) TT=1800.02	? (TO) TT=1800.17	? (TO) TT=1800.06	? TT=137.926	? TT=138.459	? (TO) TT=1800.02	? (TO) TT=1800.02	? (TO) TT=1800.02
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/MIPLIB/miplib2003/ normalized-reduced-mps-v2-20-10-van.opb	SAT f=39649 TT=1800.96 T1=45.5	? (TO) TT=1800.04	? (TO) TT=1800.03	? (TO) TT=1800.06	? (TO) TT=1800.08	? TT=134.452	? TT=159.149	SAT (TO) f=39649 TT=1800.96 T1=45.5	SAT (TO) f=41696 TT=1801 T1=12.94	? (TO) TT=1800.24
normalized-PB06/OPT-SMALLINT/reduced/mps-v2-20-10/MIPLIB/ miplib2003/normalized-reduced-mps-v2-20-10-vpm2.opb	SAT f=66 TT=1800.61 T1=1756.25	? (TO) TT=1800.02	? (TO) TT=1800.02	? (TO) TT=1800.09	? (TO) TT=1800.07	? TT=133.083	? TT=130.007	SAT (TO) f=157 TT=1800.85 T1=2.32	SAT (TO) f=66 TT=1800.61 T1=1756.25	? (TO) TT=1800.04
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/MIPLIB/miplib3/ normalized-reduced-mps-v2-20-10-blend2.opb		? (TO) TT=1800.01	? (TO) TT=1800.02	? (TO) TT=1800.04	? (TO) TT=1800.07	? (TO) TT=1800.1	? (TO) TT=1800.11	? (TO) TT=1800.79	? (TO) TT=1800.05	? (TO) TT=1800.07
normalized-PB06/OPT-SMALLINT/reduced/mps-v2-20-10/MIPLIB/ miplib3/normalized-reduced-mps-v2-20-10-gesa3_o.opb	SAT f=673 TT=1800.58 T1=97.77	? (TO) TT=1800.02	? (TO) TT=1800.02	SAT (TO) f=862 TT=1800.04 T1=1800.4	SAT (TO) f=936 TT=1800.05 T1=1800.4	? TT=155.665	? TT=152.38	SAT (TO) f=724 TT=1800.1 T1=7.61	SAT (TO) f=673 TT=1800.58 T1=97.77	? (TO) TT=1800.12
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/MIPLIB/miplib3/ normalized-reduced-mps-v2-20-10-gesa3.opb	SAT f=238 TT=1800.12 T1=1800.5	? (TO) TT=1800.02	? (TO) TT=1800.02	SAT (TO) f=1462 TT=1800.03 T1=1800.4	SAT (TO) f=238 TT=1800.12 T1=1800.5	? TT=124.353	? TT=122.085	SAT (TO) f=548 TT=1800.19 T1=6.35	SAT (TO) f=548 TT=1800.03 T1=3.15	? (TO) TT=1800.08
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/MIPLIB/miplib3/ normalized-reduced-mps-v2-20-10-gt2.opb	OPT f=3591 TT=3.122 T1=2.22	? (TO) TT=1800.02	OPT f=3591 TT=1024 T1=1024.16	SAT (TO) f=9457 TT=1800.02 T1=1800.3	SAT (TO) f=4818 TT=1800.09 T1=1800.4	SAT (TO) f=5521 TT=1800.28 T1=1800.4	? TT=110.703	OPT f=3591 TT=3.122 T1=2.22	SAT (TO) f=3591 TT=1800.03 T1=647.87	? (TO) TT=1800.07
normalized-PB06/OPT-SMALLINT/reduced/mps-v2-20-10/MIPLIB/ miplib3/normalized-reduced-mps-v2-20-10-qnet1_o.opb	SAT f=209 TT=1800.07 T1=1800.4	? (TO) TT=1800.01	? (TO) TT=1800.02	SAT (TO) f=1815 TT=1800.1 T1=1800.4	SAT (TO) f=209 TT=1800.07 T1=1800.4	? TT=156.075	? TT=151.649	SAT (TO) f=359 TT=1800.1 T1=1.9	SAT (TO) f=355 TT=1800.65 T1=0.62	? (TO) TT=1800.07
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/MIPLIB/miplib3/ normalized-reduced-mps-v2-20-10-qnet1.opb	SAT f=316 TT=1800.08 T1=1800.4	? (TO) TT=1800.11	? (TO) TT=1800.02	SAT (TO) f=1836 TT=1800.08 T1=1800.4	SAT (TO) f=316 TT=1800.08 T1=1800.4	? TT=153.983	? TT=154.123	SAT (TO) f=426 TT=1800.06 T1=0.84	SAT (TO) f=426 TT=1800.09 T1=0.55	? (TO) TT=1800.02
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/MIPLIB/miplib/ normalized-reduced-mps-v2-20-10-air01.opb	OPT f=1496 TT=1.234 T1=0.52	OPT f=1496 TT=18.549 T1=18.54	OPT f=1496 TT=2.876 T1=2.87	OPT f=1496 TT=1591.61 T1=1591.91	OPT f=1496 TT=41.585 T1=41.48	OPT f=1496 TT=1.234 T1=1.23	OPT f=1496 TT=32.099 T1=31.92	OPT f=1496 TT=5.05 T1=4.78	OPT f=1496 TT=2.142 T1=0.52	OPT f=1496 TT=91.451 T1=91.4
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/MIPLIB/miplib/ normalized-reduced-mps-v2-20-10-air02.opb	OPT f=313 TT=209.34 T1=200.17	OPT f=313 TT=912.239 T1=912.41	OPT f=313 TT=1687.85 T1=1688.11	SAT (TO) f=399 TT=1800.04 T1=1800.4	SAT (TO) f=521 TT=1800.18 T1=1800.4	SAT (TO) f=313 TT=1800.04 T1=1800.3	? TT=71.605	SAT (TO) f=340 TT=1800.19 T1=743.65	OPT f=313 TT=209.34 T1=200.17	? (TO) TT=1800.11
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/MIPLIB/miplib/ normalized-reduced-mps-v2-20-10-air03.opb	SAT f=7962 TT=1800.09 T1=555.93	? (TO) TT=1800.09	? (TO) TT=1800.02	SAT (TO) f=8372 TT=1800.15 T1=1800.4	SAT (TO) f=8804 TT=1800.16 T1=1800.4	SAT (TO) f=25111 TT=1800.03 T1=1800.3	? TT=73.106	SAT (TO) f=7962 TT=1800.09 T1=555.93	No Cert. TT=1800.09	? (TO) TT=1800.04
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/MIPLIB/miplib/ normalized-reduced-mps-v2-20-10-air06.opb	SAT f=6016 TT=1800.14 T1=1800.4	? (TO) TT=1800.06	? (TO) TT=1800.03	SAT (TO) f=7479 TT=1800.07 T1=1800.4	SAT (TO) f=6016 TT=1800.14 T1=1800.4	SAT (TO) f=7206 TT=1800.02 T1=1800.3	? TT=165.421	SAT (TO) f=7565 TT=1800.18 T1=677.55	SAT (TO) f=7491 TT=1800.05 T1=1144.59	? (TO) TT=1800.06
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/MIPLIB/miplib/ normalized-reduced-mps-v2-20-10-bell3a.opb	SAT f=720 TT=1800.08 T1=1800.4	? (TO) TT=1800.02	? (TO) TT=1800.02	SAT (TO) f=17938 TT=1800.08 T1=1800.4	SAT (TO) f=720 TT=1800.08 T1=1800.4	? TT=130.573	? TT=133.674	SAT (TO) f=815 TT=1800 T1=11.88	SAT (TO) f=1814 TT=1800.01 T1=374.47	? (TO) TT=1800.01
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/MIPLIB/miplib/ normalized-reduced-mps-v2-20-10-bell3b.opb	SAT f=989 TT=1800.18 T1=185.88	? (TO) TT=1800.02	? (TO) TT=1800.01	SAT (TO) f=27699 TT=1800.1 T1=1800.4	SAT (TO) f=998 TT=1800.07 T1=1800.4	? TT=124.932	? TT=129.182	SAT (TO) f=989 TT=1800.18 T1=185.88	SAT (TO) f=1864 TT=1800.09 T1=769.03	? (TO) TT=1800.03
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/MIPLIB/miplib/ normalized-reduced-mps-v2-20-10-bell4.opb	SAT f=1381 TT=1800.45 T1=738.6	? (TO) TT=1800.03	? (TO) TT=1800.02	SAT (TO) f=16765 TT=1800.1 T1=1800.4	SAT (TO) f=1546 TT=1800.09 T1=1800.4	? TT=125.252	? TT=126.184	SAT (TO) f=1381 TT=1800.45 T1=738.6	SAT (TO) f=1664 TT=1800 T1=1739.9	? (TO) TT=1800.04
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/MIPLIB/miplib/ normalized-reduced-mps-v2-20-10-bell5.opb	SAT f=788 TT=1800.64 T1=41.78	? (TO) TT=1800.02	? (TO) TT=1800.02	SAT (TO) f=2943 TT=1800.09 T1=1800.4	SAT (TO) f=1021 TT=1800.09 T1=1800.4	? TT=120.245	? TT=122.767	SAT (TO) f=956 TT=1800.68 T1=58.31	SAT (TO) f=788 TT=1800.64 T1=41.78	? (TO) TT=1800.02
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/MIPLIB/miplib/ normalized-reduced-mps-v2-20-10-dcmulti.opb	SAT f=922 TT=1800.13 T1=265.41	? (TO) TT=1800.03	? (TO) TT=1800.03	? (TO) TT=1800.04	? (TO) TT=1800.08	? TT=122.252	? TT=124.523	SAT (TO) f=922 TT=1800.13 T1=265.41	? (TO) TT=1800.08	? (TO) TT=1800.1
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/MIPLIB/miplib/ normalized-reduced-mps-v2-20-10-egout.opb	SAT f=117 TT=1800.1 T1=1800.4	? (TO) TT=1800.02	? (TO) TT=1800.02	SAT (TO) f=182 TT=1800.02 T1=1800.3	SAT (TO) f=117 TT=1800.1 T1=1800.4	? (MO) TT=448.769	? (MO) TT=469.296	SAT (TO) f=125 TT=1800 T1=548.51	? (TO) TT=1800.07	? (TO) TT=1800.04
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/MIPLIB/miplib/ normalized-reduced-mps-v2-20-10-enigma.opb	OPT f=0 TT=0.127 T1=0.12	OPT f=0 TT=0.312 T1=0.31	OPT f=0 TT=0.454 T1=0.45	OPT f=0 TT=61.967 T1=61.97	OPT f=0 TT=2.002 T1=2	? TT=142.042	? TT=136.871	OPT f=0 TT=0.984 T1=0.65	OPT f=0 TT=0.505 T1=0.25	OPT f=0 TT=0.127 T1=0.12
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/MIPLIB/miplib/ normalized-reduced-mps-v2-20-10-fixnet3.opb		? (TO) TT=1800.02	? (TO) TT=1800.03	? (TO) TT=1800.06	? (TO) TT=1800.06	? (MO) TT=102.24	? (MO) TT=102.781	? (TO) TT=1800.05	? (TO) TT=1800.03	? (TO) TT=1800.09
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/MIPLIB/miplib/ normalized-reduced-mps-v2-20-10-fixnet4.opb		? (TO) TT=1800.1	? (TO) TT=1800.02	? (TO) TT=1800.07	? (TO) TT=1800.09	? (MO) TT=104.229	? (MO) TT=104.065	? (TO) TT=1800.71	? (TO) TT=1801.15	? (TO) TT=1800.04
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/MIPLIB/miplib/ normalized-reduced-mps-v2-20-10-flugpl.opb	OPT f=91 TT=0.131 T1=0.13	OPT f=91 TT=0.131 T1=0.13	OPT f=91 TT=0.167 T1=0.16	OPT f=91 TT=1.813 T1=1.81	OPT f=91 TT=1.465 T1=1.46	? TT=140.968	? TT=140.325	OPT f=91 TT=4.483 T1=6.69	OPT f=91 TT=629.4 T1=527.63	OPT f=91 TT=408.705 T1=68.84
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/MIPLIB/miplib/ normalized-reduced-mps-v2-20-10-gen.opb	SAT f=551 TT=1800.01 T1=3.65	? (TO) TT=1800.11	? (TO) TT=1800.02	SAT (TO) f=1433 TT=1800.09 T1=1800.4	SAT (TO) f=784 TT=1800.06 T1=1800.4	? TT=135.253	? TT=134.549	SAT (TO) f=551 TT=1800.01 T1=3.65	? (TO) TT=1800.76	? (TO) TT=1800.05
normalized-PB06/OPT-SMALLINT/reduced/mps-v2-20-10/MIPLIB/ miplib/normalized-reduced-mps-v2-20-10-khb05250.opb		? (TO) TT=1800.02	? (TO) TT=1800.02	? (TO) TT=1800.06	? (TO) TT=1800.1	? (TO) TT=1800.25	? (TO) TT=1800.16	? (TO) TT=1800.91	? (TO) TT=1800.06	? (TO) TT=1800.14
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/MIPLIB/miplib/ normalized-reduced-mps-v2-20-10-misc01.opb	OPT f=262288 TT=0.241 T1=0.24	OPT f=262288 TT=0.28 T1=0.28	OPT f=262288 TT=0.241 T1=0.24	OPT f=262288 TT=3.192 T1=3.19	OPT f=262288 TT=5.211 T1=5.21	OPT f=262288 TT=1262.79 T1=1262.89	OPT f=262288 TT=185.679 T1=185.49	OPT f=262288 TT=3.984 T1=2.66	OPT f=262288 TT=1.984 T1=0.77	OPT f=262288 TT=7.698 T1=7.48
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/MIPLIB/miplib/ normalized-reduced-mps-v2-20-10-misc02.opb	OPT f=262571 TT=0.041 T1=0.04	OPT f=262571 TT=0.055 T1=0.05	OPT f=262571 TT=0.041 T1=0.04	OPT f=262571 TT=1.141 T1=1.14	OPT f=262571 TT=4.246 T1=4.24	OPT f=262571 TT=388.744 T1=388.39	OPT f=262571 TT=178.565 T1=178.04	OPT f=262571 TT=2.885 T1=2.15	OPT f=262571 TT=1.204 T1=0.37	OPT f=262571 TT=2.197 T1=1.15
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/MIPLIB/miplib/ normalized-reduced-mps-v2-20-10-misc03.opb	OPT f=262989 TT=4.492 T1=1.92	OPT f=262989 TT=7.418 T1=7.41	OPT f=262989 TT=6.997 T1=7	OPT f=262989 TT=86.474 T1=86.49	OPT f=262989 TT=24.645 T1=24.64	? TT=127.651	? TT=125.476	OPT f=262989 TT=10.701 T1=7.21	OPT f=262989 TT=4.492 T1=1.92	OPT f=262989 TT=27.686 T1=20.53
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/MIPLIB/miplib/ normalized-reduced-mps-v2-20-10-misc04.opb		? (TO) TT=1800.11	? (TO) TT=1800.03	? (TO) TT=1800.09	? (TO) TT=1800.09	? TT=110.494	? TT=106.196	? (TO) TT=1800.02	? (TO) TT=1800.02	? (TO) TT=1800.09
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/MIPLIB/miplib/ normalized-reduced-mps-v2-20-10-misc05.opb	UNSAT TT=0.028	UNSAT TT=0.043	UNSAT TT=0.028	UNSAT TT=0.727	UNSAT TT=39.408	? TT=114.376	? TT=115.811	UNSAT TT=18.191	UNSAT TT=5.673	UNSAT TT=129.436
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/MIPLIB/miplib/ normalized-reduced-mps-v2-20-10-misc06.opb		? (TO) TT=1800.01	? (TO) TT=1800.03	? (TO) TT=1800.06	? (TO) TT=1800.14	? TT=136.412	? TT=143.031	? (TO) TT=1800.68	? (TO) TT=1800.02	? (TO) TT=1800.02
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/MIPLIB/miplib/ normalized-reduced-mps-v2-20-10-mod013.opb	OPT f=19 TT=5.998 T1=5.99	? (TO) TT=1800.02	OPT f=19 TT=214.627 T1=214.66	OPT f=19 TT=43.357 T1=43.36	OPT f=19 TT=5.998 T1=5.99	? TT=148.679	? TT=153.705	SAT (TO) f=19 TT=1800.08 T1=66.81	SAT (TO) f=21 TT=1800.9 T1=114.43	? (TO) TT=1800.1
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/MIPLIB/miplib/ normalized-reduced-mps-v2-20-10-p0282.opb	OPT f=104028 TT=0.799 T1=0.49	OPT f=104028 TT=4.239 T1=4.24	OPT f=104028 TT=6.389 T1=6.41	OPT f=104028 TT=704.545 T1=704.65	OPT f=104028 TT=19.928 T1=19.89	OPT f=104028 TT=1297.66 T1=1297.92	? TT=90.841	OPT f=104028 TT=3.014 T1=11.23	OPT f=104028 TT=1.104 T1=0.49	OPT f=104028 TT=0.799 T1=0.53
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/MIPLIB/miplib/ normalized-reduced-mps-v2-20-10-p0291.opb	OPT f=7985 TT=0.102 T1=0.1	OPT f=7985 TT=0.11 T1=0.11	OPT f=7985 TT=0.102 T1=0.1	OPT f=7985 TT=27.377 T1=27.36	OPT f=7985 TT=8.976 T1=8.96	OPT f=7985 TT=2.44 T1=2.43	? TT=123.666	OPT f=7985 TT=1.145 T1=5.7	OPT f=7985 TT=0.483 T1=0.24	OPT f=7985 TT=0.275 T1=0.22
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/MIPLIB/miplib/ normalized-reduced-mps-v2-20-10-p6000.opb	SAT f=-73511 TT=1800.71 T1=173.76	? (TO) TT=1800.13	? (TO) TT=1800.03	? (TO) TT=1800.07	? (TO) TT=1800.04	? TT=70.097	? TT=70.262	SAT (TO) f=-73511 TT=1800.71 T1=173.76	? (TO) TT=1800.06	? (TO) TT=1800.11
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/MIPLIB/miplib/ normalized-reduced-mps-v2-20-10-pipex.opb	OPT f=164393 TT=0.25 T1=0.25	OPT f=164393 TT=1.022 T1=1.02	OPT f=164393 TT=0.25 T1=0.25	OPT f=164393 TT=64.922 T1=64.92	OPT f=164393 TT=8.156 T1=8.15	OPT f=164393 TT=75.223 T1=75.23	? TT=129.307	OPT f=164393 TT=6.274 T1=7.66	OPT f=164393 TT=9.372 T1=6.79	OPT f=164393 TT=61.876 T1=49.17
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/MIPLIB/miplib/ normalized-reduced-mps-v2-20-10-rgn.opb	SAT f=90984 TT=1800.86 T1=31.3	? (TO) TT=1800.01	? (TO) TT=1800.02	? (TO) TT=1800.02	? (TO) TT=1800.09	? TT=129.445	? TT=134.755	SAT (TO) f=90984 TT=1800.86 T1=31.3	SAT (TO) f=102879 TT=1800.72 T1=759.85	? (TO) TT=1800.08
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/MIPLIB/miplib/ normalized-reduced-mps-v2-20-10-sample2.opb	OPT f=5 TT=0.114 T1=0.11	OPT f=5 TT=0.114 T1=0.11	OPT f=5 TT=0.431 T1=0.42	OPT f=5 TT=9.156 T1=9.15	OPT f=5 TT=1.263 T1=1.25	? TT=189.335	? TT=191.118	OPT f=5 TT=18.42 T1=10.76	OPT f=5 TT=155.34 T1=153.28	OPT f=5 TT=6.852 T1=6.79
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/MIPLIB/miplib/ normalized-reduced-mps-v2-20-10-set1al.opb	SAT f=9004 TT=1800.83 T1=57.38	? (TO) TT=1800.08	? (TO) TT=1800.03	? (TO) TT=1800.04	SAT (TO) f=10699 TT=1800.06 T1=1800.4	? TT=83.169	? TT=82.992	SAT (TO) f=9004 TT=1800.83 T1=57.38	? (TO) TT=1800.62	? (TO) TT=1800.05
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/MIPLIB/miplib/ normalized-reduced-mps-v2-20-10-set1cl.opb	SAT f=2649 TT=1800.04 T1=289.94	? (TO) TT=1800.11	? (TO) TT=1800.02	? (TO) TT=1800.05	SAT (TO) f=12465 TT=1800.07 T1=1800.4	? TT=81.43	? TT=82.82	SAT (TO) f=2649 TT=1800.04 T1=289.94	? (TO) TT=1800.07	? (TO) TT=1800.05
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/MIPLIB/miplib/ normalized-reduced-mps-v2-20-10-vpm1.opb	OPT f=20 TT=67.765 T1=67.71	? (TO) TT=1800.02	? (TO) TT=1800.03	? (TO) TT=1800.07	? (TO) TT=1800.06	? TT=150.629	? TT=153.479	? (TO) TT=1800.74	? (TO) TT=1800.68	OPT f=20 TT=67.765 T1=67.71
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/plato.asu.edu/pub/fctp/ normalized-reduced-mps-v2-20-10-bal8x12.opb	UNSAT TT=0.032	UNSAT TT=0.047	UNSAT TT=0.032	UNSAT TT=41.496	UNSAT TT=23.977	? TT=142.034	? TT=140.991	UNSAT TT=3.033	? (TO) TT=1800.08	? (TO) TT=1800.09
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/plato.asu.edu/pub/fctp/ normalized-reduced-mps-v2-20-10-bk4x3.opb	OPT f=14 TT=0.181 T1=0.18	OPT f=14 TT=0.181 T1=0.18	OPT f=14 TT=0.193 T1=0.19	OPT f=14 TT=5.112 T1=5.11	OPT f=14 TT=1.077 T1=1.07	OPT f=14 TT=151.634 T1=151.35	OPT f=14 TT=259.434 T1=259.13	OPT f=14 TT=552.569 T1=14.2	SAT (TO) f=15 TT=1800.06 T1=19.29	? (TO) TT=1800.02
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/plato.asu.edu/pub/fctp/ normalized-reduced-mps-v2-20-10-gr4x6.opb	UNSAT TT=0.016	UNSAT TT=0.027	UNSAT TT=0.016	UNSAT TT=7.499	UNSAT TT=0.569	? TT=148.972	? TT=159.598	UNSAT TT=1.154	? (TO) TT=1800	? (TO) TT=1800.05
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/plato.asu.edu/pub/fctp/ normalized-reduced-mps-v2-20-10-n3700.opb		? (TO) TT=1800.07	? (TO) TT=1800.03	? (TO) TT=1800.07	? (TO) TT=1800.09	? TT=141.138	? TT=142.973	? (TO) TT=1800.09	? (TO) TT=1800	? (TO) TT=1800.11
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/plato.asu.edu/pub/fctp/ normalized-reduced-mps-v2-20-10-n3701.opb		? (TO) TT=1800.07	? (TO) TT=1800.03	? (TO) TT=1800.04	? (TO) TT=1800.04	? TT=141.57	? TT=148.229	? (TO) TT=1800.17	? (TO) TT=1800.05	? (TO) TT=1800.06
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/plato.asu.edu/pub/fctp/ normalized-reduced-mps-v2-20-10-n3702.opb		? (TO) TT=1800.13	? (TO) TT=1800.03	? (TO) TT=1800.08	? (TO) TT=1800.08	? TT=141.251	? TT=143.537	? (TO) TT=1800.6	? (TO) TT=1800.06	? (TO) TT=1800.06
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/plato.asu.edu/pub/fctp/ normalized-reduced-mps-v2-20-10-n3703.opb		? (TO) TT=1800.09	? (TO) TT=1800.03	? (TO) TT=1800.05	? (TO) TT=1800.11	? TT=138.241	? TT=140.204	? (TO) TT=1800.98	? (TO) TT=1800.05	? (TO) TT=1800.05
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/plato.asu.edu/pub/fctp/ normalized-reduced-mps-v2-20-10-n3704.opb		? (TO) TT=1800.08	? (TO) TT=1800.03	? (TO) TT=1800.07	? (TO) TT=1800.1	? TT=140.591	? TT=147.996	? (TO) TT=1800.72	? (TO) TT=1800.79	? (TO) TT=1800.07
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/plato.asu.edu/pub/fctp/ normalized-reduced-mps-v2-20-10-n3705.opb		? (TO) TT=1800.15	? (TO) TT=1800.02	? (TO) TT=1800.02	? (TO) TT=1800.09	? TT=141.298	? TT=144.219	? (TO) TT=1800.02	? (TO) TT=1800.62	? (TO) TT=1800.08
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/plato.asu.edu/pub/fctp/ normalized-reduced-mps-v2-20-10-n3706.opb		? (TO) TT=1800.16	? (TO) TT=1800.03	? (TO) TT=1800.05	? (TO) TT=1800.1	? TT=141.792	? TT=145.338	? (TO) TT=1800.14	? (TO) TT=1800.01	? (TO) TT=1800.09
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/plato.asu.edu/pub/fctp/ normalized-reduced-mps-v2-20-10-n3707.opb		? (TO) TT=1800.07	? (TO) TT=1800.03	? (TO) TT=1800.07	? (TO) TT=1800.06	? TT=139.199	? TT=144.035	? (TO) TT=1802.21	? (TO) TT=1800.61	? (TO) TT=1800.08
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/plato.asu.edu/pub/fctp/ normalized-reduced-mps-v2-20-10-n3708.opb		? (TO) TT=1800.12	? (TO) TT=1800.03	? (TO) TT=1800.04	? (TO) TT=1800.05	? TT=140.82	? TT=144.369	? (TO) TT=1800.1	? (TO) TT=1800.04	? (TO) TT=1800.1
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/plato.asu.edu/pub/fctp/ normalized-reduced-mps-v2-20-10-n3709.opb		? (TO) TT=1800.07	? (TO) TT=1800.03	? (TO) TT=1800.08	? (TO) TT=1800.09	? TT=141.111	? TT=143.915	? (TO) TT=1800.14	? (TO) TT=1800.75	? (TO) TT=1800.09
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/plato.asu.edu/pub/fctp/ normalized-reduced-mps-v2-20-10-n370a.opb		? (TO) TT=1800.02	? (TO) TT=1800.03	? (TO) TT=1800.06	? (TO) TT=1800.09	? TT=140.965	? TT=144.116	? (TO) TT=1800.17	? (TO) TT=1800.65	? (TO) TT=1800.01
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/plato.asu.edu/pub/fctp/ normalized-reduced-mps-v2-20-10-n370b.opb		? (TO) TT=1800.1	? (TO) TT=1800.04	? (TO) TT=1800.06	? (TO) TT=1800.08	? TT=141.729	? TT=145.616	? (TO) TT=1800.03	? (TO) TT=1800.05	? (TO) TT=1800.04
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/plato.asu.edu/pub/fctp/ normalized-reduced-mps-v2-20-10-n370c.opb		? (TO) TT=1800.03	? (TO) TT=1800.03	? (TO) TT=1800.03	? (TO) TT=1800.1	? TT=140.697	? TT=145.309	? (TO) TT=1800.77	? (TO) TT=1800.01	? (TO) TT=1800.09
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/plato.asu.edu/pub/fctp/ normalized-reduced-mps-v2-20-10-n370e.opb		? (TO) TT=1800.1	? (TO) TT=1800.02	? (TO) TT=1800.05	? (TO) TT=1800.09	? TT=147.291	? TT=143.748	? (TO) TT=1800.21	? (TO) TT=1800.04	? (TO) TT=1800.14
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/plato.asu.edu/pub/fctp/ normalized-reduced-mps-v2-20-10-ran10x10a.opb	OPT f=20 TT=0.261 T1=0.26	OPT f=20 TT=1.044 T1=1.04	OPT f=20 TT=0.261 T1=0.26	OPT f=20 TT=2.346 T1=2.34	OPT f=20 TT=1.563 T1=1.55	? TT=160.558	? TT=160.033	SAT (TO) f=20 TT=1800.91 T1=0.85	SAT (TO) f=20 TT=1800.03 T1=0.35	OPT f=20 TT=0.307 T1=0.29
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/plato.asu.edu/pub/fctp/ normalized-reduced-mps-v2-20-10-ran10x10b.opb	UNSAT TT=0.023	UNSAT TT=0.036	UNSAT TT=0.023	UNSAT TT=5.907	UNSAT TT=14.24	? TT=162.964	? TT=161.446	UNSAT TT=1.974	? (TO) TT=1800.07	? (TO) TT=1800.09
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/plato.asu.edu/pub/fctp/ normalized-reduced-mps-v2-20-10-ran10x10c.opb	UNSAT TT=0.026	UNSAT TT=0.04	UNSAT TT=0.026	UNSAT TT=5.394	UNSAT TT=9.901	? TT=163.407	? TT=158.649	UNSAT TT=3.033	? (TO) TT=1800.7	? (TO) TT=1800.05
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/plato.asu.edu/pub/fctp/ normalized-reduced-mps-v2-20-10-ran10x12.opb	UNSAT TT=0.03	UNSAT TT=0.046	UNSAT TT=0.03	UNSAT TT=19.302	UNSAT TT=20.594	? TT=139.484	? TT=140.85	UNSAT TT=5.613	? (TO) TT=1800.13	? (TO) TT=1800.02
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/plato.asu.edu/pub/fctp/ normalized-reduced-mps-v2-20-10-ran10x26.opb	UNSAT TT=0.064	UNSAT TT=0.088	UNSAT TT=0.064	UNSAT TT=38.406	UNSAT TT=43.132	? TT=132.604	? TT=133.335	UNSAT TT=4.703	? (TO) TT=1800.03	? (TO) TT=1800.08
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/plato.asu.edu/pub/fctp/ normalized-reduced-mps-v2-20-10-ran12x12.opb	UNSAT TT=0.034	UNSAT TT=0.051	UNSAT TT=0.034	UNSAT TT=643.936	UNSAT TT=386.504	? TT=134.085	? TT=139.905	UNSAT TT=5.234	? (TO) TT=1800.09	? (TO) TT=1800.02
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/plato.asu.edu/pub/fctp/ normalized-reduced-mps-v2-20-10-ran12x21.opb	UNSAT TT=0.062	UNSAT TT=0.083	UNSAT TT=0.062	UNSAT TT=34.867	UNSAT TT=201.639	? TT=154.623	? TT=149.867	UNSAT TT=4.361	? (TO) TT=1800.02	? (TO) TT=1800.03
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/plato.asu.edu/pub/fctp/ normalized-reduced-mps-v2-20-10-ran13x13.opb	UNSAT TT=0.04	UNSAT TT=0.058	UNSAT TT=0.04	UNSAT TT=1203.33	? (TO) TT=1800.11	? TT=147.873	? TT=154.964	UNSAT TT=6.493	? (TO) TT=1800.66	? (TO) TT=1800.13
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/plato.asu.edu/pub/fctp/ normalized-reduced-mps-v2-20-10-ran14x18.opb	UNSAT TT=0.064	UNSAT TT=0.085	UNSAT TT=0.064	? (TO) TT=1800.1	? (TO) TT=1800.11	? TT=155.32	? TT=153.895	UNSAT TT=8.543	? (TO) TT=1800.09	? (TO) TT=1800.06
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/plato.asu.edu/pub/fctp/ normalized-reduced-mps-v2-20-10-ran16x16.opb	OPT f=35 TT=4.984 T1=4.91	? (TO) TT=1800.02	? (TO) TT=1800.03	SAT (TO) f=35 TT=1800.02 T1=1800.3	OPT f=35 TT=6.705 T1=6.69	? TT=153.376	? TT=165.753	SAT (TO) f=37 TT=1800.84 T1=1.57	SAT (TO) f=37 TT=1800.03 T1=0.61	OPT f=35 TT=4.984 T1=4.91
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/plato.asu.edu/pub/fctp/ normalized-reduced-mps-v2-20-10-ran17x17.opb	OPT f=35 TT=5.327 T1=5.25	? (TO) TT=1800	? (TO) TT=1800.03	SAT (TO) f=35 TT=1800.02 T1=1800.3	OPT f=35 TT=8.624 T1=8.59	? TT=132.755	? TT=140.775	SAT (TO) f=36 TT=1800.01 T1=87.13	SAT (TO) f=38 TT=1800.06 T1=0.7	OPT f=35 TT=5.327 T1=5.25
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/plato.asu.edu/pub/fctp/ normalized-reduced-mps-v2-20-10-ran4x64.opb	UNSAT TT=0.065	UNSAT TT=0.09	UNSAT TT=0.065	UNSAT TT=1.603	UNSAT TT=0.737	? TT=148.465	? TT=147.092	UNSAT TT=3.703	? (TO) TT=1800.87	? (TO) TT=1800.01
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/plato.asu.edu/pub/fctp/ normalized-reduced-mps-v2-20-10-ran6x43.opb	UNSAT TT=0.071	UNSAT TT=0.093	UNSAT TT=0.071	UNSAT TT=1.608	UNSAT TT=1.144	? TT=128.651	? TT=132.049	UNSAT TT=3.443	? (TO) TT=1800.92	? (TO) TT=1800.1
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/plato.asu.edu/pub/fctp/ normalized-reduced-mps-v2-20-10-ran8x32.opb	UNSAT TT=0.074	UNSAT TT=0.098	UNSAT TT=0.074	UNSAT TT=3.451	UNSAT TT=4.119	? TT=145.285	? TT=143.78	UNSAT TT=4.103	? (TO) TT=1800.08	? (TO) TT=1800.1
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/plato.asu.edu/pub/lptestset/fome/ normalized-reduced-mps-v2-20-10-fome11.opb		? (exit code) TT=1.074	? (exit code) TT=0.006	? (TO) TT=1800.27	? (TO) TT=1800.1	? TT=125.571	? TT=126.811	? (TO) TT=1800.16	? (TO) TT=1800.04	? (TO) TT=1800.24
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/plato.asu.edu/pub/milp/ normalized-reduced-mps-v2-20-10-bc1.opb	UNSAT TT=183.597	? (TO) TT=1800.02	? (TO) TT=1800.02	? (TO) TT=1800.1	? (TO) TT=1800.04	? (MO) TT=101.459	? (MO) TT=102.63	UNSAT TT=363.81	UNSAT TT=183.597	UNSAT TT=447.611
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/plato.asu.edu/pub/milp/ normalized-reduced-mps-v2-20-10-bienst1.opb		? (TO) TT=1800.1	? (TO) TT=1800.02	? (TO) TT=1800.08	? (TO) TT=1800.07	? TT=129.726	? TT=125.807	? (TO) TT=1800.02	? (TO) TT=1800.7	? (TO) TT=1800.04
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/plato.asu.edu/pub/milp/ normalized-reduced-mps-v2-20-10-bienst2.opb		? (TO) TT=1800.08	? (TO) TT=1800.02	? (TO) TT=1800.09	? (TO) TT=1800.05	? TT=132.63	? TT=135.853	? (TO) TT=1800.12	? (TO) TT=1800	? (TO) TT=1800.06
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/plato.asu.edu/pub/milp/ normalized-reduced-mps-v2-20-10-dano3_3.opb		? (exit code) TT=0.941	? (exit code) TT=0.005	? (TO) TT=1800.04	? (TO) TT=1800.1	? TT=112.769	? TT=111.572	? (TO) TT=1800.1	? (TO) TT=1800	? (TO) TT=1800.15
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/plato.asu.edu/pub/milp/ normalized-reduced-mps-v2-20-10-dano3_4.opb		? (exit code) TT=0.945	? (exit code) TT=0.005	? (TO) TT=1800.04	? (TO) TT=1800.07	? TT=111.52	? TT=110.412	? (TO) TT=1800.7	? (TO) TT=1800.66	? (TO) TT=1800.17
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/plato.asu.edu/pub/milp/ normalized-reduced-mps-v2-20-10-dano3_5.opb		? (exit code) TT=0.938	? (exit code) TT=0.006	? (TO) TT=1800.02	? (TO) TT=1800.14	? TT=111.393	? TT=111.334	? (TO) TT=1800.09	? (TO) TT=1800.06	? (TO) TT=1800.2
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/plato.asu.edu/pub/milp/ normalized-reduced-mps-v2-20-10-markshare1_1.opb	OPT f=0 TT=37.742 T1=37.74	OPT f=0 TT=37.742 T1=37.74	OPT f=0 TT=230.281 T1=230.31	SAT (TO) f=24 TT=1800.02 T1=1800.3	SAT (TO) f=7 TT=1800.01 T1=1800.3	? TT=142.284	? TT=152.27	SAT (TO) f=24 TT=1800.74 T1=1.69	SAT (TO) f=21 TT=1800 T1=1494.93	? (TO) TT=1800.03
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/plato.asu.edu/pub/milp/ normalized-reduced-mps-v2-20-10-markshare2_1.opb	OPT f=0 TT=55.86 T1=55.86	OPT f=0 TT=55.86 T1=55.86	OPT f=0 TT=420.676 T1=420.75	SAT (TO) f=46 TT=1800.02 T1=1800.3	SAT (TO) f=21 TT=1800.02 T1=1800.3	? TT=145.625	? TT=141.762	SAT (TO) f=42 TT=1800.08 T1=875.93	SAT (TO) f=51 TT=1800.03 T1=448.37	? (TO) TT=1800.05
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/plato.asu.edu/pub/milp/ normalized-reduced-mps-v2-20-10-mkc1.opb	SAT f=-2552 TT=1800.67 T1=1	? (TO) TT=1800.02	? (TO) TT=1800.03	? (TO) TT=1800.08	SAT (TO) f=1595 TT=1800.28 T1=1800.4	? TT=85.573	? TT=86.437	SAT (TO) f=-2552 TT=1800.67 T1=2.08	SAT (TO) f=-2552 TT=1802.19 T1=1	? (TO) TT=1800.05
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/plato.asu.edu/pub/milp/ normalized-reduced-mps-v2-20-10-neos11.opb	UNSAT TT=0.071	UNSAT TT=0.113	UNSAT TT=0.071	UNSAT TT=0.889	UNSAT TT=20.323	? (MO) TT=146.399	? (MO) TT=148.107	UNSAT TT=3.035	UNSAT TT=1.784	UNSAT TT=1.177
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/plato.asu.edu/pub/milp/ normalized-reduced-mps-v2-20-10-neos12.opb	UNSAT TT=0.24	UNSAT TT=0.373	UNSAT TT=0.24	UNSAT TT=3.612	UNSAT TT=53.351	? TT=145.47	? TT=147.52	UNSAT TT=3.594	UNSAT TT=2.432	UNSAT TT=3.803
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/plato.asu.edu/pub/milp/ normalized-reduced-mps-v2-20-10-neos13.opb	SAT f=-18596 TT=1800.04 T1=167.25	? (TO) TT=1800.02	? (TO) TT=1800.03	? (TO) TT=1800.02	? (TO) TT=1800.12	? TT=121.817	? TT=120.651	SAT (TO) f=-18596 TT=1800.04 T1=167.25	? (TO) TT=1800.89	? (TO) TT=1800.11
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/plato.asu.edu/pub/milp/ normalized-reduced-mps-v2-20-10-neos14.opb		? (TO) TT=1800.01	? (TO) TT=1800.02	? (TO) TT=1800.1	? (TO) TT=1800.04	? TT=139.976	? TT=140.374	? (TO) TT=1800	? (TO) TT=1800	? (TO) TT=1800.1
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/plato.asu.edu/pub/milp/ normalized-reduced-mps-v2-20-10-neos15.opb		? (TO) TT=1800.01	? (TO) TT=1800.02	? (TO) TT=1800.11	? (TO) TT=1800.08	? TT=139.115	? TT=140.65	? (TO) TT=1800.73	? (TO) TT=1800.76	? (TO) TT=1800.01
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/plato.asu.edu/pub/milp/ normalized-reduced-mps-v2-20-10-neos17.opb	UNSAT TT=0.073	UNSAT TT=0.112	UNSAT TT=0.073	UNSAT TT=2.863	UNSAT TT=18.24	? TT=137.351	? TT=134.863	UNSAT TT=2.086	UNSAT TT=1.273	UNSAT TT=0.522
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/plato.asu.edu/pub/milp/ normalized-reduced-mps-v2-20-10-neos20.opb	OPT f=-71 TT=53.063 T1=53.07	OPT f=-71 TT=124.471 T1=124.48	OPT f=-71 TT=53.063 T1=53.07	SAT (TO) f=-63 TT=1800.02 T1=1800.3	SAT (TO) f=-68 TT=1800.06 T1=1800.4	? (MO) TT=106.068	? (MO) TT=106.575	SAT (TO) f=-60 TT=1801.03 T1=109.06	SAT (TO) f=-56 TT=1800.08 T1=30.37	? (TO) TT=1800.1
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/plato.asu.edu/pub/milp/ normalized-reduced-mps-v2-20-10-neos2.opb	OPT f=3 TT=3.94 T1=3.93	OPT f=3 TT=4.462 T1=4.45	OPT f=3 TT=3.94 T1=3.93	OPT f=3 TT=81.522 T1=81.51	OPT f=3 TT=254.119 T1=254.14	? TT=72.848	? TT=73.663	SAT (TO) f=3 TT=1800.01 T1=31.22	SAT (TO) f=3 TT=1800.04 T1=76.95	? (TO) TT=1800.04
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/plato.asu.edu/pub/milp/ normalized-reduced-mps-v2-20-10-neos3.opb	OPT f=2 TT=6.906 T1=6.89	OPT f=2 TT=10.612 T1=10.6	OPT f=2 TT=6.906 T1=6.89	OPT f=2 TT=168.813 T1=168.84	OPT f=2 TT=372.008 T1=371.94	? TT=72.798	? TT=73.412	OPT f=2 TT=195.234 T1=96.84	OPT f=2 TT=555.922 T1=552.51	OPT f=2 TT=312.332 T1=310.08
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/plato.asu.edu/pub/milp/ normalized-reduced-mps-v2-20-10-neos6.opb	OPT f=0 TT=82.16 T1=82.11	OPT f=0 TT=82.16 T1=82.11	? (TO) TT=1800.03	? (TO) TT=1800.03	? (TO) TT=1800.08	? TT=131.055	? TT=131.755	? (TO) TT=1800.12	? (TO) TT=1800.75	? (TO) TT=1800.07
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/plato.asu.edu/pub/milp/ normalized-reduced-mps-v2-20-10-neos7.opb	SAT f=43 TT=1800.03 T1=1.74	? (TO) TT=1800.02	? (TO) TT=1800.02	SAT (TO) f=101 TT=1800.07 T1=1800.4	SAT (TO) f=132 TT=1800.08 T1=1800.4	? TT=111.993	? TT=111.635	SAT (TO) f=48 TT=1800.96 T1=1.72	SAT (TO) f=43 TT=1800.03 T1=1.74	? (TO) TT=1800.08
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/plato.asu.edu/pub/milp/ normalized-reduced-mps-v2-20-10-neos9.opb		? (exit code) TT=1.647	? (exit code) TT=0.006	? (TO) TT=1800.21	? (TO) TT=1800.29	? TT=38.888	? TT=38.594	? (TO) TT=1800.73	? (TO) TT=1800.62	? (TO) TT=1800.38
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/plato.asu.edu/pub/milp/ normalized-reduced-mps-v2-20-10-nug08.opb	OPT f=18 TT=6.155 T1=0.96	? (TO) TT=1800.1	? (TO) TT=1800.02	SAT (TO) f=18 TT=1800.04 T1=1800.4	OPT f=18 TT=446.427 T1=446.4	? TT=141.871	? TT=143.133	SAT (TO) f=18 TT=1800.74 T1=1.5	SAT (TO) f=18 TT=1800.08 T1=0.96	OPT f=18 TT=6.155 T1=3.02
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/plato.asu.edu/pub/milp/ normalized-reduced-mps-v2-20-10-qap10.opb	SAT f=29 TT=1800.06 T1=2.02	? (TO) TT=1800.1	? (TO) TT=1800.02	SAT (TO) f=29 TT=1800.08 T1=1800.4	SAT (TO) f=29 TT=1800.12 T1=1800.4	? TT=142.808	? TT=144.062	SAT (TO) f=29 TT=1800.92 T1=2.88	SAT (TO) f=29 TT=1800.06 T1=2.02	? (TO) TT=1800.11
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/plato.asu.edu/pub/milp/ normalized-reduced-mps-v2-20-10-seymour1.opb	SAT f=106974 TT=1800.16 T1=287.52	? (TO) TT=1800.05	? (TO) TT=1800.02	SAT (TO) f=192220 TT=1800.05 T1=1800.4	SAT (TO) f=126479 TT=1800.17 T1=1800.4	? (MO) TT=79.923	? (MO) TT=80.134	SAT (TO) f=106974 TT=1800.16 T1=287.52	SAT (TO) f=107713 TT=1800.42 T1=1.04	? (TO) TT=1800.01
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/plato.asu.edu/pub/milp/ normalized-reduced-mps-v2-20-10-swath1.opb		? (TO) TT=1800.01	? (TO) TT=1800.03	? (TO) TT=1800.09	? TT=1352.1	? TT=75.546	? TT=71.64	? (TO) TT=1800.05	? (TO) TT=1800.09	? (TO) TT=1800.08
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/plato.asu.edu/pub/milp/ normalized-reduced-mps-v2-20-10-swath2.opb		? (TO) TT=1800.02	? (TO) TT=1800.02	? (TO) TT=1800.1	? TT=1301.36	? TT=71.78	? TT=71.864	? (TO) TT=1800.18	? (TO) TT=1800.08	? (TO) TT=1800.07
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/plato.asu.edu/pub/milp/ normalized-reduced-mps-v2-20-10-swath3.opb		? (TO) TT=1800.12	? (TO) TT=1800.02	? (TO) TT=1800.1	? TT=1265.05	? TT=72.448	? TT=72.338	? (TO) TT=1800.01	? (TO) TT=1800.07	? (TO) TT=1800.05
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/plato.asu.edu/pub/unibo/ normalized-reduced-mps-v2-20-10-A1C1S1.opb		? (TO) TT=1800.03	? (TO) TT=1800.02	? (TO) TT=1800.12	? (TO) TT=1800.06	? TT=143.685	? TT=143.465	? (TO) TT=1800.76	? (TO) TT=1800.02	? (TO) TT=1800.09
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/plato.asu.edu/pub/unibo/ normalized-reduced-mps-v2-20-10-A2C1S1.opb	UNSAT TT=875.798	? (TO) TT=1800.08	? (TO) TT=1800.02	? (TO) TT=1800.09	UNSAT TT=875.798	? TT=142.198	? TT=142.154	? (TO) TT=1800.01	? (TO) TT=1800.09	? (TO) TT=1800.04
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/plato.asu.edu/pub/unibo/ normalized-reduced-mps-v2-20-10-B1C1S1.opb	UNSAT TT=275.589	UNSAT TT=1188.27	UNSAT TT=1225.1	? (TO) TT=1800.08	UNSAT TT=275.589	? TT=152.686	? TT=149.697	? (TO) TT=1800.09	? (TO) TT=1800.02	? (TO) TT=1800.1
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/plato.asu.edu/pub/unibo/ normalized-reduced-mps-v2-20-10-B2C1S1.opb	UNSAT TT=275.909	UNSAT TT=943.417	UNSAT TT=973.663	? (TO) TT=1800.1	UNSAT TT=275.909	? TT=152.153	? TT=150.262	? (TO) TT=1800.12	? (TO) TT=1800.04	? (TO) TT=1800.02
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/plato.asu.edu/pub/unibo/ normalized-reduced-mps-v2-20-10-berlin_5_8_0.opb	OPT f=2 TT=87.959 T1=87.94	OPT f=2 TT=87.959 T1=87.94	OPT f=2 TT=197.613 T1=197.63	? (TO) TT=1800.1	? (TO) TT=1800.02	? TT=93.973	? TT=96.533	SAT (TO) f=40 TT=1800.27 T1=810.53	? (TO) TT=1800	? (TO) TT=1800.03
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/plato.asu.edu/pub/unibo/ normalized-reduced-mps-v2-20-10-bg512142.opb		? (TO) TT=1800.03	? (TO) TT=1800.02	? (TO) TT=1800.09	? (TO) TT=1800.1	? TT=136.692	? TT=141.355	? (TO) TT=1801.05	? (TO) TT=1800.61	? (TO) TT=1800.02
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/plato.asu.edu/pub/unibo/ normalized-reduced-mps-v2-20-10-biella1.opb	UNSAT TT=0.456	UNSAT TT=0.545	UNSAT TT=0.456	? (TO) TT=1800.08	UNSAT TT=1676.99	? TT=117.297	? TT=116.68	UNSAT TT=212.822	? (TO) TT=1801.1	? (TO) TT=1800.08
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/plato.asu.edu/pub/unibo/ normalized-reduced-mps-v2-20-10-blp-ar98.opb		? (TO) TT=1800.02	? (TO) TT=1800.02	? (TO) TT=1800.04	? (TO) TT=1800.34	? TT=142.493	? TT=146.345	? (TO) TT=1800.11	? (TO) TT=1800.57	? (TO) TT=1800.02
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/plato.asu.edu/pub/unibo/ normalized-reduced-mps-v2-20-10-blp-ic97.opb	SAT f=264293 TT=1800.06 T1=1800.3	? (TO) TT=1800.02	? (TO) TT=1800.03	SAT (TO) f=264293 TT=1800.06 T1=1800.3	? (TO) TT=1800.14	? TT=190.767	? TT=190.103	? (TO) TT=1800.08	? (TO) TT=1800.01	? (TO) TT=1800.08
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/plato.asu.edu/pub/unibo/ normalized-reduced-mps-v2-20-10-blp-ic98.opb		? (TO) TT=1800.02	? (TO) TT=1800.02	? (TO) TT=1800.07	? (TO) TT=1800.26	? TT=160.666	? TT=158.889	? (TO) TT=1800.16	? (TO) TT=1800.06	? (TO) TT=1800.16
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/plato.asu.edu/pub/unibo/ normalized-reduced-mps-v2-20-10-blp-ir98.opb	SAT f=264086 TT=1800.14 T1=291.92	? (TO) TT=1800.1	? (TO) TT=1800.02	? (TO) TT=1800.08	? (TO) TT=1800.08	? TT=141.356	? TT=138.579	SAT (TO) f=264086 TT=1800.14 T1=291.92	? (TO) TT=1800.06	? (TO) TT=1800.08
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/plato.asu.edu/pub/unibo/ normalized-reduced-mps-v2-20-10-CMS750_4.opb		? (TO) TT=1800.11	? (TO) TT=1800.02	? (TO) TT=1800.29	? (TO) TT=1800.01	? (MO) TT=95.244	? (MO) TT=96.023	? (TO) TT=1800.02	? (TO) TT=1800.05	? (TO) TT=1800.09
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/plato.asu.edu/pub/unibo/ normalized-reduced-mps-v2-20-10-core2536-691.opb	SAT f=534 TT=1800.08 T1=1800.4	? (TO) TT=1800.11	? (TO) TT=1800.07	SAT (TO) f=5863 TT=1800.08 T1=1800.4	SAT (TO) f=635 TT=1800.06 T1=1800.4	SAT (TO) f=651 TT=1800.1 T1=1800.4	SAT (TO) f=534 TT=1800.08 T1=1800.4	SAT (TO) f=581 TT=1800.63 T1=161.2	SAT (TO) f=584 TT=1800.01 T1=1.53	? (TO) TT=1800.1
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/plato.asu.edu/pub/unibo/ normalized-reduced-mps-v2-20-10-core2586-950.opb	SAT f=786 TT=1800.09 T1=1800.4	? (TO) TT=1800.03	? (TO) TT=1800.03	SAT (TO) f=3923 TT=1800.06 T1=1800.4	SAT (TO) f=947 TT=1800.12 T1=1800.5	SAT (TO) f=910 TT=1800.01 T1=1800.3	SAT (TO) f=786 TT=1800.09 T1=1800.4	SAT (TO) f=790 TT=1800.6 T1=112.06	SAT (TO) f=792 TT=1800.06 T1=0.59	? (TO) TT=1800.05
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/plato.asu.edu/pub/unibo/ normalized-reduced-mps-v2-20-10-core4284-1064.opb	SAT f=899 TT=1800.1 T1=1800.4	? (TO) TT=1800.09	? (TO) TT=1800.13	SAT (TO) f=6152 TT=1800.1 T1=1800.4	SAT (TO) f=1082 TT=1800.07 T1=1800.4	SAT (TO) f=1043 TT=1800.1 T1=1800.4	SAT (TO) f=899 TT=1800.1 T1=1800.4	SAT (TO) f=908 TT=1800.72 T1=123.65	SAT (TO) f=909 TT=1800.72 T1=1.18	? (TO) TT=1800.22
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/plato.asu.edu/pub/unibo/ normalized-reduced-mps-v2-20-10-core4872-1529.opb	SAT f=1320 TT=1800.43 T1=602.56	? (TO) TT=1800.1	? (TO) TT=1800.02	SAT (TO) f=8401 TT=1800.09 T1=1800.4	SAT (TO) f=1541 TT=1800.11 T1=1800.4	SAT (TO) f=1506 TT=1800.12 T1=1800.4	SAT (TO) f=1506 TT=1800.08 T1=1800.4	SAT (TO) f=1320 TT=1800.43 T1=602.56	SAT (TO) f=1323 TT=1800.1 T1=1.52	? (TO) TT=1800.09
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/plato.asu.edu/pub/unibo/ normalized-reduced-mps-v2-20-10-dc1c.opb		? (TO) TT=1800.02	? (TO) TT=1800.03	? (TO) TT=1800.07	? (TO) TT=1800.09	? TT=137.975	? TT=137.613	? (TO) TT=1800.11	? (TO) TT=1800.03	? (TO) TT=1800.07
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/plato.asu.edu/pub/unibo/ normalized-reduced-mps-v2-20-10-dc1l.opb	SAT f=26800 TT=1800.96 T1=284.8	? (TO) TT=1800.02	? (TO) TT=1800.03	? (TO) TT=1800.06	? (TO) TT=1800.4	? TT=115.655	? TT=116.54	SAT (TO) f=26800 TT=1800.96 T1=284.8	? (TO) TT=1800.02	? (TO) TT=1800.06
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/plato.asu.edu/pub/unibo/ normalized-reduced-mps-v2-20-10-dg012142.opb		? (TO) TT=1800.03	? (TO) TT=1800.02	? (TO) TT=1800.08	? (TO) TT=1800.12	? TT=139.496	? TT=131.08	? (TO) TT=1800.8	? (TO) TT=1800.07	? (TO) TT=1800.12
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/plato.asu.edu/pub/unibo/ normalized-reduced-mps-v2-20-10-dolom1.opb	UNSAT TT=0.374	UNSAT TT=0.533	UNSAT TT=0.374	UNSAT TT=645.074	UNSAT TT=517.258	? TT=123.7	? TT=124.407	UNSAT TT=5.483	UNSAT TT=45.766	UNSAT TT=158.727
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/plato.asu.edu/pub/unibo/ normalized-reduced-mps-v2-20-10-glass4.opb	SAT f=1100 TT=1800.05 T1=1800.4	? (TO) TT=1800.01	? (TO) TT=1800.02	SAT (TO) f=8246 TT=1800.06 T1=1800.4	SAT (TO) f=1100 TT=1800.05 T1=1800.4	? TT=141.887	? TT=139.038	SAT (TO) f=1365 TT=1800.77 T1=579.45	SAT (TO) f=1289 TT=1800.02 T1=494.81	? (TO) TT=1800.02
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/plato.asu.edu/pub/unibo/ normalized-reduced-mps-v2-20-10-NSR8K.opb	UNSAT TT=1.185	UNSAT TT=1.529	UNSAT TT=1.185	? (TO) TT=1800.03	Signal TT=740.926	? (MO) TT=135.913	? (MO) TT=137.629	UNSAT TT=12.212	UNSAT TT=31.297	UNSAT TT=134.964
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/plato.asu.edu/pub/unibo/ normalized-reduced-mps-v2-20-10-nsrand_ipx.opb	SAT f=393877 TT=1800.56 T1=878.37	? (TO) TT=1800.1	? (TO) TT=1800.02	SAT (TO) f=499109 TT=1800.09 T1=1800.4	SAT (TO) f=505240 TT=1800.06 T1=1800.5	? TT=81.066	? TT=82.105	SAT (TO) f=393877 TT=1800.56 T1=878.37	No Cert. TT=1801.15	? (TO) TT=1800.11
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/plato.asu.edu/pub/unibo/ normalized-reduced-mps-v2-20-10-rail507.opb	SAT f=167 TT=1800.75 T1=212.7	? (TO) TT=1800.02	? (TO) TT=1800.05	? (TO) TT=1800.02	Signal TT=3.426	SAT (TO) f=200 TT=1800.11 T1=1800.4	SAT (TO) f=200 TT=1800.14 T1=1800.4	SAT (TO) f=167 TT=1800.75 T1=212.7	No Cert. TT=1800	? (TO) TT=1800.05
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/plato.asu.edu/pub/unibo/ normalized-reduced-mps-v2-20-10-railway_8_1_0.opb	OPT f=147 TT=33.618 T1=33.59	OPT f=147 TT=33.618 T1=33.59	OPT f=147 TT=48.591 T1=48.59	? (TO) TT=1800.04	? (TO) TT=1800.11	? TT=93.897	? TT=96.352	? (TO) TT=1800.92	? (TO) TT=1800.06	? (TO) TT=1800.06
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/plato.asu.edu/pub/unibo/ normalized-reduced-mps-v2-20-10-roll3000.opb	SAT f=261403 TT=1800.01 T1=210.38	? (TO) TT=1800.1	? (TO) TT=1800.02	? (TO) TT=1800.11	? (TO) TT=1800.04	? TT=80.227	? TT=78.308	SAT (TO) f=262172 TT=1800.16 T1=219.74	SAT (TO) f=261403 TT=1800.01 T1=210.38	? (TO) TT=1800.04
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/plato.asu.edu/pub/unibo/ normalized-reduced-mps-v2-20-10-siena1.opb	UNSAT TT=0.411	UNSAT TT=0.612	UNSAT TT=0.411	UNSAT TT=709.349	UNSAT TT=985.152	? TT=115.946	? TT=115.878	UNSAT TT=5.584	UNSAT TT=20.641	UNSAT TT=97.141
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/plato.asu.edu/pub/unibo/ normalized-reduced-mps-v2-20-10-sp97ar.opb	SAT f=1588 TT=1800.15 T1=2.13	? (TO) TT=1800.1	? (TO) TT=1800.03	SAT (TO) f=17543 TT=1800.14 T1=1800.5	SAT (TO) f=3600 TT=1800.14 T1=1800.3	? TT=67.416	? TT=67.633	SAT (TO) f=1588 TT=1800.15 T1=2.13	SAT (TO) f=1602 TT=1800.07 T1=1.37	? (TO) TT=1800.11
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/plato.asu.edu/pub/unibo/ normalized-reduced-mps-v2-20-10-sp97ic.opb	SAT f=639 TT=1800.12 T1=1.99	? (TO) TT=1800.01	? (TO) TT=1800.03	SAT (TO) f=15473 TT=1800.08 T1=1800.5	SAT (TO) f=1017 TT=1800.1 T1=1800.4	? TT=69.894	? TT=70.475	SAT (TO) f=639 TT=1800.12 T1=1.99	SAT (TO) f=640 TT=1800.92 T1=1.28	? (TO) TT=1800.16
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/plato.asu.edu/pub/unibo/ normalized-reduced-mps-v2-20-10-sp98ar.opb	SAT f=1144 TT=1800.01 T1=2.11	? (TO) TT=1800.01	? (TO) TT=1800.02	SAT (TO) f=14268 TT=1800.05 T1=1800.4	SAT (TO) f=1810 TT=1800.17 T1=1800.4	? TT=69.509	? TT=69.654	SAT (TO) f=1144 TT=1800.01 T1=2.11	SAT (TO) f=1147 TT=1800.01 T1=1.69	? (TO) TT=1800.05
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/plato.asu.edu/pub/unibo/ normalized-reduced-mps-v2-20-10-sp98ic.opb	SAT f=712 TT=1800.45 T1=588.98	? (TO) TT=1800.04	? (TO) TT=1800.03	SAT (TO) f=14674 TT=1800.13 T1=1800.5	SAT (TO) f=1071 TT=1800.16 T1=1800.4	? TT=72.698	? TT=72.512	SAT (TO) f=712 TT=1800.45 T1=588.98	SAT (TO) f=715 TT=1800.05 T1=793.36	? (TO) TT=1800.1
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/plato.asu.edu/pub/unibo/ normalized-reduced-mps-v2-20-10-tr12-30.opb		? (TO) TT=1800.09	? (TO) TT=1800.02	? (TO) TT=1800.07	? (TO) TT=1800.09	? TT=124.584	? TT=125.444	? (TO) TT=1800.9	? (TO) TT=1800.58	? (TO) TT=1800.02
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/plato.asu.edu/pub/unibo/ normalized-reduced-mps-v2-20-10-trento1.opb	UNSAT TT=0.753	UNSAT TT=0.848	UNSAT TT=0.753	? (TO) TT=1800.09	? (TO) TT=1800.13	? (MO) TT=78.59	? TT=127.549	UNSAT TT=409.141	? (TO) TT=1800.47	? (TO) TT=1800.09
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/plato.asu.edu/pub/unibo/ normalized-reduced-mps-v2-20-10-UMTS.opb		? (TO) TT=1800.1	? (TO) TT=1800.03	? (TO) TT=1800.07	? (TO) TT=1800.08	? TT=128.598	? TT=127.109	? (TO) TT=1802.09	? (TO) TT=1800.08	? (TO) TT=1800.1
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/plato.asu.edu/pub/unibo/ normalized-reduced-mps-v2-20-10-usAbbrv.8.25_70.opb	OPT f=-5 TT=179.208 T1=179.22	OPT f=-5 TT=192.087 T1=192.08	OPT f=-5 TT=179.208 T1=179.22	? (TO) TT=1800.08	? (TO) TT=1800.11	? TT=93.906	? TT=99.028	? (TO) TT=1800.77	? (TO) TT=1800.65	? (TO) TT=1800.04
normalized-PB06/OPT-SMALLINT/reduced/ mps-v2-20-10/plato.asu.edu/pub/unibo/ normalized-reduced-mps-v2-20-10-van.opb	SAT f=39649 TT=1800.24 T1=847.98	? (TO) TT=1800.01	? (TO) TT=1800.02	? (TO) TT=1800.05	? (TO) TT=1800.05	? TT=133.147	? TT=127.957	SAT (TO) f=39649 TT=1800.24 T1=847.98	SAT (TO) f=41696 TT=1800.08 T1=52.53	? (TO) TT=1800.27
normalized-PB06/OPT-SMALLINT/reduced/mps-v2-20-10/ www.csit.fsu.edu/~burkardt/datasets/mps/ normalized-reduced-mps-v2-20-10-maros.opb	OPT f=12 TT=0.014 T1=0.01	OPT f=12 TT=0.022 T1=0.02	OPT f=12 TT=0.014 T1=0.01	OPT f=12 TT=29.509 T1=29.51	OPT f=12 TT=1.272 T1=1.27	OPT f=12 TT=46.27 T1=46.26	OPT f=12 TT=53.905 T1=53.89	OPT f=12 TT=0.324 T1=1.64	SAT (TO) f=14 TT=1800.69 T1=0.14	? (TO) TT=1800.04
normalized-PB06/OPT-SMALLINT/reduced/mps-v2-20-10/ www.csit.fsu.edu/~burkardt/datasets/mps/ normalized-reduced-mps-v2-20-10-nazareth.opb	OPT f=-174776 TT=0.012 T1=0.01	OPT f=-174776 TT=0.023 T1=0.02	OPT f=-174776 TT=0.012 T1=0.01	OPT f=-174776 TT=0.822 T1=0.82	OPT f=-174776 TT=5.01 T1=5.01	OPT f=-174776 TT=9.487 T1=9.44	OPT f=-174776 TT=13.203 T1=13.13	OPT f=-174776 TT=0.174 T1=0.63	OPT f=-174776 TT=0.165 T1=0.12	OPT f=-174776 TT=0.085 T1=0.08
normalized-PB06/OPT-SMALLINT/reduced/mps-v2-20-10/ www.csit.fsu.edu/~burkardt/datasets/mps/ normalized-reduced-mps-v2-20-10-testprob.opb	OPT f=262130 TT=0.014 T1=0.01	OPT f=262130 TT=0.025 T1=0.02	OPT f=262130 TT=0.014 T1=0.01	OPT f=262130 TT=0.122 T1=0.12	OPT f=262130 TT=4.3 T1=4.3	OPT f=262130 TT=22.833 T1=22.79	OPT f=262130 TT=37.33 T1=37.28	OPT f=262130 TT=0.184 T1=0.63	OPT f=262130 TT=0.514 T1=0.12	OPT f=262130 TT=3.391 T1=3.29
normalized-PB06/OPT-SMALLINT/reduced/web/ www.ps.uni-sb.de/~walser/benchmarks/ course-ass/normalized-reduced-ws97-3.opb	SAT f=809 TT=1800.1 T1=1800.4	? (TO) TT=1800.08	? (TO) TT=1800.03	SAT (TO) f=4658 TT=1800.09 T1=1800.4	SAT (TO) f=809 TT=1800.1 T1=1800.4	SAT (TO) f=903 TT=1800.01 T1=1800.3	SAT (TO) f=8058 TT=1800.08 T1=1800.4	SAT (TO) f=837 TT=1800.06 T1=641.35	SAT (TO) f=854 TT=1800.02 T1=0.43	? (TO) TT=1800.02
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/ logic-synthesis/normalized-5xp1.b.opb	OPT f=12 TT=0.149 T1=0.14	OPT f=12 TT=40.333 T1=40.33	OPT f=12 TT=19.976 T1=19.97	OPT f=12 TT=141.478 T1=141.5	OPT f=12 TT=36.998 T1=37	OPT f=12 TT=0.149 T1=0.14	OPT f=12 TT=5.108 T1=5.1	SAT (TO) f=12 TT=1800.1 T1=31.93	SAT (TO) f=16 TT=1800.67 T1=12.07	? (TO) TT=1800.07
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/ logic-synthesis/normalized-9sym.b.opb	OPT f=5 TT=0.028 T1=0.03	OPT f=5 TT=0.067 T1=0.06	OPT f=5 TT=0.055 T1=0.05	OPT f=5 TT=0.462 T1=0.46	OPT f=5 TT=0.238 T1=0.23	OPT f=5 TT=0.028 T1=0.03	OPT f=5 TT=0.076 T1=0.07	OPT f=5 TT=4.075 T1=2.34	OPT f=5 TT=9.413 T1=5.79	OPT f=5 TT=2.787 T1=2.53
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/ logic-synthesis/normalized-alu4.b.opb	SAT f=50 TT=1800.02 T1=1800.3	? (TO) TT=1800.1	? (TO) TT=1800.02	SAT (TO) f=50 TT=1800.02 T1=1800.3	SAT (TO) f=68 TT=1800.11 T1=1800.4	SAT (TO) f=68 TT=1800.02 T1=1800.3	SAT (TO) f=51 TT=1800.02 T1=1800.3	SAT (TO) f=57 TT=1800.08 T1=371.23	SAT (TO) f=59 TT=1800.01 T1=1029.03	? (TO) TT=1800.02
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/ logic-synthesis/normalized-apex4.a.opb	OPT f=776 TT=0.368 T1=0.36	? (TO) TT=1800.08	? (TO) TT=1800.05	SAT (TO) f=843 TT=1800.02 T1=1800.3	SAT (TO) f=843 TT=1800.11 T1=1800.4	OPT f=776 TT=0.368 T1=0.36	SAT (TO) f=808 TT=1800.02 T1=1800.3	SAT (TO) f=828 TT=1800.02 T1=633.01	SAT (TO) f=844 TT=1800.07 T1=0.58	? (TO) TT=1800.09
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/logic-synthesis/ normalized-bench1.pi.opb	SAT f=156 TT=1800.02 T1=1800.3	? (TO) TT=1800.08	? (TO) TT=1800.03	SAT (TO) f=173 TT=1800.05 T1=1800.4	SAT (TO) f=173 TT=1800.01 T1=1800.3	SAT (TO) f=173 TT=1800.01 T1=1800.3	SAT (TO) f=156 TT=1800.02 T1=1800.3	SAT (TO) f=169 TT=1800.54 T1=157.41	SAT (TO) f=172 TT=1800.04 T1=233.95	? (TO) TT=1800.02
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/ logic-synthesis/normalized-clip.b.opb	OPT f=15 TT=0.056 T1=0.05	OPT f=15 TT=3.702 T1=3.7	OPT f=15 TT=17.058 T1=17.06	OPT f=15 TT=0.999 T1=0.99	OPT f=15 TT=0.876 T1=0.87	OPT f=15 TT=0.056 T1=0.05	OPT f=15 TT=0.391 T1=0.39	OPT f=15 TT=33.806 T1=6.84	SAT (TO) f=16 TT=1800.64 T1=319.29	? (TO) TT=1800.03
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/ logic-synthesis/normalized-count.b.opb	OPT f=24 TT=0.05 T1=0.05	OPT f=24 TT=31.16 T1=31.16	OPT f=24 TT=222.968 T1=223	OPT f=24 TT=257.637 T1=257.67	OPT f=24 TT=63.102 T1=63.11	OPT f=24 TT=0.05 T1=0.05	OPT f=24 TT=9.527 T1=9.52	SAT (TO) f=24 TT=1800.89 T1=64.45	SAT (TO) f=26 TT=1800.03 T1=1498.87	? (TO) TT=1800.1
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/ logic-synthesis/normalized-e64.b.opb	OPT f=47 TT=0.238 T1=0.23	? (TO) TT=1800.02	? (TO) TT=1800.1	SAT (TO) f=50 TT=1800.01 T1=1800.3	SAT (TO) f=53 TT=1800.02 T1=1800.3	OPT f=47 TT=0.238 T1=0.23	SAT (TO) f=48 TT=1800.02 T1=1800.3	SAT (TO) f=64 TT=1800.78 T1=29.32	SAT (TO) f=79 TT=1800.01 T1=344.39	? (TO) TT=1800.11
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/ logic-synthesis/normalized-ex5.pi.opb	SAT f=69 TT=1800.02 T1=1800.3	? (TO) TT=1800.03	? (TO) TT=1800.02	SAT (TO) f=83 TT=1800.09 T1=1800.4	SAT (TO) f=73 TT=1800.02 T1=1800.3	SAT (TO) f=84 TT=1800.06 T1=1800.4	SAT (TO) f=69 TT=1800.02 T1=1800.3	SAT (TO) f=80 TT=1800.17 T1=135.22	SAT (TO) f=83 TT=1800.04 T1=0.39	? (TO) TT=1800.05
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/ logic-synthesis/normalized-exam.pi.opb	SAT f=85 TT=1800.03 T1=1800.3	? (TO) TT=1800.11	? (TO) TT=1800.03	SAT (TO) f=89 TT=1800.08 T1=1800.4	SAT (TO) f=89 TT=1800.01 T1=1800.3	SAT (TO) f=89 TT=1800.03 T1=1800.3	SAT (TO) f=85 TT=1800.03 T1=1800.3	SAT (TO) f=86 TT=1800.18 T1=152.42	SAT (TO) f=88 TT=1800.01 T1=0.5	? (TO) TT=1800.07
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/ logic-synthesis/normalized-f51m.b.opb	OPT f=18 TT=0.075 T1=0.07	OPT f=18 TT=4.416 T1=4.41	OPT f=18 TT=5.712 T1=5.71	OPT f=18 TT=308.058 T1=308.1	OPT f=18 TT=88.517 T1=88.53	OPT f=18 TT=0.075 T1=0.07	OPT f=18 TT=22.756 T1=22.76	OPT f=18 TT=689.6 T1=10.34	SAT (TO) f=20 TT=1800.79 T1=323.73	? (TO) TT=1800.05
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/ logic-synthesis/normalized-jac3.opb	OPT f=15 TT=1.122 T1=1.12	OPT f=15 TT=31.512 T1=31.5	OPT f=15 TT=3.219 T1=3.21	SAT (TO) f=15 TT=1800.07 T1=1800.4	SAT (TO) f=16 TT=1800.1 T1=1800.4	OPT f=15 TT=1.122 T1=1.12	SAT (TO) f=15 TT=1800.1 T1=1800.4	OPT f=15 TT=106.558 T1=25.89	SAT (TO) f=18 TT=1800.54 T1=1374.52	OPT f=15 TT=519.248 T1=519.38
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/logic-synthesis/ normalized-max1024.pi.opb	SAT f=276 TT=1800.05 T1=1800.4	? (TO) TT=1800.01	? (TO) TT=1800.11	SAT (TO) f=281 TT=1800.11 T1=1800.4	SAT (TO) f=301 TT=1800.02 T1=1800.3	SAT (TO) f=301 TT=1800.02 T1=1800.3	SAT (TO) f=276 TT=1800.05 T1=1800.4	SAT (TO) f=294 TT=1800.77 T1=519.85	SAT (TO) f=300 TT=1800.67 T1=12.18	? (TO) TT=1800.1
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/logic-synthesis/ normalized-prom2.pi.opb	SAT f=290 TT=1800.02 T1=1800.3	? (TO) TT=1800.1	? (TO) TT=1800.02	SAT (TO) f=436 TT=1800.1 T1=1800.4	SAT (TO) f=436 TT=1800.01 T1=1800.3	SAT (TO) f=436 TT=1800.02 T1=1800.3	SAT (TO) f=290 TT=1800.02 T1=1800.3	SAT (TO) f=429 TT=1800.45 T1=512.95	SAT (TO) f=436 TT=1800.04 T1=0.34	? (TO) TT=1800.04
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/ logic-synthesis/normalized-rot.b.opb	SAT f=122 TT=1800.09 T1=1800.4	? (TO) TT=1800.09	? (TO) TT=1800.02	SAT (TO) f=122 TT=1800.09 T1=1800.4	SAT (TO) f=163 TT=1800.02 T1=1800.3	SAT (TO) f=163 TT=1800.11 T1=1800.4	SAT (TO) f=123 TT=1800.03 T1=1800.3	SAT (TO) f=150 TT=1800.52 T1=380.84	SAT (TO) f=159 TT=1800.67 T1=15.06	? (TO) TT=1800.08
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/ logic-synthesis/normalized-sao2.b.opb	OPT f=25 TT=0.028 T1=0.02	OPT f=25 TT=260.502 T1=260.53	OPT f=25 TT=1.129 T1=1.13	SAT (TO) f=26 TT=1800.02 T1=1800.3	SAT (TO) f=26 TT=1800.02 T1=1800.3	OPT f=25 TT=0.028 T1=0.02	OPT f=25 TT=475.397 T1=475.46	OPT f=25 TT=372.987 T1=154.84	SAT (TO) f=29 TT=1800.09 T1=211.46	? (TO) TT=1800.11
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/logic-synthesis/ normalized-test4.pi.opb	SAT f=175 TT=1800.02 T1=33.6	? (TO) TT=1800.11	? (TO) TT=1800.12	SAT (TO) f=180 TT=1800.07 T1=1800.4	SAT (TO) f=180 TT=1800.11 T1=1800.4	SAT (TO) f=180 TT=1800.09 T1=1800.4	SAT (TO) f=180 TT=1800.02 T1=1800.3	SAT (TO) f=175 TT=1800.02 T1=33.6	SAT (TO) f=178 TT=1800.06 T1=894.43	? (TO) TT=1800.07
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/primes-dimacs-cnf/ normalized-aim-100-1_6-yes1-1.opb	OPT f=100 TT=0.003 T1=0	OPT f=100 TT=0.024 T1=0.02	OPT f=100 TT=0.017 T1=0.02	OPT f=100 TT=0.004 T1=0	OPT f=100 TT=0.022 T1=0.02	OPT f=100 TT=0.003 T1=0	OPT f=100 TT=0.006 T1=0	OPT f=100 TT=0.264 T1=0.66	OPT f=100 TT=0.222 T1=0.17	OPT f=100 TT=0.066 T1=0.02
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/primes-dimacs-cnf/ normalized-aim-100-1_6-yes1-2.opb	OPT f=100 TT=0.002 T1=0	OPT f=100 TT=0.023 T1=0.02	OPT f=100 TT=0.014 T1=0.01	OPT f=100 TT=0.007 T1=0	OPT f=100 TT=0.01 T1=0.01	OPT f=100 TT=0.002 T1=0	OPT f=100 TT=0.005 T1=0	OPT f=100 TT=0.284 T1=0.66	OPT f=100 TT=0.225 T1=0.17	OPT f=100 TT=0.026 T1=0.02
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/primes-dimacs-cnf/ normalized-aim-100-1_6-yes1-3.opb	OPT f=100 TT=0.003 T1=0	OPT f=100 TT=0.025 T1=0.02	OPT f=100 TT=0.014 T1=0.01	OPT f=100 TT=0.024 T1=0.02	OPT f=100 TT=0.018 T1=0.01	OPT f=100 TT=0.003 T1=0	OPT f=100 TT=0.004 T1=0	OPT f=100 TT=0.345 T1=0.66	OPT f=100 TT=0.273 T1=0.19	OPT f=100 TT=0.037 T1=0.02
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/primes-dimacs-cnf/ normalized-aim-100-1_6-yes1-4.opb	OPT f=100 TT=0.004 T1=0	OPT f=100 TT=0.024 T1=0.02	OPT f=100 TT=0.015 T1=0.01	OPT f=100 TT=0.004 T1=0	OPT f=100 TT=0.005 T1=0	OPT f=100 TT=0.004 T1=0	OPT f=100 TT=0.004 T1=0	OPT f=100 TT=0.274 T1=0.66	OPT f=100 TT=0.224 T1=0.16	OPT f=100 TT=0.024 T1=0.02
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/primes-dimacs-cnf/ normalized-aim-100-2_0-yes1-1.opb	OPT f=100 TT=0.003 T1=0	OPT f=100 TT=0.024 T1=0.02	OPT f=100 TT=0.014 T1=0.02	OPT f=100 TT=0.022 T1=0.02	OPT f=100 TT=0.012 T1=0.01	OPT f=100 TT=0.003 T1=0	OPT f=100 TT=0.005 T1=0	OPT f=100 TT=0.372 T1=0.67	OPT f=100 TT=0.274 T1=0.19	OPT f=100 TT=0.039 T1=0.02
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/primes-dimacs-cnf/ normalized-aim-100-2_0-yes1-2.opb	OPT f=100 TT=0.004 T1=0	OPT f=100 TT=0.026 T1=0.02	OPT f=100 TT=0.016 T1=0.02	OPT f=100 TT=0.014 T1=0.01	OPT f=100 TT=0.013 T1=0.01	OPT f=100 TT=0.004 T1=0	OPT f=100 TT=0.006 T1=0	OPT f=100 TT=0.344 T1=0.67	OPT f=100 TT=0.285 T1=0.19	OPT f=100 TT=0.03 T1=0.02
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/primes-dimacs-cnf/ normalized-aim-100-2_0-yes1-3.opb	OPT f=100 TT=0.003 T1=0	OPT f=100 TT=0.026 T1=0.02	OPT f=100 TT=0.015 T1=0.01	OPT f=100 TT=0.005 T1=0	OPT f=100 TT=0.023 T1=0.02	OPT f=100 TT=0.003 T1=0	OPT f=100 TT=0.005 T1=0	OPT f=100 TT=0.424 T1=0.67	OPT f=100 TT=0.263 T1=0.17	OPT f=100 TT=0.023 T1=0.02
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/primes-dimacs-cnf/ normalized-aim-100-2_0-yes1-4.opb	OPT f=100 TT=0.003 T1=0	OPT f=100 TT=0.026 T1=0.02	OPT f=100 TT=0.015 T1=0.01	OPT f=100 TT=0.025 T1=0.02	OPT f=100 TT=0.029 T1=0.02	OPT f=100 TT=0.003 T1=0	OPT f=100 TT=0.005 T1=0	OPT f=100 TT=0.434 T1=0.67	OPT f=100 TT=0.263 T1=0.17	OPT f=100 TT=0.028 T1=0.02
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/primes-dimacs-cnf/ normalized-aim-100-3_4-yes1-1.opb	OPT f=100 TT=0.003 T1=0	OPT f=100 TT=0.027 T1=0.02	OPT f=100 TT=0.015 T1=0.01	OPT f=100 TT=0.008 T1=0	OPT f=100 TT=0.043 T1=0.04	OPT f=100 TT=0.003 T1=0	OPT f=100 TT=0.006 T1=0	OPT f=100 TT=0.693 T1=0.69	OPT f=100 TT=0.463 T1=0.22	OPT f=100 TT=0.046 T1=0.03
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/primes-dimacs-cnf/ normalized-aim-100-3_4-yes1-2.opb	OPT f=100 TT=0.003 T1=0	OPT f=100 TT=0.029 T1=0.02	OPT f=100 TT=0.017 T1=0.01	OPT f=100 TT=0.022 T1=0.02	OPT f=100 TT=0.025 T1=0.02	OPT f=100 TT=0.003 T1=0	OPT f=100 TT=0.006 T1=0.01	OPT f=100 TT=0.594 T1=0.68	OPT f=100 TT=0.393 T1=0.23	OPT f=100 TT=0.099 T1=0.03
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/primes-dimacs-cnf/ normalized-aim-100-3_4-yes1-3.opb	OPT f=100 TT=0.004 T1=0	OPT f=100 TT=0.029 T1=0.03	OPT f=100 TT=0.015 T1=0.01	OPT f=100 TT=0.027 T1=0.02	OPT f=100 TT=0.04 T1=0.03	OPT f=100 TT=0.004 T1=0	OPT f=100 TT=0.006 T1=0	OPT f=100 TT=0.583 T1=0.68	OPT f=100 TT=0.394 T1=0.2	OPT f=100 TT=0.088 T1=0.03
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/primes-dimacs-cnf/ normalized-aim-100-3_4-yes1-4.opb	OPT f=100 TT=0.005 T1=0	OPT f=100 TT=0.029 T1=0.02	OPT f=100 TT=0.016 T1=0.01	OPT f=100 TT=0.027 T1=0.02	OPT f=100 TT=0.022 T1=0.02	OPT f=100 TT=0.005 T1=0	OPT f=100 TT=0.007 T1=0	OPT f=100 TT=0.584 T1=0.68	OPT f=100 TT=0.315 T1=0.2	OPT f=100 TT=0.053 T1=0.02
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/primes-dimacs-cnf/ normalized-aim-100-6_0-yes1-1.opb	OPT f=100 TT=0.005 T1=0	OPT f=100 TT=0.03 T1=0.02	OPT f=100 TT=0.016 T1=0.01	OPT f=100 TT=0.03 T1=0.03	OPT f=100 TT=0.027 T1=0.02	OPT f=100 TT=0.005 T1=0	OPT f=100 TT=0.007 T1=0	OPT f=100 TT=0.394 T1=0.71	OPT f=100 TT=0.334 T1=0.21	OPT f=100 TT=0.054 T1=0.03
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/primes-dimacs-cnf/ normalized-aim-100-6_0-yes1-2.opb	OPT f=100 TT=0.005 T1=0	OPT f=100 TT=0.027 T1=0.02	OPT f=100 TT=0.015 T1=0.01	OPT f=100 TT=0.03 T1=0.02	OPT f=100 TT=0.01 T1=0.01	OPT f=100 TT=0.005 T1=0	OPT f=100 TT=0.006 T1=0	OPT f=100 TT=0.435 T1=0.71	OPT f=100 TT=0.324 T1=0.2	OPT f=100 TT=0.077 T1=0.03
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/primes-dimacs-cnf/ normalized-aim-100-6_0-yes1-3.opb	OPT f=100 TT=0.005 T1=0	OPT f=100 TT=0.032 T1=0.03	OPT f=100 TT=0.017 T1=0.01	OPT f=100 TT=0.029 T1=0.02	OPT f=100 TT=0.043 T1=0.04	OPT f=100 TT=0.005 T1=0	OPT f=100 TT=0.007 T1=0	OPT f=100 TT=0.354 T1=0.71	OPT f=100 TT=0.344 T1=0.21	OPT f=100 TT=0.079 T1=0.03
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/primes-dimacs-cnf/ normalized-aim-100-6_0-yes1-4.opb	OPT f=100 TT=0.004 T1=0	OPT f=100 TT=0.029 T1=0.03	OPT f=100 TT=0.016 T1=0.01	OPT f=100 TT=0.029 T1=0.02	OPT f=100 TT=0.041 T1=0.04	OPT f=100 TT=0.004 T1=0	OPT f=100 TT=0.006 T1=0	OPT f=100 TT=0.343 T1=0.71	OPT f=100 TT=0.294 T1=0.19	OPT f=100 TT=0.137 T1=0.03
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/primes-dimacs-cnf/ normalized-aim-200-1_6-yes1-1.opb	OPT f=200 TT=0.006 T1=0	OPT f=200 TT=0.026 T1=0.02	OPT f=200 TT=0.014 T1=0.01	OPT f=200 TT=0.008 T1=0	OPT f=200 TT=0.01 T1=0.01	OPT f=200 TT=0.006 T1=0	OPT f=200 TT=0.01 T1=0.01	OPT f=200 TT=0.494 T1=0.69	OPT f=200 TT=0.354 T1=0.21	OPT f=200 TT=0.047 T1=0.03
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/primes-dimacs-cnf/ normalized-aim-200-1_6-yes1-2.opb	OPT f=200 TT=0.006 T1=0	OPT f=200 TT=0.028 T1=0.02	OPT f=200 TT=0.015 T1=0.01	OPT f=200 TT=0.047 T1=0.04	OPT f=200 TT=0.043 T1=0.04	OPT f=200 TT=0.006 T1=0	OPT f=200 TT=0.011 T1=0.01	OPT f=200 TT=0.493 T1=0.7	OPT f=200 TT=0.363 T1=0.23	OPT f=200 TT=0.039 T1=0.03
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/primes-dimacs-cnf/ normalized-aim-200-1_6-yes1-3.opb	OPT f=200 TT=0.006 T1=0	OPT f=200 TT=0.031 T1=0.03	OPT f=200 TT=0.014 T1=0.01	OPT f=200 TT=0.009 T1=0	OPT f=200 TT=0.009 T1=0.01	OPT f=200 TT=0.006 T1=0	OPT f=200 TT=0.01 T1=0.01	OPT f=200 TT=0.515 T1=0.7	OPT f=200 TT=0.383 T1=0.22	OPT f=200 TT=0.063 T1=0.03
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/primes-dimacs-cnf/ normalized-aim-200-1_6-yes1-4.opb	OPT f=200 TT=0.006 T1=0	OPT f=200 TT=0.028 T1=0.02	OPT f=200 TT=0.016 T1=0.01	OPT f=200 TT=0.047 T1=0.04	OPT f=200 TT=0.011 T1=0.01	OPT f=200 TT=0.006 T1=0	OPT f=200 TT=0.012 T1=0.01	OPT f=200 TT=0.484 T1=0.71	OPT f=200 TT=0.335 T1=0.21	OPT f=200 TT=0.036 T1=0.03
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/primes-dimacs-cnf/ normalized-aim-200-2_0-yes1-1.opb	OPT f=200 TT=0.007 T1=0	OPT f=200 TT=0.034 T1=0.03	OPT f=200 TT=0.017 T1=0.01	OPT f=200 TT=0.01 T1=0.01	OPT f=200 TT=0.053 T1=0.05	OPT f=200 TT=0.007 T1=0	OPT f=200 TT=0.015 T1=0.01	OPT f=200 TT=0.613 T1=0.7	OPT f=200 TT=0.435 T1=0.25	OPT f=200 TT=0.056 T1=0.04
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/primes-dimacs-cnf/ normalized-aim-200-2_0-yes1-2.opb	OPT f=200 TT=0.006 T1=0	OPT f=200 TT=0.028 T1=0.03	OPT f=200 TT=0.018 T1=0.01	OPT f=200 TT=0.053 T1=0.05	OPT f=200 TT=0.077 T1=0.08	OPT f=200 TT=0.006 T1=0	OPT f=200 TT=0.012 T1=0.01	OPT f=200 TT=0.784 T1=0.7	OPT f=200 TT=0.594 T1=0.32	OPT f=200 TT=0.138 T1=0.03
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/primes-dimacs-cnf/ normalized-aim-200-2_0-yes1-3.opb	OPT f=200 TT=0.006 T1=0	OPT f=200 TT=0.034 T1=0.03	OPT f=200 TT=0.017 T1=0.01	OPT f=200 TT=0.009 T1=0	OPT f=200 TT=0.016 T1=0.01	OPT f=200 TT=0.006 T1=0	OPT f=200 TT=0.012 T1=0.01	OPT f=200 TT=0.535 T1=0.71	OPT f=200 TT=0.385 T1=0.22	OPT f=200 TT=0.061 T1=0.03
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/primes-dimacs-cnf/ normalized-aim-200-2_0-yes1-4.opb	OPT f=200 TT=0.006 T1=0	OPT f=200 TT=0.03 T1=0.03	OPT f=200 TT=0.018 T1=0.01	OPT f=200 TT=0.056 T1=0.05	OPT f=200 TT=0.049 T1=0.04	OPT f=200 TT=0.006 T1=0	OPT f=200 TT=0.012 T1=0.01	OPT f=200 TT=0.585 T1=0.73	OPT f=200 TT=0.474 T1=0.25	OPT f=200 TT=0.063 T1=0.05
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/primes-dimacs-cnf/ normalized-aim-200-3_4-yes1-1.opb	OPT f=200 TT=0.007 T1=0	OPT f=200 TT=0.035 T1=0.04	OPT f=200 TT=0.017 T1=0.01	OPT f=200 TT=0.063 T1=0.06	OPT f=200 TT=0.014 T1=0.01	OPT f=200 TT=0.007 T1=0	OPT f=200 TT=0.014 T1=0.01	OPT f=200 TT=0.675 T1=0.72	OPT f=200 TT=0.435 T1=0.25	OPT f=200 TT=0.052 T1=0.04
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/primes-dimacs-cnf/ normalized-aim-200-3_4-yes1-2.opb	OPT f=200 TT=0.008 T1=0	OPT f=200 TT=0.03 T1=0.03	OPT f=200 TT=0.02 T1=0.01	OPT f=200 TT=0.062 T1=0.06	OPT f=200 TT=0.093 T1=0.09	OPT f=200 TT=0.008 T1=0	OPT f=200 TT=0.017 T1=0.01	OPT f=200 TT=0.694 T1=0.72	OPT f=200 TT=0.495 T1=0.27	OPT f=200 TT=0.073 T1=0.04
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/primes-dimacs-cnf/ normalized-aim-200-3_4-yes1-3.opb	OPT f=200 TT=0.007 T1=0.01	OPT f=200 TT=0.035 T1=0.03	OPT f=200 TT=0.018 T1=0.01	OPT f=200 TT=0.056 T1=0.05	OPT f=200 TT=0.054 T1=0.05	OPT f=200 TT=0.007 T1=0.01	OPT f=200 TT=0.013 T1=0.01	OPT f=200 TT=0.545 T1=0.73	OPT f=200 TT=0.614 T1=0.31	OPT f=200 TT=0.101 T1=0.04
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/primes-dimacs-cnf/ normalized-aim-200-3_4-yes1-4.opb	OPT f=200 TT=0.007 T1=0	OPT f=200 TT=0.033 T1=0.03	OPT f=200 TT=0.018 T1=0.01	OPT f=200 TT=0.074 T1=0.07	OPT f=200 TT=0.043 T1=0.04	OPT f=200 TT=0.007 T1=0	OPT f=200 TT=0.015 T1=0.01	OPT f=200 TT=0.534 T1=0.73	OPT f=200 TT=0.384 T1=0.23	OPT f=200 TT=0.081 T1=0.07
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/primes-dimacs-cnf/ normalized-aim-200-6_0-yes1-1.opb	OPT f=200 TT=0.009 T1=0	OPT f=200 TT=0.051 T1=0.05	OPT f=200 TT=0.032 T1=0.03	OPT f=200 TT=0.079 T1=0.07	OPT f=200 TT=0.062 T1=0.06	OPT f=200 TT=0.009 T1=0	OPT f=200 TT=0.015 T1=0.01	OPT f=200 TT=0.984 T1=0.76	OPT f=200 TT=0.573 T1=0.3	OPT f=200 TT=0.071 T1=0.05
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/primes-dimacs-cnf/ normalized-aim-200-6_0-yes1-2.opb	OPT f=200 TT=0.012 T1=0.01	OPT f=200 TT=0.043 T1=0.04	OPT f=200 TT=0.024 T1=0.02	OPT f=200 TT=0.074 T1=0.07	OPT f=200 TT=0.022 T1=0.02	OPT f=200 TT=0.012 T1=0.01	OPT f=200 TT=0.019 T1=0.01	OPT f=200 TT=1.023 T1=0.77	OPT f=200 TT=0.715 T1=0.32	OPT f=200 TT=0.129 T1=0.07
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/primes-dimacs-cnf/ normalized-aim-200-6_0-yes1-3.opb	OPT f=200 TT=0.013 T1=0.01	OPT f=200 TT=0.042 T1=0.04	OPT f=200 TT=0.025 T1=0.02	OPT f=200 TT=0.073 T1=0.07	OPT f=200 TT=0.07 T1=0.07	OPT f=200 TT=0.013 T1=0.01	OPT f=200 TT=0.017 T1=0.01	OPT f=200 TT=1.004 T1=0.76	OPT f=200 TT=0.646 T1=0.33	OPT f=200 TT=0.146 T1=0.07
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/primes-dimacs-cnf/ normalized-aim-200-6_0-yes1-4.opb	OPT f=200 TT=0.01 T1=0.01	OPT f=200 TT=0.043 T1=0.04	OPT f=200 TT=0.031 T1=0.03	OPT f=200 TT=0.024 T1=0.02	OPT f=200 TT=0.022 T1=0.02	OPT f=200 TT=0.01 T1=0.01	OPT f=200 TT=0.015 T1=0.02	OPT f=200 TT=0.935 T1=0.76	OPT f=200 TT=0.653 T1=0.34	OPT f=200 TT=0.129 T1=0.09
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/primes-dimacs-cnf/ normalized-aim-50-1_6-yes1-1.opb	OPT f=50 TT=0.001 T1=0	OPT f=50 TT=0.022 T1=0.02	OPT f=50 TT=0.014 T1=0.01	OPT f=50 TT=0.003 T1=0	OPT f=50 TT=0.002 T1=0	OPT f=50 TT=0.001 T1=0	OPT f=50 TT=0.003 T1=0	OPT f=50 TT=0.185 T1=0.64	OPT f=50 TT=0.184 T1=0.14	OPT f=50 TT=0.021 T1=0.01
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/primes-dimacs-cnf/ normalized-aim-50-1_6-yes1-2.opb	OPT f=50 TT=0.002 T1=0	OPT f=50 TT=0.023 T1=0.02	OPT f=50 TT=0.013 T1=0.01	OPT f=50 TT=0.01 T1=0	OPT f=50 TT=0.013 T1=0.01	OPT f=50 TT=0.003 T1=0	OPT f=50 TT=0.002 T1=0	OPT f=50 TT=0.193 T1=0.64	OPT f=50 TT=0.183 T1=0.13	OPT f=50 TT=0.022 T1=0.01
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/primes-dimacs-cnf/ normalized-aim-50-1_6-yes1-3.opb	OPT f=50 TT=0.002 T1=0	OPT f=50 TT=0.024 T1=0.02	OPT f=50 TT=0.013 T1=0.01	OPT f=50 TT=0.002 T1=0	OPT f=50 TT=0.003 T1=0	OPT f=50 TT=0.002 T1=0	OPT f=50 TT=0.003 T1=0	OPT f=50 TT=0.194 T1=0.64	OPT f=50 TT=0.184 T1=0.14	OPT f=50 TT=0.019 T1=0.01
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/primes-dimacs-cnf/ normalized-aim-50-1_6-yes1-4.opb	OPT f=50 TT=0.002 T1=0	OPT f=50 TT=0.027 T1=0.02	OPT f=50 TT=0.012 T1=0.01	OPT f=50 TT=0.002 T1=0	OPT f=50 TT=0.003 T1=0	OPT f=50 TT=0.002 T1=0	OPT f=50 TT=0.002 T1=0	OPT f=50 TT=0.184 T1=0.64	OPT f=50 TT=0.183 T1=0.14	OPT f=50 TT=0.019 T1=0.01
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/primes-dimacs-cnf/ normalized-aim-50-2_0-yes1-1.opb	OPT f=50 TT=0.001 T1=0	OPT f=50 TT=0.022 T1=0.02	OPT f=50 TT=0.013 T1=0.01	OPT f=50 TT=0.002 T1=0	OPT f=50 TT=0.003 T1=0	OPT f=50 TT=0.001 T1=0	OPT f=50 TT=0.003 T1=0	OPT f=50 TT=0.233 T1=0.64	OPT f=50 TT=0.193 T1=0.16	OPT f=50 TT=0.025 T1=0.01
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/primes-dimacs-cnf/ normalized-aim-50-2_0-yes1-2.opb	OPT f=50 TT=0.001 T1=0	OPT f=50 TT=0.023 T1=0.02	OPT f=50 TT=0.012 T1=0.01	OPT f=50 TT=0.01 T1=0	OPT f=50 TT=0.011 T1=0.01	OPT f=50 TT=0.001 T1=0	OPT f=50 TT=0.002 T1=0	OPT f=50 TT=0.233 T1=0.65	OPT f=50 TT=0.215 T1=0.16	OPT f=50 TT=0.024 T1=0.02
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/primes-dimacs-cnf/ normalized-aim-50-2_0-yes1-3.opb	OPT f=50 TT=0.002 T1=0	OPT f=50 TT=0.023 T1=0.02	OPT f=50 TT=0.014 T1=0.01	OPT f=50 TT=0.003 T1=0	OPT f=50 TT=0.003 T1=0	OPT f=50 TT=0.002 T1=0	OPT f=50 TT=0.003 T1=0	OPT f=50 TT=0.244 T1=0.64	OPT f=50 TT=0.205 T1=0.15	OPT f=50 TT=0.023 T1=0.01
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/primes-dimacs-cnf/ normalized-aim-50-2_0-yes1-4.opb	OPT f=50 TT=0.003 T1=0	OPT f=50 TT=0.022 T1=0.02	OPT f=50 TT=0.014 T1=0.01	OPT f=50 TT=0.005 T1=0	OPT f=50 TT=0.003 T1=0	OPT f=50 TT=0.003 T1=0	OPT f=50 TT=0.004 T1=0	OPT f=50 TT=0.204 T1=0.64	OPT f=50 TT=0.183 T1=0.14	OPT f=50 TT=0.019 T1=0.01
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/primes-dimacs-cnf/ normalized-aim-50-3_4-yes1-1.opb	OPT f=50 TT=0.003 T1=0	OPT f=50 TT=0.025 T1=0.02	OPT f=50 TT=0.015 T1=0.01	OPT f=50 TT=0.012 T1=0.01	OPT f=50 TT=0.01 T1=0.01	OPT f=50 TT=0.003 T1=0	OPT f=50 TT=0.003 T1=0	OPT f=50 TT=0.314 T1=0.66	OPT f=50 TT=0.223 T1=0.15	OPT f=50 TT=0.028 T1=0.02
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/primes-dimacs-cnf/ normalized-aim-50-3_4-yes1-2.opb	OPT f=50 TT=0.003 T1=0	OPT f=50 TT=0.025 T1=0.02	OPT f=50 TT=0.014 T1=0.01	OPT f=50 TT=0.013 T1=0.01	OPT f=50 TT=0.015 T1=0.01	OPT f=50 TT=0.003 T1=0	OPT f=50 TT=0.003 T1=0	OPT f=50 TT=0.284 T1=0.66	OPT f=50 TT=0.203 T1=0.16	OPT f=50 TT=0.04 T1=0.02
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/primes-dimacs-cnf/ normalized-aim-50-3_4-yes1-3.opb	OPT f=50 TT=0.002 T1=0	OPT f=50 TT=0.024 T1=0.02	OPT f=50 TT=0.013 T1=0.01	OPT f=50 TT=0.011 T1=0.01	OPT f=50 TT=0.004 T1=0	OPT f=50 TT=0.002 T1=0	OPT f=50 TT=0.003 T1=0	OPT f=50 TT=0.286 T1=0.68	OPT f=50 TT=0.224 T1=0.15	OPT f=50 TT=0.049 T1=0.01
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/primes-dimacs-cnf/ normalized-aim-50-3_4-yes1-4.opb	OPT f=50 TT=0.003 T1=0	OPT f=50 TT=0.023 T1=0.02	OPT f=50 TT=0.014 T1=0.01	OPT f=50 TT=0.011 T1=0.01	OPT f=50 TT=0.015 T1=0.02	OPT f=50 TT=0.003 T1=0	OPT f=50 TT=0.003 T1=0	OPT f=50 TT=0.283 T1=0.66	OPT f=50 TT=0.225 T1=0.16	OPT f=50 TT=0.058 T1=0.02
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/primes-dimacs-cnf/ normalized-aim-50-6_0-yes1-1.opb	OPT f=50 TT=0.002 T1=0	OPT f=50 TT=0.024 T1=0.02	OPT f=50 TT=0.013 T1=0.01	OPT f=50 TT=0.012 T1=0.01	OPT f=50 TT=0.012 T1=0.01	OPT f=50 TT=0.002 T1=0	OPT f=50 TT=0.003 T1=0	OPT f=50 TT=0.244 T1=0.67	OPT f=50 TT=0.244 T1=0.17	OPT f=50 TT=0.063 T1=0.02
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/primes-dimacs-cnf/ normalized-aim-50-6_0-yes1-2.opb	OPT f=50 TT=0.003 T1=0	OPT f=50 TT=0.024 T1=0.02	OPT f=50 TT=0.014 T1=0.01	OPT f=50 TT=0.013 T1=0.01	OPT f=50 TT=0.02 T1=0.02	OPT f=50 TT=0.003 T1=0	OPT f=50 TT=0.003 T1=0	OPT f=50 TT=0.233 T1=0.68	OPT f=50 TT=0.233 T1=0.16	OPT f=50 TT=0.027 T1=0.02
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/primes-dimacs-cnf/ normalized-aim-50-6_0-yes1-3.opb	OPT f=50 TT=0.002 T1=0	OPT f=50 TT=0.024 T1=0.02	OPT f=50 TT=0.013 T1=0.01	OPT f=50 TT=0.013 T1=0.01	OPT f=50 TT=0.017 T1=0.01	OPT f=50 TT=0.002 T1=0	OPT f=50 TT=0.003 T1=0.01	OPT f=50 TT=0.234 T1=0.67	OPT f=50 TT=0.223 T1=0.17	OPT f=50 TT=0.03 T1=0.02
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/primes-dimacs-cnf/ normalized-aim-50-6_0-yes1-4.opb	OPT f=50 TT=0.003 T1=0	OPT f=50 TT=0.025 T1=0.02	OPT f=50 TT=0.013 T1=0.01	OPT f=50 TT=0.012 T1=0.01	OPT f=50 TT=0.017 T1=0.01	OPT f=50 TT=0.003 T1=0	OPT f=50 TT=0.004 T1=0	OPT f=50 TT=0.243 T1=0.72	OPT f=50 TT=0.233 T1=0.17	OPT f=50 TT=0.045 T1=0.02
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/primes-dimacs-cnf/ normalized-bf0432-007.opb	UNSAT TT=0.03	UNSAT TT=0.085	UNSAT TT=0.062	UNSAT TT=0.071	UNSAT TT=0.067	UNSAT TT=0.03	UNSAT TT=0.03	UNSAT TT=1.384	UNSAT TT=0.905	UNSAT TT=0.293
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/primes-dimacs-cnf/ normalized-bf1355-075.opb	UNSAT TT=0.039	UNSAT TT=0.082	UNSAT TT=0.048	UNSAT TT=0.115	UNSAT TT=0.113	UNSAT TT=0.041	UNSAT TT=0.039	UNSAT TT=2.773	UNSAT TT=0.913	UNSAT TT=0.271
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/primes-dimacs-cnf/ normalized-bf1355-638.opb	UNSAT TT=0.04	UNSAT TT=0.081	UNSAT TT=0.047	UNSAT TT=0.115	UNSAT TT=0.112	UNSAT TT=0.04	UNSAT TT=0.041	UNSAT TT=2.523	UNSAT TT=0.823	UNSAT TT=0.288
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/primes-dimacs-cnf/ normalized-bf2670-001.opb	UNSAT TT=0.021	UNSAT TT=0.059	UNSAT TT=0.031	UNSAT TT=0.06	UNSAT TT=0.059	UNSAT TT=0.021	UNSAT TT=0.021	UNSAT TT=1.204	UNSAT TT=0.664	UNSAT TT=0.127
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/ primes-dimacs-cnf/normalized-f1000.opb		? (TO) TT=1800.08	? (TO) TT=1800.01	? (TO) TT=1800.02	? (TO) TT=1800.02	? (TO) TT=1800.03	? (TO) TT=1800.02	? (TO) TT=1800.49	? (TO) TT=1800.71	? (TO) TT=1800.09
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/ primes-dimacs-cnf/normalized-f2000.opb		? (TO) TT=1800.09	? (TO) TT=1800.01	? (TO) TT=1800.02	? (TO) TT=1800.02	? (TO) TT=1800.02	? (TO) TT=1800.02	? (TO) TT=1800.5	? (TO) TT=1800.55	? (TO) TT=1800.04
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/ primes-dimacs-cnf/normalized-f600.opb		? (TO) TT=1800.1	? (TO) TT=1800.02	? (TO) TT=1800.01	? (TO) TT=1800.02	? (TO) TT=1800.02	? (TO) TT=1800.02	? (TO) TT=1801.16	? (TO) TT=1800.82	? (TO) TT=1800.08
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/ primes-dimacs-cnf/normalized-g125.17.opb		? (TO) TT=1800.06	? (TO) TT=1800.11	? (TO) TT=1800.08	? (TO) TT=1800.11	? (TO) TT=1800.01	? (TO) TT=1800.03	? (TO) TT=1800.25	? (TO) TT=1800.05	? (TO) TT=1800.1
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/ primes-dimacs-cnf/normalized-g125.18.opb		? (TO) TT=1800.1	? (TO) TT=1800.02	? (TO) TT=1800.09	? (TO) TT=1800.02	? (TO) TT=1800.03	? (TO) TT=1800.1	? (TO) TT=1800.8	? (TO) TT=1800.09	? (TO) TT=1800.07
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/ primes-dimacs-cnf/normalized-g250.15.opb	SAT f=3750 TT=1800.02 T1=1800.3	? (TO) TT=1800.11	? (TO) TT=1800.11	? (TO) TT=1800.06	SAT (TO) f=3750 TT=1800.05 T1=1800.4	SAT (TO) f=3750 TT=1800.02 T1=1800.3	SAT (TO) f=3750 TT=1800.06 T1=1800.4	? (TO) TT=1800.67	No Cert. TT=1800.01	? (TO) TT=1800.1
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/ primes-dimacs-cnf/normalized-g250.29.opb		? (TO) TT=1800.18	? (TO) TT=1800.11	? (TO) TT=1800.03	? (TO) TT=1800.07	? (TO) TT=1800.02	? (TO) TT=1800.11	? (TO) TT=1800.8	? (TO) TT=1800.65	? (TO) TT=1800.02
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/ primes-dimacs-cnf/normalized-hanoi4.opb	OPT f=718 TT=0.122 T1=0.12	OPT f=718 TT=0.246 T1=0.24	OPT f=718 TT=0.122 T1=0.12	OPT f=718 TT=0.397 T1=0.39	OPT f=718 TT=0.586 T1=0.57	OPT f=718 TT=2.029 T1=2.02	OPT f=718 TT=0.215 T1=0.21	OPT f=718 TT=4.153 T1=1.39	OPT f=718 TT=1.834 T1=0.43	OPT f=718 TT=9.478 T1=1.19
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/ primes-dimacs-cnf/normalized-hanoi5.opb	OPT f=1931 TT=0.915 T1=0.91	OPT f=1931 TT=2.188 T1=2.18	OPT f=1931 TT=1.815 T1=1.81	OPT f=1931 TT=2.353 T1=2.35	OPT f=1931 TT=3.038 T1=3.01	OPT f=1931 TT=1.081 T1=1.08	OPT f=1931 TT=0.915 T1=0.91	OPT f=1931 TT=9.403 T1=3.53	OPT f=1931 TT=5.862 T1=4.17	OPT f=1931 TT=226.482 T1=97.24
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/ primes-dimacs-cnf/normalized-ii16a1.opb	SAT f=1123 TT=1800.02 T1=1800.3	? (TO) TT=1800.11	? (TO) TT=1800.01	SAT (TO) f=1430 TT=1800.02 T1=1800.3	SAT (TO) f=1485 TT=1800.09 T1=1800.4	SAT (TO) f=1551 TT=1800.01 T1=1800.3	SAT (TO) f=1123 TT=1800.02 T1=1800.3	SAT (TO) f=1385 TT=1800.13 T1=234.25	SAT (TO) f=1527 TT=1800.08 T1=0.63	? (TO) TT=1800.05
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/ primes-dimacs-cnf/normalized-ii16a2.opb	SAT f=1164 TT=1800.03 T1=1800.3	? (TO) TT=1800.05	? (TO) TT=1800.01	SAT (TO) f=1259 TT=1800.11 T1=1800.4	SAT (TO) f=1588 TT=1800.02 T1=1800.3	SAT (TO) f=1601 TT=1800.02 T1=1800.3	SAT (TO) f=1164 TT=1800.03 T1=1800.3	SAT (TO) f=1398 TT=1800.17 T1=892.56	SAT (TO) f=1548 TT=1800.05 T1=116.1	? (TO) TT=1800.07
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/ primes-dimacs-cnf/normalized-ii16b1.opb	SAT f=1379 TT=1800.09 T1=1800.4	? (TO) TT=1800.08	? (TO) TT=1800.1	SAT (TO) f=1541 TT=1800.02 T1=1800.3	SAT (TO) f=1727 TT=1800.01 T1=1800.3	SAT (TO) f=1727 TT=1800.02 T1=1800.3	SAT (TO) f=1379 TT=1800.09 T1=1800.4	SAT (TO) f=1596 TT=1800.1 T1=750.74	SAT (TO) f=1661 TT=1800.07 T1=167.63	? (TO) TT=1800.07
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/ primes-dimacs-cnf/normalized-ii16b2.opb	OPT f=1031 TT=1.64 T1=1.57	OPT f=1031 TT=6.457 T1=6.45	OPT f=1031 TT=23.93 T1=23.93	SAT (TO) f=1031 TT=1800.11 T1=1800.4	OPT f=1031 TT=3.921 T1=3.9	OPT f=1031 TT=102.08 T1=102.09	OPT f=1031 TT=1.64 T1=1.64	OPT f=1031 TT=26.732 T1=1.57	SAT (TO) f=1033 TT=1800.02 T1=0.68	? (TO) TT=1800.09
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/ primes-dimacs-cnf/normalized-ii16c1.opb	SAT f=1226 TT=1800.02 T1=1800.3	? (TO) TT=1800.06	? (TO) TT=1800.1	SAT (TO) f=1412 TT=1800.01 T1=1800.3	SAT (TO) f=1478 TT=1800.01 T1=1800.3	SAT (TO) f=1568 TT=1800.11 T1=1800.4	SAT (TO) f=1226 TT=1800.02 T1=1800.3	SAT (TO) f=1335 TT=1800 T1=1.58	SAT (TO) f=1424 TT=1800.71 T1=0.55	? (TO) TT=1800.02
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/ primes-dimacs-cnf/normalized-ii16c2.opb	OPT f=861 TT=1.379 T1=1.38	OPT f=861 TT=3.81 T1=3.8	OPT f=861 TT=46.271 T1=46.27	OPT f=861 TT=1.391 T1=1.38	OPT f=861 TT=2.911 T1=2.89	OPT f=861 TT=35.535 T1=35.53	OPT f=861 TT=1.379 T1=1.38	OPT f=861 TT=14.282 T1=3.53	SAT (TO) f=867 TT=1800.01 T1=0.84	? (TO) TT=1800.08
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/ primes-dimacs-cnf/normalized-ii16d1.opb	SAT f=890 TT=1800.03 T1=1800.3	? (TO) TT=1800.04	? (TO) TT=1800.11	SAT (TO) f=1084 TT=1800.1 T1=1800.4	SAT (TO) f=1230 TT=1800.01 T1=1800.3	SAT (TO) f=1229 TT=1800.02 T1=1800.3	SAT (TO) f=890 TT=1800.03 T1=1800.3	SAT (TO) f=1090 TT=1800.02 T1=2.57	SAT (TO) f=1097 TT=1800.05 T1=0.65	? (TO) TT=1800.09
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/ primes-dimacs-cnf/normalized-ii16d2.opb	OPT f=785 TT=1.075 T1=1.07	OPT f=785 TT=4.705 T1=4.7	OPT f=785 TT=24.544 T1=24.54	OPT f=785 TT=2.238 T1=2.23	OPT f=785 TT=2.852 T1=2.84	OPT f=785 TT=625.999 T1=626.09	OPT f=785 TT=1.075 T1=1.07	OPT f=785 TT=64.654 T1=9.54	SAT (TO) f=802 TT=1800.04 T1=424.88	? (TO) TT=1800.1
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/ primes-dimacs-cnf/normalized-ii16e1.opb	SAT f=1102 TT=1800.02 T1=1800.3	? (TO) TT=1800.1	? (TO) TT=1800.1	SAT (TO) f=1135 TT=1800.02 T1=1800.3	SAT (TO) f=1244 TT=1800.09 T1=1800.4	SAT (TO) f=1234 TT=1800.03 T1=1800.3	SAT (TO) f=1102 TT=1800.02 T1=1800.3	SAT (TO) f=1162 TT=1800.19 T1=864.6	SAT (TO) f=1201 TT=1800.05 T1=20.75	? (TO) TT=1800.01
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/ primes-dimacs-cnf/normalized-ii16e2.opb	OPT f=520 TT=0.34 T1=0.34	OPT f=520 TT=1.622 T1=1.62	OPT f=520 TT=0.899 T1=0.89	OPT f=520 TT=0.715 T1=0.71	OPT f=520 TT=1.94 T1=1.92	OPT f=520 TT=10.251 T1=10.25	OPT f=520 TT=0.34 T1=0.34	OPT f=520 TT=6.074 T1=2.44	OPT f=520 TT=7.312 T1=0.49	OPT f=520 TT=5.493 T1=5.45
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/ primes-dimacs-cnf/normalized-ii32a1.opb	OPT f=444 TT=0.323 T1=0.32	OPT f=444 TT=1.542 T1=1.53	OPT f=444 TT=1.7 T1=1.69	OPT f=444 TT=1.172 T1=1.16	OPT f=444 TT=1.163 T1=1.15	OPT f=444 TT=9.917 T1=9.91	OPT f=444 TT=0.323 T1=0.32	OPT f=444 TT=6.392 T1=1.43	OPT f=444 TT=8.023 T1=0.42	OPT f=444 TT=4.13 T1=3.99
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/ primes-dimacs-cnf/normalized-ii32b1.opb	OPT f=191 TT=6.206 T1=6.2	? (TO) TT=1800.01	? (TO) TT=1800.02	OPT f=191 TT=7.765 T1=7.76	OPT f=191 TT=6.206 T1=6.2	OPT f=191 TT=35.059 T1=35.06	OPT f=191 TT=6.385 T1=6.38	SAT (TO) f=191 TT=1800.75 T1=16.34	SAT (TO) f=196 TT=1800.02 T1=0.68	? (TO) TT=1800.05
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/ primes-dimacs-cnf/normalized-ii32b2.opb	OPT f=244 TT=1.146 T1=0.67	OPT f=244 TT=21.674 T1=21.67	OPT f=244 TT=4.608 T1=4.6	OPT f=244 TT=1.884 T1=1.88	OPT f=244 TT=2.768 T1=2.76	OPT f=244 TT=4.55 T1=4.55	OPT f=244 TT=1.146 T1=1.14	OPT f=244 TT=4.783 T1=8.35	OPT f=244 TT=2.525 T1=0.67	OPT f=244 TT=8.418 T1=3.13
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/ primes-dimacs-cnf/normalized-ii32b3.opb	OPT f=331 TT=2.776 T1=1.56	OPT f=331 TT=48.399 T1=48.4	OPT f=331 TT=19.26 T1=19.26	OPT f=331 TT=6.548 T1=6.54	OPT f=331 TT=10.614 T1=10.6	OPT f=331 TT=10.632 T1=10.63	OPT f=331 TT=2.776 T1=2.78	OPT f=331 TT=19.08 T1=6.91	OPT f=331 TT=8.483 T1=1.56	OPT f=331 TT=25.839 T1=19.9
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/ primes-dimacs-cnf/normalized-ii32b4.opb	OPT f=376 TT=0.299 T1=0.3	OPT f=376 TT=10.07 T1=10.06	OPT f=376 TT=1.451 T1=1.44	OPT f=376 TT=1.276 T1=1.27	OPT f=376 TT=1.395 T1=1.39	OPT f=376 TT=2.662 T1=2.66	OPT f=376 TT=0.299 T1=0.3	OPT f=376 TT=3.363 T1=1.41	OPT f=376 TT=1.525 T1=0.4	OPT f=376 TT=4.82 T1=4.76
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/ primes-dimacs-cnf/normalized-ii32c1.opb	OPT f=167 TT=2.738 T1=2.73	? (TO) TT=1800.01	OPT f=167 TT=1580.02 T1=1580.26	OPT f=167 TT=3.679 T1=3.67	OPT f=167 TT=3.656 T1=3.65	OPT f=167 TT=2.738 T1=2.73	OPT f=167 TT=3.395 T1=3.39	SAT (TO) f=168 TT=1800.1 T1=671.85	SAT (TO) f=188 TT=1800.85 T1=3.95	? (TO) TT=1800.07
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/ primes-dimacs-cnf/normalized-ii32c2.opb	OPT f=207 TT=30.023 T1=30.02	? (TO) TT=1800.02	? (TO) TT=1800.01	OPT f=207 TT=95.483 T1=95.51	OPT f=207 TT=38.96 T1=38.96	OPT f=207 TT=56.749 T1=56.75	OPT f=207 TT=30.023 T1=30.02	SAT (TO) f=207 TT=1800.07 T1=251.28	SAT (TO) f=215 TT=1800.05 T1=8.77	? (TO) TT=1800.09
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/ primes-dimacs-cnf/normalized-ii32c3.opb	OPT f=261 TT=15.686 T1=8.25	OPT f=261 TT=449.796 T1=449.85	OPT f=261 TT=141.498 T1=141.51	OPT f=261 TT=20.825 T1=20.82	OPT f=261 TT=38.439 T1=38.43	OPT f=261 TT=57.62 T1=57.62	OPT f=261 TT=15.686 T1=15.69	OPT f=261 TT=46.555 T1=14.38	OPT f=261 TT=22.29 T1=8.25	OPT f=261 TT=476.361 T1=476.37
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/ primes-dimacs-cnf/normalized-ii32c4.opb	OPT f=736 TT=0.648 T1=0.57	OPT f=736 TT=10.829 T1=10.82	OPT f=736 TT=9.371 T1=9.37	OPT f=736 TT=2.364 T1=2.35	OPT f=736 TT=3.624 T1=3.6	OPT f=736 TT=16.806 T1=16.8	OPT f=736 TT=0.648 T1=0.64	OPT f=736 TT=8.572 T1=1.61	SAT (TO) f=736 TT=1800.01 T1=0.57	OPT f=736 TT=14.175 T1=10.19
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/ primes-dimacs-cnf/normalized-ii32d1.opb	SAT f=285 TT=1800.02 T1=1800.3	? (TO) TT=1800.07	? (TO) TT=1800.02	SAT (TO) f=285 TT=1800.02 T1=1800.3	SAT (TO) f=290 TT=1800.02 T1=1800.3	SAT (TO) f=328 TT=1800.03 T1=1800.3	SAT (TO) f=285 TT=1800.02 T1=1800.3	SAT (TO) f=287 TT=1800.9 T1=490.77	SAT (TO) f=294 TT=1800.01 T1=14.01	? (TO) TT=1800.1
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/ primes-dimacs-cnf/normalized-ii32d2.opb	OPT f=372 TT=526.275 T1=5.99	? (TO) TT=1800.05	? (TO) TT=1800.02	SAT (TO) f=372 TT=1800.02 T1=1800.3	SAT (TO) f=372 TT=1800.02 T1=1800.3	SAT (TO) f=404 TT=1800.02 T1=1800.3	OPT f=372 TT=526.275 T1=526.36	SAT (TO) f=372 TT=1800.17 T1=15.93	SAT (TO) f=372 TT=1800.1 T1=5.99	? (TO) TT=1800.09
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/ primes-dimacs-cnf/normalized-ii32d3.opb	OPT f=802 TT=5.541 T1=5.54	OPT f=802 TT=1216.7 T1=1216.9	OPT f=802 TT=238.053 T1=238.09	OPT f=802 TT=46.307 T1=46.32	OPT f=802 TT=13.775 T1=13.76	SAT (TO) f=824 TT=1800.02 T1=1800.3	OPT f=802 TT=5.541 T1=5.54	SAT (TO) f=802 TT=1800.07 T1=20.1	SAT (TO) f=802 TT=1800.04 T1=6.07	OPT f=802 TT=273.675 T1=263.93
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/ primes-dimacs-cnf/normalized-ii32e1.opb	OPT f=162 TT=4.96 T1=4.95	? (TO) TT=1800.02	? (TO) TT=1800.02	OPT f=162 TT=4.96 T1=4.95	OPT f=162 TT=5.332 T1=5.33	OPT f=162 TT=7.235 T1=7.23	OPT f=162 TT=8.749 T1=8.75	SAT (TO) f=165 TT=1800.12 T1=318.51	SAT (TO) f=163 TT=1800.8 T1=1217.17	? (TO) TT=1800.1
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/ primes-dimacs-cnf/normalized-ii32e2.opb	OPT f=235 TT=34.744 T1=2.89	? (TO) TT=1800.02	OPT f=235 TT=601.618 T1=601.72	OPT f=235 TT=58.447 T1=58.46	OPT f=235 TT=65.295 T1=65.3	OPT f=235 TT=63.851 T1=63.85	OPT f=235 TT=34.744 T1=34.74	SAT (TO) f=235 TT=1800.85 T1=5.39	SAT (TO) f=235 TT=1800.02 T1=2.89	? (TO) TT=1800.08
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/ primes-dimacs-cnf/normalized-ii32e3.opb	OPT f=310 TT=2.53 T1=2.53	OPT f=310 TT=28.368 T1=28.37	OPT f=310 TT=16.813 T1=16.82	OPT f=310 TT=4.878 T1=4.87	OPT f=310 TT=9.85 T1=9.84	OPT f=310 TT=9.502 T1=9.5	OPT f=310 TT=2.53 T1=2.53	OPT f=310 TT=119.566 T1=11.91	OPT f=310 TT=37.887 T1=6.53	OPT f=310 TT=348.231 T1=85.74
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/ primes-dimacs-cnf/normalized-ii32e4.opb	OPT f=364 TT=4.289 T1=4.29	OPT f=364 TT=166.04 T1=166.05	OPT f=364 TT=25.88 T1=25.88	OPT f=364 TT=8.414 T1=8.41	OPT f=364 TT=19.609 T1=19.6	OPT f=364 TT=12.063 T1=12.06	OPT f=364 TT=4.289 T1=4.29	OPT f=364 TT=1300.73 T1=21.95	OPT f=364 TT=461.19 T1=61.03	OPT f=364 TT=652.962 T1=30.59
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/ primes-dimacs-cnf/normalized-ii32e5.opb	OPT f=503 TT=11.776 T1=4.89	OPT f=503 TT=839.979 T1=840.11	OPT f=503 TT=165.926 T1=165.94	OPT f=503 TT=16.159 T1=16.15	OPT f=503 TT=31.719 T1=31.72	OPT f=503 TT=56.661 T1=56.66	OPT f=503 TT=11.776 T1=11.77	OPT f=503 TT=82.043 T1=14.09	OPT f=503 TT=29.279 T1=4.89	OPT f=503 TT=143.25 T1=5.29
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/ primes-dimacs-cnf/normalized-ii8a1.opb	OPT f=54 TT=0.053 T1=0.05	OPT f=54 TT=0.097 T1=0.09	OPT f=54 TT=0.061 T1=0.06	OPT f=54 TT=0.086 T1=0.08	OPT f=54 TT=0.144 T1=0.14	OPT f=54 TT=0.053 T1=0.05	OPT f=54 TT=0.125 T1=0.12	OPT f=54 TT=2.913 T1=5.18	OPT f=54 TT=0.894 T1=0.25	OPT f=54 TT=1.886 T1=1.85
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/ primes-dimacs-cnf/normalized-ii8a2.opb	OPT f=139 TT=1207.3 T1=1207.49	? (TO) TT=1800.02	? (TO) TT=1800.01	SAT (TO) f=139 TT=1800.02 T1=1800.3	SAT (TO) f=155 TT=1800.02 T1=1800.3	OPT f=139 TT=1207.3 T1=1207.49	SAT (TO) f=139 TT=1800.02 T1=1800.3	SAT (TO) f=143 TT=1800.77 T1=3.21	SAT (TO) f=149 TT=1800.68 T1=163.4	? (TO) TT=1800.07
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/ primes-dimacs-cnf/normalized-ii8a3.opb	SAT f=191 TT=1800.02 T1=1800.3	? (TO) TT=1800.02	? (TO) TT=1800.01	SAT (TO) f=191 TT=1800.02 T1=1800.3	SAT (TO) f=193 TT=1800.02 T1=1800.3	SAT (TO) f=229 TT=1800.02 T1=1800.3	SAT (TO) f=191 TT=1800.02 T1=1800.3	SAT (TO) f=194 TT=1800.59 T1=2.28	SAT (TO) f=217 TT=1800.07 T1=0.25	? (TO) TT=1800.09
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/ primes-dimacs-cnf/normalized-ii8a4.opb	SAT f=283 TT=1800.02 T1=1800.3	? (TO) TT=1800.02	? (TO) TT=1800.02	SAT (TO) f=283 TT=1800.02 T1=1800.3	SAT (TO) f=283 TT=1800.02 T1=1800.3	SAT (TO) f=367 TT=1800.02 T1=1800.3	SAT (TO) f=283 TT=1800.02 T1=1800.3	SAT (TO) f=335 TT=1800.1 T1=7.33	SAT (TO) f=313 TT=1800.79 T1=0.31	? (TO) TT=1800.03
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/ primes-dimacs-cnf/normalized-ii8b1.opb	OPT f=191 TT=78.476 T1=78.48	? (TO) TT=1800.02	? (TO) TT=1800.02	SAT (TO) f=191 TT=1800.1 T1=1800.4	SAT (TO) f=194 TT=1800.02 T1=1800.3	OPT f=191 TT=78.476 T1=78.48	OPT f=191 TT=392.55 T1=392.61	SAT (TO) f=221 TT=1800.73 T1=0.82	SAT (TO) f=221 TT=1800.08 T1=0.28	? (TO) TT=1800.05
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/ primes-dimacs-cnf/normalized-ii8b2.opb	SAT f=379 TT=1800.02 T1=1800.3	? (TO) TT=1800.09	? (TO) TT=1800.02	SAT (TO) f=379 TT=1800.02 T1=1800.3	SAT (TO) f=381 TT=1800.08 T1=1800.4	SAT (TO) f=430 TT=1800.02 T1=1800.3	SAT (TO) f=379 TT=1800.02 T1=1800.3	SAT (TO) f=411 TT=1800.73 T1=2.37	SAT (TO) f=413 TT=1800.06 T1=0.32	? (TO) TT=1800.06
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/ primes-dimacs-cnf/normalized-ii8b3.opb	SAT f=507 TT=1800.02 T1=1800.3	? (TO) TT=1800.03	? (TO) TT=1800.02	SAT (TO) f=507 TT=1800.1 T1=1800.4	SAT (TO) f=508 TT=1800.01 T1=1800.3	SAT (TO) f=594 TT=1800.02 T1=1800.3	SAT (TO) f=507 TT=1800.02 T1=1800.3	SAT (TO) f=551 TT=1800.05 T1=1.89	SAT (TO) f=559 TT=1800.77 T1=0.37	? (TO) TT=1800.07
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/ primes-dimacs-cnf/normalized-ii8b4.opb	SAT f=654 TT=1800.02 T1=1800.3	? (TO) TT=1800.11	? (TO) TT=1800.01	SAT (TO) f=716 TT=1800.02 T1=1800.3	SAT (TO) f=656 TT=1800.08 T1=1800.4	SAT (TO) f=926 TT=1800.02 T1=1800.3	SAT (TO) f=654 TT=1800.02 T1=1800.3	SAT (TO) f=718 TT=1800.63 T1=0.91	SAT (TO) f=718 TT=1800.01 T1=0.38	? (TO) TT=1800.11
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/ primes-dimacs-cnf/normalized-ii8c1.opb	SAT f=302 TT=1800.02 T1=1800.3	? (TO) TT=1800.11	? (TO) TT=1800.01	SAT (TO) f=302 TT=1800.02 T1=1800.3	SAT (TO) f=315 TT=1800.01 T1=1800.3	SAT (TO) f=315 TT=1800.02 T1=1800.3	SAT (TO) f=302 TT=1800.02 T1=1800.3	SAT (TO) f=315 TT=1800.16 T1=0.84	SAT (TO) f=315 TT=1800.83 T1=0.34	? (TO) TT=1800.09
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/ primes-dimacs-cnf/normalized-ii8c2.opb	SAT f=525 TT=1800.02 T1=1800.3	? (TO) TT=1800.1	? (TO) TT=1800.02	SAT (TO) f=525 TT=1800.11 T1=1800.4	SAT (TO) f=591 TT=1800.09 T1=1800.4	SAT (TO) f=916 TT=1800.01 T1=1800.3	SAT (TO) f=525 TT=1800.02 T1=1800.3	SAT (TO) f=574 TT=1800.02 T1=1.4	SAT (TO) f=574 TT=1800.03 T1=0.42	? (TO) TT=1800.05
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/ primes-dimacs-cnf/normalized-ii8d1.opb	SAT f=343 TT=1800.01 T1=1800.3	? (TO) TT=1800.08	? (TO) TT=1800.03	SAT (TO) f=343 TT=1800.02 T1=1800.3	SAT (TO) f=345 TT=1800.1 T1=1800.4	SAT (TO) f=390 TT=1800.02 T1=1800.3	SAT (TO) f=343 TT=1800.01 T1=1800.3	SAT (TO) f=374 TT=1800.14 T1=2.33	SAT (TO) f=374 TT=1800.06 T1=0.36	? (TO) TT=1800.05
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/ primes-dimacs-cnf/normalized-ii8d2.opb	SAT f=540 TT=1800.01 T1=1800.3	? (TO) TT=1800.09	? (TO) TT=1800.01	SAT (TO) f=540 TT=1800.01 T1=1800.3	SAT (TO) f=548 TT=1800.1 T1=1800.4	SAT (TO) f=674 TT=1800.02 T1=1800.3	SAT (TO) f=540 TT=1800.02 T1=1800.3	SAT (TO) f=581 TT=1800.67 T1=0.91	SAT (TO) f=581 TT=1800.87 T1=0.38	? (TO) TT=1800.07
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/ primes-dimacs-cnf/normalized-ii8e1.opb	SAT f=343 TT=1800.01 T1=1800.3	? (TO) TT=1800.1	? (TO) TT=1800.02	SAT (TO) f=343 TT=1800.01 T1=1800.3	SAT (TO) f=367 TT=1800.02 T1=1800.3	SAT (TO) f=434 TT=1800.1 T1=1800.4	SAT (TO) f=343 TT=1800.02 T1=1800.3	SAT (TO) f=420 TT=1800.71 T1=0.82	SAT (TO) f=420 TT=1800.09 T1=0.31	? (TO) TT=1800.04
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/ primes-dimacs-cnf/normalized-ii8e2.opb	SAT f=494 TT=1800.02 T1=1800.3	? (TO) TT=1800.06	? (TO) TT=1800.02	SAT (TO) f=494 TT=1800.1 T1=1800.4	SAT (TO) f=506 TT=1800.01 T1=1800.3	SAT (TO) f=808 TT=1800.01 T1=1800.3	SAT (TO) f=494 TT=1800.02 T1=1800.3	SAT (TO) f=521 TT=1800.73 T1=1.93	SAT (TO) f=521 TT=1800.07 T1=0.47	? (TO) TT=1800.02
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/ primes-dimacs-cnf/normalized-jnh12.opb	OPT f=94 TT=0.007 T1=0	OPT f=94 TT=0.032 T1=0.03	OPT f=94 TT=0.019 T1=0.02	OPT f=94 TT=0.054 T1=0.05	OPT f=94 TT=0.045 T1=0.04	OPT f=94 TT=0.007 T1=0	OPT f=94 TT=0.01 T1=0.01	OPT f=94 TT=0.505 T1=1.76	OPT f=94 TT=0.404 T1=0.24	OPT f=94 TT=0.142 T1=0.13
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/ primes-dimacs-cnf/normalized-jnh17.opb	OPT f=95 TT=0.019 T1=0.01	OPT f=95 TT=0.041 T1=0.04	OPT f=95 TT=0.02 T1=0.02	OPT f=95 TT=0.083 T1=0.08	OPT f=95 TT=0.09 T1=0.09	OPT f=95 TT=0.025 T1=0.02	OPT f=95 TT=0.019 T1=0.01	OPT f=95 TT=0.794 T1=2.75	OPT f=95 TT=0.623 T1=0.32	OPT f=95 TT=0.188 T1=0.16
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/ primes-dimacs-cnf/normalized-jnh1.opb	OPT f=92 TT=0.052 T1=0.05	OPT f=92 TT=0.123 T1=0.12	OPT f=92 TT=0.052 T1=0.05	OPT f=92 TT=0.131 T1=0.13	OPT f=92 TT=0.211 T1=0.21	OPT f=92 TT=0.247 T1=0.24	OPT f=92 TT=0.063 T1=0.06	OPT f=92 TT=1.235 T1=3.76	OPT f=92 TT=0.916 T1=0.38	OPT f=92 TT=0.417 T1=0.39
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/ primes-dimacs-cnf/normalized-jnh201.opb	OPT f=84 TT=11.188 T1=11.19	OPT f=84 TT=91.689 T1=91.7	OPT f=84 TT=16.179 T1=16.18	OPT f=84 TT=26.24 T1=26.24	OPT f=84 TT=11.188 T1=11.19	OPT f=84 TT=51.659 T1=51.66	OPT f=84 TT=11.303 T1=11.3	OPT f=84 TT=21.75 T1=12.26	OPT f=84 TT=14.571 T1=12.02	OPT f=84 TT=102.341 T1=85.23
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/ primes-dimacs-cnf/normalized-jnh204.opb	OPT f=93 TT=0.024 T1=0.02	OPT f=93 TT=0.061 T1=0.06	OPT f=93 TT=0.035 T1=0.03	OPT f=93 TT=0.066 T1=0.06	OPT f=93 TT=0.127 T1=0.12	OPT f=93 TT=0.087 T1=0.08	OPT f=93 TT=0.024 T1=0.02	OPT f=93 TT=1.156 T1=1.75	OPT f=93 TT=0.727 T1=0.35	OPT f=93 TT=0.231 T1=0.21
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/ primes-dimacs-cnf/normalized-jnh205.opb	OPT f=94 TT=0.014 T1=0.01	OPT f=94 TT=0.038 T1=0.03	OPT f=94 TT=0.023 T1=0.02	OPT f=94 TT=0.041 T1=0.06	OPT f=94 TT=0.088 T1=0.08	OPT f=94 TT=0.014 T1=0.01	OPT f=94 TT=0.016 T1=0.01	OPT f=94 TT=0.744 T1=3.75	OPT f=94 TT=0.574 T1=0.27	OPT f=94 TT=0.158 T1=0.15
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/ primes-dimacs-cnf/normalized-jnh207.opb	OPT f=95 TT=0.015 T1=0.01	OPT f=95 TT=0.042 T1=0.04	OPT f=95 TT=0.021 T1=0.02	OPT f=95 TT=0.041 T1=0.04	OPT f=95 TT=0.051 T1=0.05	OPT f=95 TT=0.017 T1=0.02	OPT f=95 TT=0.015 T1=0.01	OPT f=95 TT=0.903 T1=1.26	OPT f=95 TT=0.524 T1=0.28	OPT f=95 TT=0.132 T1=0.12
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/ primes-dimacs-cnf/normalized-jnh209.opb	OPT f=93 TT=0.026 T1=0.02	OPT f=93 TT=0.049 T1=0.04	OPT f=93 TT=0.026 T1=0.02	OPT f=93 TT=0.091 T1=0.09	OPT f=93 TT=0.129 T1=0.12	OPT f=93 TT=0.047 T1=0.04	OPT f=93 TT=0.04 T1=0.04	OPT f=93 TT=0.994 T1=3.3	OPT f=93 TT=0.794 T1=0.29	OPT f=93 TT=0.201 T1=0.16
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/ primes-dimacs-cnf/normalized-jnh210.opb	OPT f=88 TT=0.044 T1=0.04	OPT f=88 TT=0.146 T1=0.14	OPT f=88 TT=0.044 T1=0.04	OPT f=88 TT=0.302 T1=0.3	OPT f=88 TT=0.389 T1=0.38	OPT f=88 TT=0.337 T1=0.33	OPT f=88 TT=0.216 T1=0.21	OPT f=88 TT=2.134 T1=4.76	OPT f=88 TT=0.913 T1=0.41	OPT f=88 TT=1.458 T1=0.34
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/ primes-dimacs-cnf/normalized-jnh212.opb	OPT f=97 TT=0.013 T1=0.01	OPT f=97 TT=0.045 T1=0.04	OPT f=97 TT=0.024 T1=0.02	OPT f=97 TT=0.058 T1=0.05	OPT f=97 TT=0.069 T1=0.06	OPT f=97 TT=0.015 T1=0.01	OPT f=97 TT=0.013 T1=0.01	OPT f=97 TT=0.887 T1=2.26	OPT f=97 TT=0.645 T1=0.3	OPT f=97 TT=0.195 T1=0.18
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/ primes-dimacs-cnf/normalized-jnh213.opb	OPT f=92 TT=0.012 T1=0.01	OPT f=92 TT=0.037 T1=0.03	OPT f=92 TT=0.022 T1=0.02	OPT f=92 TT=0.077 T1=0.07	OPT f=92 TT=0.092 T1=0.09	OPT f=92 TT=0.012 T1=0.01	OPT f=92 TT=0.021 T1=0.02	OPT f=92 TT=0.724 T1=3.25	OPT f=92 TT=0.584 T1=0.28	OPT f=92 TT=0.214 T1=0.17
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/ primes-dimacs-cnf/normalized-jnh217.opb	OPT f=89 TT=0.352 T1=0.35	OPT f=89 TT=0.6 T1=0.6	OPT f=89 TT=0.37 T1=0.36	OPT f=89 TT=0.352 T1=0.35	OPT f=89 TT=0.594 T1=0.59	OPT f=89 TT=1.799 T1=1.79	OPT f=89 TT=0.447 T1=0.44	OPT f=89 TT=2.284 T1=4.76	OPT f=89 TT=1.165 T1=0.57	OPT f=89 TT=2.066 T1=1.43
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/ primes-dimacs-cnf/normalized-jnh218.opb	OPT f=90 TT=0.033 T1=0.03	OPT f=90 TT=0.053 T1=0.05	OPT f=90 TT=0.035 T1=0.03	OPT f=90 TT=0.115 T1=0.11	OPT f=90 TT=0.084 T1=0.08	OPT f=90 TT=0.034 T1=0.03	OPT f=90 TT=0.033 T1=0.03	OPT f=90 TT=0.834 T1=4.26	OPT f=90 TT=0.654 T1=0.33	OPT f=90 TT=0.266 T1=0.25
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/ primes-dimacs-cnf/normalized-jnh220.opb	OPT f=94 TT=0.026 T1=0.02	OPT f=94 TT=0.059 T1=0.05	OPT f=94 TT=0.031 T1=0.03	OPT f=94 TT=0.099 T1=0.09	OPT f=94 TT=0.098 T1=0.09	OPT f=94 TT=0.1 T1=0.1	OPT f=94 TT=0.026 T1=0.02	OPT f=94 TT=1.074 T1=2.76	OPT f=94 TT=0.706 T1=0.34	OPT f=94 TT=0.324 T1=0.27
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/ primes-dimacs-cnf/normalized-jnh301.opb	OPT f=95 TT=0.009 T1=0.01	OPT f=95 TT=0.041 T1=0.04	OPT f=95 TT=0.024 T1=0.02	OPT f=95 TT=0.044 T1=0.04	OPT f=95 TT=0.081 T1=0.08	OPT f=95 TT=0.009 T1=0.01	OPT f=95 TT=0.016 T1=0.01	OPT f=95 TT=0.893 T1=2.28	OPT f=95 TT=0.664 T1=0.32	OPT f=95 TT=0.201 T1=0.28
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/ primes-dimacs-cnf/normalized-jnh7.opb	OPT f=89 TT=0.017 T1=0.01	OPT f=89 TT=0.04 T1=0.04	OPT f=89 TT=0.024 T1=0.02	OPT f=89 TT=0.171 T1=0.17	OPT f=89 TT=0.081 T1=0.08	OPT f=89 TT=0.017 T1=0.01	OPT f=89 TT=0.04 T1=0.04	OPT f=89 TT=1.033 T1=2.25	OPT f=89 TT=0.683 T1=0.34	OPT f=89 TT=0.238 T1=0.16
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/primes-dimacs-cnf/ normalized-par16-1-c.opb	OPT f=317 TT=0.088 T1=0.08	OPT f=317 TT=1.858 T1=1.85	OPT f=317 TT=0.586 T1=0.58	OPT f=317 TT=0.461 T1=0.46	OPT f=317 TT=1.203 T1=1.2	OPT f=317 TT=0.088 T1=0.08	OPT f=317 TT=0.452 T1=0.45	OPT f=317 TT=3.223 T1=1.28	OPT f=317 TT=1.994 T1=0.83	OPT f=317 TT=2.756 T1=2.07
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/ primes-dimacs-cnf/normalized-par16-1.opb	OPT f=1015 TT=0.252 T1=0.25	OPT f=1015 TT=2.448 T1=2.44	OPT f=1015 TT=1.004 T1=1	OPT f=1015 TT=2.06 T1=2.05	OPT f=1015 TT=2.165 T1=2.15	OPT f=1015 TT=0.252 T1=0.25	OPT f=1015 TT=0.484 T1=0.48	OPT f=1015 TT=4.812 T1=0.84	OPT f=1015 TT=2.335 T1=0.47	OPT f=1015 TT=5.933 T1=2.41
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/primes-dimacs-cnf/ normalized-par16-2-c.opb	OPT f=349 TT=0.058 T1=0.05	OPT f=349 TT=2.057 T1=2.05	OPT f=349 TT=0.853 T1=0.85	OPT f=349 TT=0.751 T1=0.75	OPT f=349 TT=0.848 T1=0.84	OPT f=349 TT=0.058 T1=0.05	OPT f=349 TT=0.574 T1=0.57	OPT f=349 TT=4.314 T1=0.79	OPT f=349 TT=2.137 T1=0.58	OPT f=349 TT=2.373 T1=1.49
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/ primes-dimacs-cnf/normalized-par16-2.opb	OPT f=1015 TT=0.48 T1=0.48	OPT f=1015 TT=2.392 T1=2.38	OPT f=1015 TT=1.214 T1=1.21	OPT f=1015 TT=3.387 T1=3.38	OPT f=1015 TT=2.658 T1=2.64	OPT f=1015 TT=0.48 T1=0.48	OPT f=1015 TT=0.547 T1=0.54	OPT f=1015 TT=5.042 T1=1.85	OPT f=1015 TT=2.696 T1=1.09	OPT f=1015 TT=19.204 T1=2.98
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/primes-dimacs-cnf/ normalized-par16-3-c.opb	OPT f=334 TT=0.289 T1=0.29	OPT f=334 TT=1.237 T1=1.23	OPT f=334 TT=0.727 T1=0.72	OPT f=334 TT=0.65 T1=0.64	OPT f=334 TT=0.749 T1=0.74	OPT f=334 TT=0.289 T1=0.29	OPT f=334 TT=0.413 T1=0.41	OPT f=334 TT=4.162 T1=0.78	OPT f=334 TT=1.994 T1=1.05	OPT f=334 TT=2.971 T1=2.04
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/ primes-dimacs-cnf/normalized-par16-3.opb	OPT f=1015 TT=0.157 T1=0.15	OPT f=1015 TT=1.9 T1=1.89	OPT f=1015 TT=1.015 T1=1.01	OPT f=1015 TT=1.901 T1=1.89	OPT f=1015 TT=2.827 T1=2.82	OPT f=1015 TT=0.157 T1=0.15	OPT f=1015 TT=0.676 T1=0.67	OPT f=1015 TT=4.86 T1=0.86	OPT f=1015 TT=2.956 T1=0.76	OPT f=1015 TT=6.708 T1=2.07
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/primes-dimacs-cnf/ normalized-par16-4-c.opb	OPT f=324 TT=0.03 T1=0.03	OPT f=324 TT=0.67 T1=0.67	OPT f=324 TT=0.294 T1=0.29	OPT f=324 TT=0.235 T1=0.23	OPT f=324 TT=0.443 T1=0.43	OPT f=324 TT=0.03 T1=0.03	OPT f=324 TT=0.211 T1=0.21	OPT f=324 TT=2.603 T1=0.77	OPT f=324 TT=1.234 T1=0.46	OPT f=324 TT=0.639 T1=0.08
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/ primes-dimacs-cnf/normalized-par16-4.opb	OPT f=1015 TT=0.088 T1=0.08	OPT f=1015 TT=1.375 T1=1.37	OPT f=1015 TT=0.63 T1=0.62	OPT f=1015 TT=1.442 T1=1.43	OPT f=1015 TT=1.636 T1=1.63	OPT f=1015 TT=0.088 T1=0.08	OPT f=1015 TT=0.356 T1=0.5	OPT f=1015 TT=3.183 T1=1.35	OPT f=1015 TT=1.484 T1=0.81	OPT f=1015 TT=4.988 T1=1.53
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/primes-dimacs-cnf/ normalized-par16-5-c.opb	OPT f=341 TT=0.165 T1=0.16	OPT f=341 TT=3.703 T1=3.7	OPT f=341 TT=0.508 T1=0.5	OPT f=341 TT=0.554 T1=0.55	OPT f=341 TT=1.019 T1=1.01	OPT f=341 TT=0.165 T1=0.16	OPT f=341 TT=0.256 T1=0.25	OPT f=341 TT=3.253 T1=0.77	OPT f=341 TT=1.535 T1=0.93	OPT f=341 TT=1.426 T1=0.66
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/ primes-dimacs-cnf/normalized-par16-5.opb	OPT f=1015 TT=0.064 T1=0.06	OPT f=1015 TT=2.283 T1=2.27	OPT f=1015 TT=0.937 T1=0.93	OPT f=1015 TT=0.731 T1=0.72	OPT f=1015 TT=1.839 T1=1.83	OPT f=1015 TT=0.064 T1=0.06	OPT f=1015 TT=0.512 T1=0.51	OPT f=1015 TT=4.125 T1=0.87	OPT f=1015 TT=1.943 T1=1.28	OPT f=1015 TT=6.104 T1=1.27
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/primes-dimacs-cnf/ normalized-par32-1-c.opb	OPT f=1315 TT=875.815 T1=875.95	? (TO) TT=1800.1	? (TO) TT=1800.02	? (TO) TT=1800.02	? (TO) TT=1800.02	OPT f=1315 TT=875.815 T1=875.95	SAT (TO) f=1315 TT=1800.03 T1=1800.3	? (TO) TT=1801.1	? (TO) TT=1800.03	? (TO) TT=1800.1
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/ primes-dimacs-cnf/normalized-par32-1.opb		? (TO) TT=1800	? (TO) TT=1800.02	? (TO) TT=1800.02	? (TO) TT=1800.02	? (TO) TT=1800.02	? (TO) TT=1800.02	? (TO) TT=1800.02	? (TO) TT=1800.76	? (TO) TT=1800.04
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/primes-dimacs-cnf/ normalized-par32-2-c.opb		? (TO) TT=1800.1	? (TO) TT=1800.01	? (TO) TT=1800.02	? (TO) TT=1800.02	? (TO) TT=1800.02	? (TO) TT=1800.02	? (TO) TT=1801.31	? (TO) TT=1800.41	? (TO) TT=1800.1
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/ primes-dimacs-cnf/normalized-par32-2.opb		? (TO) TT=1800.09	? (TO) TT=1800.09	? (TO) TT=1800.02	? (TO) TT=1800.02	? (TO) TT=1800.02	? (TO) TT=1800.02	? (TO) TT=1800.91	? (TO) TT=1800.03	? (TO) TT=1800.04
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/primes-dimacs-cnf/ normalized-par32-3-c.opb		? (TO) TT=1800.01	? (TO) TT=1800.03	? (TO) TT=1800.02	? (TO) TT=1800.02	? (TO) TT=1800.02	? (TO) TT=1800.01	? (TO) TT=1800.54	? (TO) TT=1800.62	? (TO) TT=1800.03
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/ primes-dimacs-cnf/normalized-par32-3.opb		? (TO) TT=1800.08	? (TO) TT=1800.02	? (TO) TT=1800.02	? (TO) TT=1800.02	? (TO) TT=1800.02	? (TO) TT=1800.02	? (TO) TT=1800.08	? (TO) TT=1800.01	? (TO) TT=1800.07
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/primes-dimacs-cnf/ normalized-par32-4-c.opb		? (TO) TT=1800.09	? (TO) TT=1800.02	? (TO) TT=1800.02	? (TO) TT=1800.01	? (TO) TT=1800.02	? (TO) TT=1800.01	? (TO) TT=1800.81	? (TO) TT=1800.05	? (TO) TT=1800.09
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/ primes-dimacs-cnf/normalized-par32-4.opb		? (TO) TT=1800.09	? (TO) TT=1800.02	? (TO) TT=1800.02	? (TO) TT=1800.02	? (TO) TT=1800.02	? (TO) TT=1800.02	? (TO) TT=1800.09	? (TO) TT=1800	? (TO) TT=1800.06
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/primes-dimacs-cnf/ normalized-par32-5-c.opb		? (TO) TT=1800.09	? (TO) TT=1800.02	? (TO) TT=1800.02	? (TO) TT=1800.02	? (TO) TT=1800.02	? (TO) TT=1800.02	? (TO) TT=1801.19	? (TO) TT=1800.04	? (TO) TT=1800.04
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/ primes-dimacs-cnf/normalized-par32-5.opb		? (TO) TT=1800.09	? (TO) TT=1800.02	? (TO) TT=1800.01	? (TO) TT=1800.02	? (TO) TT=1800.01	? (TO) TT=1800.02	? (TO) TT=1800.17	? (TO) TT=1800.08	? (TO) TT=1800.08
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/primes-dimacs-cnf/ normalized-par8-1-c.opb	OPT f=64 TT=0.002 T1=0	OPT f=64 TT=0.027 T1=0.02	OPT f=64 TT=0.013 T1=0.01	OPT f=64 TT=0.014 T1=0.01	OPT f=64 TT=0.02 T1=0.02	OPT f=64 TT=0.002 T1=0	OPT f=64 TT=0.003 T1=0	OPT f=64 TT=0.325 T1=0.67	OPT f=64 TT=0.244 T1=0.17	OPT f=64 TT=0.083 T1=0.02
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/ primes-dimacs-cnf/normalized-par8-1.opb	OPT f=350 TT=0.012 T1=0.01	OPT f=350 TT=0.036 T1=0.03	OPT f=350 TT=0.019 T1=0.01	OPT f=350 TT=0.054 T1=0.05	OPT f=350 TT=0.068 T1=0.07	OPT f=350 TT=0.012 T1=0.01	OPT f=350 TT=0.022 T1=0.02	OPT f=350 TT=0.653 T1=0.79	OPT f=350 TT=0.444 T1=0.25	OPT f=350 TT=0.062 T1=0.05
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/primes-dimacs-cnf/ normalized-par8-2-c.opb	OPT f=68 TT=0.003 T1=0	OPT f=68 TT=0.025 T1=0.02	OPT f=68 TT=0.013 T1=0.01	OPT f=68 TT=0.013 T1=0.01	OPT f=68 TT=0.032 T1=0.03	OPT f=68 TT=0.003 T1=0	OPT f=68 TT=0.003 T1=0	OPT f=68 TT=0.385 T1=0.7	OPT f=68 TT=0.263 T1=0.16	OPT f=68 TT=0.098 T1=0.02
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/ primes-dimacs-cnf/normalized-par8-2.opb	OPT f=350 TT=0.012 T1=0.01	OPT f=350 TT=0.032 T1=0.03	OPT f=350 TT=0.019 T1=0.02	OPT f=350 TT=0.055 T1=0.05	OPT f=350 TT=0.068 T1=0.06	OPT f=350 TT=0.012 T1=0.01	OPT f=350 TT=0.025 T1=0.02	OPT f=350 TT=0.695 T1=0.78	OPT f=350 TT=0.484 T1=0.25	OPT f=350 TT=0.065 T1=0.05
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/primes-dimacs-cnf/ normalized-par8-3-c.opb	OPT f=75 TT=0.003 T1=0	OPT f=75 TT=0.03 T1=0.03	OPT f=75 TT=0.015 T1=0.01	OPT f=75 TT=0.02 T1=0.01	OPT f=75 TT=0.019 T1=0.01	OPT f=75 TT=0.003 T1=0	OPT f=75 TT=0.004 T1=0	OPT f=75 TT=0.365 T1=0.68	OPT f=75 TT=0.264 T1=0.18	OPT f=75 TT=0.114 T1=0.03
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/ primes-dimacs-cnf/normalized-par8-3.opb	OPT f=350 TT=0.013 T1=0.01	OPT f=350 TT=0.034 T1=0.03	OPT f=350 TT=0.02 T1=0.02	OPT f=350 TT=0.054 T1=0.05	OPT f=350 TT=0.058 T1=0.06	OPT f=350 TT=0.013 T1=0.01	OPT f=350 TT=0.022 T1=0.02	OPT f=350 TT=0.664 T1=0.78	OPT f=350 TT=0.483 T1=0.25	OPT f=350 TT=0.063 T1=0.05
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/primes-dimacs-cnf/ normalized-par8-4-c.opb	OPT f=67 TT=0.003 T1=0	OPT f=67 TT=0.028 T1=0.03	OPT f=67 TT=0.013 T1=0.01	OPT f=67 TT=0.015 T1=0.01	OPT f=67 TT=0.014 T1=0.01	OPT f=67 TT=0.003 T1=0	OPT f=67 TT=0.005 T1=0	OPT f=67 TT=0.324 T1=0.69	OPT f=67 TT=0.243 T1=0.16	OPT f=67 TT=0.091 T1=0.02
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/ primes-dimacs-cnf/normalized-par8-4.opb	OPT f=350 TT=0.012 T1=0.01	OPT f=350 TT=0.034 T1=0.03	OPT f=350 TT=0.019 T1=0.01	OPT f=350 TT=0.059 T1=0.05	OPT f=350 TT=0.077 T1=0.07	OPT f=350 TT=0.012 T1=0.01	OPT f=350 TT=0.023 T1=0.02	OPT f=350 TT=0.594 T1=0.76	OPT f=350 TT=0.415 T1=0.25	OPT f=350 TT=0.438 T1=0.05
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/primes-dimacs-cnf/ normalized-par8-5-c.opb	OPT f=75 TT=0.003 T1=0	OPT f=75 TT=0.024 T1=0.02	OPT f=75 TT=0.014 T1=0.01	OPT f=75 TT=0.02 T1=0.01	OPT f=75 TT=0.027 T1=0.02	OPT f=75 TT=0.003 T1=0	OPT f=75 TT=0.003 T1=0	OPT f=75 TT=0.354 T1=0.67	OPT f=75 TT=0.263 T1=0.17	OPT f=75 TT=0.105 T1=0.02
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/ primes-dimacs-cnf/normalized-par8-5.opb	OPT f=350 TT=0.012 T1=0.01	OPT f=350 TT=0.035 T1=0.03	OPT f=350 TT=0.019 T1=0.01	OPT f=350 TT=0.021 T1=0.02	OPT f=350 TT=0.056 T1=0.05	OPT f=350 TT=0.012 T1=0.01	OPT f=350 TT=0.021 T1=0.02	OPT f=350 TT=0.664 T1=0.78	OPT f=350 TT=0.446 T1=0.26	OPT f=350 TT=0.442 T1=0.05
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/primes-dimacs-cnf/ normalized-ssa0432-003.opb	UNSAT TT=0.008	UNSAT TT=0.033	UNSAT TT=0.02	UNSAT TT=0.019	UNSAT TT=0.019	UNSAT TT=0.008	UNSAT TT=0.009	UNSAT TT=0.646	UNSAT TT=0.495	UNSAT TT=0.065
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/primes-dimacs-cnf/ normalized-ssa2670-130.opb	UNSAT TT=0.023	UNSAT TT=0.063	UNSAT TT=0.036	UNSAT TT=0.06	UNSAT TT=0.059	UNSAT TT=0.023	UNSAT TT=0.023	UNSAT TT=1.474	UNSAT TT=0.833	UNSAT TT=0.18
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/primes-dimacs-cnf/ normalized-ssa2670-141.opb	UNSAT TT=0.02	UNSAT TT=0.057	UNSAT TT=0.038	UNSAT TT=0.044	UNSAT TT=0.045	UNSAT TT=0.02	UNSAT TT=0.02	UNSAT TT=1.014	UNSAT TT=0.835	UNSAT TT=0.192
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/primes-dimacs-cnf/ normalized-ssa6288-047.opb	UNSAT TT=0.165	UNSAT TT=0.183	UNSAT TT=0.165	UNSAT TT=0.533	UNSAT TT=0.485	UNSAT TT=0.188	UNSAT TT=0.189	UNSAT TT=2.664	UNSAT TT=1.184	UNSAT TT=0.963
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/primes-dimacs-cnf/ normalized-ssa7552-038.opb	OPT f=1448 TT=0.159 T1=0.15	? (TO) TT=1800.03	? (TO) TT=1800.03	SAT (TO) f=1448 TT=1800.01 T1=1800.3	OPT f=1448 TT=7.194 T1=7.15	OPT f=1448 TT=0.159 T1=0.15	OPT f=1448 TT=1.96 T1=1.95	SAT (TO) f=1448 TT=1800.69 T1=0.88	SAT (TO) f=1448 TT=1800.97 T1=0.47	? (TO) TT=1800.03
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/primes-dimacs-cnf/ normalized-ssa7552-158.opb	OPT f=1327 TT=0.086 T1=0.08	? (TO) TT=1800.14	? (TO) TT=1800.03	SAT (TO) f=1327 TT=1800.02 T1=1800.3	OPT f=1327 TT=4.832 T1=4.8	OPT f=1327 TT=0.086 T1=0.08	OPT f=1327 TT=1.115 T1=1.11	SAT (TO) f=1327 TT=1800.08 T1=0.85	SAT (TO) f=1327 TT=1800.08 T1=0.35	OPT f=1327 TT=6.693 T1=6.69
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/primes-dimacs-cnf/ normalized-ssa7552-159.opb	OPT f=1327 TT=0.083 T1=0.08	? (TO) TT=1800.13	? (TO) TT=1800.03	SAT (TO) f=1327 TT=1800.03 T1=1800.3	OPT f=1327 TT=4.729 T1=4.7	OPT f=1327 TT=0.083 T1=0.08	OPT f=1327 TT=1.152 T1=1.15	SAT (TO) f=1327 TT=1800.01 T1=0.87	SAT (TO) f=1327 TT=1800.7 T1=0.34	OPT f=1327 TT=6.884 T1=6.87
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/primes-dimacs-cnf/ normalized-ssa7552-160.opb	OPT f=1359 TT=0.091 T1=0.09	? (TO) TT=1800.05	? (TO) TT=1800.03	SAT (TO) f=1359 TT=1800.11 T1=1800.4	OPT f=1359 TT=4.631 T1=4.6	OPT f=1359 TT=0.091 T1=0.09	OPT f=1359 TT=1.308 T1=1.38	SAT (TO) f=1359 TT=1800.07 T1=1.39	SAT (TO) f=1359 TT=1800.09 T1=0.41	? (TO) TT=1800.02
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/routing/ normalized-s3-3-3-1pb.opb	OPT f=36 TT=0.011 T1=0.01	OPT f=36 TT=0.031 T1=0.03	OPT f=36 TT=0.016 T1=0.01	OPT f=36 TT=0.062 T1=0.06	OPT f=36 TT=0.121 T1=0.12	OPT f=36 TT=0.011 T1=0.01	OPT f=36 TT=0.02 T1=0.02	OPT f=36 TT=1.115 T1=0.7	OPT f=36 TT=0.503 T1=0.24	OPT f=36 TT=0.134 T1=0.05
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/routing/ normalized-s3-3-3-2pb.opb	OPT f=36 TT=0.008 T1=0	OPT f=36 TT=0.036 T1=0.03	OPT f=36 TT=0.018 T1=0.01	OPT f=36 TT=0.099 T1=0.09	OPT f=36 TT=0.139 T1=0.14	OPT f=36 TT=0.008 T1=0	OPT f=36 TT=0.014 T1=0.01	OPT f=36 TT=0.874 T1=0.72	OPT f=36 TT=0.603 T1=0.3	OPT f=36 TT=0.136 T1=0.07
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/routing/ normalized-s3-3-3-3pb.opb	OPT f=36 TT=0.008 T1=0	OPT f=36 TT=0.036 T1=0.03	OPT f=36 TT=0.018 T1=0.01	OPT f=36 TT=0.1 T1=0.1	OPT f=36 TT=0.124 T1=0.13	OPT f=36 TT=0.008 T1=0	OPT f=36 TT=0.023 T1=0.02	OPT f=36 TT=1.153 T1=0.71	OPT f=36 TT=0.586 T1=0.29	OPT f=36 TT=0.108 T1=0.04
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/routing/ normalized-s3-3-3-4pb.opb	OPT f=36 TT=0.01 T1=0	OPT f=36 TT=0.044 T1=0.04	OPT f=36 TT=0.022 T1=0.02	OPT f=36 TT=0.082 T1=0.08	OPT f=36 TT=0.142 T1=0.14	OPT f=36 TT=0.01 T1=0	OPT f=36 TT=0.018 T1=0.01	OPT f=36 TT=1.194 T1=0.72	OPT f=36 TT=0.615 T1=0.24	OPT f=36 TT=0.102 T1=0.04
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/routing/ normalized-s3-3-3-5pb.opb	OPT f=34 TT=0.008 T1=0	OPT f=34 TT=0.041 T1=0.04	OPT f=34 TT=0.032 T1=0.03	OPT f=34 TT=0.083 T1=0.08	OPT f=34 TT=0.158 T1=0.15	OPT f=34 TT=0.008 T1=0	OPT f=34 TT=0.015 T1=0.01	OPT f=34 TT=1.723 T1=1.23	OPT f=34 TT=0.673 T1=0.19	OPT f=34 TT=0.151 T1=0.14
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/routing/ normalized-s4-4-3-10pb.opb	OPT f=70 TT=0.104 T1=0.1	OPT f=70 TT=0.375 T1=0.37	OPT f=70 TT=0.104 T1=0.1	OPT f=70 TT=1.041 T1=1.04	OPT f=70 TT=1.007 T1=1	OPT f=70 TT=0.21 T1=0.21	OPT f=70 TT=0.295 T1=0.29	OPT f=70 TT=4.872 T1=1.33	OPT f=70 TT=1.584 T1=0.66	OPT f=70 TT=1.62 T1=1.56
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/routing/ normalized-s4-4-3-1pb.opb	OPT f=62 TT=0.038 T1=0.03	OPT f=62 TT=15.602 T1=15.6	OPT f=62 TT=7.934 T1=7.93	OPT f=62 TT=3.467 T1=3.46	OPT f=62 TT=2.051 T1=2.04	OPT f=62 TT=0.038 T1=0.03	OPT f=62 TT=0.266 T1=0.26	OPT f=62 TT=188.007 T1=5.84	OPT f=62 TT=536.192 T1=7.92	OPT f=62 TT=7.436 T1=7.38
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/routing/ normalized-s4-4-3-2pb.opb	OPT f=64 TT=0.397 T1=0.39	OPT f=64 TT=6.932 T1=6.93	OPT f=64 TT=1.935 T1=1.93	OPT f=64 TT=11.348 T1=11.34	OPT f=64 TT=3.075 T1=3.07	OPT f=64 TT=0.397 T1=0.39	OPT f=64 TT=1.428 T1=1.42	OPT f=64 TT=227.618 T1=6.83	OPT f=64 TT=82.73 T1=9.66	OPT f=64 TT=1.677 T1=1.62
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/routing/ normalized-s4-4-3-3pb.opb	OPT f=62 TT=0.299 T1=0.29	OPT f=62 TT=13.44 T1=13.44	OPT f=62 TT=8.496 T1=8.5	OPT f=62 TT=4.467 T1=4.46	OPT f=62 TT=2.576 T1=2.57	OPT f=62 TT=0.299 T1=0.29	OPT f=62 TT=0.593 T1=0.59	OPT f=62 TT=155.529 T1=31.31	OPT f=62 TT=84.78 T1=51.64	OPT f=62 TT=21.491 T1=21.39
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/routing/ normalized-s4-4-3-4pb.opb	OPT f=60 TT=0.184 T1=0.18	OPT f=60 TT=12.047 T1=12.04	OPT f=60 TT=15.762 T1=15.76	OPT f=60 TT=9.712 T1=9.7	OPT f=60 TT=2.403 T1=2.43	OPT f=60 TT=0.184 T1=0.18	OPT f=60 TT=0.342 T1=0.34	OPT f=60 TT=951.36 T1=22.82	OPT f=60 TT=405.95 T1=101.34	OPT f=60 TT=8.299 T1=8.24
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/routing/ normalized-s4-4-3-5pb.opb	OPT f=60 TT=0.376 T1=0.37	OPT f=60 TT=10.853 T1=10.85	OPT f=60 TT=19.979 T1=19.98	OPT f=60 TT=6.431 T1=6.43	OPT f=60 TT=0.922 T1=0.91	OPT f=60 TT=0.376 T1=0.37	OPT f=60 TT=0.775 T1=0.77	OPT f=60 TT=258.277 T1=29.87	OPT f=60 TT=116.56 T1=46.04	OPT f=60 TT=11.049 T1=10.99
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/routing/ normalized-s4-4-3-6pb.opb	OPT f=66 TT=0.229 T1=0.22	OPT f=66 TT=4.668 T1=4.66	OPT f=66 TT=1.747 T1=1.74	OPT f=66 TT=4.547 T1=4.54	OPT f=66 TT=2.534 T1=2.53	OPT f=66 TT=0.229 T1=0.22	OPT f=66 TT=0.699 T1=0.82	OPT f=66 TT=47.936 T1=2.8	OPT f=66 TT=11.573 T1=1.66	OPT f=66 TT=61.889 T1=1.04
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/routing/ normalized-s4-4-3-7pb.opb	OPT f=64 TT=0.405 T1=0.4	OPT f=64 TT=1.779 T1=1.77	OPT f=64 TT=1.871 T1=1.87	OPT f=64 TT=3.663 T1=3.66	OPT f=64 TT=0.924 T1=0.92	OPT f=64 TT=0.405 T1=0.4	OPT f=64 TT=0.845 T1=0.84	OPT f=64 TT=21.091 T1=3.81	OPT f=64 TT=7.793 T1=2.31	OPT f=64 TT=26.579 T1=26.52
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/routing/ normalized-s4-4-3-8pb.opb	OPT f=36 TT=0.021 T1=0.02	OPT f=36 TT=6.463 T1=6.46	OPT f=36 TT=1.937 T1=1.93	OPT f=36 TT=4.712 T1=4.71	OPT f=36 TT=0.341 T1=0.34	OPT f=36 TT=0.021 T1=0.02	OPT f=36 TT=0.134 T1=0.13	OPT f=36 TT=50.916 T1=10.31	OPT f=36 TT=107.82 T1=2.34	OPT f=36 TT=0.234 T1=0.22
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/routing/ normalized-s4-4-3-9pb.opb	OPT f=68 TT=0.193 T1=0.19	OPT f=68 TT=2.122 T1=2.12	OPT f=68 TT=1.524 T1=1.52	OPT f=68 TT=14.856 T1=14.85	OPT f=68 TT=1.913 T1=1.9	OPT f=68 TT=0.193 T1=0.19	OPT f=68 TT=0.401 T1=0.4	OPT f=68 TT=10.371 T1=1.32	OPT f=68 TT=4.592 T1=2.1	OPT f=68 TT=130.572 T1=1.21
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/ synthesis-ptl-cmos-circuits/normalized-9symml.opb	SAT f=4693 TT=1800.01 T1=1800.3	? (TO) TT=1800.01	? (TO) TT=1800.02	SAT (TO) f=4899 TT=1800.03 T1=1800.4	SAT (TO) f=6227 TT=1800.01 T1=1800.3	SAT (TO) f=4693 TT=1800.01 T1=1800.3	SAT (TO) f=5202 TT=1800.19 T1=1800.4	SAT (TO) f=5498 TT=1800.69 T1=37.87	SAT (TO) f=5962 TT=1800.56 T1=1.56	? (TO) TT=1800.08
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/ synthesis-ptl-cmos-circuits/normalized-b1.opb	OPT f=128 TT=0.001 T1=0	OPT f=128 TT=0.023 T1=0.02	OPT f=128 TT=0.013 T1=0.01	OPT f=128 TT=0.003 T1=0	OPT f=128 TT=0.029 T1=0.02	OPT f=128 TT=0.002 T1=0	OPT f=128 TT=0.001 T1=0	OPT f=128 TT=0.183 T1=1.8	OPT f=128 TT=0.174 T1=0.14	OPT f=128 TT=0.022 T1=0.02
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/ synthesis-ptl-cmos-circuits/normalized-C17.opb	OPT f=260 TT=0 T1=0	OPT f=260 TT=0.022 T1=0.02	OPT f=260 TT=0.015 T1=0.01	OPT f=260 TT=0.001 T1=0	OPT f=260 TT=0.008 T1=0.01	OPT f=260 TT=0 T1=0	OPT f=260 TT=0.001 T1=0	OPT f=260 TT=0.174 T1=1.13	OPT f=260 TT=0.175 T1=0.14	OPT f=260 TT=0.022 T1=0.01
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/ synthesis-ptl-cmos-circuits/normalized-C432.opb	SAT f=4834 TT=1800.02 T1=1800.3	? (TO) TT=1800.02	? (TO) TT=1800.02	SAT (TO) f=5635 TT=1800.03 T1=1800.4	SAT (TO) f=7143 TT=1800.1 T1=1800.4	SAT (TO) f=4834 TT=1800.02 T1=1800.3	SAT (TO) f=5552 TT=1800.46 T1=1800.4	SAT (TO) f=6156 TT=1800.14 T1=125.58	SAT (TO) f=6879 TT=1800.02 T1=1181.17	? (TO) TT=1800.06
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/ synthesis-ptl-cmos-circuits/normalized-c8.opb	OPT f=1194 TT=11.714 T1=11.71	? (TO) TT=1800.02	? (TO) TT=1800.02	SAT (TO) f=1302 TT=1800.08 T1=1800.4	SAT (TO) f=1737 TT=1800.02 T1=1800.3	OPT f=1194 TT=11.714 T1=11.71	SAT (TO) f=1221 TT=1800.07 T1=1800.4	SAT (TO) f=1482 TT=1800.16 T1=296.34	SAT (TO) f=1557 TT=1800.75 T1=1163.63	OPT f=1194 TT=178.038 T1=80.91
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/ synthesis-ptl-cmos-circuits/normalized-cc.opb	OPT f=1567 TT=0.005 T1=0	OPT f=1567 TT=1.487 T1=1.48	OPT f=1567 TT=3.514 T1=3.51	SAT (TO) f=1588 TT=1800.02 T1=1800.3	SAT (TO) f=1585 TT=1800.02 T1=1800.3	OPT f=1567 TT=0.005 T1=0	SAT (TO) f=1597 TT=1800.1 T1=1800.4	SAT (TO) f=1603 TT=1800.04 T1=26.23	SAT (TO) f=1653 TT=1800.69 T1=9.08	OPT f=1567 TT=8.867 T1=3.27
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/ synthesis-ptl-cmos-circuits/normalized-cm42a.opb	OPT f=694 TT=0.068 T1=0.06	OPT f=694 TT=13.552 T1=13.55	OPT f=694 TT=7.441 T1=7.44	OPT f=694 TT=89.508 T1=89.52	OPT f=694 TT=32.095 T1=32.09	OPT f=694 TT=0.068 T1=0.06	OPT f=694 TT=54.005 T1=54.01	SAT (TO) f=694 TT=1800.93 T1=224.73	SAT (TO) f=801 TT=1800.08 T1=1556.84	? (TO) TT=1800.02
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/ synthesis-ptl-cmos-circuits/normalized-cmb.opb	OPT f=1053 TT=0.406 T1=0.4	? (TO) TT=1800.02	? (TO) TT=1800.02	SAT (TO) f=1187 TT=1800.1 T1=1800.4	SAT (TO) f=1524 TT=1800.02 T1=1800.3	OPT f=1053 TT=0.406 T1=0.4	SAT (TO) f=1101 TT=1800.1 T1=1800.4	SAT (TO) f=1398 TT=1800.53 T1=110.32	SAT (TO) f=1429 TT=1800.66 T1=1215.5	? (TO) TT=1800.03
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/ synthesis-ptl-cmos-circuits/normalized-mux.opb	OPT f=872 TT=8.669 T1=8.67	? (TO) TT=1800.02	? (TO) TT=1800.02	SAT (TO) f=1218 TT=1800.01 T1=1800.3	SAT (TO) f=872 TT=1800.02 T1=1800.3	OPT f=872 TT=8.669 T1=8.67	SAT (TO) f=986 TT=1800.08 T1=1800.4	SAT (TO) f=1232 TT=1800.26 T1=897.9	SAT (TO) f=1473 TT=1800.67 T1=0.39	? (TO) TT=1800.02
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/synthesis-ptl-cmos-circuits/ normalized-my_adder.opb	OPT f=4561 TT=0.065 T1=0.06	? (TO) TT=1800.01	? (TO) TT=1800.02	SAT (TO) f=5209 TT=1800.02 T1=1800.4	SAT (TO) f=6071 TT=1800.02 T1=1800.3	OPT f=4561 TT=0.065 T1=0.06	SAT (TO) f=5301 TT=1800.15 T1=1800.4	SAT (TO) f=5246 TT=1800.09 T1=546.42	SAT (TO) f=6092 TT=1800.05 T1=0.28	? (TO) TT=1800.08
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/ttp/ normalized-circ10_3.opb	SAT f=342 TT=1800.07 T1=1800.4	? (TO) TT=1800.09	? (TO) TT=1800.01	SAT (TO) f=342 TT=1800.07 T1=1800.4	SAT (TO) f=402 TT=1800.09 T1=1800.4	SAT (TO) f=374 TT=1800.07 T1=1800.4	SAT (TO) f=348 TT=1800.06 T1=1800.4	SAT (TO) f=354 TT=1800.1 T1=3.08	SAT (TO) f=378 TT=1800.02 T1=1.56	? (TO) TT=1800.02
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/ ttp/normalized-circ4_3.opb	OPT f=20 TT=0.027 T1=0.02	OPT f=20 TT=0.05 T1=0.04	OPT f=20 TT=0.027 T1=0.02	OPT f=20 TT=0.083 T1=0.08	OPT f=20 TT=0.104 T1=0.1	OPT f=20 TT=0.115 T1=0.11	OPT f=20 TT=0.096 T1=0.09	OPT f=20 TT=1.974 T1=0.74	OPT f=20 TT=0.855 T1=0.24	OPT f=20 TT=0.967 T1=0.21
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/ ttp/normalized-circ6_3.opb	SAT f=64 TT=1800.07 T1=9.37	? (TO) TT=1800.09	? (TO) TT=1800.02	SAT (TO) f=66 TT=1800.02 T1=1800.3	SAT (TO) f=90 TT=1800.02 T1=1800.3	SAT (TO) f=70 TT=1800.02 T1=1800.3	SAT (TO) f=66 TT=1800.02 T1=1800.3	SAT (TO) f=68 TT=1800.14 T1=72.46	SAT (TO) f=64 TT=1800.07 T1=9.37	? (TO) TT=1800.04
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/ ttp/normalized-circ8_3.opb	SAT f=154 TT=1800.09 T1=63.43	? (TO) TT=1800.11	? (TO) TT=1800.02	SAT (TO) f=162 TT=1800.11 T1=1800.4	SAT (TO) f=214 TT=1800.11 T1=1800.4	SAT (TO) f=182 TT=1800.09 T1=1800.4	SAT (TO) f=170 TT=1800.1 T1=1800.4	SAT (TO) f=180 TT=1800.19 T1=4.71	SAT (TO) f=154 TT=1800.09 T1=63.43	? (TO) TT=1800.05
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/ttp/ normalized-data10_3.opb	SAT f=78108 TT=1800.09 T1=1800.4	? (TO) TT=1800.09	? (TO) TT=1800.1	SAT (TO) f=80122 TT=1800.08 T1=1800.4	SAT (TO) f=91022 TT=1800.08 T1=1800.4	SAT (TO) f=78108 TT=1800.09 T1=1800.4	? TT=103.468	SAT (TO) f=81570 TT=1800.86 T1=3.59	SAT (TO) f=81962 TT=1800.03 T1=3.97	? (TO) TT=1800.07
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/ ttp/normalized-data4_3.opb	OPT f=8276 TT=0.148 T1=0.15	OPT f=8276 TT=0.432 T1=0.43	OPT f=8276 TT=0.148 T1=0.15	OPT f=8276 TT=0.874 T1=0.87	OPT f=8276 TT=0.98 T1=0.97	OPT f=8276 TT=0.252 T1=0.25	OPT f=8276 TT=0.364 T1=0.36	OPT f=8276 TT=3.145 T1=2.23	OPT f=8276 TT=0.935 T1=0.34	OPT f=8276 TT=5.258 T1=1.67
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/ ttp/normalized-data6_3.opb	SAT f=24853 TT=1800.02 T1=1800.3	? (TO) TT=1800.09	? (TO) TT=1800.02	SAT (TO) f=24853 TT=1800.02 T1=1800.3	SAT (TO) f=34145 TT=1800.02 T1=1800.3	SAT (TO) f=25115 TT=1800.02 T1=1800.3	? TT=90.037	SAT (TO) f=25186 TT=1800.01 T1=36.97	SAT (TO) f=25108 TT=1800.65 T1=1.1	? (TO) TT=1800.09
normalized-PB06/OPT-SMALLINT/ submitted-PB05/manquinho/ ttp/normalized-data8_3.opb	SAT f=42718 TT=1800.01 T1=1800.3	? (TO) TT=1800.01	? (TO) TT=1800.02	SAT (TO) f=47019 TT=1800.01 T1=1800.3	SAT (TO) f=57240 TT=1800.09 T1=1800.4	SAT (TO) f=42718 TT=1800.01 T1=1800.3	? TT=84.93	SAT (TO) f=46875 TT=1800 T1=24.76	SAT (TO) f=50012 TT=1800.71 T1=1.06	? (TO) TT=1800.09
normalized-PB06/OPT-SMALLINT/submitted-PB05/ sorensson/garden/normalized-g100x100.opb	SAT f=2932 TT=1800.71 T1=73.78	? (TO) TT=1800.16	? (TO) TT=1800.02	SAT (TO) f=3334 TT=1800.09 T1=1800.4	SAT (TO) f=3334 TT=1800.08 T1=1800.4	SAT (TO) f=3334 TT=1800.02 T1=1800.3	SAT (TO) f=3334 TT=1800.08 T1=1800.4	SAT (TO) f=2932 TT=1800.71 T1=73.78	SAT (TO) f=3334 TT=1800.05 T1=0.58	? (TO) TT=1800.11
normalized-PB06/OPT-SMALLINT/ submitted-PB05/sorensson/ garden/normalized-g15x15.opb	OPT f=53 TT=24.648 T1=24.65	? (TO) TT=1800.02	? (TO) TT=1800.02	SAT (TO) f=54 TT=1800.01 T1=1800.3	OPT f=53 TT=450.06 T1=450.12	OPT f=53 TT=24.648 T1=24.65	OPT f=53 TT=70.189 T1=70.2	SAT (TO) f=63 TT=1803.88 T1=69.72	SAT (TO) f=71 TT=1800.03 T1=1441.6	? (TO) TT=1800.04
normalized-PB06/OPT-SMALLINT/ submitted-PB05/sorensson/ garden/normalized-g2x2.opb	OPT f=2 TT=0 T1=0	OPT f=2 TT=0.021 T1=0.02	OPT f=2 TT=0.012 T1=0.01	OPT f=2 TT=0.001 T1=0	OPT f=2 TT=0.001 T1=0	OPT f=2 TT=0.002 T1=0	OPT f=2 TT=0 T1=0	OPT f=2 TT=0.163 T1=0.62	OPT f=2 TT=0.154 T1=0.12	OPT f=2 TT=0.018 T1=0.01
normalized-PB06/OPT-SMALLINT/ submitted-PB05/sorensson/ garden/normalized-g4x4.opb	OPT f=4 TT=0.001 T1=0	OPT f=4 TT=0.022 T1=0.02	OPT f=4 TT=0.013 T1=0.01	OPT f=4 TT=0.002 T1=0	OPT f=4 TT=0.002 T1=0	OPT f=4 TT=0.001 T1=0	OPT f=4 TT=0.001 T1=0	OPT f=4 TT=0.174 T1=1.63	OPT f=4 TT=0.173 T1=0.14	OPT f=4 TT=0.019 T1=0.01
normalized-PB06/OPT-SMALLINT/ submitted-PB05/sorensson/ garden/normalized-g7x7.opb	OPT f=12 TT=0.002 T1=0	OPT f=12 TT=0.035 T1=0.03	OPT f=12 TT=0.023 T1=0.02	OPT f=12 TT=0.022 T1=0.02	OPT f=12 TT=0.023 T1=0.02	OPT f=12 TT=0.002 T1=0	OPT f=12 TT=0.012 T1=0.01	OPT f=12 TT=3.423 T1=3.14	OPT f=12 TT=39.53 T1=16.78	OPT f=12 TT=1.596 T1=1.11
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
normalized-PB06/OPT-SMALLINT/ submitted-PB05/sorensson/ garden/normalized-g9x3.opb	OPT f=7 TT=0.001 T1=0	OPT f=7 TT=0.023 T1=0.02	OPT f=7 TT=0.014 T1=0.01	OPT f=7 TT=0.008 T1=0	OPT f=7 TT=0.006 T1=0	OPT f=7 TT=0.001 T1=0	OPT f=7 TT=0.002 T1=0	OPT f=7 TT=0.184 T1=1.64	OPT f=7 TT=0.533 T1=0.18	OPT f=7 TT=0.023 T1=0.02
normalized-PB06/OPT-SMALLINT/ submitted-PB05/sorensson/ garden/normalized-g9x9.opb	OPT f=20 TT=0.009 T1=0.01	OPT f=20 TT=1.176 T1=1.17	OPT f=20 TT=5.585 T1=5.58	OPT f=20 TT=0.308 T1=0.3	OPT f=20 TT=0.23 T1=0.23	OPT f=20 TT=0.009 T1=0.01	OPT f=20 TT=0.143 T1=0.14	SAT (TO) f=20 TT=1800.02 T1=514.77	SAT (TO) f=23 TT=1800.08 T1=37.94	? (TO) TT=1800.06
normalized-PB06/OPT-SMALLINT/submitted-PB06/ liu/domset/ normalized-domset_v500_e2000_w30_mw19_10.opb.PB06.opb	SAT f=212 TT=1800.02 T1=1800.3	? (TO) TT=1800.11	? (TO) TT=1800.02	SAT (TO) f=215 TT=1800.1 T1=1800.4	SAT (TO) f=238 TT=1800.02 T1=1800.3	SAT (TO) f=469 TT=1800.02 T1=1800.3	SAT (TO) f=212 TT=1800.02 T1=1800.3	SAT (TO) f=219 TT=1800.7 T1=331.37	SAT (TO) f=222 TT=1800.02 T1=726.44	? (TO) TT=1800.1
normalized-PB06/OPT-SMALLINT/submitted-PB06/ liu/domset/ normalized-domset_v500_e2000_w30_mw19_11.opb.PB06.opb	SAT f=210 TT=1800.02 T1=1800.3	? (TO) TT=1800.02	? (TO) TT=1800.02	SAT (TO) f=217 TT=1800.02 T1=1800.3	SAT (TO) f=230 TT=1800.02 T1=1800.3	SAT (TO) f=472 TT=1800.02 T1=1800.3	SAT (TO) f=210 TT=1800.02 T1=1800.3	SAT (TO) f=220 TT=1800.46 T1=244.35	SAT (TO) f=223 TT=1800.78 T1=78.74	? (TO) TT=1800.06
normalized-PB06/OPT-SMALLINT/submitted-PB06/ liu/domset/ normalized-domset_v500_e2000_w30_mw19_12.opb.PB06.opb	SAT f=205 TT=1800.1 T1=1800.4	? (TO) TT=1800.02	? (TO) TT=1800.02	SAT (TO) f=207 TT=1800.02 T1=1800.3	SAT (TO) f=224 TT=1800.08 T1=1800.4	SAT (TO) f=464 TT=1800.02 T1=1800.3	SAT (TO) f=205 TT=1800.1 T1=1800.4	SAT (TO) f=212 TT=1800.04 T1=83.25	SAT (TO) f=215 TT=1800.66 T1=184.07	? (TO) TT=1800.08
normalized-PB06/OPT-SMALLINT/submitted-PB06/ liu/domset/ normalized-domset_v500_e2000_w30_mw19_13.opb.PB06.opb	SAT f=214 TT=1800.02 T1=1800.3	? (TO) TT=1800.01	? (TO) TT=1800.02	SAT (TO) f=220 TT=1800.02 T1=1800.3	SAT (TO) f=238 TT=1800.02 T1=1800.3	SAT (TO) f=475 TT=1800.02 T1=1800.3	SAT (TO) f=214 TT=1800.02 T1=1800.3	SAT (TO) f=216 TT=1800.54 T1=372.48	SAT (TO) f=216 TT=1800.09 T1=300.17	? (TO) TT=1800.09
normalized-PB06/OPT-SMALLINT/submitted-PB06/ liu/domset/ normalized-domset_v500_e2000_w30_mw19_14.opb.PB06.opb	SAT f=207 TT=1800.02 T1=1800.3	? (TO) TT=1800.11	? (TO) TT=1800.02	SAT (TO) f=218 TT=1800.03 T1=1800.3	SAT (TO) f=227 TT=1800.01 T1=1800.3	SAT (TO) f=467 TT=1800.02 T1=1800.3	SAT (TO) f=207 TT=1800.02 T1=1800.3	SAT (TO) f=218 TT=1800.05 T1=468.96	SAT (TO) f=220 TT=1800.69 T1=102.26	? (TO) TT=1800.07
normalized-PB06/OPT-SMALLINT/submitted-PB06/ liu/domset/ normalized-domset_v500_e2000_w30_mw19_15.opb.PB06.opb	SAT f=213 TT=1800.02 T1=1800.3	? (TO) TT=1800.02	? (TO) TT=1800.03	SAT (TO) f=219 TT=1800.02 T1=1800.3	SAT (TO) f=237 TT=1800.02 T1=1800.3	SAT (TO) f=472 TT=1800.01 T1=1800.3	SAT (TO) f=213 TT=1800.02 T1=1800.3	SAT (TO) f=218 TT=1800.04 T1=142.94	SAT (TO) f=228 TT=1800.06 T1=592.22	? (TO) TT=1800.02
normalized-PB06/OPT-SMALLINT/submitted-PB06/ liu/domset/ normalized-domset_v500_e2000_w30_mw19_16.opb.PB06.opb	SAT f=213 TT=1800.01 T1=1800.3	? (TO) TT=1800.02	? (TO) TT=1800.02	SAT (TO) f=219 TT=1800.1 T1=1800.4	SAT (TO) f=231 TT=1800.02 T1=1800.3	SAT (TO) f=475 TT=1800.02 T1=1800.3	SAT (TO) f=213 TT=1800.01 T1=1800.3	SAT (TO) f=219 TT=1800.06 T1=450.46	SAT (TO) f=226 TT=1800.78 T1=8.49	? (TO) TT=1800.02
normalized-PB06/OPT-SMALLINT/submitted-PB06/ liu/domset/ normalized-domset_v500_e2000_w30_mw19_17.opb.PB06.opb	SAT f=219 TT=1800.03 T1=1800.3	? (TO) TT=1800.03	? (TO) TT=1800.02	SAT (TO) f=224 TT=1800.02 T1=1800.3	SAT (TO) f=249 TT=1800.02 T1=1800.3	SAT (TO) f=480 TT=1800.02 T1=1800.3	SAT (TO) f=219 TT=1800.03 T1=1800.3	SAT (TO) f=227 TT=1800.55 T1=774.59	SAT (TO) f=231 TT=1800.73 T1=925.36	? (TO) TT=1800.1
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
normalized-PB06/OPT-SMALLINT/submitted-PB06/ liu/domset/ normalized-domset_v500_e2000_w30_mw19_18.opb.PB06.opb	SAT f=212 TT=1800.02 T1=1800.3	? (TO) TT=1800.02	? (TO) TT=1800.02	SAT (TO) f=217 TT=1800.01 T1=1800.3	SAT (TO) f=234 TT=1800.11 T1=1800.4	SAT (TO) f=469 TT=1800.01 T1=1800.3	SAT (TO) f=212 TT=1800.02 T1=1800.3	SAT (TO) f=219 TT=1800.04 T1=575.89	SAT (TO) f=222 TT=1800.07 T1=4.06	? (TO) TT=1800.03
normalized-PB06/OPT-SMALLINT/submitted-PB06/ liu/domset/ normalized-domset_v500_e2000_w30_mw19_19.opb.PB06.opb	SAT f=204 TT=1800.02 T1=1800.3	? (TO) TT=1800.02	? (TO) TT=1800.11	SAT (TO) f=211 TT=1800.01 T1=1800.3	SAT (TO) f=222 TT=1800.02 T1=1800.3	SAT (TO) f=466 TT=1800.02 T1=1800.3	SAT (TO) f=204 TT=1800.02 T1=1800.3	SAT (TO) f=212 TT=1800.7 T1=401.71	SAT (TO) f=220 TT=1800.02 T1=1181.25	? (TO) TT=1800.01
normalized-PB06/OPT-SMALLINT/submitted-PB06/ liu/domset/ normalized-domset_v500_e2000_w30_mw19_20.opb.PB06.opb	SAT f=211 TT=1800.02 T1=1800.3	? (TO) TT=1800.02	? (TO) TT=1800.01	SAT (TO) f=212 TT=1800.02 T1=1800.3	SAT (TO) f=222 TT=1800.02 T1=1800.3	SAT (TO) f=472 TT=1800.01 T1=1800.3	SAT (TO) f=211 TT=1800.02 T1=1800.3	SAT (TO) f=219 TT=1800.48 T1=597.67	SAT (TO) f=223 TT=1800.09 T1=0.46	? (TO) TT=1800.11
normalized-PB06/OPT-SMALLINT/submitted-PB06/ liu/domset/ normalized-domset_v500_e2000_w30_mw19_21.opb.PB06.opb	SAT f=213 TT=1800.02 T1=1800.3	? (TO) TT=1800.02	? (TO) TT=1800.02	SAT (TO) f=217 TT=1800.02 T1=1800.3	SAT (TO) f=226 TT=1800.1 T1=1800.4	SAT (TO) f=477 TT=1800.01 T1=1800.3	SAT (TO) f=213 TT=1800.02 T1=1800.3	SAT (TO) f=220 TT=1800.49 T1=702.75	SAT (TO) f=229 TT=1800.02 T1=164.21	? (TO) TT=1800.09
normalized-PB06/OPT-SMALLINT/submitted-PB06/ liu/domset/ normalized-domset_v500_e2000_w30_mw19_22.opb.PB06.opb	SAT f=211 TT=1800.02 T1=1800.3	? (TO) TT=1800.01	? (TO) TT=1800.02	SAT (TO) f=213 TT=1800.02 T1=1800.3	SAT (TO) f=232 TT=1800.01 T1=1800.3	SAT (TO) f=469 TT=1800.02 T1=1800.3	SAT (TO) f=211 TT=1800.02 T1=1800.3	SAT (TO) f=216 TT=1800.04 T1=16.31	SAT (TO) f=216 TT=1800.73 T1=31.86	? (TO) TT=1800.11
normalized-PB06/OPT-SMALLINT/submitted-PB06/ liu/domset/ normalized-domset_v500_e2000_w30_mw19_23.opb.PB06.opb	SAT f=218 TT=1800.02 T1=1800.3	? (TO) TT=1800.01	? (TO) TT=1800.09	SAT (TO) f=223 TT=1800.1 T1=1800.4	SAT (TO) f=247 TT=1800.02 T1=1800.3	SAT (TO) f=478 TT=1800.02 T1=1800.3	SAT (TO) f=218 TT=1800.02 T1=1800.3	SAT (TO) f=222 TT=1800.03 T1=73.41	SAT (TO) f=229 TT=1800.6 T1=4.22	? (TO) TT=1800.04
normalized-PB06/OPT-SMALLINT/submitted-PB06/ liu/domset/ normalized-domset_v500_e2000_w30_mw19_24.opb.PB06.opb	SAT f=216 TT=1800.09 T1=1800.4	? (TO) TT=1800.02	? (TO) TT=1800.01	SAT (TO) f=223 TT=1800.1 T1=1800.4	SAT (TO) f=238 TT=1800.1 T1=1800.4	SAT (TO) f=474 TT=1800.02 T1=1800.3	SAT (TO) f=216 TT=1800.09 T1=1800.4	SAT (TO) f=219 TT=1800.04 T1=27.79	SAT (TO) f=219 TT=1800.73 T1=523.43	? (TO) TT=1800.02
normalized-PB06/OPT-SMALLINT/ submitted-PB06/liu/vtxcov/ normalized-vtxcov_v2000_e4000_0.opb.PB06.opb	SAT f=1160 TT=1800.03 T1=1800.3	? (TO) TT=1800.1	? (TO) TT=1800.03	SAT (TO) f=1200 TT=1800.01 T1=1800.4	SAT (TO) f=1200 TT=1800.02 T1=1800.3	SAT (TO) f=1200 TT=1800.02 T1=1800.3	SAT (TO) f=1160 TT=1800.03 T1=1800.3	SAT (TO) f=1174 TT=1800.04 T1=541.7	SAT (TO) f=1198 TT=1800.06 T1=0.47	? (TO) TT=1800.08
normalized-PB06/OPT-SMALLINT/ submitted-PB06/liu/vtxcov/ normalized-vtxcov_v2000_e4000_11.opb.PB06.opb	SAT f=1135 TT=1800.02 T1=1800.3	? (TO) TT=1800.02	? (TO) TT=1800.02	SAT (TO) f=1175 TT=1800.04 T1=1800.4	SAT (TO) f=1175 TT=1800.03 T1=1800.3	SAT (TO) f=1175 TT=1800.02 T1=1800.3	SAT (TO) f=1135 TT=1800.02 T1=1800.3	SAT (TO) f=1152 TT=1800.02 T1=411.98	SAT (TO) f=1171 TT=1800.73 T1=1286.14	? (TO) TT=1800.02
normalized-PB06/OPT-SMALLINT/ submitted-PB06/liu/vtxcov/ normalized-vtxcov_v2000_e4000_12.opb.PB06.opb	SAT f=1145 TT=1800.03 T1=1800.3	? (TO) TT=1800.1	? (TO) TT=1800.02	SAT (TO) f=1181 TT=1800.08 T1=1800.4	SAT (TO) f=1181 TT=1800.01 T1=1800.3	SAT (TO) f=1181 TT=1800.02 T1=1800.3	SAT (TO) f=1145 TT=1800.03 T1=1800.3	SAT (TO) f=1164 TT=1800.73 T1=259.34	SAT (TO) f=1180 TT=1800.05 T1=168.59	? (TO) TT=1800.1
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
normalized-PB06/OPT-SMALLINT/ submitted-PB06/liu/vtxcov/ normalized-vtxcov_v2000_e4000_18.opb.PB06.opb	SAT f=1143 TT=1800.02 T1=1800.3	? (TO) TT=1800.11	? (TO) TT=1800.04	SAT (TO) f=1198 TT=1800.06 T1=1800.4	SAT (TO) f=1198 TT=1800.1 T1=1800.4	SAT (TO) f=1198 TT=1800.03 T1=1800.3	SAT (TO) f=1143 TT=1800.02 T1=1800.3	SAT (TO) f=1171 TT=1800.36 T1=742.74	SAT (TO) f=1193 TT=1800.64 T1=1221.74	? (TO) TT=1800.11
normalized-PB06/OPT-SMALLINT/ submitted-PB06/liu/vtxcov/ normalized-vtxcov_v2000_e4000_1.opb.PB06.opb	SAT f=1152 TT=1800.03 T1=1800.3	? (TO) TT=1800.07	? (TO) TT=1800.11	SAT (TO) f=1189 TT=1800.06 T1=1800.4	SAT (TO) f=1189 TT=1800.02 T1=1800.3	SAT (TO) f=1189 TT=1800.02 T1=1800.3	SAT (TO) f=1152 TT=1800.03 T1=1800.3	SAT (TO) f=1159 TT=1800.04 T1=641.88	SAT (TO) f=1188 TT=1801.2 T1=0.4	? (TO) TT=1800.08
normalized-PB06/OPT-SMALLINT/ submitted-PB06/liu/vtxcov/ normalized-vtxcov_v2000_e4000_21.opb.PB06.opb	SAT f=1138 TT=1800.01 T1=1800.3	? (TO) TT=1800.09	? (TO) TT=1800.03	SAT (TO) f=1171 TT=1800.09 T1=1800.4	SAT (TO) f=1209 TT=1800.01 T1=1800.3	SAT (TO) f=1209 TT=1800.02 T1=1800.3	SAT (TO) f=1138 TT=1800.01 T1=1800.3	SAT (TO) f=1151 TT=1800.14 T1=701.43	SAT (TO) f=1206 TT=1800 T1=4.11	? (TO) TT=1800.09
normalized-PB06/OPT-SMALLINT/ submitted-PB06/liu/vtxcov/ normalized-vtxcov_v2000_e4000_2.opb.PB06.opb	SAT f=1146 TT=1800.02 T1=1800.3	? (TO) TT=1800.08	? (TO) TT=1800.02	SAT (TO) f=1200 TT=1800.04 T1=1800.4	SAT (TO) f=1200 TT=1800.01 T1=1800.3	SAT (TO) f=1200 TT=1800.02 T1=1800.3	SAT (TO) f=1146 TT=1800.02 T1=1800.3	SAT (TO) f=1169 TT=1800.38 T1=860.77	SAT (TO) f=1199 TT=1800.02 T1=0.79	? (TO) TT=1800.08
normalized-PB06/OPT-SMALLINT/ submitted-PB06/liu/vtxcov/ normalized-vtxcov_v2000_e4000_33.opb.PB06.opb	SAT f=1151 TT=1800.02 T1=1800.3	? (TO) TT=1800.08	? (TO) TT=1800.02	SAT (TO) f=1190 TT=1800.02 T1=1800.4	SAT (TO) f=1190 TT=1800.02 T1=1800.3	SAT (TO) f=1190 TT=1800.02 T1=1800.3	SAT (TO) f=1151 TT=1800.02 T1=1800.3	SAT (TO) f=1166 TT=1800.39 T1=896.31	SAT (TO) f=1187 TT=1800.64 T1=10.62	? (TO) TT=1800.08
normalized-PB06/OPT-SMALLINT/ submitted-PB06/liu/vtxcov/ normalized-vtxcov_v2000_e4000_34.opb.PB06.opb	SAT f=1141 TT=1800.02 T1=1800.3	? (TO) TT=1800.09	? (TO) TT=1800.03	SAT (TO) f=1170 TT=1800.03 T1=1800.4	SAT (TO) f=1181 TT=1800.11 T1=1800.4	SAT (TO) f=1181 TT=1800.02 T1=1800.3	SAT (TO) f=1141 TT=1800.02 T1=1800.3	SAT (TO) f=1157 TT=1800.3 T1=897.12	SAT (TO) f=1180 TT=1800.02 T1=0.43	? (TO) TT=1800.11
normalized-PB06/OPT-SMALLINT/ submitted-PB06/liu/vtxcov/ normalized-vtxcov_v2000_e4000_36.opb.PB06.opb	SAT f=1147 TT=1800.02 T1=1800.3	? (TO) TT=1800.12	? (TO) TT=1800.03	SAT (TO) f=1187 TT=1800.08 T1=1800.4	SAT (TO) f=1204 TT=1800.01 T1=1800.3	SAT (TO) f=1204 TT=1800.02 T1=1800.3	SAT (TO) f=1147 TT=1800.02 T1=1800.3	SAT (TO) f=1175 TT=1800.17 T1=895.7	SAT (TO) f=1204 TT=1800.05 T1=0.33	? (TO) TT=1800.11
normalized-PB06/OPT-SMALLINT/ submitted-PB06/liu/vtxcov/ normalized-vtxcov_v2000_e4000_43.opb.PB06.opb	SAT f=1150 TT=1800.11 T1=1800.4	? (TO) TT=1800.07	? (TO) TT=1800.07	SAT (TO) f=1187 TT=1800.07 T1=1800.4	SAT (TO) f=1199 TT=1800.02 T1=1800.3	SAT (TO) f=1199 TT=1800.02 T1=1800.3	SAT (TO) f=1150 TT=1800.11 T1=1800.4	SAT (TO) f=1163 TT=1800.03 T1=731.03	SAT (TO) f=1198 TT=1800.63 T1=76.71	? (TO) TT=1800.11
normalized-PB06/OPT-SMALLINT/ submitted-PB06/liu/vtxcov/ normalized-vtxcov_v2000_e4000_5.opb.PB06.opb	SAT f=1147 TT=1800.02 T1=1800.3	? (TO) TT=1800.08	? (TO) TT=1800.03	SAT (TO) f=1167 TT=1800.07 T1=1800.4	SAT (TO) f=1167 TT=1800.01 T1=1800.3	SAT (TO) f=1167 TT=1800.02 T1=1800.3	SAT (TO) f=1147 TT=1800.02 T1=1800.3	SAT (TO) f=1159 TT=1800.52 T1=388.96	SAT (TO) f=1164 TT=1800.01 T1=7.53	? (TO) TT=1800.08
normalized-PB06/OPT-SMALLINT/ submitted-PB06/liu/vtxcov/ normalized-vtxcov_v2000_e4000_6.opb.PB06.opb	SAT f=1148 TT=1800.02 T1=1800.3	? (TO) TT=1800.06	? (TO) TT=1800.1	SAT (TO) f=1211 TT=1800.07 T1=1800.4	SAT (TO) f=1211 TT=1800.11 T1=1800.4	SAT (TO) f=1211 TT=1800.02 T1=1800.3	SAT (TO) f=1148 TT=1800.02 T1=1800.3	SAT (TO) f=1171 TT=1800.15 T1=537.08	SAT (TO) f=1209 TT=1800.8 T1=24.37	? (TO) TT=1800.09
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
normalized-PB06/OPT-SMALLINT/ submitted-PB06/liu/vtxcov/ normalized-vtxcov_v2000_e4000_7.opb.PB06.opb	SAT f=1147 TT=1800.02 T1=1800.3	? (TO) TT=1800.12	? (TO) TT=1800.06	SAT (TO) f=1194 TT=1800.08 T1=1800.4	SAT (TO) f=1194 TT=1800.01 T1=1800.3	SAT (TO) f=1194 TT=1800.02 T1=1800.3	SAT (TO) f=1147 TT=1800.02 T1=1800.3	SAT (TO) f=1168 TT=1800.58 T1=522.55	SAT (TO) f=1194 TT=1800 T1=0.35	? (TO) TT=1800.08
normalized-PB06/OPT-SMALLINT/ submitted-PB06/liu/vtxcov/ normalized-vtxcov_v2000_e4000_8.opb.PB06.opb	SAT f=1156 TT=1800.02 T1=1800.3	? (TO) TT=1800.11	? (TO) TT=1800.04	SAT (TO) f=1168 TT=1800.09 T1=1800.4	SAT (TO) f=1203 TT=1800.1 T1=1800.4	SAT (TO) f=1203 TT=1800.02 T1=1800.3	SAT (TO) f=1156 TT=1800.02 T1=1800.3	SAT (TO) f=1174 TT=1800.36 T1=764.46	SAT (TO) f=1201 TT=1800.75 T1=0.79	? (TO) TT=1800.07
normalized-PB06/OPT-SMALLINT/ submitted-PB06/liu/wnq/ normalized-wnq_n100_mw99_0.opb.PB06.opb	SAT f=335 TT=1800.1 T1=1800.4	? (TO) TT=1800.1	? (TO) TT=1800.02	SAT (TO) f=6152 TT=1800.07 T1=1800.4	SAT (TO) f=3981 TT=1800.15 T1=1800.4	SAT (TO) f=335 TT=1800.1 T1=1800.4	? TT=69.238	SAT (TO) f=873 TT=1800.18 T1=217.28	SAT (TO) f=600 TT=1801.37 T1=3.29	? (TO) TT=1800.03
normalized-PB06/OPT-SMALLINT/ submitted-PB06/liu/wnq/ normalized-wnq_n100_mw99_10.opb.PB06.opb	SAT f=366 TT=1800.13 T1=1800.5	? (TO) TT=1800.01	? (TO) TT=1800.03	SAT (TO) f=6059 TT=1800.13 T1=1800.4	SAT (TO) f=3554 TT=1800.16 T1=1800.3	SAT (TO) f=366 TT=1800.13 T1=1800.5	? TT=69.553	SAT (TO) f=828 TT=1800.08 T1=14.28	SAT (TO) f=1258 TT=1800.04 T1=4.22	? (TO) TT=1800.05
normalized-PB06/OPT-SMALLINT/ submitted-PB06/liu/wnq/ normalized-wnq_n100_mw99_11.opb.PB06.opb	SAT f=378 TT=1800.06 T1=1800.4	? (TO) TT=1800.01	? (TO) TT=1800.02	SAT (TO) f=5918 TT=1800.06 T1=1800.4	SAT (TO) f=4386 TT=1800.13 T1=1800.4	SAT (TO) f=378 TT=1800.06 T1=1800.4	? TT=69.328	SAT (TO) f=658 TT=1800.05 T1=4.35	SAT (TO) f=835 TT=1800.05 T1=3.11	? (TO) TT=1800.11
normalized-PB06/OPT-SMALLINT/ submitted-PB06/liu/wnq/ normalized-wnq_n100_mw99_12.opb.PB06.opb	SAT f=381 TT=1800.13 T1=1800.4	? (TO) TT=1800.04	? (TO) TT=1800.02	SAT (TO) f=5448 TT=1800.08 T1=1800.4	SAT (TO) f=3947 TT=1800.11 T1=1800.3	SAT (TO) f=381 TT=1800.13 T1=1800.4	? TT=70.218	SAT (TO) f=822 TT=1800.06 T1=45.69	SAT (TO) f=757 TT=1800.72 T1=3.32	? (TO) TT=1800.08
normalized-PB06/OPT-SMALLINT/ submitted-PB06/liu/wnq/ normalized-wnq_n100_mw99_13.opb.PB06.opb	SAT f=319 TT=1800.08 T1=1800.4	? (TO) TT=1800.11	? (TO) TT=1800.01	SAT (TO) f=5966 TT=1800.05 T1=1800.4	SAT (TO) f=3650 TT=1800.12 T1=1800.4	SAT (TO) f=319 TT=1800.08 T1=1800.4	? TT=69.505	SAT (TO) f=1319 TT=1800.87 T1=4.66	SAT (TO) f=825 TT=1800.05 T1=2.98	? (TO) TT=1800.05
normalized-PB06/OPT-SMALLINT/ submitted-PB06/liu/wnq/ normalized-wnq_n100_mw99_14.opb.PB06.opb	SAT f=332 TT=1800.09 T1=1800.4	? (TO) TT=1800.02	? (TO) TT=1800.03	SAT (TO) f=5987 TT=1800.06 T1=1800.4	SAT (TO) f=4833 TT=1800.07 T1=1800.4	SAT (TO) f=332 TT=1800.09 T1=1800.4	? TT=68.864	SAT (TO) f=883 TT=1800.06 T1=8.8	SAT (TO) f=794 TT=1800 T1=99.63	? (TO) TT=1800.02
normalized-PB06/OPT-SMALLINT/ submitted-PB06/liu/wnq/ normalized-wnq_n100_mw99_1.opb.PB06.opb	SAT f=294 TT=1800.14 T1=1800.4	? (TO) TT=1800.12	? (TO) TT=1800.02	SAT (TO) f=6073 TT=1800.16 T1=1800.4	SAT (TO) f=4096 TT=1800.06 T1=1800.4	SAT (TO) f=294 TT=1800.14 T1=1800.4	? TT=68.886	SAT (TO) f=858 TT=1800.08 T1=4.75	SAT (TO) f=809 TT=1800.55 T1=12.57	? (TO) TT=1800.08
normalized-PB06/OPT-SMALLINT/ submitted-PB06/liu/wnq/ normalized-wnq_n100_mw99_2.opb.PB06.opb	SAT f=416 TT=1800.11 T1=1800.4	? (TO) TT=1800.1	? (TO) TT=1800.02	SAT (TO) f=5976 TT=1800.12 T1=1800.4	SAT (TO) f=4225 TT=1800.07 T1=1800.4	SAT (TO) f=416 TT=1800.11 T1=1800.4	? TT=68.987	SAT (TO) f=675 TT=1800.03 T1=14.27	SAT (TO) f=1017 TT=1800.04 T1=37.66	? (TO) TT=1800.07
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
normalized-PB06/OPT-SMALLINT/ submitted-PB06/liu/wnq/ normalized-wnq_n100_mw99_3.opb.PB06.opb	SAT f=312 TT=1800.03 T1=1800.3	? (TO) TT=1800.11	? (TO) TT=1800.02	SAT (TO) f=6255 TT=1800.05 T1=1800.4	SAT (TO) f=4117 TT=1800.12 T1=1800.4	SAT (TO) f=312 TT=1800.03 T1=1800.3	? TT=69.112	SAT (TO) f=770 TT=1800.8 T1=6.33	SAT (TO) f=495 TT=1800.07 T1=3.35	? (TO) TT=1800.1
normalized-PB06/OPT-SMALLINT/ submitted-PB06/liu/wnq/ normalized-wnq_n100_mw99_4.opb.PB06.opb	SAT f=323 TT=1800.07 T1=1800.4	? (TO) TT=1800.1	? (TO) TT=1800.03	SAT (TO) f=6061 TT=1800.04 T1=1800.4	SAT (TO) f=3693 TT=1800.12 T1=1800.3	SAT (TO) f=323 TT=1800.07 T1=1800.4	? TT=68.754	SAT (TO) f=1147 TT=1800.05 T1=6.56	SAT (TO) f=949 TT=1800.62 T1=296.9	? (TO) TT=1800.1
normalized-PB06/OPT-SMALLINT/ submitted-PB06/liu/wnq/ normalized-wnq_n100_mw99_5.opb.PB06.opb	SAT f=343 TT=1800.02 T1=1800.3	? (TO) TT=1800.02	? (TO) TT=1800.03	SAT (TO) f=6209 TT=1800.12 T1=1800.6	SAT (TO) f=3342 TT=1800.12 T1=1800.3	SAT (TO) f=343 TT=1800.02 T1=1800.3	? TT=69.214	SAT (TO) f=776 TT=1800.82 T1=4.17	SAT (TO) f=851 TT=1800.02 T1=84.72	? (TO) TT=1800.13
normalized-PB06/OPT-SMALLINT/ submitted-PB06/liu/wnq/ normalized-wnq_n100_mw99_6.opb.PB06.opb	SAT f=375 TT=1800.03 T1=1800.3	? (TO) TT=1800.02	? (TO) TT=1800.02	SAT (TO) f=6018 TT=1800.09 T1=1800.4	SAT (TO) f=3879 TT=1800.11 T1=1800.4	SAT (TO) f=375 TT=1800.03 T1=1800.3	? TT=69.57	SAT (TO) f=736 TT=1800.11 T1=4.73	SAT (TO) f=618 TT=1800.8 T1=4.03	? (TO) TT=1800.01
normalized-PB06/OPT-SMALLINT/ submitted-PB06/liu/wnq/ normalized-wnq_n100_mw99_7.opb.PB06.opb	SAT f=296 TT=1800.08 T1=1800.3	? (TO) TT=1800.16	? (TO) TT=1800.03	SAT (TO) f=5729 TT=1800.07 T1=1800.4	SAT (TO) f=4298 TT=1800.1 T1=1800.4	SAT (TO) f=296 TT=1800.08 T1=1800.3	? TT=68.791	SAT (TO) f=922 TT=1800.18 T1=7.07	SAT (TO) f=594 TT=1800.58 T1=3.29	? (TO) TT=1800.09
normalized-PB06/OPT-SMALLINT/ submitted-PB06/liu/wnq/ normalized-wnq_n100_mw99_8.opb.PB06.opb	SAT f=304 TT=1800.03 T1=1800.4	? (TO) TT=1800.1	? (TO) TT=1800.03	SAT (TO) f=5718 TT=1800.15 T1=1800.5	SAT (TO) f=3716 TT=1800.17 T1=1800.3	SAT (TO) f=304 TT=1800.03 T1=1800.4	? TT=69.202	SAT (TO) f=977 TT=1800.73 T1=36.86	SAT (TO) f=660 TT=1800.08 T1=3.28	? (TO) TT=1800.23
normalized-PB06/OPT-SMALLINT/ submitted-PB06/liu/wnq/ normalized-wnq_n100_mw99_9.opb.PB06.opb	SAT f=336 TT=1800.16 T1=1800.4	? (TO) TT=1800.11	? (TO) TT=1800.03	SAT (TO) f=6059 TT=1800.24 T1=1800.4	SAT (TO) f=3751 TT=1800.1 T1=1800.4	SAT (TO) f=336 TT=1800.16 T1=1800.4	? TT=73.79	SAT (TO) f=750 TT=1800.18 T1=5.32	SAT (TO) f=1031 TT=1800.67 T1=4.2	? (TO) TT=1800.1
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/bounded_golomb_rulers/ normalized-bogr_10.opb	OPT f=55 TT=467.8 T1=366.23	? (TO) TT=1800.1	? (TO) TT=1800.03	SAT (TO) f=60 TT=1800.09 T1=1800.4	SAT (TO) f=67 TT=1800.06 T1=1800.4	SAT (TO) f=99 TT=1800.11 T1=1800.4	SAT (TO) f=60 TT=1800.07 T1=1800.4	OPT f=55 TT=1267.25 T1=404.18	OPT f=55 TT=467.8 T1=366.23	? (TO) TT=1800.09
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/bounded_golomb_rulers/ normalized-bogr_11.opb	SAT f=72 TT=1800.68 T1=858.78	? (TO) TT=1800.02	? (TO) TT=1800.02	SAT (TO) f=89 TT=1800.08 T1=1800.4	SAT (TO) f=100 TT=1800.09 T1=1800.4	SAT (TO) f=182 TT=1800.07 T1=1800.3	SAT (TO) f=84 TT=1800.1 T1=1800.5	SAT (TO) f=76 TT=1800.01 T1=104.64	SAT (TO) f=72 TT=1800.68 T1=858.78	? (TO) TT=1800.1
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/bounded_golomb_rulers/ normalized-bogr_12.opb	SAT f=99 TT=1800.03 T1=234.34	? (TO) TT=1800.1	? (TO) TT=1800.02	SAT (TO) f=105 TT=1800.06 T1=1800.4	SAT (TO) f=124 TT=1800.09 T1=1800.4	SAT (TO) f=134 TT=1800.01 T1=1800.4	SAT (TO) f=115 TT=1800.09 T1=1800.5	SAT (TO) f=99 TT=1800.18 T1=234.34	SAT (TO) f=99 TT=1800.03 T1=1756.9	? (TO) TT=1800.07
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/bounded_golomb_rulers/ normalized-bogr_13.opb	SAT f=125 TT=1800.59 T1=1387.22	? (TO) TT=1800.1	? (TO) TT=1800.02	? (TO) TT=1800.07	? (TO) TT=1800.11	SAT (TO) f=195 TT=1800.06 T1=1800.4	SAT (TO) f=149 TT=1800.06 T1=1800.5	SAT (TO) f=126 TT=1800.81 T1=868.95	SAT (TO) f=125 TT=1800.59 T1=1387.22	? (TO) TT=1800.01
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/bounded_golomb_rulers/ normalized-bogr_14.opb	SAT f=154 TT=1800.03 T1=1379.22	? (TO) TT=1800.02	? (TO) TT=1800.02	? (TO) TT=1800.05	? (TO) TT=1800.08	SAT (TO) f=216 TT=1800.04 T1=1800.5	SAT (TO) f=216 TT=1800.09 T1=1800.5	SAT (TO) f=178 TT=1800.12 T1=366.57	SAT (TO) f=154 TT=1800.03 T1=1379.22	? (TO) TT=1800.1
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/bounded_golomb_rulers/ normalized-bogr_15.opb	SAT f=197 TT=1800.06 T1=743.74	? (TO) TT=1800.09	? (TO) TT=1800.02	? (TO) TT=1800.07	? (TO) TT=1800.02	SAT (TO) f=224 TT=1800.14 T1=1800.5	SAT (TO) f=224 TT=1800.14 T1=1800.5	SAT (TO) f=198 TT=1800.12 T1=291.07	SAT (TO) f=197 TT=1800.06 T1=743.74	? (TO) TT=1800.05
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/bounded_golomb_rulers/ normalized-bogr_16.opb	SAT f=235 TT=1800.01 T1=469.97	? (TO) TT=1800.09	? (TO) TT=1800.02	? (TO) TT=1800.07	? (TO) TT=1800.16	? (TO) TT=1800.2	? (TO) TT=1800.09	? (TO) TT=1801.06	SAT (TO) f=235 TT=1800.01 T1=469.97	? (TO) TT=1800.07
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/bounded_golomb_rulers/ normalized-bogr_17.opb	SAT f=282 TT=1800.73 T1=918.82	? (TO) TT=1800.01	? (TO) TT=1800.02	? (TO) TT=1800.07	? (TO) TT=1800.18	? (TO) TT=1800.37	? (TO) TT=1800.53	? (TO) TT=1800.89	SAT (TO) f=282 TT=1800.73 T1=918.82	? (TO) TT=1800.09
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/bounded_golomb_rulers/ normalized-bogr_18.opb	SAT f=322 TT=1800.92 T1=1480.65	? (TO) TT=1800.08	? (TO) TT=1800.02	? (TO) TT=1800.04	? (TO) TT=1800.24	? (MO) TT=61.906	? (MO) TT=61.698	? (TO) TT=1800.06	SAT (TO) f=322 TT=1800.92 T1=1480.65	? (TO) TT=1800.03
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/bounded_golomb_rulers/ normalized-bogr_19.opb	SAT f=360 TT=1800.67 T1=1280.32	? (TO) TT=1800.09	? (TO) TT=1800.02	? (TO) TT=1800.11	? (TO) TT=1800.45	? (MO) TT=61.205	? (MO) TT=61.002	? (TO) TT=1800.03	SAT (TO) f=360 TT=1800.67 T1=1280.32	? (TO) TT=1800.09
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/bounded_golomb_rulers/ normalized-bogr_20.opb		? (TO) TT=1800.09	? (TO) TT=1800.02	? (TO) TT=1800.03	? TT=675.673	? TT=52.533	? TT=55.768	? (TO) TT=1800.09	? (TO) TT=1800.64	? (TO) TT=1800.1
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/ bounded_golomb_rulers/normalized-bogr_4.opb	OPT f=6 TT=0.007 T1=0	OPT f=6 TT=0.021 T1=0.02	OPT f=6 TT=0.013 T1=0.01	OPT f=6 TT=0.019 T1=0.01	OPT f=6 TT=0.071 T1=0.07	OPT f=6 TT=0.007 T1=0	OPT f=6 TT=0.008 T1=0	OPT f=6 TT=0.183 T1=0.65	OPT f=6 TT=0.195 T1=0.16	OPT f=6 TT=0.019 T1=0.01
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/ bounded_golomb_rulers/normalized-bogr_5.opb	OPT f=11 TT=0.014 T1=0.01	OPT f=11 TT=0.025 T1=0.02	OPT f=11 TT=0.014 T1=0.01	OPT f=11 TT=0.085 T1=0.09	OPT f=11 TT=0.308 T1=0.3	OPT f=11 TT=0.039 T1=0.04	OPT f=11 TT=0.047 T1=0.04	OPT f=11 TT=0.603 T1=0.68	OPT f=11 TT=0.264 T1=0.19	OPT f=11 TT=0.035 T1=0.03
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/ bounded_golomb_rulers/normalized-bogr_6.opb	OPT f=17 TT=0.032 T1=0.03	OPT f=17 TT=0.051 T1=0.05	OPT f=17 TT=0.032 T1=0.03	OPT f=17 TT=0.285 T1=0.28	OPT f=17 TT=1.368 T1=1.36	OPT f=17 TT=0.321 T1=0.32	OPT f=17 TT=0.288 T1=0.28	OPT f=17 TT=1.704 T1=1.74	OPT f=17 TT=0.584 T1=0.3	OPT f=17 TT=0.144 T1=0.11
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/ bounded_golomb_rulers/normalized-bogr_7.opb	OPT f=25 TT=0.436 T1=0.43	OPT f=25 TT=0.436 T1=0.43	OPT f=25 TT=0.447 T1=0.44	OPT f=25 TT=2.748 T1=2.74	OPT f=25 TT=7.242 T1=7.23	OPT f=25 TT=6.501 T1=6.49	OPT f=25 TT=6.321 T1=6.32	OPT f=25 TT=3.205 T1=4.31	OPT f=25 TT=1.064 T1=0.64	OPT f=25 TT=2.383 T1=1.68
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/ bounded_golomb_rulers/normalized-bogr_8.opb	OPT f=34 TT=6.205 T1=5.23	OPT f=34 TT=16.09 T1=16.09	OPT f=34 TT=11.392 T1=11.39	OPT f=34 TT=13.338 T1=13.33	OPT f=34 TT=186.245 T1=186.25	OPT f=34 TT=143.192 T1=143.23	OPT f=34 TT=88.946 T1=88.95	OPT f=34 TT=14.472 T1=5.39	OPT f=34 TT=6.205 T1=5.23	OPT f=34 TT=25.233 T1=16.55
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/ bounded_golomb_rulers/normalized-bogr_9.opb	OPT f=44 TT=58.5 T1=54.52	OPT f=44 TT=365.834 T1=365.89	OPT f=44 TT=424.123 T1=424.18	OPT f=44 TT=371.011 T1=371.06	OPT f=44 TT=1138.78 T1=1138.98	SAT (TO) f=96 TT=1800.07 T1=1800.4	OPT f=44 TT=1590.16 T1=1590.39	OPT f=44 TT=128.016 T1=54.52	OPT f=44 TT=58.5 T1=55.75	OPT f=44 TT=544.013 T1=544.03
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/ golomb-rulers/normalized-OGR_10.opb	OPT f=55 TT=355.42 T1=127.27	? (TO) TT=1800.09	? (TO) TT=1800.02	SAT (TO) f=60 TT=1800.11 T1=1800.4	SAT (TO) f=73 TT=1800.05 T1=1800.4	SAT (TO) f=96 TT=1800.06 T1=1800.4	? (TO) TT=1800.11	OPT f=55 TT=1794.48 T1=826.29	OPT f=55 TT=355.42 T1=127.27	? (TO) TT=1800.07
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/ golomb-rulers/normalized-OGR_11.opb	SAT f=74 TT=1800.09 T1=1597.89	? (TO) TT=1800.01	? (TO) TT=1800.02	SAT (TO) f=90 TT=1800.07 T1=1800.4	SAT (TO) f=81 TT=1800.09 T1=1800.4	SAT (TO) f=127 TT=1800.1 T1=1800.5	? (TO) TT=1800.04	SAT (TO) f=76 TT=1800.86 T1=732.53	SAT (TO) f=74 TT=1800.09 T1=1597.89	? (TO) TT=1800.05
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/ golomb-rulers/normalized-OGR_12.opb	SAT f=99 TT=1800.66 T1=1565.38	? (TO) TT=1800.01	? (TO) TT=1800.02	SAT (TO) f=108 TT=1800.08 T1=1800.4	SAT (TO) f=160 TT=1800.09 T1=1800.4	SAT (TO) f=157 TT=1800.09 T1=1800.5	? (TO) TT=1800.05	SAT (TO) f=101 TT=1800.92 T1=391.41	SAT (TO) f=99 TT=1800.66 T1=1565.38	? (TO) TT=1800.08
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/ golomb-rulers/normalized-OGR_13.opb	SAT f=122 TT=1800.17 T1=752.6	? (TO) TT=1800.11	? (TO) TT=1800.02	? (TO) TT=1800.07	? (TO) TT=1800.04	SAT (TO) f=164 TT=1800.09 T1=1800.5	? (TO) TT=1800.09	SAT (TO) f=122 TT=1800.17 T1=752.6	SAT (TO) f=128 TT=1800.02 T1=1307.72	? (TO) TT=1800.1
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/ golomb-rulers/normalized-OGR_14.opb	SAT f=151 TT=1800.8 T1=748.49	? (TO) TT=1800.1	? (TO) TT=1800.02	? (TO) TT=1800.07	? (TO) TT=1800.1	SAT (TO) f=242 TT=1800.13 T1=1800.3	? (TO) TT=1800.12	SAT (TO) f=151 TT=1800.8 T1=748.49	SAT (TO) f=157 TT=1800.69 T1=1551.83	? (TO) TT=1800.11
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/ golomb-rulers/normalized-OGR_15.opb	SAT f=181 TT=1800.02 T1=1370.59	? (TO) TT=1800.1	? (TO) TT=1800.02	? (TO) TT=1800.06	? (TO) TT=1800.09	SAT (TO) f=224 TT=1800.16 T1=1800.5	? (TO) TT=1800.18	SAT (TO) f=201 TT=1800.17 T1=796.93	SAT (TO) f=181 TT=1800.02 T1=1370.59	? (TO) TT=1800.01
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/ golomb-rulers/normalized-OGR_16.opb	SAT f=233 TT=1800.06 T1=1318.24	? (TO) TT=1800.11	? (TO) TT=1800.02	SAT (TO) f=245 TT=1800.07 T1=1800.4	? (TO) TT=1800.23	? (TO) TT=1800.25	? (TO) TT=1800.26	SAT (TO) f=279 TT=1800.16 T1=249.78	SAT (TO) f=233 TT=1800.06 T1=1318.24	? (TO) TT=1800.1
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/ golomb-rulers/normalized-OGR_17.opb	SAT f=281 TT=1800.59 T1=444.48	? (TO) TT=1800.1	? (TO) TT=1800	? (TO) TT=1800.04	? (TO) TT=1800.23	? (MO) TT=63.218	? (MO) TT=62.719	SAT (TO) f=286 TT=1800.02 T1=785.85	SAT (TO) f=281 TT=1800.59 T1=444.48	? (TO) TT=1800.1
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/ golomb-rulers/normalized-OGR_18.opb	SAT f=319 TT=1800.06 T1=597.83	? (TO) TT=1800.1	? (TO) TT=1800.02	? (TO) TT=1800.06	? (TO) TT=1800.34	? (MO) TT=48.114	? (MO) TT=60.009	SAT (TO) f=319 TT=1800.06 T1=597.83	? (TO) TT=1800.05	? (TO) TT=1800.04
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/ golomb-rulers/normalized-OGR_19.opb	SAT f=359 TT=1800.07 T1=362.03	? (TO) TT=1800.09	? (TO) TT=1800.02	? (TO) TT=1800.03	? (TO) TT=1800.55	? (MO) TT=60.288	? (MO) TT=61.114	SAT (TO) f=359 TT=1800.07 T1=362.03	? (TO) TT=1800.07	? (TO) TT=1800.04
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/ golomb-rulers/normalized-OGR_20.opb		? (TO) TT=1800.09	? (TO) TT=1800.02	? (TO) TT=1800.02	? TT=691.732	? TT=52.528	? TT=52.831	? (TO) TT=1800.03	? (TO) TT=1800.68	? (TO) TT=1800.07
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/ golomb-rulers/normalized-OGR_4.opb	OPT f=6 TT=0.01 T1=0.01	OPT f=6 TT=0.023 T1=0.02	OPT f=6 TT=0.013 T1=0.01	OPT f=6 TT=0.021 T1=0.02	OPT f=6 TT=0.145 T1=0.14	OPT f=6 TT=0.01 T1=0.01	OPT f=6 TT=0.038 T1=0.03	OPT f=6 TT=0.283 T1=1.15	OPT f=6 TT=0.223 T1=0.17	OPT f=6 TT=0.025 T1=0.02
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/ golomb-rulers/normalized-OGR_5.opb	OPT f=11 TT=0.017 T1=0.02	OPT f=11 TT=0.027 T1=0.02	OPT f=11 TT=0.017 T1=0.02	OPT f=11 TT=0.088 T1=0.08	OPT f=11 TT=0.339 T1=0.33	OPT f=11 TT=0.069 T1=0.07	OPT f=11 TT=0.204 T1=0.2	OPT f=11 TT=0.648 T1=1.69	OPT f=11 TT=0.335 T1=0.2	OPT f=11 TT=0.046 T1=0.03
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/ golomb-rulers/normalized-OGR_6.opb	OPT f=17 TT=0.055 T1=0.05	OPT f=17 TT=0.08 T1=0.07	OPT f=17 TT=0.055 T1=0.05	OPT f=17 TT=0.539 T1=0.53	OPT f=17 TT=1.727 T1=1.72	OPT f=17 TT=0.75 T1=0.74	OPT f=17 TT=1.511 T1=1.51	OPT f=17 TT=2.654 T1=1.76	OPT f=17 TT=0.654 T1=0.32	OPT f=17 TT=0.285 T1=0.16
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/ golomb-rulers/normalized-OGR_7.opb	OPT f=25 TT=0.532 T1=0.53	OPT f=25 TT=0.923 T1=0.92	OPT f=25 TT=0.532 T1=0.53	OPT f=25 TT=3.955 T1=4.05	OPT f=25 TT=11.05 T1=11.04	OPT f=25 TT=13.247 T1=13.25	OPT f=25 TT=16.155 T1=16.15	OPT f=25 TT=4.203 T1=2.31	OPT f=25 TT=1.404 T1=0.84	OPT f=25 TT=2.93 T1=2.87
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/ golomb-rulers/normalized-OGR_8.opb	OPT f=34 TT=7.254 T1=3.49	OPT f=34 TT=26.795 T1=26.79	OPT f=34 TT=12.294 T1=12.29	OPT f=34 TT=14.806 T1=14.8	OPT f=34 TT=405.621 T1=405.71	OPT f=34 TT=238.428 T1=238.45	OPT f=34 TT=271.932 T1=271.96	OPT f=34 TT=13.131 T1=3.49	OPT f=34 TT=7.254 T1=3.99	OPT f=34 TT=40.858 T1=40.8
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/ golomb-rulers/normalized-OGR_9.opb	OPT f=44 TT=54.85 T1=31.05	OPT f=44 TT=842.485 T1=842.61	OPT f=44 TT=412.526 T1=412.59	OPT f=44 TT=575.428 T1=575.5	SAT (TO) f=44 TT=1800.09 T1=1800.4	SAT (TO) f=80 TT=1800.07 T1=1800.4	? (TO) TT=1800.07	OPT f=44 TT=113.168 T1=34.05	OPT f=44 TT=54.85 T1=31.05	OPT f=44 TT=738.875 T1=654.67
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/haplotype/ normalized-simp-nonunif-100_100.02.opb	OPT f=44 TT=4.98 T1=4.97	OPT f=44 TT=15.029 T1=15.01	OPT f=44 TT=9.158 T1=9.15	OPT f=44 TT=10.012 T1=10	OPT f=44 TT=9.072 T1=9.06	OPT f=44 TT=4.98 T1=4.97	OPT f=44 TT=6.055 T1=6.05	OPT f=44 TT=1329.97 T1=610.86	SAT (TO) f=60 TT=1800.09 T1=9.51	OPT f=44 TT=25.063 T1=24.96
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/haplotype/ normalized-simp-nonunif-100_100.07.opb	OPT f=37 TT=4.742 T1=4.73	OPT f=37 TT=9.717 T1=9.7	OPT f=37 TT=11.804 T1=11.79	OPT f=37 TT=8.829 T1=8.81	OPT f=37 TT=9.128 T1=9.12	OPT f=37 TT=4.742 T1=4.73	OPT f=37 TT=5.483 T1=5.47	OPT f=37 TT=639.627 T1=25.97	SAT (TO) f=37 TT=1800.09 T1=18.32	OPT f=37 TT=21.136 T1=21.04
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/haplotype/ normalized-simp-nonunif-100_100.10.opb	OPT f=49 TT=7.151 T1=7.13	OPT f=49 TT=64.39 T1=64.38	OPT f=49 TT=14.17 T1=14.16	OPT f=49 TT=14.069 T1=14.05	OPT f=49 TT=13.667 T1=13.66	OPT f=49 TT=7.151 T1=7.13	OPT f=49 TT=8.632 T1=8.65	SAT (TO) f=50 TT=1800.03 T1=608.83	SAT (TO) f=60 TT=1800.04 T1=43.93	OPT f=49 TT=31.241 T1=28.8
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/haplotype/ normalized-simp-nonunif-100_100.11.opb	OPT f=38 TT=5.721 T1=5.71	OPT f=38 TT=363.146 T1=363.19	OPT f=38 TT=147.681 T1=147.7	OPT f=38 TT=12.368 T1=12.36	OPT f=38 TT=9.172 T1=9.17	OPT f=38 TT=5.721 T1=5.71	OPT f=38 TT=8.085 T1=8.07	SAT (TO) f=40 TT=1800.12 T1=748.16	SAT (TO) f=41 TT=1800.76 T1=192.71	OPT f=38 TT=35.261 T1=35.17
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/haplotype/ normalized-simp-nonunif-100_100.12.opb	OPT f=41 TT=5.853 T1=5.84	OPT f=41 TT=11.428 T1=11.42	OPT f=41 TT=8.846 T1=8.84	OPT f=41 TT=10.484 T1=10.47	OPT f=41 TT=10.514 T1=10.51	OPT f=41 TT=5.853 T1=5.84	OPT f=41 TT=6.471 T1=6.45	OPT f=41 TT=93.449 T1=53.55	SAT (TO) f=41 TT=1800.01 T1=1155.54	OPT f=41 TT=21.473 T1=21.36
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/haplotype/ normalized-simp-nonunif-100_100.14.opb	OPT f=42 TT=5.513 T1=5.5	OPT f=42 TT=17.003 T1=16.99	OPT f=42 TT=19.583 T1=19.57	OPT f=42 TT=11.77 T1=11.76	OPT f=42 TT=10.068 T1=10.06	OPT f=42 TT=5.513 T1=5.5	OPT f=42 TT=6.553 T1=6.54	SAT (TO) f=43 TT=1800.73 T1=584.04	SAT (TO) f=51 TT=1800 T1=850.21	OPT f=42 TT=20.74 T1=20.3
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/haplotype/ normalized-simp-unif-100_100.00.opb	OPT f=34 TT=2.634 T1=2.63	? (TO) TT=1800.09	? (TO) TT=1800.02	OPT f=34 TT=7.613 T1=7.61	OPT f=34 TT=6.363 T1=6.36	OPT f=34 TT=2.634 T1=2.63	OPT f=34 TT=2.71 T1=2.7	SAT (TO) f=35 TT=1800.06 T1=344.89	SAT (TO) f=37 TT=1800.04 T1=6.27	? (TO) TT=1800.04
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/haplotype/ normalized-simp-unif-100_100.08.opb	OPT f=34 TT=2.81 T1=2.8	OPT f=34 TT=79.231 T1=79.25	OPT f=34 TT=12.58 T1=12.57	OPT f=34 TT=5.175 T1=5.17	OPT f=34 TT=4.412 T1=4.41	OPT f=34 TT=2.81 T1=2.8	OPT f=34 TT=2.911 T1=2.9	SAT (TO) f=35 TT=1800.99 T1=205.83	SAT (TO) f=34 TT=1800.06 T1=999.87	? (TO) TT=1800.09
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/logic_synthesis/ normalized-addm4.r.opb	OPT f=165 TT=0.05 T1=0.05	? (TO) TT=1800.12	? (TO) TT=1800.02	SAT (TO) f=181 TT=1800.01 T1=1800.3	SAT (TO) f=199 TT=1800.11 T1=1800.4	OPT f=165 TT=0.05 T1=0.05	SAT (TO) f=176 TT=1800.02 T1=1800.3	SAT (TO) f=181 TT=1800.64 T1=314.48	SAT (TO) f=196 TT=1800.03 T1=0.36	? (TO) TT=1800.04
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/ logic_synthesis/normalized-alu2.b.opb	SAT f=62 TT=1800.02 T1=1800.3	? (TO) TT=1800.1	? (TO) TT=1800.02	SAT (TO) f=62 TT=1800.02 T1=1800.3	SAT (TO) f=89 TT=1800.11 T1=1800.4	SAT (TO) f=89 TT=1800.02 T1=1800.3	SAT (TO) f=63 TT=1800.02 T1=1800.3	SAT (TO) f=72 TT=1800.1 T1=786.91	SAT (TO) f=76 TT=1800 T1=1622.09	? (TO) TT=1800.07
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/logic_synthesis/ normalized-apex6.b.opb	SAT f=151 TT=1800.03 T1=1800.3	? (TO) TT=1800.02	? (TO) TT=1800.02	SAT (TO) f=173 TT=1800.01 T1=1800.3	SAT (TO) f=183 TT=1800.01 T1=1800.3	SAT (TO) f=181 TT=1800.1 T1=1800.4	SAT (TO) f=151 TT=1800.03 T1=1800.3	SAT (TO) f=174 TT=1800.08 T1=700.78	SAT (TO) f=181 TT=1800 T1=111.28	? (TO) TT=1800.12
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/logic_synthesis/ normalized-apex7.b.opb	SAT f=39 TT=1800.02 T1=1800.3	? (TO) TT=1800.1	? (TO) TT=1800.02	SAT (TO) f=39 TT=1800.02 T1=1800.3	SAT (TO) f=53 TT=1800.02 T1=1800.3	SAT (TO) f=53 TT=1800.08 T1=1800.4	SAT (TO) f=39 TT=1800.02 T1=1800.3	SAT (TO) f=42 TT=1800.18 T1=263.73	SAT (TO) f=47 TT=1800.59 T1=987.93	? (TO) TT=1800.04
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/logic_synthesis/ normalized-bbara.r.opb	OPT f=7 TT=0.001 T1=0	OPT f=7 TT=0.022 T1=0.02	OPT f=7 TT=0.014 T1=0.01	OPT f=7 TT=0.004 T1=0	OPT f=7 TT=0.006 T1=0	OPT f=7 TT=0.001 T1=0	OPT f=7 TT=0.002 T1=0	OPT f=7 TT=0.194 T1=0.64	OPT f=7 TT=0.393 T1=0.14	OPT f=7 TT=0.028 T1=0.02
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/logic_synthesis/ normalized-bench1.r.opb	SAT f=158 TT=1800.09 T1=1800.4	? (TO) TT=1800.01	? (TO) TT=1800.03	SAT (TO) f=181 TT=1800.02 T1=1800.3	SAT (TO) f=181 TT=1800.09 T1=1800.4	SAT (TO) f=181 TT=1800.01 T1=1800.3	SAT (TO) f=158 TT=1800.09 T1=1800.4	SAT (TO) f=175 TT=1801.18 T1=538.33	SAT (TO) f=180 TT=1800.02 T1=0.45	? (TO) TT=1800.05
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/ logic_synthesis/normalized-bw.b.opb	SAT f=34 TT=1800.03 T1=1800.3	? (TO) TT=1800.01	? (TO) TT=1800.02	SAT (TO) f=36 TT=1800.1 T1=1800.4	SAT (TO) f=39 TT=1800.1 T1=1800.4	SAT (TO) f=44 TT=1800.02 T1=1800.3	SAT (TO) f=34 TT=1800.03 T1=1800.3	SAT (TO) f=37 TT=1800.17 T1=507.5	SAT (TO) f=39 TT=1800 T1=0.74	? (TO) TT=1800.08
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/ logic_synthesis/normalized-C499.a.opb	OPT f=64 TT=0.348 T1=0.34	? (TO) TT=1800.11	? (TO) TT=1800.02	SAT (TO) f=73 TT=1800.02 T1=1800.3	SAT (TO) f=90 TT=1800.01 T1=1800.3	OPT f=64 TT=0.348 T1=0.34	SAT (TO) f=69 TT=1800.03 T1=1800.3	SAT (TO) f=77 TT=1800.2 T1=629.26	SAT (TO) f=83 TT=1800.73 T1=0.47	? (TO) TT=1800.04
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/ logic_synthesis/normalized-C499.b.opb	SAT f=57 TT=1800.02 T1=1800.3	? (TO) TT=1800.02	? (TO) TT=1800.01	SAT (TO) f=82 TT=1800.08 T1=1800.4	SAT (TO) f=92 TT=1800.07 T1=1800.4	SAT (TO) f=86 TT=1800.04 T1=1800.4	SAT (TO) f=57 TT=1800.02 T1=1800.3	SAT (TO) f=78 TT=1800.09 T1=604.98	SAT (TO) f=84 TT=1800.05 T1=1.87	? (TO) TT=1800.04
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/ logic_synthesis/normalized-C880.a.opb	OPT f=87 TT=0.006 T1=0	OPT f=87 TT=0.232 T1=0.23	OPT f=87 TT=0.761 T1=0.76	OPT f=87 TT=10.277 T1=10.27	OPT f=87 TT=15.074 T1=15.07	OPT f=87 TT=0.006 T1=0	OPT f=87 TT=0.75 T1=0.75	OPT f=87 TT=23.721 T1=6.75	SAT (TO) f=90 TT=1800.02 T1=288.89	OPT f=87 TT=0.162 T1=0.15
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/ logic_synthesis/normalized-C880.b.opb	OPT f=63 TT=0.109 T1=0.11	? (TO) TT=1800.1	? (TO) TT=1800.01	SAT (TO) f=63 TT=1800.02 T1=1800.3	SAT (TO) f=65 TT=1800.01 T1=1800.3	OPT f=63 TT=0.109 T1=0.11	SAT (TO) f=64 TT=1800.02 T1=1800.3	SAT (TO) f=75 TT=1800.15 T1=688.01	SAT (TO) f=85 TT=1800.04 T1=1.19	? (TO) TT=1800.06
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/ logic_synthesis/normalized-des.a.opb	OPT f=942 TT=0.739 T1=0.73	? (TO) TT=1800.1	? (TO) TT=1800.14	SAT (TO) f=1033 TT=1800.02 T1=1800.3	SAT (TO) f=1037 TT=1800.1 T1=1800.4	OPT f=942 TT=0.739 T1=0.73	SAT (TO) f=1033 TT=1800.02 T1=1800.3	SAT (TO) f=1012 TT=1800.06 T1=23.78	SAT (TO) f=1013 TT=1800.09 T1=0.7	? (TO) TT=1800.04
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/logic_synthesis/ normalized-dk512x.r.opb	OPT f=6 TT=0.005 T1=0	OPT f=6 TT=0.027 T1=0.02	OPT f=6 TT=0.016 T1=0.01	OPT f=6 TT=0.023 T1=0.02	OPT f=6 TT=0.024 T1=0.02	OPT f=6 TT=0.005 T1=0	OPT f=6 TT=0.011 T1=0.01	OPT f=6 TT=1.545 T1=1.19	OPT f=6 TT=1.824 T1=0.27	OPT f=6 TT=1.283 T1=0.03
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/logic_synthesis/ normalized-duke2.b.opb	SAT f=74 TT=1800.11 T1=1800.4	? (TO) TT=1800.1	? (TO) TT=1800.02	SAT (TO) f=74 TT=1800.11 T1=1800.4	SAT (TO) f=102 TT=1800.09 T1=1800.4	SAT (TO) f=102 TT=1800.03 T1=1800.3	SAT (TO) f=76 TT=1800.01 T1=1800.3	SAT (TO) f=92 TT=1800.32 T1=846.38	No Cert. TT=1800.04	? (TO) TT=1800.09
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/logic_synthesis/ normalized-ex1010.pi.opb	SAT f=441 TT=1800.5 T1=448.36	? (TO) TT=1800.12	? (TO) TT=1800.02	SAT (TO) f=444 TT=1800.05 T1=1800.4	SAT (TO) f=444 TT=1800.1 T1=1800.4	SAT (TO) f=444 TT=1800.02 T1=1800.3	SAT (TO) f=444 TT=1800.1 T1=1800.4	SAT (TO) f=441 TT=1800.5 T1=448.36	SAT (TO) f=444 TT=1800 T1=0.64	? (TO) TT=1800.12
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/logic_synthesis/ normalized-ex4inp.r.opb	OPT f=5 TT=0.017 T1=0.01	OPT f=5 TT=0.05 T1=0.05	OPT f=5 TT=0.026 T1=0.02	OPT f=5 TT=0.358 T1=0.35	OPT f=5 TT=0.38 T1=0.38	OPT f=5 TT=0.017 T1=0.01	OPT f=5 TT=0.253 T1=0.25	OPT f=5 TT=3.912 T1=2.28	OPT f=5 TT=226.269 T1=1.08	OPT f=5 TT=1065.55 T1=0.08
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/logic_synthesis/ normalized-ex5inp.r.opb	OPT f=4 TT=0.002 T1=0	OPT f=4 TT=0.022 T1=0.02	OPT f=4 TT=0.013 T1=0.01	OPT f=4 TT=0.012 T1=0.01	OPT f=4 TT=0.007 T1=0	OPT f=4 TT=0.002 T1=0	OPT f=4 TT=0.004 T1=0	OPT f=4 TT=0.234 T1=1.14	OPT f=4 TT=0.434 T1=0.15	OPT f=4 TT=0.025 T1=0.02
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/ logic_synthesis/normalized-ex5.r.opb	SAT f=45 TT=1800.05 T1=1800.4	? (TO) TT=1800.1	? (TO) TT=1800.01	SAT (TO) f=61 TT=1800.03 T1=1800.3	SAT (TO) f=61 TT=1800.08 T1=1800.4	SAT (TO) f=61 TT=1800.02 T1=1800.3	SAT (TO) f=45 TT=1800.05 T1=1800.4	SAT (TO) f=52 TT=1800.46 T1=693.88	SAT (TO) f=58 TT=1800.53 T1=127.38	? (TO) TT=1800.05
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/logic_synthesis/ normalized-ex6inp.r.opb	OPT f=4 TT=0.013 T1=0.01	OPT f=4 TT=0.024 T1=0.02	OPT f=4 TT=0.013 T1=0.01	OPT f=4 TT=0.063 T1=0.06	OPT f=4 TT=0.044 T1=0.04	OPT f=4 TT=0.018 T1=0.02	OPT f=4 TT=0.037 T1=0.03	OPT f=4 TT=0.503 T1=1.18	OPT f=4 TT=0.864 T1=0.17	OPT f=4 TT=1.773 T1=0.02
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/ logic_synthesis/normalized-exps.r.opb	OPT f=76 TT=0.019 T1=0.01	OPT f=76 TT=137.106 T1=137.11	OPT f=76 TT=498.885 T1=498.97	SAT (TO) f=77 TT=1800.02 T1=1800.3	SAT (TO) f=84 TT=1800.11 T1=1800.4	OPT f=76 TT=0.019 T1=0.01	OPT f=76 TT=561.755 T1=561.84	SAT (TO) f=82 TT=1800.19 T1=476.24	SAT (TO) f=96 TT=1800.05 T1=0.32	? (TO) TT=1800.05
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/ logic_synthesis/normalized-fout.r.opb	OPT f=38 TT=0.232 T1=0.23	OPT f=38 TT=836.131 T1=836.26	OPT f=38 TT=569.726 T1=569.81	SAT (TO) f=39 TT=1800.02 T1=1800.3	SAT (TO) f=43 TT=1800.02 T1=1800.3	OPT f=38 TT=0.232 T1=0.23	SAT (TO) f=38 TT=1800.1 T1=1800.4	SAT (TO) f=40 TT=1800.74 T1=112.9	SAT (TO) f=50 TT=1800.63 T1=0.21	? (TO) TT=1800.03
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/logic_synthesis/ normalized-lin.rom.r.opb	OPT f=120 TT=0.633 T1=0.63	? (TO) TT=1800.04	? (TO) TT=1800.02	SAT (TO) f=130 TT=1800.02 T1=1800.3	SAT (TO) f=177 TT=1800.02 T1=1800.3	OPT f=120 TT=0.633 T1=0.63	SAT (TO) f=122 TT=1800.02 T1=1800.3	SAT (TO) f=165 TT=1800.19 T1=185.61	SAT (TO) f=177 TT=1800.07 T1=0.28	? (TO) TT=1800.04
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/logic_synthesis/ normalized-m100_100_10_10.r.opb	SAT f=13 TT=1800.02 T1=1800.3	? (TO) TT=1800.02	? (TO) TT=1800.02	SAT (TO) f=13 TT=1800.02 T1=1800.3	SAT (TO) f=18 TT=1800.02 T1=1800.3	SAT (TO) f=18 TT=1800.02 T1=1800.3	SAT (TO) f=13 TT=1800.1 T1=1800.4	SAT (TO) f=15 TT=1800.13 T1=2.17	SAT (TO) f=15 TT=1800.08 T1=0.35	? (TO) TT=1800.05
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/logic_synthesis/ normalized-m100_100_10_15.r.opb	OPT f=10 TT=500.006 T1=500.08	? (TO) TT=1800.02	? (TO) TT=1800.02	OPT f=10 TT=1196.56 T1=1196.74	OPT f=10 TT=1016.36 T1=1016.52	OPT f=10 TT=500.006 T1=500.08	OPT f=10 TT=847.016 T1=847.14	SAT (TO) f=11 TT=1800.89 T1=197.25	SAT (TO) f=12 TT=1800.09 T1=0.37	? (TO) TT=1800.07
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/logic_synthesis/ normalized-m100_100_10_30.r.opb	OPT f=8 TT=7.184 T1=7.18	OPT f=8 TT=7.184 T1=7.18	OPT f=8 TT=43.557 T1=43.56	OPT f=8 TT=147.958 T1=147.98	OPT f=8 TT=26.151 T1=26.15	OPT f=8 TT=20.662 T1=20.66	OPT f=8 TT=23.021 T1=23.02	SAT (TO) f=8 TT=1800.75 T1=347.3	SAT (TO) f=9 TT=1800.06 T1=173.93	? (TO) TT=1800.05
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/logic_synthesis/ normalized-m100_100_30_30.r.opb	OPT f=5 TT=7.187 T1=7.18	OPT f=5 TT=22.605 T1=22.6	OPT f=5 TT=7.187 T1=7.18	OPT f=5 TT=54.222 T1=54.22	OPT f=5 TT=60.647 T1=60.66	OPT f=5 TT=74.625 T1=74.63	OPT f=5 TT=25.91 T1=25.91	OPT f=5 TT=1119.67 T1=468.18	OPT f=5 TT=593.284 T1=509.87	? (TO) TT=1800.06
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/logic_synthesis/ normalized-m100_100_50_50.r.opb	OPT f=4 TT=0.396 T1=0.34	OPT f=4 TT=0.433 T1=0.43	OPT f=4 TT=0.396 T1=0.39	OPT f=4 TT=1.663 T1=1.66	OPT f=4 TT=4.104 T1=4.1	OPT f=4 TT=2.189 T1=2.19	OPT f=4 TT=1.698 T1=1.69	OPT f=4 TT=17.91 T1=1.75	OPT f=4 TT=7.212 T1=0.34	OPT f=4 TT=22.652 T1=2.42
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/logic_synthesis/ normalized-m100_100_70_70.r.opb	OPT f=3 TT=0.032 T1=0.03	OPT f=3 TT=0.045 T1=0.04	OPT f=3 TT=0.032 T1=0.03	OPT f=3 TT=0.13 T1=0.13	OPT f=3 TT=0.217 T1=0.21	OPT f=3 TT=0.116 T1=0.11	OPT f=3 TT=0.115 T1=0.11	OPT f=3 TT=2.354 T1=0.77	OPT f=3 TT=0.934 T1=0.25	OPT f=3 TT=2.57 T1=0.04
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/logic_synthesis/ normalized-m100_100_90_90.r.opb	OPT f=2 TT=0.012 T1=0.01	OPT f=2 TT=0.033 T1=0.03	OPT f=2 TT=0.02 T1=0.02	OPT f=2 TT=0.058 T1=0.05	OPT f=2 TT=0.055 T1=0.05	OPT f=2 TT=0.012 T1=0.01	OPT f=2 TT=0.012 T1=0.01	OPT f=2 TT=0.783 T1=0.78	OPT f=2 TT=0.573 T1=0.25	OPT f=2 TT=0.08 T1=0.05
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/logic_synthesis/ normalized-m100_300_10_10.r.opb	SAT f=25 TT=1800.02 T1=1800.3	? (TO) TT=1800.01	? (TO) TT=1800.02	SAT (TO) f=25 TT=1800.02 T1=1800.3	SAT (TO) f=33 TT=1800.02 T1=1800.3	SAT (TO) f=33 TT=1800.02 T1=1800.3	SAT (TO) f=25 TT=1800.02 T1=1800.3	SAT (TO) f=26 TT=1800.02 T1=26.21	SAT (TO) f=30 TT=1800.61 T1=3.25	? (TO) TT=1800.01
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/logic_synthesis/ normalized-m100_300_10_14.r.opb	SAT f=23 TT=1800.02 T1=117.29	? (TO) TT=1800.04	? (TO) TT=1800.02	SAT (TO) f=23 TT=1800.02 T1=1800.3	SAT (TO) f=32 TT=1800.02 T1=1800.3	SAT (TO) f=32 TT=1800.02 T1=1800.3	SAT (TO) f=23 TT=1800.09 T1=1800.4	SAT (TO) f=23 TT=1800.09 T1=117.29	SAT (TO) f=29 TT=1800.05 T1=2.74	? (TO) TT=1800.02
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/logic_synthesis/ normalized-m100_300_10_15.r.opb	SAT f=22 TT=1800.01 T1=1800.3	? (TO) TT=1800.02	? (TO) TT=1800.02	SAT (TO) f=23 TT=1800.02 T1=1800.3	SAT (TO) f=34 TT=1800.02 T1=1800.3	SAT (TO) f=34 TT=1800.02 T1=1800.3	SAT (TO) f=22 TT=1800.01 T1=1800.3	SAT (TO) f=23 TT=1800.24 T1=886.44	SAT (TO) f=31 TT=1800.61 T1=900.89	? (TO) TT=1800.01
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/logic_synthesis/ normalized-m100_300_10_20.r.opb	SAT f=19 TT=1800.02 T1=1800.3	? (TO) TT=1800.11	? (TO) TT=1800.02	SAT (TO) f=20 TT=1800.01 T1=1800.3	SAT (TO) f=32 TT=1800.01 T1=1800.3	SAT (TO) f=32 TT=1800.02 T1=1800.3	SAT (TO) f=19 TT=1800.02 T1=1800.3	SAT (TO) f=22 TT=1800 T1=113.76	SAT (TO) f=25 TT=1800.02 T1=634.19	? (TO) TT=1800.02
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/logic_synthesis/ normalized-m100_50_10_10.r.opb	OPT f=8 TT=1.075 T1=0.35	OPT f=8 TT=1.075 T1=1.07	OPT f=8 TT=1.842 T1=1.84	OPT f=8 TT=3.963 T1=3.96	OPT f=8 TT=3.849 T1=3.85	OPT f=8 TT=2.012 T1=2.01	OPT f=8 TT=1.184 T1=1.18	OPT f=8 TT=434.826 T1=1.17	OPT f=8 TT=192.55 T1=0.35	OPT f=8 TT=165.43 T1=165.39
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/logic_synthesis/ normalized-m100_50_20_20.r.opb	OPT f=5 TT=0.129 T1=0.12	OPT f=5 TT=0.146 T1=0.14	OPT f=5 TT=0.129 T1=0.12	OPT f=5 TT=0.611 T1=0.61	OPT f=5 TT=0.939 T1=0.93	OPT f=5 TT=0.462 T1=0.46	OPT f=5 TT=0.364 T1=0.36	OPT f=5 TT=11.562 T1=1.7	OPT f=5 TT=4.901 T1=0.22	OPT f=5 TT=5.984 T1=0.91
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/logic_synthesis/ normalized-m100_50_30_30.r.opb	OPT f=3 TT=0.013 T1=0.01	OPT f=3 TT=0.028 T1=0.02	OPT f=3 TT=0.019 T1=0.02	OPT f=3 TT=0.027 T1=0.02	OPT f=3 TT=0.03 T1=0.03	OPT f=3 TT=0.013 T1=0.01	OPT f=3 TT=0.034 T1=0.03	OPT f=3 TT=1.114 T1=1.21	OPT f=3 TT=0.614 T1=0.23	OPT f=3 TT=0.215 T1=0.05
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/logic_synthesis/ normalized-m100_50_40_40.r.opb	OPT f=2 TT=0.006 T1=0	OPT f=2 TT=0.026 T1=0.02	OPT f=2 TT=0.016 T1=0.01	OPT f=2 TT=0.023 T1=0.02	OPT f=2 TT=0.026 T1=0.02	OPT f=2 TT=0.006 T1=0	OPT f=2 TT=0.006 T1=0	OPT f=2 TT=0.483 T1=1.23	OPT f=2 TT=0.373 T1=0.22	OPT f=2 TT=0.067 T1=0.05
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/logic_synthesis/ normalized-m200_500_10_10.r.opb	SAT f=51 TT=1800.08 T1=1800.4	? (TO) TT=1800.02	? (TO) TT=1800.02	SAT (TO) f=57 TT=1800.01 T1=1800.3	SAT (TO) f=60 TT=1800.02 T1=1800.3	SAT (TO) f=60 TT=1800.02 T1=1800.3	SAT (TO) f=51 TT=1800.08 T1=1800.4	SAT (TO) f=54 TT=1800.14 T1=5.76	SAT (TO) f=56 TT=1800.01 T1=11.97	? (TO) TT=1800.06
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/ logic_synthesis/normalized-m4.r.opb	OPT f=90 TT=0.327 T1=0.32	? (TO) TT=1800.02	? (TO) TT=1800.02	SAT (TO) f=98 TT=1800.02 T1=1800.3	SAT (TO) f=116 TT=1800.03 T1=1800.3	OPT f=90 TT=0.327 T1=0.32	SAT (TO) f=93 TT=1800.02 T1=1800.3	SAT (TO) f=103 TT=1800.16 T1=547.47	SAT (TO) f=115 TT=1800.71 T1=0.34	? (TO) TT=1800.06
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/logic_synthesis/ normalized-m50_100_10_10.r.opb	OPT f=8 TT=0.267 T1=0.26	OPT f=8 TT=2.894 T1=2.89	OPT f=8 TT=0.844 T1=0.84	OPT f=8 TT=15.562 T1=15.56	OPT f=8 TT=0.98 T1=0.98	OPT f=8 TT=0.267 T1=0.26	OPT f=8 TT=0.96 T1=0.96	SAT (TO) f=9 TT=1800.95 T1=2.65	SAT (TO) f=9 TT=1800.5 T1=0.17	? (TO) TT=1800.05
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/logic_synthesis/ normalized-m50_100_10_15.r.opb	OPT f=8 TT=1.076 T1=1.07	OPT f=8 TT=1.076 T1=1.07	OPT f=8 TT=8.042 T1=8.04	OPT f=8 TT=7.484 T1=7.48	OPT f=8 TT=11.157 T1=11.15	OPT f=8 TT=3.117 T1=3.11	OPT f=8 TT=7.029 T1=7.02	SAT (TO) f=8 TT=1800.08 T1=6.68	SAT (TO) f=8 TT=1800.03 T1=236.28	? (TO) TT=1800.05
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/logic_synthesis/ normalized-m50_100_30_30.r.opb	OPT f=4 TT=0.219 T1=0.21	OPT f=4 TT=0.219 T1=0.21	OPT f=4 TT=0.957 T1=0.95	OPT f=4 TT=4.753 T1=4.75	OPT f=4 TT=2.757 T1=2.75	OPT f=4 TT=1.346 T1=1.34	OPT f=4 TT=0.407 T1=0.4	OPT f=4 TT=85.219 T1=39.71	OPT f=4 TT=6.342 T1=3.91	OPT f=4 TT=11.981 T1=11.93
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/logic_synthesis/ normalized-m50_100_50_50.r.opb	OPT f=3 TT=0.019 T1=0.02	OPT f=3 TT=0.029 T1=0.03	OPT f=3 TT=0.019 T1=0.02	OPT f=3 TT=0.065 T1=0.06	OPT f=3 TT=0.115 T1=0.12	OPT f=3 TT=0.047 T1=0.04	OPT f=3 TT=0.052 T1=0.05	OPT f=3 TT=1.814 T1=1.21	OPT f=3 TT=0.703 T1=0.23	OPT f=3 TT=1.773 T1=0.03
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/logic_synthesis/ normalized-m50_100_70_70.r.opb	OPT f=2 TT=0.005 T1=0	OPT f=2 TT=0.027 T1=0.02	OPT f=2 TT=0.015 T1=0.01	OPT f=2 TT=0.035 T1=0.03	OPT f=2 TT=0.035 T1=0.03	OPT f=2 TT=0.007 T1=0	OPT f=2 TT=0.005 T1=0	OPT f=2 TT=0.634 T1=1.72	OPT f=2 TT=0.534 T1=0.22	OPT f=2 TT=0.063 T1=0.04
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/logic_synthesis/ normalized-m50_100_90_90.r.opb	OPT f=2 TT=0.007 T1=0	OPT f=2 TT=0.027 T1=0.02	OPT f=2 TT=0.016 T1=0.01	OPT f=2 TT=0.029 T1=0.03	OPT f=2 TT=0.033 T1=0.03	OPT f=2 TT=0.008 T1=0	OPT f=2 TT=0.007 T1=0.01	OPT f=2 TT=0.634 T1=0.73	OPT f=2 TT=0.485 T1=0.21	OPT f=2 TT=0.066 T1=0.03
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/logic_synthesis/ normalized-maincont.r.opb	OPT f=7 TT=0.003 T1=0	OPT f=7 TT=0.029 T1=0.02	OPT f=7 TT=0.018 T1=0.01	OPT f=7 TT=0.041 T1=0.04	OPT f=7 TT=0.03 T1=0.03	OPT f=7 TT=0.003 T1=0	OPT f=7 TT=0.013 T1=0.01	OPT f=7 TT=0.904 T1=1.69	OPT f=7 TT=20.971 T1=0.34	OPT f=7 TT=0.062 T1=0.05
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/logic_synthesis/ normalized-max1024.r.opb	SAT f=275 TT=1800.02 T1=1800.3	? (TO) TT=1800.02	? (TO) TT=1800.02	SAT (TO) f=280 TT=1800.09 T1=1800.4	SAT (TO) f=303 TT=1800.02 T1=1800.3	SAT (TO) f=303 TT=1800.02 T1=1800.3	SAT (TO) f=275 TT=1800.02 T1=1800.3	SAT (TO) f=284 TT=1800.54 T1=580.01	SAT (TO) f=303 TT=1800.08 T1=0.28	? (TO) TT=1800.03
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/logic_synthesis/ normalized-max512.r.opb	OPT f=113 TT=0.03 T1=0.02	? (TO) TT=1800.02	? (TO) TT=1800.01	SAT (TO) f=120 TT=1800.01 T1=1800.3	SAT (TO) f=139 TT=1800.01 T1=1800.3	OPT f=113 TT=0.03 T1=0.02	SAT (TO) f=120 TT=1800.02 T1=1800.3	SAT (TO) f=122 TT=1800.09 T1=438.32	SAT (TO) f=139 TT=1800.03 T1=0.22	OPT f=113 TT=0.657 T1=0.34
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/ logic_synthesis/normalized-mlp4.r.opb	OPT f=109 TT=0.033 T1=0.03	? (TO) TT=1800.02	? (TO) TT=1800.02	SAT (TO) f=116 TT=1800.01 T1=1800.3	SAT (TO) f=136 TT=1800.02 T1=1800.3	OPT f=109 TT=0.033 T1=0.03	SAT (TO) f=113 TT=1800.02 T1=1800.3	SAT (TO) f=117 TT=1800.09 T1=662.02	SAT (TO) f=133 TT=1800.06 T1=0.28	? (TO) TT=1800.03
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/ logic_synthesis/normalized-opus.r.opb	OPT f=5 TT=0.003 T1=0	OPT f=5 TT=0.026 T1=0.02	OPT f=5 TT=0.016 T1=0.01	OPT f=5 TT=0.03 T1=0.03	OPT f=5 TT=0.014 T1=0.01	OPT f=5 TT=0.003 T1=0	OPT f=5 TT=0.004 T1=0	OPT f=5 TT=0.294 T1=1.17	OPT f=5 TT=0.564 T1=0.16	OPT f=5 TT=0.122 T1=0.04
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/ logic_synthesis/normalized-pdc.r.opb	OPT f=94 TT=17.288 T1=17.28	? (TO) TT=1800.05	? (TO) TT=1800.07	SAT (TO) f=150 TT=1800.07 T1=1800.4	SAT (TO) f=150 TT=1800.08 T1=1800.4	OPT f=94 TT=17.288 T1=17.28	SAT (TO) f=109 TT=1800.01 T1=1800.3	SAT (TO) f=148 TT=1800.1 T1=145.59	SAT (TO) f=150 TT=1800.09 T1=1.06	? (TO) TT=1800.05
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/logic_synthesis/ normalized-prom2.r.opb	SAT f=323 TT=1800.02 T1=1800.3	? (TO) TT=1800.01	? (TO) TT=1800.02	SAT (TO) f=439 TT=1800.01 T1=1800.3	SAT (TO) f=439 TT=1800.01 T1=1800.3	SAT (TO) f=439 TT=1800.02 T1=1800.3	SAT (TO) f=323 TT=1800.02 T1=1800.3	SAT (TO) f=429 TT=1800.37 T1=805.99	SAT (TO) f=439 TT=1800.9 T1=0.35	? (TO) TT=1800.06
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/ logic_synthesis/normalized-rd73.b.opb	OPT f=4 TT=0.015 T1=0.01	OPT f=4 TT=0.053 T1=0.05	OPT f=4 TT=0.032 T1=0.03	OPT f=4 TT=0.216 T1=0.21	OPT f=4 TT=0.107 T1=0.1	OPT f=4 TT=0.015 T1=0.01	OPT f=4 TT=0.025 T1=0.02	OPT f=4 TT=2.634 T1=1.81	OPT f=4 TT=3.003 T1=1.56	OPT f=4 TT=0.115 T1=0.1
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/ logic_synthesis/normalized-rd84.b.opb	OPT f=5 TT=0.488 T1=0.48	OPT f=5 TT=0.87 T1=0.86	OPT f=5 TT=3.256 T1=3.25	OPT f=5 TT=11.304 T1=11.3	OPT f=5 TT=3.317 T1=3.31	OPT f=5 TT=0.63 T1=0.63	OPT f=5 TT=0.488 T1=0.48	OPT f=5 TT=198.314 T1=52.7	SAT (TO) f=6 TT=1800.66 T1=291.05	? (TO) TT=1800.08
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/logic_synthesis/ normalized-ricks.r.opb	OPT f=5 TT=0.047 T1=0.04	OPT f=5 TT=0.047 T1=0.04	OPT f=5 TT=0.096 T1=0.09	OPT f=5 TT=12.006 T1=12.01	OPT f=5 TT=0.379 T1=0.37	OPT f=5 TT=0.086 T1=0.08	OPT f=5 TT=0.241 T1=0.24	OPT f=5 TT=1.524 T1=1.81	OPT f=5 TT=9.325 T1=0.41	OPT f=5 TT=1.765 T1=1.7
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/logic_synthesis/ normalized-saucier.r.opb	OPT f=6 TT=661.163 T1=224.97	? (TO) TT=1800.02	? (TO) TT=1800.02	SAT (TO) f=6 TT=1800.05 T1=1800.4	SAT (TO) f=7 TT=1800.13 T1=1800.4	OPT f=6 TT=897.593 T1=897.73	SAT (TO) f=7 TT=1800.13 T1=1800.4	OPT f=6 TT=661.163 T1=224.97	SAT (TO) f=8 TT=1800.82 T1=746.17	? (TO) TT=1800.06
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/logic_synthesis/ normalized-test1.r.opb	SAT f=132 TT=1800.02 T1=1800.3	? (TO) TT=1800.11	? (TO) TT=1800.01	SAT (TO) f=149 TT=1800.11 T1=1800.4	SAT (TO) f=149 TT=1800.09 T1=1800.4	SAT (TO) f=149 TT=1800.02 T1=1800.3	SAT (TO) f=132 TT=1800.02 T1=1800.3	SAT (TO) f=137 TT=1800.18 T1=810.6	SAT (TO) f=148 TT=1800.05 T1=0.41	? (TO) TT=1800.02
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/market-split/ normalized-market-split_4_30_1.opb	UNSAT TT=79.101	? (TO) TT=1800.02	? (TO) TT=1800.02	UNSAT TT=1272.56	UNSAT TT=456.303	UNSAT TT=976.129	UNSAT TT=983.647	UNSAT TT=435.658	UNSAT TT=200.913	UNSAT TT=79.101
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/market-split/ normalized-market-split_4_30_2.opb	UNSAT TT=34.984	UNSAT TT=937.655	UNSAT TT=980.377	? (TO) TT=1800.02	UNSAT TT=161.705	UNSAT TT=1134.87	UNSAT TT=1070.38	UNSAT TT=160.86	UNSAT TT=97.41	UNSAT TT=34.984
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/market-split/ normalized-market-split_4_30_3.opb	UNSAT TT=165.369	? (TO) TT=1800.02	? (TO) TT=1800.02	UNSAT TT=1297.3	UNSAT TT=1059.51	? (TO) TT=1800.11	? (TO) TT=1800.01	UNSAT TT=1081.47	UNSAT TT=593.54	UNSAT TT=165.369
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/market-split/ normalized-market-split_4_30_4.opb	UNSAT TT=52.193	UNSAT TT=1435.44	UNSAT TT=1419.11	UNSAT TT=1002.59	UNSAT TT=144.924	UNSAT TT=748.17	UNSAT TT=743.737	UNSAT TT=183.645	UNSAT TT=115.365	UNSAT TT=52.193
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/market-split/ normalized-market-split_5_40_1.opb	OPT f=0 TT=1078.99 T1=1079.15	? (TO) TT=1800.02	? (TO) TT=1800.02	OPT f=0 TT=1078.99 T1=1079.15	? (TO) TT=1800.02	? (TO) TT=1800.06	? (TO) TT=1800.04	? (TO) TT=1800.03	? (TO) TT=1800.63	? (TO) TT=1800.07
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/market-split/ normalized-market-split_5_40_2.opb		? (TO) TT=1800.01	? (TO) TT=1800.02	? (TO) TT=1800.01	? (TO) TT=1800.02	? (TO) TT=1800.08	? (TO) TT=1800.07	? (TO) TT=1800.12	? (TO) TT=1800.04	? (TO) TT=1800.07
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/market-split/ normalized-market-split_5_40_3.opb		? (TO) TT=1800.01	? (TO) TT=1800.02	? (TO) TT=1800.02	? (TO) TT=1800.02	? (TO) TT=1800.07	? (TO) TT=1800.06	? (TO) TT=1800.95	? (TO) TT=1800.01	? (TO) TT=1800.1
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/market-split/ normalized-market-split_5_40_4.opb		? (TO) TT=1800.02	? (TO) TT=1800.01	? (TO) TT=1800.02	? (TO) TT=1800.02	? (TO) TT=1800.07	? (TO) TT=1800.07	? (TO) TT=1801.06	? (TO) TT=1800.75	? (TO) TT=1800.07
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/market-split/ normalized-market-split_6_50_1.opb		? (TO) TT=1800.02	? (TO) TT=1800.02	? (TO) TT=1800.03	? (TO) TT=1800.02	? (TO) TT=1800.03	? (TO) TT=1800.05	? (TO) TT=1800.96	? (TO) TT=1800.04	? (TO) TT=1800.06
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/market-split/ normalized-market-split_6_50_2.opb		? (TO) TT=1800.02	? (TO) TT=1800.02	? (TO) TT=1800.02	? (TO) TT=1800.02	? (TO) TT=1800.07	? (TO) TT=1800.05	? (TO) TT=1800.1	? (TO) TT=1800.05	? (TO) TT=1800.11
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/market-split/ normalized-market-split_6_50_3.opb		? (TO) TT=1800.02	? (TO) TT=1800.02	? (TO) TT=1800.01	? (TO) TT=1800.01	? (TO) TT=1800.06	? (TO) TT=1800.05	? (TO) TT=1800.03	? (TO) TT=1800	? (TO) TT=1800.06
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/market-split/ normalized-market-split_6_50_4.opb		? (TO) TT=1800.02	? (TO) TT=1800.02	? (TO) TT=1800.01	? (TO) TT=1800.02	? (TO) TT=1800.06	? (TO) TT=1800.05	? (TO) TT=1800.82	? (TO) TT=1800	? (TO) TT=1800.11
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/market-split/ normalized-market-split_7_60_1.opb		? (TO) TT=1800.01	? (TO) TT=1800.02	? (TO) TT=1800.02	? (TO) TT=1800.02	? (TO) TT=1800.02	? (TO) TT=1800.02	? (TO) TT=1800.09	? (TO) TT=1800.72	? (TO) TT=1800.02
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/market-split/ normalized-market-split_7_60_2.opb		? (TO) TT=1800.02	? (TO) TT=1800.02	? (TO) TT=1800.03	? (TO) TT=1800.02	? (TO) TT=1800.03	? (TO) TT=1800.15	? (TO) TT=1800.81	? (TO) TT=1800.52	? (TO) TT=1800.04
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/market-split/ normalized-market-split_7_60_3.opb		? (TO) TT=1800.02	? (TO) TT=1800.02	? (TO) TT=1800.02	? (TO) TT=1800.02	? (TO) TT=1800.05	? (TO) TT=1800.06	? (TO) TT=1800.05	? (TO) TT=1800.46	? (TO) TT=1800.03
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/market-split/ normalized-market-split_7_60_4.opb		? (TO) TT=1800.02	? (TO) TT=1800.02	? (TO) TT=1800.02	? (TO) TT=1800.1	? (TO) TT=1800.04	? (TO) TT=1800.03	? (TO) TT=1800.02	? (TO) TT=1800	? (TO) TT=1800.03
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/market-split/ normalized-market-split_8_70_1.opb		? (TO) TT=1800.02	? (TO) TT=1800.02	? (TO) TT=1800.02	? (TO) TT=1800.01	? (TO) TT=1800.08	? (TO) TT=1800.09	? (TO) TT=1800.13	? (TO) TT=1800	? (TO) TT=1800.03
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/market-split/ normalized-market-split_8_70_2.opb		? (TO) TT=1800.01	? (TO) TT=1800.02	? (TO) TT=1800.03	? (TO) TT=1800.02	? (TO) TT=1800.07	? (TO) TT=1800.05	? (TO) TT=1801.13	? (TO) TT=1800.09	? (TO) TT=1800.08
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/market-split/ normalized-market-split_8_70_3.opb		? (TO) TT=1800.02	? (TO) TT=1800.02	? (TO) TT=1800.03	? (TO) TT=1800.11	? (TO) TT=1800.16	? (TO) TT=1800.04	? (TO) TT=1800.17	? (TO) TT=1800.77	? (TO) TT=1800.08
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/market-split/ normalized-market-split_8_70_4.opb		? (TO) TT=1800.02	? (TO) TT=1800.01	? (TO) TT=1800.02	? (TO) TT=1800.03	? (TO) TT=1800.12	? (TO) TT=1800.04	? (TO) TT=1800.63	? (TO) TT=1800.72	? (TO) TT=1800.06
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/market-split/ normalized-opt-market-split_4_30_1.opb	OPT f=2 TT=342.91 T1=59.3	? (TO) TT=1800.01	? (TO) TT=1800.01	SAT (TO) f=2 TT=1800.02 T1=1800.3	OPT f=2 TT=673.137 T1=673.24	SAT (TO) f=11 TT=1800.06 T1=1800.4	SAT (TO) f=3 TT=1800.08 T1=1800.4	OPT f=2 TT=342.91 T1=59.3	SAT (TO) f=2 TT=1800.52 T1=749.06	OPT f=2 TT=438.618 T1=438.62
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/market-split/ normalized-opt-market-split_4_30_2.opb	OPT f=1 TT=141.034 T1=16.21	? (TO) TT=1800.02	? (TO) TT=1800.02	SAT (TO) f=1 TT=1800.02 T1=1800.3	OPT f=1 TT=222.822 T1=222.85	SAT (TO) f=5 TT=1800.12 T1=1800.4	SAT (TO) f=3 TT=1800.09 T1=1800.4	OPT f=1 TT=153.191 T1=16.21	OPT f=1 TT=453.195 T1=452.16	OPT f=1 TT=141.034 T1=140.99
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/market-split/ normalized-opt-market-split_4_30_3.opb	OPT f=2 TT=827.696 T1=35.79	? (TO) TT=1800.02	? (TO) TT=1800.02	SAT (TO) f=3 TT=1800.02 T1=1800.3	OPT f=2 TT=917.476 T1=917.62	SAT (TO) f=14 TT=1800.07 T1=1800.4	SAT (TO) f=3 TT=1800.09 T1=1800.4	OPT f=2 TT=1067.02 T1=35.79	SAT (TO) f=121 TT=1800.03 T1=302.09	OPT f=2 TT=827.696 T1=532.36
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/market-split/ normalized-opt-market-split_4_30_4.opb	OPT f=1 TT=201.333 T1=101.97	? (TO) TT=1800.09	? (TO) TT=1800.02	OPT f=1 TT=1763.95 T1=1764.22	OPT f=1 TT=213.668 T1=213.69	SAT (TO) f=4 TT=1800.1 T1=1800.4	OPT f=1 TT=1794.77 T1=1795.07	OPT f=1 TT=201.333 T1=101.97	OPT f=1 TT=344.42 T1=343.75	OPT f=1 TT=235.706 T1=235.68
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/market-split/ normalized-opt-market-split_5_40_1.opb	SAT f=3 TT=1800.09 T1=1800.4	? (TO) TT=1800.03	? (TO) TT=1800.02	SAT (TO) f=9 TT=1800.02 T1=1800.3	SAT (TO) f=3 TT=1800.09 T1=1800.4	SAT (TO) f=27 TT=1800.06 T1=1800.4	SAT (TO) f=22 TT=1800.07 T1=1800.4	SAT (TO) f=19 TT=1800.69 T1=45.94	SAT (TO) f=16 TT=1800.65 T1=327.41	? (TO) TT=1800.08
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/market-split/ normalized-opt-market-split_5_40_2.opb	SAT f=5 TT=1800.01 T1=488.09	? (TO) TT=1800.02	? (TO) TT=1800.02	SAT (TO) f=9 TT=1800.02 T1=1800.3	SAT (TO) f=5 TT=1800.01 T1=1800.3	SAT (TO) f=40 TT=1800.1 T1=1800.4	SAT (TO) f=18 TT=1800.04 T1=1800.3	SAT (TO) f=5 TT=1800.01 T1=488.09	SAT (TO) f=57 TT=1800.01 T1=356.55	? (TO) TT=1800.06
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/market-split/ normalized-opt-market-split_5_40_3.opb	SAT f=2 TT=1800.02 T1=337.05	? (TO) TT=1800.02	? (TO) TT=1800.02	SAT (TO) f=13 TT=1800.01 T1=1800.3	SAT (TO) f=2 TT=1800.02 T1=1800.3	SAT (TO) f=19 TT=1800.08 T1=1800.4	SAT (TO) f=15 TT=1800.05 T1=1800.4	SAT (TO) f=2 TT=1800.08 T1=337.05	SAT (TO) f=5 TT=1800.69 T1=74.14	? (TO) TT=1800.04
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/market-split/ normalized-opt-market-split_5_40_4.opb	SAT f=2 TT=1800.02 T1=1800.3	? (TO) TT=1800.02	? (TO) TT=1800.02	SAT (TO) f=10 TT=1800.02 T1=1800.3	SAT (TO) f=2 TT=1800.02 T1=1800.3	SAT (TO) f=69 TT=1800.05 T1=1800.4	SAT (TO) f=12 TT=1800.05 T1=1800.4	SAT (TO) f=8 TT=1800.06 T1=27.38	SAT (TO) f=16 TT=1800.09 T1=298.11	? (TO) TT=1800.1
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/market-split/ normalized-opt-market-split_6_50_1.opb	SAT f=9 TT=1800.01 T1=1695.91	? (TO) TT=1800.02	? (TO) TT=1800.1	SAT (TO) f=35 TT=1800.01 T1=1800.3	SAT (TO) f=11 TT=1800.1 T1=1800.4	SAT (TO) f=201 TT=1800.04 T1=1800.4	SAT (TO) f=153 TT=1800.06 T1=1800.4	SAT (TO) f=14 TT=1800.43 T1=906.59	SAT (TO) f=9 TT=1800.01 T1=1695.91	? (TO) TT=1800.01
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/market-split/ normalized-opt-market-split_6_50_2.opb	SAT f=2 TT=1800.71 T1=284.79	? (TO) TT=1800.02	? (TO) TT=1800.02	SAT (TO) f=48 TT=1800.02 T1=1800.3	SAT (TO) f=14 TT=1800.02 T1=1800.3	SAT (TO) f=105 TT=1800.09 T1=1800.5	SAT (TO) f=128 TT=1800.04 T1=1800.4	SAT (TO) f=10 TT=1800.16 T1=859.87	SAT (TO) f=2 TT=1800.71 T1=284.79	? (TO) TT=1800.06
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/market-split/ normalized-opt-market-split_6_50_3.opb	SAT f=10 TT=1800.72 T1=424.64	? (TO) TT=1800.02	? (TO) TT=1800.02	SAT (TO) f=46 TT=1800.02 T1=1800.3	SAT (TO) f=19 TT=1800.02 T1=1800.3	SAT (TO) f=201 TT=1800.02 T1=1800.4	SAT (TO) f=206 TT=1800.01 T1=1800.4	SAT (TO) f=10 TT=1800.72 T1=424.64	SAT (TO) f=11 TT=1800.7 T1=539.39	? (TO) TT=1800.08
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/market-split/ normalized-opt-market-split_6_50_4.opb	SAT f=11 TT=1800.63 T1=585.12	? (TO) TT=1800.02	? (TO) TT=1800.02	SAT (TO) f=34 TT=1800.02 T1=1800.3	SAT (TO) f=12 TT=1800.1 T1=1800.4	SAT (TO) f=94 TT=1800.04 T1=1800.4	SAT (TO) f=136 TT=1800.05 T1=1800.4	SAT (TO) f=11 TT=1800.63 T1=585.12	SAT (TO) f=15 TT=1800.57 T1=1010.21	? (TO) TT=1800.02
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/market-split/ normalized-opt-market-split_7_60_1.opb	SAT f=25 TT=1800.02 T1=1800.3	? (TO) TT=1800.01	? (TO) TT=1800.02	SAT (TO) f=116 TT=1800.02 T1=1800.3	SAT (TO) f=25 TT=1800.02 T1=1800.3	SAT (TO) f=400 TT=1800.03 T1=1800.4	SAT (TO) f=426 TT=1800.08 T1=1800.4	SAT (TO) f=37 TT=1800.17 T1=856.22	SAT (TO) f=44 TT=1800.03 T1=1720.83	? (TO) TT=1800.02
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/market-split/ normalized-opt-market-split_7_60_2.opb	SAT f=30 TT=1800.1 T1=1800.4	? (TO) TT=1800.01	? (TO) TT=1800.02	SAT (TO) f=118 TT=1800.01 T1=1800.3	SAT (TO) f=30 TT=1800.1 T1=1800.4	SAT (TO) f=439 TT=1800.05 T1=1800.4	SAT (TO) f=559 TT=1800.14 T1=1800.5	SAT (TO) f=50 TT=1800.51 T1=396.09	SAT (TO) f=52 TT=1800.61 T1=1399.13	? (TO) TT=1800.03
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/market-split/ normalized-opt-market-split_7_60_3.opb	SAT f=29 TT=1800.02 T1=1800.3	? (TO) TT=1800.01	? (TO) TT=1800.04	SAT (TO) f=127 TT=1800.02 T1=1800.3	SAT (TO) f=29 TT=1800.02 T1=1800.3	SAT (TO) f=274 TT=1800.04 T1=1800.4	SAT (TO) f=543 TT=1800.1 T1=1800.5	SAT (TO) f=56 TT=1800.52 T1=190.57	SAT (TO) f=52 TT=1800 T1=1726.88	? (TO) TT=1800.03
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/market-split/ normalized-opt-market-split_7_60_4.opb	SAT f=23 TT=1800.02 T1=1742.33	? (TO) TT=1800.02	? (TO) TT=1800.02	SAT (TO) f=126 TT=1800.02 T1=1800.3	SAT (TO) f=28 TT=1800.01 T1=1800.3	SAT (TO) f=443 TT=1800.1 T1=1800.5	SAT (TO) f=529 TT=1800.18 T1=1800.4	SAT (TO) f=52 TT=1800.02 T1=750.41	SAT (TO) f=23 TT=1800.02 T1=1742.33	? (TO) TT=1800.06
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/market-split/ normalized-opt-market-split_8_70_1.opb	SAT f=52 TT=1800.06 T1=1800.4	? (TO) TT=1800.02	? (TO) TT=1800.02	SAT (TO) f=208 TT=1800.02 T1=1800.3	SAT (TO) f=52 TT=1800.06 T1=1800.4	SAT (TO) f=1169 TT=1800.11 T1=1800.4	SAT (TO) f=987 TT=1800.03 T1=1800.4	SAT (TO) f=100 TT=1800.15 T1=815.34	SAT (TO) f=158 TT=1800.04 T1=519.52	? (TO) TT=1800.03
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/market-split/ normalized-opt-market-split_8_70_2.opb	SAT f=67 TT=1800.04 T1=1718.03	? (TO) TT=1800.02	? (TO) TT=1800.02	SAT (TO) f=186 TT=1800.02 T1=1800.3	SAT (TO) f=80 TT=1800.02 T1=1800.3	SAT (TO) f=1104 TT=1800.12 T1=1800.5	SAT (TO) f=790 TT=1800.06 T1=1800.5	SAT (TO) f=97 TT=1800.02 T1=457.58	SAT (TO) f=67 TT=1800.04 T1=1718.03	? (TO) TT=1800.1
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/market-split/ normalized-opt-market-split_8_70_3.opb	SAT f=60 TT=1800.1 T1=1800.4	? (TO) TT=1800.01	? (TO) TT=1800.02	SAT (TO) f=141 TT=1800.02 T1=1800.3	SAT (TO) f=60 TT=1800.1 T1=1800.4	SAT (TO) f=1382 TT=1800.12 T1=1800.5	SAT (TO) f=544 TT=1800.13 T1=1800.5	SAT (TO) f=245 TT=1800.08 T1=939.43	SAT (TO) f=307 TT=1800.09 T1=1305.76	? (TO) TT=1800.07
normalized-PB06/OPT-SMALLINT/ submitted-PB06/manquiho/market-split/ normalized-opt-market-split_8_70_4.opb	SAT f=77 TT=1800.04 T1=1800.4	? (TO) TT=1800.02	? (TO) TT=1800.01	SAT (TO) f=218 TT=1800.02 T1=1800.3	SAT (TO) f=77 TT=1800.04 T1=1800.4	SAT (TO) f=445 TT=1800.04 T1=1800.4	SAT (TO) f=950 TT=1800.11 T1=1800.5	SAT (TO) f=129 TT=1800.22 T1=912.64	SAT (TO) f=145 TT=1800.02 T1=545.12	? (TO) TT=1800.1
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=101-Q=223.opb	OPT f=101 TT=0.019 T1=0.02	OPT f=101 TT=0.216 T1=0.21	OPT f=101 TT=0.086 T1=0.08	OPT f=101 TT=0.019 T1=0.02	OPT f=101 TT=0.023 T1=0.02	OPT f=101 TT=6.171 T1=6.16	OPT f=101 TT=23.938 T1=23.93	OPT f=101 TT=0.724 T1=0.67	OPT f=101 TT=0.354 T1=0.18	OPT f=101 TT=0.285 T1=0.25
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=101-Q=379.opb	OPT f=101 TT=0.017 T1=0.01	OPT f=101 TT=0.174 T1=0.17	OPT f=101 TT=0.134 T1=0.13	OPT f=101 TT=0.019 T1=0.01	OPT f=101 TT=0.017 T1=0.01	OPT f=101 TT=2.907 T1=2.89	OPT f=101 TT=17.16 T1=17.15	OPT f=101 TT=0.625 T1=0.67	OPT f=101 TT=0.334 T1=0.2	OPT f=101 TT=0.469 T1=0.43
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=101-Q=409.opb	OPT f=101 TT=0.02 T1=0.01	OPT f=101 TT=0.248 T1=0.24	OPT f=101 TT=0.224 T1=0.22	OPT f=101 TT=0.02 T1=0.01	OPT f=101 TT=0.03 T1=0.03	OPT f=101 TT=5.615 T1=5.6	OPT f=101 TT=21.187 T1=21.18	OPT f=101 TT=0.493 T1=0.66	OPT f=101 TT=0.314 T1=0.19	OPT f=101 TT=0.455 T1=0.41
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=101-Q=457.opb	OPT f=101 TT=0.02 T1=0.02	OPT f=101 TT=0.108 T1=0.1	OPT f=101 TT=0.349 T1=0.34	OPT f=101 TT=0.022 T1=0.02	OPT f=101 TT=0.02 T1=0.02	OPT f=101 TT=4.036 T1=4.03	OPT f=101 TT=19.115 T1=19.11	OPT f=101 TT=0.425 T1=0.66	OPT f=101 TT=0.294 T1=0.18	OPT f=101 TT=0.459 T1=0.42
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=107-Q=373.opb	OPT f=107 TT=0.021 T1=0.02	OPT f=107 TT=0.305 T1=0.3	OPT f=107 TT=0.261 T1=0.26	OPT f=107 TT=0.023 T1=0.02	OPT f=107 TT=0.021 T1=0.02	OPT f=107 TT=4.64 T1=4.63	OPT f=107 TT=19.075 T1=19.07	OPT f=107 TT=0.573 T1=0.66	OPT f=107 TT=0.344 T1=0.21	OPT f=107 TT=0.446 T1=0.4
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=107-Q=503.opb	OPT f=107 TT=0.018 T1=0.01	OPT f=107 TT=0.078 T1=0.07	OPT f=107 TT=0.055 T1=0.05	OPT f=107 TT=0.019 T1=0.01	OPT f=107 TT=0.018 T1=0.01	OPT f=107 TT=2.715 T1=2.7	OPT f=107 TT=16.592 T1=16.58	OPT f=107 TT=0.273 T1=0.67	OPT f=107 TT=0.204 T1=0.14	OPT f=107 TT=0.578 T1=0.54
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=109-Q=373.opb	OPT f=109 TT=0.02 T1=0.02	OPT f=109 TT=0.351 T1=0.35	OPT f=109 TT=0.312 T1=0.31	OPT f=109 TT=0.02 T1=0.02	OPT f=109 TT=0.023 T1=0.02	OPT f=109 TT=4.566 T1=4.55	OPT f=109 TT=19.801 T1=19.8	OPT f=109 TT=0.564 T1=0.66	OPT f=109 TT=0.324 T1=0.18	OPT f=109 TT=0.428 T1=0.4
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=109-Q=419.opb	OPT f=109 TT=0.019 T1=0.02	OPT f=109 TT=0.089 T1=0.08	OPT f=109 TT=0.056 T1=0.05	OPT f=109 TT=0.022 T1=0.02	OPT f=109 TT=0.019 T1=0.02	OPT f=109 TT=5.101 T1=5.09	OPT f=109 TT=19.643 T1=19.64	OPT f=109 TT=0.483 T1=0.67	OPT f=109 TT=0.295 T1=0.16	OPT f=109 TT=0.501 T1=0.46
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=113-Q=233.opb	OPT f=113 TT=0.019 T1=0.01	OPT f=113 TT=0.199 T1=0.19	OPT f=113 TT=0.077 T1=0.07	OPT f=113 TT=0.019 T1=0.01	OPT f=113 TT=0.028 T1=0.02	OPT f=113 TT=4.639 T1=4.62	OPT f=113 TT=18.194 T1=18.19	OPT f=113 TT=0.705 T1=0.66	OPT f=113 TT=0.354 T1=0.18	OPT f=113 TT=0.318 T1=0.29
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=113-Q=331.opb	OPT f=113 TT=0.02 T1=0.01	OPT f=113 TT=0.157 T1=0.15	OPT f=113 TT=0.238 T1=0.23	OPT f=113 TT=0.02 T1=0.01	OPT f=113 TT=0.029 T1=0.02	OPT f=113 TT=5.349 T1=5.33	OPT f=113 TT=19.303 T1=19.3	OPT f=113 TT=0.544 T1=0.66	OPT f=113 TT=0.323 T1=0.19	OPT f=113 TT=0.405 T1=0.36
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=113-Q=479.opb	OPT f=113 TT=0.02 T1=0.01	OPT f=113 TT=0.04 T1=0.04	OPT f=113 TT=0.024 T1=0.02	OPT f=113 TT=0.02 T1=0.01	OPT f=113 TT=0.023 T1=0.02	OPT f=113 TT=3.554 T1=3.54	OPT f=113 TT=17.145 T1=17.15	OPT f=113 TT=0.444 T1=0.66	OPT f=113 TT=0.265 T1=0.17	OPT f=113 TT=0.643 T1=0.6
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=113-Q=521.opb	UNSAT TT=0.023	UNSAT TT=0.276	UNSAT TT=0.272	UNSAT TT=0.023	UNSAT TT=0.027	UNSAT TT=3.641	UNSAT TT=15.797	UNSAT TT=0.935	UNSAT TT=0.472	UNSAT TT=0.636
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=11-Q=283.opb	OPT f=11 TT=0.013 T1=0.01	OPT f=11 TT=0.043 T1=0.04	OPT f=11 TT=0.031 T1=0.03	OPT f=11 TT=0.017 T1=0.01	OPT f=11 TT=0.013 T1=0.01	OPT f=11 TT=2.274 T1=2.26	OPT f=11 TT=15.949 T1=15.94	OPT f=11 TT=0.404 T1=0.66	OPT f=11 TT=0.224 T1=0.16	OPT f=11 TT=0.104 T1=0.09
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=11-Q=53.opb	OPT f=11 TT=0.01 T1=0.01	OPT f=11 TT=0.04 T1=0.04	OPT f=11 TT=0.032 T1=0.03	OPT f=11 TT=0.012 T1=0.01	OPT f=11 TT=0.01 T1=0.01	OPT f=11 TT=1.968 T1=1.95	OPT f=11 TT=14.829 T1=14.82	OPT f=11 TT=0.315 T1=0.67	OPT f=11 TT=0.243 T1=0.16	OPT f=11 TT=0.061 T1=0.06
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=127-Q=137.opb	OPT f=127 TT=0.022 T1=0.02	OPT f=127 TT=0.817 T1=0.81	OPT f=127 TT=0.323 T1=0.32	OPT f=127 TT=0.022 T1=0.02	OPT f=127 TT=0.038 T1=0.03	OPT f=127 TT=5.253 T1=5.24	OPT f=127 TT=24.882 T1=24.87	OPT f=127 TT=0.655 T1=0.66	OPT f=127 TT=0.364 T1=0.18	OPT f=127 TT=0.24 T1=0.22
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=127-Q=149.opb	OPT f=127 TT=0.021 T1=0.02	OPT f=127 TT=0.651 T1=0.65	OPT f=127 TT=0.153 T1=0.15	OPT f=127 TT=0.021 T1=0.02	OPT f=127 TT=0.022 T1=0.02	OPT f=127 TT=4.051 T1=4.03	OPT f=127 TT=21.804 T1=21.8	OPT f=127 TT=0.696 T1=0.66	OPT f=127 TT=0.384 T1=0.19	OPT f=127 TT=0.241 T1=0.22
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=127-Q=211.opb	OPT f=127 TT=0.023 T1=0.02	OPT f=127 TT=0.184 T1=0.18	OPT f=127 TT=0.289 T1=0.28	OPT f=127 TT=0.023 T1=0.02	OPT f=127 TT=0.024 T1=0.02	OPT f=127 TT=3.163 T1=3.15	OPT f=127 TT=20.7 T1=20.69	OPT f=127 TT=0.644 T1=0.66	OPT f=127 TT=0.373 T1=0.19	OPT f=127 TT=0.289 T1=0.24
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=127-Q=359.opb	OPT f=127 TT=0.019 T1=0.02	OPT f=127 TT=0.183 T1=0.18	OPT f=127 TT=0.154 T1=0.15	OPT f=127 TT=0.021 T1=0.02	OPT f=127 TT=0.019 T1=0.02	OPT f=127 TT=4.845 T1=4.83	OPT f=127 TT=20.394 T1=20.38	OPT f=127 TT=0.574 T1=0.66	OPT f=127 TT=0.304 T1=0.16	OPT f=127 TT=0.46 T1=0.43
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=127-Q=389.opb	OPT f=127 TT=0.023 T1=0.02	OPT f=127 TT=0.41 T1=0.41	OPT f=127 TT=0.396 T1=0.39	OPT f=127 TT=0.023 T1=0.02	OPT f=127 TT=0.029 T1=0.03	OPT f=127 TT=2.242 T1=2.23	OPT f=127 TT=17.846 T1=17.84	OPT f=127 TT=0.455 T1=0.66	OPT f=127 TT=0.274 T1=0.17	OPT f=127 TT=0.641 T1=0.59
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=127-Q=487.opb	OPT f=127 TT=0.017 T1=0.01	OPT f=127 TT=0.125 T1=0.12	OPT f=127 TT=0.117 T1=0.11	OPT f=127 TT=0.02 T1=0.01	OPT f=127 TT=0.017 T1=0.01	OPT f=127 TT=3.081 T1=3.07	OPT f=127 TT=16.401 T1=16.39	OPT f=127 TT=0.304 T1=0.66	OPT f=127 TT=0.224 T1=0.15	OPT f=127 TT=0.62 T1=0.58
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=127-Q=491.opb	OPT f=127 TT=0.02 T1=0.01	OPT f=127 TT=0.236 T1=0.23	OPT f=127 TT=0.22 T1=0.22	OPT f=127 TT=0.02 T1=0.01	OPT f=127 TT=0.028 T1=0.02	OPT f=127 TT=3.351 T1=3.34	OPT f=127 TT=15.688 T1=15.68	OPT f=127 TT=0.235 T1=0.66	OPT f=127 TT=0.224 T1=0.15	OPT f=127 TT=0.675 T1=0.63
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=127-Q=499.opb	OPT f=127 TT=0.015 T1=0.01	OPT f=127 TT=0.298 T1=0.29	OPT f=127 TT=0.303 T1=0.3	OPT f=127 TT=0.02 T1=0.01	OPT f=127 TT=0.015 T1=0.01	OPT f=127 TT=3.221 T1=3.21	OPT f=127 TT=16.715 T1=16.71	OPT f=127 TT=0.234 T1=0.66	OPT f=127 TT=0.224 T1=0.15	OPT f=127 TT=0.64 T1=0.59
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=131-Q=137.opb	OPT f=131 TT=0.021 T1=0.02	OPT f=131 TT=0.22 T1=0.22	OPT f=131 TT=0.143 T1=0.14	OPT f=131 TT=0.021 T1=0.02	OPT f=131 TT=0.022 T1=0.02	OPT f=131 TT=5.506 T1=5.49	OPT f=131 TT=19.451 T1=19.44	OPT f=131 TT=7.163 T1=1.16	OPT f=131 TT=0.444 T1=0.23	OPT f=131 TT=0.252 T1=0.23
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=131-Q=157.opb	OPT f=131 TT=0.021 T1=0.02	OPT f=131 TT=0.26 T1=0.25	OPT f=131 TT=0.14 T1=0.14	OPT f=131 TT=0.021 T1=0.02	OPT f=131 TT=0.028 T1=0.02	OPT f=131 TT=4.419 T1=4.4	OPT f=131 TT=17.556 T1=17.55	OPT f=131 TT=0.916 T1=0.66	OPT f=131 TT=0.454 T1=0.23	OPT f=131 TT=0.261 T1=0.24
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=131-Q=163.opb	OPT f=131 TT=0.023 T1=0.02	OPT f=131 TT=0.586 T1=0.58	OPT f=131 TT=0.465 T1=0.46	OPT f=131 TT=0.023 T1=0.02	OPT f=131 TT=0.024 T1=0.02	OPT f=131 TT=4.609 T1=4.6	OPT f=131 TT=19.108 T1=19.1	OPT f=131 TT=14.302 T1=1.16	OPT f=131 TT=0.454 T1=0.24	OPT f=131 TT=0.271 T1=0.25
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=131-Q=277.opb	OPT f=131 TT=0.021 T1=0.02	OPT f=131 TT=0.834 T1=0.83	OPT f=131 TT=0.844 T1=0.84	OPT f=131 TT=0.021 T1=0.02	OPT f=131 TT=0.027 T1=0.02	OPT f=131 TT=4.017 T1=4	OPT f=131 TT=17.449 T1=17.44	OPT f=131 TT=2.803 T1=0.66	OPT f=131 TT=0.444 T1=0.23	OPT f=131 TT=0.397 T1=0.34
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=139-Q=191.opb	OPT f=139 TT=0.021 T1=0.02	OPT f=139 TT=0.655 T1=0.65	OPT f=139 TT=0.306 T1=0.3	OPT f=139 TT=0.021 T1=0.02	OPT f=139 TT=0.022 T1=0.02	OPT f=139 TT=4.805 T1=4.81	OPT f=139 TT=18.988 T1=18.98	OPT f=139 TT=9.093 T1=6.22	OPT f=139 TT=0.433 T1=0.23	OPT f=139 TT=0.298 T1=0.24
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=13-Q=179.opb	OPT f=13 TT=0.014 T1=0.01	OPT f=13 TT=0.044 T1=0.04	OPT f=13 TT=0.026 T1=0.03	OPT f=13 TT=0.016 T1=0.01	OPT f=13 TT=0.014 T1=0.01	OPT f=13 TT=3.75 T1=3.73	OPT f=13 TT=17.968 T1=17.96	OPT f=13 TT=0.412 T1=0.66	OPT f=13 TT=0.234 T1=0.16	OPT f=13 TT=0.06 T1=0.04
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=149-Q=163.opb	OPT f=149 TT=0.021 T1=0.02	OPT f=149 TT=0.161 T1=0.16	OPT f=149 TT=0.12 T1=0.12	OPT f=149 TT=0.021 T1=0.02	OPT f=149 TT=0.024 T1=0.02	OPT f=149 TT=5.703 T1=5.69	OPT f=149 TT=19.664 T1=19.66	OPT f=149 TT=0.874 T1=1.16	OPT f=149 TT=0.414 T1=0.22	OPT f=149 TT=0.323 T1=0.3
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=149-Q=167.opb	OPT f=149 TT=0.022 T1=0.02	OPT f=149 TT=0.675 T1=0.67	OPT f=149 TT=0.33 T1=0.33	OPT f=149 TT=0.022 T1=0.02	OPT f=149 TT=0.029 T1=0.03	OPT f=149 TT=5.57 T1=5.55	OPT f=149 TT=17.536 T1=17.53	OPT f=149 TT=0.965 T1=1.16	OPT f=149 TT=0.445 T1=0.22	OPT f=149 TT=0.319 T1=0.3
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=149-Q=251.opb	OPT f=149 TT=0.02 T1=0.02	OPT f=149 TT=0.141 T1=0.14	OPT f=149 TT=0.078 T1=0.07	OPT f=149 TT=0.02 T1=0.02	OPT f=149 TT=0.03 T1=0.03	OPT f=149 TT=5.399 T1=5.38	OPT f=149 TT=19.034 T1=19.02	OPT f=149 TT=0.643 T1=1.16	OPT f=149 TT=0.364 T1=0.2	OPT f=149 TT=0.418 T1=0.35
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=149-Q=271.opb	OPT f=149 TT=0.021 T1=0.02	OPT f=149 TT=0.543 T1=0.54	OPT f=149 TT=0.473 T1=0.47	OPT f=149 TT=0.021 T1=0.02	OPT f=149 TT=0.028 T1=0.02	OPT f=149 TT=6.574 T1=6.56	OPT f=149 TT=22.364 T1=22.36	OPT f=149 TT=0.824 T1=0.66	OPT f=149 TT=0.434 T1=0.22	OPT f=149 TT=0.466 T1=0.4
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=149-Q=293.opb	OPT f=149 TT=0.024 T1=0.02	OPT f=149 TT=0.373 T1=0.37	OPT f=149 TT=0.388 T1=0.38	OPT f=149 TT=0.024 T1=0.02	OPT f=149 TT=0.024 T1=0.02	OPT f=149 TT=5.319 T1=5.3	OPT f=149 TT=20.113 T1=20.11	OPT f=149 TT=0.854 T1=0.67	OPT f=149 TT=0.414 T1=0.21	OPT f=149 TT=0.438 T1=0.37
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=149-Q=397.opb	OPT f=149 TT=0.019 T1=0.01	OPT f=149 TT=0.274 T1=0.27	OPT f=149 TT=0.113 T1=0.11	OPT f=149 TT=0.019 T1=0.01	OPT f=149 TT=0.025 T1=0.02	OPT f=149 TT=5.58 T1=5.56	OPT f=149 TT=20.099 T1=20.09	OPT f=149 TT=0.756 T1=0.66	OPT f=149 TT=0.345 T1=0.18	OPT f=149 TT=0.591 T1=0.53
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=149-Q=409.opb	OPT f=149 TT=0.022 T1=0.02	OPT f=149 TT=0.365 T1=0.36	OPT f=149 TT=0.423 T1=0.42	OPT f=149 TT=0.022 T1=0.02	OPT f=149 TT=0.025 T1=0.02	OPT f=149 TT=4.424 T1=4.41	OPT f=149 TT=19.277 T1=19.27	OPT f=149 TT=1.584 T1=0.66	OPT f=149 TT=0.394 T1=0.21	OPT f=149 TT=0.63 T1=0.58
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=149-Q=487.opb	OPT f=149 TT=0.02 T1=0.02	OPT f=149 TT=0.238 T1=0.23	OPT f=149 TT=0.189 T1=0.19	OPT f=149 TT=0.02 T1=0.02	OPT f=149 TT=2.537 T1=2.53	OPT f=149 TT=2.086 T1=2.07	OPT f=149 TT=15.58 T1=15.57	OPT f=149 TT=0.554 T1=0.66	OPT f=149 TT=0.264 T1=0.17	OPT f=149 TT=0.845 T1=0.79
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=149-Q=509.opb	OPT f=149 TT=0.022 T1=0.02	OPT f=149 TT=0.149 T1=0.15	OPT f=149 TT=0.211 T1=0.21	OPT f=149 TT=0.022 T1=0.02	OPT f=149 TT=2.536 T1=2.53	OPT f=149 TT=3.192 T1=3.18	OPT f=149 TT=16.364 T1=16.36	OPT f=149 TT=0.266 T1=0.66	OPT f=149 TT=0.204 T1=0.15	OPT f=149 TT=0.763 T1=0.72
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=151-Q=167.opb	OPT f=151 TT=0.023 T1=0.02	OPT f=151 TT=0.117 T1=0.11	OPT f=151 TT=0.079 T1=0.07	OPT f=151 TT=0.023 T1=0.02	OPT f=151 TT=0.026 T1=0.02	OPT f=151 TT=6.807 T1=6.8	OPT f=151 TT=19.519 T1=19.51	OPT f=151 TT=0.814 T1=1.16	OPT f=151 TT=0.424 T1=0.22	OPT f=151 TT=0.3 T1=0.24
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=157-Q=163.opb	OPT f=157 TT=0.021 T1=0.02	OPT f=157 TT=1.359 T1=1.35	OPT f=157 TT=0.356 T1=0.35	OPT f=157 TT=0.021 T1=0.02	OPT f=157 TT=0.025 T1=0.02	OPT f=157 TT=6.081 T1=6.07	OPT f=157 TT=19.275 T1=19.28	OPT f=157 TT=0.893 T1=0.66	OPT f=157 TT=0.402 T1=0.21	OPT f=157 TT=0.323 T1=0.25
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=157-Q=181.opb	OPT f=157 TT=0.022 T1=0.02	OPT f=157 TT=0.368 T1=0.36	OPT f=157 TT=0.117 T1=0.11	OPT f=157 TT=0.022 T1=0.02	OPT f=157 TT=0.03 T1=0.03	OPT f=157 TT=5.246 T1=5.23	OPT f=157 TT=16.926 T1=16.92	OPT f=157 TT=0.784 T1=1.16	OPT f=157 TT=0.414 T1=0.21	OPT f=157 TT=0.324 T1=0.3
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=157-Q=373.opb	OPT f=157 TT=0.02 T1=0.01	OPT f=157 TT=0.64 T1=0.64	OPT f=157 TT=0.582 T1=0.58	OPT f=157 TT=0.02 T1=0.01	OPT f=157 TT=0.025 T1=0.02	OPT f=157 TT=4.418 T1=4.4	OPT f=157 TT=18.762 T1=18.77	OPT f=157 TT=0.624 T1=0.66	OPT f=157 TT=0.375 T1=0.22	OPT f=157 TT=0.569 T1=0.53
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=167-Q=173.opb	OPT f=167 TT=0.02 T1=0.02	OPT f=167 TT=0.172 T1=0.17	OPT f=167 TT=0.09 T1=0.09	OPT f=167 TT=0.02 T1=0.02	OPT f=167 TT=0.027 T1=0.02	OPT f=167 TT=5 T1=4.99	OPT f=167 TT=17.406 T1=17.4	OPT f=167 TT=6.813 T1=1.17	OPT f=167 TT=0.444 T1=0.22	OPT f=167 TT=0.358 T1=0.39
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=167-Q=179.opb	OPT f=167 TT=0.023 T1=0.02	OPT f=167 TT=0.252 T1=0.25	OPT f=167 TT=0.181 T1=0.18	OPT f=167 TT=0.023 T1=0.02	OPT f=167 TT=0.026 T1=0.02	OPT f=167 TT=5.569 T1=5.56	OPT f=167 TT=18.137 T1=18.13	OPT f=167 TT=0.746 T1=0.67	OPT f=167 TT=0.454 T1=0.23	OPT f=167 TT=0.344 T1=0.27
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=167-Q=347.opb	OPT f=167 TT=0.022 T1=0.02	OPT f=167 TT=0.63 T1=0.63	OPT f=167 TT=0.24 T1=0.24	OPT f=167 TT=0.022 T1=0.02	OPT f=167 TT=0.025 T1=0.02	OPT f=167 TT=4.845 T1=4.83	OPT f=167 TT=19.582 T1=19.57	OPT f=167 TT=0.734 T1=0.66	OPT f=167 TT=0.353 T1=0.18	OPT f=167 TT=0.619 T1=0.56
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=173-Q=173.opb	OPT f=173 TT=0.021 T1=0.02	OPT f=173 TT=0.196 T1=0.19	OPT f=173 TT=0.185 T1=0.18	OPT f=173 TT=0.021 T1=0.02	OPT f=173 TT=0.028 T1=0.02	OPT f=173 TT=5.467 T1=5.45	OPT f=173 TT=18.077 T1=18.07	OPT f=173 TT=0.804 T1=0.66	OPT f=173 TT=0.464 T1=0.24	OPT f=173 TT=0.338 T1=0.29
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=173-Q=191.opb	OPT f=173 TT=0.022 T1=0.02	OPT f=173 TT=0.452 T1=0.45	OPT f=173 TT=0.392 T1=0.39	OPT f=173 TT=0.022 T1=0.02	OPT f=173 TT=0.028 T1=0.02	OPT f=173 TT=4.537 T1=4.52	OPT f=173 TT=20.218 T1=20.21	OPT f=173 TT=0.734 T1=0.66	OPT f=173 TT=0.444 T1=0.21	OPT f=173 TT=0.422 T1=0.39
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=173-Q=211.opb	OPT f=173 TT=0.026 T1=0.02	OPT f=173 TT=0.677 T1=0.67	OPT f=173 TT=0.238 T1=0.23	OPT f=173 TT=0.026 T1=0.02	OPT f=173 TT=0.028 T1=0.02	OPT f=173 TT=5.377 T1=5.37	OPT f=173 TT=18.415 T1=18.41	OPT f=173 TT=0.815 T1=1.17	OPT f=173 TT=0.415 T1=0.22	OPT f=173 TT=0.461 T1=0.42
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=179-Q=509.opb	OPT f=179 TT=0.02 T1=0.01	OPT f=179 TT=0.067 T1=0.06	OPT f=179 TT=0.046 T1=0.04	OPT f=179 TT=0.02 T1=0.01	OPT f=179 TT=2.541 T1=2.53	OPT f=179 TT=3.823 T1=3.81	OPT f=179 TT=17.004 T1=16.99	OPT f=179 TT=0.244 T1=0.67	OPT f=179 TT=0.194 T1=0.14	OPT f=179 TT=1.04 T1=0.98
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=17-Q=347.opb	OPT f=17 TT=0.013 T1=0.01	OPT f=17 TT=0.134 T1=0.13	OPT f=17 TT=0.093 T1=0.09	OPT f=17 TT=0.017 T1=0.01	OPT f=17 TT=0.013 T1=0.01	OPT f=17 TT=2.264 T1=2.25	OPT f=17 TT=16.819 T1=16.81	OPT f=17 TT=0.624 T1=0.66	OPT f=17 TT=0.244 T1=0.16	OPT f=17 TT=0.112 T1=0.09
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=17-Q=457.opb	OPT f=17 TT=0.015 T1=0.01	OPT f=17 TT=0.077 T1=0.07	OPT f=17 TT=0.099 T1=0.1	OPT f=17 TT=0.015 T1=0.01	OPT f=17 TT=0.018 T1=0.01	OPT f=17 TT=2.239 T1=2.22	OPT f=17 TT=17.277 T1=17.27	OPT f=17 TT=0.215 T1=0.66	OPT f=17 TT=0.194 T1=0.14	OPT f=17 TT=0.117 T1=0.11
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=17-Q=487.opb	OPT f=17 TT=0.016 T1=0.01	OPT f=17 TT=0.211 T1=0.21	OPT f=17 TT=0.179 T1=0.17	OPT f=17 TT=0.016 T1=0.01	OPT f=17 TT=0.018 T1=0.01	OPT f=17 TT=3.666 T1=3.65	OPT f=17 TT=17.441 T1=17.43	OPT f=17 TT=0.223 T1=0.66	OPT f=17 TT=0.195 T1=0.14	OPT f=17 TT=0.099 T1=0.09
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=191-Q=251.opb	OPT f=191 TT=0.023 T1=0.02	OPT f=191 TT=0.4 T1=0.39	OPT f=191 TT=0.135 T1=0.13	OPT f=191 TT=0.023 T1=0.02	OPT f=191 TT=0.024 T1=0.02	OPT f=191 TT=3.336 T1=3.32	OPT f=191 TT=20.776 T1=20.77	OPT f=191 TT=0.884 T1=0.67	OPT f=191 TT=0.445 T1=0.23	OPT f=191 TT=0.506 T1=0.44
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=191-Q=389.opb	OPT f=191 TT=0.024 T1=0.02	OPT f=191 TT=0.146 T1=0.14	OPT f=191 TT=0.065 T1=0.06	OPT f=191 TT=0.024 T1=0.02	OPT f=191 TT=2.536 T1=2.53	OPT f=191 TT=4.635 T1=4.62	OPT f=191 TT=18.254 T1=18.24	OPT f=191 TT=0.605 T1=0.67	OPT f=191 TT=0.304 T1=0.16	OPT f=191 TT=0.905 T1=0.84
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=191-Q=449.opb	OPT f=191 TT=0.024 T1=0.02	OPT f=191 TT=0.072 T1=0.07	OPT f=191 TT=0.05 T1=0.05	OPT f=191 TT=0.024 T1=0.02	OPT f=191 TT=2.539 T1=2.54	OPT f=191 TT=3.434 T1=3.42	OPT f=191 TT=17.014 T1=17.01	OPT f=191 TT=0.434 T1=0.66	OPT f=191 TT=0.232 T1=0.15	OPT f=191 TT=0.985 T1=0.92
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=191-Q=509.opb	OPT f=191 TT=0.021 T1=0.02	OPT f=191 TT=0.579 T1=0.57	OPT f=191 TT=0.57 T1=0.57	OPT f=191 TT=0.021 T1=0.02	OPT f=191 TT=2.535 T1=2.53	OPT f=191 TT=4.071 T1=4.06	OPT f=191 TT=16.792 T1=16.78	OPT f=191 TT=0.214 T1=0.66	OPT f=191 TT=0.195 T1=0.14	OPT f=191 TT=1.103 T1=1.04
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=197-Q=479.opb	OPT f=197 TT=0.019 T1=0.01	OPT f=197 TT=0.136 T1=0.13	OPT f=197 TT=0.346 T1=0.34	OPT f=197 TT=0.019 T1=0.01	OPT f=197 TT=2.535 T1=2.53	OPT f=197 TT=5.181 T1=5.17	OPT f=197 TT=18.528 T1=18.52	OPT f=197 TT=0.383 T1=0.66	OPT f=197 TT=0.355 T1=0.2	OPT f=197 TT=1.1 T1=1.04
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=211-Q=347.opb	OPT f=211 TT=0.028 T1=0.03	OPT f=211 TT=0.139 T1=0.13	OPT f=211 TT=0.078 T1=0.07	OPT f=211 TT=0.028 T1=0.03	OPT f=211 TT=2.541 T1=2.54	OPT f=211 TT=6.237 T1=6.22	OPT f=211 TT=18.968 T1=18.96	OPT f=211 TT=0.784 T1=0.66	OPT f=211 TT=0.393 T1=0.19	OPT f=211 TT=0.716 T1=0.67
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=211-Q=479.opb	OPT f=211 TT=0.022 T1=0.02	OPT f=211 TT=0.151 T1=0.15	OPT f=211 TT=0.149 T1=0.15	OPT f=211 TT=0.022 T1=0.02	OPT f=211 TT=2.546 T1=2.54	OPT f=211 TT=2.706 T1=2.69	OPT f=211 TT=15.331 T1=15.32	OPT f=211 TT=0.855 T1=0.67	OPT f=211 TT=0.254 T1=0.16	OPT f=211 TT=1.074 T1=1.01
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=223-Q=263.opb	OPT f=223 TT=0.024 T1=0.02	OPT f=223 TT=0.73 T1=0.73	OPT f=223 TT=0.644 T1=0.64	OPT f=223 TT=0.024 T1=0.02	OPT f=223 TT=0.029 T1=0.02	OPT f=223 TT=4.771 T1=4.76	OPT f=223 TT=18.784 T1=18.78	OPT f=223 TT=0.644 T1=0.66	OPT f=223 TT=0.414 T1=0.19	OPT f=223 TT=0.59 T1=0.55
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=223-Q=307.opb	OPT f=223 TT=0.022 T1=0.02	OPT f=223 TT=0.2 T1=0.2	OPT f=223 TT=0.191 T1=0.19	OPT f=223 TT=0.022 T1=0.02	OPT f=223 TT=2.537 T1=2.53	OPT f=223 TT=5.121 T1=5.11	OPT f=223 TT=17.854 T1=17.84	OPT f=223 TT=0.664 T1=0.66	OPT f=223 TT=0.394 T1=0.23	OPT f=223 TT=0.707 T1=0.73
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=223-Q=347.opb	OPT f=223 TT=0.023 T1=0.02	OPT f=223 TT=0.491 T1=0.48	OPT f=223 TT=0.489 T1=0.48	OPT f=223 TT=0.023 T1=0.02	OPT f=223 TT=2.536 T1=2.53	OPT f=223 TT=6.351 T1=6.34	OPT f=223 TT=18.483 T1=18.48	OPT f=223 TT=0.794 T1=0.66	OPT f=223 TT=0.384 T1=0.2	OPT f=223 TT=0.82 T1=0.76
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=223-Q=379.opb	OPT f=223 TT=0.024 T1=0.02	OPT f=223 TT=0.455 T1=0.45	OPT f=223 TT=0.271 T1=0.27	OPT f=223 TT=0.024 T1=0.02	OPT f=223 TT=2.549 T1=2.54	OPT f=223 TT=5.091 T1=5.14	OPT f=223 TT=19.209 T1=19.2	OPT f=223 TT=0.713 T1=0.67	OPT f=223 TT=0.384 T1=0.21	OPT f=223 TT=0.903 T1=0.84
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=223-Q=383.opb	OPT f=223 TT=0.027 T1=0.02	OPT f=223 TT=0.519 T1=0.52	OPT f=223 TT=0.305 T1=0.3	OPT f=223 TT=0.027 T1=0.02	OPT f=223 TT=2.541 T1=2.54	OPT f=223 TT=4.732 T1=4.72	OPT f=223 TT=17.756 T1=17.75	OPT f=223 TT=1.746 T1=0.67	OPT f=223 TT=0.354 T1=0.18	OPT f=223 TT=0.832 T1=0.77
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=223-Q=421.opb	OPT f=223 TT=0.023 T1=0.02	OPT f=223 TT=0.175 T1=0.17	OPT f=223 TT=0.175 T1=0.17	OPT f=223 TT=0.023 T1=0.02	OPT f=223 TT=2.539 T1=2.53	OPT f=223 TT=4.14 T1=4.12	OPT f=223 TT=16.282 T1=16.28	OPT f=223 TT=0.545 T1=0.66	OPT f=223 TT=0.354 T1=0.19	OPT f=223 TT=1.069 T1=1
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=223-Q=431.opb	OPT f=223 TT=0.022 T1=0.02	OPT f=223 TT=0.133 T1=0.13	OPT f=223 TT=0.144 T1=0.14	OPT f=223 TT=0.022 T1=0.02	OPT f=223 TT=2.541 T1=2.54	OPT f=223 TT=6.524 T1=6.51	OPT f=223 TT=19.64 T1=19.63	OPT f=223 TT=0.605 T1=0.66	OPT f=223 TT=0.354 T1=0.2	OPT f=223 TT=0.921 T1=0.86
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=223-Q=499.opb	OPT f=223 TT=0.024 T1=0.02	OPT f=223 TT=0.238 T1=0.23	OPT f=223 TT=0.35 T1=0.35	OPT f=223 TT=0.024 T1=0.02	OPT f=223 TT=2.539 T1=2.53	OPT f=223 TT=2.535 T1=2.52	OPT f=223 TT=15.833 T1=15.82	OPT f=223 TT=0.283 T1=0.66	OPT f=223 TT=0.224 T1=0.15	OPT f=223 TT=1.14 T1=1.08
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=227-Q=383.opb	OPT f=227 TT=0.022 T1=0.02	OPT f=227 TT=0.182 T1=0.18	OPT f=227 TT=0.065 T1=0.06	OPT f=227 TT=0.022 T1=0.02	OPT f=227 TT=2.537 T1=2.53	OPT f=227 TT=5.022 T1=5.03	OPT f=227 TT=19.061 T1=19.05	OPT f=227 TT=0.643 T1=0.66	OPT f=227 TT=0.365 T1=0.2	OPT f=227 TT=0.912 T1=0.83
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=229-Q=239.opb	OPT f=229 TT=0.021 T1=0.02	OPT f=229 TT=0.219 T1=0.22	OPT f=229 TT=0.176 T1=0.17	OPT f=229 TT=0.023 T1=0.02	OPT f=229 TT=0.021 T1=0.02	OPT f=229 TT=5.011 T1=5	OPT f=229 TT=22.418 T1=22.41	OPT f=229 TT=0.725 T1=1.16	OPT f=229 TT=0.426 T1=0.19	OPT f=229 TT=0.681 T1=0.65
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=229-Q=307.opb	OPT f=229 TT=0.022 T1=0.02	OPT f=229 TT=0.375 T1=0.37	OPT f=229 TT=0.448 T1=0.44	OPT f=229 TT=0.022 T1=0.02	OPT f=229 TT=2.539 T1=2.53	OPT f=229 TT=6.3 T1=6.29	OPT f=229 TT=19.802 T1=19.79	OPT f=229 TT=0.784 T1=0.66	OPT f=229 TT=0.405 T1=0.2	OPT f=229 TT=0.832 T1=0.77
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=233-Q=347.opb	OPT f=233 TT=0.02 T1=0.01	OPT f=233 TT=0.901 T1=0.9	OPT f=233 TT=0.918 T1=0.91	OPT f=233 TT=0.02 T1=0.01	OPT f=233 TT=2.535 T1=2.53	OPT f=233 TT=5.68 T1=5.66	OPT f=233 TT=18.299 T1=18.3	OPT f=233 TT=0.753 T1=0.66	OPT f=233 TT=0.394 T1=0.21	OPT f=233 TT=0.945 T1=0.87
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=239-Q=373.opb	OPT f=239 TT=0.025 T1=0.02	OPT f=239 TT=0.22 T1=0.22	OPT f=239 TT=0.116 T1=0.11	OPT f=239 TT=0.025 T1=0.02	OPT f=239 TT=2.541 T1=2.54	OPT f=239 TT=4.713 T1=4.8	OPT f=239 TT=18.567 T1=18.56	OPT f=239 TT=0.623 T1=0.66	OPT f=239 TT=0.374 T1=0.21	OPT f=239 TT=1.062 T1=1
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=239-Q=487.opb	OPT f=239 TT=0.023 T1=0.02	OPT f=239 TT=0.061 T1=0.06	OPT f=239 TT=0.064 T1=0.06	OPT f=239 TT=0.023 T1=0.02	OPT f=239 TT=2.54 T1=2.53	OPT f=239 TT=3.512 T1=3.5	OPT f=239 TT=15.964 T1=15.96	OPT f=239 TT=0.614 T1=0.66	OPT f=239 TT=0.235 T1=0.16	OPT f=239 TT=1.142 T1=1.08
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=23-Q=293.opb	OPT f=23 TT=0.019 T1=0.01	OPT f=23 TT=0.056 T1=0.05	OPT f=23 TT=0.109 T1=0.11	OPT f=23 TT=0.019 T1=0.01	OPT f=23 TT=0.019 T1=0.01	OPT f=23 TT=2.513 T1=2.5	OPT f=23 TT=17.429 T1=17.42	OPT f=23 TT=0.354 T1=0.66	OPT f=23 TT=0.255 T1=0.16	OPT f=23 TT=0.155 T1=0.13
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=23-Q=379.opb	OPT f=23 TT=0.014 T1=0.01	OPT f=23 TT=0.045 T1=0.04	OPT f=23 TT=0.135 T1=0.14	OPT f=23 TT=0.019 T1=0.01	OPT f=23 TT=0.014 T1=0.01	OPT f=23 TT=2.766 T1=2.75	OPT f=23 TT=19.53 T1=19.52	OPT f=23 TT=0.293 T1=0.68	OPT f=23 TT=0.225 T1=0.15	OPT f=23 TT=0.154 T1=0.14
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=23-Q=521.opb	UNSAT TT=0.02	UNSAT TT=0.316	UNSAT TT=0.309	UNSAT TT=0.021	UNSAT TT=0.02	UNSAT TT=4.104	UNSAT TT=18.625	UNSAT TT=0.884	UNSAT TT=0.474	UNSAT TT=0.212
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=251-Q=277.opb	OPT f=251 TT=0.027 T1=0.03	OPT f=251 TT=0.228 T1=0.22	OPT f=251 TT=0.192 T1=0.19	OPT f=251 TT=0.027 T1=0.03	OPT f=251 TT=2.535 T1=2.53	OPT f=251 TT=6.23 T1=6.22	OPT f=251 TT=22.834 T1=22.82	OPT f=251 TT=0.704 T1=0.66	OPT f=251 TT=0.394 T1=0.19	OPT f=251 TT=0.807 T1=0.73
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=251-Q=307.opb	OPT f=251 TT=0.023 T1=0.02	OPT f=251 TT=0.437 T1=0.43	OPT f=251 TT=0.303 T1=0.3	OPT f=251 TT=0.023 T1=0.02	OPT f=251 TT=2.534 T1=2.53	OPT f=251 TT=6.55 T1=6.54	OPT f=251 TT=18.66 T1=18.65	OPT f=251 TT=0.733 T1=0.66	OPT f=251 TT=0.414 T1=0.22	OPT f=251 TT=0.76 T1=0.68
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=251-Q=331.opb	OPT f=251 TT=0.024 T1=0.02	OPT f=251 TT=0.486 T1=0.48	OPT f=251 TT=0.196 T1=0.19	OPT f=251 TT=0.024 T1=0.02	OPT f=251 TT=2.537 T1=2.53	OPT f=251 TT=5.4 T1=5.5	OPT f=251 TT=18.411 T1=18.4	OPT f=251 TT=0.733 T1=0.66	OPT f=251 TT=0.384 T1=0.2	OPT f=251 TT=0.862 T1=0.78
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=251-Q=379.opb	OPT f=251 TT=0.023 T1=0.02	OPT f=251 TT=0.366 T1=0.36	OPT f=251 TT=0.278 T1=0.27	OPT f=251 TT=0.023 T1=0.02	OPT f=251 TT=2.539 T1=2.53	OPT f=251 TT=6.76 T1=6.74	OPT f=251 TT=20.196 T1=20.19	OPT f=251 TT=0.643 T1=0.66	OPT f=251 TT=0.344 T1=0.18	OPT f=251 TT=0.962 T1=0.9
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=251-Q=419.opb	OPT f=251 TT=0.023 T1=0.02	OPT f=251 TT=0.103 T1=0.1	OPT f=251 TT=0.041 T1=0.04	OPT f=251 TT=0.023 T1=0.02	OPT f=251 TT=2.538 T1=2.53	OPT f=251 TT=4.238 T1=4.22	OPT f=251 TT=18.269 T1=18.26	OPT f=251 TT=0.543 T1=0.66	OPT f=251 TT=0.333 T1=0.19	OPT f=251 TT=1.053 T1=0.98
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=257-Q=331.opb	OPT f=257 TT=0.021 T1=0.02	OPT f=257 TT=0.881 T1=0.88	OPT f=257 TT=0.525 T1=0.52	OPT f=257 TT=0.021 T1=0.02	OPT f=257 TT=2.537 T1=2.53	OPT f=257 TT=5.327 T1=5.31	OPT f=257 TT=19.274 T1=19.27	OPT f=257 TT=2.603 T1=0.66	OPT f=257 TT=0.395 T1=0.21	OPT f=257 TT=1.008 T1=0.9
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=257-Q=449.opb	OPT f=257 TT=0.019 T1=0.01	OPT f=257 TT=0.065 T1=0.06	OPT f=257 TT=0.106 T1=0.1	OPT f=257 TT=0.019 T1=0.01	OPT f=257 TT=2.54 T1=2.54	OPT f=257 TT=3.289 T1=3.27	OPT f=257 TT=17.148 T1=17.14	OPT f=257 TT=0.554 T1=1.16	OPT f=257 TT=0.345 T1=0.19	OPT f=257 TT=1.081 T1=1.01
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=257-Q=503.opb	OPT f=257 TT=0.019 T1=0.01	OPT f=257 TT=0.169 T1=0.17	OPT f=257 TT=0.022 T1=0.02	OPT f=257 TT=0.019 T1=0.01	OPT f=257 TT=2.534 T1=2.53	OPT f=257 TT=2.855 T1=2.84	OPT f=257 TT=16.714 T1=16.7	OPT f=257 TT=0.694 T1=1.16	OPT f=257 TT=0.314 T1=0.18	OPT f=257 TT=1.295 T1=1.34
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=263-Q=307.opb	OPT f=263 TT=0.022 T1=0.02	OPT f=263 TT=0.257 T1=0.25	OPT f=263 TT=0.285 T1=0.28	OPT f=263 TT=0.022 T1=0.02	OPT f=263 TT=2.54 T1=2.54	OPT f=263 TT=6.582 T1=6.57	OPT f=263 TT=20.319 T1=20.31	OPT f=263 TT=2.694 T1=0.66	OPT f=263 TT=0.485 T1=0.25	OPT f=263 TT=0.834 T1=0.74
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=263-Q=367.opb	OPT f=263 TT=0.02 T1=0.02	OPT f=263 TT=0.238 T1=0.23	OPT f=263 TT=0.253 T1=0.25	OPT f=263 TT=0.02 T1=0.02	OPT f=263 TT=2.537 T1=2.53	OPT f=263 TT=6.841 T1=6.83	OPT f=263 TT=22.29 T1=22.28	OPT f=263 TT=0.835 T1=0.67	OPT f=263 TT=0.453 T1=0.23	OPT f=263 TT=0.954 T1=0.86
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=269-Q=359.opb	OPT f=269 TT=0.02 T1=0.02	OPT f=269 TT=0.512 T1=0.51	OPT f=269 TT=0.252 T1=0.25	OPT f=269 TT=0.02 T1=0.02	OPT f=269 TT=2.538 T1=2.53	OPT f=269 TT=4.553 T1=4.54	OPT f=269 TT=18.095 T1=18.09	OPT f=269 TT=1.715 T1=1.16	OPT f=269 TT=0.445 T1=0.23	OPT f=269 TT=1.088 T1=1
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=269-Q=431.opb	OPT f=269 TT=0.019 T1=0.01	OPT f=269 TT=0.462 T1=0.46	OPT f=269 TT=0.567 T1=0.56	OPT f=269 TT=0.019 T1=0.01	OPT f=269 TT=2.535 T1=2.53	OPT f=269 TT=3.995 T1=3.98	OPT f=269 TT=17.915 T1=17.92	OPT f=269 TT=0.647 T1=1.16	OPT f=269 TT=0.405 T1=0.21	OPT f=269 TT=1.237 T1=1.16
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=269-Q=433.opb	OPT f=269 TT=0.022 T1=0.02	OPT f=269 TT=0.354 T1=0.35	OPT f=269 TT=0.102 T1=0.1	OPT f=269 TT=0.022 T1=0.02	OPT f=269 TT=2.531 T1=2.53	OPT f=269 TT=3.725 T1=3.71	OPT f=269 TT=18.769 T1=18.76	OPT f=269 TT=0.765 T1=0.67	OPT f=269 TT=0.334 T1=0.19	OPT f=269 TT=1.139 T1=1.07
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=281-Q=331.opb	OPT f=281 TT=0.02 T1=0.02	OPT f=281 TT=0.45 T1=0.45	OPT f=281 TT=0.322 T1=0.32	OPT f=281 TT=0.02 T1=0.02	OPT f=281 TT=2.538 T1=2.53	OPT f=281 TT=5.259 T1=5.24	OPT f=281 TT=19.077 T1=19.08	OPT f=281 TT=0.784 T1=0.66	OPT f=281 TT=0.395 T1=0.22	OPT f=281 TT=1.08 T1=0.99
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=281-Q=499.opb	OPT f=281 TT=0.018 T1=0.02	OPT f=281 TT=0.07 T1=0.07	OPT f=281 TT=0.066 T1=0.06	OPT f=281 TT=0.018 T1=0.02	OPT f=281 TT=2.535 T1=2.53	OPT f=281 TT=1.798 T1=1.78	OPT f=281 TT=14.255 T1=14.25	OPT f=281 TT=0.435 T1=0.67	OPT f=281 TT=0.224 T1=0.15	OPT f=281 TT=1.283 T1=1.22
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=283-Q=293.opb	OPT f=283 TT=0.024 T1=0.02	OPT f=283 TT=0.733 T1=0.73	OPT f=283 TT=0.466 T1=0.46	OPT f=283 TT=0.024 T1=0.02	OPT f=283 TT=2.55 T1=2.55	OPT f=283 TT=5.079 T1=5.06	OPT f=283 TT=18.28 T1=18.27	OPT f=283 TT=3.215 T1=1.16	OPT f=283 TT=0.464 T1=0.24	OPT f=283 TT=0.98 T1=0.88
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=293-Q=307.opb	OPT f=293 TT=0.021 T1=0.02	OPT f=293 TT=0.416 T1=0.41	OPT f=293 TT=0.231 T1=0.23	OPT f=293 TT=0.021 T1=0.02	OPT f=293 TT=2.553 T1=2.55	OPT f=293 TT=5.693 T1=5.68	OPT f=293 TT=19.666 T1=19.66	OPT f=293 TT=0.825 T1=1.16	OPT f=293 TT=0.404 T1=0.21	OPT f=293 TT=1.043 T1=0.99
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=29-Q=163.opb	OPT f=29 TT=0.016 T1=0.01	OPT f=29 TT=0.115 T1=0.11	OPT f=29 TT=0.054 T1=0.05	OPT f=29 TT=0.016 T1=0.01	OPT f=29 TT=0.016 T1=0.02	OPT f=29 TT=2.661 T1=2.65	OPT f=29 TT=18.585 T1=18.58	OPT f=29 TT=0.414 T1=0.66	OPT f=29 TT=0.274 T1=0.16	OPT f=29 TT=0.086 T1=0.06
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=29-Q=277.opb	OPT f=29 TT=0.017 T1=0.01	OPT f=29 TT=0.158 T1=0.15	OPT f=29 TT=0.079 T1=0.07	OPT f=29 TT=0.02 T1=0.01	OPT f=29 TT=0.017 T1=0.01	OPT f=29 TT=2.421 T1=2.41	OPT f=29 TT=17.31 T1=17.31	OPT f=29 TT=0.434 T1=0.66	OPT f=29 TT=0.294 T1=0.17	OPT f=29 TT=0.133 T1=0.11
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=29-Q=331.opb	OPT f=29 TT=0.019 T1=0.01	OPT f=29 TT=0.217 T1=0.21	OPT f=29 TT=0.189 T1=0.2	OPT f=29 TT=0.019 T1=0.01	OPT f=29 TT=0.019 T1=0.02	OPT f=29 TT=4.2 T1=4.19	OPT f=29 TT=18.503 T1=18.5	OPT f=29 TT=0.434 T1=0.66	OPT f=29 TT=0.254 T1=0.16	OPT f=29 TT=0.156 T1=0.14
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=29-Q=409.opb	OPT f=29 TT=0.017 T1=0.01	OPT f=29 TT=0.069 T1=0.07	OPT f=29 TT=0.052 T1=0.05	OPT f=29 TT=0.017 T1=0.01	OPT f=29 TT=0.018 T1=0.02	OPT f=29 TT=2.448 T1=2.43	OPT f=29 TT=16.626 T1=16.62	OPT f=29 TT=0.545 T1=0.66	OPT f=29 TT=0.222 T1=0.16	OPT f=29 TT=0.127 T1=0.12
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=29-Q=479.opb	OPT f=29 TT=0.016 T1=0.01	OPT f=29 TT=0.169 T1=0.16	OPT f=29 TT=0.141 T1=0.14	OPT f=29 TT=0.016 T1=0.01	OPT f=29 TT=0.019 T1=0.02	OPT f=29 TT=3.037 T1=3.02	OPT f=29 TT=17.996 T1=18	OPT f=29 TT=0.254 T1=0.67	OPT f=29 TT=0.194 T1=0.15	OPT f=29 TT=0.202 T1=0.19
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=29-Q=521.opb	UNSAT TT=0.02	UNSAT TT=0.227	UNSAT TT=0.219	UNSAT TT=0.02	UNSAT TT=0.021	UNSAT TT=3.469	UNSAT TT=17.611	UNSAT TT=0.875	UNSAT TT=0.444	UNSAT TT=0.219
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=29-Q=71.opb	OPT f=29 TT=0.014 T1=0.01	OPT f=29 TT=0.125 T1=0.12	OPT f=29 TT=0.101 T1=0.1	OPT f=29 TT=0.016 T1=0.01	OPT f=29 TT=0.014 T1=0.01	OPT f=29 TT=3.052 T1=3.03	OPT f=29 TT=17.781 T1=17.77	OPT f=29 TT=0.534 T1=0.66	OPT f=29 TT=0.274 T1=0.16	OPT f=29 TT=0.065 T1=0.04
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=307-Q=307.opb	OPT f=307 TT=0.022 T1=0.02	OPT f=307 TT=0.099 T1=0.09	OPT f=307 TT=0.077 T1=0.07	OPT f=307 TT=0.022 T1=0.02	OPT f=307 TT=2.544 T1=2.54	OPT f=307 TT=5.813 T1=5.8	OPT f=307 TT=22.498 T1=22.49	OPT f=307 TT=0.865 T1=0.66	OPT f=307 TT=0.494 T1=0.25	OPT f=307 TT=0.949 T1=0.85
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=307-Q=317.opb	OPT f=307 TT=0.021 T1=0.02	OPT f=307 TT=0.957 T1=0.95	OPT f=307 TT=0.717 T1=0.71	OPT f=307 TT=0.021 T1=0.02	OPT f=307 TT=2.547 T1=2.54	OPT f=307 TT=4.78 T1=4.77	OPT f=307 TT=17.403 T1=17.39	OPT f=307 TT=0.904 T1=0.68	OPT f=307 TT=0.474 T1=0.24	OPT f=307 TT=1.102 T1=1.01
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=307-Q=331.opb	OPT f=307 TT=0.021 T1=0.02	OPT f=307 TT=0.22 T1=0.21	OPT f=307 TT=0.076 T1=0.07	OPT f=307 TT=0.021 T1=0.02	OPT f=307 TT=2.539 T1=2.53	OPT f=307 TT=4.128 T1=4.11	OPT f=307 TT=16.358 T1=16.35	OPT f=307 TT=0.684 T1=0.66	OPT f=307 TT=0.404 T1=0.21	OPT f=307 TT=0.999 T1=0.9
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=307-Q=347.opb	OPT f=307 TT=0.026 T1=0.02	OPT f=307 TT=0.828 T1=0.82	OPT f=307 TT=0.81 T1=0.81	OPT f=307 TT=0.026 T1=0.02	OPT f=307 TT=2.536 T1=2.53	OPT f=307 TT=4.017 T1=4	OPT f=307 TT=17.7 T1=17.69	OPT f=307 TT=0.905 T1=1.19	OPT f=307 TT=0.434 T1=0.23	OPT f=307 TT=1.034 T1=0.94
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=307-Q=367.opb	OPT f=307 TT=0.021 T1=0.02	OPT f=307 TT=0.838 T1=0.84	OPT f=307 TT=0.252 T1=0.25	OPT f=307 TT=0.021 T1=0.02	OPT f=307 TT=2.539 T1=2.53	OPT f=307 TT=3.907 T1=3.89	OPT f=307 TT=19.846 T1=19.84	OPT f=307 TT=0.784 T1=1.16	OPT f=307 TT=0.456 T1=0.23	OPT f=307 TT=1.155 T1=1.07
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=307-Q=431.opb	OPT f=307 TT=0.023 T1=0.02	OPT f=307 TT=0.167 T1=0.16	OPT f=307 TT=0.163 T1=0.16	OPT f=307 TT=0.023 T1=0.02	OPT f=307 TT=2.548 T1=2.54	OPT f=307 TT=2.248 T1=2.23	OPT f=307 TT=15.76 T1=15.76	OPT f=307 TT=1.384 T1=0.66	OPT f=307 TT=0.305 T1=0.18	OPT f=307 TT=1.221 T1=1.16
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=307-Q=449.opb	OPT f=307 TT=0.021 T1=0.02	OPT f=307 TT=0.4 T1=0.4	OPT f=307 TT=0.276 T1=0.27	OPT f=307 TT=0.021 T1=0.02	OPT f=307 TT=2.536 T1=2.53	OPT f=307 TT=2.306 T1=2.29	OPT f=307 TT=16.299 T1=16.29	OPT f=307 TT=0.544 T1=0.66	OPT f=307 TT=0.292 T1=0.17	OPT f=307 TT=1.303 T1=1.24
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=313-Q=503.opb	OPT f=313 TT=0.019 T1=0.01	OPT f=313 TT=0.153 T1=0.15	OPT f=313 TT=0.116 T1=0.11	OPT f=313 TT=0.019 T1=0.01	OPT f=313 TT=2.541 T1=2.53	OPT f=313 TT=1.94 T1=1.93	OPT f=313 TT=14.968 T1=14.96	OPT f=313 TT=0.393 T1=0.66	OPT f=313 TT=0.224 T1=0.16	OPT f=313 TT=1.268 T1=1.21
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=317-Q=389.opb	OPT f=317 TT=0.021 T1=0.02	OPT f=317 TT=0.399 T1=0.39	OPT f=317 TT=0.213 T1=0.21	OPT f=317 TT=0.021 T1=0.02	OPT f=317 TT=2.539 T1=2.53	OPT f=317 TT=3.161 T1=3.15	OPT f=317 TT=18.172 T1=18.16	OPT f=317 TT=0.743 T1=1.16	OPT f=317 TT=0.374 T1=0.21	OPT f=317 TT=1.156 T1=1.07
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=31-Q=439.opb	OPT f=31 TT=0.022 T1=0.02	OPT f=31 TT=0.122 T1=0.12	OPT f=31 TT=0.099 T1=0.09	OPT f=31 TT=0.022 T1=0.02	OPT f=31 TT=0.024 T1=0.02	OPT f=31 TT=4.175 T1=4.16	OPT f=31 TT=17.966 T1=17.96	OPT f=31 TT=0.315 T1=0.66	OPT f=31 TT=0.225 T1=0.15	OPT f=31 TT=0.136 T1=0.12
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=331-Q=331.opb	OPT f=331 TT=0.023 T1=0.02	OPT f=331 TT=0.366 T1=0.36	OPT f=331 TT=0.159 T1=0.15	OPT f=331 TT=0.023 T1=0.02	OPT f=331 TT=2.542 T1=2.54	OPT f=331 TT=4.345 T1=4.33	OPT f=331 TT=19.956 T1=19.95	OPT f=331 TT=0.844 T1=0.66	OPT f=331 TT=0.404 T1=0.21	OPT f=331 TT=1.106 T1=1.03
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=331-Q=347.opb	OPT f=331 TT=0.023 T1=0.02	OPT f=331 TT=0.729 T1=0.73	OPT f=331 TT=0.64 T1=0.63	OPT f=331 TT=0.023 T1=0.02	OPT f=331 TT=2.54 T1=2.53	OPT f=331 TT=4.268 T1=4.25	OPT f=331 TT=19.869 T1=19.87	OPT f=331 TT=0.825 T1=1.16	OPT f=331 TT=0.453 T1=0.21	OPT f=331 TT=1.119 T1=1.03
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=331-Q=359.opb	OPT f=331 TT=0.022 T1=0.02	OPT f=331 TT=0.42 T1=0.41	OPT f=331 TT=0.305 T1=0.3	OPT f=331 TT=0.022 T1=0.02	OPT f=331 TT=2.539 T1=2.53	OPT f=331 TT=2.839 T1=2.82	OPT f=331 TT=16.253 T1=16.24	OPT f=331 TT=0.763 T1=1.17	OPT f=331 TT=0.444 T1=0.22	OPT f=331 TT=1.179 T1=1.11
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=331-Q=379.opb	OPT f=331 TT=0.023 T1=0.02	OPT f=331 TT=0.171 T1=0.17	OPT f=331 TT=0.136 T1=0.13	OPT f=331 TT=0.023 T1=0.02	OPT f=331 TT=2.538 T1=2.53	OPT f=331 TT=3.356 T1=3.34	OPT f=331 TT=15.759 T1=15.75	OPT f=331 TT=0.744 T1=1.16	OPT f=331 TT=0.474 T1=0.24	OPT f=331 TT=1.191 T1=1.12
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=331-Q=389.opb	OPT f=331 TT=0.022 T1=0.02	OPT f=331 TT=0.4 T1=0.4	OPT f=331 TT=0.354 T1=0.35	OPT f=331 TT=0.022 T1=0.02	OPT f=331 TT=2.536 T1=2.53	OPT f=331 TT=4.598 T1=4.58	OPT f=331 TT=19.442 T1=19.43	OPT f=331 TT=1.775 T1=1.17	OPT f=331 TT=0.473 T1=0.24	OPT f=331 TT=1.331 T1=1.25
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=331-Q=479.opb	OPT f=331 TT=0.021 T1=0.02	OPT f=331 TT=0.067 T1=0.06	OPT f=331 TT=0.031 T1=0.03	OPT f=331 TT=0.021 T1=0.02	OPT f=331 TT=2.533 T1=2.53	OPT f=331 TT=2.085 T1=2.07	OPT f=331 TT=14.639 T1=14.63	OPT f=331 TT=0.604 T1=0.66	OPT f=331 TT=0.324 T1=0.18	OPT f=331 TT=1.197 T1=1.13
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=347-Q=379.opb	OPT f=347 TT=0.022 T1=0.02	OPT f=347 TT=0.126 T1=0.12	OPT f=347 TT=0.06 T1=0.06	OPT f=347 TT=0.022 T1=0.02	OPT f=347 TT=2.542 T1=2.54	OPT f=347 TT=2.564 T1=2.55	OPT f=347 TT=16.577 T1=16.57	OPT f=347 TT=1.863 T1=0.67	OPT f=347 TT=0.354 T1=0.21	OPT f=347 TT=1.222 T1=1.16
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=347-Q=419.opb	OPT f=347 TT=0.023 T1=0.02	OPT f=347 TT=0.187 T1=0.18	OPT f=347 TT=0.154 T1=0.15	OPT f=347 TT=0.023 T1=0.02	OPT f=347 TT=2.543 T1=2.54	OPT f=347 TT=3.073 T1=3.06	OPT f=347 TT=16.15 T1=16.14	OPT f=347 TT=0.633 T1=0.66	OPT f=347 TT=0.344 T1=0.2	OPT f=347 TT=1.175 T1=1.1
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=347-Q=421.opb	OPT f=347 TT=0.023 T1=0.02	OPT f=347 TT=0.077 T1=0.07	OPT f=347 TT=0.053 T1=0.05	OPT f=347 TT=0.023 T1=0.02	OPT f=347 TT=2.539 T1=2.53	OPT f=347 TT=2.482 T1=2.47	OPT f=347 TT=15.881 T1=15.87	OPT f=347 TT=0.715 T1=0.66	OPT f=347 TT=0.334 T1=0.19	OPT f=347 TT=1.299 T1=1.23
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=347-Q=431.opb	OPT f=347 TT=0.023 T1=0.02	OPT f=347 TT=0.181 T1=0.18	OPT f=347 TT=0.132 T1=0.13	OPT f=347 TT=0.023 T1=0.02	OPT f=347 TT=2.538 T1=2.54	OPT f=347 TT=2.415 T1=2.4	OPT f=347 TT=15.81 T1=15.8	OPT f=347 TT=0.583 T1=0.66	OPT f=347 TT=0.344 T1=0.19	OPT f=347 TT=1.214 T1=1.14
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=347-Q=439.opb	OPT f=347 TT=0.02 T1=0.01	OPT f=347 TT=0.283 T1=0.28	OPT f=347 TT=0.243 T1=0.24	OPT f=347 TT=0.02 T1=0.01	OPT f=347 TT=2.537 T1=2.53	OPT f=347 TT=2.236 T1=2.22	OPT f=347 TT=15.604 T1=15.59	OPT f=347 TT=0.564 T1=0.66	OPT f=347 TT=0.335 T1=0.18	OPT f=347 TT=1.213 T1=1.15
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=347-Q=487.opb	OPT f=347 TT=0.022 T1=0.02	OPT f=347 TT=0.071 T1=0.07	OPT f=347 TT=0.04 T1=0.04	OPT f=347 TT=0.022 T1=0.02	OPT f=347 TT=2.534 T1=2.53	OPT f=347 TT=2.321 T1=2.31	OPT f=347 TT=15.778 T1=15.77	OPT f=347 TT=0.764 T1=0.66	OPT f=347 TT=0.235 T1=0.16	OPT f=347 TT=0.969 T1=1.13
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=353-Q=479.opb	OPT f=353 TT=0.018 T1=0.01	OPT f=353 TT=0.054 T1=0.05	OPT f=353 TT=0.026 T1=0.02	OPT f=353 TT=0.018 T1=0.01	OPT f=353 TT=2.536 T1=2.53	OPT f=353 TT=2.431 T1=2.42	OPT f=353 TT=15.515 T1=15.5	OPT f=353 TT=0.494 T1=0.66	OPT f=353 TT=0.274 T1=0.17	OPT f=353 TT=1.064 T1=1.12
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=359-Q=379.opb	OPT f=359 TT=0.023 T1=0.02	OPT f=359 TT=0.267 T1=0.26	OPT f=359 TT=0.179 T1=0.18	OPT f=359 TT=0.023 T1=0.02	OPT f=359 TT=2.541 T1=2.54	OPT f=359 TT=2.829 T1=2.81	OPT f=359 TT=16.803 T1=16.8	OPT f=359 TT=0.694 T1=1.16	OPT f=359 TT=0.375 T1=0.21	OPT f=359 TT=1.232 T1=1.17
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=367-Q=389.opb	OPT f=367 TT=0.022 T1=0.02	OPT f=367 TT=0.241 T1=0.24	OPT f=367 TT=0.105 T1=0.1	OPT f=367 TT=0.022 T1=0.02	OPT f=367 TT=2.54 T1=2.53	OPT f=367 TT=2.613 T1=2.6	OPT f=367 TT=15.796 T1=15.78	OPT f=367 TT=0.664 T1=0.66	OPT f=367 TT=0.382 T1=0.21	OPT f=367 TT=1.317 T1=1.24
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=379-Q=397.opb	OPT f=379 TT=0.022 T1=0.02	OPT f=379 TT=0.199 T1=0.19	OPT f=379 TT=0.107 T1=0.1	OPT f=379 TT=0.022 T1=0.02	OPT f=379 TT=2.536 T1=2.53	OPT f=379 TT=2.623 T1=2.61	OPT f=379 TT=16.666 T1=16.65	OPT f=379 TT=0.615 T1=0.67	OPT f=379 TT=0.354 T1=0.18	OPT f=379 TT=1.295 T1=1.22
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=379-Q=431.opb	OPT f=379 TT=0.022 T1=0.02	OPT f=379 TT=0.316 T1=0.31	OPT f=379 TT=0.163 T1=0.16	OPT f=379 TT=0.022 T1=0.02	OPT f=379 TT=2.551 T1=2.55	OPT f=379 TT=3.408 T1=3.39	OPT f=379 TT=17.177 T1=17.16	OPT f=379 TT=0.634 T1=0.66	OPT f=379 TT=0.325 T1=0.2	OPT f=379 TT=1.204 T1=1.14
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=379-Q=521.opb	UNSAT TT=0.017	UNSAT TT=0.089	UNSAT TT=0.083	UNSAT TT=0.019	UNSAT TT=0.017	UNSAT TT=2.031	UNSAT TT=10.976	UNSAT TT=0.764	UNSAT TT=0.374	UNSAT TT=0.714
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=37-Q=107.opb	OPT f=37 TT=0.015 T1=0.01	OPT f=37 TT=0.074 T1=0.07	OPT f=37 TT=0.042 T1=0.04	OPT f=37 TT=0.016 T1=0.01	OPT f=37 TT=0.015 T1=0.01	OPT f=37 TT=3.002 T1=2.99	OPT f=37 TT=16.75 T1=16.74	OPT f=37 TT=0.524 T1=0.66	OPT f=37 TT=0.274 T1=0.17	OPT f=37 TT=0.1 T1=0.08
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=37-Q=443.opb	OPT f=37 TT=0.015 T1=0.01	OPT f=37 TT=0.33 T1=0.33	OPT f=37 TT=0.105 T1=0.1	OPT f=37 TT=0.019 T1=0.01	OPT f=37 TT=0.015 T1=0.01	OPT f=37 TT=5.125 T1=5.11	OPT f=37 TT=19.827 T1=19.82	OPT f=37 TT=0.314 T1=0.66	OPT f=37 TT=0.224 T1=0.15	OPT f=37 TT=0.248 T1=0.23
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=383-Q=509.opb	OPT f=383 TT=0.019 T1=0.01	OPT f=383 TT=0.076 T1=0.07	OPT f=383 TT=0.078 T1=0.07	OPT f=383 TT=0.019 T1=0.01	OPT f=383 TT=2.53 T1=2.52	OPT f=383 TT=2.232 T1=2.22	OPT f=383 TT=15.583 T1=15.57	OPT f=383 TT=0.215 T1=0.66	OPT f=383 TT=0.193 T1=0.15	OPT f=383 TT=0.708 T1=0.66
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=383-Q=521.opb	UNSAT TT=0.019	UNSAT TT=0.128	UNSAT TT=0.127	UNSAT TT=0.019	UNSAT TT=0.021	UNSAT TT=2.177	UNSAT TT=10.934	UNSAT TT=0.824	UNSAT TT=0.375	UNSAT TT=0.715
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=389-Q=433.opb	OPT f=389 TT=0.021 T1=0.02	OPT f=389 TT=0.165 T1=0.16	OPT f=389 TT=0.102 T1=0.1	OPT f=389 TT=0.021 T1=0.02	OPT f=389 TT=2.542 T1=2.54	OPT f=389 TT=2.627 T1=2.61	OPT f=389 TT=15.065 T1=15.05	OPT f=389 TT=0.694 T1=1.17	OPT f=389 TT=0.354 T1=0.19	OPT f=389 TT=0.987 T1=0.91
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=397-Q=449.opb	OPT f=397 TT=0.019 T1=0.01	OPT f=397 TT=0.111 T1=0.11	OPT f=397 TT=0.103 T1=0.1	OPT f=397 TT=0.019 T1=0.01	OPT f=397 TT=2.536 T1=2.53	OPT f=397 TT=2.296 T1=2.28	OPT f=397 TT=14.75 T1=14.74	OPT f=397 TT=1.833 T1=1.16	OPT f=397 TT=0.334 T1=0.19	OPT f=397 TT=0.975 T1=0.91
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=397-Q=521.opb	UNSAT TT=0.017	UNSAT TT=0.124	UNSAT TT=0.119	UNSAT TT=0.018	UNSAT TT=0.017	UNSAT TT=1.893	UNSAT TT=10.739	UNSAT TT=0.653	UNSAT TT=0.353	UNSAT TT=0.647
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=409-Q=499.opb	OPT f=409 TT=0.016 T1=0.01	OPT f=409 TT=0.044 T1=0.04	OPT f=409 TT=0.027 T1=0.02	OPT f=409 TT=0.019 T1=0.01	OPT f=409 TT=0.016 T1=0.01	OPT f=409 TT=1.942 T1=1.93	OPT f=409 TT=14.948 T1=14.94	OPT f=409 TT=0.345 T1=0.66	OPT f=409 TT=0.233 T1=0.16	OPT f=409 TT=0.711 T1=0.66
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=409-Q=509.opb	OPT f=409 TT=0.016 T1=0.01	OPT f=409 TT=0.056 T1=0.05	OPT f=409 TT=0.022 T1=0.02	OPT f=409 TT=0.017 T1=0.01	OPT f=409 TT=0.016 T1=0.01	OPT f=409 TT=1.778 T1=1.76	OPT f=409 TT=14.729 T1=14.72	OPT f=409 TT=0.256 T1=0.66	OPT f=409 TT=0.204 T1=0.15	OPT f=409 TT=0.616 T1=0.68
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=41-Q=347.opb	OPT f=41 TT=0.019 T1=0.01	OPT f=41 TT=0.24 T1=0.24	OPT f=41 TT=0.232 T1=0.23	OPT f=41 TT=0.019 T1=0.01	OPT f=41 TT=0.021 T1=0.02	OPT f=41 TT=3.194 T1=3.18	OPT f=41 TT=18.845 T1=18.84	OPT f=41 TT=0.554 T1=0.66	OPT f=41 TT=0.294 T1=0.17	OPT f=41 TT=0.234 T1=0.21
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=421-Q=449.opb	OPT f=421 TT=0.02 T1=0.01	OPT f=421 TT=0.092 T1=0.09	OPT f=421 TT=0.077 T1=0.07	OPT f=421 TT=0.02 T1=0.01	OPT f=421 TT=2.54 T1=2.54	OPT f=421 TT=2.526 T1=2.51	OPT f=421 TT=14.999 T1=14.99	OPT f=421 TT=0.803 T1=1.17	OPT f=421 TT=0.436 T1=0.23	OPT f=421 TT=0.734 T1=0.66
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=421-Q=487.opb	OPT f=421 TT=0.017 T1=0.01	OPT f=421 TT=0.104 T1=0.1	OPT f=421 TT=0.065 T1=0.06	OPT f=421 TT=0.02 T1=0.02	OPT f=421 TT=0.017 T1=0.01	OPT f=421 TT=1.787 T1=1.77	OPT f=421 TT=14.284 T1=14.28	OPT f=421 TT=1.504 T1=0.66	OPT f=421 TT=0.295 T1=0.18	OPT f=421 TT=0.695 T1=0.65
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=431-Q=503.opb	OPT f=431 TT=0.017 T1=0.01	OPT f=431 TT=0.059 T1=0.06	OPT f=431 TT=0.046 T1=0.04	OPT f=431 TT=0.02 T1=0.01	OPT f=431 TT=0.017 T1=0.01	OPT f=431 TT=1.74 T1=1.72	OPT f=431 TT=14.348 T1=14.34	OPT f=431 TT=0.494 T1=0.66	OPT f=431 TT=0.225 T1=0.15	OPT f=431 TT=0.438 T1=0.4
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=439-Q=509.opb	OPT f=439 TT=0.018 T1=0.01	OPT f=439 TT=0.086 T1=0.08	OPT f=439 TT=0.062 T1=0.06	OPT f=439 TT=0.019 T1=0.01	OPT f=439 TT=0.018 T1=0.01	OPT f=439 TT=1.818 T1=1.8	OPT f=439 TT=14.218 T1=14.21	OPT f=439 TT=0.244 T1=0.66	OPT f=439 TT=0.194 T1=0.15	OPT f=439 TT=0.4 T1=0.37
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=43-Q=227.opb	OPT f=43 TT=0.02 T1=0.02	OPT f=43 TT=0.164 T1=0.16	OPT f=43 TT=0.059 T1=0.06	OPT f=43 TT=0.02 T1=0.02	OPT f=43 TT=0.021 T1=0.02	OPT f=43 TT=3.174 T1=3.16	OPT f=43 TT=17.543 T1=17.54	OPT f=43 TT=0.594 T1=0.66	OPT f=43 TT=0.334 T1=0.18	OPT f=43 TT=0.159 T1=0.14
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=443-Q=487.opb	OPT f=443 TT=0.018 T1=0.01	OPT f=443 TT=0.044 T1=0.04	OPT f=443 TT=0.032 T1=0.03	OPT f=443 TT=0.018 T1=0.01	OPT f=443 TT=0.018 T1=0.01	OPT f=443 TT=1.801 T1=1.78	OPT f=443 TT=14.211 T1=14.2	OPT f=443 TT=0.413 T1=0.66	OPT f=443 TT=0.242 T1=0.17	OPT f=443 TT=0.457 T1=0.42
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=449-Q=479.opb	OPT f=449 TT=0.018 T1=0.01	OPT f=449 TT=0.084 T1=0.08	OPT f=449 TT=0.077 T1=0.07	OPT f=449 TT=0.018 T1=0.01	OPT f=449 TT=0.018 T1=0.01	OPT f=449 TT=1.81 T1=1.79	OPT f=449 TT=14.863 T1=14.85	OPT f=449 TT=1.664 T1=1.16	OPT f=449 TT=0.305 T1=0.18	OPT f=449 TT=0.513 T1=0.48
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=47-Q=197.opb	OPT f=47 TT=0.019 T1=0.01	OPT f=47 TT=0.116 T1=0.11	OPT f=47 TT=0.106 T1=0.1	OPT f=47 TT=0.021 T1=0.02	OPT f=47 TT=0.019 T1=0.01	OPT f=47 TT=5.664 T1=5.65	OPT f=47 TT=19.372 T1=19.36	OPT f=47 TT=0.535 T1=0.66	OPT f=47 TT=0.323 T1=0.19	OPT f=47 TT=0.15 T1=0.12
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=47-Q=421.opb	OPT f=47 TT=0.021 T1=0.02	OPT f=47 TT=0.214 T1=0.21	OPT f=47 TT=0.192 T1=0.19	OPT f=47 TT=0.021 T1=0.02	OPT f=47 TT=0.027 T1=0.02	OPT f=47 TT=2.987 T1=2.97	OPT f=47 TT=17.698 T1=17.69	OPT f=47 TT=0.463 T1=0.66	OPT f=47 TT=0.274 T1=0.17	OPT f=47 TT=0.258 T1=0.24
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=47-Q=487.opb	OPT f=47 TT=0.02 T1=0.02	OPT f=47 TT=0.059 T1=0.06	OPT f=47 TT=0.202 T1=0.2	OPT f=47 TT=0.02 T1=0.02	OPT f=47 TT=0.025 T1=0.02	OPT f=47 TT=3.276 T1=3.26	OPT f=47 TT=17.285 T1=17.28	OPT f=47 TT=0.345 T1=0.66	OPT f=47 TT=0.233 T1=0.17	OPT f=47 TT=0.261 T1=0.24
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=47-Q=71.opb	OPT f=47 TT=0.018 T1=0.01	OPT f=47 TT=0.095 T1=0.09	OPT f=47 TT=0.063 T1=0.06	OPT f=47 TT=0.018 T1=0.01	OPT f=47 TT=0.019 T1=0.01	OPT f=47 TT=3.044 T1=3.03	OPT f=47 TT=17.557 T1=17.55	OPT f=47 TT=0.585 T1=1.02	OPT f=47 TT=0.324 T1=0.19	OPT f=47 TT=0.081 T1=0.06
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=487-Q=499.opb	OPT f=487 TT=0.016 T1=0.01	OPT f=487 TT=0.041 T1=0.04	OPT f=487 TT=0.024 T1=0.02	OPT f=487 TT=0.018 T1=0.01	OPT f=487 TT=0.016 T1=0.01	OPT f=487 TT=1.676 T1=1.66	OPT f=487 TT=14.5 T1=14.49	OPT f=487 TT=0.394 T1=1.16	OPT f=487 TT=0.245 T1=0.16	OPT f=487 TT=0.185 T1=0.16
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=487-Q=503.opb	OPT f=487 TT=0.016 T1=0.01	OPT f=487 TT=0.035 T1=0.03	OPT f=487 TT=0.024 T1=0.02	OPT f=487 TT=0.019 T1=0.01	OPT f=487 TT=0.016 T1=0.01	OPT f=487 TT=1.653 T1=1.64	OPT f=487 TT=14.271 T1=14.26	OPT f=487 TT=0.303 T1=0.66	OPT f=487 TT=0.224 T1=0.15	OPT f=487 TT=0.146 T1=0.13
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=53-Q=127.opb	OPT f=53 TT=0.017 T1=0.01	OPT f=53 TT=0.148 T1=0.14	OPT f=53 TT=0.108 T1=0.1	OPT f=53 TT=0.017 T1=0.01	OPT f=53 TT=0.02 T1=0.02	OPT f=53 TT=3.265 T1=3.25	OPT f=53 TT=17.3 T1=17.29	OPT f=53 TT=2.683 T1=0.68	OPT f=53 TT=0.304 T1=0.17	OPT f=53 TT=0.145 T1=0.11
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=53-Q=151.opb	OPT f=53 TT=0.017 T1=0.01	OPT f=53 TT=0.081 T1=0.08	OPT f=53 TT=0.065 T1=0.06	OPT f=53 TT=0.018 T1=0.01	OPT f=53 TT=0.017 T1=0.01	OPT f=53 TT=3.278 T1=3.26	OPT f=53 TT=18.019 T1=18.01	OPT f=53 TT=0.535 T1=0.66	OPT f=53 TT=0.324 T1=0.18	OPT f=53 TT=0.153 T1=0.13
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=53-Q=191.opb	OPT f=53 TT=0.018 T1=0.01	OPT f=53 TT=0.16 T1=0.15	OPT f=53 TT=0.118 T1=0.11	OPT f=53 TT=0.018 T1=0.01	OPT f=53 TT=0.019 T1=0.01	OPT f=53 TT=4.959 T1=4.94	OPT f=53 TT=20.169 T1=20.16	OPT f=53 TT=2.124 T1=0.66	OPT f=53 TT=0.305 T1=0.18	OPT f=53 TT=0.155 T1=0.12
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=53-Q=97.opb	OPT f=53 TT=0.02 T1=0.02	OPT f=53 TT=0.193 T1=0.19	OPT f=53 TT=0.067 T1=0.06	OPT f=53 TT=0.02 T1=0.02	OPT f=53 TT=0.024 T1=0.02	OPT f=53 TT=3.096 T1=3.08	OPT f=53 TT=17.309 T1=17.3	OPT f=53 TT=0.585 T1=0.66	OPT f=53 TT=0.334 T1=0.19	OPT f=53 TT=0.093 T1=0.06
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=59-Q=131.opb	OPT f=59 TT=0.019 T1=0.02	OPT f=59 TT=0.144 T1=0.14	OPT f=59 TT=0.114 T1=0.11	OPT f=59 TT=0.02 T1=0.02	OPT f=59 TT=0.019 T1=0.02	OPT f=59 TT=3.096 T1=3.08	OPT f=59 TT=17.466 T1=17.46	OPT f=59 TT=0.615 T1=0.66	OPT f=59 TT=0.324 T1=0.19	OPT f=59 TT=0.121 T1=0.1
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=59-Q=307.opb	OPT f=59 TT=0.023 T1=0.02	OPT f=59 TT=0.102 T1=0.1	OPT f=59 TT=0.078 T1=0.07	OPT f=59 TT=0.023 T1=0.02	OPT f=59 TT=0.024 T1=0.02	OPT f=59 TT=3.885 T1=3.87	OPT f=59 TT=19.45 T1=19.44	OPT f=59 TT=0.495 T1=0.66	OPT f=59 TT=0.275 T1=0.17	OPT f=59 TT=0.193 T1=0.16
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=59-Q=337.opb	OPT f=59 TT=0.021 T1=0.02	OPT f=59 TT=0.337 T1=0.33	OPT f=59 TT=0.267 T1=0.26	OPT f=59 TT=0.026 T1=0.02	OPT f=59 TT=0.021 T1=0.02	OPT f=59 TT=3.619 T1=3.61	OPT f=59 TT=17.6 T1=17.59	OPT f=59 TT=2.054 T1=0.66	OPT f=59 TT=0.324 T1=0.19	OPT f=59 TT=0.267 T1=0.25
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=59-Q=419.opb	OPT f=59 TT=0.022 T1=0.02	OPT f=59 TT=0.049 T1=0.04	OPT f=59 TT=0.031 T1=0.03	OPT f=59 TT=0.022 T1=0.02	OPT f=59 TT=0.025 T1=0.02	OPT f=59 TT=2.804 T1=2.79	OPT f=59 TT=16.642 T1=16.63	OPT f=59 TT=0.384 T1=0.67	OPT f=59 TT=0.244 T1=0.16	OPT f=59 TT=0.272 T1=0.25
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=59-Q=431.opb	OPT f=59 TT=0.022 T1=0.02	OPT f=59 TT=0.048 T1=0.04	OPT f=59 TT=0.026 T1=0.02	OPT f=59 TT=0.022 T1=0.02	OPT f=59 TT=0.027 T1=0.02	OPT f=59 TT=3.392 T1=3.38	OPT f=59 TT=18.48 T1=18.47	OPT f=59 TT=1.214 T1=0.66	OPT f=59 TT=0.234 T1=0.16	OPT f=59 TT=0.262 T1=0.23
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=5-Q=317.opb	OPT f=5 TT=0.013 T1=0.01	OPT f=5 TT=0.098 T1=0.09	OPT f=5 TT=0.079 T1=0.07	OPT f=5 TT=0.013 T1=0.01	OPT f=5 TT=0.013 T1=0.01	OPT f=5 TT=2.064 T1=2.05	OPT f=5 TT=15.816 T1=15.81	OPT f=5 TT=0.224 T1=0.66	OPT f=5 TT=0.204 T1=0.15	OPT f=5 TT=0.078 T1=0.07
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=61-Q=163.opb	OPT f=61 TT=0.018 T1=0.01	OPT f=61 TT=0.09 T1=0.09	OPT f=61 TT=0.052 T1=0.05	OPT f=61 TT=0.019 T1=0.01	OPT f=61 TT=0.018 T1=0.01	OPT f=61 TT=4.009 T1=3.99	OPT f=61 TT=21.09 T1=21.08	OPT f=61 TT=0.575 T1=0.66	OPT f=61 TT=0.324 T1=0.18	OPT f=61 TT=0.178 T1=0.16
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=61-Q=307.opb	OPT f=61 TT=0.019 T1=0.01	OPT f=61 TT=0.54 T1=0.54	OPT f=61 TT=0.471 T1=0.47	OPT f=61 TT=0.019 T1=0.01	OPT f=61 TT=0.022 T1=0.02	OPT f=61 TT=3.934 T1=3.92	OPT f=61 TT=18.814 T1=18.81	OPT f=61 TT=0.504 T1=0.66	OPT f=61 TT=0.274 T1=0.17	OPT f=61 TT=0.21 T1=0.18
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=61-Q=419.opb	OPT f=61 TT=0.02 T1=0.02	OPT f=61 TT=0.165 T1=0.16	OPT f=61 TT=0.172 T1=0.17	OPT f=61 TT=0.02 T1=0.02	OPT f=61 TT=0.028 T1=0.02	OPT f=61 TT=3.407 T1=3.39	OPT f=61 TT=17.45 T1=17.44	OPT f=61 TT=0.494 T1=0.66	OPT f=61 TT=0.262 T1=0.17	OPT f=61 TT=0.306 T1=0.27
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=67-Q=191.opb	OPT f=67 TT=0.017 T1=0.01	OPT f=67 TT=0.136 T1=0.13	OPT f=67 TT=0.111 T1=0.11	OPT f=67 TT=0.02 T1=0.02	OPT f=67 TT=0.017 T1=0.01	OPT f=67 TT=5.083 T1=5.07	OPT f=67 TT=20.314 T1=20.31	OPT f=67 TT=0.644 T1=0.66	OPT f=67 TT=0.354 T1=0.2	OPT f=67 TT=0.159 T1=0.12
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=67-Q=223.opb	OPT f=67 TT=0.017 T1=0.01	OPT f=67 TT=0.193 T1=0.19	OPT f=67 TT=0.095 T1=0.09	OPT f=67 TT=0.022 T1=0.02	OPT f=67 TT=0.017 T1=0.01	OPT f=67 TT=5.315 T1=5.3	OPT f=67 TT=20.32 T1=20.32	OPT f=67 TT=2.858 T1=0.67	OPT f=67 TT=0.314 T1=0.19	OPT f=67 TT=0.206 T1=0.18
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=71-Q=409.opb	OPT f=71 TT=0.018 T1=0.01	OPT f=71 TT=0.112 T1=0.11	OPT f=71 TT=0.185 T1=0.18	OPT f=71 TT=0.022 T1=0.02	OPT f=71 TT=0.018 T1=0.01	OPT f=71 TT=3.056 T1=3.04	OPT f=71 TT=17.048 T1=17.04	OPT f=71 TT=0.604 T1=0.66	OPT f=71 TT=0.324 T1=0.19	OPT f=71 TT=0.359 T1=0.32
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=71-Q=461.opb	OPT f=71 TT=0.018 T1=0.01	OPT f=71 TT=0.257 T1=0.25	OPT f=71 TT=0.344 T1=0.34	OPT f=71 TT=0.021 T1=0.02	OPT f=71 TT=0.018 T1=0.01	OPT f=71 TT=4.344 T1=4.33	OPT f=71 TT=17.671 T1=17.67	OPT f=71 TT=0.414 T1=0.67	OPT f=71 TT=0.224 T1=0.15	OPT f=71 TT=0.343 T1=0.31
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=71-Q=491.opb	OPT f=71 TT=0.024 T1=0.02	OPT f=71 TT=0.385 T1=0.38	OPT f=71 TT=0.35 T1=0.35	OPT f=71 TT=0.024 T1=0.02	OPT f=71 TT=0.027 T1=0.02	OPT f=71 TT=3.281 T1=3.27	OPT f=71 TT=18.063 T1=18.05	OPT f=71 TT=0.354 T1=0.66	OPT f=71 TT=0.213 T1=0.14	OPT f=71 TT=0.324 T1=0.3
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=73-Q=449.opb	OPT f=73 TT=0.02 T1=0.02	OPT f=73 TT=0.152 T1=0.15	OPT f=73 TT=0.152 T1=0.15	OPT f=73 TT=0.02 T1=0.08	OPT f=73 TT=0.021 T1=0.02	OPT f=73 TT=4.736 T1=4.72	OPT f=73 TT=18.765 T1=18.76	OPT f=73 TT=0.523 T1=0.66	OPT f=73 TT=0.242 T1=0.16	OPT f=73 TT=0.286 T1=0.26
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=79-Q=137.opb	OPT f=79 TT=0.02 T1=0.02	OPT f=79 TT=0.685 T1=0.68	OPT f=79 TT=0.377 T1=0.37	OPT f=79 TT=0.02 T1=0.02	OPT f=79 TT=0.023 T1=0.02	OPT f=79 TT=3.979 T1=3.96	OPT f=79 TT=19.088 T1=19.08	OPT f=79 TT=0.774 T1=0.66	OPT f=79 TT=0.333 T1=0.19	OPT f=79 TT=0.16 T1=0.12
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=79-Q=173.opb	OPT f=79 TT=0.019 T1=0.02	OPT f=79 TT=0.194 T1=0.19	OPT f=79 TT=0.16 T1=0.16	OPT f=79 TT=0.021 T1=0.02	OPT f=79 TT=0.019 T1=0.02	OPT f=79 TT=5.725 T1=5.71	OPT f=79 TT=20.407 T1=20.4	OPT f=79 TT=7.423 T1=0.67	OPT f=79 TT=0.354 T1=0.2	OPT f=79 TT=0.208 T1=0.18
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=79-Q=257.opb	OPT f=79 TT=0.02 T1=0.02	OPT f=79 TT=0.213 T1=0.21	OPT f=79 TT=0.172 T1=0.17	OPT f=79 TT=0.02 T1=0.02	OPT f=79 TT=0.022 T1=0.02	OPT f=79 TT=4.648 T1=4.63	OPT f=79 TT=19.627 T1=19.62	OPT f=79 TT=0.766 T1=0.66	OPT f=79 TT=0.374 T1=0.2	OPT f=79 TT=0.27 T1=0.23
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=79-Q=331.opb	OPT f=79 TT=0.023 T1=0.02	OPT f=79 TT=0.16 T1=0.16	OPT f=79 TT=0.148 T1=0.14	OPT f=79 TT=0.023 T1=0.02	OPT f=79 TT=0.023 T1=0.02	OPT f=79 TT=5.177 T1=5.16	OPT f=79 TT=20.474 T1=20.46	OPT f=79 TT=2.605 T1=0.66	OPT f=79 TT=0.354 T1=0.2	OPT f=79 TT=0.273 T1=0.24
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=7-Q=179.opb	OPT f=7 TT=0.013 T1=0.01	OPT f=7 TT=0.053 T1=0.05	OPT f=7 TT=0.036 T1=0.03	OPT f=7 TT=0.014 T1=0.01	OPT f=7 TT=0.013 T1=0.01	OPT f=7 TT=2.162 T1=2.15	OPT f=7 TT=16.08 T1=16.07	OPT f=7 TT=0.302 T1=0.66	OPT f=7 TT=0.224 T1=0.15	OPT f=7 TT=0.052 T1=0.04
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=7-Q=223.opb	OPT f=7 TT=0.012 T1=0.01	OPT f=7 TT=0.052 T1=0.05	OPT f=7 TT=0.022 T1=0.02	OPT f=7 TT=0.013 T1=0.01	OPT f=7 TT=0.012 T1=0.01	OPT f=7 TT=2.412 T1=2.4	OPT f=7 TT=16.343 T1=16.33	OPT f=7 TT=0.404 T1=0.66	OPT f=7 TT=0.214 T1=0.15	OPT f=7 TT=0.059 T1=0.05
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=7-Q=31.opb	OPT f=1 TT=0.008 T1=0	OPT f=1 TT=0.033 T1=0.03	OPT f=1 TT=0.019 T1=0.01	OPT f=1 TT=0.008 T1=0	OPT f=1 TT=0.047 T1=0.04	OPT f=1 TT=1.559 T1=1.55	OPT f=1 TT=13.827 T1=13.82	OPT f=1 TT=0.214 T1=0.66	OPT f=1 TT=0.205 T1=0.14	OPT f=1 TT=0.026 T1=0.02
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=83-Q=197.opb	OPT f=83 TT=0.019 T1=0.01	OPT f=83 TT=0.303 T1=0.3	OPT f=83 TT=0.199 T1=0.2	OPT f=83 TT=0.019 T1=0.01	OPT f=83 TT=0.026 T1=0.02	OPT f=83 TT=3.651 T1=3.63	OPT f=83 TT=17.2 T1=17.19	OPT f=83 TT=0.625 T1=0.67	OPT f=83 TT=0.353 T1=0.2	OPT f=83 TT=0.235 T1=0.2
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=83-Q=271.opb	OPT f=83 TT=0.018 T1=0.01	OPT f=83 TT=0.135 T1=0.13	OPT f=83 TT=0.137 T1=0.13	OPT f=83 TT=0.023 T1=0.02	OPT f=83 TT=0.018 T1=0.01	OPT f=83 TT=4.694 T1=4.68	OPT f=83 TT=18.101 T1=18.1	OPT f=83 TT=0.793 T1=0.66	OPT f=83 TT=0.313 T1=0.18	OPT f=83 TT=0.263 T1=0.24
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=83-Q=367.opb	OPT f=83 TT=0.021 T1=0.02	OPT f=83 TT=0.236 T1=0.23	OPT f=83 TT=0.241 T1=0.24	OPT f=83 TT=0.024 T1=0.02	OPT f=83 TT=0.021 T1=0.02	OPT f=83 TT=3.386 T1=3.37	OPT f=83 TT=17.641 T1=17.64	OPT f=83 TT=0.613 T1=0.66	OPT f=83 TT=0.323 T1=0.18	OPT f=83 TT=0.348 T1=0.32
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=83-Q=449.opb	OPT f=83 TT=0.019 T1=0.01	OPT f=83 TT=0.05 T1=0.05	OPT f=83 TT=0.034 T1=0.03	OPT f=83 TT=0.022 T1=0.02	OPT f=83 TT=0.019 T1=0.01	OPT f=83 TT=4.111 T1=4.1	OPT f=83 TT=18.056 T1=18.05	OPT f=83 TT=0.483 T1=0.66	OPT f=83 TT=0.264 T1=0.16	OPT f=83 TT=0.403 T1=0.36
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=83-Q=89.opb	OPT f=83 TT=0.019 T1=0.01	OPT f=83 TT=0.17 T1=0.17	OPT f=83 TT=0.088 T1=0.08	OPT f=83 TT=0.019 T1=0.01	OPT f=83 TT=0.021 T1=0.02	OPT f=83 TT=3.865 T1=3.85	OPT f=83 TT=18.082 T1=18.07	OPT f=83 TT=0.684 T1=0.66	OPT f=83 TT=0.373 T1=0.2	OPT f=83 TT=0.149 T1=0.13
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=89-Q=211.opb	OPT f=89 TT=0.02 T1=0.01	OPT f=89 TT=0.178 T1=0.17	OPT f=89 TT=0.128 T1=0.13	OPT f=89 TT=0.02 T1=0.01	OPT f=89 TT=0.023 T1=0.02	OPT f=89 TT=3.887 T1=3.88	OPT f=89 TT=18.358 T1=18.35	OPT f=89 TT=0.724 T1=0.66	OPT f=89 TT=0.365 T1=0.19	OPT f=89 TT=0.269 T1=0.24
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=89-Q=263.opb	OPT f=89 TT=0.02 T1=0.02	OPT f=89 TT=0.176 T1=0.17	OPT f=89 TT=0.105 T1=0.1	OPT f=89 TT=0.02 T1=0.02	OPT f=89 TT=0.021 T1=0.02	OPT f=89 TT=4.777 T1=4.76	OPT f=89 TT=19.201 T1=19.19	OPT f=89 TT=0.784 T1=0.66	OPT f=89 TT=0.384 T1=0.2	OPT f=89 TT=0.25 T1=0.22
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=89-Q=293.opb	OPT f=89 TT=0.02 T1=0.02	OPT f=89 TT=0.13 T1=0.13	OPT f=89 TT=0.067 T1=0.06	OPT f=89 TT=0.02 T1=0.02	OPT f=89 TT=0.023 T1=0.02	OPT f=89 TT=5.191 T1=5.18	OPT f=89 TT=20.358 T1=20.35	OPT f=89 TT=0.774 T1=0.67	OPT f=89 TT=0.335 T1=0.18	OPT f=89 TT=0.305 T1=0.28
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=89-Q=317.opb	OPT f=89 TT=0.021 T1=0.02	OPT f=89 TT=0.226 T1=0.22	OPT f=89 TT=0.156 T1=0.15	OPT f=89 TT=0.021 T1=0.02	OPT f=89 TT=0.027 T1=0.02	OPT f=89 TT=3.477 T1=3.46	OPT f=89 TT=17.867 T1=17.86	OPT f=89 TT=2.005 T1=0.67	OPT f=89 TT=0.333 T1=0.18	OPT f=89 TT=0.307 T1=0.27
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=89-Q=347.opb	OPT f=89 TT=0.021 T1=0.02	OPT f=89 TT=0.166 T1=0.16	OPT f=89 TT=0.158 T1=0.15	OPT f=89 TT=0.021 T1=0.02	OPT f=89 TT=0.027 T1=0.02	OPT f=89 TT=4.106 T1=4.09	OPT f=89 TT=18.992 T1=18.99	OPT f=89 TT=0.514 T1=0.67	OPT f=89 TT=0.344 T1=0.2	OPT f=89 TT=0.382 T1=0.35
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=89-Q=431.opb	OPT f=89 TT=0.02 T1=0.02	OPT f=89 TT=0.682 T1=0.68	OPT f=89 TT=0.651 T1=0.65	OPT f=89 TT=0.02 T1=0.02	OPT f=89 TT=0.02 T1=0.02	OPT f=89 TT=2.851 T1=2.84	OPT f=89 TT=17.059 T1=17.06	OPT f=89 TT=1.165 T1=0.68	OPT f=89 TT=0.264 T1=0.17	OPT f=89 TT=0.436 T1=0.4
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=89-Q=487.opb	OPT f=89 TT=0.02 T1=0.02	OPT f=89 TT=0.186 T1=0.18	OPT f=89 TT=0.167 T1=0.16	OPT f=89 TT=0.02 T1=0.02	OPT f=89 TT=0.021 T1=0.02	OPT f=89 TT=3.664 T1=3.65	OPT f=89 TT=18.968 T1=18.97	OPT f=89 TT=0.495 T1=0.66	OPT f=89 TT=0.235 T1=0.16	OPT f=89 TT=0.464 T1=0.43
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=97-Q=331.opb	OPT f=97 TT=0.019 T1=0.01	OPT f=97 TT=0.539 T1=0.53	OPT f=97 TT=0.253 T1=0.25	OPT f=97 TT=0.019 T1=0.01	OPT f=97 TT=0.02 T1=0.02	OPT f=97 TT=4.304 T1=4.29	OPT f=97 TT=20.579 T1=20.58	OPT f=97 TT=0.506 T1=0.66	OPT f=97 TT=0.342 T1=0.18	OPT f=97 TT=0.358 T1=0.32
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=97-Q=457.opb	OPT f=97 TT=0.019 T1=0.01	OPT f=97 TT=0.141 T1=0.14	OPT f=97 TT=0.1 T1=0.1	OPT f=97 TT=0.019 T1=0.01	OPT f=97 TT=0.022 T1=0.02	OPT f=97 TT=2.964 T1=2.95	OPT f=97 TT=16.789 T1=16.78	OPT f=97 TT=0.794 T1=0.67	OPT f=97 TT=0.314 T1=0.19	OPT f=97 TT=0.452 T1=0.42
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=97-Q=479.opb	OPT f=97 TT=0.02 T1=0.01	OPT f=97 TT=0.291 T1=0.29	OPT f=97 TT=0.241 T1=0.24	OPT f=97 TT=0.02 T1=0.01	OPT f=97 TT=0.024 T1=0.02	OPT f=97 TT=6.507 T1=6.49	OPT f=97 TT=20.794 T1=20.79	OPT f=97 TT=0.664 T1=0.66	OPT f=97 TT=0.264 T1=0.17	OPT f=97 TT=0.561 T1=0.52
normalized-PB06/OPT-SMALLINT/ submitted-PB06/roussel/factor/ normalized-factor-size=9-P=97-Q=509.opb	OPT f=97 TT=0.019 T1=0.01	OPT f=97 TT=0.189 T1=0.18	OPT f=97 TT=0.155 T1=0.15	OPT f=97 TT=0.019 T1=0.01	OPT f=97 TT=0.019 T1=0.02	OPT f=97 TT=1.834 T1=1.82	OPT f=97 TT=17.203 T1=17.2	OPT f=97 TT=0.225 T1=0.66	OPT f=97 TT=0.195 T1=0.14	OPT f=97 TT=0.557 T1=0.52
normalized-PB06/OPT-SMALLINT/web/ www.nlsde.buaa.edu.cn/~kexu/ benchmarks/frb30-15-opb/normalized-frb30-15-1.opb	OPT f=-30 TT=4.997 T1=4.99	? (TO) TT=1800.06	? (TO) TT=1800.01	OPT f=-30 TT=101.672 T1=101.68	OPT f=-30 TT=4.997 T1=4.99	SAT (TO) f=-22 TT=1800.02 T1=1800.3	OPT f=-30 TT=6.431 T1=6.43	SAT (TO) f=-25 TT=1801.08 T1=639.7	SAT (TO) f=-24 TT=1800.07 T1=0.95	OPT f=-30 TT=19.686 T1=19.62
normalized-PB06/OPT-SMALLINT/web/ www.nlsde.buaa.edu.cn/~kexu/ benchmarks/frb30-15-opb/normalized-frb30-15-2.opb	OPT f=-30 TT=4.238 T1=4.23	? (TO) TT=1800.06	? (TO) TT=1800.01	OPT f=-30 TT=69.512 T1=69.52	OPT f=-30 TT=4.238 T1=4.23	SAT (TO) f=-19 TT=1800.02 T1=1800.3	OPT f=-30 TT=8.61 T1=8.61	SAT (TO) f=-25 TT=1800.06 T1=426.5	SAT (TO) f=-23 TT=1800.78 T1=0.45	OPT f=-30 TT=45.879 T1=45.82
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
normalized-PB06/OPT-SMALLINT/web/ www.nlsde.buaa.edu.cn/~kexu/ benchmarks/frb30-15-opb/normalized-frb30-15-3.opb	OPT f=-30 TT=3.913 T1=4.02	? (TO) TT=1800.07	? (TO) TT=1800.02	OPT f=-30 TT=103.703 T1=103.72	OPT f=-30 TT=12.006 T1=12	SAT (TO) f=-23 TT=1800.02 T1=1800.3	OPT f=-30 TT=3.913 T1=4.02	SAT (TO) f=-25 TT=1800.65 T1=17.14	SAT (TO) f=-24 TT=1800.67 T1=0.53	OPT f=-30 TT=16.267 T1=16.2
normalized-PB06/OPT-SMALLINT/web/ www.nlsde.buaa.edu.cn/~kexu/ benchmarks/frb30-15-opb/normalized-frb30-15-4.opb	OPT f=-30 TT=7.216 T1=7.21	? (TO) TT=1800.04	? (TO) TT=1800.01	OPT f=-30 TT=82.882 T1=82.9	OPT f=-30 TT=13.487 T1=13.49	SAT (TO) f=-21 TT=1800.02 T1=1800.3	OPT f=-30 TT=7.216 T1=7.21	SAT (TO) f=-25 TT=1800.15 T1=418.63	SAT (TO) f=-23 TT=1800.81 T1=0.62	OPT f=-30 TT=17.235 T1=17.18
normalized-PB06/OPT-SMALLINT/web/ www.nlsde.buaa.edu.cn/~kexu/ benchmarks/frb30-15-opb/normalized-frb30-15-5.opb	OPT f=-30 TT=2.036 T1=2.03	? (TO) TT=1800.11	? (TO) TT=1800.02	OPT f=-30 TT=74.456 T1=74.47	OPT f=-30 TT=2.036 T1=2.03	SAT (TO) f=-21 TT=1800.02 T1=1800.3	OPT f=-30 TT=3.654 T1=3.65	SAT (TO) f=-25 TT=1800.19 T1=4.12	SAT (TO) f=-24 TT=1800.06 T1=1	OPT f=-30 TT=10.025 T1=9.96
normalized-PB06/OPT-SMALLINT/web/ www.nlsde.buaa.edu.cn/~kexu/ benchmarks/frb35-17-opb/normalized-frb35-17-1.opb	OPT f=-35 TT=29.507 T1=29.5	? (TO) TT=1800.06	? (TO) TT=1800.02	SAT (TO) f=-35 TT=1800.02 T1=1800.3	OPT f=-35 TT=29.507 T1=29.5	SAT (TO) f=-26 TT=1800.02 T1=1800.3	OPT f=-35 TT=38.138 T1=38.14	SAT (TO) f=-28 TT=1800.16 T1=1.74	SAT (TO) f=-28 TT=1800.83 T1=0.6	OPT f=-35 TT=41.902 T1=41.84
normalized-PB06/OPT-SMALLINT/web/ www.nlsde.buaa.edu.cn/~kexu/ benchmarks/frb35-17-opb/normalized-frb35-17-2.opb	OPT f=-35 TT=65.593 T1=65.6	? (TO) TT=1800.04	? (TO) TT=1800.01	SAT (TO) f=-34 TT=1800.01 T1=1800.3	OPT f=-35 TT=87.072 T1=87.09	SAT (TO) f=-23 TT=1800.01 T1=1800.3	OPT f=-35 TT=65.593 T1=65.6	SAT (TO) f=-28 TT=1800.16 T1=296.14	SAT (TO) f=-26 TT=1800.08 T1=0.81	OPT f=-35 TT=141.238 T1=141.2
normalized-PB06/OPT-SMALLINT/web/ www.nlsde.buaa.edu.cn/~kexu/ benchmarks/frb35-17-opb/normalized-frb35-17-3.opb	OPT f=-35 TT=6.397 T1=6.39	? (TO) TT=1800.05	? (TO) TT=1800.11	OPT f=-35 TT=814.887 T1=815.02	OPT f=-35 TT=60.821 T1=60.83	SAT (TO) f=-27 TT=1800.02 T1=1800.3	OPT f=-35 TT=6.397 T1=6.39	SAT (TO) f=-29 TT=1800.68 T1=656.97	SAT (TO) f=-26 TT=1800.94 T1=0.56	OPT f=-35 TT=167.669 T1=167.63
normalized-PB06/OPT-SMALLINT/web/ www.nlsde.buaa.edu.cn/~kexu/ benchmarks/frb35-17-opb/normalized-frb35-17-4.opb	OPT f=-35 TT=32.806 T1=32.81	? (TO) TT=1800.06	? (TO) TT=1800.02	OPT f=-35 TT=566.819 T1=566.92	OPT f=-35 TT=37.139 T1=37.14	SAT (TO) f=-25 TT=1800.02 T1=1800.3	OPT f=-35 TT=32.806 T1=32.81	SAT (TO) f=-29 TT=1800.09 T1=471.49	SAT (TO) f=-26 TT=1800.06 T1=0.86	OPT f=-35 TT=64.19 T1=64.14
normalized-PB06/OPT-SMALLINT/web/ www.nlsde.buaa.edu.cn/~kexu/ benchmarks/frb35-17-opb/normalized-frb35-17-5.opb	OPT f=-35 TT=71.831 T1=71.84	? (TO) TT=1800.07	? (TO) TT=1800.01	OPT f=-35 TT=417.668 T1=417.72	OPT f=-35 TT=174.414 T1=174.43	SAT (TO) f=-24 TT=1800.02 T1=1800.3	OPT f=-35 TT=71.831 T1=71.84	SAT (TO) f=-29 TT=1800.07 T1=535.84	SAT (TO) f=-27 TT=1800.74 T1=0.6	OPT f=-35 TT=356.421 T1=356.41
normalized-PB06/OPT-SMALLINT/web/ www.nlsde.buaa.edu.cn/~kexu/ benchmarks/frb40-19-opb/normalized-frb40-19-1.opb	OPT f=-40 TT=35.491 T1=35.49	? (TO) TT=1800.08	? (TO) TT=1800.03	OPT f=-40 TT=737.936 T1=738.05	OPT f=-40 TT=140.816 T1=140.84	SAT (TO) f=-30 TT=1800.02 T1=1800.3	OPT f=-40 TT=35.491 T1=35.49	SAT (TO) f=-33 TT=1800.15 T1=8.35	SAT (TO) f=-32 TT=1800.76 T1=0.58	OPT f=-40 TT=129.996 T1=129.95
normalized-PB06/OPT-SMALLINT/web/ www.nlsde.buaa.edu.cn/~kexu/ benchmarks/frb40-19-opb/normalized-frb40-19-2.opb	OPT f=-40 TT=82.352 T1=82.3	? (TO) TT=1800.07	? (TO) TT=1800.02	OPT f=-40 TT=1697.66 T1=1697.92	OPT f=-40 TT=168.623 T1=168.65	SAT (TO) f=-27 TT=1800.02 T1=1800.3	OPT f=-40 TT=96.091 T1=96.1	SAT (TO) f=-33 TT=1800.5 T1=254.44	SAT (TO) f=-29 TT=1800.01 T1=0.68	OPT f=-40 TT=82.352 T1=82.3
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
normalized-PB06/OPT-SMALLINT/web/ www.nlsde.buaa.edu.cn/~kexu/ benchmarks/frb40-19-opb/normalized-frb40-19-3.opb	OPT f=-40 TT=884.979 T1=885.11	? (TO) TT=1800.1	? (TO) TT=1800.02	SAT (TO) f=-38 TT=1800.01 T1=1800.3	SAT (TO) f=-39 TT=1800.11 T1=1800.4	SAT (TO) f=-29 TT=1800.02 T1=1800.3	OPT f=-40 TT=884.979 T1=885.11	SAT (TO) f=-31 TT=1800.87 T1=8.39	SAT (TO) f=-28 TT=1800.02 T1=0.67	? (TO) TT=1800.03
normalized-PB06/OPT-SMALLINT/web/ www.nlsde.buaa.edu.cn/~kexu/ benchmarks/frb40-19-opb/normalized-frb40-19-4.opb	OPT f=-40 TT=35.503 T1=35.45	? (TO) TT=1800.07	? (TO) TT=1800.01	SAT (TO) f=-40 TT=1800.01 T1=1800.3	SAT (TO) f=-40 TT=1800.01 T1=1800.3	SAT (TO) f=-27 TT=1800.02 T1=1800.3	OPT f=-40 TT=151.443 T1=151.46	SAT (TO) f=-32 TT=1800.06 T1=9.87	SAT (TO) f=-30 TT=1800.72 T1=0.7	OPT f=-40 TT=35.503 T1=35.45
normalized-PB06/OPT-SMALLINT/web/ www.nlsde.buaa.edu.cn/~kexu/ benchmarks/frb40-19-opb/normalized-frb40-19-5.opb	OPT f=-40 TT=39.736 T1=39.74	? (TO) TT=1800.11	? (TO) TT=1800.03	SAT (TO) f=-39 TT=1800.1 T1=1800.4	SAT (TO) f=-39 TT=1800.1 T1=1800.4	SAT (TO) f=-28 TT=1800.02 T1=1800.3	OPT f=-40 TT=39.736 T1=39.74	SAT (TO) f=-32 TT=1800.53 T1=3.34	SAT (TO) f=-30 TT=1800.53 T1=0.61	? (TO) TT=1800.1
normalized-PB06/OPT-SMALLINT/web/ www.nlsde.buaa.edu.cn/~kexu/ benchmarks/frb45-21-opb/normalized-frb45-21-1.opb	SAT f=-44 TT=1800.02 T1=1800.3	? (TO) TT=1800.11	? (TO) TT=1800.02	SAT (TO) f=-42 TT=1800.02 T1=1800.3	SAT (TO) f=-44 TT=1800.02 T1=1800.3	SAT (TO) f=-33 TT=1800.02 T1=1800.3	SAT (TO) f=-43 TT=1800.02 T1=1800.3	SAT (TO) f=-35 TT=1800.14 T1=36.34	SAT (TO) f=-33 TT=1800.46 T1=0.57	? (TO) TT=1800.05
normalized-PB06/OPT-SMALLINT/web/ www.nlsde.buaa.edu.cn/~kexu/ benchmarks/frb45-21-opb/normalized-frb45-21-2.opb	OPT f=-45 TT=1389.77 T1=1389.98	? (TO) TT=1800.1	? (TO) TT=1800.02	SAT (TO) f=-42 TT=1800.11 T1=1800.4	OPT f=-45 TT=1389.77 T1=1389.98	SAT (TO) f=-31 TT=1800.01 T1=1800.3	SAT (TO) f=-44 TT=1800.02 T1=1800.3	SAT (TO) f=-36 TT=1800.02 T1=62.39	SAT (TO) f=-33 TT=1800.08 T1=0.89	? (TO) TT=1800.02
normalized-PB06/OPT-SMALLINT/web/ www.nlsde.buaa.edu.cn/~kexu/ benchmarks/frb45-21-opb/normalized-frb45-21-3.opb	SAT f=-44 TT=1800.02 T1=1800.3	? (TO) TT=1800.11	? (TO) TT=1800.02	SAT (TO) f=-43 TT=1800.01 T1=1800.3	SAT (TO) f=-44 TT=1800.11 T1=1800.4	SAT (TO) f=-32 TT=1800.02 T1=1800.3	SAT (TO) f=-44 TT=1800.02 T1=1800.3	SAT (TO) f=-35 TT=1800.66 T1=6.42	SAT (TO) f=-33 TT=1800.65 T1=3.62	? (TO) TT=1800.1
normalized-PB06/OPT-SMALLINT/web/ www.nlsde.buaa.edu.cn/~kexu/ benchmarks/frb45-21-opb/normalized-frb45-21-4.opb	OPT f=-45 TT=474.372 T1=474.44	? (TO) TT=1800.1	? (TO) TT=1800.02	SAT (TO) f=-43 TT=1800.1 T1=1800.4	SAT (TO) f=-44 TT=1800.08 T1=1800.4	SAT (TO) f=-31 TT=1800.02 T1=1800.3	OPT f=-45 TT=474.372 T1=474.44	SAT (TO) f=-36 TT=1800.07 T1=60.92	SAT (TO) f=-35 TT=1800.6 T1=0.62	? (TO) TT=1800.11
normalized-PB06/OPT-SMALLINT/web/ www.nlsde.buaa.edu.cn/~kexu/ benchmarks/frb45-21-opb/normalized-frb45-21-5.opb	OPT f=-45 TT=454.793 T1=454.86	? (TO) TT=1800.12	? (TO) TT=1800.11	SAT (TO) f=-42 TT=1800.01 T1=1800.3	SAT (TO) f=-36 TT=1800.1 T1=1800.4	SAT (TO) f=-33 TT=1800.02 T1=1800.3	OPT f=-45 TT=454.793 T1=454.86	SAT (TO) f=-36 TT=1800.01 T1=106.04	SAT (TO) f=-31 TT=1800.48 T1=0.68	? (TO) TT=1800.06
normalized-PB06/OPT-SMALLINT/web/ www.nlsde.buaa.edu.cn/~kexu/ benchmarks/frb50-23-opb/normalized-frb50-23-1.opb	SAT f=-49 TT=1800.02 T1=1800.3	? (TO) TT=1800.05	? (TO) TT=1800.01	SAT (TO) f=-47 TT=1800.09 T1=1800.4	SAT (TO) f=-48 TT=1800.1 T1=1800.4	SAT (TO) f=-31 TT=1800.02 T1=1800.3	SAT (TO) f=-49 TT=1800.02 T1=1800.3	SAT (TO) f=-40 TT=1800.6 T1=267.63	SAT (TO) f=-36 TT=1800.05 T1=0.97	? (TO) TT=1800.02
normalized-PB06/OPT-SMALLINT/web/ www.nlsde.buaa.edu.cn/~kexu/ benchmarks/frb50-23-opb/normalized-frb50-23-2.opb	SAT f=-48 TT=1800.03 T1=1800.3	? (TO) TT=1800.07	? (TO) TT=1800.02	SAT (TO) f=-47 TT=1800.09 T1=1800.4	SAT (TO) f=-46 TT=1800.02 T1=1800.3	SAT (TO) f=-35 TT=1800.02 T1=1800.3	SAT (TO) f=-48 TT=1800.03 T1=1800.3	SAT (TO) f=-38 TT=1800.11 T1=39.89	SAT (TO) f=-35 TT=1800.07 T1=0.86	? (TO) TT=1800.03
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
normalized-PB06/OPT-SMALLINT/web/ www.nlsde.buaa.edu.cn/~kexu/ benchmarks/frb50-23-opb/normalized-frb50-23-3.opb	SAT f=-47 TT=1800.02 T1=1800.3	? (TO) TT=1800.08	? (TO) TT=1800.03	SAT (TO) f=-46 TT=1800.03 T1=1800.4	SAT (TO) f=-47 TT=1800.1 T1=1800.4	SAT (TO) f=-35 TT=1800.01 T1=1800.3	SAT (TO) f=-47 TT=1800.02 T1=1800.3	SAT (TO) f=-39 TT=1800.67 T1=531.31	SAT (TO) f=-36 TT=1800.88 T1=0.82	? (TO) TT=1800.04
normalized-PB06/OPT-SMALLINT/web/ www.nlsde.buaa.edu.cn/~kexu/ benchmarks/frb50-23-opb/normalized-frb50-23-4.opb	SAT f=-48 TT=1800.02 T1=1800.3	? (TO) TT=1800.07	? (TO) TT=1800.11	SAT (TO) f=-47 TT=1800.08 T1=1800.5	SAT (TO) f=-48 TT=1800.02 T1=1800.3	SAT (TO) f=-35 TT=1800.01 T1=1800.3	SAT (TO) f=-48 TT=1800.02 T1=1800.3	SAT (TO) f=-39 TT=1800.04 T1=325.98	SAT (TO) f=-37 TT=1800.04 T1=0.78	? (TO) TT=1800.1
normalized-PB06/OPT-SMALLINT/web/ www.nlsde.buaa.edu.cn/~kexu/ benchmarks/frb50-23-opb/normalized-frb50-23-5.opb	SAT f=-48 TT=1800.01 T1=1800.3	? (TO) TT=1800.1	? (TO) TT=1800.02	SAT (TO) f=-47 TT=1800.09 T1=1800.4	SAT (TO) f=-48 TT=1800.01 T1=1800.3	SAT (TO) f=-37 TT=1800.02 T1=1800.3	SAT (TO) f=-48 TT=1800.02 T1=1800.3	SAT (TO) f=-39 TT=1800.89 T1=136.14	SAT (TO) f=-36 TT=1800.57 T1=0.78	? (TO) TT=1800.04
normalized-PB06/OPT-SMALLINT/web/ www.nlsde.buaa.edu.cn/~kexu/ benchmarks/frb53-24-opb/normalized-frb53-24-1.opb	SAT f=-50 TT=1800.02 T1=1800.3	? (TO) TT=1800.09	? (TO) TT=1800.03	SAT (TO) f=-49 TT=1800.09 T1=1800.4	SAT (TO) f=-48 TT=1800.09 T1=1800.4	SAT (TO) f=-36 TT=1800.02 T1=1800.3	SAT (TO) f=-50 TT=1800.02 T1=1800.3	SAT (TO) f=-41 TT=1800.1 T1=15.55	SAT (TO) f=-40 TT=1800.03 T1=0.98	? (TO) TT=1800.03
normalized-PB06/OPT-SMALLINT/web/ www.nlsde.buaa.edu.cn/~kexu/ benchmarks/frb53-24-opb/normalized-frb53-24-2.opb	SAT f=-50 TT=1800.02 T1=1800.3	? (TO) TT=1800.1	? (TO) TT=1800.02	SAT (TO) f=-50 TT=1800.07 T1=1800.4	SAT (TO) f=-48 TT=1800.1 T1=1800.4	SAT (TO) f=-36 TT=1800.02 T1=1800.3	SAT (TO) f=-50 TT=1800.02 T1=1800.3	SAT (TO) f=-42 TT=1800.53 T1=540.32	SAT (TO) f=-40 TT=1800.01 T1=0.82	? (TO) TT=1800.03
normalized-PB06/OPT-SMALLINT/web/ www.nlsde.buaa.edu.cn/~kexu/ benchmarks/frb53-24-opb/normalized-frb53-24-3.opb	SAT f=-51 TT=1800.02 T1=1800.3	? (TO) TT=1800.08	? (TO) TT=1800.02	SAT (TO) f=-50 TT=1800.09 T1=1800.4	SAT (TO) f=-48 TT=1800.03 T1=1800.4	SAT (TO) f=-36 TT=1800.02 T1=1800.3	SAT (TO) f=-51 TT=1800.02 T1=1800.3	SAT (TO) f=-41 TT=1800.12 T1=289.3	SAT (TO) f=-39 TT=1800.09 T1=0.76	? (TO) TT=1800.03
normalized-PB06/OPT-SMALLINT/web/ www.nlsde.buaa.edu.cn/~kexu/ benchmarks/frb53-24-opb/normalized-frb53-24-4.opb	SAT f=-51 TT=1800 T1=1800.3	? (TO) TT=1800.09	? (TO) TT=1800.02	SAT (TO) f=-49 TT=1800.08 T1=1800.4	SAT (TO) f=-48 TT=1800.02 T1=1800.3	SAT (TO) f=-36 TT=1800.02 T1=1800.3	SAT (TO) f=-51 TT=1800 T1=1800.3	SAT (TO) f=-42 TT=1800.13 T1=25.19	SAT (TO) f=-39 TT=1800.67 T1=0.89	? (TO) TT=1800.02
normalized-PB06/OPT-SMALLINT/web/ www.nlsde.buaa.edu.cn/~kexu/ benchmarks/frb53-24-opb/normalized-frb53-24-5.opb	SAT f=-50 TT=1800.02 T1=1800.3	? (TO) TT=1800.08	? (TO) TT=1800.02	SAT (TO) f=-50 TT=1800.08 T1=1800.4	SAT (TO) f=-48 TT=1800.07 T1=1800.4	SAT (TO) f=-37 TT=1800.03 T1=1800.3	SAT (TO) f=-50 TT=1800.02 T1=1800.3	SAT (TO) f=-41 TT=1800.93 T1=43.65	SAT (TO) f=-36 TT=1800.01 T1=0.85	? (TO) TT=1800.03
normalized-PB06/OPT-SMALLINT/web/ www.nlsde.buaa.edu.cn/~kexu/ benchmarks/frb56-25-opb/normalized-frb56-25-1.opb	SAT f=-53 TT=1800.02 T1=1800.3	? (TO) TT=1800.12	? (TO) TT=1800.03	SAT (TO) f=-50 TT=1800.06 T1=1800.4	SAT (TO) f=-52 TT=1800.09 T1=1800.4	SAT (TO) f=-38 TT=1800.02 T1=1800.3	SAT (TO) f=-53 TT=1800.02 T1=1800.3	SAT (TO) f=-44 TT=1800.19 T1=282.71	SAT (TO) f=-42 TT=1800.03 T1=0.79	? (TO) TT=1800.09
normalized-PB06/OPT-SMALLINT/web/ www.nlsde.buaa.edu.cn/~kexu/ benchmarks/frb56-25-opb/normalized-frb56-25-2.opb	SAT f=-53 TT=1800.02 T1=1800.3	? (TO) TT=1800.11	? (TO) TT=1800.03	SAT (TO) f=-52 TT=1800.07 T1=1800.4	SAT (TO) f=-52 TT=1800.05 T1=1800.4	SAT (TO) f=-40 TT=1800.02 T1=1800.3	SAT (TO) f=-53 TT=1800.02 T1=1800.3	SAT (TO) f=-43 TT=1800.07 T1=216.6	SAT (TO) f=-39 TT=1800.08 T1=0.8	? (TO) TT=1800.04
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
normalized-PB06/OPT-SMALLINT/web/ www.nlsde.buaa.edu.cn/~kexu/ benchmarks/frb56-25-opb/normalized-frb56-25-3.opb	SAT f=-53 TT=1800.01 T1=1800.3	? (TO) TT=1800.11	? (TO) TT=1800.03	SAT (TO) f=-50 TT=1800.07 T1=1800.4	SAT (TO) f=-52 TT=1800.09 T1=1800.4	SAT (TO) f=-41 TT=1800.02 T1=1800.3	SAT (TO) f=-53 TT=1800.01 T1=1800.3	SAT (TO) f=-43 TT=1800.23 T1=17.38	SAT (TO) f=-41 TT=1800.78 T1=1.1	? (TO) TT=1800.07
normalized-PB06/OPT-SMALLINT/web/ www.nlsde.buaa.edu.cn/~kexu/ benchmarks/frb56-25-opb/normalized-frb56-25-4.opb	SAT f=-53 TT=1800.01 T1=1800.3	? (TO) TT=1800.09	? (TO) TT=1800.02	SAT (TO) f=-51 TT=1800.06 T1=1800.4	SAT (TO) f=-52 TT=1800.09 T1=1800.4	SAT (TO) f=-39 TT=1800.03 T1=1800.3	SAT (TO) f=-53 TT=1800.01 T1=1800.3	SAT (TO) f=-44 TT=1800.08 T1=127.17	SAT (TO) f=-40 TT=1800.72 T1=0.92	? (TO) TT=1800.03
normalized-PB06/OPT-SMALLINT/web/ www.nlsde.buaa.edu.cn/~kexu/ benchmarks/frb56-25-opb/normalized-frb56-25-5.opb	SAT f=-53 TT=1800.02 T1=1800.3	? (TO) TT=1800.09	? (TO) TT=1800.11	SAT (TO) f=-50 TT=1800.08 T1=1800.4	SAT (TO) f=-52 TT=1800.02 T1=1800.3	SAT (TO) f=-38 TT=1800.02 T1=1800.3	SAT (TO) f=-53 TT=1800.02 T1=1800.3	SAT (TO) f=-43 TT=1800.82 T1=12.17	SAT (TO) f=-41 TT=1800.08 T1=0.97	? (TO) TT=1800.11
normalized-PB06/OPT-SMALLINT/web/ www.nlsde.buaa.edu.cn/~kexu/ benchmarks/frb59-26-opb/normalized-frb59-26-1.opb	SAT f=-55 TT=1800.02 T1=1800.3	? (TO) TT=1800.11	? (TO) TT=1800.03	SAT (TO) f=-52 TT=1800.07 T1=1800.4	SAT (TO) f=0 TT=1800.02 T1=1800.3	SAT (TO) f=-41 TT=1800.03 T1=1800.3	SAT (TO) f=-55 TT=1800.02 T1=1800.3	SAT (TO) f=-45 TT=1800.06 T1=65.46	SAT (TO) f=-41 TT=1800.03 T1=0.86	? (TO) TT=1800.08
normalized-PB06/OPT-SMALLINT/web/ www.nlsde.buaa.edu.cn/~kexu/ benchmarks/frb59-26-opb/normalized-frb59-26-2.opb	SAT f=-55 TT=1800.02 T1=1800.3	? (TO) TT=1800.09	? (TO) TT=1800.02	SAT (TO) f=-53 TT=1800.04 T1=1800.4	SAT (TO) f=0 TT=1800.03 T1=1800.4	SAT (TO) f=-40 TT=1800.02 T1=1800.3	SAT (TO) f=-55 TT=1800.02 T1=1800.3	SAT (TO) f=-46 TT=1800.56 T1=621.19	SAT (TO) f=-41 TT=1800.59 T1=0.93	? (TO) TT=1800.04
normalized-PB06/OPT-SMALLINT/web/ www.nlsde.buaa.edu.cn/~kexu/ benchmarks/frb59-26-opb/normalized-frb59-26-3.opb	SAT f=-55 TT=1800.02 T1=1800.3	? (TO) TT=1800.11	? (TO) TT=1800.03	SAT (TO) f=-52 TT=1800.07 T1=1800.5	SAT (TO) f=0 TT=1800.02 T1=1800.3	SAT (TO) f=-39 TT=1800.03 T1=1800.3	SAT (TO) f=-55 TT=1800.02 T1=1800.3	SAT (TO) f=-45 TT=1800.66 T1=367.32	SAT (TO) f=-43 TT=1800.8 T1=0.89	? (TO) TT=1800.03
normalized-PB06/OPT-SMALLINT/web/ www.nlsde.buaa.edu.cn/~kexu/ benchmarks/frb59-26-opb/normalized-frb59-26-4.opb	SAT f=-55 TT=1800.03 T1=1800.3	? (TO) TT=1800.12	? (TO) TT=1800.03	SAT (TO) f=-52 TT=1800.04 T1=1800.4	SAT (TO) f=0 TT=1800.09 T1=1800.4	SAT (TO) f=-41 TT=1800.03 T1=1800.3	SAT (TO) f=-55 TT=1800.03 T1=1800.3	SAT (TO) f=-46 TT=1800.85 T1=77.74	SAT (TO) f=-41 TT=1800.09 T1=0.9	? (TO) TT=1800.03
normalized-PB06/OPT-SMALLINT/web/ www.nlsde.buaa.edu.cn/~kexu/ benchmarks/frb59-26-opb/normalized-frb59-26-5.opb	SAT f=-56 TT=1800.02 T1=1800.3	? (TO) TT=1800.11	? (TO) TT=1800.02	SAT (TO) f=-53 TT=1800.06 T1=1800.5	SAT (TO) f=0 TT=1800.1 T1=1800.4	SAT (TO) f=-37 TT=1800.02 T1=1800.3	SAT (TO) f=-56 TT=1800.02 T1=1800.3	SAT (TO) f=-46 TT=1800.13 T1=77.89	SAT (TO) f=-42 TT=1800.01 T1=0.89	? (TO) TT=1800.06
normalized-PB06/OPT-SMALLINT/web/ www.ps.uni-sb.de/~walser/benchmarks/ course-ass/normalized-ss97-2.opb	SAT f=939 TT=1800.07 T1=1800.4	? (TO) TT=1800.1	? (TO) TT=1800.03	SAT (TO) f=12910 TT=1800.07 T1=1800.4	SAT (TO) f=939 TT=1800.07 T1=1800.4	? (TO) TT=1800.02	? (TO) TT=1800.02	SAT (TO) f=1415 TT=1800.12 T1=3.14	SAT (TO) f=2622 TT=1800.99 T1=15.8	? (TO) TT=1800.06
normalized-PB06/OPT-SMALLINT/web/ www.ps.uni-sb.de/~walser/benchmarks/ course-ass/normalized-ss97-4.opb	OPT f=813 TT=8.147 T1=8.12	? (TO) TT=1800.06	? (TO) TT=1800.02	OPT f=813 TT=72.865 T1=72.86	OPT f=813 TT=8.147 T1=8.12	OPT f=813 TT=24.91 T1=24.91	OPT f=813 TT=302.427 T1=302.47	SAT (TO) f=814 TT=1800.18 T1=643.98	SAT (TO) f=834 TT=1800.05 T1=0.46	? (TO) TT=1800.11
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
normalized-PB06/OPT-SMALLINT/web/ www.ps.uni-sb.de/~walser/benchmarks/ course-ass/normalized-ss97-6.opb	OPT f=304 TT=0.011 T1=0.01	OPT f=304 TT=0.036 T1=0.03	OPT f=304 TT=0.236 T1=0.23	OPT f=304 TT=0.462 T1=0.46	OPT f=304 TT=0.237 T1=0.23	OPT f=304 TT=0.011 T1=0.01	OPT f=304 TT=0.067 T1=0.06	OPT f=304 TT=1.004 T1=1.17	SAT (TO) f=305 TT=1800.61 T1=0.18	OPT f=304 TT=0.549 T1=0.47
normalized-PB06/OPT-SMALLINT/web/ www.ps.uni-sb.de/~walser/benchmarks/ course-ass/normalized-ws97-5.opb	OPT f=2642 TT=24.6 T1=11.28	? (TO) TT=1800.02	? (TO) TT=1800.02	SAT (TO) f=2642 TT=1800.02 T1=1800.3	OPT f=2642 TT=763.001 T1=763.12	SAT (TO) f=10229 TT=1800.02 T1=1800.3	SAT (TO) f=2642 TT=1800.09 T1=1800.4	OPT f=2642 TT=24.6 T1=11.28	SAT (TO) f=2652 TT=1800.02 T1=151.75	? (TO) TT=1800.01
normalized-PB06/OPT-SMALLINT/web/ www.ps.uni-sb.de/~walser/benchmarks/ radar/normalized-10:10:4.5:0.5:100.opb	SAT f=6 TT=1800.02 T1=264.96	? (TO) TT=1800.02	? (TO) TT=1800.02	SAT (TO) f=6 TT=1800.03 T1=1800.3	SAT (TO) f=29 TT=1800.02 T1=1800.3	SAT (TO) f=34 TT=1800.02 T1=1800.3	SAT (TO) f=6 TT=1800.02 T1=1800.3	SAT (TO) f=6 TT=1800.62 T1=264.96	SAT (TO) f=12 TT=1800.03 T1=0.2	? (TO) TT=1800.1
normalized-PB06/OPT-SMALLINT/web/ www.ps.uni-sb.de/~walser/benchmarks/ radar/normalized-10:10:4.5:0.95:100.opb	SAT f=2 TT=1800.02 T1=1800.3	? (TO) TT=1800.02	? (TO) TT=1800.02	SAT (TO) f=2 TT=1800.02 T1=1800.3	SAT (TO) f=25 TT=1800.02 T1=1800.3	SAT (TO) f=16 TT=1800.01 T1=1800.3	SAT (TO) f=4 TT=1800.02 T1=1800.3	SAT (TO) f=3 TT=1800.08 T1=1.74	SAT (TO) f=5 TT=1800.74 T1=0.23	? (TO) TT=1800.1
normalized-PB06/OPT-SMALLINT/web/ www.ps.uni-sb.de/~walser/benchmarks/ radar/normalized-10:10:4.5:0.95:98.opb	SAT f=5 TT=1800.02 T1=1800.3	? (TO) TT=1800.02	? (TO) TT=1800.02	SAT (TO) f=5 TT=1800.02 T1=1800.3	SAT (TO) f=21 TT=1800.01 T1=1800.3	SAT (TO) f=9 TT=1800.02 T1=1800.3	SAT (TO) f=6 TT=1800.01 T1=1800.3	SAT (TO) f=6 TT=1800.74 T1=1.73	SAT (TO) f=8 TT=1800.03 T1=0.2	? (TO) TT=1800.08
normalized-PB06/OPT-SMALLINT/web/ www.ps.uni-sb.de/~walser/benchmarks/ radar/normalized-10:20:4.5:0.5:100.opb	SAT f=11 TT=1800.02 T1=1800.3	? (TO) TT=1800.02	? (TO) TT=1800.02	SAT (TO) f=11 TT=1800.02 T1=1800.3	SAT (TO) f=47 TT=1800.02 T1=1800.3	SAT (TO) f=331 TT=1800.02 T1=1800.3	SAT (TO) f=20 TT=1800.01 T1=1800.3	SAT (TO) f=16 TT=1800.09 T1=11.28	SAT (TO) f=19 TT=1800.84 T1=0.25	? (TO) TT=1800.08
normalized-PB06/OPT-SMALLINT/web/ www.ps.uni-sb.de/~walser/benchmarks/ radar/normalized-10:20:4.5:0.95:100.opb	SAT f=13 TT=1800.03 T1=3.31	? (TO) TT=1800.02	? (TO) TT=1800.02	SAT (TO) f=87 TT=1800.02 T1=1800.3	SAT (TO) f=60 TT=1800.01 T1=1800.3	SAT (TO) f=305 TT=1800.02 T1=1800.3	SAT (TO) f=34 TT=1800.01 T1=1800.3	SAT (TO) f=13 TT=1800.03 T1=3.31	SAT (TO) f=17 TT=1800 T1=0.26	? (TO) TT=1800.11
normalized-PB06/OPT-SMALLINT/web/ www.ps.uni-sb.de/~walser/benchmarks/ radar/normalized-10:20:4.5:0.95:98.opb	SAT f=21 TT=1800.01 T1=7.8	? (TO) TT=1800.02	? (TO) TT=1800.02	SAT (TO) f=84 TT=1800.01 T1=1800.3	SAT (TO) f=75 TT=1800.02 T1=1800.3	SAT (TO) f=296 TT=1800.02 T1=1800.3	SAT (TO) f=38 TT=1800.02 T1=1800.3	SAT (TO) f=21 TT=1800.01 T1=7.8	SAT (TO) f=25 TT=1800.04 T1=0.26	? (TO) TT=1800.09
normalized-PB06/OPT-SMALLINT/web/ www.ps.uni-sb.de/~walser/benchmarks/ radar/normalized-30:30:4.5:0.5:100.opb	SAT f=51 TT=1800.84 T1=0.46	? (TO) TT=1800.09	? (TO) TT=1800.03	SAT (TO) f=837 TT=1800.12 T1=1800.4	SAT (TO) f=456 TT=1800.06 T1=1800.4	SAT (TO) f=1673 TT=1800.02 T1=1800.3	SAT (TO) f=262 TT=1800.07 T1=1800.4	SAT (TO) f=51 TT=1801.44 T1=0.92	SAT (TO) f=51 TT=1800.84 T1=0.46	? (TO) TT=1800.01
normalized-PB06/OPT-SMALLINT/web/ www.ps.uni-sb.de/~walser/benchmarks/ radar/normalized-30:30:4.5:0.95:100.opb	SAT f=69 TT=1800.06 T1=0.43	? (TO) TT=1800.1	? (TO) TT=1800.02	SAT (TO) f=895 TT=1800.07 T1=1800.4	SAT (TO) f=317 TT=1800.08 T1=1800.4	SAT (TO) f=1469 TT=1800.02 T1=1800.3	SAT (TO) f=370 TT=1800.05 T1=1800.4	SAT (TO) f=69 TT=1800.68 T1=0.93	SAT (TO) f=69 TT=1800.06 T1=0.43	? (TO) TT=1800.02
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
normalized-PB06/OPT-SMALLINT/web/ www.ps.uni-sb.de/~walser/benchmarks/ radar/normalized-30:30:4.5:0.95:98.opb	SAT f=87 TT=1800.05 T1=8.49	? (TO) TT=1800.09	? (TO) TT=1800.02	SAT (TO) f=830 TT=1800.02 T1=1800.3	SAT (TO) f=404 TT=1800.09 T1=1800.4	SAT (TO) f=1435 TT=1800.02 T1=1800.3	SAT (TO) f=351 TT=1800.07 T1=1800.4	SAT (TO) f=87 TT=1800.05 T1=8.49	SAT (TO) f=88 TT=1800.09 T1=0.43	? (TO) TT=1800.12
normalized-PB06/OPT-SMALLINT/web/ www.ps.uni-sb.de/~walser/benchmarks/ radar/normalized-30:70:4.5:0.5:100.opb	SAT f=143 TT=1800.15 T1=354.54	? (TO) TT=1800.14	? (TO) TT=1800.04	SAT (TO) f=2274 TT=1800.09 T1=1800.4	SAT (TO) f=1058 TT=1800.04 T1=1800.4	SAT (TO) f=3750 TT=1800.02 T1=1800.3	? TT=78.268	SAT (TO) f=143 TT=1800.15 T1=354.54	SAT (TO) f=146 TT=1800.93 T1=0.63	? (TO) TT=1800.1
normalized-PB06/OPT-SMALLINT/web/ www.ps.uni-sb.de/~walser/benchmarks/ radar/normalized-30:70:4.5:0.95:100.opb	SAT f=135 TT=1800.06 T1=0.63	? (TO) TT=1800.08	? (TO) TT=1800.02	SAT (TO) f=1846 TT=1800.08 T1=1800.4	SAT (TO) f=895 TT=1800.06 T1=1800.4	SAT (TO) f=3171 TT=1800.02 T1=1800.3	? TT=79.859	SAT (TO) f=135 TT=1800.06 T1=1.22	SAT (TO) f=135 TT=1800.7 T1=0.63	? (TO) TT=1800.1
normalized-PB06/OPT-SMALLINT/web/ www.ps.uni-sb.de/~walser/benchmarks/ radar/normalized-30:70:4.5:0.95:98.opb	SAT f=203 TT=1800.7 T1=0.62	? (TO) TT=1800.1	? (TO) TT=1800.03	SAT (TO) f=2304 TT=1800.09 T1=1800.4	SAT (TO) f=1329 TT=1800.07 T1=1800.4	SAT (TO) f=3379 TT=1800.1 T1=1800.4	? TT=79.398	SAT (TO) f=203 TT=1800.7 T1=1.23	SAT (TO) f=203 TT=1800.72 T1=0.62	? (TO) TT=1800.01
normalized-PB07/OPT-SMALLINT-LIN/reduced/ submittedPB07/aksoy/trarea_ac/ normalized-reduced-fir03_trarea_ac.opb	OPT f=11452 TT=0.665 T1=0.66	? (TO) TT=1800.02	? (TO) TT=1800.02	SAT (TO) f=13630 TT=1800.02 T1=1800.3	OPT f=11452 TT=1061.19 T1=1061.26	OPT f=11452 TT=0.665 T1=0.66	? TT=71.386	SAT (TO) f=12444 TT=1800.04 T1=1007.28	SAT (TO) f=12581 TT=1800.03 T1=1681.6	? (TO) TT=1800.03
normalized-PB07/OPT-SMALLINT-LIN/reduced/ submittedPB07/aksoy/trarea_ac/ normalized-reduced-fir04_trarea_ac.opb	OPT f=12940 TT=0.214 T1=0.21	? (TO) TT=1800.07	? (TO) TT=1800.01	SAT (TO) f=13939 TT=1800.02 T1=1800.3	SAT (TO) f=13939 TT=1800.08 T1=1800.4	OPT f=12940 TT=0.214 T1=0.21	? TT=84.151	SAT (TO) f=13426 TT=1800.18 T1=388.41	SAT (TO) f=16802 TT=1800.41 T1=1114.59	? (TO) TT=1800.08
normalized-PB07/OPT-SMALLINT-LIN/reduced/ submittedPB07/aksoy/trarea_ac/ normalized-reduced-fir05_trarea_ac.opb	OPT f=23670 TT=0.122 T1=0.12	? (TO) TT=1800.02	? (TO) TT=1800.02	SAT (TO) f=26086 TT=1800.11 T1=1800.4	SAT (TO) f=26086 TT=1800.09 T1=1800.4	OPT f=23670 TT=0.122 T1=0.12	? TT=83.265	SAT (TO) f=24702 TT=1800.78 T1=142.93	SAT (TO) f=26087 TT=1800.51 T1=0.58	OPT f=23670 TT=1252.03 T1=1065.68
normalized-PB07/OPT-SMALLINT-LIN/reduced/ submittedPB07/aksoy/trarea_ac/ normalized-reduced-fir06_trarea_ac.opb	OPT f=4812 TT=8.859 T1=8.84	? (TO) TT=1800.09	? (TO) TT=1800.02	SAT (TO) f=5330 TT=1800.1 T1=1800.4	SAT (TO) f=5330 TT=1800.04 T1=1800.4	OPT f=4812 TT=8.859 T1=8.84	? TT=64.347	SAT (TO) f=5670 TT=1800.17 T1=457.67	SAT (TO) f=6679 TT=1800.04 T1=0.97	? (TO) TT=1800.08
normalized-PB07/OPT-SMALLINT-LIN/reduced/ submittedPB07/aksoy/trarea_ac/ normalized-reduced-fir07_trarea_ac.opb	OPT f=15079 TT=83.745 T1=83.76	? (TO) TT=1800.05	? (TO) TT=1800.02	SAT (TO) f=18319 TT=1800.02 T1=1800.3	SAT (TO) f=17893 TT=1800.09 T1=1800.4	OPT f=15079 TT=83.745 T1=83.76	? TT=90.271	SAT (TO) f=18612 TT=1800.04 T1=291.21	SAT (TO) f=20692 TT=1800.64 T1=0.55	? (TO) TT=1800.05
normalized-PB07/OPT-SMALLINT-LIN/reduced/ submittedPB07/aksoy/trarea_ac/ normalized-reduced-fir08_trarea_ac.opb	SAT f=1772 TT=1800.06 T1=1800.4	? (TO) TT=1800.03	? (TO) TT=1800.03	SAT (TO) f=2225 TT=1800.15 T1=1800.4	SAT (TO) f=2225 TT=1800.08 T1=1800.4	SAT (TO) f=1772 TT=1800.06 T1=1800.4	SAT (TO) f=2178 TT=1800.06 T1=1800.4	SAT (TO) f=2323 TT=1800.05 T1=219.47	SAT (TO) f=2356 TT=1800.59 T1=1.13	? (TO) TT=1800.02
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
normalized-PB07/OPT-SMALLINT-LIN/reduced/ submittedPB07/aksoy/trarea_ac/ normalized-reduced-fir09_trarea_ac.opb	SAT f=8820 TT=1800.02 T1=1800.3	? (TO) TT=1800.07	? (TO) TT=1800.03	SAT (TO) f=12052 TT=1800.1 T1=1800.4	SAT (TO) f=12318 TT=1800.06 T1=1800.4	SAT (TO) f=8820 TT=1800.02 T1=1800.3	? TT=75.518	SAT (TO) f=10467 TT=1800.08 T1=505.42	SAT (TO) f=11017 TT=1800.03 T1=0.6	? (TO) TT=1800.01
normalized-PB07/OPT-SMALLINT-LIN/reduced/ submittedPB07/aksoy/trarea_ac/ normalized-reduced-fir10_trarea_ac.opb	SAT f=1691 TT=1800.09 T1=1800.4	? (TO) TT=1800.01	? (TO) TT=1800.03	SAT (TO) f=2051 TT=1800.12 T1=1800.4	SAT (TO) f=2053 TT=1800.08 T1=1800.4	SAT (TO) f=1691 TT=1800.09 T1=1800.4	SAT (TO) f=2156 TT=1800.06 T1=1800.4	SAT (TO) f=2209 TT=1800.37 T1=701.21	SAT (TO) f=2300 TT=1800.82 T1=1.18	? (TO) TT=1800.01
normalized-PB07/OPT-SMALLINT-LIN/ submittedPB07/aksoy/area_delay/ normalized-fir01_area_delay.opb	OPT f=5 TT=0.002 T1=0	OPT f=5 TT=0.026 T1=0.02	OPT f=5 TT=0.013 T1=0.01	OPT f=5 TT=0.01 T1=0	OPT f=5 TT=0.007 T1=0	OPT f=5 TT=0.002 T1=0	OPT f=5 TT=0.003 T1=0	OPT f=5 TT=0.544 T1=0.65	OPT f=5 TT=0.433 T1=0.15	OPT f=5 TT=0.026 T1=0.02
normalized-PB07/OPT-SMALLINT-LIN/ submittedPB07/aksoy/area_delay/ normalized-fir02_area_delay.opb	OPT f=8 TT=0.008 T1=0	OPT f=8 TT=0.109 T1=0.1	OPT f=8 TT=0.145 T1=0.14	OPT f=8 TT=0.255 T1=0.25	OPT f=8 TT=0.103 T1=0.1	OPT f=8 TT=0.008 T1=0	OPT f=8 TT=0.024 T1=0.02	OPT f=8 TT=10.461 T1=3.3	OPT f=8 TT=5.142 T1=1.18	OPT f=8 TT=0.125 T1=0.11
normalized-PB07/OPT-SMALLINT-LIN/ submittedPB07/aksoy/area_delay/ normalized-fir03_area_delay.opb	OPT f=10 TT=0.058 T1=0.05	OPT f=10 TT=0.906 T1=0.89	OPT f=10 TT=2.168 T1=2.16	OPT f=10 TT=15.55 T1=15.54	OPT f=10 TT=5.098 T1=5.09	OPT f=10 TT=0.058 T1=0.05	OPT f=10 TT=1.528 T1=1.53	OPT f=10 TT=1297.09 T1=113.89	SAT (TO) f=12 TT=1800.03 T1=1186.2	OPT f=10 TT=1727.36 T1=1727.85
normalized-PB07/OPT-SMALLINT-LIN/ submittedPB07/aksoy/area_delay/ normalized-fir04_area_delay.opb	OPT f=12 TT=0.011 T1=0.01	OPT f=12 TT=3.764 T1=3.76	OPT f=12 TT=77.893 T1=77.9	OPT f=12 TT=0.403 T1=0.4	OPT f=12 TT=0.174 T1=0.17	OPT f=12 TT=0.011 T1=0.01	OPT f=12 TT=0.098 T1=0.1	SAT (TO) f=12 TT=1800.75 T1=7.81	SAT (TO) f=13 TT=1800.59 T1=131.55	? (TO) TT=1800.09
normalized-PB07/OPT-SMALLINT-LIN/ submittedPB07/aksoy/area_delay/ normalized-fir05_area_delay.opb	OPT f=14 TT=0.065 T1=0.06	OPT f=14 TT=581.017 T1=581.11	? (TO) TT=1800.03	OPT f=14 TT=181.91 T1=181.93	OPT f=14 TT=180.207 T1=180.22	OPT f=14 TT=0.065 T1=0.06	OPT f=14 TT=28.359 T1=28.36	SAT (TO) f=14 TT=1800.64 T1=317.74	SAT (TO) f=15 TT=1800.01 T1=1374.29	? (TO) TT=1800.01
normalized-PB07/OPT-SMALLINT-LIN/ submittedPB07/aksoy/area_delay/ normalized-fir06_area_delay.opb	OPT f=15 TT=0.081 T1=0.08	OPT f=15 TT=273.629 T1=273.64	OPT f=15 TT=1495.26 T1=1495.48	SAT (TO) f=15 TT=1800.02 T1=1800.3	OPT f=15 TT=75.39 T1=75.39	OPT f=15 TT=0.081 T1=0.08	OPT f=15 TT=19.21 T1=19.21	SAT (TO) f=16 TT=1800.56 T1=559.92	SAT (TO) f=19 TT=1800.55 T1=0.57	? (TO) TT=1800.06
normalized-PB07/OPT-SMALLINT-LIN/ submittedPB07/aksoy/area_delay/ normalized-fir07_area_delay.opb	OPT f=16 TT=1.194 T1=1.19	? (TO) TT=1800.01	? (TO) TT=1800.03	SAT (TO) f=20 TT=1800.07 T1=1800.4	SAT (TO) f=16 TT=1800.1 T1=1800.4	OPT f=16 TT=1.194 T1=1.19	SAT (TO) f=16 TT=1800.03 T1=1800.3	SAT (TO) f=21 TT=1800.37 T1=591.13	No Cert. TT=1800.04	? (TO) TT=1800.08
normalized-PB07/OPT-SMALLINT-LIN/ submittedPB07/aksoy/area_delay/ normalized-fir08_area_delay.opb	OPT f=23 TT=28.684 T1=28.65	? (TO) TT=1800.03	? (TO) TT=1800.03	SAT (TO) f=34 TT=1800.09 T1=1800.4	SAT (TO) f=35 TT=1800.1 T1=1800.4	OPT f=23 TT=28.684 T1=28.65	SAT (TO) f=29 TT=1800.11 T1=1800.4	SAT (TO) f=43 TT=1800.73 T1=5.01	No Cert. TT=1800.06	? (TO) TT=1800.11
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
normalized-PB07/OPT-SMALLINT-LIN/ submittedPB07/aksoy/area_delay/ normalized-fir09_area_delay.opb	OPT f=17 TT=0.791 T1=0.78	? (TO) TT=1800.02	? (TO) TT=1800.03	SAT (TO) f=23 TT=1800.07 T1=1800.4	SAT (TO) f=23 TT=1800.1 T1=1800.4	OPT f=17 TT=0.791 T1=0.78	SAT (TO) f=17 TT=1800.01 T1=1800.3	SAT (TO) f=22 TT=1800.59 T1=182.86	SAT (TO) f=24 TT=1800.03 T1=0.91	? (TO) TT=1800.03
normalized-PB07/OPT-SMALLINT-LIN/ submittedPB07/aksoy/area_delay/ normalized-fir10_area_delay.opb	OPT f=27 TT=2.688 T1=2.67	? (TO) TT=1800.04	? (TO) TT=1800.03	SAT (TO) f=36 TT=1800.09 T1=1800.4	SAT (TO) f=36 TT=1800.06 T1=1800.3	OPT f=27 TT=2.688 T1=2.67	SAT (TO) f=31 TT=1800.03 T1=1800.3	SAT (TO) f=42 TT=1800.57 T1=649.6	No Cert. TT=1800.05	? (TO) TT=1800.04
normalized-PB07/OPT-SMALLINT-LIN/ submittedPB07/aksoy/area_opers/ normalized-fir01_area_opers.opb	OPT f=10 TT=0.002 T1=0	OPT f=10 TT=0.025 T1=0.02	OPT f=10 TT=0.014 T1=0.01	OPT f=10 TT=0.017 T1=0.01	OPT f=10 TT=0.019 T1=0.01	OPT f=10 TT=0.002 T1=0	OPT f=10 TT=0.002 T1=0	OPT f=10 TT=1.906 T1=1.68	OPT f=10 TT=1.053 T1=0.32	OPT f=10 TT=0.036 T1=0.03
normalized-PB07/OPT-SMALLINT-LIN/ submittedPB07/aksoy/area_opers/ normalized-fir02_area_opers.opb	OPT f=18 TT=0.014 T1=0.01	OPT f=18 TT=8.772 T1=8.76	OPT f=18 TT=0.176 T1=0.17	OPT f=18 TT=0.348 T1=0.34	OPT f=18 TT=0.223 T1=0.22	OPT f=18 TT=0.014 T1=0.01	OPT f=18 TT=0.024 T1=0.02	SAT (TO) f=18 TT=1800.64 T1=27.34	SAT (TO) f=20 TT=1800.07 T1=600.75	OPT f=18 TT=0.172 T1=0.15
normalized-PB07/OPT-SMALLINT-LIN/ submittedPB07/aksoy/area_opers/ normalized-fir03_area_opers.opb	OPT f=17 TT=0.109 T1=0.1	? (TO) TT=1800.09	? (TO) TT=1800.02	OPT f=17 TT=36.187 T1=36.18	OPT f=17 TT=2.179 T1=2.16	OPT f=17 TT=0.109 T1=0.1	OPT f=17 TT=0.255 T1=0.25	SAT (TO) f=19 TT=1800.63 T1=110.61	SAT (TO) f=25 TT=1800.09 T1=0.68	? (TO) TT=1800.11
normalized-PB07/OPT-SMALLINT-LIN/ submittedPB07/aksoy/area_opers/ normalized-fir04_area_opers.opb	OPT f=29 TT=0.016 T1=0.01	OPT f=29 TT=284.668 T1=284.71	OPT f=29 TT=0.074 T1=0.07	OPT f=29 TT=0.443 T1=0.44	OPT f=29 TT=0.314 T1=0.31	OPT f=29 TT=0.016 T1=0.01	OPT f=29 TT=0.037 T1=0.03	SAT (TO) f=29 TT=1800.56 T1=401.2	SAT (TO) f=35 TT=1800.02 T1=643.83	OPT f=29 TT=195.654 T1=195.62
normalized-PB07/OPT-SMALLINT-LIN/ submittedPB07/aksoy/area_opers/ normalized-fir05_area_opers.opb	OPT f=35 TT=0.07 T1=0.06	OPT f=35 TT=1.319 T1=1.3	OPT f=35 TT=45.151 T1=45.15	SAT (TO) f=35 TT=1800.01 T1=1800.3	OPT f=35 TT=1.783 T1=1.77	OPT f=35 TT=0.07 T1=0.06	OPT f=35 TT=0.16 T1=0.15	SAT (TO) f=36 TT=1800.52 T1=758.99	SAT (TO) f=41 TT=1800 T1=1594.03	OPT f=35 TT=0.855 T1=0.83
normalized-PB07/OPT-SMALLINT-LIN/ submittedPB07/aksoy/area_opers/ normalized-fir06_area_opers.opb	OPT f=23 TT=0.139 T1=0.13	? (TO) TT=1800.02	? (TO) TT=1800.03	SAT (TO) f=25 TT=1800.09 T1=1800.4	OPT f=23 TT=6.039 T1=6.01	OPT f=23 TT=0.139 T1=0.13	OPT f=23 TT=1.05 T1=1.04	SAT (TO) f=25 TT=1800.33 T1=885.32	SAT (TO) f=36 TT=1800.08 T1=617.75	? (TO) TT=1800.04
normalized-PB07/OPT-SMALLINT-LIN/ submittedPB07/aksoy/area_opers/ normalized-fir07_area_opers.opb	OPT f=32 TT=0.261 T1=0.25	? (TO) TT=1800.03	? (TO) TT=1800.1	SAT (TO) f=33 TT=1800.09 T1=1800.4	OPT f=32 TT=19.838 T1=19.77	OPT f=32 TT=0.261 T1=0.25	OPT f=32 TT=1.508 T1=1.5	SAT (TO) f=39 TT=1800.45 T1=698.08	SAT (TO) f=52 TT=1800.05 T1=0.99	? (TO) TT=1800.09
normalized-PB07/OPT-SMALLINT-LIN/ submittedPB07/aksoy/area_opers/ normalized-fir08_area_opers.opb	OPT f=48 TT=45.575 T1=45.51	Signal TT=688.771	? (TO) TT=1800.04	SAT (TO) f=54 TT=1800.05 T1=1800.3	SAT (TO) f=54 TT=1800.17 T1=1800.4	OPT f=48 TT=45.575 T1=45.51	OPT f=48 TT=899.769 T1=899.87	SAT (TO) f=80 TT=1801.03 T1=680.51	No Cert. TT=1800.32	? (TO) TT=1800.05
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
normalized-PB07/OPT-SMALLINT-LIN/ submittedPB07/aksoy/area_opers/ normalized-fir09_area_opers.opb	OPT f=34 TT=0.91 T1=0.9	? (TO) TT=1800.01	? (TO) TT=1800.04	SAT (TO) f=43 TT=1800.09 T1=1800.5	OPT f=34 TT=120.788 T1=120.76	OPT f=34 TT=0.91 T1=0.9	OPT f=34 TT=13.728 T1=13.72	SAT (TO) f=55 TT=1801.48 T1=414.32	SAT (TO) f=57 TT=1800.06 T1=33.15	? (TO) TT=1800.1
normalized-PB07/OPT-SMALLINT-LIN/ submittedPB07/aksoy/area_opers/ normalized-fir10_area_opers.opb	OPT f=51 TT=3.09 T1=3.06	? (TO) TT=1800.03	? (TO) TT=1800.03	SAT (TO) f=55 TT=1800.11 T1=1800.4	SAT (TO) f=51 TT=1800.1 T1=1800.4	OPT f=51 TT=3.09 T1=3.06	OPT f=51 TT=128.696 T1=128.69	SAT (TO) f=85 TT=1800.72 T1=713.4	No Cert. TT=1800.73	? (TO) TT=1800.09
normalized-PB07/OPT-SMALLINT-LIN/ submittedPB07/aksoy/area_partials/ normalized-fir02_area_partials.opb	OPT f=19 TT=0.001 T1=0	OPT f=19 TT=0.023 T1=0.02	OPT f=19 TT=0.013 T1=0.01	OPT f=19 TT=0.003 T1=0	OPT f=19 TT=0.004 T1=0	OPT f=19 TT=0.001 T1=0	OPT f=19 TT=0.002 T1=0	OPT f=19 TT=0.205 T1=0.65	OPT f=19 TT=0.213 T1=0.17	OPT f=19 TT=0.033 T1=0.03
normalized-PB07/OPT-SMALLINT-LIN/ submittedPB07/aksoy/area_partials/ normalized-fir03_area_partials.opb	OPT f=18 TT=0.019 T1=0.01	OPT f=18 TT=0.076 T1=0.07	OPT f=18 TT=0.031 T1=0.03	OPT f=18 TT=0.096 T1=0.09	OPT f=18 TT=0.1 T1=0.1	OPT f=18 TT=0.019 T1=0.01	OPT f=18 TT=0.023 T1=0.02	OPT f=18 TT=2.323 T1=1.35	OPT f=18 TT=1.024 T1=0.46	OPT f=18 TT=0.319 T1=0.3
normalized-PB07/OPT-SMALLINT-LIN/ submittedPB07/aksoy/area_partials/ normalized-fir04_area_partials.opb	OPT f=30 TT=0.001 T1=0	OPT f=30 TT=0.021 T1=0.02	OPT f=30 TT=0.013 T1=0.01	OPT f=30 TT=0.001 T1=0	OPT f=30 TT=0.001 T1=0	OPT f=30 TT=0.002 T1=0	OPT f=30 TT=0.001 T1=0	OPT f=30 TT=0.174 T1=0.63	OPT f=30 TT=0.173 T1=0.13	OPT f=30 TT=0.036 T1=0.03
normalized-PB07/OPT-SMALLINT-LIN/ submittedPB07/aksoy/area_partials/ normalized-fir05_area_partials.opb	OPT f=36 TT=0.007 T1=0	OPT f=36 TT=0.033 T1=0.03	OPT f=36 TT=0.019 T1=0.01	OPT f=36 TT=0.023 T1=0.02	OPT f=36 TT=0.027 T1=0.02	OPT f=36 TT=0.007 T1=0	OPT f=36 TT=0.008 T1=0	OPT f=36 TT=0.604 T1=1.26	OPT f=36 TT=0.445 T1=0.28	OPT f=36 TT=0.155 T1=0.14
normalized-PB07/OPT-SMALLINT-LIN/ submittedPB07/aksoy/area_partials/ normalized-fir06_area_partials.opb	OPT f=24 TT=0.013 T1=0.01	OPT f=24 TT=0.038 T1=0.03	OPT f=24 TT=0.021 T1=0.02	OPT f=24 TT=0.046 T1=0.04	OPT f=24 TT=0.058 T1=0.05	OPT f=24 TT=0.013 T1=0.01	OPT f=24 TT=0.017 T1=0.01	OPT f=24 TT=2.083 T1=1.27	OPT f=24 TT=1.264 T1=0.72	OPT f=24 TT=2.191 T1=2.14
normalized-PB07/OPT-SMALLINT-LIN/ submittedPB07/aksoy/area_partials/ normalized-fir07_area_partials.opb	OPT f=33 TT=0.003 T1=0	OPT f=33 TT=0.026 T1=0.02	OPT f=33 TT=0.017 T1=0.01	OPT f=33 TT=0.02 T1=0.01	OPT f=33 TT=0.013 T1=0.01	OPT f=33 TT=0.003 T1=0	OPT f=33 TT=0.004 T1=0	OPT f=33 TT=0.594 T1=2.19	OPT f=33 TT=0.373 T1=0.2	OPT f=33 TT=0.125 T1=0.11
normalized-PB07/OPT-SMALLINT-LIN/ submittedPB07/aksoy/area_partials/ normalized-fir08_area_partials.opb	OPT f=49 TT=1.417 T1=1.4	? (TO) TT=1800.1	? (TO) TT=1800.01	OPT f=49 TT=22.96 T1=22.94	OPT f=49 TT=9.914 T1=9.95	OPT f=49 TT=1.417 T1=1.4	OPT f=49 TT=3.578 T1=3.56	SAT (TO) f=49 TT=1800.65 T1=361	SAT (TO) f=52 TT=1800.08 T1=13.34	? (TO) TT=1800.11
normalized-PB07/OPT-SMALLINT-LIN/ submittedPB07/aksoy/area_partials/ normalized-fir09_area_partials.opb	OPT f=35 TT=0.129 T1=0.12	? (TO) TT=1800.07	? (TO) TT=1800.02	OPT f=35 TT=1.53 T1=1.52	OPT f=35 TT=0.64 T1=0.63	OPT f=35 TT=0.129 T1=0.12	OPT f=35 TT=0.313 T1=0.31	OPT f=35 TT=38.378 T1=18.15	OPT f=35 TT=16.551 T1=11.33	OPT f=35 TT=358.014 T1=277.26
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
normalized-PB07/OPT-SMALLINT-LIN/ submittedPB07/aksoy/area_partials/ normalized-fir10_area_partials.opb	OPT f=52 TT=0.131 T1=0.13	? (TO) TT=1800.03	? (TO) TT=1800.02	OPT f=52 TT=1.939 T1=1.95	OPT f=52 TT=1.41 T1=1.4	OPT f=52 TT=0.131 T1=0.13	OPT f=52 TT=1.205 T1=1.2	OPT f=52 TT=1747.81 T1=9.4	OPT f=52 TT=885.44 T1=147.79	? (TO) TT=1800.03
normalized-PB07/OPT-SMALLINT-LIN/ submittedPB07/aksoy/decomp/ normalized-matrix_5x3_10.opb	SAT f=24 TT=1800.09 T1=1800.4	? (TO) TT=1800.1	? (TO) TT=1800.02	SAT (TO) f=24 TT=1800.09 T1=1800.4	SAT (TO) f=25 TT=1800.05 T1=1800.4	SAT (TO) f=31 TT=1800.07 T1=1800.6	SAT (TO) f=24 TT=1800.12 T1=1800.4	SAT (TO) f=27 TT=1800.69 T1=216.53	SAT (TO) f=29 TT=1800.59 T1=1.42	? (TO) TT=1800.09
normalized-PB07/OPT-SMALLINT-LIN/ submittedPB07/aksoy/decomp/ normalized-matrix_5x3_1.opb	OPT f=23 TT=816.709 T1=816.83	? (TO) TT=1800.01	? (TO) TT=1800.03	SAT (TO) f=24 TT=1800.05 T1=1800.4	SAT (TO) f=23 TT=1800.02 T1=1800.3	OPT f=23 TT=816.709 T1=816.83	OPT f=23 TT=1504.67 T1=1504.9	SAT (TO) f=27 TT=1800.87 T1=2.1	SAT (TO) f=27 TT=1800.06 T1=0.85	? (TO) TT=1800.08
normalized-PB07/OPT-SMALLINT-LIN/ submittedPB07/aksoy/decomp/ normalized-matrix_5x3_2.opb	OPT f=19 TT=101.732 T1=101.74	? (TO) TT=1800.09	? (TO) TT=1800.02	OPT f=19 TT=1670.17 T1=1670.43	OPT f=19 TT=546.751 T1=546.83	OPT f=19 TT=115.129 T1=115.14	OPT f=19 TT=101.732 T1=101.74	SAT (TO) f=23 TT=1800.62 T1=172.13	SAT (TO) f=26 TT=1800.08 T1=0.57	? (TO) TT=1800.03
normalized-PB07/OPT-SMALLINT-LIN/ submittedPB07/aksoy/decomp/ normalized-matrix_5x3_3.opb	OPT f=21 TT=73.168 T1=73.17	? (TO) TT=1800.08	? (TO) TT=1800.03	OPT f=21 TT=1486.31 T1=1486.53	OPT f=21 TT=222.179 T1=222.21	OPT f=21 TT=73.168 T1=73.17	OPT f=21 TT=89.561 T1=89.57	SAT (TO) f=24 TT=1800.41 T1=731.04	SAT (TO) f=26 TT=1800.05 T1=0.49	? (TO) TT=1800.09
normalized-PB07/OPT-SMALLINT-LIN/ submittedPB07/aksoy/decomp/ normalized-matrix_5x3_4.opb	SAT f=24 TT=1800.13 T1=1800.4	? (TO) TT=1800.1	? (TO) TT=1800.03	SAT (TO) f=31 TT=1800.05 T1=1800.4	SAT (TO) f=35 TT=1800.11 T1=1800.4	SAT (TO) f=31 TT=1800.12 T1=1800.4	SAT (TO) f=24 TT=1800.13 T1=1800.4	SAT (TO) f=28 TT=1800.78 T1=94.54	SAT (TO) f=33 TT=1800.01 T1=2.24	? (TO) TT=1800.04
normalized-PB07/OPT-SMALLINT-LIN/ submittedPB07/aksoy/decomp/ normalized-matrix_5x3_5.opb	OPT f=20 TT=4.768 T1=4.76	? (TO) TT=1800.02	? (TO) TT=1800.02	OPT f=20 TT=525.753 T1=525.83	OPT f=20 TT=66.038 T1=66.04	OPT f=20 TT=4.768 T1=4.76	OPT f=20 TT=21.544 T1=21.54	SAT (TO) f=23 TT=1800.74 T1=331.51	SAT (TO) f=26 TT=1800.59 T1=0.54	? (TO) TT=1800.05
normalized-PB07/OPT-SMALLINT-LIN/ submittedPB07/aksoy/decomp/ normalized-matrix_5x3_6.opb	OPT f=20 TT=20.007 T1=20	? (TO) TT=1800.08	? (TO) TT=1800.02	OPT f=20 TT=279.584 T1=279.63	OPT f=20 TT=89.062 T1=89.06	OPT f=20 TT=20.007 T1=20	OPT f=20 TT=31.826 T1=31.83	SAT (TO) f=22 TT=1800.7 T1=196.01	SAT (TO) f=27 TT=1800.63 T1=0.53	? (TO) TT=1800.05
normalized-PB07/OPT-SMALLINT-LIN/ submittedPB07/aksoy/decomp/ normalized-matrix_5x3_7.opb	OPT f=21 TT=109.001 T1=109.01	? (TO) TT=1800.1	? (TO) TT=1800.02	SAT (TO) f=21 TT=1800.09 T1=1800.4	OPT f=21 TT=512.209 T1=512.27	OPT f=21 TT=155.03 T1=155.05	OPT f=21 TT=109.001 T1=109.01	SAT (TO) f=24 TT=1800.87 T1=1.36	SAT (TO) f=24 TT=1800.07 T1=0.65	? (TO) TT=1800.06
normalized-PB07/OPT-SMALLINT-LIN/ submittedPB07/aksoy/decomp/ normalized-matrix_5x3_8.opb	OPT f=18 TT=4.243 T1=4.32	? (TO) TT=1800.07	? (TO) TT=1800.03	OPT f=18 TT=106.515 T1=106.53	OPT f=18 TT=42.697 T1=42.7	OPT f=18 TT=12.232 T1=12.23	OPT f=18 TT=4.243 T1=4.32	SAT (TO) f=22 TT=1800.88 T1=35.12	SAT (TO) f=24 TT=1800.05 T1=0.56	? (TO) TT=1800.11
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
normalized-PB07/OPT-SMALLINT-LIN/ submittedPB07/aksoy/decomp/ normalized-matrix_5x3_9.opb	OPT f=21 TT=223.698 T1=223.73	? (TO) TT=1800	? (TO) TT=1800.03	SAT (TO) f=22 TT=1800.08 T1=1800.4	SAT (TO) f=25 TT=1800.11 T1=1800.4	OPT f=21 TT=235.481 T1=235.51	OPT f=21 TT=223.698 T1=223.73	SAT (TO) f=26 TT=1802.25 T1=13.34	SAT (TO) f=28 TT=1800.07 T1=0.67	? (TO) TT=1800.05
normalized-PB07/OPT-SMALLINT-LIN/ submittedPB07/aksoy/trarea_ac/ normalized-fir01_trarea_ac.opb	OPT f=13949 TT=0.01 T1=0.01	OPT f=13949 TT=0.955 T1=0.95	OPT f=13949 TT=0.557 T1=0.55	OPT f=13949 TT=30.461 T1=30.46	OPT f=13949 TT=2.46 T1=2.44	OPT f=13949 TT=0.01 T1=0.01	? TT=66.337	OPT f=13949 TT=4.064 T1=2.7	OPT f=13949 TT=1.943 T1=0.2	OPT f=13949 TT=0.716 T1=0.54
normalized-PB07/OPT-SMALLINT-LIN/ submittedPB07/aksoy/trarea_ac/ normalized-fir02_trarea_ac.opb	OPT f=24890 TT=0.086 T1=0.08	OPT f=24890 TT=245.968 T1=246	OPT f=24890 TT=64.702 T1=64.71	SAT (TO) f=26876 TT=1800.02 T1=1800.3	SAT (TO) f=24986 TT=1800.1 T1=1800.4	OPT f=24890 TT=0.086 T1=0.08	? TT=72.211	SAT (TO) f=24890 TT=1800.65 T1=8.27	SAT (TO) f=27723 TT=1800.05 T1=1227.78	? (TO) TT=1800.04
normalized-PB07/OPT-SMALLINT-LIN/ submittedPB07/manquinho/areaDelay/ normalized-f20c10b_001_area_delay.opb	OPT f=28 TT=0.926 T1=0.92	? (TO) TT=1800.01	? (TO) TT=1800.02	SAT (TO) f=34 TT=1800.02 T1=1800.3	OPT f=28 TT=76.608 T1=76.59	OPT f=28 TT=0.926 T1=0.92	OPT f=28 TT=4.046 T1=4.04	SAT (TO) f=36 TT=1800.74 T1=174.11	SAT (TO) f=39 TT=1800 T1=1.16	? (TO) TT=1800.02
normalized-PB07/OPT-SMALLINT-LIN/ submittedPB07/manquinho/areaDelay/ normalized-f20c10b_002_area_delay.opb	OPT f=24 TT=0.099 T1=0.1	? (TO) TT=1800.08	? (TO) TT=1800.02	SAT (TO) f=27 TT=1800.02 T1=1800.3	OPT f=24 TT=8.817 T1=8.8	OPT f=24 TT=0.099 T1=0.1	OPT f=24 TT=0.907 T1=0.9	SAT (TO) f=28 TT=1800.46 T1=821.93	SAT (TO) f=35 TT=1800.03 T1=0.99	? (TO) TT=1800.06
normalized-PB07/OPT-SMALLINT-LIN/ submittedPB07/manquinho/areaDelay/ normalized-f20c10b_003_area_delay.opb	OPT f=26 TT=0.123 T1=0.12	? (TO) TT=1800.1	? (TO) TT=1800.02	SAT (TO) f=28 TT=1800.02 T1=1800.3	OPT f=26 TT=6.108 T1=6.09	OPT f=26 TT=0.123 T1=0.12	OPT f=26 TT=1.502 T1=1.5	SAT (TO) f=31 TT=1800.13 T1=354.22	SAT (TO) f=39 TT=1800.01 T1=0.85	? (TO) TT=1800.04
normalized-PB07/OPT-SMALLINT-LIN/ submittedPB07/manquinho/areaDelay/ normalized-f20c10b_004_area_delay.opb	OPT f=27 TT=0.248 T1=0.24	? (TO) TT=1800.07	? (TO) TT=1800.02	SAT (TO) f=30 TT=1800.02 T1=1800.3	OPT f=27 TT=3.942 T1=3.93	OPT f=27 TT=0.248 T1=0.24	OPT f=27 TT=0.965 T1=0.96	SAT (TO) f=29 TT=1800.1 T1=614.64	SAT (TO) f=37 TT=1800.03 T1=1.51	? (TO) TT=1800.11
normalized-PB07/OPT-SMALLINT-LIN/ submittedPB07/manquinho/areaDelay/ normalized-f20c10b_005_area_delay.opb	OPT f=26 TT=0.708 T1=0.7	? (TO) TT=1800.12	? (TO) TT=1800.03	SAT (TO) f=33 TT=1800.08 T1=1800.5	OPT f=26 TT=61.416 T1=61.38	OPT f=26 TT=0.708 T1=0.7	OPT f=26 TT=2.616 T1=2.61	SAT (TO) f=37 TT=1800.61 T1=402.63	No Cert. TT=1800.02	? (TO) TT=1800.04
normalized-PB07/OPT-SMALLINT-LIN/ submittedPB07/manquinho/areaDelay/ normalized-f20c10b_006_area_delay.opb	OPT f=22 TT=0.047 T1=0.04	? (TO) TT=1800.08	OPT f=22 TT=9.705 T1=9.7	OPT f=22 TT=3.788 T1=3.78	OPT f=22 TT=1.21 T1=1.2	OPT f=22 TT=0.047 T1=0.04	OPT f=22 TT=0.268 T1=0.26	SAT (TO) f=23 TT=1800.1 T1=259.11	SAT (TO) f=28 TT=1800.48 T1=58.46	? (TO) TT=1800.07
normalized-PB07/OPT-SMALLINT-LIN/ submittedPB07/manquinho/areaDelay/ normalized-f20c10b_007_area_delay.opb	OPT f=26 TT=0.459 T1=0.45	? (TO) TT=1800.11	? (TO) TT=1800.03	SAT (TO) f=33 TT=1800.02 T1=1800.3	OPT f=26 TT=39.127 T1=39.1	OPT f=26 TT=0.459 T1=0.45	OPT f=26 TT=3.706 T1=3.7	SAT (TO) f=33 TT=1800.57 T1=503.13	SAT (TO) f=35 TT=1800.07 T1=0.77	? (TO) TT=1800.02
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
normalized-PB07/OPT-SMALLINT-LIN/ submittedPB07/manquinho/areaDelay/ normalized-f20c10b_008_area_delay.opb	OPT f=25 TT=0.249 T1=0.24	? (TO) TT=1800.01	? (TO) TT=1800.02	OPT f=25 TT=16.343 T1=16.34	OPT f=25 TT=4.997 T1=4.99	OPT f=25 TT=0.249 T1=0.24	OPT f=25 TT=0.917 T1=0.91	SAT (TO) f=28 TT=1800.55 T1=478.14	SAT (TO) f=38 TT=1800.08 T1=0.59	? (TO) TT=1800.06
normalized-PB07/OPT-SMALLINT-LIN/ submittedPB07/manquinho/areaDelay/ normalized-f20c10b_009_area_delay.opb	OPT f=24 TT=0.08 T1=0.08	? (TO) TT=1800.03	OPT f=24 TT=514.53 T1=514.6	SAT (TO) f=25 TT=1800.07 T1=1800.4	OPT f=24 TT=1.737 T1=1.72	OPT f=24 TT=0.08 T1=0.08	OPT f=24 TT=0.242 T1=0.24	SAT (TO) f=27 TT=1800.15 T1=798.75	SAT (TO) f=35 TT=1800.54 T1=1790.28	? (TO) TT=1800.08
normalized-PB07/OPT-SMALLINT-LIN/ submittedPB07/manquinho/areaDelay/ normalized-f20c10b_010_area_delay.opb	OPT f=26 TT=4.162 T1=4.16	? (TO) TT=1800.02	? (TO) TT=1800.03	SAT (TO) f=31 TT=1800.09 T1=1800.4	OPT f=26 TT=63.713 T1=63.73	OPT f=26 TT=4.162 T1=4.16	OPT f=26 TT=10.355 T1=10.35	SAT (TO) f=35 TT=1800.15 T1=253.65	SAT (TO) f=40 TT=1800.66 T1=0.76	? (TO) TT=1800.04
normalized-PB07/OPT-SMALLINT-LIN/ submittedPB07/manquinho/areaDelay/ normalized-f20c10b_011_area_delay.opb	OPT f=26 TT=0.205 T1=0.2	? (TO) TT=1800.02	? (TO) TT=1800.03	SAT (TO) f=31 TT=1800.11 T1=1800.4	OPT f=26 TT=14.27 T1=14.24	OPT f=26 TT=0.205 T1=0.2	OPT f=26 TT=1.076 T1=1.07	SAT (TO) f=34 TT=1800.24 T1=877.99	SAT (TO) f=40 TT=1800.05 T1=351.92	? (TO) TT=1800.02
normalized-PB07/OPT-SMALLINT-LIN/ submittedPB07/manquinho/areaDelay/ normalized-f20c10b_012_area_delay.opb	OPT f=27 TT=0.707 T1=0.7	? (TO) TT=1800.03	? (TO) TT=1800.02	SAT (TO) f=34 TT=1800.09 T1=1800.4	OPT f=27 TT=28.087 T1=28.06	OPT f=27 TT=0.707 T1=0.7	OPT f=27 TT=7.605 T1=7.6	SAT (TO) f=42 TT=1800.45 T1=218.01	SAT (TO) f=45 TT=1800.01 T1=32.97	? (TO) TT=1800.1
normalized-PB07/OPT-SMALLINT-LIN/ submittedPB07/manquinho/areaDelay/ normalized-f20c10b_013_area_delay.opb	OPT f=22 TT=0.985 T1=0.98	? (TO) TT=1800.1	? (TO) TT=1800.03	SAT (TO) f=25 TT=1800.1 T1=1800.5	OPT f=22 TT=18.289 T1=18.23	OPT f=22 TT=0.985 T1=0.98	OPT f=22 TT=2.527 T1=2.52	SAT (TO) f=30 TT=1800.47 T1=754.7	No Cert. TT=1800.03	? (TO) TT=1800.09
normalized-PB07/OPT-SMALLINT-LIN/ submittedPB07/manquinho/areaDelay/ normalized-f20c10b_014_area_delay.opb	OPT f=27 TT=1.229 T1=1.23	? (TO) TT=1800.03	? (TO) TT=1800.02	SAT (TO) f=29 TT=1800.02 T1=1800.3	OPT f=27 TT=20.654 T1=20.64	OPT f=27 TT=1.229 T1=1.23	OPT f=27 TT=2.179 T1=2.17	SAT (TO) f=32 TT=1800.43 T1=662.08	SAT (TO) f=42 TT=1800.06 T1=0.52	? (TO) TT=1800.01
normalized-PB07/OPT-SMALLINT-LIN/ submittedPB07/manquinho/areaDelay/ normalized-f20c10b_015_area_delay.opb	OPT f=25 TT=0.162 T1=0.16	? (TO) TT=1800.02	? (TO) TT=1800.03	SAT (TO) f=26 TT=1800.02 T1=1800.3	OPT f=25 TT=7.734 T1=7.72	OPT f=25 TT=0.162 T1=0.16	OPT f=25 TT=1.232 T1=1.23	SAT (TO) f=29 TT=1800.07 T1=713.19	SAT (TO) f=38 TT=1800.01 T1=0.63	? (TO) TT=1800.05
normalized-PB07/OPT-SMALLINT-LIN/ submittedPB07/manquinho/areaDelay/ normalized-f20c10b_016_area_delay.opb	OPT f=25 TT=0.299 T1=0.29	? (TO) TT=1800.1	? (TO) TT=1800.03	SAT (TO) f=26 TT=1800.02 T1=1800.3	OPT f=25 TT=7.229 T1=7.21	OPT f=25 TT=0.299 T1=0.29	OPT f=25 TT=1.358 T1=1.35	SAT (TO) f=28 TT=1800.15 T1=825.89	SAT (TO) f=35 TT=1800.04 T1=0.81	? (TO) TT=1800.06
normalized-PB07/OPT-SMALLINT-LIN/ submittedPB07/manquinho/areaDelay/ normalized-f20c10b_017_area_delay.opb	OPT f=25 TT=1.532 T1=1.52	? (TO) TT=1800.1	? (TO) TT=1800.02	SAT (TO) f=31 TT=1800.01 T1=1800.3	OPT f=25 TT=23.366 T1=23.35	OPT f=25 TT=1.532 T1=1.52	OPT f=25 TT=7.065 T1=7.06	SAT (TO) f=30 TT=1800.68 T1=393.81	SAT (TO) f=35 TT=1800.76 T1=7.02	? (TO) TT=1800.1
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
normalized-PB07/OPT-SMALLINT-LIN/ submittedPB07/manquinho/areaDelay/ normalized-f20c10b_018_area_delay.opb	OPT f=25 TT=0.07 T1=0.07	? (TO) TT=1800.02	? (TO) TT=1800.02	OPT f=25 TT=7.654 T1=7.65	OPT f=25 TT=1.992 T1=1.98	OPT f=25 TT=0.07 T1=0.07	OPT f=25 TT=0.356 T1=0.35	SAT (TO) f=27 TT=1800.53 T1=481.95	SAT (TO) f=33 TT=1800.02 T1=0.66	? (TO) TT=1800.04
normalized-PB07/OPT-SMALLINT-LIN/ submittedPB07/manquinho/areaDelay/ normalized-f20c10b_019_area_delay.opb	OPT f=24 TT=0.167 T1=0.16	? (TO) TT=1800.01	? (TO) TT=1800.02	SAT (TO) f=26 TT=1800.01 T1=1800.3	OPT f=24 TT=11.014 T1=11	OPT f=24 TT=0.167 T1=0.16	OPT f=24 TT=1.533 T1=1.54	SAT (TO) f=27 TT=1800.52 T1=684.98	SAT (TO) f=37 TT=1800.06 T1=0.63	? (TO) TT=1800.1
normalized-PB07/OPT-SMALLINT-LIN/ submittedPB07/manquinho/areaDelay/ normalized-f20c10b_020_area_delay.opb	OPT f=23 TT=0.072 T1=0.07	? (TO) TT=1800.15	? (TO) TT=1800.02	OPT f=23 TT=9.297 T1=9.29	OPT f=23 TT=1.647 T1=1.64	OPT f=23 TT=0.072 T1=0.07	OPT f=23 TT=0.286 T1=0.28	SAT (TO) f=24 TT=1800.49 T1=235.28	SAT (TO) f=33 TT=1800.09 T1=0.54	? (TO) TT=1800.03
normalized-PB07/OPT-SMALLINT-LIN/ submittedPB07/manquinho/areaDelay/ normalized-f20c10b_021_area_delay.opb	OPT f=24 TT=0.138 T1=0.13	? (TO) TT=1800.1	? (TO) TT=1800.03	SAT (TO) f=26 TT=1800.11 T1=1800.4	OPT f=24 TT=6.258 T1=6.24	OPT f=24 TT=0.138 T1=0.13	OPT f=24 TT=1.119 T1=1.11	SAT (TO) f=26 TT=1800.03 T1=794.48	SAT (TO) f=34 TT=1800.07 T1=0.6	? (TO) TT=1800.01
normalized-PB07/OPT-SMALLINT-LIN/ submittedPB07/manquinho/areaDelay/ normalized-f20c10b_022_area_delay.opb	OPT f=26 TT=0.19 T1=0.19	? (TO) TT=1800.01	? (TO) TT=1800.02	SAT (TO) f=29 TT=1800.02 T1=1800.3	OPT f=26 TT=7.912 T1=7.89	OPT f=26 TT=0.19 T1=0.19	OPT f=26 TT=1.383 T1=1.38	SAT (TO) f=31 TT=1800.49 T1=524.98	SAT (TO) f=36 TT=1800.06 T1=16.27	? (TO) TT=1800.1
normalized-PB07/OPT-SMALLINT-LIN/ submittedPB07/manquinho/areaDelay/ normalized-f20c10b_023_area_delay.opb	OPT f=22 TT=3.577 T1=3.57	? (TO) TT=1800.09	? (TO) TT=1800.03	SAT (TO) f=25 TT=1800.1 T1=1800.4	OPT f=22 TT=26.857 T1=26.8	OPT f=22 TT=3.577 T1=3.57	OPT f=22 TT=5.915 T1=5.91	SAT (TO) f=32 TT=1800.13 T1=847.9	SAT (TO) f=35 TT=1800.78 T1=1.45	? (TO) TT=1800.03
normalized-PB07/OPT-SMALLINT-LIN/ submittedPB07/manquinho/areaDelay/ normalized-f20c10b_024_area_delay.opb	OPT f=24 TT=0.166 T1=0.16	? (TO) TT=1800.09	? (TO) TT=1800.02	OPT f=24 TT=13.816 T1=13.81	OPT f=24 TT=4.313 T1=4.3	OPT f=24 TT=0.166 T1=0.16	OPT f=24 TT=1.291 T1=1.29	SAT (TO) f=27 TT=1800.19 T1=519.72	SAT (TO) f=32 TT=1800.02 T1=0.49	? (TO) TT=1800.1
normalized-PB07/OPT-SMALLINT-LIN/ submittedPB07/manquinho/areaDelay/ normalized-f20c10b_025_area_delay.opb	OPT f=25 TT=0.605 T1=0.6	? (TO) TT=1800.05	? (TO) TT=1800.02	SAT (TO) f=29 TT=1800.03 T1=1800.5	OPT f=25 TT=20.025 T1=19.99	OPT f=25 TT=0.605 T1=0.6	OPT f=25 TT=2.781 T1=2.78	SAT (TO) f=35 TT=1800.61 T1=555.62	SAT (TO) f=44 TT=1800.77 T1=1.07	? (TO) TT=1800.05
normalized-PB07/OPT-SMALLINT-LIN/ submittedPB07/manquinho/areaDelay/ normalized-f20c10b_026_area_delay.opb	OPT f=28 TT=1.949 T1=1.95	? (TO) TT=1800.01	? (TO) TT=1800.02	SAT (TO) f=33 TT=1800.1 T1=1800.4	OPT f=28 TT=56.411 T1=56.39	OPT f=28 TT=1.949 T1=1.95	OPT f=28 TT=10.519 T1=10.52	SAT (TO) f=35 TT=1800.59 T1=197.76	SAT (TO) f=38 TT=1800.75 T1=0.67	? (TO) TT=1800.01
normalized-PB07/OPT-SMALLINT-LIN/ submittedPB07/manquinho/areaDelay/ normalized-f20c10b_027_area_delay.opb	OPT f=25 TT=0.156 T1=0.15	? (TO) TT=1800.09	? (TO) TT=1800.03	SAT (TO) f=26 TT=1800.02 T1=1800.3	OPT f=25 TT=7.811 T1=7.8	OPT f=25 TT=0.156 T1=0.15	OPT f=25 TT=1.234 T1=1.23	SAT (TO) f=28 TT=1800.63 T1=580.74	SAT (TO) f=33 TT=1800.57 T1=11.04	? (TO) TT=1800.09
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
normalized-PB07/OPT-SMALLINT-LIN/ submittedPB07/manquinho/areaDelay/ normalized-f20c10b_028_area_delay.opb	OPT f=23 TT=0.712 T1=0.7	? (TO) TT=1800.04	? (TO) TT=1800.03	SAT (TO) f=29 TT=1800.1 T1=1800.4	OPT f=23 TT=9.228 T1=9.17	OPT f=23 TT=0.712 T1=0.7	OPT f=23 TT=1.173 T1=1.16	SAT (TO) f=32 TT=1800.11 T1=492.88	SAT (TO) f=33 TT=1800.72 T1=1.25	? (TO) TT=1800.03
normalized-PB07/OPT-SMALLINT-LIN/ submittedPB07/manquinho/areaDelay/ normalized-f20c10b_029_area_delay.opb	OPT f=24 TT=0.543 T1=0.53	? (TO) TT=1800.1	? (TO) TT=1800.02	SAT (TO) f=27 TT=1800.09 T1=1800.4	OPT f=24 TT=23.48 T1=23.43	OPT f=24 TT=0.543 T1=0.53	OPT f=24 TT=1.703 T1=1.7	SAT (TO) f=36 TT=1800.5 T1=504.96	SAT (TO) f=39 TT=1800.67 T1=1.4	? (TO) TT=1800.01
normalized-PB07/OPT-SMALLINT-LIN/ submittedPB07/manquinho/areaDelay/ normalized-f20c10b_030_area_delay.opb	OPT f=25 TT=0.127 T1=0.12	? (TO) TT=1800.1	? (TO) TT=1800.02	SAT (TO) f=25 TT=1800.02 T1=1800.3	OPT f=25 TT=2.734 T1=2.72	OPT f=25 TT=0.127 T1=0.12	OPT f=25 TT=0.625 T1=0.62	SAT (TO) f=28 TT=1800.63 T1=626.24	SAT (TO) f=35 TT=1800.74 T1=2.56	? (TO) TT=1800.11
normalized-PB07/OPT-SMALLINT-LIN/ submittedPB07/poldner/PB/ testset/normalized-10_20.opb	OPT f=8034 TT=0.659 T1=0.26	OPT f=8034 TT=2.793 T1=2.79	OPT f=8034 TT=0.659 T1=0.65	OPT f=8034 TT=274.711 T1=274.74	OPT f=8034 TT=42.366 T1=42.35	OPT f=8034 TT=119.353 T1=119.53	? TT=72.991	OPT f=8034 TT=8.012 T1=2.69	OPT f=8034 TT=4.623 T1=0.26	OPT f=8034 TT=98.819 T1=26.42
normalized-PB07/OPT-SMALLINT-LIN/ submittedPB07/poldner/PB/ testset/normalized-11_22.opb	OPT f=8908 TT=3.323 T1=4.19	OPT f=8908 TT=13.309 T1=13.31	OPT f=8908 TT=10.258 T1=10.26	SAT (TO) f=9471 TT=1800.02 T1=1800.3	OPT f=8908 TT=927.946 T1=928.09	SAT (TO) f=9514 TT=1800.02 T1=1800.3	? TT=67.532	OPT f=8908 TT=3.323 T1=4.19	OPT f=8908 TT=811.44 T1=807.72	? (TO) TT=1800.09
normalized-PB07/OPT-SMALLINT-LIN/ submittedPB07/poldner/PB/ testset/normalized-5_10.opb	OPT f=3951 TT=0.002 T1=0	OPT f=3951 TT=0.029 T1=0.03	OPT f=3951 TT=0.016 T1=0.01	OPT f=3951 TT=0.768 T1=0.76	OPT f=3951 TT=0.483 T1=0.48	OPT f=3951 TT=0.002 T1=0	OPT f=3951 TT=8.832 T1=8.77	OPT f=3951 TT=0.503 T1=0.65	OPT f=3951 TT=0.273 T1=0.14	OPT f=3951 TT=0.169 T1=0.12
normalized-PB07/OPT-SMALLINT-LIN/ submittedPB07/poldner/PB/ testset/normalized-6_12.opb	OPT f=5867 TT=0.008 T1=0	OPT f=5867 TT=0.055 T1=0.05	OPT f=5867 TT=0.021 T1=0.02	OPT f=5867 TT=0.576 T1=0.57	OPT f=5867 TT=0.835 T1=0.83	OPT f=5867 TT=0.008 T1=0	OPT f=5867 TT=31.781 T1=31.63	OPT f=5867 TT=0.704 T1=1.64	OPT f=5867 TT=0.455 T1=0.15	OPT f=5867 TT=0.343 T1=0.23
normalized-PB07/OPT-SMALLINT-LIN/ submittedPB07/poldner/PB/ testset/normalized-7_14.opb	OPT f=5148 TT=0.008 T1=0	OPT f=5148 TT=0.208 T1=0.2	OPT f=5148 TT=0.616 T1=0.61	OPT f=5148 TT=16.934 T1=16.93	OPT f=5148 TT=6.155 T1=6.14	OPT f=5148 TT=0.008 T1=0	OPT f=5148 TT=260.108 T1=260.02	OPT f=5148 TT=1.085 T1=0.64	OPT f=5148 TT=2.233 T1=0.14	OPT f=5148 TT=23.43 T1=22.73
normalized-PB07/OPT-SMALLINT-LIN/ submittedPB07/poldner/PB/ testset/normalized-8_16.opb	OPT f=5852 TT=0.058 T1=0.05	OPT f=5852 TT=4.157 T1=4.15	OPT f=5852 TT=2.105 T1=2.1	SAT (TO) f=5852 TT=1800.1 T1=1800.4	OPT f=5852 TT=1508.8 T1=1509.03	OPT f=5852 TT=0.058 T1=0.05	SAT (TO) f=5869 TT=1800.15 T1=1800.5	OPT f=5852 TT=4.803 T1=1.67	OPT f=5852 TT=1076.82 T1=0.51	? (TO) TT=1800.11
/OPT-SMALLINT-LIN/featureSubscription/ normalized-50-250-false-45-90-4-10000opt.opb	OPT f=-164 TT=4.404 T1=4.4	OPT f=-164 TT=1271.95 T1=1272.16	OPT f=-164 TT=791.823 T1=791.94	OPT f=-164 TT=10.839 T1=10.83	OPT f=-164 TT=8.79 T1=8.79	OPT f=-164 TT=5.915 T1=5.91	OPT f=-164 TT=4.404 T1=4.4	OPT f=-164 TT=36.799 T1=12.92	OPT f=-164 TT=43.48 T1=36.55	OPT f=-164 TT=500.669 T1=324.69
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
/OPT-SMALLINT-LIN/featureSubscription/ normalized-50-250-false-45-90-4-1000opt.opb	OPT f=-178 TT=0.629 T1=0.62	OPT f=-178 TT=47.353 T1=47.35	OPT f=-178 TT=69.389 T1=69.39	OPT f=-178 TT=3.673 T1=3.67	OPT f=-178 TT=4.465 T1=4.46	OPT f=-178 TT=0.629 T1=0.62	OPT f=-178 TT=1.847 T1=1.84	SAT (TO) f=-170 TT=1801.06 T1=18.93	OPT f=-178 TT=25.68 T1=19.15	OPT f=-178 TT=537.89 T1=505.22
/OPT-SMALLINT-LIN/featureSubscription/ normalized-50-250-false-45-90-4-2000opt.opb	OPT f=-167 TT=4.908 T1=4.9	OPT f=-167 TT=1394.59 T1=1394.79	OPT f=-167 TT=544.658 T1=544.75	OPT f=-167 TT=9.461 T1=9.45	OPT f=-167 TT=12.289 T1=12.28	OPT f=-167 TT=4.908 T1=4.9	OPT f=-167 TT=5.738 T1=5.73	OPT f=-167 TT=64.065 T1=22.95	OPT f=-167 TT=109.93 T1=100.25	OPT f=-167 TT=467.073 T1=338.25
/OPT-SMALLINT-LIN/featureSubscription/ normalized-50-250-false-45-90-4-3000opt.opb	OPT f=-187 TT=3.068 T1=3.06	OPT f=-187 TT=272.942 T1=272.98	OPT f=-187 TT=218.171 T1=218.2	OPT f=-187 TT=7.57 T1=7.56	OPT f=-187 TT=8.928 T1=8.92	OPT f=-187 TT=3.068 T1=3.06	OPT f=-187 TT=3.219 T1=3.22	OPT f=-187 TT=166.939 T1=86.62	OPT f=-187 TT=150.68 T1=146.92	OPT f=-187 TT=908.421 T1=870.69
/OPT-SMALLINT-LIN/featureSubscription/ normalized-50-250-false-45-90-4-4000opt.opb	OPT f=-164 TT=3.866 T1=3.86	OPT f=-164 TT=448.79 T1=448.84	OPT f=-164 TT=672.322 T1=672.42	OPT f=-164 TT=11.839 T1=11.83	OPT f=-164 TT=8.235 T1=8.23	OPT f=-164 TT=6.331 T1=6.33	OPT f=-164 TT=3.866 T1=3.86	OPT f=-164 TT=77.963 T1=36.62	OPT f=-164 TT=170.339 T1=123.13	OPT f=-164 TT=965.034 T1=761.21
/OPT-SMALLINT-LIN/featureSubscription/ normalized-50-250-false-45-90-4-5000opt.opb	OPT f=-169 TT=2.166 T1=2.16	OPT f=-169 TT=274.742 T1=274.78	OPT f=-169 TT=464.804 T1=464.87	OPT f=-169 TT=12.434 T1=12.43	OPT f=-169 TT=7.648 T1=7.64	OPT f=-169 TT=2.166 T1=2.16	OPT f=-169 TT=3.634 T1=3.63	OPT f=-169 TT=1359.65 T1=1302.46	OPT f=-169 TT=41.329 T1=26.88	OPT f=-169 TT=264.443 T1=158.67
/OPT-SMALLINT-LIN/featureSubscription/ normalized-50-250-false-45-90-4-6000opt.opb	OPT f=-175 TT=4.324 T1=4.32	OPT f=-175 TT=908.477 T1=908.62	? (TO) TT=1800.02	OPT f=-175 TT=8.287 T1=8.28	OPT f=-175 TT=10.231 T1=10.23	OPT f=-175 TT=4.324 T1=4.32	OPT f=-175 TT=5.254 T1=5.25	SAT (TO) f=-170 TT=1800.05 T1=94.07	OPT f=-175 TT=97.97 T1=95.51	OPT f=-175 TT=676.7 T1=506.92
/OPT-SMALLINT-LIN/featureSubscription/ normalized-50-250-false-45-90-4-7000opt.opb	OPT f=-172 TT=1.759 T1=1.75	OPT f=-172 TT=422.086 T1=422.15	OPT f=-172 TT=771.792 T1=771.91	OPT f=-172 TT=13.966 T1=13.96	OPT f=-172 TT=8.192 T1=8.19	OPT f=-172 TT=1.759 T1=1.75	OPT f=-172 TT=5.391 T1=5.39	SAT (TO) f=-163 TT=1800.07 T1=69.57	OPT f=-172 TT=414.07 T1=409.85	OPT f=-172 TT=372.526 T1=214.5
/OPT-SMALLINT-LIN/featureSubscription/ normalized-50-250-false-45-90-4-8000opt.opb	OPT f=-162 TT=13.074 T1=13.07	? (TO) TT=1800.06	? (TO) TT=1800.02	OPT f=-162 TT=57.629 T1=57.63	OPT f=-162 TT=22.582 T1=22.58	OPT f=-162 TT=21.456 T1=21.45	OPT f=-162 TT=13.074 T1=13.07	SAT (TO) f=-154 TT=1800.42 T1=1260.42	OPT f=-162 TT=408.2 T1=404.34	? (TO) TT=1800.07
/OPT-SMALLINT-LIN/featureSubscription/ normalized-50-250-false-45-90-4-9000opt.opb	OPT f=-193 TT=2.341 T1=2.34	OPT f=-193 TT=142.792 T1=142.81	OPT f=-193 TT=450.717 T1=450.79	OPT f=-193 TT=5.632 T1=5.63	OPT f=-193 TT=3.432 T1=3.43	OPT f=-193 TT=2.341 T1=2.34	OPT f=-193 TT=2.414 T1=2.41	SAT (TO) f=-189 TT=1800.09 T1=22.98	OPT f=-193 TT=49.07 T1=26.38	OPT f=-193 TT=525.55 T1=342.76
/OPT-SMALLINT-LIN/featureSubscription/ normalized-50-750-false-45-90-4-10000opt.opb	OPT f=-75 TT=1.637 T1=1.63	OPT f=-75 TT=59.792 T1=59.79	OPT f=-75 TT=23.852 T1=23.85	OPT f=-75 TT=2.503 T1=2.5	OPT f=-75 TT=3.808 T1=3.8	OPT f=-75 TT=2.94 T1=2.94	OPT f=-75 TT=1.637 T1=1.63	OPT f=-75 TT=21.511 T1=19.8	OPT f=-75 TT=6.023 T1=4.7	OPT f=-75 TT=25.77 T1=17.88
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
/OPT-SMALLINT-LIN/featureSubscription/ normalized-50-750-false-45-90-4-1000opt.opb	OPT f=-78 TT=1.908 T1=1.9	OPT f=-78 TT=57.167 T1=57.16	OPT f=-78 TT=41.078 T1=41.08	OPT f=-78 TT=3.513 T1=3.51	OPT f=-78 TT=2.902 T1=2.9	OPT f=-78 TT=2.557 T1=2.55	OPT f=-78 TT=1.908 T1=1.9	OPT f=-78 TT=107.988 T1=102.77	OPT f=-78 TT=8.353 T1=6.5	OPT f=-78 TT=34.095 T1=34.04
/OPT-SMALLINT-LIN/featureSubscription/ normalized-50-750-false-45-90-4-2000opt.opb	OPT f=-70 TT=2.444 T1=2.44	OPT f=-70 TT=125.087 T1=125.09	OPT f=-70 TT=66.594 T1=66.6	OPT f=-70 TT=5.254 T1=5.25	OPT f=-70 TT=4.756 T1=4.75	OPT f=-70 TT=7.272 T1=7.27	OPT f=-70 TT=2.444 T1=2.44	OPT f=-70 TT=18.761 T1=10.14	OPT f=-70 TT=8.002 T1=6.66	OPT f=-70 TT=78.816 T1=78.76
/OPT-SMALLINT-LIN/featureSubscription/ normalized-50-750-false-45-90-4-3000opt.opb	OPT f=-81 TT=1.618 T1=1.61	OPT f=-81 TT=95.655 T1=95.66	OPT f=-81 TT=26.847 T1=26.84	OPT f=-81 TT=4.028 T1=4.02	OPT f=-81 TT=3.314 T1=3.31	OPT f=-81 TT=4.374 T1=4.37	OPT f=-81 TT=1.618 T1=1.61	OPT f=-81 TT=10.901 T1=5.66	OPT f=-81 TT=8.035 T1=6	OPT f=-81 TT=23.552 T1=21.98
/OPT-SMALLINT-LIN/featureSubscription/ normalized-50-750-false-45-90-4-4000opt.opb	OPT f=-82 TT=0.756 T1=0.75	OPT f=-82 TT=21.635 T1=21.63	OPT f=-82 TT=16.037 T1=16.03	OPT f=-82 TT=1.777 T1=1.77	OPT f=-82 TT=1.948 T1=1.94	OPT f=-82 TT=1.778 T1=1.77	OPT f=-82 TT=0.756 T1=0.75	OPT f=-82 TT=7.565 T1=5.15	OPT f=-82 TT=3.904 T1=2.45	OPT f=-82 TT=20.742 T1=20.13
/OPT-SMALLINT-LIN/featureSubscription/ normalized-50-750-false-45-90-4-5000opt.opb	OPT f=-70 TT=2.359 T1=2.35	OPT f=-70 TT=66.859 T1=66.86	OPT f=-70 TT=41.465 T1=41.46	OPT f=-70 TT=4.204 T1=4.2	OPT f=-70 TT=4.069 T1=4.06	OPT f=-70 TT=6.117 T1=6.11	OPT f=-70 TT=2.359 T1=2.35	OPT f=-70 TT=11.382 T1=7.68	OPT f=-70 TT=6.604 T1=4.9	OPT f=-70 TT=46.576 T1=13.17
/OPT-SMALLINT-LIN/featureSubscription/ normalized-50-750-false-45-90-4-6000opt.opb	OPT f=-74 TT=2.542 T1=2.54	OPT f=-74 TT=232.789 T1=232.81	OPT f=-74 TT=94.823 T1=94.83	OPT f=-74 TT=4.32 T1=4.31	OPT f=-74 TT=4.695 T1=4.69	OPT f=-74 TT=7.287 T1=7.28	OPT f=-74 TT=2.542 T1=2.54	OPT f=-74 TT=16.222 T1=11.66	OPT f=-74 TT=11.642 T1=8.82	OPT f=-74 TT=96.858 T1=63.26
/OPT-SMALLINT-LIN/featureSubscription/ normalized-50-750-false-45-90-4-7000opt.opb	OPT f=-68 TT=1.506 T1=1.5	OPT f=-68 TT=130.736 T1=130.75	OPT f=-68 TT=24.433 T1=24.43	OPT f=-68 TT=3.671 T1=3.66	OPT f=-68 TT=4.083 T1=4.08	OPT f=-68 TT=3.853 T1=3.85	OPT f=-68 TT=1.506 T1=1.5	OPT f=-68 TT=31.39 T1=26.49	OPT f=-68 TT=7.794 T1=4.74	OPT f=-68 TT=37.016 T1=23.67
/OPT-SMALLINT-LIN/featureSubscription/ normalized-50-750-false-45-90-4-8000opt.opb	OPT f=-76 TT=1.52 T1=1.51	OPT f=-76 TT=105.016 T1=105.02	OPT f=-76 TT=17.211 T1=17.21	OPT f=-76 TT=3.852 T1=3.91	OPT f=-76 TT=3.611 T1=3.61	OPT f=-76 TT=2.26 T1=2.25	OPT f=-76 TT=1.52 T1=1.51	OPT f=-76 TT=18.022 T1=15.18	OPT f=-76 TT=9.333 T1=7.62	OPT f=-76 TT=41.972 T1=40.26
/OPT-SMALLINT-LIN/featureSubscription/ normalized-50-750-false-45-90-4-9000opt.opb	OPT f=-79 TT=1.937 T1=1.69	OPT f=-79 TT=93.077 T1=93.08	OPT f=-79 TT=43.408 T1=43.41	OPT f=-79 TT=2.411 T1=2.4	OPT f=-79 TT=3.278 T1=3.28	OPT f=-79 TT=3.212 T1=3.21	OPT f=-79 TT=1.937 T1=1.93	OPT f=-79 TT=12.261 T1=5.67	OPT f=-79 TT=6.923 T1=1.69	OPT f=-79 TT=53.275 T1=48.64
/OPT-SMALLINT-LIN/flexray/ normalized-fx30.opb		? (TO) TT=1800.02	? (TO) TT=1800.02	? (TO) TT=1800.1	? (TO) TT=1800.1	? (TO) TT=1800.02	? (TO) TT=1800.02	? (TO) TT=1800.2	? (TO) TT=1800	? (TO) TT=1800.02
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
/OPT-SMALLINT-LIN/flexray/ normalized-fx49.opb		? (TO) TT=1800.09	? (TO) TT=1800.01	? (TO) TT=1800.09	? (TO) TT=1800.08	? (TO) TT=1800.01	? (TO) TT=1800.01	? (TO) TT=1800.83	? (TO) TT=1800.02	? (TO) TT=1800.03
/OPT-SMALLINT-LIN/flexray/ normalized-fx57.opb	OPT f=6 TT=0.273 T1=0.27	OPT f=6 TT=0.345 T1=0.34	OPT f=6 TT=0.273 T1=0.27	OPT f=6 TT=90.844 T1=90.85	OPT f=6 TT=6.886 T1=6.86	OPT f=6 TT=3.997 T1=4.05	OPT f=6 TT=3.987 T1=4.09	OPT f=6 TT=6.133 T1=2.5	OPT f=6 TT=1.923 T1=0.97	OPT f=6 TT=0.831 T1=0.81
/OPT-SMALLINT-LIN/flexray/ normalized-fx60.opb	OPT f=6 TT=7.423 T1=6.36	? (TO) TT=1800.1	? (TO) TT=1800.02	OPT f=6 TT=1001.81 T1=1001.98	OPT f=6 TT=225.618 T1=225.67	OPT f=6 TT=115.564 T1=115.59	OPT f=6 TT=116.101 T1=116.11	OPT f=6 TT=56.515 T1=26.57	OPT f=6 TT=7.423 T1=6.36	? (TO) TT=1800.04
/OPT-SMALLINT-LIN/flexray/ normalized-fx63.opb		? (TO) TT=1800.1	? (TO) TT=1800.02	? (TO) TT=1800.08	? (TO) TT=1800.09	? (TO) TT=1800.11	? (TO) TT=1800.1	? (TO) TT=1800.05	? (TO) TT=1800.07	? (TO) TT=1800.11
/OPT-SMALLINT-LIN/flexray/ normalized-fx75.opb		? (TO) TT=1800.08	? (TO) TT=1800.03	? (TO) TT=1800.09	? (TO) TT=1800.07	? (TO) TT=1800.05	? (TO) TT=1800.1	? (TO) TT=1800.19	? (TO) TT=1800.07	? (TO) TT=1800.11
/OPT-SMALLINT-LIN/flexray/ normalized-fx84.opb	OPT f=8 TT=1.705 T1=0.74	OPT f=8 TT=20.269 T1=20.25	OPT f=8 TT=19.545 T1=19.54	? (TO) TT=1800.04	OPT f=8 TT=35.645 T1=35.61	OPT f=8 TT=32.182 T1=32.18	OPT f=8 TT=30.955 T1=30.95	OPT f=8 TT=3.536 T1=1.27	OPT f=8 TT=1.705 T1=0.74	OPT f=8 TT=3.187 T1=3.13
/OPT-SMALLINT-LIN/flexray/ normalized-fx92.opb	OPT f=9 TT=3.882 T1=2.75	OPT f=9 TT=1570.6 T1=1570.82	OPT f=9 TT=1568.69 T1=1568.93	? (TO) TT=1800.09	OPT f=9 TT=157.746 T1=157.73	OPT f=9 TT=165.061 T1=165.07	OPT f=9 TT=158.326 T1=158.37	OPT f=9 TT=8.613 T1=3.32	OPT f=9 TT=3.882 T1=2.75	OPT f=9 TT=10.19 T1=10.13
/OPT-SMALLINT-LIN/flexray/ normalized-fx97.opb		? (TO) TT=1800.1	? (TO) TT=1800.02	? (TO) TT=1800.08	? (TO) TT=1800.03	? (TO) TT=1800.08	? (TO) TT=1800.11	? (TO) TT=1800.06	? (TO) TT=1800.05	? (TO) TT=1800.08
OPT-SMALLINT-LIN/graca/ normalized-ped2.B.recomb1-0.01-1.opb	OPT f=7 TT=1.635 T1=1.59	OPT f=7 TT=2.365 T1=2.33	OPT f=7 TT=5.847 T1=5.82	OPT f=7 TT=70.013 T1=69.97	OPT f=7 TT=4.314 T1=4.28	OPT f=7 TT=1.635 T1=1.59	OPT f=7 TT=1.769 T1=1.73	OPT f=7 TT=7.534 T1=3.29	OPT f=7 TT=4.152 T1=2.22	OPT f=7 TT=9.022 T1=8.83
OPT-SMALLINT-LIN/graca/ normalized-ped2.B.recomb1-0.01-2.opb	OPT f=7 TT=1.72 T1=1.67	OPT f=7 TT=2.386 T1=2.35	OPT f=7 TT=5.24 T1=5.21	OPT f=7 TT=66.238 T1=66.18	OPT f=7 TT=4.998 T1=4.95	OPT f=7 TT=1.72 T1=1.67	OPT f=7 TT=1.921 T1=1.88	OPT f=7 TT=7.763 T1=3.75	OPT f=7 TT=4.503 T1=2.62	OPT f=7 TT=9.307 T1=9.11
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
OPT-SMALLINT-LIN/graca/ normalized-ped2.B.recomb1-0.01-3.opb	OPT f=6 TT=1.682 T1=1.63	OPT f=6 TT=2.303 T1=2.27	OPT f=6 TT=4.662 T1=4.63	OPT f=6 TT=32.124 T1=32.07	OPT f=6 TT=4.216 T1=4.18	OPT f=6 TT=1.682 T1=1.63	OPT f=6 TT=1.805 T1=1.76	OPT f=6 TT=6.363 T1=3.12	OPT f=6 TT=3.743 T1=2.21	OPT f=6 TT=8.454 T1=8.23
OPT-SMALLINT-LIN/graca/ normalized-ped2.B.recomb1-0.01-4.opb	OPT f=7 TT=1.616 T1=1.57	OPT f=7 TT=2.314 T1=2.27	OPT f=7 TT=6.021 T1=5.99	OPT f=7 TT=159.602 T1=159.56	OPT f=7 TT=4.955 T1=4.91	OPT f=7 TT=1.616 T1=1.57	OPT f=7 TT=1.752 T1=1.7	OPT f=7 TT=6.662 T1=3.01	OPT f=7 TT=4.094 T1=2.22	OPT f=7 TT=11.793 T1=11.6
OPT-SMALLINT-LIN/graca/ normalized-ped2.B.recomb1-0.01-5.opb	OPT f=7 TT=1.661 T1=1.61	OPT f=7 TT=2.298 T1=2.26	OPT f=7 TT=5.136 T1=5.11	OPT f=7 TT=103.767 T1=103.73	OPT f=7 TT=4.726 T1=4.68	OPT f=7 TT=1.661 T1=1.61	OPT f=7 TT=1.828 T1=1.78	OPT f=7 TT=6.462 T1=3.03	OPT f=7 TT=3.894 T1=2.23	OPT f=7 TT=9.591 T1=9.38
OPT-SMALLINT-LIN/graca/ normalized-ped2.B.recomb1-0.10-10.opb	OPT f=6 TT=2.098 T1=2.05	OPT f=6 TT=3.097 T1=3.05	OPT f=6 TT=8.849 T1=8.82	OPT f=6 TT=14.583 T1=14.52	OPT f=6 TT=5.984 T1=5.94	OPT f=6 TT=2.098 T1=2.05	OPT f=6 TT=2.247 T1=2.2	OPT f=6 TT=8.233 T1=4.03	OPT f=6 TT=4.703 T1=2.74	OPT f=6 TT=15.353 T1=15.11
OPT-SMALLINT-LIN/graca/ normalized-ped2.B.recomb1-0.10-6.opb	OPT f=7 TT=2.23 T1=2.18	OPT f=7 TT=3.406 T1=3.36	OPT f=7 TT=9.692 T1=9.66	OPT f=7 TT=200.5 T1=200.46	OPT f=7 TT=6.667 T1=6.62	OPT f=7 TT=2.23 T1=2.18	OPT f=7 TT=2.43 T1=2.38	OPT f=7 TT=9.162 T1=4.4	OPT f=7 TT=5.233 T1=3.16	OPT f=7 TT=13.836 T1=12.99
OPT-SMALLINT-LIN/graca/ normalized-ped2.B.recomb1-0.10-7.opb	OPT f=588 TT=2.327 T1=2.29	OPT f=588 TT=4.004 T1=3.96	OPT f=588 TT=8.672 T1=8.64	OPT f=588 TT=144.712 T1=144.69	OPT f=588 TT=7.068 T1=7.02	OPT f=588 TT=2.327 T1=2.29	OPT f=588 TT=2.45 T1=2.6	OPT f=588 TT=10.063 T1=5.47	OPT f=588 TT=6.083 T1=3.44	OPT f=588 TT=18.671 T1=18.4
OPT-SMALLINT-LIN/graca/ normalized-ped2.B.recomb1-0.10-8.opb	OPT f=589 TT=2.203 T1=2.15	OPT f=589 TT=3.4 T1=3.35	OPT f=589 TT=6.715 T1=6.68	OPT f=589 TT=28.209 T1=28.15	OPT f=589 TT=6.152 T1=6.11	OPT f=589 TT=2.203 T1=2.15	OPT f=589 TT=2.38 T1=2.33	OPT f=589 TT=9.123 T1=4.45	OPT f=589 TT=5.233 T1=2.98	OPT f=589 TT=17.006 T1=16.52
OPT-SMALLINT-LIN/graca/ normalized-ped2.B.recomb1-0.10-9.opb	OPT f=7 TT=2.175 T1=2.13	OPT f=7 TT=3.108 T1=3.06	OPT f=7 TT=6.29 T1=6.26	OPT f=7 TT=76.599 T1=76.54	OPT f=7 TT=6.681 T1=6.63	OPT f=7 TT=2.175 T1=2.13	OPT f=7 TT=2.357 T1=2.31	OPT f=7 TT=8.604 T1=3.69	OPT f=7 TT=5.145 T1=2.86	OPT f=7 TT=15.73 T1=15.49
OPT-SMALLINT-LIN/graca/ normalized-ped2.B.recomb1-0.20-11.opb	OPT f=7 TT=2.694 T1=2.65	OPT f=7 TT=4.086 T1=4.05	OPT f=7 TT=22.321 T1=22.29	OPT f=7 TT=223.914 T1=223.88	OPT f=7 TT=7.613 T1=7.56	OPT f=7 TT=2.694 T1=2.65	OPT f=7 TT=2.972 T1=2.92	OPT f=7 TT=11.051 T1=5.23	OPT f=7 TT=6.524 T1=3.6	OPT f=7 TT=27.959 T1=27.56
OPT-SMALLINT-LIN/graca/ normalized-ped2.B.recomb1-0.20-12.opb	OPT f=7 TT=2.647 T1=2.6	OPT f=7 TT=4.126 T1=4.08	OPT f=7 TT=30.932 T1=30.9	OPT f=7 TT=176.906 T1=176.86	OPT f=7 TT=7.825 T1=7.78	OPT f=7 TT=2.647 T1=2.6	OPT f=7 TT=2.964 T1=2.91	OPT f=7 TT=11.704 T1=5.19	OPT f=7 TT=6.082 T1=3.46	OPT f=7 TT=27.238 T1=24.97
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
OPT-SMALLINT-LIN/graca/ normalized-ped2.B.recomb1-0.20-13.opb	OPT f=7 TT=2.691 T1=2.65	OPT f=7 TT=4.556 T1=4.51	OPT f=7 TT=16.141 T1=16.11	OPT f=7 TT=100.415 T1=100.36	OPT f=7 TT=8.262 T1=8.21	OPT f=7 TT=2.691 T1=2.65	OPT f=7 TT=2.903 T1=2.85	OPT f=7 TT=13.543 T1=5.32	OPT f=7 TT=11.042 T1=3.7	OPT f=7 TT=28.801 T1=28.61
OPT-SMALLINT-LIN/graca/ normalized-ped2.B.recomb1-0.20-14.opb	OPT f=7 TT=2.684 T1=2.63	OPT f=7 TT=3.81 T1=3.76	OPT f=7 TT=8.242 T1=8.21	OPT f=7 TT=133.683 T1=133.63	OPT f=7 TT=7.104 T1=7.06	OPT f=7 TT=2.684 T1=2.63	OPT f=7 TT=2.741 T1=2.69	OPT f=7 TT=9.893 T1=4.57	OPT f=7 TT=5.673 T1=3.47	OPT f=7 TT=29.007 T1=28.8
OPT-SMALLINT-LIN/graca/ normalized-ped2.B.recomb1-0.20-15.opb	OPT f=7 TT=2.78 T1=2.73	OPT f=7 TT=4.294 T1=4.24	OPT f=7 TT=59.423 T1=59.39	OPT f=7 TT=290.636 T1=290.61	OPT f=7 TT=8.122 T1=8.07	OPT f=7 TT=2.78 T1=2.73	OPT f=7 TT=3.152 T1=3.1	OPT f=7 TT=10.981 T1=5.63	OPT f=7 TT=6.564 T1=3.99	OPT f=7 TT=28.256 T1=28.05
OPT-SMALLINT-LIN/graca/ normalized-ped3.D.recomb10-0.20-11.opb	OPT f=690 TT=2.158 T1=2.13	OPT f=690 TT=416.175 T1=416.21	? (TO) TT=1800.03	OPT f=690 TT=29.512 T1=29.48	OPT f=690 TT=5.338 T1=5.31	OPT f=690 TT=2.265 T1=2.24	OPT f=690 TT=2.158 T1=2.13	OPT f=690 TT=38.928 T1=3.81	OPT f=690 TT=101.95 T1=2.47	OPT f=690 TT=24.343 T1=16.46
OPT-SMALLINT-LIN/graca/ normalized-ped3.D.recomb10-0.20-12.opb	OPT f=349 TT=1.259 T1=1.24	OPT f=349 TT=2.861 T1=2.84	OPT f=349 TT=22.546 T1=22.53	OPT f=349 TT=26.443 T1=26.41	OPT f=349 TT=3.727 T1=3.7	OPT f=349 TT=1.259 T1=1.24	OPT f=349 TT=1.324 T1=1.3	OPT f=349 TT=8.682 T1=3.35	OPT f=349 TT=4.814 T1=1.96	OPT f=349 TT=10.227 T1=10.08
OPT-SMALLINT-LIN/graca/ normalized-ped3.D.recomb10-0.20-13.opb	OPT f=350 TT=1.796 T1=1.77	OPT f=350 TT=1561.07 T1=1561.29	OPT f=350 TT=271.319 T1=271.34	OPT f=350 TT=40.017 T1=39.99	OPT f=350 TT=5.449 T1=5.42	OPT f=350 TT=1.796 T1=1.77	OPT f=350 TT=2.042 T1=2.02	OPT f=350 TT=32.781 T1=3.68	OPT f=350 TT=58.06 T1=31.22	OPT f=350 TT=33.866 T1=33.5
OPT-SMALLINT-LIN/graca/ normalized-ped3.D.recomb10-0.20-14.opb	OPT f=7 TT=1.296 T1=1.28	OPT f=7 TT=2.813 T1=2.79	OPT f=7 TT=4.347 T1=4.33	OPT f=7 TT=30.893 T1=30.87	OPT f=7 TT=3.979 T1=3.96	OPT f=7 TT=1.296 T1=1.28	OPT f=7 TT=1.339 T1=1.32	OPT f=7 TT=7.573 T1=3.17	OPT f=7 TT=5.662 T1=1.98	OPT f=7 TT=14.224 T1=14.12
OPT-SMALLINT-LIN/graca/ normalized-ped3.D.recomb10-0.20-15.opb	OPT f=689 TT=2.09 T1=1.97	? (TO) TT=1800.03	? (TO) TT=1800.03	OPT f=689 TT=71.771 T1=71.75	OPT f=689 TT=74.139 T1=74.14	OPT f=689 TT=2.09 T1=2.07	OPT f=689 TT=12.895 T1=12.88	OPT f=689 TT=69.294 T1=3.04	OPT f=689 TT=69.18 T1=1.97	OPT f=689 TT=30.746 T1=8.79
/OPT-SMALLINT-LIN/ heinz/ normalized-222__neos-1330346.opb	OPT f=8 TT=34.003 T1=0.42	OPT f=8 TT=509.664 T1=509.73	OPT f=8 TT=520.286 T1=520.36	OPT f=8 TT=72.777 T1=72.78	OPT f=8 TT=58.218 T1=58.22	OPT f=8 TT=62.88 T1=62.88	OPT f=8 TT=34.003 T1=34	OPT f=8 TT=623.949 T1=1.87	OPT f=8 TT=620.32 T1=0.42	? (TO) TT=1800.03
/OPT-SMALLINT-LIN/heinz/ normalized-acc-tight4.opb	OPT f=0 TT=0.295 T1=0.29	OPT f=0 TT=0.339 T1=0.33	OPT f=0 TT=0.295 T1=0.29	OPT f=0 TT=1.027 T1=1.02	OPT f=0 TT=0.705 T1=0.7	OPT f=0 TT=2.148 T1=2.14	OPT f=0 TT=2.204 T1=2.2	OPT f=0 TT=2.364 T1=0.86	OPT f=0 TT=2.016 T1=1.23	OPT f=0 TT=2.1 T1=2.04
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
/OPT-SMALLINT-LIN/heinz/ normalized-acc-tight6.opb	OPT f=0 TT=0.326 T1=0.32	OPT f=0 TT=0.367 T1=0.36	OPT f=0 TT=0.326 T1=0.32	OPT f=0 TT=0.52 T1=0.51	OPT f=0 TT=0.559 T1=0.55	OPT f=0 TT=2.051 T1=2.05	OPT f=0 TT=2.039 T1=2.03	OPT f=0 TT=4.04 T1=1.34	OPT f=0 TT=2.054 T1=1.12	OPT f=0 TT=2.016 T1=1.95
/OPT-SMALLINT-LIN/ heinz/ normalized-ash608gpia-3col.opb	UNSAT TT=0.107	UNSAT TT=0.188	UNSAT TT=0.107	UNSAT TT=1.097	UNSAT TT=1.38	UNSAT TT=0.134	UNSAT TT=0.134	UNSAT TT=1.612	UNSAT TT=1.224	UNSAT TT=0.628
/OPT-SMALLINT-LIN/ heinz/normalized-bnatt350.opb	OPT f=0 TT=0.174 T1=0.17	OPT f=0 TT=1.047 T1=1.04	OPT f=0 TT=0.97 T1=0.96	OPT f=0 TT=0.174 T1=0.17	OPT f=0 TT=0.232 T1=0.23	OPT f=0 TT=2.968 T1=2.96	OPT f=0 TT=2.99 T1=2.99	OPT f=0 TT=5.983 T1=2.43	OPT f=0 TT=1.755 T1=1.13	OPT f=0 TT=3.592 T1=3.54
/OPT-SMALLINT-LIN/ heinz/normalized-bnatt400.opb	OPT f=1 TT=0.245 T1=0.24	OPT f=1 TT=1.071 T1=1.06	OPT f=1 TT=1.019 T1=1.01	OPT f=1 TT=0.245 T1=0.24	OPT f=1 TT=0.292 T1=0.29	OPT f=1 TT=1.396 T1=1.39	OPT f=1 TT=1.396 T1=1.39	OPT f=1 TT=5.012 T1=1.44	OPT f=1 TT=3.205 T1=2.07	OPT f=1 TT=5.058 T1=2.94
/OPT-SMALLINT-LIN/ heinz/normalized-datt256.opb		? (exit code) TT=0.691	? (exit code) TT=0.006	? (TO) TT=1800.07	? (TO) TT=1800.31	? TT=72.777	? TT=72.752	? (TO) TT=1800.61	? (TO) TT=1800.01	? (TO) TT=1800.06
/OPT-SMALLINT-LIN/heinz/ normalized-ex1010-pi.opb	SAT f=441 TT=1800.1 T1=1800.4	? (TO) TT=1800.04	? (TO) TT=1800.06	SAT (TO) f=641 TT=1800.1 T1=1800.4	SAT (TO) f=641 TT=1800.05 T1=1800.3	SAT (TO) f=641 TT=1800.11 T1=1800.4	SAT (TO) f=441 TT=1800.1 T1=1800.4	SAT (TO) f=543 TT=1800.05 T1=673.39	SAT (TO) f=639 TT=1800.08 T1=3.74	? (TO) TT=1800.1
/OPT-SMALLINT-LIN/heinz/ normalized-ex9.opb	OPT f=81 TT=0.784 T1=0.77	OPT f=81 TT=2.624 T1=2.61	OPT f=81 TT=0.784 T1=0.77	OPT f=81 TT=26.985 T1=26.97	OPT f=81 TT=23.361 T1=23.17	OPT f=81 TT=0.825 T1=0.82	OPT f=81 TT=1.103 T1=1.09	OPT f=81 TT=4.628 T1=1.74	OPT f=81 TT=2.606 T1=1.2	OPT f=81 TT=13.104 T1=2.96
/OPT-SMALLINT-LIN/heinz/ normalized-f2000.opb		? (TO) TT=1800.04	? (TO) TT=1800.02	? (TO) TT=1800.02	? (TO) TT=1800.03	? (TO) TT=1800.02	? (TO) TT=1800.01	? (TO) TT=1800.51	? (TO) TT=1800.07	? (TO) TT=1800.07
/OPT-SMALLINT-LIN/heinz/ normalized-go19.opb	SAT f=91 TT=1800.02 T1=1800.3	? (TO) TT=1800.02	? (TO) TT=1800.02	SAT (TO) f=92 TT=1800.02 T1=1800.3	SAT (TO) f=95 TT=1800.02 T1=1800.3	SAT (TO) f=95 TT=1800.02 T1=1800.3	SAT (TO) f=91 TT=1800.02 T1=1800.3	SAT (TO) f=104 TT=1800.12 T1=41.75	SAT (TO) f=132 TT=1800.06 T1=30.82	? (TO) TT=1800.11
/OPT-SMALLINT-LIN/heinz/ normalized-hanoi5.opb	OPT f=1931 TT=0.995 T1=0.99	OPT f=1931 TT=2.421 T1=2.41	OPT f=1931 TT=1.958 T1=1.95	OPT f=1931 TT=2.03 T1=2.02	OPT f=1931 TT=5.828 T1=5.8	OPT f=1931 TT=1.302 T1=1.3	OPT f=1931 TT=0.995 T1=0.99	OPT f=1931 TT=11.672 T1=4.04	OPT f=1931 TT=5.901 T1=3.64	OPT f=1931 TT=106.007 T1=34.32
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
/OPT-SMALLINT-LIN/heinz/ normalized-iis-bupa-cov.opb	SAT f=42 TT=1800.09 T1=3.9	? (TO) TT=1800.03	? (TO) TT=1800.03	SAT (TO) f=48 TT=1800.01 T1=1800.3	SAT (TO) f=48 TT=1800.02 T1=1800.3	SAT (TO) f=48 TT=1800.02 T1=1800.3	SAT (TO) f=45 TT=1800.02 T1=1800.3	SAT (TO) f=42 TT=1800.09 T1=3.9	SAT (TO) f=43 TT=1800.07 T1=65.32	? (TO) TT=1800.1
/OPT-SMALLINT-LIN/heinz/ normalized-iis-pima-cov.opb	SAT f=39 TT=1800.02 T1=4.02	? (TO) TT=1800.11	? (TO) TT=1800.02	SAT (TO) f=44 TT=1800.01 T1=1800.3	SAT (TO) f=44 TT=1800.02 T1=1800.3	SAT (TO) f=44 TT=1800.02 T1=1800.3	SAT (TO) f=39 TT=1800.02 T1=1800.3	SAT (TO) f=39 TT=1800.81 T1=4.02	SAT (TO) f=40 TT=1800.03 T1=6.05	? (TO) TT=1800.01
/OPT-SMALLINT-LIN/heinz/ normalized-macrophage.opb	OPT f=374 TT=0.133 T1=0.13	? (TO) TT=1800.07	? (TO) TT=1800.01	SAT (TO) f=455 TT=1800.02 T1=1800.3	SAT (TO) f=592 TT=1800.02 T1=1800.3	OPT f=374 TT=0.133 T1=0.13	SAT (TO) f=427 TT=1800.01 T1=1800.3	SAT (TO) f=522 TT=1800.16 T1=484.89	SAT (TO) f=556 TT=1800.05 T1=0.43	? (TO) TT=1800.07
/OPT-SMALLINT-LIN/heinz/ normalized-methanosarcina.opb	SAT f=3124 TT=1800.02 T1=1800.3	? (TO) TT=1800.04	? (TO) TT=1800.03	SAT (TO) f=3962 TT=1800.02 T1=1800.3	SAT (TO) f=3218 TT=1800.09 T1=1800.4	SAT (TO) f=4623 TT=1800.01 T1=1800.3	SAT (TO) f=3124 TT=1800.02 T1=1800.3	SAT (TO) f=3195 TT=1800.18 T1=1.01	SAT (TO) f=3195 TT=1800.06 T1=0.61	? (TO) TT=1800.1
/OPT-SMALLINT-LIN/heinz/ normalized-mspp16.opb	OPT f=33 TT=131.081 T1=130.99	OPT f=33 TT=131.081 T1=130.99	OPT f=33 TT=1059.34 T1=1059.49	Signal TT=843.88	? (TO) TT=1800.54	? TT=64.179	? TT=65.039	OPT f=33 TT=1041.37 T1=281.79	SAT (TO) f=36 TT=1801.88 T1=45.96	? (TO) TT=1800.6
/OPT-SMALLINT-LIN/heinz/ normalized-neos-1109824.opb	SAT f=426 TT=1800.03 T1=1800.3	? (TO) TT=1800.09	? (TO) TT=1800.03	SAT (TO) f=521 TT=1800.06 T1=1800.4	SAT (TO) f=741 TT=1800.1 T1=1800.4	SAT (TO) f=426 TT=1800.03 T1=1800.3	SAT (TO) f=483 TT=1800.07 T1=1800.4	SAT (TO) f=436 TT=1800.78 T1=26.23	SAT (TO) f=477 TT=1800.08 T1=0.61	? (TO) TT=1800.01
/OPT-SMALLINT-LIN/heinz/ normalized-neos-1440225.opb	OPT f=36 TT=51.716 T1=2.87	? (TO) TT=1800.01	? (TO) TT=1800.03	SAT (TO) f=36 TT=1800.05 T1=1800.4	SAT (TO) f=36 TT=1800.09 T1=1800.4	OPT f=36 TT=51.716 T1=51.72	SAT (TO) f=36 TT=1800.02 T1=1800.3	SAT (TO) f=36 TT=1800.84 T1=38.34	SAT (TO) f=36 TT=1800.03 T1=2.87	OPT f=36 TT=57.018 T1=56.14
/OPT-SMALLINT-LIN/heinz/ normalized-neos-1616732.opb	SAT f=161 TT=1800.02 T1=1800.3	? (TO) TT=1800.02	? (TO) TT=1800	SAT (TO) f=161 TT=1800.02 T1=1800.3	SAT (TO) f=172 TT=1800.02 T1=1800.3	SAT (TO) f=172 TT=1800.02 T1=1800.3	SAT (TO) f=161 TT=1800.02 T1=1800.3	SAT (TO) f=163 TT=1800.1 T1=105.78	SAT (TO) f=163 TT=1800.07 T1=288.14	? (TO) TT=1800.02
/OPT-SMALLINT-LIN/heinz/ normalized-neos18.opb	OPT f=16 TT=0.042 T1=0.04	OPT f=16 TT=0.253 T1=0.25	OPT f=16 TT=0.155 T1=0.15	OPT f=16 TT=0.113 T1=0.11	OPT f=16 TT=0.119 T1=0.12	OPT f=16 TT=0.042 T1=0.04	OPT f=16 TT=0.046 T1=0.04	OPT f=16 TT=3.124 T1=0.95	OPT f=16 TT=1.453 T1=0.43	OPT f=16 TT=0.646 T1=0.38
/OPT-SMALLINT-LIN/heinz/ normalized-neos-506428.opb	OPT f=1 TT=0.465 T1=0.45	OPT f=1 TT=0.853 T1=0.83	OPT f=1 TT=0.465 T1=0.45	OPT f=1 TT=1.717 T1=1.7	OPT f=1 TT=1.678 T1=1.67	OPT f=1 TT=0.5 T1=0.48	OPT f=1 TT=0.498 T1=0.48	OPT f=1 TT=2.584 T1=1.56	OPT f=1 TT=1.845 T1=0.98	OPT f=1 TT=2.876 T1=2.84
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
/OPT-SMALLINT-LIN/heinz/ normalized-neos-538867.opb	OPT f=122 TT=22.464 T1=22.46	? (TO) TT=1800.02	? (TO) TT=1800.02	OPT f=122 TT=79.734 T1=79.74	OPT f=122 TT=33.09 T1=33.08	OPT f=122 TT=35.195 T1=35.2	OPT f=122 TT=22.464 T1=22.46	SAT (TO) f=127 TT=1800.15 T1=413.24	SAT (TO) f=122 TT=1800.09 T1=1638.83	? (TO) TT=1800.11
/OPT-SMALLINT-LIN/heinz/ normalized-neos-544324.opb	SAT f=17 TT=1800.09 T1=1800.4	? (TO) TT=1800.07	? (TO) TT=1800.03	SAT (TO) f=17 TT=1800.09 T1=1800.4	? (TO) TT=1800.05	? (TO) TT=1800.22	? (TO) TT=1800.33	? (TO) TT=1800.09	? (TO) TT=1800.09	? (TO) TT=1800.05
/OPT-SMALLINT-LIN/heinz/ normalized-neos-547911.opb	SAT f=15 TT=1800.05 T1=572.46	? (TO) TT=1800.01	? (TO) TT=1800.02	? (TO) TT=1800.03	SAT (TO) f=16 TT=1800.01 T1=1800.4	? (TO) TT=1800.09	? (TO) TT=1800.02	SAT (TO) f=15 TT=1800.05 T1=572.46	SAT (TO) f=16 TT=1800.04 T1=62.74	? (TO) TT=1800.06
/OPT-SMALLINT-LIN/heinz/ normalized-neos-631710.opb	SAT f=206 TT=1800.22 T1=1800.5	? (TO) TT=1800.18	? (TO) TT=1800.03	SAT (TO) f=206 TT=1800.22 T1=1800.5	? (TO) TT=1800.05	SAT (TO) f=555 TT=1800.17 T1=1800.4	SAT (TO) f=555 TT=1800.21 T1=1800.4	SAT (TO) f=509 TT=1800.73 T1=130.67	SAT (TO) f=316 TT=1800.08 T1=870.36	? (TO) TT=1800.08
/OPT-SMALLINT-LIN/heinz/ normalized-neos-777800.opb	OPT f=-80 TT=97.778 T1=97.78	? (TO) TT=1800.35	? (TO) TT=1800.03	OPT f=-80 TT=1786.21 T1=1786.54	OPT f=-80 TT=678.928 T1=679.02	SAT (TO) f=-80 TT=1800.1 T1=1800.4	OPT f=-80 TT=97.778 T1=97.78	? (TO) TT=1802.54	? (TO) TT=1800.8	? (TO) TT=1800.04
/OPT-SMALLINT-LIN/heinz/ normalized-neos-785912.opb	UNSAT TT=3.381	UNSAT TT=14.75	UNSAT TT=14.52	UNSAT TT=68.218	UNSAT TT=6.565	UNSAT TT=3.381	UNSAT TT=3.438	UNSAT TT=12.412	UNSAT TT=6.174	UNSAT TT=36.165
/OPT-SMALLINT-LIN/heinz/ normalized-neos788725.opb	UNSAT TT=370.61	UNSAT TT=398.97	UNSAT TT=402.791	? (TO) TT=1800.02	UNSAT TT=370.61	UNSAT TT=1353.75	UNSAT TT=1324.74	? (TO) TT=1800	? (TO) TT=1800.05	? (TO) TT=1800.02
/OPT-SMALLINT-LIN/heinz/ normalized-neos-807456.opb		? (TO) TT=1800.02	? (TO) TT=1800.02	? (TO) TT=1800.02	? (TO) TT=1800.02	? (TO) TT=1800.02	? (TO) TT=1800.02	? (TO) TT=1800.05	? (TO) TT=1800.04	? (TO) TT=1800.07
/OPT-SMALLINT-LIN/heinz/ normalized-neos-859770.opb	UNSAT TT=56.336	? (TO) TT=1800.08	? (TO) TT=1800.03	UNSAT TT=318.225	UNSAT TT=56.336	? (TO) TT=1800.07	? (TO) TT=1800.16	UNSAT TT=1444.08	? (TO) TT=1800.68	? (TO) TT=1800.08
/OPT-SMALLINT-LIN/heinz/ normalized-ns1696083.opb	OPT f=45 TT=393.475 T1=185.25	? (TO) TT=1800.11	? (TO) TT=1800.02	SAT (TO) f=50 TT=1800.08 T1=1800.4	SAT (TO) f=47 TT=1800.07 T1=1800.5	? TT=65.981	? TT=66.43	SAT (TO) f=45 TT=1800.41 T1=705.79	OPT f=45 TT=393.475 T1=185.25	? (TO) TT=1800.04
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
/OPT-SMALLINT-LIN/heinz/ normalized-ns1745726.opb	UNSAT TT=5.661	UNSAT TT=9.024	UNSAT TT=8.907	UNSAT TT=17.757	UNSAT TT=54.931	UNSAT TT=103.755	UNSAT TT=107.956	UNSAT TT=13.861	UNSAT TT=5.661	UNSAT TT=39.166
/OPT-SMALLINT-LIN/heinz/ normalized-ns1853823.opb	SAT f=43 TT=1800.06 T1=146.28	? (TO) TT=1800.03	? (TO) TT=1800.11	? (TO) TT=1800.1	SAT (TO) f=1730 TT=1800.35 T1=1800.4	? (TO) TT=1800.35	? (TO) TT=1800.24	SAT (TO) f=43 TT=1800.06 T1=146.28	No Cert. TT=1800.79	? (TO) TT=1800.07
/OPT-SMALLINT-LIN/ heinz/normalized-ns894244.opb		? (TO) TT=1800.12	? (TO) TT=1800.01	? (TO) TT=1800.1	? (TO) TT=1800.01	? (TO) TT=1800.02	? (TO) TT=1800.02	? (TO) TT=1800.04	? (TO) TT=1800.01	? (TO) TT=1800.09
/OPT-SMALLINT-LIN/ heinz/normalized-ns894788.opb		? (TO) TT=1800.1	? (TO) TT=1800.02	? (TO) TT=1800.02	? (TO) TT=1800.02	? (TO) TT=1800.02	? (TO) TT=1800.02	? (TO) TT=1800.15	? (TO) TT=1800.04	? (TO) TT=1800.08
/OPT-SMALLINT-LIN/heinz/ normalized-p6b.opb	SAT f=-61 TT=1800.02 T1=1800.3	? (TO) TT=1800.11	? (TO) TT=1800.11	SAT (TO) f=-59 TT=1800.02 T1=1800.3	SAT (TO) f=-52 TT=1800.02 T1=1800.3	SAT (TO) f=-52 TT=1800.02 T1=1800.3	SAT (TO) f=-61 TT=1800.02 T1=1800.3	SAT (TO) f=-54 TT=1800.95 T1=1.38	SAT (TO) f=-54 TT=1800.78 T1=0.36	? (TO) TT=1800.04
/OPT-SMALLINT-LIN/ heinz/ normalized-pb-simp-nonunif.opb	OPT f=42 TT=5.88 T1=5.86	OPT f=42 TT=18.103 T1=18.09	OPT f=42 TT=11 T1=10.99	OPT f=42 TT=11.187 T1=11.17	OPT f=42 TT=10.535 T1=10.53	OPT f=42 TT=5.88 T1=5.86	OPT f=42 TT=6.96 T1=6.94	SAT (TO) f=43 TT=1800.1 T1=177.02	SAT (TO) f=42 TT=1800.06 T1=328.14	OPT f=42 TT=26.985 T1=26.71
/OPT-SMALLINT-LIN/ heinz/normalized-protfold.opb	SAT f=-25 TT=1800.08 T1=1800.4	? (TO) TT=1800.05	? (TO) TT=1800.02	SAT (TO) f=-25 TT=1800.08 T1=1800.4	SAT (TO) f=-13 TT=1800.06 T1=1800.4	SAT (TO) f=-11 TT=1800.02 T1=1800.3	SAT (TO) f=-25 TT=1800.1 T1=1800.4	SAT (TO) f=-22 TT=1800.04 T1=677.54	SAT (TO) f=-24 TT=1800.03 T1=632.27	? (TO) TT=1800.11
/OPT-SMALLINT-LIN/heinz/ normalized-queens-30.opb	SAT f=-38 TT=1800.07 T1=1800.4	? (TO) TT=1800.09	? (TO) TT=1800.02	SAT (TO) f=-36 TT=1800.09 T1=1800.4	SAT (TO) f=-34 TT=1800.07 T1=1800.4	SAT (TO) f=0 TT=1800.08 T1=1800.4	SAT (TO) f=-38 TT=1800.07 T1=1800.4	SAT (TO) f=-36 TT=1800.57 T1=18.69	SAT (TO) f=-31 TT=1800.07 T1=0.62	? (TO) TT=1800.08
/OPT-SMALLINT-LIN/ heinz/normalized-seymour.opb	SAT f=449 TT=1800.02 T1=1800.3	? (TO) TT=1800.07	? (TO) TT=1800.02	SAT (TO) f=459 TT=1800.01 T1=1800.3	SAT (TO) f=502 TT=1800.02 T1=1800.3	SAT (TO) f=502 TT=1800.02 T1=1800.3	SAT (TO) f=449 TT=1800.02 T1=1800.3	SAT (TO) f=483 TT=1800.17 T1=889.72	SAT (TO) f=501 TT=1800.75 T1=0.62	? (TO) TT=1800.04
/OPT-SMALLINT-LIN/heinz/ normalized-tanglegram1.opb	OPT f=5182 TT=1210.91 T1=1211.14	? (TO) TT=1800.05	? (TO) TT=1800.16	SAT (TO) f=7518 TT=1800.08 T1=1800.4	SAT (TO) f=7518 TT=1800.12 T1=1800.4	SAT (TO) f=9688 TT=1800.09 T1=1800.4	OPT f=5182 TT=1210.91 T1=1211.14	SAT (TO) f=7160 TT=1800.13 T1=162.88	SAT (TO) f=7102 TT=1800.01 T1=95.63	? (TO) TT=1800.15
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
/OPT-SMALLINT-LIN/heinz/ normalized-tanglegram3.opb	SAT f=15979 TT=1800.09 T1=1800.4	Signal TT=1623.02	? (TO) TT=1800.08	SAT (TO) f=27171 TT=1800.08 T1=1800.5	SAT (TO) f=27171 TT=1800.15 T1=1800.3	SAT (TO) f=27426 TT=1800.09 T1=1800.4	SAT (TO) f=15979 TT=1800.09 T1=1800.4	SAT (TO) f=23598 TT=1800.12 T1=2.37	SAT (TO) f=23598 TT=1800.24 T1=1.9	? (TO) TT=1800.08
/OPT-SMALLINT-LIN/heinz/ normalized-toll-like.opb	SAT f=761 TT=1800.01 T1=1800.3	? (TO) TT=1800.1	? (TO) TT=1800.02	SAT (TO) f=956 TT=1800.02 T1=1800.3	SAT (TO) f=1118 TT=1800.11 T1=1800.4	SAT (TO) f=853 TT=1800.02 T1=1800.3	SAT (TO) f=761 TT=1800.01 T1=1800.3	SAT (TO) f=806 TT=1800.05 T1=743.29	SAT (TO) f=833 TT=1800.02 T1=0.5	? (TO) TT=1800.13
/OPT-SMALLINT-LIN/ heinz/ normalized-wnq-n100-mw99-14.opb	SAT f=398 TT=1800.09 T1=1800.4	? (TO) TT=1800.02	? (TO) TT=1800.03	SAT (TO) f=6109 TT=1800.05 T1=1800.6	SAT (TO) f=4612 TT=1800.08 T1=1800.4	SAT (TO) f=398 TT=1800.09 T1=1800.4	? TT=70.593	SAT (TO) f=869 TT=1800.04 T1=124.26	SAT (TO) f=778 TT=1800 T1=3.36	? (TO) TT=1800.03
/OPT-SMALLINT-LIN/ kullmann/ normalized-mul_8_11_shg.opb	SAT f=176 TT=1800.61 T1=331.09	? (TO) TT=1800.1	? (TO) TT=1800.02	SAT (TO) f=194 TT=1800.04 T1=1800.5	SAT (TO) f=194 TT=1800.06 T1=1800.4	SAT (TO) f=194 TT=1800.06 T1=1800.4	SAT (TO) f=194 TT=1800.1 T1=1800.4	SAT (TO) f=176 TT=1800.61 T1=331.09	No Cert. TT=1800.02	? (TO) TT=1800.22
/OPT-SMALLINT-LIN/ kullmann/ normalized-mul_8_13_shg.opb	SAT f=155 TT=1800.64 T1=256.06	? (TO) TT=1800.07	? (TO) TT=1800.03	SAT (TO) f=162 TT=1800.17 T1=1800.5	SAT (TO) f=162 TT=1800.09 T1=1800.4	SAT (TO) f=162 TT=1800.12 T1=1800.5	SAT (TO) f=162 TT=1800.07 T1=1800.4	SAT (TO) f=155 TT=1800.64 T1=256.06	No Cert. TT=1800.09	? (TO) TT=1800.04
/OPT-SMALLINT-LIN/ kullmann/ normalized-mul_8_14_shg.opb	SAT f=104 TT=1800 T1=9.78	? (TO) TT=1800.04	? (TO) TT=1800.02	SAT (TO) f=110 TT=1800.03 T1=1800.4	SAT (TO) f=110 TT=1800.1 T1=1800.4	SAT (TO) f=110 TT=1800.1 T1=1800.5	SAT (TO) f=110 TT=1800.11 T1=1800.4	SAT (TO) f=104 TT=1800 T1=9.78	No Cert. TT=1800.35	? (TO) TT=1800.03
/OPT-SMALLINT-LIN/ kullmann/normalized-mul_8_3_shg.opb	SAT f=44 TT=1800.05 T1=3.25	? (TO) TT=1800.1	? (TO) TT=1800.05	SAT (TO) f=45 TT=1800.02 T1=1800.4	SAT (TO) f=45 TT=1800.08 T1=1800.4	SAT (TO) f=45 TT=1800.1 T1=1800.4	SAT (TO) f=45 TT=1800.11 T1=1800.4	SAT (TO) f=44 TT=1800.05 T1=4.46	SAT (TO) f=44 TT=1800.08 T1=3.25	? (TO) TT=1800
/OPT-SMALLINT-LIN/ kullmann/normalized-mul_8_9_shg.opb	SAT f=81 TT=1800.07 T1=209.86	? (TO) TT=1800.07	? (TO) TT=1800.03	SAT (TO) f=83 TT=1800.08 T1=1800.4	SAT (TO) f=83 TT=1800.04 T1=1800.4	SAT (TO) f=83 TT=1800.1 T1=1800.4	SAT (TO) f=83 TT=1800.09 T1=1800.4	SAT (TO) f=81 TT=1800.07 T1=209.86	No Cert. TT=1800.08	? (TO) TT=1800.03
/OPT-SMALLINT-LIN/ kullmann/normalized-sbox_4_shg.opb	OPT f=22 TT=0.194 T1=0.19	OPT f=22 TT=86.236 T1=86.24	OPT f=22 TT=111.737 T1=111.75	SAT (TO) f=22 TT=1800.02 T1=1800.3	SAT (TO) f=22 TT=1800.02 T1=1800.3	OPT f=22 TT=0.194 T1=0.19	SAT (TO) f=22 TT=1800.02 T1=1800.3	SAT (TO) f=22 TT=1800.12 T1=149.26	SAT (TO) f=29 TT=1800.7 T1=1141.7	? (TO) TT=1800.02
/OPT-SMALLINT-LIN/ kullmann/normalized-sbox_8_shg.opb	SAT f=842 TT=1800.02 T1=865.55	? (TO) TT=1800.28	? (TO) TT=1800.04	? (TO) TT=1800.5	SAT (TO) f=845 TT=1800.32 T1=1800.3	SAT (TO) f=845 TT=1800.09 T1=1800.4	SAT (TO) f=845 TT=1800.16 T1=1800.4	SAT (TO) f=842 TT=1800.02 T1=865.55	No Cert. TT=1800.9	? (MO) TT=393.968
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
/OPT-SMALLINT-LIN/leberre/opb-paranoid/ misc2010/datasets/caixa/ normalized-1034.cudf.paranoid.opb	UNSAT TT=0.019	UNSAT TT=0.037	UNSAT TT=0.03	UNSAT TT=0.073	UNSAT TT=0.062	UNSAT TT=0.019	UNSAT TT=0.019	UNSAT TT=1.824	UNSAT TT=0.633	UNSAT TT=0.118
/OPT-SMALLINT-LIN/leberre/opb-paranoid/ misc2010/datasets/caixa/ normalized-1037.cudf.paranoid.opb	OPT f=90 TT=0.006 T1=0	OPT f=90 TT=0.032 T1=0.03	OPT f=90 TT=0.019 T1=0.02	OPT f=90 TT=0.027 T1=0.02	OPT f=90 TT=0.029 T1=0.03	OPT f=90 TT=0.006 T1=0	OPT f=90 TT=0.007 T1=0	OPT f=90 TT=0.654 T1=1.78	OPT f=90 TT=0.465 T1=0.28	OPT f=90 TT=0.145 T1=0.13
/OPT-SMALLINT-LIN/leberre/opb-paranoid/ misc2010/datasets/caixa/ normalized-1077.cudf.paranoid.opb	UNSAT TT=0.014	UNSAT TT=0.031	UNSAT TT=0.025	UNSAT TT=0.041	UNSAT TT=0.045	UNSAT TT=0.014	UNSAT TT=0.014	UNSAT TT=0.584	UNSAT TT=0.524	UNSAT TT=0.101
/OPT-SMALLINT-LIN/leberre/opb-paranoid/ misc2010/datasets/caixa/ normalized-1078.cudf.paranoid.opb	OPT f=4 TT=0 T1=0	OPT f=4 TT=0.021 T1=0.02	OPT f=4 TT=0.012 T1=0.01	OPT f=4 TT=0 T1=0	OPT f=4 TT=0.001 T1=0	OPT f=4 TT=0.002 T1=0	OPT f=4 TT=0.001 T1=0	OPT f=4 TT=0.164 T1=0.62	OPT f=4 TT=0.156 T1=0.11	OPT f=4 TT=0.014 T1=0.01
/OPT-SMALLINT-LIN/leberre/opb-paranoid/ misc2010/datasets/caixa/ normalized-1093.cudf.paranoid.opb	UNSAT TT=0.017	UNSAT TT=0.035	UNSAT TT=0.029	UNSAT TT=0.054	UNSAT TT=0.055	UNSAT TT=0.017	UNSAT TT=0.017	UNSAT TT=0.674	UNSAT TT=0.564	UNSAT TT=0.111
/OPT-SMALLINT-LIN/leberre/opb-paranoid/ misc2010/datasets/caixa/ normalized-1094.cudf.paranoid.opb	OPT f=126 TT=0.008 T1=0	OPT f=126 TT=0.033 T1=0.03	OPT f=126 TT=0.018 T1=0.01	OPT f=126 TT=0.026 T1=0.02	OPT f=126 TT=0.022 T1=0.02	OPT f=126 TT=0.008 T1=0	OPT f=126 TT=0.008 T1=0	OPT f=126 TT=0.592 T1=0.79	OPT f=126 TT=0.433 T1=0.26	OPT f=126 TT=0.179 T1=0.17
/OPT-SMALLINT-LIN/leberre/opb-paranoid/ misc2010/datasets/caixa/ normalized-1097.cudf.paranoid.opb	OPT f=125 TT=0.007 T1=0	OPT f=125 TT=0.032 T1=0.03	OPT f=125 TT=0.02 T1=0.01	OPT f=125 TT=0.023 T1=0.02	OPT f=125 TT=0.022 T1=0.02	OPT f=125 TT=0.007 T1=0	OPT f=125 TT=0.008 T1=0	OPT f=125 TT=0.613 T1=0.79	OPT f=125 TT=0.435 T1=0.26	OPT f=125 TT=0.176 T1=0.16
/OPT-SMALLINT-LIN/leberre/opb-paranoid/ misc2010/datasets/caixa/ normalized-1098.cudf.paranoid.opb	OPT f=256 TT=0.018 T1=0.01	OPT f=256 TT=0.051 T1=0.05	OPT f=256 TT=0.031 T1=0.03	OPT f=256 TT=0.063 T1=0.06	OPT f=256 TT=0.062 T1=0.06	OPT f=256 TT=0.018 T1=0.01	OPT f=256 TT=0.019 T1=0.02	OPT f=256 TT=2.234 T1=1.85	OPT f=256 TT=0.804 T1=0.39	OPT f=256 TT=0.393 T1=0.38
/OPT-SMALLINT-LIN/leberre/opb-paranoid/ misc2010/datasets/caixa/ normalized-1125.cudf.paranoid.opb	UNSAT TT=0.003	UNSAT TT=0.02	UNSAT TT=0.014	UNSAT TT=0.008	UNSAT TT=0.008	UNSAT TT=0.003	UNSAT TT=0.004	UNSAT TT=0.263	UNSAT TT=0.224	UNSAT TT=0.028
/OPT-SMALLINT-LIN/leberre/ opb-paranoid/misc2010/datasets/caixa/ normalized-121.cudf.paranoid.opb	UNSAT TT=0.045	UNSAT TT=0.061	UNSAT TT=0.049	UNSAT TT=0.124	UNSAT TT=0.127	UNSAT TT=0.045	UNSAT TT=0.048	UNSAT TT=1.334	UNSAT TT=0.713	UNSAT TT=0.263
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
/OPT-SMALLINT-LIN/leberre/ opb-paranoid/misc2010/datasets/caixa/ normalized-122.cudf.paranoid.opb	UNSAT TT=0.047	UNSAT TT=0.061	UNSAT TT=0.05	UNSAT TT=0.124	UNSAT TT=0.127	UNSAT TT=0.047	UNSAT TT=0.049	UNSAT TT=1.313	UNSAT TT=0.714	UNSAT TT=0.261
/OPT-SMALLINT-LIN/leberre/ opb-paranoid/misc2010/datasets/caixa/ normalized-658.cudf.paranoid.opb	UNSAT TT=0.007	UNSAT TT=0.024	UNSAT TT=0.019	UNSAT TT=0.02	UNSAT TT=0.021	UNSAT TT=0.007	UNSAT TT=0.007	UNSAT TT=0.474	UNSAT TT=0.364	UNSAT TT=0.059
/OPT-SMALLINT-LIN/leberre/ opb-paranoid/misc2010/datasets/caixa/ normalized-787.cudf.paranoid.opb	OPT f=14 TT=0.001 T1=0	OPT f=14 TT=0.022 T1=0.02	OPT f=14 TT=0.014 T1=0.01	OPT f=14 TT=0.003 T1=0	OPT f=14 TT=0.003 T1=0	OPT f=14 TT=0.001 T1=0	OPT f=14 TT=0.001 T1=0	OPT f=14 TT=0.195 T1=0.65	OPT f=14 TT=0.186 T1=0.14	OPT f=14 TT=0.024 T1=0.01
/OPT-SMALLINT-LIN/leberre/ opb-paranoid/misc2010/datasets/caixa/ normalized-869.cudf.paranoid.opb	UNSAT TT=0.007	UNSAT TT=0.024	UNSAT TT=0.019	UNSAT TT=0.02	UNSAT TT=0.02	UNSAT TT=0.008	UNSAT TT=0.007	UNSAT TT=0.444	UNSAT TT=0.365	UNSAT TT=0.058
/OPT-SMALLINT-LIN/leberre/ opb-paranoid/misc2010/datasets/caixa/ normalized-902.cudf.paranoid.opb	OPT f=277 TT=0.025 T1=0.02	OPT f=277 TT=0.074 T1=0.07	OPT f=277 TT=0.047 T1=0.04	OPT f=277 TT=0.11 T1=0.11	OPT f=277 TT=0.097 T1=0.1	OPT f=277 TT=0.025 T1=0.02	OPT f=277 TT=0.034 T1=0.03	OPT f=277 TT=3.184 T1=2.41	OPT f=277 TT=1.053 T1=0.47	OPT f=277 TT=0.593 T1=0.57
/OPT-SMALLINT-LIN/leberre/ opb-paranoid/misc2010/datasets/caixa/ normalized-990.cudf.paranoid.opb	OPT f=273 TT=0.023 T1=0.02	OPT f=273 TT=0.069 T1=0.06	OPT f=273 TT=0.051 T1=0.04	OPT f=273 TT=0.114 T1=0.11	OPT f=273 TT=0.113 T1=0.11	OPT f=273 TT=0.023 T1=0.02	OPT f=273 TT=0.034 T1=0.03	OPT f=273 TT=2.815 T1=3.41	OPT f=273 TT=1.074 T1=0.45	OPT f=273 TT=0.606 T1=0.59
/OPT-SMALLINT-LIN/leberre/ opb-paranoid/misc2010/datasets/caixa/ normalized-995.cudf.paranoid.opb	UNSAT TT=0.003	UNSAT TT=0.02	UNSAT TT=0.014	UNSAT TT=0.009	UNSAT TT=0.01	UNSAT TT=0.003	UNSAT TT=0.003	UNSAT TT=0.294	UNSAT TT=0.273	UNSAT TT=0.034
/OPT-SMALLINT-LIN/leberre/opb-paranoid/ misc2010/random/rand.biglist/ normalized-rand0c02bc.cudf.paranoid.opb	OPT f=8730 TT=0.303 T1=0.3	OPT f=8730 TT=59.729 T1=59.72	? (TO) TT=1800.02	OPT f=8730 TT=78.396 T1=78.36	OPT f=8730 TT=4.411 T1=4.38	OPT f=8730 TT=0.303 T1=0.3	OPT f=8730 TT=0.688 T1=0.68	OPT f=8730 TT=897.65 T1=718.89	OPT f=8730 TT=637.66 T1=614.42	OPT f=8730 TT=619.273 T1=618.52
/OPT-SMALLINT-LIN/leberre/opb-paranoid/ misc2010/random/rand.biglist/ normalized-rand199fd6.cudf.paranoid.opb	UNSAT TT=0.097	UNSAT TT=0.117	UNSAT TT=0.097	UNSAT TT=0.311	UNSAT TT=0.31	UNSAT TT=0.115	UNSAT TT=0.119	UNSAT TT=1.494	UNSAT TT=0.833	UNSAT TT=0.6
/OPT-SMALLINT-LIN/leberre/opb-paranoid/ misc2010/random/rand.biglist/ normalized-rand2d8467.cudf.paranoid.opb	OPT f=13125 TT=0.338 T1=0.33	OPT f=13125 TT=18.44 T1=18.43	? (TO) TT=1800.03	OPT f=13125 TT=709.223 T1=709.28	OPT f=13125 TT=6.037 T1=6	OPT f=13125 TT=0.338 T1=0.33	OPT f=13125 TT=0.656 T1=0.65	OPT f=13125 TT=782.864 T1=354.98	OPT f=13125 TT=437.58 T1=437.87	OPT f=13125 TT=495.156 T1=492.4
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
/OPT-SMALLINT-LIN/leberre/opb-paranoid/ misc2010/random/rand.biglist/ normalized-rand35d0c8.cudf.paranoid.opb	OPT f=5656 TT=0.332 T1=0.33	OPT f=5656 TT=1.724 T1=1.71	? (TO) TT=1800.03	OPT f=5656 TT=106.236 T1=106.2	OPT f=5656 TT=7.256 T1=7.22	OPT f=5656 TT=0.332 T1=0.33	OPT f=5656 TT=0.538 T1=0.54	OPT f=5656 TT=1365.91 T1=381.94	SAT (TO) f=5665 TT=1800.01 T1=1413.57	OPT f=5656 TT=713.954 T1=713.37
/OPT-SMALLINT-LIN/leberre/opb-paranoid/ misc2010/random/rand.biglist/ normalized-rand4bf850.cudf.paranoid.opb	OPT f=10949 TT=0.332 T1=0.33	OPT f=10949 TT=15.68 T1=15.67	? (TO) TT=1800.03	OPT f=10949 TT=222.194 T1=222.19	OPT f=10949 TT=5.95 T1=5.91	OPT f=10949 TT=0.332 T1=0.33	OPT f=10949 TT=0.632 T1=0.63	OPT f=10949 TT=628.149 T1=66.8	OPT f=10949 TT=785.4 T1=395.37	OPT f=10949 TT=654.293 T1=650.44
/OPT-SMALLINT-LIN/leberre/opb-paranoid/ misc2010/random/rand.biglist/ normalized-rand65d021.cudf.paranoid.opb	UNSAT TT=0.106	UNSAT TT=0.202	UNSAT TT=0.115	UNSAT TT=0.417	UNSAT TT=0.395	UNSAT TT=0.106	UNSAT TT=0.113	UNSAT TT=3.373	UNSAT TT=1.133	UNSAT TT=0.704
/OPT-SMALLINT-LIN/leberre/opb-paranoid/ misc2010/random/rand.biglist/ normalized-rand902db1.cudf.paranoid.opb	OPT f=0 TT=0.101 T1=0.1	OPT f=0 TT=0.2 T1=0.19	OPT f=0 TT=0.324 T1=0.32	OPT f=0 TT=0.75 T1=0.74	OPT f=0 TT=0.5 T1=0.49	OPT f=0 TT=0.101 T1=0.1	OPT f=0 TT=0.15 T1=0.14	OPT f=0 TT=2.714 T1=1.2	OPT f=0 TT=1.093 T1=0.53	OPT f=0 TT=2.109 T1=2.04
/OPT-SMALLINT-LIN/leberre/opb-paranoid/ misc2010/random/rand.biglist/ normalized-randa09fe9.cudf.paranoid.opb	OPT f=9469 TT=0.378 T1=0.37	OPT f=9469 TT=5.879 T1=5.87	? (TO) TT=1800.02	SAT (TO) f=11369 TT=1800.06 T1=1800.4	OPT f=9469 TT=3.763 T1=3.73	OPT f=9469 TT=0.378 T1=0.37	OPT f=9469 TT=0.643 T1=0.64	OPT f=9469 TT=17.98 T1=7.78	OPT f=9469 TT=34.358 T1=29.2	OPT f=9469 TT=912.291 T1=911.5
/OPT-SMALLINT-LIN/leberre/opb-paranoid/ misc2010/random/rand.biglist/ normalized-randa491d5.cudf.paranoid.opb	UNSAT TT=0.115	UNSAT TT=0.212	UNSAT TT=0.121	UNSAT TT=0.44	UNSAT TT=0.415	UNSAT TT=0.115	UNSAT TT=0.119	UNSAT TT=3.584	UNSAT TT=1.205	UNSAT TT=0.757
/OPT-SMALLINT-LIN/leberre/opb-paranoid/ misc2010/random/rand.biglist/ normalized-randa6997e.cudf.paranoid.opb	OPT f=5898 TT=0.42 T1=0.42	OPT f=5898 TT=58.208 T1=58.2	? (TO) TT=1800.03	OPT f=5898 TT=570.437 T1=570.47	OPT f=5898 TT=5.226 T1=5.2	OPT f=5898 TT=0.42 T1=0.42	OPT f=5898 TT=0.667 T1=0.66	OPT f=5898 TT=534.744 T1=26.31	OPT f=5898 TT=585.35 T1=163.73	OPT f=5898 TT=954.676 T1=954.35
/OPT-SMALLINT-LIN/leberre/opb-paranoid/ misc2010/random/rand.biglist/ normalized-randaef248.cudf.paranoid.opb	UNSAT TT=0.098	UNSAT TT=0.116	UNSAT TT=0.098	UNSAT TT=0.424	UNSAT TT=0.392	UNSAT TT=0.113	UNSAT TT=0.121	UNSAT TT=2.324	UNSAT TT=0.904	UNSAT TT=0.609
/OPT-SMALLINT-LIN/leberre/opb-paranoid/ misc2010/random/rand.biglist/ normalized-randaefc7c.cudf.paranoid.opb	OPT f=0 TT=0.103 T1=0.1	OPT f=0 TT=0.243 T1=0.23	OPT f=0 TT=464.289 T1=464.35	OPT f=0 TT=443.964 T1=443.92	OPT f=0 TT=2.927 T1=2.9	OPT f=0 TT=0.103 T1=0.1	OPT f=0 TT=0.156 T1=0.15	OPT f=0 TT=2.696 T1=1.16	OPT f=0 TT=1.103 T1=0.49	OPT f=0 TT=4.765 T1=4.84
/OPT-SMALLINT-LIN/leberre/opb-paranoid/ misc2010/random/rand.biglist/ normalized-randb87834.cudf.paranoid.opb	OPT f=11434 TT=0.364 T1=0.36	OPT f=11434 TT=33.371 T1=33.36	? (TO) TT=1800.03	OPT f=11434 TT=973.101 T1=973.19	OPT f=11434 TT=5.525 T1=5.49	OPT f=11434 TT=0.364 T1=0.36	OPT f=11434 TT=0.575 T1=0.57	OPT f=11434 TT=294.528 T1=196.46	OPT f=11434 TT=128.443 T1=112.77	OPT f=11434 TT=843.336 T1=842.29
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
/OPT-SMALLINT-LIN/leberre/opb-paranoid/ misc2010/random/rand.biglist/ normalized-randbccf2d.cudf.paranoid.opb	OPT f=6128 TT=0.387 T1=0.38	OPT f=6128 TT=5.203 T1=5.19	? (TO) TT=1800.03	OPT f=6128 TT=1566.49 T1=1566.63	OPT f=6128 TT=3.819 T1=3.79	OPT f=6128 TT=0.387 T1=0.38	OPT f=6128 TT=0.612 T1=0.61	OPT f=6128 TT=513.107 T1=183.87	OPT f=6128 TT=666.84 T1=650.67	OPT f=6128 TT=659.754 T1=659.12
/OPT-SMALLINT-LIN/leberre/opb-paranoid/ misc2010/random/rand.biglist/ normalized-randd1cab2.cudf.paranoid.opb	OPT f=15492 TT=0.358 T1=0.35	OPT f=15492 TT=1.537 T1=1.53	? (TO) TT=1800.03	OPT f=15492 TT=497.656 T1=497.65	OPT f=15492 TT=4.86 T1=4.82	OPT f=15492 TT=0.358 T1=0.35	OPT f=15492 TT=0.735 T1=0.73	OPT f=15492 TT=124.085 T1=2.74	OPT f=15492 TT=320.786 T1=294.73	OPT f=15492 TT=851.15 T1=849.77
/OPT-SMALLINT-LIN/leberre/opb-paranoid/ misc2010/random/rand.biglist/ normalized-randf7d077.cudf.paranoid.opb	UNSAT TT=0.112	UNSAT TT=0.215	UNSAT TT=0.122	UNSAT TT=0.463	UNSAT TT=0.435	UNSAT TT=0.112	UNSAT TT=0.12	UNSAT TT=2.784	UNSAT TT=1.154	UNSAT TT=0.76
/OPT-SMALLINT-LIN/leberre/opb-paranoid/ misc2010/random/rand.biglist/ normalized-randfe95e3.cudf.paranoid.opb	UNSAT TT=0.094	UNSAT TT=0.111	UNSAT TT=0.094	UNSAT TT=0.395	UNSAT TT=0.299	UNSAT TT=0.107	UNSAT TT=0.113	UNSAT TT=2.343	UNSAT TT=0.934	UNSAT TT=0.564
/OPT-SMALLINT-LIN/leberre/opb-paranoid/ misc2010/random/rand.newlist/ normalized-rand00ebc7.cudf.paranoid.opb	UNSAT TT=0.086	UNSAT TT=0.101	UNSAT TT=0.086	UNSAT TT=0.35	UNSAT TT=0.265	UNSAT TT=0.094	UNSAT TT=0.1	UNSAT TT=2.305	UNSAT TT=0.904	UNSAT TT=0.456
/OPT-SMALLINT-LIN/leberre/opb-paranoid/ misc2010/random/rand.newlist/ normalized-rand085d8a.cudf.paranoid.opb	OPT f=10580 TT=0.222 T1=0.22	OPT f=10580 TT=1.981 T1=1.97	? (TO) TT=1800.03	OPT f=10580 TT=375.957 T1=375.96	OPT f=10580 TT=3.282 T1=3.25	OPT f=10580 TT=0.222 T1=0.22	OPT f=10580 TT=0.367 T1=0.36	OPT f=10580 TT=6.452 T1=5.7	OPT f=10580 TT=3.036 T1=1.56	OPT f=10580 TT=378.075 T1=377.04
/OPT-SMALLINT-LIN/leberre/opb-paranoid/ misc2010/random/rand.newlist/ normalized-rand0a62b6.cudf.paranoid.opb	OPT f=6943 TT=0.258 T1=0.27	OPT f=6943 TT=4.756 T1=4.75	? (TO) TT=1800.03	OPT f=6943 TT=198.872 T1=198.87	OPT f=6943 TT=4.423 T1=4.4	OPT f=6943 TT=0.258 T1=0.27	OPT f=6943 TT=0.435 T1=0.43	OPT f=6943 TT=11.623 T1=8.29	OPT f=6943 TT=2.824 T1=1.37	OPT f=6943 TT=443.098 T1=442.27
/OPT-SMALLINT-LIN/leberre/opb-paranoid/ misc2010/random/rand.newlist/ normalized-rand18b530.cudf.paranoid.opb	OPT f=6563 TT=0.23 T1=0.22	OPT f=6563 TT=2.899 T1=2.89	? (TO) TT=1800.03	OPT f=6563 TT=566.673 T1=566.72	OPT f=6563 TT=4.442 T1=4.41	OPT f=6563 TT=0.23 T1=0.22	OPT f=6563 TT=0.355 T1=0.35	OPT f=6563 TT=5.133 T1=2.72	OPT f=6563 TT=2.093 T1=0.84	OPT f=6563 TT=319.575 T1=318.77
/OPT-SMALLINT-LIN/leberre/opb-paranoid/ misc2010/random/rand.newlist/ normalized-rand271a0d.cudf.paranoid.opb	UNSAT TT=0.083	UNSAT TT=0.098	UNSAT TT=0.083	UNSAT TT=0.252	UNSAT TT=0.254	UNSAT TT=0.093	UNSAT TT=0.099	UNSAT TT=1.373	UNSAT TT=0.817	UNSAT TT=0.43
/OPT-SMALLINT-LIN/leberre/opb-paranoid/ misc2010/random/rand.newlist/ normalized-rand27da90.cudf.paranoid.opb	OPT f=11364 TT=0.244 T1=0.24	OPT f=11364 TT=5.23 T1=5.22	? (TO) TT=1800.03	OPT f=11364 TT=1242.43 T1=1242.55	OPT f=11364 TT=5.119 T1=5.09	OPT f=11364 TT=0.244 T1=0.24	OPT f=11364 TT=0.444 T1=0.44	OPT f=11364 TT=23.481 T1=20.81	OPT f=11364 TT=4.353 T1=3.13	OPT f=11364 TT=517.048 T1=515.86
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
/OPT-SMALLINT-LIN/leberre/opb-paranoid/ misc2010/random/rand.newlist/ normalized-rand362510.cudf.paranoid.opb	OPT f=1964 TT=0.255 T1=0.25	OPT f=1964 TT=5.104 T1=5.09	? (TO) TT=1800.03	OPT f=1964 TT=1243.47 T1=1243.58	OPT f=1964 TT=4.328 T1=4.3	OPT f=1964 TT=0.255 T1=0.25	OPT f=1964 TT=0.527 T1=0.52	OPT f=1964 TT=172.129 T1=136.59	OPT f=1964 TT=34.87 T1=28.82	OPT f=1964 TT=469.535 T1=469.3
/OPT-SMALLINT-LIN/leberre/opb-paranoid/ misc2010/random/rand.newlist/ normalized-rand3c03fd.cudf.paranoid.opb	OPT f=4927 TT=0.223 T1=0.22	OPT f=4927 TT=19.104 T1=19.09	? (TO) TT=1800.03	OPT f=4927 TT=418.817 T1=418.81	OPT f=4927 TT=3.757 T1=3.73	OPT f=4927 TT=0.223 T1=0.22	OPT f=4927 TT=0.409 T1=0.41	OPT f=4927 TT=34.57 T1=23.83	OPT f=4927 TT=14.482 T1=13.02	OPT f=4927 TT=293.556 T1=292.4
/OPT-SMALLINT-LIN/leberre/opb-paranoid/ misc2010/random/rand.newlist/ normalized-rand4a23d9.cudf.paranoid.opb	OPT f=6114 TT=0.184 T1=0.18	OPT f=6114 TT=4.147 T1=4.14	? (TO) TT=1800.03	OPT f=6114 TT=896.474 T1=896.6	OPT f=6114 TT=4.951 T1=4.92	OPT f=6114 TT=0.184 T1=0.18	OPT f=6114 TT=0.288 T1=0.28	OPT f=6114 TT=6.112 T1=4.7	OPT f=6114 TT=2.453 T1=1.21	OPT f=6114 TT=273.926 T1=265.67
/OPT-SMALLINT-LIN/leberre/opb-paranoid/ misc2010/random/rand.newlist/ normalized-rand4b919e.cudf.paranoid.opb	OPT f=5116 TT=0.234 T1=0.23	OPT f=5116 TT=26.305 T1=26.29	? (TO) TT=1800.03	OPT f=5116 TT=312.119 T1=312.13	OPT f=5116 TT=6.209 T1=6.17	OPT f=5116 TT=0.234 T1=0.23	OPT f=5116 TT=0.464 T1=0.46	OPT f=5116 TT=32.889 T1=16.76	OPT f=5116 TT=34.72 T1=32.91	OPT f=5116 TT=413.988 T1=407.12
/OPT-SMALLINT-LIN/leberre/opb-paranoid/ misc2010/random/rand.newlist/ normalized-rand5d20db.cudf.paranoid.opb	OPT f=5106 TT=0.276 T1=0.27	OPT f=5106 TT=4.27 T1=4.26	? (TO) TT=1800.03	OPT f=5106 TT=702.217 T1=702.28	OPT f=5106 TT=3.686 T1=3.66	OPT f=5106 TT=0.276 T1=0.27	OPT f=5106 TT=0.365 T1=0.36	OPT f=5106 TT=7.822 T1=5.27	OPT f=5106 TT=3.784 T1=2.22	OPT f=5106 TT=394.812 T1=394.25
/OPT-SMALLINT-LIN/leberre/opb-paranoid/ misc2010/random/rand.newlist/ normalized-rand71b131.cudf.paranoid.opb	OPT f=5657 TT=0.315 T1=0.31	OPT f=5657 TT=17.453 T1=17.44	? (TO) TT=1800.03	OPT f=5657 TT=1059.85 T1=1059.99	OPT f=5657 TT=2.719 T1=2.7	OPT f=5657 TT=0.315 T1=0.31	OPT f=5657 TT=0.591 T1=0.59	OPT f=5657 TT=96.289 T1=32.37	OPT f=5657 TT=45.276 T1=27.72	OPT f=5657 TT=834.001 T1=832.81
/OPT-SMALLINT-LIN/leberre/opb-paranoid/ misc2010/random/rand.newlist/ normalized-rand767898.cudf.paranoid.opb	OPT f=4821 TT=0.235 T1=0.23	OPT f=4821 TT=7.986 T1=7.98	? (TO) TT=1800.03	OPT f=4821 TT=181.181 T1=181.17	OPT f=4821 TT=3.974 T1=3.95	OPT f=4821 TT=0.235 T1=0.23	OPT f=4821 TT=0.424 T1=0.42	OPT f=4821 TT=10.232 T1=7.76	OPT f=4821 TT=7.343 T1=5.67	OPT f=4821 TT=452.058 T1=451.54
/OPT-SMALLINT-LIN/leberre/opb-paranoid/ misc2010/random/rand.newlist/ normalized-rand9ffe99.cudf.paranoid.opb	OPT f=4905 TT=0.268 T1=0.26	OPT f=4905 TT=3.996 T1=3.99	? (TO) TT=1800.03	OPT f=4905 TT=820.273 T1=820.24	OPT f=4905 TT=2.607 T1=2.59	OPT f=4905 TT=0.268 T1=0.26	OPT f=4905 TT=0.421 T1=0.41	OPT f=4905 TT=7.923 T1=4.25	OPT f=4905 TT=3.073 T1=1.7	OPT f=4905 TT=486.641 T1=486.22
/OPT-SMALLINT-LIN/leberre/opb-paranoid/ misc2010/random/rand.newlist/ normalized-randa2004a.cudf.paranoid.opb	OPT f=1859 TT=0.225 T1=0.22	OPT f=1859 TT=0.639 T1=0.63	? (TO) TT=1800.03	OPT f=1859 TT=458.108 T1=458.17	OPT f=1859 TT=4.511 T1=4.48	OPT f=1859 TT=0.225 T1=0.22	OPT f=1859 TT=0.339 T1=0.33	OPT f=1859 TT=7.313 T1=2.25	OPT f=1859 TT=2.403 T1=0.77	OPT f=1859 TT=419.37 T1=419.19
/OPT-SMALLINT-LIN/leberre/opb-paranoid/ misc2010/random/rand.newlist/ normalized-randb54299.cudf.paranoid.opb	OPT f=11142 TT=0.27 T1=0.27	OPT f=11142 TT=1.808 T1=1.8	OPT f=11142 TT=1182.71 T1=1182.88	OPT f=11142 TT=382.624 T1=382.61	OPT f=11142 TT=3.605 T1=3.58	OPT f=11142 TT=0.27 T1=0.27	OPT f=11142 TT=0.382 T1=0.38	OPT f=11142 TT=29.313 T1=24.31	OPT f=11142 TT=3.374 T1=1.6	OPT f=11142 TT=513.408 T1=512.43
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
/OPT-SMALLINT-LIN/leberre/opb-paranoid/ misc2010/random/rand.newlist/ normalized-randc18b26.cudf.paranoid.opb	OPT f=10655 TT=0.3 T1=0.29	OPT f=10655 TT=11.613 T1=11.6	? (TO) TT=1800.03	OPT f=10655 TT=497.708 T1=497.69	OPT f=10655 TT=5.46 T1=5.43	OPT f=10655 TT=0.3 T1=0.29	OPT f=10655 TT=0.598 T1=0.59	OPT f=10655 TT=19.302 T1=6.27	OPT f=10655 TT=119.25 T1=115.85	OPT f=10655 TT=714.352 T1=713.29
/OPT-SMALLINT-LIN/leberre/opb-paranoid/ misc2010/random/rand.newlist/ normalized-randc5b1f2.cudf.paranoid.opb	UNSAT TT=0.084	UNSAT TT=0.099	UNSAT TT=0.084	UNSAT TT=0.254	UNSAT TT=0.26	UNSAT TT=0.094	UNSAT TT=0.098	UNSAT TT=1.414	UNSAT TT=0.835	UNSAT TT=0.432
/OPT-SMALLINT-LIN/leberre/opb-paranoid/ misc2010/random/rand.newlist/ normalized-randc5fe62.cudf.paranoid.opb	OPT f=1882 TT=0.266 T1=0.26	OPT f=1882 TT=6.984 T1=6.97	? (TO) TT=1800.03	OPT f=1882 TT=336.046 T1=336.09	OPT f=1882 TT=4.683 T1=4.66	OPT f=1882 TT=0.266 T1=0.26	OPT f=1882 TT=0.592 T1=0.59	OPT f=1882 TT=496.778 T1=457.8	OPT f=1882 TT=103.69 T1=93.4	OPT f=1882 TT=619.883 T1=619.49
/OPT-SMALLINT-LIN/leberre/opb-paranoid/ misc2010/random/rand.newlist/ normalized-randc7f8e5.cudf.paranoid.opb	OPT f=9465 TT=0.239 T1=0.23	OPT f=9465 TT=9.884 T1=9.87	? (TO) TT=1800.03	OPT f=9465 TT=1047.75 T1=1047.89	OPT f=9465 TT=4.918 T1=4.89	OPT f=9465 TT=0.239 T1=0.23	OPT f=9465 TT=0.409 T1=0.41	OPT f=9465 TT=9.844 T1=5.74	OPT f=9465 TT=4.342 T1=2.48	OPT f=9465 TT=527.896 T1=526.83
/OPT-SMALLINT-LIN/leberre/opb-paranoid/ misc2010/random/rand.newlist/ normalized-randcebca4.cudf.paranoid.opb	OPT f=6576 TT=0.26 T1=0.25	OPT f=6576 TT=3.615 T1=3.6	? (TO) TT=1800.03	OPT f=6576 TT=523.323 T1=523.35	OPT f=6576 TT=4.029 T1=4	OPT f=6576 TT=0.26 T1=0.25	OPT f=6576 TT=0.437 T1=0.43	OPT f=6576 TT=12.582 T1=10.23	OPT f=6576 TT=3.204 T1=1.91	OPT f=6576 TT=518.953 T1=518.3
/OPT-SMALLINT-LIN/leberre/opb-paranoid/ misc2010/random/rand.newlist/ normalized-randd7b2b4.cudf.paranoid.opb	OPT f=4750 TT=0.208 T1=0.2	OPT f=4750 TT=4.711 T1=4.7	? (TO) TT=1800.03	OPT f=4750 TT=328.116 T1=328.14	OPT f=4750 TT=4.49 T1=4.46	OPT f=4750 TT=0.208 T1=0.2	OPT f=4750 TT=0.389 T1=0.38	OPT f=4750 TT=8.015 T1=6.76	OPT f=4750 TT=3.663 T1=2.43	OPT f=4750 TT=372.797 T1=372.28
/OPT-SMALLINT-LIN/leberre/opb-paranoid/ misc2010/random/rand.newlist/ normalized-randd92c9f.cudf.paranoid.opb	OPT f=6259 TT=0.204 T1=0.2	OPT f=6259 TT=1.163 T1=1.15	? (TO) TT=1800.03	OPT f=6259 TT=236.983 T1=236.99	OPT f=6259 TT=4.031 T1=4	OPT f=6259 TT=0.204 T1=0.2	OPT f=6259 TT=0.351 T1=0.35	OPT f=6259 TT=6.17 T1=4.77	OPT f=6259 TT=2.484 T1=1.25	OPT f=6259 TT=274.636 T1=273.08
/OPT-SMALLINT-LIN/leberre/opb-paranoid/ misc2010/random/rand.newlist/ normalized-randec6fe1.cudf.paranoid.opb	OPT f=9316 TT=0.255 T1=0.25	OPT f=9316 TT=2.53 T1=2.52	? (TO) TT=1800.03	OPT f=9316 TT=47.186 T1=47.16	OPT f=9316 TT=3.743 T1=3.72	OPT f=9316 TT=0.255 T1=0.25	OPT f=9316 TT=0.395 T1=0.39	OPT f=9316 TT=16.163 T1=6.21	OPT f=9316 TT=10.701 T1=6.04	OPT f=9316 TT=391.845 T1=390.95
/OPT-SMALLINT-LIN/leberre/opb-paranoid/ misc2010/random/rand.newlist/ normalized-randf66c83.cudf.paranoid.opb	OPT f=4917 TT=0.226 T1=0.26	OPT f=4917 TT=3.124 T1=3.11	? (TO) TT=1800.02	OPT f=4917 TT=549.327 T1=549.37	OPT f=4917 TT=3.35 T1=3.33	OPT f=4917 TT=0.226 T1=0.26	OPT f=4917 TT=0.364 T1=0.36	OPT f=4917 TT=7.133 T1=4.25	OPT f=4917 TT=3.942 T1=2.48	OPT f=4917 TT=413.647 T1=413.03
/OPT-SMALLINT-LIN/leberre/opb-paranoid/ misc2010/random/rand.newlist/ normalized-randf794d2.cudf.paranoid.opb	OPT f=8228 TT=0.246 T1=0.24	OPT f=8228 TT=8.585 T1=8.57	OPT f=8228 TT=1294.23 T1=1294.42	OPT f=8228 TT=433.946 T1=433.96	OPT f=8228 TT=4.312 T1=4.28	OPT f=8228 TT=0.246 T1=0.24	OPT f=8228 TT=0.412 T1=0.4	OPT f=8228 TT=24.94 T1=8.25	OPT f=8228 TT=38.118 T1=31.81	OPT f=8228 TT=495.616 T1=494.69
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
/OPT-SMALLINT-LIN/leberre/opb-paranoid/ misc2010/random/rand.newlist/ normalized-randfd04d4.cudf.paranoid.opb	OPT f=3511 TT=0.24 T1=0.23	OPT f=3511 TT=0.774 T1=0.76	? (TO) TT=1800.02	OPT f=3511 TT=578.195 T1=578.23	OPT f=3511 TT=5.24 T1=5.21	OPT f=3511 TT=0.24 T1=0.23	OPT f=3511 TT=0.38 T1=0.38	OPT f=3511 TT=8.113 T1=5.52	OPT f=3511 TT=2.605 T1=1.17	OPT f=3511 TT=512.09 T1=510.64
/OPT-SMALLINT-LIN/leberre/ opb-trendy/misc2010/datasets/caixa/ normalized-1021.cudf.trendy.opb	UNSAT TT=0.003	UNSAT TT=0.021	UNSAT TT=0.015	UNSAT TT=0.007	UNSAT TT=0.008	UNSAT TT=0.003	UNSAT TT=0.003	UNSAT TT=0.263	UNSAT TT=0.243	UNSAT TT=0.03
/OPT-SMALLINT-LIN/leberre/ opb-trendy/misc2010/datasets/caixa/ normalized-1078.cudf.trendy.opb	OPT f=4 TT=0 T1=0	OPT f=4 TT=0.022 T1=0.02	OPT f=4 TT=0.012 T1=0.01	OPT f=4 TT=0.001 T1=0	OPT f=4 TT=0.001 T1=0	OPT f=4 TT=0 T1=0	OPT f=4 TT=0.001 T1=0	OPT f=4 TT=0.175 T1=0.67	OPT f=4 TT=0.154 T1=0.11	OPT f=4 TT=0.014 T1=0.01
/OPT-SMALLINT-LIN/leberre/ opb-trendy/misc2010/datasets/caixa/ normalized-787.cudf.trendy.opb	OPT f=14 TT=0.001 T1=0	OPT f=14 TT=0.022 T1=0.02	OPT f=14 TT=0.013 T1=0.01	OPT f=14 TT=0.003 T1=0	OPT f=14 TT=0.004 T1=0	OPT f=14 TT=0.001 T1=0	OPT f=14 TT=0.001 T1=0	OPT f=14 TT=0.215 T1=0.65	OPT f=14 TT=0.204 T1=0.15	OPT f=14 TT=0.028 T1=0.03
/OPT-SMALLINT-LIN/leberre/ opb-trendy/misc2010/datasets/caixa/ normalized-995.cudf.trendy.opb	UNSAT TT=0.004	UNSAT TT=0.021	UNSAT TT=0.015	UNSAT TT=0.01	UNSAT TT=0.01	UNSAT TT=0.005	UNSAT TT=0.004	UNSAT TT=0.304	UNSAT TT=0.275	UNSAT TT=0.034
/OPT-SMALLINT-LIN/ oliveras/j120opt/ normalized-j1201_2.std.opb	OPT f=109 TT=1.725 T1=1.7	OPT f=109 TT=5.122 T1=5.09	OPT f=109 TT=5.336 T1=5.32	OPT f=109 TT=27.321 T1=27.28	OPT f=109 TT=10.995 T1=10.96	OPT f=109 TT=1.725 T1=1.7	OPT f=109 TT=4.964 T1=5.15	OPT f=109 TT=15.502 T1=10.04	OPT f=109 TT=7.534 T1=5.7	OPT f=109 TT=35.47 T1=35.35
/OPT-SMALLINT-LIN/ oliveras/j120opt/ normalized-j12013_5.std.opb	SAT f=93 TT=1800.08 T1=334.62	? (TO) TT=1800.1	? (TO) TT=1800.01	SAT (TO) f=111 TT=1800.04 T1=1800.4	SAT (TO) f=96 TT=1800.06 T1=1800.4	SAT (TO) f=300 TT=1800.1 T1=1800.4	SAT (TO) f=94 TT=1800.11 T1=1800.4	SAT (TO) f=93 TT=1800.29 T1=851.08	SAT (TO) f=93 TT=1800.08 T1=334.62	? (TO) TT=1800.04
/OPT-SMALLINT-LIN/ oliveras/j120opt/ normalized-j12015_5.std.opb	OPT f=87 TT=1.72 T1=1.69	OPT f=87 TT=1.72 T1=1.69	OPT f=87 TT=2.237 T1=2.22	OPT f=87 TT=198.476 T1=198.49	OPT f=87 TT=68.783 T1=68.6	OPT f=87 TT=5.109 T1=5.05	OPT f=87 TT=6.947 T1=6.88	OPT f=87 TT=7.554 T1=3.01	OPT f=87 TT=3.244 T1=1.82	OPT f=87 TT=7.521 T1=7.4
/OPT-SMALLINT-LIN/ oliveras/j120opt/ normalized-j12016_10.std.opb	SAT f=235 TT=1800.04 T1=312.02	? (TO) TT=1800.04	? (TO) TT=1800.01	SAT (TO) f=291 TT=1800.08 T1=1800.4	SAT (TO) f=300 TT=1800.03 T1=1800.4	SAT (TO) f=300 TT=1800.11 T1=1800.4	SAT (TO) f=245 TT=1800.1 T1=1800.4	SAT (TO) f=235 TT=1800.04 T1=312.02	No Cert. TT=1800	? (TO) TT=1800.04
/OPT-SMALLINT-LIN/ oliveras/j120opt/ normalized-j12016_2.std.opb	SAT f=256 TT=1800.13 T1=440.64	? (TO) TT=1800.05	? (TO) TT=1800	SAT (TO) f=296 TT=1800.03 T1=1800.4	SAT (TO) f=300 TT=1800.11 T1=1800.5	SAT (TO) f=300 TT=1800.11 T1=1800.4	SAT (TO) f=267 TT=1800.11 T1=1800.4	SAT (TO) f=256 TT=1800.13 T1=440.64	No Cert. TT=1800.4	? (TO) TT=1800.1
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
/OPT-SMALLINT-LIN/ oliveras/j120opt/ normalized-j12017_7.std.opb	SAT f=155 TT=1800.24 T1=870.7	? (TO) TT=1800.06	? (TO) TT=1800.11	SAT (TO) f=278 TT=1800.08 T1=1800.4	SAT (TO) f=199 TT=1800.03 T1=1800.4	SAT (TO) f=300 TT=1800.09 T1=1800.4	SAT (TO) f=161 TT=1800.1 T1=1800.4	SAT (TO) f=155 TT=1800.24 T1=870.7	No Cert. TT=1800.83	? (TO) TT=1800.08
/OPT-SMALLINT-LIN/ oliveras/j120opt/ normalized-j12018_6.std.opb	SAT f=142 TT=1800.2 T1=114.61	? (TO) TT=1800.09	? (TO) TT=1800.01	SAT (TO) f=159 TT=1800.08 T1=1800.4	SAT (TO) f=162 TT=1800.05 T1=1800.4	SAT (TO) f=300 TT=1800.13 T1=1800.4	SAT (TO) f=147 TT=1800.09 T1=1800.4	SAT (TO) f=142 TT=1800.2 T1=114.61	No Cert. TT=1800.06	? (TO) TT=1800.1
/OPT-SMALLINT-LIN/ oliveras/j120opt/ normalized-j12019_2.std.opb	SAT f=85 TT=1800.11 T1=16.65	? (TO) TT=1800.1	? (TO) TT=1800.02	SAT (TO) f=89 TT=1800.08 T1=1800.4	SAT (TO) f=89 TT=1800.11 T1=1800.6	SAT (TO) f=300 TT=1800.1 T1=1800.4	SAT (TO) f=87 TT=1800.08 T1=1800.4	SAT (TO) f=85 TT=1800.11 T1=16.65	No Cert. TT=1800.38	? (TO) TT=1800.07
/OPT-SMALLINT-LIN/ oliveras/j120opt/ normalized-j12019_5.std.opb	SAT f=108 TT=1800.2 T1=250.58	? (TO) TT=1800.19	? (TO) TT=1800.01	SAT (TO) f=127 TT=1800.06 T1=1800.4	SAT (TO) f=131 TT=1800.06 T1=1800.4	SAT (TO) f=300 TT=1800.1 T1=1800.4	SAT (TO) f=111 TT=1800.11 T1=1800.4	SAT (TO) f=108 TT=1800.2 T1=250.58	SAT (TO) f=109 TT=1800.05 T1=15.77	? (TO) TT=1800.09
/OPT-SMALLINT-LIN/ oliveras/j120opt/ normalized-j12020_5.std.opb	OPT f=69 TT=1.718 T1=1.68	OPT f=69 TT=1.718 T1=1.68	OPT f=69 TT=3.317 T1=3.3	OPT f=69 TT=138.712 T1=138.67	OPT f=69 TT=115.542 T1=115.31	OPT f=69 TT=9.07 T1=8.98	OPT f=69 TT=31.517 T1=31.44	OPT f=69 TT=17.33 T1=8.79	OPT f=69 TT=17.25 T1=15.25	OPT f=69 TT=7.971 T1=7.85
/OPT-SMALLINT-LIN/ oliveras/j120opt/ normalized-j12020_7.std.opb	OPT f=81 TT=1.737 T1=1.71	OPT f=81 TT=1.737 T1=1.71	OPT f=81 TT=3.415 T1=3.39	OPT f=81 TT=413.66 T1=413.72	OPT f=81 TT=102.622 T1=102.36	OPT f=81 TT=7.333 T1=7.25	OPT f=81 TT=42.453 T1=42.38	OPT f=81 TT=11.922 T1=4.67	OPT f=81 TT=5.483 T1=3.61	OPT f=81 TT=7.8 T1=7.69
/OPT-SMALLINT-LIN/ oliveras/j120opt/ normalized-j12020_8.std.opb	OPT f=107 TT=5.757 T1=5.73	OPT f=107 TT=5.757 T1=5.73	OPT f=107 TT=32.271 T1=32.25	SAT (TO) f=112 TT=1800.07 T1=1800.4	OPT f=107 TT=81.86 T1=81.67	OPT f=107 TT=325.697 T1=325.73	OPT f=107 TT=349.995 T1=350.01	OPT f=107 TT=27.022 T1=14.69	OPT f=107 TT=31.221 T1=29.1	OPT f=107 TT=48.429 T1=48.31
/OPT-SMALLINT-LIN/ oliveras/j120opt/ normalized-j12021_8.std.opb	OPT f=127 TT=1.226 T1=1.2	OPT f=127 TT=1.703 T1=1.67	OPT f=127 TT=2.828 T1=2.81	OPT f=127 TT=13.568 T1=13.53	OPT f=127 TT=8.469 T1=8.43	OPT f=127 TT=1.226 T1=1.2	OPT f=127 TT=1.494 T1=1.47	OPT f=127 TT=7.925 T1=3.06	OPT f=127 TT=3.493 T1=1.86	OPT f=127 TT=13.034 T1=12.91
/OPT-SMALLINT-LIN/ oliveras/j120opt/ normalized-j12024_7.std.opb	OPT f=112 TT=1.303 T1=1.27	OPT f=112 TT=1.678 T1=1.64	OPT f=112 TT=2.732 T1=2.71	OPT f=112 TT=35.35 T1=35.29	OPT f=112 TT=11.471 T1=11.43	OPT f=112 TT=1.303 T1=1.28	OPT f=112 TT=1.303 T1=1.27	OPT f=112 TT=7.104 T1=2.95	OPT f=112 TT=3.382 T1=1.7	OPT f=112 TT=6.387 T1=6.27
/OPT-SMALLINT-LIN/ oliveras/j120opt/ normalized-j12025_2.std.opb	OPT f=108 TT=1.355 T1=1.32	OPT f=108 TT=1.675 T1=1.64	OPT f=108 TT=2.235 T1=2.21	OPT f=108 TT=23.964 T1=23.92	OPT f=108 TT=11.326 T1=11.29	OPT f=108 TT=1.355 T1=1.33	OPT f=108 TT=1.355 T1=1.32	OPT f=108 TT=7.352 T1=3.08	OPT f=108 TT=3.076 T1=1.69	OPT f=108 TT=6.44 T1=6.32
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
/OPT-SMALLINT-LIN/ oliveras/j120opt/ normalized-j12025_6.std.opb	OPT f=92 TT=1.333 T1=1.3	OPT f=92 TT=1.583 T1=1.55	OPT f=92 TT=3.16 T1=3.14	OPT f=92 TT=33.66 T1=33.59	OPT f=92 TT=11.505 T1=11.46	OPT f=92 TT=1.339 T1=1.31	OPT f=92 TT=1.333 T1=1.3	OPT f=92 TT=7.138 T1=3	OPT f=92 TT=3.103 T1=1.65	OPT f=92 TT=6.739 T1=6.62
/OPT-SMALLINT-LIN/ oliveras/j120opt/ normalized-j12025_7.std.opb	OPT f=92 TT=1.302 T1=1.27	OPT f=92 TT=1.577 T1=1.55	OPT f=92 TT=3.075 T1=3.05	OPT f=92 TT=14.919 T1=14.89	OPT f=92 TT=11.408 T1=11.37	OPT f=92 TT=1.302 T1=1.27	OPT f=92 TT=1.324 T1=1.3	OPT f=92 TT=7.413 T1=2.94	OPT f=92 TT=3.234 T1=1.76	OPT f=92 TT=6.707 T1=6.59
/OPT-SMALLINT-LIN/ oliveras/j120opt/ normalized-j12026_4.std.opb	SAT f=175 TT=1800.07 T1=731.53	? (TO) TT=1800.01	? (TO) TT=1800.02	SAT (TO) f=191 TT=1800.04 T1=1800.4	SAT (TO) f=175 TT=1800.07 T1=1800.4	SAT (TO) f=300 TT=1800.11 T1=1800.4	SAT (TO) f=175 TT=1800.1 T1=1800.4	SAT (TO) f=175 TT=1800.12 T1=731.53	No Cert. TT=1800.01	? (TO) TT=1800.1
/OPT-SMALLINT-LIN/ oliveras/j120opt/ normalized-j12026_6.std.opb	SAT f=192 TT=1800.12 T1=1800.4	? (TO) TT=1800.1	? (TO) TT=1800.02	SAT (TO) f=204 TT=1800.06 T1=1800.4	SAT (TO) f=199 TT=1800.06 T1=1800.4	SAT (TO) f=300 TT=1800.12 T1=1800.4	SAT (TO) f=192 TT=1800.12 T1=1800.4	SAT (TO) f=193 TT=1800.01 T1=387.22	No Cert. TT=1800	? (TO) TT=1800.09
/OPT-SMALLINT-LIN/ oliveras/j120opt/ normalized-j1202_7.std.opb	OPT f=90 TT=1.243 T1=1.22	OPT f=90 TT=1.542 T1=1.51	OPT f=90 TT=2.324 T1=2.3	OPT f=90 TT=46.558 T1=46.48	OPT f=90 TT=10.244 T1=10.21	OPT f=90 TT=1.243 T1=1.22	OPT f=90 TT=3.244 T1=3.37	OPT f=90 TT=6.992 T1=2.81	OPT f=90 TT=3.035 T1=1.64	OPT f=90 TT=6.703 T1=6.58
/OPT-SMALLINT-LIN/ oliveras/j120opt/ normalized-j12030_10.std.opb	OPT f=86 TT=1.64 T1=1.61	OPT f=86 TT=1.64 T1=1.61	OPT f=86 TT=3.341 T1=3.32	OPT f=86 TT=68.982 T1=68.91	OPT f=86 TT=26.715 T1=26.63	OPT f=86 TT=2.364 T1=2.32	OPT f=86 TT=2.359 T1=2.32	OPT f=86 TT=7.474 T1=3.11	OPT f=86 TT=3.104 T1=1.7	OPT f=86 TT=6.989 T1=6.87
/OPT-SMALLINT-LIN/ oliveras/j120opt/ normalized-j12036_6.std.opb	SAT f=251 TT=1800.03 T1=415.08	? (TO) TT=1800.02	? (TO) TT=1800.1	SAT (TO) f=289 TT=1800.05 T1=1800.4	SAT (TO) f=300 TT=1800.12 T1=1800.5	SAT (TO) f=300 TT=1800.11 T1=1800.4	SAT (TO) f=261 TT=1800.09 T1=1800.4	SAT (TO) f=251 TT=1800.03 T1=415.08	No Cert. TT=1800.84	? (TO) TT=1800.06
/OPT-SMALLINT-LIN/ oliveras/j120opt/ normalized-j12036_9.std.opb	SAT f=245 TT=1800.13 T1=341.32	? (TO) TT=1800.1	? (TO) TT=1800.1	SAT (TO) f=281 TT=1800.03 T1=1800.4	SAT (TO) f=300 TT=1800.03 T1=1800.4	SAT (TO) f=300 TT=1800.11 T1=1800.4	SAT (TO) f=253 TT=1800.04 T1=1800.4	SAT (TO) f=245 TT=1800.13 T1=341.32	No Cert. TT=1800.09	? (TO) TT=1800.07
/OPT-SMALLINT-LIN/ oliveras/j120opt/ normalized-j12037_10.std.opb	SAT f=140 TT=1800.9 T1=552.83	? (TO) TT=1800.08	? (TO) TT=1800.01	SAT (TO) f=211 TT=1800.06 T1=1800.4	SAT (TO) f=195 TT=1800.13 T1=1800.5	SAT (TO) f=300 TT=1800.11 T1=1800.4	SAT (TO) f=145 TT=1800.09 T1=1800.4	SAT (TO) f=141 TT=1800.11 T1=286.6	SAT (TO) f=140 TT=1800.9 T1=552.83	? (TO) TT=1800.03
/OPT-SMALLINT-LIN/ oliveras/j120opt/ normalized-j12037_6.std.opb	SAT f=175 TT=1800.03 T1=252.11	? (TO) TT=1800.07	? (TO) TT=1800.01	SAT (TO) f=215 TT=1800.06 T1=1800.4	SAT (TO) f=199 TT=1800.04 T1=1800.4	SAT (TO) f=300 TT=1800.11 T1=1800.4	SAT (TO) f=182 TT=1800.11 T1=1800.4	SAT (TO) f=175 TT=1800.03 T1=252.11	No Cert. TT=1800	? (TO) TT=1800.08
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
/OPT-SMALLINT-LIN/ oliveras/j120opt/ normalized-j12038_4.std.opb	SAT f=147 TT=1800.03 T1=329.05	? (TO) TT=1800.02	? (TO) TT=1800.01	SAT (TO) f=155 TT=1800.06 T1=1800.4	SAT (TO) f=198 TT=1800.04 T1=1800.4	SAT (TO) f=300 TT=1800.1 T1=1800.4	SAT (TO) f=152 TT=1800.1 T1=1800.4	SAT (TO) f=147 TT=1800.03 T1=329.05	No Cert. TT=1800.69	? (TO) TT=1800.07
/OPT-SMALLINT-LIN/ oliveras/j120opt/ normalized-j12039_5.std.opb	OPT f=106 TT=2.506 T1=2.47	OPT f=106 TT=2.506 T1=2.47	OPT f=106 TT=3.7 T1=3.68	OPT f=106 TT=951.225 T1=951.41	OPT f=106 TT=71.263 T1=71.09	OPT f=106 TT=13.685 T1=13.63	OPT f=106 TT=80.687 T1=80.64	OPT f=106 TT=12.35 T1=7.4	OPT f=106 TT=8.781 T1=6.75	OPT f=106 TT=9.163 T1=9
/OPT-SMALLINT-LIN/ oliveras/j120opt/ normalized-j12040_1.std.opb	SAT f=82 TT=1800.06 T1=24.81	? (TO) TT=1800.07	? (TO) TT=1800.02	SAT (TO) f=84 TT=1800.04 T1=1800.4	SAT (TO) f=87 TT=1800.06 T1=1800.5	SAT (TO) f=299 TT=1800.09 T1=1800.4	SAT (TO) f=83 TT=1800.11 T1=1800.4	SAT (TO) f=82 TT=1800.06 T1=53.9	SAT (TO) f=82 TT=1800.08 T1=24.81	? (TO) TT=1800.08
/OPT-SMALLINT-LIN/ oliveras/j120opt/ normalized-j12040_4.std.opb	OPT f=112 TT=1.807 T1=1.77	OPT f=112 TT=1.807 T1=1.77	OPT f=112 TT=2.113 T1=2.09	OPT f=112 TT=140.657 T1=140.63	OPT f=112 TT=93.564 T1=93.37	OPT f=112 TT=5.956 T1=5.89	OPT f=112 TT=13.696 T1=13.62	OPT f=112 TT=11.281 T1=4.69	OPT f=112 TT=7.412 T1=5.66	OPT f=112 TT=7.267 T1=7.15
/OPT-SMALLINT-LIN/ oliveras/j120opt/ normalized-j1204_10.std.opb	OPT f=77 TT=1.417 T1=1.39	OPT f=77 TT=1.581 T1=1.55	OPT f=77 TT=1.956 T1=1.94	OPT f=77 TT=49.304 T1=49.23	OPT f=77 TT=11.343 T1=11.3	OPT f=77 TT=1.418 T1=1.39	OPT f=77 TT=1.417 T1=1.39	OPT f=77 TT=7.196 T1=2.98	OPT f=77 TT=2.963 T1=1.63	OPT f=77 TT=6.867 T1=6.74
/OPT-SMALLINT-LIN/ oliveras/j120opt/ normalized-j12041_1.std.opb	OPT f=127 TT=1.315 T1=1.29	OPT f=127 TT=1.879 T1=1.85	OPT f=127 TT=2.644 T1=2.62	OPT f=127 TT=22.788 T1=22.74	OPT f=127 TT=8.993 T1=8.96	OPT f=127 TT=1.315 T1=1.29	OPT f=127 TT=3.867 T1=3.84	OPT f=127 TT=8.864 T1=3.57	OPT f=127 TT=3.833 T1=2.21	OPT f=127 TT=26.94 T1=26.79
/OPT-SMALLINT-LIN/ oliveras/j120opt/ normalized-j1204_1.std.opb	OPT f=74 TT=1.401 T1=1.37	OPT f=74 TT=1.547 T1=1.52	OPT f=74 TT=3.19 T1=3.17	OPT f=74 TT=118.846 T1=118.71	OPT f=74 TT=12.826 T1=12.78	OPT f=74 TT=1.401 T1=1.37	OPT f=74 TT=2.48 T1=2.45	OPT f=74 TT=7.393 T1=3	OPT f=74 TT=2.994 T1=1.65	OPT f=74 TT=6.919 T1=6.8
/OPT-SMALLINT-LIN/ oliveras/j120opt/ normalized-j12044_1.std.opb	OPT f=100 TT=1.284 T1=1.26	OPT f=100 TT=1.8 T1=1.77	OPT f=100 TT=3.212 T1=3.19	OPT f=100 TT=28.986 T1=28.93	OPT f=100 TT=9.652 T1=9.62	OPT f=100 TT=1.284 T1=1.26	OPT f=100 TT=1.43 T1=1.4	OPT f=100 TT=7.193 T1=3.01	OPT f=100 TT=3.093 T1=1.69	OPT f=100 TT=6.761 T1=6.64
/OPT-SMALLINT-LIN/ oliveras/j120opt/ normalized-j12044_8.std.opb	OPT f=108 TT=1.31 T1=1.28	OPT f=108 TT=1.75 T1=1.72	OPT f=108 TT=3.043 T1=3.02	OPT f=108 TT=35.799 T1=35.74	OPT f=108 TT=10.213 T1=10.18	OPT f=108 TT=1.311 T1=1.28	OPT f=108 TT=1.31 T1=1.28	OPT f=108 TT=7.553 T1=3.05	OPT f=108 TT=3.173 T1=1.73	OPT f=108 TT=8.083 T1=7.96
/OPT-SMALLINT-LIN/ oliveras/j120opt/ normalized-j12046_3.std.opb	SAT f=181 TT=1800.1 T1=1800.4	? (TO) TT=1800.09	? (TO) TT=1800.01	SAT (TO) f=186 TT=1800.04 T1=1800.4	SAT (TO) f=199 TT=1800.09 T1=1800.4	SAT (TO) f=300 TT=1800.11 T1=1800.4	SAT (TO) f=181 TT=1800.1 T1=1800.4	SAT (TO) f=182 TT=1800.02 T1=536.61	No Cert. TT=1800.04	? (TO) TT=1800.05
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
/OPT-SMALLINT-LIN/ oliveras/j120opt/ normalized-j12047_2.std.opb	SAT f=134 TT=1800.01 T1=139.34	? (TO) TT=1800.08	? (TO) TT=1800.02	SAT (TO) f=137 TT=1800.07 T1=1800.4	SAT (TO) f=199 TT=1800.04 T1=1800.4	SAT (TO) f=300 TT=1800.11 T1=1800.4	SAT (TO) f=135 TT=1800.11 T1=1800.4	SAT (TO) f=134 TT=1800.01 T1=139.34	No Cert. TT=1800.2	? (TO) TT=1800.02
/OPT-SMALLINT-LIN/ oliveras/j120opt/ normalized-j12048_10.std.opb	OPT f=111 TT=83.602 T1=7.66	? (TO) TT=1800.12	? (TO) TT=1800.02	OPT f=111 TT=807.439 T1=807.6	OPT f=111 TT=88.775 T1=88.74	OPT f=111 TT=138.518 T1=138.51	OPT f=111 TT=171.586 T1=171.58	OPT f=111 TT=359.35 T1=97.11	OPT f=111 TT=83.602 T1=7.66	OPT f=111 TT=731.282 T1=731.42
/OPT-SMALLINT-LIN/ oliveras/j120opt/ normalized-j12048_7.std.opb	SAT f=107 TT=1800.06 T1=464.65	? (TO) TT=1800.07	? (TO) TT=1800.02	SAT (TO) f=108 TT=1800.06 T1=1800.4	SAT (TO) f=107 TT=1800.06 T1=1800.4	SAT (TO) f=300 TT=1800.12 T1=1800.4	SAT (TO) f=107 TT=1800.12 T1=1800.4	SAT (TO) f=107 TT=1800.12 T1=464.65	No Cert. TT=1800.06	? (TO) TT=1800.09
/OPT-SMALLINT-LIN/ oliveras/j120opt/ normalized-j12049_10.std.opb	OPT f=97 TT=142.185 T1=14.19	? (TO) TT=1800.09	? (TO) TT=1800.02	SAT (TO) f=97 TT=1800.03 T1=1800.4	OPT f=97 TT=142.185 T1=142.14	OPT f=97 TT=472.494 T1=472.57	OPT f=97 TT=392.591 T1=392.66	OPT f=97 TT=744.871 T1=14.19	OPT f=97 TT=1150.83 T1=29.54	? (TO) TT=1800.08
/OPT-SMALLINT-LIN/ oliveras/j120opt/ normalized-j12051_6.std.opb	SAT f=228 TT=1800.76 T1=486.88	? (TO) TT=1800.1	? (TO) TT=1800.02	SAT (TO) f=260 TT=1800.08 T1=1800.4	SAT (TO) f=300 TT=1800.04 T1=1800.4	SAT (TO) f=300 TT=1800.11 T1=1800.4	SAT (TO) f=229 TT=1800.11 T1=1800.4	SAT (TO) f=228 TT=1800.76 T1=486.88	No Cert. TT=1800.05	? (TO) TT=1800.05
/OPT-SMALLINT-LIN/ oliveras/j120opt/ normalized-j12052_10.std.opb	SAT f=156 TT=1800.01 T1=545.63	? (TO) TT=1800.09	? (TO) TT=1800	SAT (TO) f=169 TT=1800.03 T1=1800.4	SAT (TO) f=188 TT=1800.06 T1=1800.4	SAT (TO) f=300 TT=1800.11 T1=1800.4	SAT (TO) f=158 TT=1800.08 T1=1800.4	SAT (TO) f=156 TT=1800.01 T1=545.63	No Cert. TT=1800.08	? (TO) TT=1800.09
/OPT-SMALLINT-LIN/ oliveras/j120opt/ normalized-j12052_2.std.opb	SAT f=196 TT=1800.17 T1=483.25	? (TO) TT=1800.03	? (TO) TT=1800.02	SAT (TO) f=212 TT=1800.05 T1=1800.4	SAT (TO) f=199 TT=1800.06 T1=1800.4	SAT (TO) f=300 TT=1800.09 T1=1800.4	SAT (TO) f=199 TT=1800.09 T1=1800.4	SAT (TO) f=196 TT=1800.17 T1=483.25	No Cert. TT=1800.04	? (TO) TT=1800.09
/OPT-SMALLINT-LIN/ oliveras/j120opt/ normalized-j12053_3.std.opb	SAT f=117 TT=1800.09 T1=21.27	? (TO) TT=1800.1	? (TO) TT=1800.02	SAT (TO) f=119 TT=1800.1 T1=1800.4	SAT (TO) f=123 TT=1800.04 T1=1800.4	SAT (TO) f=300 TT=1800.09 T1=1800.4	SAT (TO) f=117 TT=1800.09 T1=1800.4	SAT (TO) f=117 TT=1800.15 T1=21.27	No Cert. TT=1800.07	? (TO) TT=1800.1
/OPT-SMALLINT-LIN/ oliveras/j120opt/ normalized-j12053_6.std.opb	SAT f=109 TT=1800.02 T1=54.93	? (TO) TT=1800.06	? (TO) TT=1800.02	SAT (TO) f=114 TT=1800.05 T1=1800.4	SAT (TO) f=115 TT=1800.05 T1=1800.4	SAT (TO) f=300 TT=1800.1 T1=1800.4	SAT (TO) f=111 TT=1800.11 T1=1800.4	SAT (TO) f=109 TT=1800.33 T1=903.61	SAT (TO) f=109 TT=1800.02 T1=54.93	? (TO) TT=1800.1
/OPT-SMALLINT-LIN/ oliveras/j120opt/ normalized-j12055_4.std.opb	OPT f=90 TT=1.8 T1=1.77	OPT f=90 TT=1.8 T1=1.77	OPT f=90 TT=3.155 T1=3.13	OPT f=90 TT=63.079 T1=63.04	OPT f=90 TT=51.364 T1=51.24	OPT f=90 TT=18.246 T1=18.2	OPT f=90 TT=30.74 T1=30.69	OPT f=90 TT=13.932 T1=11.24	OPT f=90 TT=7.673 T1=5.74	OPT f=90 TT=8.034 T1=7.88
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
/OPT-SMALLINT-LIN/ oliveras/j120opt/ normalized-j12057_1.std.opb	SAT f=199 TT=1800.18 T1=357.21	? (TO) TT=1800.11	? (TO) TT=1800.01	SAT (TO) f=220 TT=1800.04 T1=1800.4	SAT (TO) f=300 TT=1800.04 T1=1800.4	SAT (TO) f=300 TT=1800.1 T1=1800.4	SAT (TO) f=206 TT=1800.11 T1=1800.4	SAT (TO) f=199 TT=1800.18 T1=357.21	No Cert. TT=1800.5	? (TO) TT=1800.08
/OPT-SMALLINT-LIN/ oliveras/j120opt/ normalized-j1205_7.std.opb	OPT f=84 TT=1.351 T1=1.32	OPT f=84 TT=1.539 T1=1.51	OPT f=84 TT=3.15 T1=3.13	OPT f=84 TT=69.495 T1=69.4	OPT f=84 TT=10.764 T1=10.72	OPT f=84 TT=1.371 T1=1.34	OPT f=84 TT=1.351 T1=1.32	OPT f=84 TT=7.292 T1=3.01	OPT f=84 TT=2.973 T1=1.63	OPT f=84 TT=6.796 T1=6.64
/OPT-SMALLINT-LIN/ oliveras/j120opt/ normalized-j12058_7.std.opb	SAT f=158 TT=1800.12 T1=336.3	? (TO) TT=1800.08	? (TO) TT=1800.02	SAT (TO) f=169 TT=1800.08 T1=1800.4	SAT (TO) f=187 TT=1800.1 T1=1800.5	SAT (TO) f=300 TT=1800.11 T1=1800.4	SAT (TO) f=162 TT=1800.11 T1=1800.4	SAT (TO) f=158 TT=1800.12 T1=336.3	No Cert. TT=1800.03	? (TO) TT=1800.03
/OPT-SMALLINT-LIN/ oliveras/j120opt/ normalized-j12060_5.std.opb	SAT f=107 TT=1800.05 T1=213.01	? (TO) TT=1800.1	? (TO) TT=1800.02	SAT (TO) f=109 TT=1800.13 T1=1800.5	SAT (TO) f=154 TT=1800.03 T1=1800.4	SAT (TO) f=299 TT=1800.1 T1=1800.4	SAT (TO) f=108 TT=1800.1 T1=1800.4	SAT (TO) f=107 TT=1800.05 T1=257.4	SAT (TO) f=107 TT=1800.8 T1=213.01	? (TO) TT=1800.1
/OPT-SMALLINT-LIN/ oliveras/j120opt/ normalized-j12060_6.std.opb	OPT f=110 TT=2.049 T1=2.02	OPT f=110 TT=2.049 T1=2.02	OPT f=110 TT=2.912 T1=2.89	OPT f=110 TT=370.184 T1=370.19	OPT f=110 TT=114.974 T1=114.81	OPT f=110 TT=25.348 T1=25.29	OPT f=110 TT=49.645 T1=49.59	OPT f=110 TT=19.502 T1=9.62	OPT f=110 TT=5.981 T1=4.16	OPT f=110 TT=8.603 T1=8.48
/OPT-SMALLINT-LIN/ oliveras/j120opt/ normalized-j1206_4.std.opb	SAT f=155 TT=1800.08 T1=435.33	? (TO) TT=1800.09	? (TO) TT=1800.02	SAT (TO) f=159 TT=1800.05 T1=1800.4	SAT (TO) f=155 TT=1800.08 T1=1800.4	SAT (TO) f=300 TT=1800.11 T1=1800.4	SAT (TO) f=155 TT=1800.11 T1=1800.4	SAT (TO) f=155 TT=1800.13 T1=435.33	No Cert. TT=1800.03	? (TO) TT=1800.04
/OPT-SMALLINT-LIN/ oliveras/j120opt/ normalized-j1207_10.std.opb	SAT f=121 TT=1800.12 T1=415.4	? (TO) TT=1800.08	? (TO) TT=1800.02	SAT (TO) f=126 TT=1800.07 T1=1800.4	SAT (TO) f=131 TT=1800.07 T1=1800.4	SAT (TO) f=300 TT=1800.11 T1=1800.4	SAT (TO) f=121 TT=1800.12 T1=1800.4	SAT (TO) f=121 TT=1800.12 T1=415.4	No Cert. TT=1800.07	? (TO) TT=1800.1
/OPT-SMALLINT-LIN/ oliveras/j120opt/ normalized-j1207_6.std.opb	SAT f=126 TT=1800.11 T1=176.93	? (TO) TT=1800.09	? (TO) TT=1800.02	SAT (TO) f=132 TT=1800.08 T1=1800.4	SAT (TO) f=129 TT=1800.05 T1=1800.4	SAT (TO) f=300 TT=1800.11 T1=1800.4	SAT (TO) f=126 TT=1800.11 T1=1800.4	SAT (TO) f=126 TT=1800.86 T1=176.93	No Cert. TT=1800.81	? (TO) TT=1800.1
/OPT-SMALLINT-LIN/ oliveras/j120opt/ normalized-j1209_1.std.opb	OPT f=88 TT=1.62 T1=1.59	OPT f=88 TT=1.62 T1=1.59	OPT f=88 TT=2.007 T1=1.98	OPT f=88 TT=225.922 T1=226.01	OPT f=88 TT=23.318 T1=23.25	OPT f=88 TT=2.418 T1=2.38	OPT f=88 TT=9.464 T1=9.43	OPT f=88 TT=9.143 T1=4.05	OPT f=88 TT=3.563 T1=1.92	OPT f=88 TT=7.809 T1=7.69
/OPT-SMALLINT-LIN/ oliveras/j120opt/ normalized-j1209_3.std.opb	OPT f=87 TT=1.629 T1=1.59	OPT f=87 TT=1.629 T1=1.59	OPT f=87 TT=2.971 T1=2.96	OPT f=87 TT=188.194 T1=188.14	OPT f=87 TT=22.379 T1=22.3	OPT f=87 TT=2.629 T1=2.59	OPT f=87 TT=12.174 T1=12.14	OPT f=87 TT=12.041 T1=8.36	OPT f=87 TT=5.013 T1=3.34	OPT f=87 TT=7.842 T1=7.68
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
/OPT-SMALLINT-LIN/ oliveras/j30opt/ normalized-j3010_10.std.opb	OPT f=41 TT=0.431 T1=0.42	OPT f=41 TT=0.431 T1=0.42	OPT f=41 TT=0.693 T1=0.68	OPT f=41 TT=17.154 T1=17.09	OPT f=41 TT=8.767 T1=8.74	OPT f=41 TT=0.638 T1=0.62	OPT f=41 TT=0.629 T1=0.61	OPT f=41 TT=4.972 T1=1.84	OPT f=41 TT=2.063 T1=0.89	OPT f=41 TT=6.105 T1=6.03
/OPT-SMALLINT-LIN/ oliveras/j30opt/ normalized-j3010_3.std.opb	OPT f=62 TT=0.424 T1=0.41	OPT f=62 TT=0.424 T1=0.41	OPT f=62 TT=0.69 T1=0.68	OPT f=62 TT=36.074 T1=35.99	OPT f=62 TT=7.986 T1=7.96	OPT f=62 TT=0.588 T1=0.57	OPT f=62 TT=0.572 T1=0.56	OPT f=62 TT=5.263 T1=1.86	OPT f=62 TT=2.133 T1=0.9	OPT f=62 TT=5.536 T1=5.46
/OPT-SMALLINT-LIN/ oliveras/j30opt/ normalized-j3010_4.std.opb	OPT f=58 TT=0.428 T1=0.41	OPT f=58 TT=0.428 T1=0.41	OPT f=58 TT=0.609 T1=0.6	OPT f=58 TT=13.973 T1=13.92	OPT f=58 TT=7.848 T1=7.83	OPT f=58 TT=0.563 T1=0.55	OPT f=58 TT=0.56 T1=0.54	OPT f=58 TT=4.752 T1=1.77	OPT f=58 TT=2.025 T1=0.89	OPT f=58 TT=7.529 T1=7.45
/OPT-SMALLINT-LIN/ oliveras/j30opt/ normalized-j3016_8.std.opb	OPT f=44 TT=0.437 T1=0.42	OPT f=44 TT=0.437 T1=0.42	OPT f=44 TT=0.508 T1=0.5	OPT f=44 TT=41.492 T1=41.39	OPT f=44 TT=13.38 T1=13.34	OPT f=44 TT=1.223 T1=1.2	OPT f=44 TT=1.224 T1=1.2	OPT f=44 TT=4.302 T1=1.86	OPT f=44 TT=1.81 T1=0.86	OPT f=44 TT=3.913 T1=3.84
/OPT-SMALLINT-LIN/ oliveras/j30opt/ normalized-j301_8.std.opb	OPT f=53 TT=0.264 T1=0.26	OPT f=53 TT=0.409 T1=0.39	OPT f=53 TT=0.671 T1=0.67	OPT f=53 TT=2.155 T1=2.14	OPT f=53 TT=2.238 T1=2.23	OPT f=53 TT=0.269 T1=0.26	OPT f=53 TT=0.264 T1=0.26	OPT f=53 TT=3.763 T1=1.72	OPT f=53 TT=1.494 T1=0.72	OPT f=53 TT=3.628 T1=3.56
/OPT-SMALLINT-LIN/ oliveras/j30opt/ normalized-j3020_9.std.opb	OPT f=41 TT=0.297 T1=0.29	OPT f=41 TT=0.428 T1=0.41	OPT f=41 TT=0.555 T1=0.55	OPT f=41 TT=37.132 T1=37.07	OPT f=41 TT=4.301 T1=4.29	OPT f=41 TT=0.301 T1=0.29	OPT f=41 TT=0.297 T1=0.29	OPT f=41 TT=3.342 T1=1.66	OPT f=41 TT=1.516 T1=0.73	OPT f=41 TT=3.86 T1=3.84
/OPT-SMALLINT-LIN/ oliveras/j30opt/ normalized-j3021_10.std.opb	OPT f=69 TT=0.365 T1=0.39	OPT f=69 TT=0.439 T1=0.42	OPT f=69 TT=0.71 T1=0.7	OPT f=69 TT=2.176 T1=2.16	OPT f=69 TT=4.005 T1=4	OPT f=69 TT=0.365 T1=0.4	OPT f=69 TT=0.404 T1=0.39	OPT f=69 TT=3.944 T1=1.64	OPT f=69 TT=1.784 T1=0.81	OPT f=69 TT=16.194 T1=16.12
/OPT-SMALLINT-LIN/ oliveras/j30opt/ normalized-j3024_7.std.opb	OPT f=44 TT=0.432 T1=0.42	OPT f=44 TT=0.432 T1=0.42	OPT f=44 TT=0.706 T1=0.7	OPT f=44 TT=10.019 T1=9.98	OPT f=44 TT=8.957 T1=8.93	OPT f=44 TT=0.459 T1=0.45	OPT f=44 TT=0.452 T1=0.44	OPT f=44 TT=3.323 T1=1.65	OPT f=44 TT=1.553 T1=0.79	OPT f=44 TT=3.909 T1=3.83
/OPT-SMALLINT-LIN/ oliveras/j30opt/ normalized-j3027_1.std.opb	OPT f=43 TT=0.449 T1=0.44	OPT f=43 TT=0.449 T1=0.44	OPT f=43 TT=0.796 T1=0.79	OPT f=43 TT=16.854 T1=16.8	OPT f=43 TT=7.983 T1=7.96	OPT f=43 TT=0.573 T1=0.56	OPT f=43 TT=0.588 T1=0.57	OPT f=43 TT=4.223 T1=1.72	OPT f=43 TT=2.185 T1=0.86	OPT f=43 TT=3.917 T1=3.85
/OPT-SMALLINT-LIN/ oliveras/j30opt/ normalized-j3028_7.std.opb	OPT f=48 TT=0.445 T1=0.43	OPT f=48 TT=0.445 T1=0.43	OPT f=48 TT=0.701 T1=0.69	OPT f=48 TT=20.559 T1=20.49	OPT f=48 TT=8.732 T1=8.71	OPT f=48 TT=0.775 T1=0.76	OPT f=48 TT=0.777 T1=0.76	OPT f=48 TT=4.416 T1=1.84	OPT f=48 TT=1.795 T1=0.84	OPT f=48 TT=3.799 T1=3.72
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
/OPT-SMALLINT-LIN/ oliveras/j30opt/ normalized-j3028_8.std.opb	OPT f=53 TT=0.445 T1=0.43	OPT f=53 TT=0.445 T1=0.43	OPT f=53 TT=0.678 T1=0.67	OPT f=53 TT=11.893 T1=11.83	OPT f=53 TT=7.178 T1=7.15	OPT f=53 TT=0.739 T1=0.73	OPT f=53 TT=0.736 T1=0.72	OPT f=53 TT=3.873 T1=1.74	OPT f=53 TT=1.894 T1=0.82	OPT f=53 TT=3.743 T1=3.68
/OPT-SMALLINT-LIN/ oliveras/j30opt/ normalized-j3029_1.std.opb	OPT f=85 TT=0.733 T1=0.72	OPT f=85 TT=0.733 T1=0.72	OPT f=85 TT=0.858 T1=0.85	OPT f=85 TT=13.684 T1=13.63	OPT f=85 TT=9.945 T1=9.92	OPT f=85 TT=1.169 T1=1.16	OPT f=85 TT=3.071 T1=3.06	OPT f=85 TT=6.551 T1=2.73	OPT f=85 TT=2.624 T1=1.19	OPT f=85 TT=30.698 T1=30.62
/OPT-SMALLINT-LIN/ oliveras/j30opt/ normalized-j3030_10.std.opb	OPT f=53 TT=0.489 T1=0.48	OPT f=53 TT=0.489 T1=0.48	OPT f=53 TT=0.707 T1=0.7	OPT f=53 TT=17.177 T1=17.12	OPT f=53 TT=12.35 T1=12.31	OPT f=53 TT=0.842 T1=0.83	OPT f=53 TT=1.578 T1=1.56	OPT f=53 TT=4.773 T1=1.77	OPT f=53 TT=2.263 T1=0.97	OPT f=53 TT=10.045 T1=9.95
/OPT-SMALLINT-LIN/ oliveras/j30opt/ normalized-j3032_2.std.opb	OPT f=60 TT=0.448 T1=0.43	OPT f=60 TT=0.448 T1=0.43	OPT f=60 TT=0.705 T1=0.7	OPT f=60 TT=27.816 T1=27.73	OPT f=60 TT=10.032 T1=9.99	OPT f=60 TT=0.899 T1=0.88	OPT f=60 TT=0.899 T1=0.88	OPT f=60 TT=3.863 T1=1.76	OPT f=60 TT=1.866 T1=0.83	OPT f=60 TT=3.678 T1=3.65
/OPT-SMALLINT-LIN/ oliveras/j30opt/ normalized-j3034_9.std.opb	OPT f=60 TT=0.281 T1=0.27	OPT f=60 TT=0.436 T1=0.42	OPT f=60 TT=0.682 T1=0.67	OPT f=60 TT=9.488 T1=9.46	OPT f=60 TT=4.182 T1=4.17	OPT f=60 TT=0.284 T1=0.28	OPT f=60 TT=0.281 T1=0.27	OPT f=60 TT=3.342 T1=1.64	OPT f=60 TT=1.514 T1=0.75	OPT f=60 TT=3.663 T1=3.59
/OPT-SMALLINT-LIN/ oliveras/j30opt/ normalized-j3037_10.std.opb	OPT f=81 TT=0.389 T1=0.38	OPT f=81 TT=0.46 T1=0.45	OPT f=81 TT=0.487 T1=0.48	OPT f=81 TT=2.924 T1=2.91	OPT f=81 TT=4.032 T1=4.02	OPT f=81 TT=0.389 T1=0.38	OPT f=81 TT=0.437 T1=0.43	OPT f=81 TT=4.214 T1=1.64	OPT f=81 TT=1.764 T1=0.83	OPT f=81 TT=21.947 T1=21.87
/OPT-SMALLINT-LIN/ oliveras/j30opt/ normalized-j3039_1.std.opb	OPT f=55 TT=0.446 T1=0.43	OPT f=55 TT=0.446 T1=0.43	OPT f=55 TT=0.684 T1=0.68	OPT f=55 TT=3.63 T1=3.61	OPT f=55 TT=5.296 T1=5.28	OPT f=55 TT=0.463 T1=0.45	OPT f=55 TT=0.458 T1=0.45	OPT f=55 TT=3.795 T1=1.65	OPT f=55 TT=1.932 T1=0.84	OPT f=55 TT=3.692 T1=3.61
/OPT-SMALLINT-LIN/ oliveras/j30opt/ normalized-j3039_5.std.opb	OPT f=55 TT=0.433 T1=0.42	OPT f=55 TT=0.449 T1=0.44	OPT f=55 TT=0.717 T1=0.71	OPT f=55 TT=9.016 T1=8.98	OPT f=55 TT=3.786 T1=3.77	OPT f=55 TT=0.436 T1=0.42	OPT f=55 TT=0.433 T1=0.42	OPT f=55 TT=3.985 T1=1.68	OPT f=55 TT=1.903 T1=0.87	OPT f=55 TT=3.698 T1=3.62
/OPT-SMALLINT-LIN/ oliveras/j30opt/ normalized-j3040_5.std.opb	OPT f=65 TT=0.444 T1=0.43	OPT f=65 TT=0.444 T1=0.43	OPT f=65 TT=0.658 T1=0.65	OPT f=65 TT=5.835 T1=5.81	OPT f=65 TT=7.776 T1=7.76	OPT f=65 TT=0.463 T1=0.45	OPT f=65 TT=0.459 T1=0.45	OPT f=65 TT=3.424 T1=1.67	OPT f=65 TT=1.535 T1=0.76	OPT f=65 TT=3.516 T1=3.44
/OPT-SMALLINT-LIN/ oliveras/j30opt/ normalized-j3044_1.std.opb	OPT f=50 TT=0.462 T1=0.45	OPT f=50 TT=0.462 T1=0.45	OPT f=50 TT=0.773 T1=0.77	OPT f=50 TT=6.188 T1=6.15	OPT f=50 TT=10.812 T1=10.79	OPT f=50 TT=0.66 T1=0.65	OPT f=50 TT=0.656 T1=0.64	OPT f=50 TT=4.053 T1=1.75	OPT f=50 TT=1.983 T1=0.85	OPT f=50 TT=3.826 T1=3.75
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
/OPT-SMALLINT-LIN/ oliveras/j30opt/ normalized-j3045_1.std.opb	OPT f=82 TT=0.99 T1=0.98	OPT f=82 TT=0.998 T1=0.98	OPT f=82 TT=0.99 T1=0.98	OPT f=82 TT=24.665 T1=24.6	OPT f=82 TT=9.556 T1=9.53	OPT f=82 TT=1.512 T1=1.5	OPT f=82 TT=3.129 T1=3.22	OPT f=82 TT=8.322 T1=6.78	OPT f=82 TT=3.362 T1=1.75	OPT f=82 TT=45.983 T1=45.91
/OPT-SMALLINT-LIN/ oliveras/j30opt/ normalized-j304_5.std.opb	OPT f=59 TT=0.262 T1=0.25	OPT f=59 TT=0.401 T1=0.39	OPT f=59 TT=0.656 T1=0.65	OPT f=59 TT=1.872 T1=1.86	OPT f=59 TT=4.068 T1=4.06	OPT f=59 TT=0.266 T1=0.37	OPT f=59 TT=0.262 T1=0.25	OPT f=59 TT=3.753 T1=1.7	OPT f=59 TT=1.544 T1=0.77	OPT f=59 TT=3.5 T1=3.41
/OPT-SMALLINT-LIN/ oliveras/j30opt/ normalized-j3046_5.std.opb	OPT f=57 TT=0.471 T1=0.46	OPT f=57 TT=0.471 T1=0.46	OPT f=57 TT=0.726 T1=0.72	OPT f=57 TT=14.758 T1=14.69	OPT f=57 TT=10.72 T1=10.68	OPT f=57 TT=0.721 T1=0.71	OPT f=57 TT=0.714 T1=0.7	OPT f=57 TT=4.172 T1=1.76	OPT f=57 TT=2.074 T1=0.84	OPT f=57 TT=3.751 T1=3.68
/OPT-SMALLINT-LIN/ oliveras/j30opt/ normalized-j3047_1.std.opb	OPT f=58 TT=0.475 T1=0.46	OPT f=58 TT=0.475 T1=0.46	OPT f=58 TT=0.719 T1=0.71	OPT f=58 TT=23.55 T1=23.46	OPT f=58 TT=9.733 T1=9.7	OPT f=58 TT=0.694 T1=0.68	OPT f=58 TT=0.692 T1=0.68	OPT f=58 TT=3.903 T1=1.75	OPT f=58 TT=1.893 T1=0.84	OPT f=58 TT=3.731 T1=3.65
/OPT-SMALLINT-LIN/ oliveras/j30opt/ normalized-j305_3.std.opb	OPT f=76 TT=0.414 T1=0.4	OPT f=76 TT=0.452 T1=0.44	OPT f=76 TT=0.665 T1=0.66	OPT f=76 TT=4.937 T1=4.92	OPT f=76 TT=3.638 T1=3.63	OPT f=76 TT=0.414 T1=0.4	OPT f=76 TT=1.386 T1=1.38	OPT f=76 TT=5.443 T1=1.77	OPT f=76 TT=2.134 T1=0.92	OPT f=76 TT=30.23 T1=30.16
/OPT-SMALLINT-LIN/ oliveras/j30opt/ normalized-j307_6.std.opb	OPT f=35 TT=0.432 T1=0.42	OPT f=35 TT=0.432 T1=0.42	OPT f=35 TT=0.765 T1=0.76	OPT f=35 TT=4.124 T1=4.1	OPT f=35 TT=6.926 T1=6.9	OPT f=35 TT=0.495 T1=0.48	OPT f=35 TT=0.474 T1=0.47	OPT f=35 TT=4.413 T1=1.8	OPT f=35 TT=1.643 T1=0.74	OPT f=35 TT=4.014 T1=3.93
/OPT-SMALLINT-LIN/ oliveras/j30opt/ normalized-j308_4.std.opb	OPT f=48 TT=0.416 T1=0.4	OPT f=48 TT=0.416 T1=0.4	OPT f=48 TT=0.671 T1=0.66	OPT f=48 TT=11.208 T1=11.17	OPT f=48 TT=7.802 T1=7.78	OPT f=48 TT=0.473 T1=0.46	OPT f=48 TT=0.452 T1=0.45	OPT f=48 TT=3.995 T1=1.8	OPT f=48 TT=1.514 T1=0.74	OPT f=48 TT=3.718 T1=3.64
/OPT-SMALLINT-LIN/ oliveras/j30opt/ normalized-j309_3.std.opb	OPT f=68 TT=0.407 T1=0.4	OPT f=68 TT=0.479 T1=0.47	OPT f=68 TT=0.407 T1=0.4	OPT f=68 TT=10.134 T1=10.1	OPT f=68 TT=6.675 T1=6.65	OPT f=68 TT=0.538 T1=0.53	OPT f=68 TT=2.066 T1=2.05	OPT f=68 TT=5.393 T1=1.82	OPT f=68 TT=2.465 T1=1.04	OPT f=68 TT=22.668 T1=22.59
/OPT-SMALLINT-LIN/ oliveras/j30opt/ normalized-j309_7.std.opb	OPT f=63 TT=0.583 T1=0.57	OPT f=63 TT=0.583 T1=0.57	OPT f=63 TT=0.854 T1=0.85	OPT f=63 TT=13.295 T1=13.24	OPT f=63 TT=7.237 T1=7.21	OPT f=63 TT=0.658 T1=0.65	OPT f=63 TT=1.554 T1=1.54	OPT f=63 TT=8.213 T1=5.8	OPT f=63 TT=2.783 T1=1.32	OPT f=63 TT=32.011 T1=31.94
/OPT-SMALLINT-LIN/ oliveras/j60opt/ normalized-j6012_3.std.opb	OPT f=75 TT=0.848 T1=0.83	OPT f=75 TT=0.848 T1=0.83	OPT f=75 TT=1.391 T1=1.38	OPT f=75 TT=89.765 T1=89.66	OPT f=75 TT=18.719 T1=18.65	OPT f=75 TT=1.985 T1=1.95	OPT f=75 TT=1.987 T1=1.95	OPT f=75 TT=4.394 T1=2.07	OPT f=75 TT=2.174 T1=1.12	OPT f=75 TT=4.736 T1=4.65
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
/OPT-SMALLINT-LIN/ oliveras/j60opt/ normalized-j6012_9.std.opb	OPT f=59 TT=0.826 T1=0.81	OPT f=59 TT=0.826 T1=0.81	OPT f=59 TT=1.453 T1=1.44	OPT f=59 TT=17.133 T1=17.09	OPT f=59 TT=22.772 T1=22.7	OPT f=59 TT=2.463 T1=2.42	OPT f=59 TT=2.463 T1=2.42	OPT f=59 TT=4.352 T1=2.1	OPT f=59 TT=2.135 T1=1.11	OPT f=59 TT=4.946 T1=4.85
/OPT-SMALLINT-LIN/ oliveras/j60opt/ normalized-j6013_4.std.opb	SAT f=107 TT=1800.02 T1=68.45	? (TO) TT=1800.08	? (TO) TT=1800.01	SAT (TO) f=109 TT=1800.1 T1=1800.4	SAT (TO) f=116 TT=1800.07 T1=1800.4	SAT (TO) f=300 TT=1800.11 T1=1800.4	SAT (TO) f=108 TT=1800.11 T1=1800.4	SAT (TO) f=107 TT=1800.08 T1=160.4	SAT (TO) f=107 TT=1800.02 T1=68.45	? (TO) TT=1800.05
/OPT-SMALLINT-LIN/ oliveras/j60opt/ normalized-j6019_2.std.opb	OPT f=83 TT=0.621 T1=0.6	OPT f=83 TT=0.809 T1=0.79	OPT f=83 TT=1.249 T1=1.24	OPT f=83 TT=4.113 T1=4.08	OPT f=83 TT=6.371 T1=6.35	OPT f=83 TT=0.621 T1=0.6	OPT f=83 TT=0.623 T1=0.61	OPT f=83 TT=4.652 T1=1.98	OPT f=83 TT=2.174 T1=1.1	OPT f=83 TT=4.473 T1=4.37
/OPT-SMALLINT-LIN/ oliveras/j60opt/ normalized-j6020_6.std.opb	OPT f=97 TT=0.709 T1=0.69	OPT f=97 TT=0.859 T1=0.84	OPT f=97 TT=1.323 T1=1.31	OPT f=97 TT=7.605 T1=7.58	OPT f=97 TT=8.084 T1=8.06	OPT f=97 TT=0.712 T1=0.69	OPT f=97 TT=0.709 T1=0.69	OPT f=97 TT=4.072 T1=1.98	OPT f=97 TT=2.084 T1=1.07	OPT f=97 TT=4.259 T1=4.17
/OPT-SMALLINT-LIN/ oliveras/j60opt/ normalized-j6021_5.std.opb	OPT f=89 TT=1.93 T1=1.91	OPT f=89 TT=3.041 T1=3.02	OPT f=89 TT=3.069 T1=3.05	OPT f=89 TT=22.973 T1=22.91	OPT f=89 TT=11.565 T1=11.53	OPT f=89 TT=1.93 T1=1.91	OPT f=89 TT=6.163 T1=6.15	OPT f=89 TT=11.232 T1=7.02	OPT f=89 TT=5.412 T1=3.6	OPT f=89 TT=28.879 T1=28.79
/OPT-SMALLINT-LIN/ oliveras/j60opt/ normalized-j602_4.std.opb	OPT f=78 TT=0.603 T1=0.59	OPT f=78 TT=0.78 T1=0.76	OPT f=78 TT=1.377 T1=1.37	OPT f=78 TT=7.525 T1=7.49	OPT f=78 TT=6.187 T1=6.17	OPT f=78 TT=0.606 T1=0.59	OPT f=78 TT=0.603 T1=0.59	OPT f=78 TT=3.964 T1=1.94	OPT f=78 TT=1.925 T1=1.02	OPT f=78 TT=4.495 T1=4.4
/OPT-SMALLINT-LIN/ oliveras/j60opt/ normalized-j6026_2.std.opb	OPT f=66 TT=0.868 T1=0.85	OPT f=66 TT=0.868 T1=0.85	OPT f=66 TT=1.341 T1=1.33	OPT f=66 TT=58.494 T1=58.44	OPT f=66 TT=16.812 T1=16.75	OPT f=66 TT=1.277 T1=1.25	OPT f=66 TT=1.304 T1=1.28	OPT f=66 TT=4.833 T1=2.13	OPT f=66 TT=2.365 T1=1.15	OPT f=66 TT=4.911 T1=4.81
/OPT-SMALLINT-LIN/ oliveras/j60opt/ normalized-j6027_6.std.opb	OPT f=64 TT=0.869 T1=0.85	OPT f=64 TT=0.869 T1=0.85	OPT f=64 TT=1.496 T1=1.48	OPT f=64 TT=102.019 T1=101.9	OPT f=64 TT=19.182 T1=19.13	OPT f=64 TT=1.726 T1=1.69	OPT f=64 TT=1.725 T1=1.7	OPT f=64 TT=4.502 T1=2.09	OPT f=64 TT=2.323 T1=1.13	OPT f=64 TT=4.915 T1=4.89
/OPT-SMALLINT-LIN/ oliveras/j60opt/ normalized-j6029_8.std.opb	SAT f=105 TT=1801.07 T1=107.64	? (TO) TT=1800.07	? (TO) TT=1800.02	SAT (TO) f=106 TT=1800.07 T1=1800.4	SAT (TO) f=106 TT=1800.05 T1=1800.4	SAT (TO) f=300 TT=1800.11 T1=1800.4	SAT (TO) f=106 TT=1800.1 T1=1800.4	SAT (TO) f=105 TT=1801.07 T1=107.64	No Cert. TT=1800.05	? (TO) TT=1800.02
/OPT-SMALLINT-LIN/ oliveras/j60opt/ normalized-j6030_8.std.opb	OPT f=63 TT=0.897 T1=0.88	OPT f=63 TT=0.897 T1=0.88	OPT f=63 TT=1.492 T1=1.48	OPT f=63 TT=139.449 T1=139.32	OPT f=63 TT=27.277 T1=27.19	OPT f=63 TT=2.37 T1=2.33	OPT f=63 TT=4.529 T1=4.5	OPT f=63 TT=5.333 T1=2.15	OPT f=63 TT=2.514 T1=1.23	OPT f=63 TT=5.089 T1=4.99
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
/OPT-SMALLINT-LIN/ oliveras/j60opt/ normalized-j6031_6.std.opb	OPT f=72 TT=0.872 T1=0.85	OPT f=72 TT=0.872 T1=0.85	OPT f=72 TT=1.388 T1=1.37	OPT f=72 TT=125.407 T1=125.28	OPT f=72 TT=33.828 T1=33.73	OPT f=72 TT=2.578 T1=2.54	OPT f=72 TT=2.575 T1=2.54	OPT f=72 TT=4.464 T1=2.12	OPT f=72 TT=2.324 T1=1.16	OPT f=72 TT=4.902 T1=4.81
/OPT-SMALLINT-LIN/ oliveras/j60opt/ normalized-j6035_5.std.opb	OPT f=76 TT=0.658 T1=0.64	OPT f=76 TT=0.839 T1=0.82	OPT f=76 TT=0.883 T1=0.87	OPT f=76 TT=11.437 T1=11.4	OPT f=76 TT=7.548 T1=7.53	OPT f=76 TT=0.666 T1=0.65	OPT f=76 TT=0.658 T1=0.64	OPT f=76 TT=4.604 T1=1.93	OPT f=76 TT=2.134 T1=1.08	OPT f=76 TT=4.64 T1=4.53
/OPT-SMALLINT-LIN/ oliveras/j60opt/ normalized-j603_6.std.opb	OPT f=57 TT=0.641 T1=0.62	OPT f=57 TT=0.789 T1=0.77	OPT f=57 TT=1.519 T1=1.51	OPT f=57 TT=6.886 T1=6.85	OPT f=57 TT=8.694 T1=8.67	OPT f=57 TT=0.643 T1=0.63	OPT f=57 TT=0.641 T1=0.62	OPT f=57 TT=3.873 T1=1.9	OPT f=57 TT=1.913 T1=1.06	OPT f=57 TT=4.809 T1=4.72
/OPT-SMALLINT-LIN/ oliveras/j60opt/ normalized-j6039_5.std.opb	OPT f=73 TT=0.875 T1=0.85	OPT f=73 TT=0.875 T1=0.85	OPT f=73 TT=1.383 T1=1.37	OPT f=73 TT=24.016 T1=23.94	OPT f=73 TT=10.432 T1=10.4	OPT f=73 TT=1.025 T1=1	OPT f=73 TT=1.069 T1=1.05	OPT f=73 TT=4.562 T1=2.04	OPT f=73 TT=2.154 T1=1.11	OPT f=73 TT=4.757 T1=4.67
/OPT-SMALLINT-LIN/ oliveras/j60opt/ normalized-j603_9.std.opb	OPT f=67 TT=0.636 T1=0.62	OPT f=67 TT=0.788 T1=0.77	OPT f=67 TT=1.514 T1=1.5	OPT f=67 TT=16.23 T1=16.18	OPT f=67 TT=5.365 T1=5.34	OPT f=67 TT=0.641 T1=0.63	OPT f=67 TT=0.636 T1=0.62	OPT f=67 TT=4.092 T1=1.95	OPT f=67 TT=1.996 T1=1.05	OPT f=67 TT=4.668 T1=4.57
/OPT-SMALLINT-LIN/ oliveras/j60opt/ normalized-j6043_1.std.opb	OPT f=108 TT=0.832 T1=0.82	OPT f=108 TT=0.922 T1=0.9	OPT f=108 TT=0.832 T1=0.82	OPT f=108 TT=33.554 T1=33.5	OPT f=108 TT=14.632 T1=14.59	OPT f=108 TT=1.399 T1=1.38	OPT f=108 TT=1.403 T1=1.38	OPT f=108 TT=4.842 T1=2.1	OPT f=108 TT=2.443 T1=1.19	OPT f=108 TT=4.344 T1=4.26
/OPT-SMALLINT-LIN/ oliveras/j60opt/ normalized-j6044_1.std.opb	OPT f=84 TT=0.883 T1=0.86	OPT f=84 TT=0.883 T1=0.86	OPT f=84 TT=1.521 T1=1.51	OPT f=84 TT=41.392 T1=41.33	OPT f=84 TT=20.305 T1=20.24	OPT f=84 TT=1.697 T1=1.67	OPT f=84 TT=1.692 T1=1.66	OPT f=84 TT=4.523 T1=2.1	OPT f=84 TT=2.374 T1=1.17	OPT f=84 TT=4.646 T1=4.55
/OPT-SMALLINT-LIN/ oliveras/j60opt/ normalized-j6046_1.std.opb	OPT f=79 TT=0.926 T1=0.91	OPT f=79 TT=0.926 T1=0.91	OPT f=79 TT=1.364 T1=1.35	OPT f=79 TT=71.958 T1=71.86	OPT f=79 TT=22.64 T1=22.57	OPT f=79 TT=1.827 T1=1.8	OPT f=79 TT=1.807 T1=1.88	OPT f=79 TT=5.473 T1=2.17	OPT f=79 TT=2.624 T1=1.27	OPT f=79 TT=6.785 T1=6.69
/OPT-SMALLINT-LIN/ oliveras/j60opt/ normalized-j605_7.std.opb	OPT f=75 TT=17.386 T1=6.06	OPT f=75 TT=103.633 T1=103.63	OPT f=75 TT=147.01 T1=147.02	OPT f=75 TT=89.64 T1=89.67	OPT f=75 TT=17.386 T1=17.35	OPT f=75 TT=23.569 T1=23.56	OPT f=75 TT=18.333 T1=18.32	OPT f=75 TT=40.329 T1=17.07	OPT f=75 TT=23.709 T1=6.06	OPT f=75 TT=160.265 T1=160.2
/OPT-SMALLINT-LIN/ oliveras/j60opt/ normalized-j606_1.std.opb	OPT f=60 TT=0.813 T1=0.79	OPT f=60 TT=0.813 T1=0.79	OPT f=60 TT=0.825 T1=0.81	OPT f=60 TT=94.953 T1=94.81	OPT f=60 TT=10.001 T1=9.96	OPT f=60 TT=0.94 T1=0.92	OPT f=60 TT=0.941 T1=0.92	OPT f=60 TT=4.533 T1=2	OPT f=60 TT=2.293 T1=1.14	OPT f=60 TT=4.87 T1=4.78
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
/OPT-SMALLINT-LIN/ oliveras/j60opt/ normalized-j607_3.std.opb	OPT f=62 TT=0.805 T1=0.78	OPT f=62 TT=0.805 T1=0.78	OPT f=62 TT=1.498 T1=1.49	OPT f=62 TT=48.44 T1=48.31	OPT f=62 TT=12.953 T1=12.91	OPT f=62 TT=1.101 T1=1.08	OPT f=62 TT=1.099 T1=1.08	OPT f=62 TT=4.362 T1=2.05	OPT f=62 TT=2.213 T1=1.1	OPT f=62 TT=4.817 T1=4.73
/OPT-SMALLINT-LIN/ oliveras/j60opt/ normalized-j609_6.std.opb	SAT f=112 TT=1800.11 T1=1800.4	? (TO) TT=1800.1	? (TO) TT=1800.02	SAT (TO) f=114 TT=1800.08 T1=1800.4	SAT (TO) f=113 TT=1800.05 T1=1800.4	SAT (TO) f=296 TT=1800.09 T1=1800.4	SAT (TO) f=112 TT=1800.11 T1=1800.4	SAT (TO) f=113 TT=1800.06 T1=266.93	No Cert. TT=1800.01	? (TO) TT=1800.09
/OPT-SMALLINT-LIN/ oliveras/j90opt/ normalized-j9010_6.std.opb	OPT f=92 TT=1.283 T1=1.25	OPT f=92 TT=1.283 T1=1.25	OPT f=92 TT=1.782 T1=1.76	OPT f=92 TT=54.525 T1=54.46	OPT f=92 TT=31.468 T1=31.38	OPT f=92 TT=2.761 T1=2.72	OPT f=92 TT=3.324 T1=3.29	OPT f=92 TT=4.992 T1=2.35	OPT f=92 TT=2.675 T1=1.42	OPT f=92 TT=5.823 T1=5.72
/OPT-SMALLINT-LIN/ oliveras/j90opt/ normalized-j901_1.std.opb	OPT f=73 TT=0.924 T1=0.9	OPT f=73 TT=1.227 T1=1.2	OPT f=73 TT=2.344 T1=2.33	OPT f=73 TT=9.797 T1=9.85	OPT f=73 TT=9.226 T1=9.2	OPT f=73 TT=0.924 T1=0.9	OPT f=73 TT=1.176 T1=1.15	OPT f=73 TT=5.462 T1=2.25	OPT f=73 TT=2.765 T1=1.39	OPT f=73 TT=7.652 T1=7.54
/OPT-SMALLINT-LIN/ oliveras/j90opt/ normalized-j9013_1.std.opb	SAT f=146 TT=1800.69 T1=169.85	? (TO) TT=1800.07	? (TO) TT=1800.11	SAT (TO) f=156 TT=1800.06 T1=1800.4	SAT (TO) f=199 TT=1800.03 T1=1800.4	SAT (TO) f=300 TT=1800.09 T1=1800.4	SAT (TO) f=150 TT=1800.11 T1=1800.4	SAT (TO) f=146 TT=1800.78 T1=169.85	SAT (TO) f=146 TT=1800.69 T1=360.37	? (TO) TT=1800.05
/OPT-SMALLINT-LIN/ oliveras/j90opt/ normalized-j9013_9.std.opb	SAT f=131 TT=1800.05 T1=251.61	? (TO) TT=1800.11	? (TO) TT=1800.1	SAT (TO) f=140 TT=1800.07 T1=1800.4	SAT (TO) f=199 TT=1800.03 T1=1800.4	SAT (TO) f=300 TT=1800.11 T1=1800.4	SAT (TO) f=134 TT=1800.11 T1=1800.4	SAT (TO) f=131 TT=1800.05 T1=251.61	No Cert. TT=1800.03	? (TO) TT=1800.1
/OPT-SMALLINT-LIN/ oliveras/j90opt/ normalized-j9014_2.std.opb	OPT f=79 TT=1.272 T1=1.25	OPT f=79 TT=1.272 T1=1.25	OPT f=79 TT=1.945 T1=1.93	OPT f=79 TT=296.195 T1=296.12	OPT f=79 TT=54.854 T1=54.71	OPT f=79 TT=4.265 T1=4.21	OPT f=79 TT=20.413 T1=20.37	OPT f=79 TT=9.532 T1=8.43	OPT f=79 TT=5.353 T1=3.7	OPT f=79 TT=7.428 T1=7.32
/OPT-SMALLINT-LIN/ oliveras/j90opt/ normalized-j9016_1.std.opb	OPT f=85 TT=1.246 T1=1.22	OPT f=85 TT=1.246 T1=1.22	OPT f=85 TT=2.199 T1=2.18	OPT f=85 TT=69.896 T1=69.85	OPT f=85 TT=95.072 T1=94.84	OPT f=85 TT=7.293 T1=7.19	OPT f=85 TT=7.315 T1=7.22	OPT f=85 TT=5.293 T1=2.47	OPT f=85 TT=2.764 T1=1.47	OPT f=85 TT=5.943 T1=5.84
/OPT-SMALLINT-LIN/ oliveras/j90opt/ normalized-j9017_9.std.opb	OPT f=96 TT=0.932 T1=0.91	OPT f=96 TT=1.313 T1=1.29	OPT f=96 TT=1.994 T1=1.98	OPT f=96 TT=4.729 T1=4.7	OPT f=96 TT=7.858 T1=7.83	OPT f=96 TT=0.943 T1=0.92	OPT f=96 TT=0.932 T1=0.91	OPT f=96 TT=5.642 T1=2.18	OPT f=96 TT=2.744 T1=1.44	OPT f=96 TT=17.356 T1=17.25
/OPT-SMALLINT-LIN/ oliveras/j90opt/ normalized-j9019_6.std.opb	OPT f=136 TT=0.966 T1=0.94	OPT f=136 TT=1.234 T1=1.21	OPT f=136 TT=1.746 T1=1.73	OPT f=136 TT=15.712 T1=15.68	OPT f=136 TT=8.388 T1=8.36	OPT f=136 TT=0.966 T1=0.94	OPT f=136 TT=0.969 T1=0.95	OPT f=136 TT=5.012 T1=2.27	OPT f=136 TT=2.713 T1=1.37	OPT f=136 TT=4.704 T1=4.6
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
/OPT-SMALLINT-LIN/ oliveras/j90opt/ normalized-j9020_8.std.opb	OPT f=85 TT=1.134 T1=1.11	OPT f=85 TT=1.196 T1=1.17	OPT f=85 TT=2.167 T1=2.15	OPT f=85 TT=29.746 T1=29.68	OPT f=85 TT=9.983 T1=9.95	OPT f=85 TT=1.134 T1=1.11	OPT f=85 TT=1.141 T1=1.12	OPT f=85 TT=4.932 T1=2.33	OPT f=85 TT=2.643 T1=1.4	OPT f=85 TT=5.526 T1=5.42
/OPT-SMALLINT-LIN/ oliveras/j90opt/ normalized-j902_10.std.opb	OPT f=80 TT=0.94 T1=0.92	OPT f=80 TT=1.16 T1=1.13	OPT f=80 TT=2.276 T1=2.26	OPT f=80 TT=69.588 T1=69.53	OPT f=80 TT=11.215 T1=11.18	OPT f=80 TT=0.94 T1=0.92	OPT f=80 TT=0.941 T1=0.92	OPT f=80 TT=4.754 T1=2.18	OPT f=80 TT=2.573 T1=1.36	OPT f=80 TT=5.603 T1=5.5
/OPT-SMALLINT-LIN/ oliveras/j90opt/ normalized-j9021_5.std.opb	OPT f=112 TT=249.992 T1=47.11	? (TO) TT=1800.06	? (TO) TT=1800.02	SAT (TO) f=112 TT=1800.06 T1=1800.4	OPT f=112 TT=286.268 T1=286.26	OPT f=112 TT=410.067 T1=410.13	OPT f=112 TT=249.992 T1=250.03	OPT f=112 TT=1101.76 T1=118.38	OPT f=112 TT=875.901 T1=47.11	? (TO) TT=1800.11
/OPT-SMALLINT-LIN/ oliveras/j90opt/ normalized-j9022_8.std.opb	OPT f=97 TT=1.325 T1=1.3	OPT f=97 TT=1.325 T1=1.3	OPT f=97 TT=2.176 T1=2.16	OPT f=97 TT=40.379 T1=40.34	OPT f=97 TT=18.762 T1=18.7	OPT f=97 TT=1.861 T1=1.83	OPT f=97 TT=1.857 T1=1.82	OPT f=97 TT=4.953 T1=2.29	OPT f=97 TT=2.695 T1=1.42	OPT f=97 TT=5.778 T1=5.67
/OPT-SMALLINT-LIN/ oliveras/j90opt/ normalized-j9023_3.std.opb	OPT f=116 TT=1.296 T1=1.27	OPT f=116 TT=1.296 T1=1.27	OPT f=116 TT=1.484 T1=1.47	OPT f=116 TT=29.184 T1=29.14	OPT f=116 TT=16.252 T1=16.19	OPT f=116 TT=1.736 T1=1.7	OPT f=116 TT=1.742 T1=1.71	OPT f=116 TT=4.843 T1=2.3	OPT f=116 TT=2.816 T1=1.7	OPT f=116 TT=5.403 T1=5.29
/OPT-SMALLINT-LIN/ oliveras/j90opt/ normalized-j902_3.std.opb	OPT f=75 TT=0.983 T1=0.96	OPT f=75 TT=1.169 T1=1.14	OPT f=75 TT=2.293 T1=2.28	OPT f=75 TT=16.796 T1=16.74	OPT f=75 TT=9.831 T1=9.8	OPT f=75 TT=0.983 T1=0.96	OPT f=75 TT=0.985 T1=0.97	OPT f=75 TT=4.803 T1=2.19	OPT f=75 TT=2.643 T1=1.36	OPT f=75 TT=5.748 T1=5.62
/OPT-SMALLINT-LIN/ oliveras/j90opt/ normalized-j9024_9.std.opb	OPT f=80 TT=1.224 T1=1.2	OPT f=80 TT=1.224 T1=1.2	OPT f=80 TT=2.208 T1=2.19	OPT f=80 TT=102.555 T1=102.44	OPT f=80 TT=19.877 T1=19.81	OPT f=80 TT=2.271 T1=2.23	OPT f=80 TT=2.272 T1=2.23	OPT f=80 TT=4.832 T1=2.32	OPT f=80 TT=2.693 T1=1.43	OPT f=80 TT=5.953 T1=5.85
/OPT-SMALLINT-LIN/ oliveras/j90opt/ normalized-j9025_10.std.opb	SAT f=134 TT=1800.02 T1=536.76	? (TO) TT=1800.05	? (TO) TT=1800.02	SAT (TO) f=137 TT=1800.08 T1=1800.4	SAT (TO) f=199 TT=1800.04 T1=1800.4	SAT (TO) f=300 TT=1800.11 T1=1800.4	SAT (TO) f=136 TT=1800.11 T1=1800.4	SAT (TO) f=134 TT=1800.02 T1=536.76	No Cert. TT=1800	? (TO) TT=1800.02
/OPT-SMALLINT-LIN/ oliveras/j90opt/ normalized-j9025_7.std.opb	SAT f=139 TT=1800.15 T1=470.53	? (TO) TT=1800.1	? (TO) TT=1800.01	SAT (TO) f=145 TT=1800.05 T1=1800.4	SAT (TO) f=199 TT=1800.05 T1=1800.4	SAT (TO) f=300 TT=1800.11 T1=1800.4	SAT (TO) f=141 TT=1800.11 T1=1800.4	SAT (TO) f=139 TT=1800.15 T1=470.53	No Cert. TT=1800.04	? (TO) TT=1800.09
/OPT-SMALLINT-LIN/ oliveras/j90opt/ normalized-j9027_5.std.opb	OPT f=99 TT=1.341 T1=1.31	OPT f=99 TT=1.341 T1=1.31	OPT f=99 TT=2.131 T1=2.11	OPT f=99 TT=37.562 T1=37.53	OPT f=99 TT=36.699 T1=36.59	OPT f=99 TT=3.1 T1=3.06	OPT f=99 TT=3.53 T1=3.49	OPT f=99 TT=4.913 T1=2.37	OPT f=99 TT=2.684 T1=1.43	OPT f=99 TT=5.727 T1=5.62
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
/OPT-SMALLINT-LIN/ oliveras/j90opt/ normalized-j9027_6.std.opb	OPT f=87 TT=1.268 T1=1.24	OPT f=87 TT=1.268 T1=1.24	OPT f=87 TT=1.79 T1=1.77	OPT f=87 TT=16.499 T1=16.46	OPT f=87 TT=38.149 T1=38.04	OPT f=87 TT=2.956 T1=2.91	OPT f=87 TT=2.953 T1=2.91	OPT f=87 TT=5.452 T1=2.4	OPT f=87 TT=2.844 T1=1.49	OPT f=87 TT=5.929 T1=5.82
/OPT-SMALLINT-LIN/ oliveras/j90opt/ normalized-j9031_6.std.opb	OPT f=80 TT=1.311 T1=1.28	OPT f=80 TT=1.311 T1=1.28	OPT f=80 TT=2.083 T1=2.07	OPT f=80 TT=150.68 T1=150.6	OPT f=80 TT=63.169 T1=63.01	OPT f=80 TT=4.331 T1=4.28	OPT f=80 TT=5.522 T1=5.47	OPT f=80 TT=5.983 T1=2.42	OPT f=80 TT=3.024 T1=1.6	OPT f=80 TT=6.491 T1=6.35
/OPT-SMALLINT-LIN/ oliveras/j90opt/ normalized-j9033_3.std.opb	OPT f=108 TT=0.893 T1=0.87	OPT f=108 TT=1.607 T1=1.58	OPT f=108 TT=1.841 T1=1.83	OPT f=108 TT=8.196 T1=8.17	OPT f=108 TT=6.637 T1=6.61	OPT f=108 TT=0.896 T1=0.88	OPT f=108 TT=0.893 T1=0.87	OPT f=108 TT=5.434 T1=2.24	OPT f=108 TT=2.736 T1=1.44	OPT f=108 TT=5.311 T1=5.29
/OPT-SMALLINT-LIN/ oliveras/j90opt/ normalized-j9036_4.std.opb	OPT f=79 TT=1.143 T1=1.12	OPT f=79 TT=1.251 T1=1.23	OPT f=79 TT=2.52 T1=2.5	OPT f=79 TT=7.696 T1=7.65	OPT f=79 TT=8.466 T1=8.43	OPT f=79 TT=1.154 T1=1.13	OPT f=79 TT=1.143 T1=1.12	OPT f=79 TT=4.863 T1=2.32	OPT f=79 TT=2.685 T1=1.44	OPT f=79 TT=5.987 T1=5.88
/OPT-SMALLINT-LIN/ oliveras/j90opt/ normalized-j9038_2.std.opb	OPT f=78 TT=1.284 T1=1.26	OPT f=78 TT=1.284 T1=1.26	OPT f=78 TT=2.178 T1=2.16	OPT f=78 TT=29.861 T1=29.79	OPT f=78 TT=16.72 T1=16.66	OPT f=78 TT=1.532 T1=1.5	OPT f=78 TT=3.724 T1=3.7	OPT f=78 TT=5.304 T1=2.4	OPT f=78 TT=2.764 T1=1.44	OPT f=78 TT=6.028 T1=5.92
/OPT-SMALLINT-LIN/ oliveras/j90opt/ normalized-j9038_7.std.opb	OPT f=85 TT=1.242 T1=1.22	OPT f=85 TT=1.278 T1=1.25	OPT f=85 TT=1.242 T1=1.22	OPT f=85 TT=80.901 T1=80.86	OPT f=85 TT=16.378 T1=16.32	OPT f=85 TT=1.559 T1=1.53	OPT f=85 TT=1.591 T1=1.56	OPT f=85 TT=5.313 T1=2.39	OPT f=85 TT=2.795 T1=1.51	OPT f=85 TT=6.004 T1=5.9
/OPT-SMALLINT-LIN/ oliveras/j90opt/ normalized-j9039_4.std.opb	OPT f=81 TT=1.281 T1=1.26	OPT f=81 TT=1.281 T1=1.26	OPT f=81 TT=1.966 T1=1.95	OPT f=81 TT=66.623 T1=66.62	OPT f=81 TT=18.665 T1=18.6	OPT f=81 TT=1.798 T1=1.76	OPT f=81 TT=1.803 T1=1.77	OPT f=81 TT=5.112 T1=2.37	OPT f=81 TT=2.734 T1=1.6	OPT f=81 TT=5.993 T1=5.88
/OPT-SMALLINT-LIN/ oliveras/j90opt/ normalized-j9041_1.std.opb	SAT f=150 TT=1800.09 T1=193.3	? (TO) TT=1800.08	? (TO) TT=1800.01	SAT (TO) f=155 TT=1800.05 T1=1800.4	SAT (TO) f=191 TT=1800.06 T1=1800.4	SAT (TO) f=300 TT=1800.12 T1=1800.4	SAT (TO) f=151 TT=1800.1 T1=1800.4	SAT (TO) f=150 TT=1800.09 T1=193.3	No Cert. TT=1800.01	? (TO) TT=1800.05
/OPT-SMALLINT-LIN/ oliveras/j90opt/ normalized-j9043_10.std.opb	OPT f=92 TT=1.308 T1=1.28	OPT f=92 TT=1.308 T1=1.28	OPT f=92 TT=1.601 T1=1.58	OPT f=92 TT=57.368 T1=57.31	OPT f=92 TT=33.168 T1=33.07	OPT f=92 TT=2.757 T1=2.71	OPT f=92 TT=2.775 T1=2.73	OPT f=92 TT=5.713 T1=2.4	OPT f=92 TT=2.843 T1=1.53	OPT f=92 TT=5.945 T1=5.84
/OPT-SMALLINT-LIN/ oliveras/j90opt/ normalized-j9043_5.std.opb	OPT f=98 TT=1.375 T1=1.35	OPT f=98 TT=1.375 T1=1.35	OPT f=98 TT=2.204 T1=2.19	OPT f=98 TT=37.984 T1=37.98	OPT f=98 TT=35.872 T1=35.77	OPT f=98 TT=2.779 T1=2.74	OPT f=98 TT=2.786 T1=2.75	OPT f=98 TT=5.254 T1=2.41	OPT f=98 TT=2.715 T1=1.66	OPT f=98 TT=5.863 T1=5.75
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
/OPT-SMALLINT-LIN/ oliveras/j90opt/ normalized-j9044_5.std.opb	OPT f=84 TT=1.304 T1=1.28	OPT f=84 TT=1.304 T1=1.28	OPT f=84 TT=2.332 T1=2.31	OPT f=84 TT=67.172 T1=67.1	OPT f=84 TT=46.776 T1=46.65	OPT f=84 TT=3.743 T1=3.69	OPT f=84 TT=3.746 T1=3.7	OPT f=84 TT=5.213 T1=2.39	OPT f=84 TT=2.723 T1=1.5	OPT f=84 TT=6.051 T1=5.94
/OPT-SMALLINT-LIN/ oliveras/j90opt/ normalized-j9045_2.std.opb	SAT f=155 TT=1800.49 T1=882.42	? (TO) TT=1800.07	? (TO) TT=1800.01	SAT (TO) f=164 TT=1800.05 T1=1800.4	SAT (TO) f=199 TT=1800.12 T1=1800.5	SAT (TO) f=300 TT=1800.1 T1=1800.4	SAT (TO) f=159 TT=1800.09 T1=1800.4	SAT (TO) f=155 TT=1800.49 T1=882.42	No Cert. TT=1800.03	? (TO) TT=1800.03
/OPT-SMALLINT-LIN/ oliveras/j90opt/ normalized-j907_10.std.opb	OPT f=98 TT=1.25 T1=1.22	OPT f=98 TT=1.25 T1=1.22	OPT f=98 TT=2.099 T1=2.08	OPT f=98 TT=43.383 T1=43.33	OPT f=98 TT=19.276 T1=19.21	OPT f=98 TT=1.964 T1=1.93	OPT f=98 TT=1.97 T1=1.93	OPT f=98 TT=4.782 T1=2.27	OPT f=98 TT=2.694 T1=1.45	OPT f=98 TT=5.572 T1=5.46
/OPT-SMALLINT-LIN/ oliveras/j90opt/ normalized-j909_4.std.opb	SAT f=132 TT=1800.75 T1=184.77	? (TO) TT=1800.04	? (TO) TT=1800.02	SAT (TO) f=140 TT=1800.14 T1=1800.5	SAT (TO) f=196 TT=1800.04 T1=1800.4	SAT (TO) f=300 TT=1800.1 T1=1800.4	SAT (TO) f=135 TT=1800.11 T1=1800.4	SAT (TO) f=133 TT=1800.86 T1=135.75	SAT (TO) f=132 TT=1800.75 T1=184.77	? (TO) TT=1800.06
/OPT-SMALLINT-LIN/sroussel/BA/ normalized-BA_RDC4.dot_fibo_0null0mast_rapportOE2.0_TMAX180_K67_cod2.opb	SAT f=-148830 TT=1800.11 T1=1800.4	? (TO) TT=1800.07	? (TO) TT=1800.02	SAT (TO) f=-57444 TT=1800.09 T1=1800.4	SAT (TO) f=0 TT=1800.03 T1=1800.4	SAT (TO) f=-148830 TT=1800.11 T1=1800.4	? TT=129.36	SAT (TO) f=-124354 TT=1800.35 T1=663.04	SAT (TO) f=-114628 TT=1800.02 T1=159.77	? (TO) TT=1800.08
/OPT-SMALLINT-LIN/sroussel/BA/ normalized-BA_RDC4.dot_fibo_10null10mast_rapportOE1.0_TMAX120_K67_cod2.opb	SAT f=-177720 TT=1800.02 T1=447.49	? (TO) TT=1800.03	? (TO) TT=1800.02	SAT (TO) f=-110143 TT=1800.07 T1=1800.4	SAT (TO) f=0 TT=1800.05 T1=1800.4	SAT (TO) f=0 TT=1800.11 T1=1800.4	? TT=161	SAT (TO) f=-177720 TT=1800.02 T1=447.49	SAT (TO) f=-87568 TT=1800 T1=95.63	? (TO) TT=1800.06
/OPT-SMALLINT-LIN/sroussel/BA/ normalized-BA_RDC4.dot_fibo_20null0mast_rapportOE1.0_TMAX180_K67_cod2.opb	SAT f=-166774 TT=1800.02 T1=1800.3	? (TO) TT=1800.11	? (TO) TT=1800.02	SAT (TO) f=-91554 TT=1800.1 T1=1800.4	SAT (TO) f=-101962 TT=1800.09 T1=1800.5	SAT (TO) f=-166774 TT=1800.02 T1=1800.3	? TT=1052.19	SAT (TO) f=-95896 TT=1800.47 T1=869.41	SAT (TO) f=-101764 TT=1800.06 T1=140.38	? (TO) TT=1800.09
/OPT-SMALLINT-LIN/sroussel/BA/ normalized-BA_RDC4.dot_fibo_20null10mast_rapportOE2.0_TMAX15_K67_cod2.opb	OPT f=-22879 TT=95.133 T1=95.13	OPT f=-22879 TT=355.844 T1=355.88	OPT f=-22879 TT=95.133 T1=95.13	SAT (TO) f=-22879 TT=1800.07 T1=1800.4	SAT (TO) f=-22879 TT=1800.11 T1=1800.4	OPT f=-22879 TT=239.162 T1=239.18	? TT=156.557	SAT (TO) f=-13530 TT=1800.53 T1=654.19	No Cert. TT=1800.43	? (TO) TT=1800.05
/OPT-SMALLINT-LIN/sroussel/BA/ normalized-BA_RDC4.dot_fibo_50null0mast_rapportOE1.0_TMAX120_K67_cod2.opb	SAT f=-115005 TT=1800.11 T1=1800.4	? (TO) TT=1800.08	? (TO) TT=1800.03	SAT (TO) f=-73428 TT=1800.09 T1=1800.4	SAT (TO) f=-84607 TT=1800.05 T1=1800.4	SAT (TO) f=-115005 TT=1800.11 T1=1800.4	SAT (TO) f=-73477 TT=1800.09 T1=1800.4	SAT (TO) f=-65299 TT=1800.56 T1=782.22	? (TO) TT=1800.03	? (TO) TT=1800.03
/OPT-SMALLINT-LIN/sroussel/BA/ normalized-BA_RDC4.dot_fibo_50null50mast_rapportOE2.0_TMAX15_K67_cod2.opb	OPT f=0 TT=0.724 T1=0.71	OPT f=0 TT=11.015 T1=10.98	OPT f=0 TT=10.971 T1=10.96	OPT f=0 TT=283.351 T1=283.41	OPT f=0 TT=4.507 T1=4.48	OPT f=0 TT=1.825 T1=1.81	OPT f=0 TT=0.724 T1=0.71	OPT f=0 TT=8.274 T1=2.17	OPT f=0 TT=26.469 T1=23.58	? (TO) TT=1800.03
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
/OPT-SMALLINT-LIN/sroussel/BA/ normalized-BA_RDC4.dot_luby_0null0mast_rapportOE1.0_TMAX15_K67_cod1.opb	OPT f=-192 TT=1067.16 T1=3.45	? (TO) TT=1800.06	OPT f=-192 TT=1599.23 T1=1599.46	SAT (TO) f=-24 TT=1800.12 T1=1800.4	SAT (TO) f=0 TT=1800.14 T1=1800.3	OPT f=-192 TT=1067.16 T1=1067.33	? TT=75.55	SAT (TO) f=-192 TT=1800.05 T1=3.45	No Cert. TT=1800.66	? (TO) TT=1800.09
/OPT-SMALLINT-LIN/sroussel/BA/ normalized-BA_RDC4.dot_luby_0null0mast_rapportOE2.0_TMAX120_K67_cod1.opb	SAT f=-544 TT=1800.1 T1=1800.4	? (TO) TT=1800.03	? (TO) TT=1800.02	SAT (TO) f=-295 TT=1800.09 T1=1800.4	SAT (TO) f=0 TT=1800.2 T1=1800.5	SAT (TO) f=-544 TT=1800.1 T1=1800.4	? TT=73.483	SAT (TO) f=-270 TT=1800.16 T1=6.18	SAT (TO) f=-264 TT=1800.06 T1=2.17	? (TO) TT=1800.07
/OPT-SMALLINT-LIN/sroussel/BA/ normalized-BA_RDC4.dot_luby_0null10mast_rapportOE1.0_TMAX120_K67_cod3.opb	SAT f=-2157 TT=1800.07 T1=1800.4	? (TO) TT=1800.02	? (TO) TT=1800.04	SAT (TO) f=-2157 TT=1800.07 T1=1800.4	SAT (TO) f=0 TT=1800.27 T1=1800.4	SAT (TO) f=0 TT=1800.1 T1=1800.4	? TT=78.095	SAT (TO) f=-526 TT=1800.01 T1=1.97	SAT (TO) f=-1117 TT=1800.79 T1=47.39	? (TO) TT=1800.1
/OPT-SMALLINT-LIN/sroussel/BA/ normalized-BA_RDC4.dot_luby_0null20mast_rapportOE2.0_TMAX120_K67_cod2.opb	SAT f=-2832 TT=1800.09 T1=1800.4	? (TO) TT=1800.03	? (TO) TT=1800.1	SAT (TO) f=-809 TT=1800.13 T1=1800.5	SAT (TO) f=0 TT=1800.06 T1=1800.4	SAT (TO) f=0 TT=1800.12 T1=1800.4	SAT (TO) f=-2832 TT=1800.09 T1=1800.4	SAT (TO) f=-2560 TT=1800.89 T1=630.08	SAT (TO) f=-1024 TT=1800.65 T1=60.33	? (TO) TT=1800.11
/OPT-SMALLINT-LIN/sroussel/BA/ normalized-BA_RDC4.dot_luby_0null20mast_rapportOE2.0_TMAX300_K67_cod2.opb	SAT f=-6935 TT=1800.1 T1=1800.4	? (TO) TT=1800.09	? (TO) TT=1800.03	SAT (TO) f=-3177 TT=1800.12 T1=1800.4	SAT (TO) f=0 TT=1800.07 T1=1800.4	SAT (TO) f=-541 TT=1800.09 T1=1800.4	SAT (TO) f=-6935 TT=1800.1 T1=1800.4	SAT (TO) f=-5432 TT=1800.41 T1=585.79	SAT (TO) f=-5232 TT=1800.09 T1=51.82	? (TO) TT=1800.08
/OPT-SMALLINT-LIN/sroussel/BA/ normalized-BA_RDC4.dot_luby_10null0mast_rapportOE1.0_TMAX120_K67_cod1.opb	SAT f=-512 TT=1800.06 T1=1800.4	? (TO) TT=1800.08	? (TO) TT=1800.03	SAT (TO) f=-324 TT=1800.08 T1=1800.4	SAT (TO) f=0 TT=1800.27 T1=1800.3	SAT (TO) f=-512 TT=1800.06 T1=1800.4	? TT=76.678	SAT (TO) f=-456 TT=1800.13 T1=712.59	No Cert. TT=1800.71	? (TO) TT=1800.08
/OPT-SMALLINT-LIN/sroussel/BA/ normalized-BA_RDC4.dot_luby_10null0mast_rapportOE1.0_TMAX60_K67_cod1.opb	SAT f=-256 TT=1800.11 T1=1800.4	? (TO) TT=1800.01	? (TO) TT=1800.08	SAT (TO) f=-98 TT=1800.1 T1=1800.4	SAT (TO) f=0 TT=1800.09 T1=1800.4	SAT (TO) f=-256 TT=1800.11 T1=1800.4	? TT=74.802	? (TO) TT=1800.1	? (TO) TT=1800.07	? (TO) TT=1800.08
/OPT-SMALLINT-LIN/sroussel/BA/ normalized-BA_RDC4.dot_luby_10null0mast_rapportOE2.0_TMAX60_K67_cod1.opb	SAT f=-256 TT=1800.1 T1=1800.4	? (TO) TT=1800.03	? (TO) TT=1800.03	SAT (TO) f=-45 TT=1800.08 T1=1800.4	SAT (TO) f=0 TT=1800.1 T1=1800.3	SAT (TO) f=-256 TT=1800.1 T1=1800.4	? TT=75.923	SAT (TO) f=-201 TT=1800.83 T1=3.65	? (TO) TT=1800.06	? (TO) TT=1800.07
/OPT-SMALLINT-LIN/sroussel/BA/ normalized-BA_RDC4.dot_luby_10null10mast_rapportOE2.0_TMAX120_K67_cod1.opb	SAT f=-775 TT=1800.84 T1=80.8	? (TO) TT=1800.11	? (TO) TT=1800.03	SAT (TO) f=-649 TT=1800.08 T1=1800.4	SAT (TO) f=0 TT=1800.27 T1=1800.4	SAT (TO) f=0 TT=1800.09 T1=1800.4	? TT=89.966	SAT (TO) f=-775 TT=1800.84 T1=80.8	No Cert. TT=1797.64	? (TO) TT=1800.08
/OPT-SMALLINT-LIN/sroussel/BA/ normalized-BA_RDC4.dot_luby_10null10mast_rapportOE2.0_TMAX15_K67_cod1.opb	SAT f=-80 TT=1800.11 T1=1800.4	? (TO) TT=1800.13	? (TO) TT=1800.03	SAT (TO) f=0 TT=1800.09 T1=1800.4	SAT (TO) f=0 TT=1800.17 T1=1800.3	SAT (TO) f=-80 TT=1800.11 T1=1800.4	? TT=88.361	SAT (TO) f=-64 TT=1800.13 T1=285.95	SAT (TO) f=-48 TT=1800.02 T1=1178.66	? (TO) TT=1800.13
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
/OPT-SMALLINT-LIN/sroussel/BA/ normalized-BA_RDC4.dot_luby_10null10mast_rapportOE2.0_TMAX60_K67_cod3.opb	SAT f=-47 TT=1800.09 T1=1800.4	? (TO) TT=1800.04	? (TO) TT=1800.03	SAT (TO) f=-47 TT=1800.09 T1=1800.4	SAT (TO) f=0 TT=1800.21 T1=1800.3	SAT (TO) f=0 TT=1800.11 T1=1800.4	? TT=90.329	SAT (TO) f=-1 TT=1800.7 T1=26.55	? (TO) TT=1800.03	? (TO) TT=1800.11
/OPT-SMALLINT-LIN/sroussel/BA/ normalized-BA_RDC4.dot_luby_20null0mast_rapportOE1.0_TMAX60_K67_cod2.opb	SAT f=-397 TT=1800.1 T1=1800.4	? (TO) TT=1800.02	? (TO) TT=1800.02	SAT (TO) f=-358 TT=1800.05 T1=1800.4	SAT (TO) f=0 TT=1800.07 T1=1800.4	SAT (TO) f=-320 TT=1800.02 T1=1800.3	SAT (TO) f=-397 TT=1800.1 T1=1800.4	SAT (TO) f=-3 TT=1800.15 T1=831.22	? (TO) TT=1800	? (TO) TT=1800.04
/OPT-SMALLINT-LIN/sroussel/BA/ normalized-BA_RDC4.dot_luby_20null0mast_rapportOE2.0_TMAX180_K67_cod1.opb	SAT f=-640 TT=1800.07 T1=1800.4	? (TO) TT=1800.02	? (TO) TT=1800.03	SAT (TO) f=-306 TT=1800.07 T1=1800.4	SAT (TO) f=0 TT=1800.28 T1=1800.4	SAT (TO) f=-640 TT=1800.07 T1=1800.4	? TT=76.843	SAT (TO) f=-539 TT=1800.06 T1=832.36	SAT (TO) f=-314 TT=1800.03 T1=1.36	? (TO) TT=1800.08
/OPT-SMALLINT-LIN/sroussel/BA/ normalized-BA_RDC4.dot_luby_20null0mast_rapportOE2.0_TMAX300_K67_cod2.opb	SAT f=-672 TT=1800.1 T1=1800.4	? (TO) TT=1800.1	? (TO) TT=1800.03	SAT (TO) f=-382 TT=1800.07 T1=1800.4	SAT (TO) f=0 TT=1800.03 T1=1800.4	SAT (TO) f=-672 TT=1800.1 T1=1800.4	SAT (TO) f=-438 TT=1800.1 T1=1800.4	SAT (TO) f=-406 TT=1800.17 T1=817.52	No Cert. TT=1800.68	? (TO) TT=1800.07
/OPT-SMALLINT-LIN/sroussel/BA/ normalized-BA_RDC4.dot_luby_20null10mast_rapportOE1.0_TMAX180_K67_cod1.opb	SAT f=-4384 TT=1800.73 T1=33.23	? (TO) TT=1800.02	? (TO) TT=1800.03	SAT (TO) f=-1792 TT=1800.08 T1=1800.4	SAT (TO) f=0 TT=1800.21 T1=1800.5	SAT (TO) f=0 TT=1800.09 T1=1800.4	? TT=93.002	SAT (TO) f=-4384 TT=1800.73 T1=33.23	SAT (TO) f=-1662 TT=1800.04 T1=15.95	? (TO) TT=1800.1
/OPT-SMALLINT-LIN/sroussel/BA/ normalized-BA_RDC4.dot_luby_20null10mast_rapportOE1.0_TMAX60_K67_cod3.opb	SAT f=-783 TT=1800.09 T1=1800.4	? (TO) TT=1800.12	? (TO) TT=1800.02	SAT (TO) f=-783 TT=1800.09 T1=1800.4	? (TO) TT=1800.07	SAT (TO) f=0 TT=1800.1 T1=1800.4	? TT=93.724	SAT (TO) f=-256 TT=1800.09 T1=225.47	? (TO) TT=1800.07	? (TO) TT=1800.07
/OPT-SMALLINT-LIN/sroussel/BA/ normalized-BA_RDC4.dot_luby_50null0mast_rapportOE1.0_TMAX300_K67_cod2.opb	SAT f=-592 TT=1800.09 T1=1800.4	? (TO) TT=1800.03	? (TO) TT=1800.02	SAT (TO) f=-461 TT=1800.1 T1=1800.4	SAT (TO) f=-319 TT=1800.03 T1=1800.4	SAT (TO) f=-592 TT=1800.09 T1=1800.4	SAT (TO) f=-479 TT=1800.09 T1=1800.4	SAT (TO) f=-419 TT=1800.58 T1=660.92	SAT (TO) f=-372 TT=1800.02 T1=215.06	? (TO) TT=1800.05
/OPT-SMALLINT-LIN/sroussel/BA/ normalized-BA_RDC4.dot_luby_50null50mast_rapportOE1.0_TMAX300_K67_cod1.opb	SAT f=-57 TT=1800.07 T1=1800.4	? (TO) TT=1800.1	? (TO) TT=1800.02	SAT (TO) f=-53 TT=1800.04 T1=1800.3	SAT (TO) f=0 TT=1800.4 T1=1800.4	SAT (TO) f=-13 TT=1800.11 T1=1800.4	SAT (TO) f=-57 TT=1800.07 T1=1800.4	SAT (TO) f=-43 TT=1800.84 T1=241.41	SAT (TO) f=-17 TT=1800.01 T1=454.85	? (TO) TT=1800.04
/OPT-SMALLINT-LIN/sroussel/BA/ normalized-BA_RDC4.dot_luby_50null50mast_rapportOE2.0_TMAX120_K67_cod2.opb	OPT f=-11 TT=284.656 T1=284.6	OPT f=-11 TT=1677.31 T1=1677.56	? (TO) TT=1800.03	SAT (TO) f=-10 TT=1800.02 T1=1800.4	OPT f=-11 TT=284.656 T1=284.6	SAT (TO) f=0 TT=1800.12 T1=1800.4	SAT (TO) f=-11 TT=1800.02 T1=1800.3	SAT (TO) f=-10 TT=1800.52 T1=462.35	SAT (TO) f=-9 TT=1800.05 T1=190.2	? (TO) TT=1800.09
/OPT-SMALLINT-LIN/sroussel/BA/ normalized-BA_RDC4.dot_unif_10null10mast_rapportOE1.0_TMAX60_K67_cod2.opb	SAT f=-13964 TT=1800.08 T1=1800.4	? (TO) TT=1800.12	? (TO) TT=1800.02	SAT (TO) f=-13964 TT=1800.08 T1=1800.4	SAT (TO) f=0 TT=1800.06 T1=1800.4	SAT (TO) f=0 TT=1800.03 T1=1800.3	? TT=78.617	SAT (TO) f=-34 TT=1800.72 T1=155.27	? (TO) TT=1800.06	? (TO) TT=1800.1
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
/OPT-SMALLINT-LIN/sroussel/BA/ normalized-BA_RDC4.dot_unif_20null0mast_rapportOE1.0_TMAX180_K67_cod2.opb	SAT f=-38615 TT=1800.44 T1=779.94	? (TO) TT=1800.02	? (TO) TT=1800.02	SAT (TO) f=-35157 TT=1800.11 T1=1800.4	SAT (TO) f=0 TT=1800.08 T1=1800.5	SAT (TO) f=-13797 TT=1800.05 T1=1800.4	? TT=76.856	SAT (TO) f=-38615 TT=1800.44 T1=779.94	SAT (TO) f=-25704 TT=1800.07 T1=1038.59	? (TO) TT=1800.05
/OPT-SMALLINT-LIN/sroussel/BA/ normalized-BA_RDC4.dot_unif_20null10mast_rapportOE2.0_TMAX180_K67_cod2.opb	SAT f=-22694 TT=1800.1 T1=1800.4	? (TO) TT=1800.09	? (TO) TT=1800.02	SAT (TO) f=-22694 TT=1800.1 T1=1800.4	SAT (TO) f=0 TT=1800.12 T1=1800.5	SAT (TO) f=0 TT=1800.11 T1=1800.4	? TT=78.049	SAT (TO) f=-12945 TT=1800.02 T1=845.32	No Cert. TT=1800.06	? (TO) TT=1800.04
/OPT-SMALLINT-LIN/sroussel/BA/ normalized-BA_RDC4.dot_unif_50null0mast_rapportOE1.0_TMAX180_K67_cod2.opb	SAT f=-39314 TT=1802.95 T1=587.93	? (TO) TT=1800.01	? (TO) TT=1800.03	SAT (TO) f=-35892 TT=1800.1 T1=1800.4	SAT (TO) f=0 TT=1800.11 T1=1800.5	SAT (TO) f=-13661 TT=1800.08 T1=1800.4	? TT=78.935	SAT (TO) f=-39314 TT=1802.95 T1=587.93	SAT (TO) f=-29000 TT=1800.79 T1=1543.25	? (TO) TT=1800.06
/OPT-SMALLINT-LIN/sroussel/BA/ normalized-BA_RDC4.dot_unif_50null50mast_rapportOE2.0_TMAX15_K67_cod1.opb	OPT f=0 TT=5.941 T1=2.34	OPT f=0 TT=371.582 T1=371.3	OPT f=0 TT=118.923 T1=118.92	SAT (TO) f=0 TT=1800.09 T1=1800.4	OPT f=0 TT=931.461 T1=931.26	SAT (TO) f=0 TT=1800.11 T1=1800.4	OPT f=0 TT=5.941 T1=5.91	OPT f=0 TT=850.727 T1=4.43	OPT f=0 TT=247.4 T1=2.34	? (TO) TT=1800.01
/OPT-SMALLINT-LIN/sroussel/NG/ normalized-NG.dot_fibo_50null0mast_rapportOE2.0_TMAX120_K192_cod2.opb	SAT f=-27582 TT=1800.13 T1=1800.3	? (exit code) TT=1.097	? (exit code) TT=0.007	SAT (TO) f=-27582 TT=1800.13 T1=1800.3	Signal TT=19.198	SAT (TO) f=0 TT=1800.22 T1=1800.4	? TT=163.431	? (TO) TT=1800	? (TO) TT=1800.08	? (TO) TT=1800.01
/OPT-SMALLINT-LIN/sroussel/NG/ normalized-NG.dot_fibo_50null50mast_rapportOE2.0_TMAX120_K192_cod2.opb	SAT f=-7578 TT=1800.14 T1=1800.4	? (exit code) TT=1.096	? (exit code) TT=0.006	SAT (TO) f=-7578 TT=1800.14 T1=1800.4	Signal TT=19.393	SAT (TO) f=0 TT=1800.18 T1=1800.4	? (TO) TT=1800.11	SAT (TO) f=0 TT=1800.08 T1=12.38	? (TO) TT=1800.04	? (TO) TT=1800.14
/OPT-SMALLINT-LIN/sroussel/NG/ normalized-NG.dot_luby_10null0mast_rapportOE1.0_TMAX60_K192_cod2.opb	SAT f=-512 TT=1800.2 T1=1800.4	? (exit code) TT=1.093	? (exit code) TT=0.006	SAT (TO) f=-124 TT=1800.12 T1=1800.3	Signal TT=19.142	SAT (TO) f=-512 TT=1800.2 T1=1800.4	SAT (TO) f=-236 TT=1800.13 T1=1800.4	? (TO) TT=1800.03	? (TO) TT=1800.04	? (TO) TT=1800.11
/OPT-SMALLINT-LIN/sroussel/NG/ normalized-NG.dot_luby_10null10mast_rapportOE1.0_TMAX15_K192_cod2.opb	SAT f=-2272 TT=1800.2 T1=1800.4	? (exit code) TT=1.093	? (exit code) TT=0.006	SAT (TO) f=-2048 TT=1800.13 T1=1800.3	Signal TT=19.227	SAT (TO) f=-2272 TT=1800.2 T1=1800.4	SAT (TO) f=-2061 TT=1800.39 T1=1800.4	SAT (TO) f=-4 TT=1800.01 T1=59.54	? (TO) TT=1800.67	? (TO) TT=1800.1
/OPT-SMALLINT-LIN/sroussel/NG/ normalized-NG.dot_luby_10null10mast_rapportOE1.0_TMAX300_K192_cod2.opb	SAT f=-14603 TT=1800.39 T1=1800.4	? (exit code) TT=1.095	? (exit code) TT=0.006	SAT (TO) f=-13667 TT=1800.13 T1=1800.4	Signal TT=19.214	SAT (TO) f=0 TT=1800.21 T1=1800.5	SAT (TO) f=-14603 TT=1800.39 T1=1800.4	SAT (TO) f=-1 TT=1800.04 T1=54.09	? (TO) TT=1800.55	? (TO) TT=1800.04
/OPT-SMALLINT-LIN/sroussel/NG/ normalized-NG.dot_luby_10null10mast_rapportOE2.0_TMAX180_K192_cod2.opb	SAT f=-7307 TT=1800.42 T1=1800.4	? (exit code) TT=1.093	? (exit code) TT=0.006	SAT (TO) f=-4152 TT=1800.13 T1=1800.3	Signal TT=19.266	SAT (TO) f=0 TT=1800.13 T1=1800.4	SAT (TO) f=-7307 TT=1800.42 T1=1800.4	SAT (TO) f=-2 TT=1801.04 T1=192.82	? (TO) TT=1800.01	? (TO) TT=1800.1
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
/OPT-SMALLINT-LIN/sroussel/NG/ normalized-NG.dot_luby_10null20mast_rapportOE1.0_TMAX180_K192_cod2.opb	SAT f=-12735 TT=1800.72 T1=1800.41	? (exit code) TT=1.092	? (exit code) TT=0.007	SAT (TO) f=-12386 TT=1800.13 T1=1800.3	Signal TT=19.167	SAT (TO) f=-1026 TT=1800.17 T1=1800.4	SAT (TO) f=-12735 TT=1800.72 T1=1800.41	SAT (TO) f=0 TT=1800.97 T1=12.25	? (TO) TT=1800.09	? (TO) TT=1800.09
/OPT-SMALLINT-LIN/sroussel/NG/ normalized-NG.dot_luby_10null20mast_rapportOE1.0_TMAX300_K192_cod2.opb	SAT f=-25670 TT=1800.7 T1=1800.4	? (exit code) TT=1.093	? (exit code) TT=0.006	SAT (TO) f=-12510 TT=1800.12 T1=1800.3	Signal TT=19.332	SAT (TO) f=-6144 TT=1800.15 T1=1800.4	SAT (TO) f=-25670 TT=1800.7 T1=1800.4	SAT (TO) f=0 TT=1800.03 T1=11.99	? (TO) TT=1800.66	? (TO) TT=1800.1
/OPT-SMALLINT-LIN/sroussel/NG/ normalized-NG.dot_luby_10null20mast_rapportOE1.0_TMAX60_K192_cod2.opb	SAT f=-4204 TT=1800.13 T1=1800.3	? (exit code) TT=1.096	? (exit code) TT=0.006	SAT (TO) f=-4204 TT=1800.13 T1=1800.3	Signal TT=19.154	SAT (TO) f=0 TT=1800.18 T1=1800.4	SAT (TO) f=-2061 TT=1800.75 T1=1800.4	? (TO) TT=1800.12	? (TO) TT=1800	? (TO) TT=1800.14
/OPT-SMALLINT-LIN/sroussel/NG/ normalized-NG.dot_luby_20null0mast_rapportOE2.0_TMAX300_K192_cod2.opb	SAT f=-2560 TT=1800.11 T1=1800.4	? (exit code) TT=1.092	? (exit code) TT=0.006	SAT (TO) f=-302 TT=1800.12 T1=1800.3	Signal TT=19.386	SAT (TO) f=-2560 TT=1800.11 T1=1800.4	SAT (TO) f=-1087 TT=1800.13 T1=1800.4	? (TO) TT=1800.03	No Cert. TT=1800.3	? (TO) TT=1800.04
/OPT-SMALLINT-LIN/sroussel/NG/ normalized-NG.dot_luby_20null10mast_rapportOE1.0_TMAX180_K192_cod2.opb	SAT f=-4271 TT=1800.4 T1=1800.4	? (exit code) TT=1.092	? (exit code) TT=0.006	SAT (TO) f=-3105 TT=1800.13 T1=1800.3	Signal TT=19.204	SAT (TO) f=0 TT=1800.14 T1=1800.4	SAT (TO) f=-4271 TT=1800.4 T1=1800.4	SAT (TO) f=0 TT=1800.06 T1=12.02	? (TO) TT=1800.03	? (TO) TT=1800.04
/OPT-SMALLINT-LIN/sroussel/NG/ normalized-NG.dot_luby_20null50mast_rapportOE1.0_TMAX15_K192_cod2.opb	SAT f=-2336 TT=1800.54 T1=1800.3	? (exit code) TT=1.091	? (exit code) TT=0.007	SAT (TO) f=-8 TT=1800.12 T1=1800.3	Signal TT=19.149	SAT (TO) f=0 TT=1800.2 T1=1800.4	SAT (TO) f=-2336 TT=1800.54 T1=1800.3	SAT (TO) f=0 TT=1800.09 T1=11.99	? (TO) TT=1800.01	? (TO) TT=1800.09
/OPT-SMALLINT-LIN/sroussel/NG/ normalized-NG.dot_luby_50null0mast_rapportOE1.0_TMAX15_K192_cod2.opb	SAT f=-432 TT=1800.18 T1=1800.4	? (exit code) TT=1.093	? (exit code) TT=0.007	SAT (TO) f=-4 TT=1800.13 T1=1800.3	Signal TT=19.26	SAT (TO) f=-432 TT=1800.18 T1=1800.4	SAT (TO) f=-387 TT=1800.19 T1=1800.4	? (TO) TT=1800.15	No Cert. TT=1800.27	? (TO) TT=1800.14
/OPT-SMALLINT-LIN/sroussel/NG/ normalized-NG.dot_luby_50null20mast_rapportOE2.0_TMAX60_K192_cod2.opb	SAT f=-5120 TT=1800.13 T1=1800.3	? (exit code) TT=1.094	? (exit code) TT=0.007	SAT (TO) f=-5120 TT=1800.13 T1=1800.3	Signal TT=19.246	SAT (TO) f=0 TT=1800.19 T1=1800.4	SAT (TO) f=-4164 TT=1800.23 T1=1800.4	SAT (TO) f=0 TT=1801.05 T1=12.23	? (TO) TT=1800	? (TO) TT=1800.11
/OPT-SMALLINT-LIN/sroussel/NG/ normalized-NG.dot_luby_50null50mast_rapportOE1.0_TMAX180_K192_cod2.opb	SAT f=-25600 TT=1800.12 T1=1800.3	? (exit code) TT=1.096	? (exit code) TT=0.006	SAT (TO) f=-25600 TT=1800.12 T1=1800.3	Signal TT=19.218	SAT (TO) f=0 TT=1800.15 T1=1800.4	? (TO) TT=1800.04	SAT (TO) f=0 TT=1800.18 T1=13.73	? (TO) TT=1800.6	? (TO) TT=1800.08
/OPT-SMALLINT-LIN/sroussel/NG/ normalized-NG.dot_luby_50null50mast_rapportOE1.0_TMAX300_K192_cod2.opb	SAT f=-1536 TT=1800.13 T1=1800.3	? (exit code) TT=1.094	? (exit code) TT=0.006	SAT (TO) f=-1536 TT=1800.13 T1=1800.3	Signal TT=19.21	SAT (TO) f=-512 TT=1800.17 T1=1800.3	? (TO) TT=1800.09	SAT (TO) f=-32 TT=1800.03 T1=442.37	? (TO) TT=1800.04	? (TO) TT=1800.07
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
/OPT-SMALLINT-LIN/sroussel/NG/ normalized-NG.dot_luby_50null50mast_rapportOE2.0_TMAX120_K192_cod2.opb	SAT f=-10240 TT=1800.13 T1=1800.3	? (exit code) TT=1.096	? (exit code) TT=0.005	SAT (TO) f=-10240 TT=1800.13 T1=1800.3	Signal TT=19.409	SAT (TO) f=0 TT=1800.18 T1=1800.4	? (TO) TT=1800.07	SAT (TO) f=0 TT=1800.54 T1=13.12	? (TO) TT=1800.65	? (TO) TT=1800.11
/OPT-SMALLINT-LIN/sroussel/NG/ normalized-NG.dot_unif_0null10mast_rapportOE1.0_TMAX60_K192_cod2.opb	SAT f=-11641 TT=1800.12 T1=1800.3	? (exit code) TT=1.095	? (exit code) TT=0.005	SAT (TO) f=-11641 TT=1800.12 T1=1800.3	Signal TT=19.192	SAT (TO) f=0 TT=1800.16 T1=1800.4	? TT=91.84	SAT (TO) f=0 TT=1801.19 T1=11.94	? (TO) TT=1800.07	? (TO) TT=1800.09
/OPT-SMALLINT-LIN/sroussel/NG/ normalized-NG.dot_unif_10null0mast_rapportOE2.0_TMAX15_K192_cod2.opb	SAT f=-9498 TT=1800.18 T1=1800.4	? (exit code) TT=1.095	? (exit code) TT=0.006	SAT (TO) f=-1687 TT=1800.12 T1=1800.3	Signal TT=19.506	SAT (TO) f=-9498 TT=1800.18 T1=1800.4	? TT=77.527	SAT (TO) f=0 TT=1800.5 T1=836.1	? (TO) TT=1800.29	? (TO) TT=1800.1
/OPT-SMALLINT-LIN/sroussel/NG/ normalized-NG.dot_unif_10null20mast_rapportOE1.0_TMAX300_K192_cod2.opb	SAT f=-51080 TT=1800.12 T1=1800.3	? (exit code) TT=1.093	? (exit code) TT=0.006	SAT (TO) f=-51080 TT=1800.12 T1=1800.3	Signal TT=19.072	SAT (TO) f=-341 TT=1800.12 T1=1800.4	? TT=76.927	SAT (TO) f=0 TT=1800.13 T1=12.31	? (TO) TT=1800.61	? (TO) TT=1800.1
/OPT-SMALLINT-LIN/sroussel/NG/ normalized-NG.dot_unif_10null20mast_rapportOE2.0_TMAX60_K192_cod2.opb	SAT f=-2532 TT=1800.12 T1=1800.3	? (exit code) TT=1.096	? (exit code) TT=0.006	SAT (TO) f=-2532 TT=1800.12 T1=1800.3	Signal TT=19.37	SAT (TO) f=0 TT=1800.17 T1=1800.4	? TT=80.9	SAT (TO) f=0 TT=1800.97 T1=12.98	? (TO) TT=1800.06	? (TO) TT=1800.01
/OPT-SMALLINT-LIN/sroussel/NG/ normalized-NG.dot_unif_20null0mast_rapportOE1.0_TMAX300_K192_cod2.opb	SAT f=-47956 TT=1800.13 T1=1800.3	? (exit code) TT=1.093	? (exit code) TT=0.006	SAT (TO) f=-47956 TT=1800.13 T1=1800.3	Signal TT=19.257	SAT (TO) f=-41421 TT=1800.14 T1=1800.4	? TT=81.322	SAT (TO) f=-3 TT=1800.3 T1=766.93	? (TO) TT=1800.68	? (TO) TT=1800.11
/OPT-SMALLINT-LIN/sroussel/NG/ normalized-NG.dot_unif_20null0mast_rapportOE2.0_TMAX180_K192_cod2.opb	SAT f=-20785 TT=1800.15 T1=1800.4	? (exit code) TT=1.09	? (exit code) TT=0.007	SAT (TO) f=-15538 TT=1800.13 T1=1800.3	Signal TT=19.212	SAT (TO) f=-20785 TT=1800.15 T1=1800.4	? TT=79.923	SAT (TO) f=0 TT=1800.05 T1=10.52	? (TO) TT=1800.09	? (TO) TT=1800.1
/OPT-SMALLINT-LIN/sroussel/NG/ normalized-NG.dot_unif_20null20mast_rapportOE1.0_TMAX120_K192_cod2.opb	SAT f=-16727 TT=1800.13 T1=1800.3	? (exit code) TT=1.093	? (exit code) TT=0.006	SAT (TO) f=-16727 TT=1800.13 T1=1800.3	Signal TT=19.237	SAT (TO) f=-9314 TT=1800.15 T1=1800.4	? TT=76.004	SAT (TO) f=0 TT=1800.12 T1=12.32	? (TO) TT=1800.04	? (TO) TT=1800.09
/OPT-SMALLINT-LIN/sroussel/NG/ normalized-NG.dot_unif_20null20mast_rapportOE2.0_TMAX15_K192_cod2.opb	SAT f=-6662 TT=1800.19 T1=1800.4	? (exit code) TT=1.094	? (exit code) TT=0.007	SAT (TO) f=-909 TT=1800.12 T1=1800.3	Signal TT=19.217	SAT (TO) f=-6662 TT=1800.19 T1=1800.4	? TT=76.315	SAT (TO) f=0 TT=1800.1 T1=19.86	No Cert. TT=1800.94	? (TO) TT=1800.09
/OPT-SMALLINT-LIN/sroussel/NG/ normalized-NG.dot_unif_20null20mast_rapportOE2.0_TMAX300_K192_cod2.opb	SAT f=-23105 TT=1800.13 T1=1800.3	? (exit code) TT=1.096	? (exit code) TT=0.005	SAT (TO) f=-23105 TT=1800.13 T1=1800.3	Signal TT=19.293	SAT (TO) f=0 TT=1800.2 T1=1800.5	? TT=82.934	SAT (TO) f=0 TT=1800.16 T1=12.71	No Cert. TT=1800.85	? (TO) TT=1800.09
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
/OPT-SMALLINT-LIN/sroussel/NG/ normalized-NG.dot_unif_50null0mast_rapportOE2.0_TMAX60_K192_cod2.opb	SAT f=-5661 TT=1800.15 T1=1800.5	? (exit code) TT=1.096	? (exit code) TT=0.006	SAT (TO) f=-5661 TT=1800.15 T1=1800.5	Signal TT=19.296	SAT (TO) f=0 TT=1800.18 T1=1800.4	? TT=93.048	? (TO) TT=1800.46	? (TO) TT=1800.08	? (TO) TT=1800.03
/OPT-SMALLINT-LIN/sroussel/NG/ normalized-NG.dot_unif_50null20mast_rapportOE1.0_TMAX15_K192_cod2.opb	SAT f=-8640 TT=1800.18 T1=1800.4	? (exit code) TT=1.097	? (exit code) TT=0.006	? (TO) TT=1800.04	Signal TT=19.124	SAT (TO) f=-8640 TT=1800.18 T1=1800.4	? TT=82.212	? (TO) TT=1800.16	No Cert. TT=1800.77	? (TO) TT=1800.09
/OPT-SMALLINT-LIN/sroussel/NG/ normalized-NG.dot_unif_50null20mast_rapportOE2.0_TMAX120_K192_cod2.opb	SAT f=-9679 TT=1800.13 T1=1800.3	? (exit code) TT=1.097	? (exit code) TT=0.006	SAT (TO) f=-9679 TT=1800.13 T1=1800.3	Signal TT=19.104	SAT (TO) f=0 TT=1800.17 T1=1800.4	? TT=95.702	SAT (TO) f=0 TT=1800.95 T1=12.11	? (TO) TT=1800.05	? (TO) TT=1800.09
/OPT-SMALLINT-LIN/sroussel/NG/ normalized-NG.dot_unif_50null50mast_rapportOE1.0_TMAX180_K192_cod2.opb	SAT f=-24000 TT=1800.13 T1=1800.3	? (exit code) TT=1.096	? (exit code) TT=0.006	SAT (TO) f=-24000 TT=1800.13 T1=1800.3	Signal TT=19.026	SAT (TO) f=-2000 TT=1800.16 T1=1800.4	? (TO) TT=1800.11	SAT (TO) f=0 TT=1800.16 T1=13.04	? (TO) TT=1800.01	? (TO) TT=1800.12
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/dt-problems/ normalized-lo_10x10_000.opb.metafix.opb	OPT f=45 TT=0.014 T1=0.01	OPT f=45 TT=0.026 T1=0.02	OPT f=45 TT=0.014 T1=0.01	OPT f=45 TT=0.019 T1=0.01	OPT f=45 TT=0.036 T1=0.03	OPT f=45 TT=0.02 T1=0.02	OPT f=45 TT=0.014 T1=0.01	OPT f=45 TT=0.244 T1=0.65	OPT f=45 TT=0.203 T1=0.14	OPT f=45 TT=0.052 T1=0.02
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/dt-problems/ normalized-lo_10x10_001.opb.metafix.opb	OPT f=52 TT=0.359 T1=0.01	OPT f=52 TT=0.689 T1=0.69	OPT f=52 TT=0.371 T1=0.37	OPT f=52 TT=0.359 T1=0.35	OPT f=52 TT=0.828 T1=0.82	OPT f=52 TT=1.547 T1=1.54	OPT f=52 TT=0.869 T1=0.87	OPT f=52 TT=3.275 T1=0.67	OPT f=52 TT=0.725 T1=0.16	OPT f=52 TT=1.132 T1=0.01
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/dt-problems/ normalized-lo_10x10_002.opb.metafix.opb	OPT f=42 TT=0.027 T1=0.01	OPT f=42 TT=0.052 T1=0.05	OPT f=42 TT=0.027 T1=0.02	OPT f=42 TT=0.033 T1=0.03	OPT f=42 TT=0.061 T1=0.06	OPT f=42 TT=0.265 T1=0.26	OPT f=42 TT=0.078 T1=0.07	OPT f=42 TT=0.853 T1=0.65	OPT f=42 TT=0.444 T1=0.14	OPT f=42 TT=0.094 T1=0.01
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/dt-problems/ normalized-lo_10x10_003.opb.metafix.opb	OPT f=50 TT=0.014 T1=0.01	OPT f=50 TT=0.028 T1=0.02	OPT f=50 TT=0.014 T1=0.01	OPT f=50 TT=0.02 T1=0.02	OPT f=50 TT=0.046 T1=0.04	OPT f=50 TT=0.042 T1=0.04	OPT f=50 TT=0.022 T1=0.02	OPT f=50 TT=0.394 T1=0.65	OPT f=50 TT=0.234 T1=0.15	OPT f=50 TT=0.063 T1=0.02
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/dt-problems/ normalized-lo_10x10_004.opb.metafix.opb	OPT f=51 TT=0.021 T1=0.01	OPT f=51 TT=0.201 T1=0.2	OPT f=51 TT=0.021 T1=0.02	OPT f=51 TT=0.231 T1=0.22	OPT f=51 TT=0.565 T1=0.56	OPT f=51 TT=1.508 T1=1.5	OPT f=51 TT=0.507 T1=0.5	OPT f=51 TT=1.843 T1=0.66	OPT f=51 TT=0.624 T1=0.14	OPT f=51 TT=1.202 T1=0.01
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/dt-problems/ normalized-lo_10x10_005.opb.metafix.opb	OPT f=48 TT=0.13 T1=0.01	OPT f=48 TT=0.186 T1=0.18	OPT f=48 TT=0.13 T1=0.13	OPT f=48 TT=0.13 T1=0.12	OPT f=48 TT=0.324 T1=0.32	OPT f=48 TT=1.108 T1=1.1	OPT f=48 TT=0.233 T1=0.23	OPT f=48 TT=1.594 T1=0.66	OPT f=48 TT=0.574 T1=0.14	OPT f=48 TT=0.362 T1=0.01
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/dt-problems/ normalized-lo_10x10_006.opb.metafix.opb	OPT f=40 TT=0.442 T1=0.01	OPT f=40 TT=1.294 T1=1.29	OPT f=40 TT=0.542 T1=0.54	OPT f=40 TT=0.442 T1=0.44	OPT f=40 TT=0.995 T1=0.99	OPT f=40 TT=2.436 T1=2.44	OPT f=40 TT=1.157 T1=1.15	OPT f=40 TT=3.532 T1=0.65	OPT f=40 TT=0.784 T1=0.16	OPT f=40 TT=1.319 T1=0.01
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/dt-problems/ normalized-lo_10x10_007.opb.metafix.opb	OPT f=47 TT=0.015 T1=0.01	OPT f=47 TT=0.025 T1=0.02	OPT f=47 TT=0.015 T1=0.01	OPT f=47 TT=0.02 T1=0.02	OPT f=47 TT=0.039 T1=0.03	OPT f=47 TT=0.015 T1=0.01	OPT f=47 TT=0.015 T1=0.01	OPT f=47 TT=0.314 T1=0.65	OPT f=47 TT=0.225 T1=0.15	OPT f=47 TT=0.056 T1=0.01
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/dt-problems/ normalized-lo_10x10_008.opb.metafix.opb	OPT f=50 TT=0.199 T1=0.01	OPT f=50 TT=0.446 T1=0.44	OPT f=50 TT=0.547 T1=0.54	OPT f=50 TT=0.199 T1=0.19	OPT f=50 TT=0.739 T1=0.73	OPT f=50 TT=2.586 T1=2.58	OPT f=50 TT=0.385 T1=0.38	OPT f=50 TT=1.804 T1=0.65	OPT f=50 TT=0.614 T1=0.14	OPT f=50 TT=1.441 T1=0.01
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/dt-problems/ normalized-lo_10x10_009.opb.metafix.opb	OPT f=53 TT=0.008 T1=0	OPT f=53 TT=0.024 T1=0.02	OPT f=53 TT=0.015 T1=0.01	OPT f=53 TT=0.015 T1=0.01	OPT f=53 TT=0.023 T1=0.02	OPT f=53 TT=0.008 T1=0	OPT f=53 TT=0.009 T1=0	OPT f=53 TT=0.194 T1=0.65	OPT f=53 TT=0.185 T1=0.14	OPT f=53 TT=0.063 T1=0.01
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/dt-problems/ normalized-lo_12x12_000.opb.metafix.opb	OPT f=66 TT=10.103 T1=0.02	OPT f=66 TT=157.431 T1=157.45	OPT f=66 TT=102.027 T1=102.04	OPT f=66 TT=19.284 T1=19.28	OPT f=66 TT=92.072 T1=92.08	OPT f=66 TT=109.941 T1=109.95	OPT f=66 TT=16.144 T1=16.14	OPT f=66 TT=20.133 T1=0.68	OPT f=66 TT=10.103 T1=0.31	OPT f=66 TT=40.844 T1=0.02
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/dt-problems/ normalized-lo_12x12_001.opb.metafix.opb	OPT f=70 TT=5.566 T1=0.23	? (TO) TT=1800.02	? (TO) TT=1800.02	SAT (TO) f=70 TT=1800.02 T1=1800.3	OPT f=70 TT=43.721 T1=43.72	OPT f=70 TT=564.797 T1=564.88	OPT f=70 TT=5.566 T1=5.56	SAT (TO) f=70 TT=1800.06 T1=0.66	SAT (TO) f=70 TT=1800.05 T1=0.23	? (TO) TT=1800.04
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/dt-problems/ normalized-lo_12x12_002.opb.metafix.opb	OPT f=70 TT=0.03 T1=0.02	? (TO) TT=1800.02	OPT f=70 TT=0.03 T1=0.02	SAT (TO) f=70 TT=1800.02 T1=1800.3	OPT f=70 TT=467.587 T1=467.66	OPT f=70 TT=1007.01 T1=1007.16	OPT f=70 TT=1044.27 T1=1044.43	SAT (TO) f=70 TT=1800.08 T1=0.74	OPT f=70 TT=1536.28 T1=0.18	OPT f=70 TT=1193.07 T1=0.03
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/dt-problems/ normalized-lo_12x12_003.opb.metafix.opb	OPT f=70 TT=3.164 T1=0.15	? (TO) TT=1800.02	? (TO) TT=1800.02	SAT (TO) f=70 TT=1800.02 T1=1800.3	OPT f=70 TT=3.164 T1=3.16	OPT f=70 TT=1016.83 T1=1016.98	OPT f=70 TT=23.251 T1=23.25	SAT (TO) f=70 TT=1800.58 T1=0.94	SAT (TO) f=70 TT=1800.08 T1=0.15	? (TO) TT=1800.07
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/dt-problems/ normalized-lo_12x12_004.opb.metafix.opb	OPT f=61 TT=15.772 T1=0.03	OPT f=61 TT=196.724 T1=196.75	OPT f=61 TT=273.888 T1=273.93	OPT f=61 TT=24.512 T1=24.51	OPT f=61 TT=40.039 T1=40.04	OPT f=61 TT=109.815 T1=109.83	OPT f=61 TT=25.618 T1=25.62	OPT f=61 TT=33.639 T1=0.66	OPT f=61 TT=15.772 T1=0.15	OPT f=61 TT=34.445 T1=0.03
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/dt-problems/ normalized-lo_12x12_005.opb.metafix.opb	OPT f=72 TT=504.612 T1=0.08	? (TO) TT=1800.02	? (TO) TT=1800.02	OPT f=72 TT=1298.74 T1=1298.94	OPT f=72 TT=561.819 T1=561.9	OPT f=72 TT=1307.06 T1=1307.26	OPT f=72 TT=504.612 T1=504.69	OPT f=72 TT=1303.89 T1=0.66	OPT f=72 TT=628.85 T1=0.18	OPT f=72 TT=752.301 T1=0.08
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/dt-problems/ normalized-lo_12x12_006.opb.metafix.opb	OPT f=74 TT=0.025 T1=0.02	OPT f=74 TT=0.099 T1=0.09	OPT f=74 TT=0.025 T1=0.02	OPT f=74 TT=0.05 T1=0.04	OPT f=74 TT=0.101 T1=0.1	OPT f=74 TT=0.445 T1=0.44	OPT f=74 TT=0.111 T1=0.11	OPT f=74 TT=0.824 T1=0.66	OPT f=74 TT=0.444 T1=0.22	OPT f=74 TT=0.174 T1=0.04
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/dt-problems/ normalized-lo_12x12_007.opb.metafix.opb	OPT f=80 TT=1.406 T1=0.02	OPT f=80 TT=2.918 T1=2.91	OPT f=80 TT=1.677 T1=1.67	OPT f=80 TT=1.406 T1=1.4	OPT f=80 TT=4.541 T1=4.54	OPT f=80 TT=11.606 T1=11.6	OPT f=80 TT=1.408 T1=1.4	OPT f=80 TT=4.243 T1=0.68	OPT f=80 TT=1.455 T1=0.17	OPT f=80 TT=2.724 T1=0.02
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/dt-problems/ normalized-lo_12x12_008.opb.metafix.opb	OPT f=72 TT=7.639 T1=0.2	? (TO) TT=1800.02	? (TO) TT=1800.02	OPT f=72 TT=38.639 T1=38.64	OPT f=72 TT=17.237 T1=17.24	SAT (TO) f=72 TT=1800.02 T1=1800.3	OPT f=72 TT=7.639 T1=7.63	OPT f=72 TT=17.552 T1=0.66	SAT (TO) f=72 TT=1800.54 T1=0.2	? (TO) TT=1800.02
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/dt-problems/ normalized-lo_12x12_009.opb.metafix.opb	OPT f=70 TT=0.948 T1=0.03	OPT f=70 TT=2.159 T1=2.15	OPT f=70 TT=1.189 T1=1.18	OPT f=70 TT=0.948 T1=0.94	OPT f=70 TT=2.736 T1=2.73	OPT f=70 TT=10.471 T1=10.47	OPT f=70 TT=2.525 T1=2.52	OPT f=70 TT=4.193 T1=0.66	OPT f=70 TT=1.573 T1=0.17	OPT f=70 TT=4.157 T1=0.03
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/dt-problems/ normalized-lo_14x14_000.opb.metafix.opb	OPT f=95 TT=77.22 T1=0.16	? (TO) TT=1800.02	? (TO) TT=1800.02	SAT (TO) f=95 TT=1800.02 T1=1800.3	OPT f=95 TT=77.22 T1=77.23	SAT (TO) f=95 TT=1800.02 T1=1800.3	OPT f=95 TT=314.518 T1=314.56	SAT (TO) f=95 TT=1800.64 T1=0.67	SAT (TO) f=95 TT=1800 T1=0.16	? (TO) TT=1800.09
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/dt-problems/ normalized-lo_14x14_001.opb.metafix.opb	OPT f=88 TT=21.782 T1=0.69	? (TO) TT=1800.02	? (TO) TT=1800.03	SAT (TO) f=88 TT=1800.02 T1=1800.3	OPT f=88 TT=21.782 T1=21.78	SAT (TO) f=88 TT=1800.02 T1=1800.3	OPT f=88 TT=58.297 T1=58.3	SAT (TO) f=88 TT=1800.11 T1=0.69	SAT (TO) f=88 TT=1800.37 T1=1.15	? (TO) TT=1800.11
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/dt-problems/ normalized-lo_14x14_002.opb.metafix.opb	OPT f=100 TT=883.371 T1=0.17	? (TO) TT=1800.02	? (TO) TT=1800.02	SAT (TO) f=100 TT=1800.02 T1=1800.3	OPT f=100 TT=883.371 T1=883.5	SAT (TO) f=100 TT=1800.02 T1=1800.3	SAT (TO) f=100 TT=1800.02 T1=1800.3	SAT (TO) f=100 TT=1800.73 T1=0.68	SAT (TO) f=100 TT=1800.04 T1=0.17	? (TO) TT=1800.11
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/dt-problems/ normalized-lo_14x14_003.opb.metafix.opb	OPT f=88 TT=20.862 T1=0.18	? (TO) TT=1800.02	? (TO) TT=1800.02	SAT (TO) f=88 TT=1800.01 T1=1800.3	OPT f=88 TT=20.862 T1=20.86	SAT (TO) f=88 TT=1800.02 T1=1800.3	OPT f=88 TT=232.801 T1=232.83	SAT (TO) f=88 TT=1800.64 T1=0.68	SAT (TO) f=88 TT=1800.09 T1=0.18	? (TO) TT=1800.03
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/dt-problems/ normalized-lo_14x14_004.opb.metafix.opb	OPT f=96 TT=129.92 T1=0.31	? (TO) TT=1800.08	? (TO) TT=1800.02	SAT (TO) f=96 TT=1800.01 T1=1800.3	OPT f=96 TT=129.92 T1=129.94	SAT (TO) f=96 TT=1800.02 T1=1800.3	SAT (TO) f=96 TT=1800.02 T1=1800.3	SAT (TO) f=96 TT=1800.19 T1=0.68	SAT (TO) f=96 TT=1800.57 T1=0.31	? (TO) TT=1800.11
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/dt-problems/ normalized-lo_14x14_005.opb.metafix.opb	OPT f=110 TT=2.686 T1=0.2	? (TO) TT=1800.02	? (TO) TT=1800.02	SAT (TO) f=110 TT=1800.02 T1=1800.3	OPT f=110 TT=2.686 T1=2.68	SAT (TO) f=110 TT=1800.02 T1=1800.3	SAT (TO) f=110 TT=1800.01 T1=1800.3	SAT (TO) f=110 TT=1800.9 T1=0.72	SAT (TO) f=110 TT=1800.04 T1=0.2	? (TO) TT=1800.05
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/dt-problems/ normalized-lo_14x14_006.opb.metafix.opb	SAT f=95 TT=1800.02 T1=0.3	? (TO) TT=1800.02	? (TO) TT=1800.02	SAT (TO) f=95 TT=1800.02 T1=1800.3	SAT (TO) f=95 TT=1800.02 T1=1800.3	SAT (TO) f=95 TT=1800.02 T1=1800.3	SAT (TO) f=95 TT=1800.03 T1=1800.3	SAT (TO) f=95 TT=1800.69 T1=0.68	SAT (TO) f=95 TT=1800.78 T1=0.3	? (TO) TT=1800.04
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/dt-problems/ normalized-lo_14x14_007.opb.metafix.opb	SAT f=96 TT=1800.02 T1=0.67	? (TO) TT=1800.02	? (TO) TT=1800.02	SAT (TO) f=96 TT=1800.02 T1=1800.3	SAT (TO) f=96 TT=1800.02 T1=1800.3	SAT (TO) f=96 TT=1800.02 T1=1800.3	SAT (TO) f=96 TT=1800.02 T1=1800.3	SAT (TO) f=96 TT=1800.1 T1=0.67	SAT (TO) f=96 TT=1800.08 T1=1.52	? (TO) TT=1800.08
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/dt-problems/ normalized-lo_14x14_008.opb.metafix.opb	OPT f=85 TT=20.443 T1=0.39	? (TO) TT=1800.02	? (TO) TT=1800.02	SAT (TO) f=85 TT=1800.01 T1=1800.3	OPT f=85 TT=20.443 T1=20.44	SAT (TO) f=85 TT=1800.08 T1=1800.6	SAT (TO) f=85 TT=1800.03 T1=1799.5	SAT (TO) f=85 TT=1800.69 T1=0.67	SAT (TO) f=85 TT=1800.09 T1=0.39	? (TO) TT=1800.01
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/dt-problems/ normalized-lo_14x14_009.opb.metafix.opb	OPT f=100 TT=468.762 T1=0.31	? (TO) TT=1800.02	? (TO) TT=1800.02	SAT (TO) f=100 TT=1800.02 T1=1800.3	OPT f=100 TT=468.762 T1=468.83	SAT (TO) f=100 TT=1800.02 T1=1800.3	SAT (TO) f=100 TT=1800.02 T1=1800.3	SAT (TO) f=100 TT=1800.05 T1=0.67	SAT (TO) f=100 TT=1800.1 T1=0.31	? (TO) TT=1800.1
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/dt-problems/ normalized-lo_16x16_000.opb.metafix.opb	OPT f=120 TT=3.838 T1=0.68	? (TO) TT=1800.01	? (TO) TT=1800.02	SAT (TO) f=120 TT=1800.02 T1=1800.3	OPT f=120 TT=3.838 T1=3.83	SAT (TO) f=120 TT=1800.01 T1=1800.3	OPT f=120 TT=24.384 T1=24.38	SAT (TO) f=120 TT=1800.17 T1=0.68	SAT (TO) f=120 TT=1800.57 T1=0.72	? (TO) TT=1800.11
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/dt-problems/ normalized-lo_16x16_001.opb.metafix.opb	OPT f=125 TT=180.714 T1=1.18	? (TO) TT=1800.02	? (TO) TT=1800.02	SAT (TO) f=125 TT=1800.02 T1=1800.3	OPT f=125 TT=180.714 T1=180.74	SAT (TO) f=125 TT=1800.03 T1=1800.3	SAT (TO) f=125 TT=1800.02 T1=1800.3	SAT (TO) f=125 TT=1800.94 T1=1.18	SAT (TO) f=125 TT=1800.7 T1=1.41	? (TO) TT=1800.06
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/dt-problems/ normalized-lo_16x16_002.opb.metafix.opb	OPT f=115 TT=23.689 T1=0.29	? (TO) TT=1800.02	? (TO) TT=1800.02	SAT (TO) f=115 TT=1800.02 T1=1800.3	OPT f=115 TT=23.689 T1=23.69	SAT (TO) f=115 TT=1800.02 T1=1800.3	OPT f=115 TT=161.871 T1=161.89	SAT (TO) f=115 TT=1800.7 T1=0.68	SAT (TO) f=115 TT=1800.02 T1=0.29	? (TO) TT=1800.04
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/dt-problems/ normalized-lo_16x16_003.opb.metafix.opb	OPT f=131 TT=66.336 T1=0.21	? (TO) TT=1800.02	? (TO) TT=1800.02	SAT (TO) f=131 TT=1800.02 T1=1800.3	OPT f=131 TT=66.336 T1=66.34	SAT (TO) f=131 TT=1800.02 T1=1800.3	SAT (TO) f=131 TT=1800.02 T1=1800.3	SAT (TO) f=131 TT=1800.66 T1=1.69	SAT (TO) f=131 TT=1800.06 T1=0.21	? (TO) TT=1800.02
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/dt-problems/ normalized-lo_16x16_004.opb.metafix.opb	SAT f=135 TT=1800.02 T1=0.38	? (TO) TT=1800.02	? (TO) TT=1800.02	SAT (TO) f=135 TT=1800.02 T1=1800.3	SAT (TO) f=135 TT=1800.02 T1=1800.3	SAT (TO) f=135 TT=1800.02 T1=1800.3	SAT (TO) f=135 TT=1800.02 T1=1800.3	SAT (TO) f=135 TT=1801.02 T1=0.71	SAT (TO) f=135 TT=1800.02 T1=0.38	? (TO) TT=1800.02
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/dt-problems/ normalized-lo_16x16_005.opb.metafix.opb	OPT f=125 TT=8.622 T1=0.53	? (TO) TT=1800.02	? (TO) TT=1800.02	SAT (TO) f=125 TT=1800.03 T1=1800.3	OPT f=125 TT=8.622 T1=8.62	SAT (TO) f=125 TT=1800.02 T1=1800.3	OPT f=125 TT=38.535 T1=38.54	SAT (TO) f=125 TT=1800.59 T1=0.68	SAT (TO) f=125 TT=1800.04 T1=0.53	? (TO) TT=1800.08
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/dt-problems/ normalized-lo_16x16_006.opb.metafix.opb	OPT f=115 TT=137.328 T1=0.31	? (TO) TT=1800.02	? (TO) TT=1800.02	SAT (TO) f=115 TT=1800.02 T1=1800.3	OPT f=115 TT=143.862 T1=143.89	SAT (TO) f=115 TT=1800.02 T1=1800.3	OPT f=115 TT=137.328 T1=137.35	SAT (TO) f=115 TT=1800.55 T1=0.68	SAT (TO) f=115 TT=1800.01 T1=0.31	? (TO) TT=1800.08
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/dt-problems/ normalized-lo_16x16_007.opb.metafix.opb	OPT f=130 TT=69.274 T1=0.33	? (TO) TT=1800.02	? (TO) TT=1800.02	SAT (TO) f=130 TT=1800.02 T1=1800.3	OPT f=130 TT=69.274 T1=69.28	SAT (TO) f=130 TT=1800.01 T1=1800.3	SAT (TO) f=130 TT=1800.02 T1=1800.3	SAT (TO) f=130 TT=1800.87 T1=0.75	SAT (TO) f=130 TT=1800.83 T1=0.33	? (TO) TT=1800.01
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/dt-problems/ normalized-lo_16x16_008.opb.metafix.opb	OPT f=129 TT=20.935 T1=0.25	? (TO) TT=1800.02	? (TO) TT=1800.02	SAT (TO) f=129 TT=1800.03 T1=1800.3	OPT f=129 TT=20.935 T1=20.93	SAT (TO) f=129 TT=1800.02 T1=1800.3	OPT f=129 TT=59.886 T1=59.89	SAT (TO) f=129 TT=1800.17 T1=0.68	SAT (TO) f=129 TT=1800.02 T1=0.25	? (TO) TT=1800.07
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/dt-problems/ normalized-lo_16x16_009.opb.metafix.opb	OPT f=115 TT=9.798 T1=0.28	? (TO) TT=1800.02	? (TO) TT=1800.02	SAT (TO) f=115 TT=1800.02 T1=1800.3	OPT f=115 TT=9.798 T1=9.79	SAT (TO) f=115 TT=1800.02 T1=1800.3	OPT f=115 TT=56.998 T1=57.03	SAT (TO) f=115 TT=1800.84 T1=1.19	SAT (TO) f=115 TT=1800.21 T1=0.28	? (TO) TT=1800.1
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/dt-problems/ normalized-lo_6x6_000.opb.metafix.opb	OPT f=16 TT=0.001 T1=0	OPT f=16 TT=0.021 T1=0.02	OPT f=16 TT=0.014 T1=0.01	OPT f=16 TT=0.002 T1=0	OPT f=16 TT=0.002 T1=0	OPT f=16 TT=0.002 T1=0	OPT f=16 TT=0.001 T1=0	OPT f=16 TT=0.184 T1=0.65	OPT f=16 TT=0.176 T1=0.13	OPT f=16 TT=0.014 T1=0.01
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/dt-problems/ normalized-lo_6x6_001.opb.metafix.opb	OPT f=17 TT=0.001 T1=0	OPT f=17 TT=0.022 T1=0.02	OPT f=17 TT=0.014 T1=0.01	OPT f=17 TT=0.002 T1=0	OPT f=17 TT=0.002 T1=0	OPT f=17 TT=0.002 T1=0	OPT f=17 TT=0.001 T1=0	OPT f=17 TT=0.185 T1=0.64	OPT f=17 TT=0.164 T1=0.12	OPT f=17 TT=0.017 T1=0.01
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/dt-problems/ normalized-lo_6x6_002.opb.metafix.opb	OPT f=14 TT=0.001 T1=0	OPT f=14 TT=0.022 T1=0.02	OPT f=14 TT=0.013 T1=0.01	OPT f=14 TT=0.001 T1=0	OPT f=14 TT=0.002 T1=0	OPT f=14 TT=0.001 T1=0	OPT f=14 TT=0.002 T1=0	OPT f=14 TT=0.184 T1=0.64	OPT f=14 TT=0.164 T1=0.13	OPT f=14 TT=0.018 T1=0.01
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/dt-problems/ normalized-lo_6x6_003.opb.metafix.opb	OPT f=19 TT=0.001 T1=0	OPT f=19 TT=0.022 T1=0.02	OPT f=19 TT=0.015 T1=0.01	OPT f=19 TT=0.001 T1=0	OPT f=19 TT=0.002 T1=0	OPT f=19 TT=0.002 T1=0	OPT f=19 TT=0.002 T1=0	OPT f=19 TT=0.183 T1=0.64	OPT f=19 TT=0.166 T1=0.14	OPT f=19 TT=0.016 T1=0.03
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/dt-problems/ normalized-lo_6x6_004.opb.metafix.opb	OPT f=23 TT=0.001 T1=0	OPT f=23 TT=0.022 T1=0.02	OPT f=23 TT=0.012 T1=0.01	OPT f=23 TT=0.001 T1=0	OPT f=23 TT=0.002 T1=0	OPT f=23 TT=0.001 T1=0	OPT f=23 TT=0.001 T1=0	OPT f=23 TT=0.184 T1=0.65	OPT f=23 TT=0.164 T1=0.12	OPT f=23 TT=0.014 T1=0.01
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/dt-problems/ normalized-lo_6x6_005.opb.metafix.opb	OPT f=14 TT=0.001 T1=0	OPT f=14 TT=0.023 T1=0.02	OPT f=14 TT=0.013 T1=0.01	OPT f=14 TT=0.002 T1=0	OPT f=14 TT=0.002 T1=0	OPT f=14 TT=0.001 T1=0	OPT f=14 TT=0.001 T1=0	OPT f=14 TT=0.183 T1=0.64	OPT f=14 TT=0.175 T1=0.14	OPT f=14 TT=0.017 T1=0.01
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/dt-problems/ normalized-lo_6x6_006.opb.metafix.opb	OPT f=16 TT=0.001 T1=0	OPT f=16 TT=0.022 T1=0.02	OPT f=16 TT=0.013 T1=0.01	OPT f=16 TT=0.002 T1=0	OPT f=16 TT=0.003 T1=0.02	OPT f=16 TT=0.002 T1=0	OPT f=16 TT=0.001 T1=0	OPT f=16 TT=0.184 T1=0.64	OPT f=16 TT=0.173 T1=0.14	OPT f=16 TT=0.017 T1=0.01
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/dt-problems/ normalized-lo_6x6_007.opb.metafix.opb	OPT f=17 TT=0.001 T1=0	OPT f=17 TT=0.022 T1=0.02	OPT f=17 TT=0.013 T1=0.01	OPT f=17 TT=0.002 T1=0	OPT f=17 TT=0.002 T1=0	OPT f=17 TT=0.001 T1=0	OPT f=17 TT=0.001 T1=0	OPT f=17 TT=0.184 T1=0.64	OPT f=17 TT=0.164 T1=0.13	OPT f=17 TT=0.017 T1=0.01
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/dt-problems/ normalized-lo_6x6_008.opb.metafix.opb	OPT f=16 TT=0.001 T1=0	OPT f=16 TT=0.021 T1=0.02	OPT f=16 TT=0.013 T1=0.01	OPT f=16 TT=0.001 T1=0	OPT f=16 TT=0.002 T1=0	OPT f=16 TT=0.001 T1=0	OPT f=16 TT=0.002 T1=0	OPT f=16 TT=0.183 T1=0.7	OPT f=16 TT=0.163 T1=0.13	OPT f=16 TT=0.016 T1=0.01
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/dt-problems/ normalized-lo_6x6_009.opb.metafix.opb	OPT f=18 TT=0.001 T1=0	OPT f=18 TT=0.022 T1=0.02	OPT f=18 TT=0.013 T1=0.04	OPT f=18 TT=0.001 T1=0	OPT f=18 TT=0.002 T1=0	OPT f=18 TT=0.001 T1=0	OPT f=18 TT=0.001 T1=0	OPT f=18 TT=0.194 T1=0.64	OPT f=18 TT=0.164 T1=0.12	OPT f=18 TT=0.017 T1=0.03
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/dt-problems/ normalized-lo_8x8_000.opb.metafix.opb	OPT f=30 TT=0.003 T1=0	OPT f=30 TT=0.022 T1=0.02	OPT f=30 TT=0.012 T1=0.06	OPT f=30 TT=0.003 T1=0	OPT f=30 TT=0.003 T1=0	OPT f=30 TT=0.004 T1=0.01	OPT f=30 TT=0.003 T1=0	OPT f=30 TT=0.184 T1=0.64	OPT f=30 TT=0.173 T1=0.13	OPT f=30 TT=0.018 T1=0.01
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/dt-problems/ normalized-lo_8x8_001.opb.metafix.opb	OPT f=28 TT=0.004 T1=0	OPT f=28 TT=0.022 T1=0.02	OPT f=28 TT=0.013 T1=0.01	OPT f=28 TT=0.01 T1=0	OPT f=28 TT=0.019 T1=0.01	OPT f=28 TT=0.004 T1=0	OPT f=28 TT=0.004 T1=0.01	OPT f=28 TT=0.195 T1=0.64	OPT f=28 TT=0.175 T1=0.15	OPT f=28 TT=0.022 T1=0.01
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/dt-problems/ normalized-lo_8x8_002.opb.metafix.opb	OPT f=36 TT=0.003 T1=0	OPT f=36 TT=0.022 T1=0.02	OPT f=36 TT=0.015 T1=0.01	OPT f=36 TT=0.009 T1=0.01	OPT f=36 TT=0.021 T1=0.02	OPT f=36 TT=0.005 T1=0	OPT f=36 TT=0.003 T1=0	OPT f=36 TT=0.184 T1=0.64	OPT f=36 TT=0.175 T1=0.14	OPT f=36 TT=0.045 T1=0.01
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/dt-problems/ normalized-lo_8x8_003.opb.metafix.opb	OPT f=26 TT=0.006 T1=0	OPT f=26 TT=0.024 T1=0.02	OPT f=26 TT=0.014 T1=0.01	OPT f=26 TT=0.011 T1=0.01	OPT f=26 TT=0.023 T1=0.02	OPT f=26 TT=0.007 T1=0	OPT f=26 TT=0.006 T1=0.01	OPT f=26 TT=0.204 T1=0.64	OPT f=26 TT=0.184 T1=0.15	OPT f=26 TT=0.044 T1=0.01
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/dt-problems/ normalized-lo_8x8_004.opb.metafix.opb	OPT f=32 TT=0.002 T1=0	OPT f=32 TT=0.022 T1=0.03	OPT f=32 TT=0.012 T1=0.01	OPT f=32 TT=0.002 T1=0	OPT f=32 TT=0.004 T1=0	OPT f=32 TT=0.002 T1=0	OPT f=32 TT=0.003 T1=0	OPT f=32 TT=0.184 T1=0.64	OPT f=32 TT=0.183 T1=0.14	OPT f=32 TT=0.018 T1=0.01
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/dt-problems/ normalized-lo_8x8_005.opb.metafix.opb	OPT f=26 TT=0.003 T1=0	OPT f=26 TT=0.023 T1=0.02	OPT f=26 TT=0.015 T1=0.01	OPT f=26 TT=0.008 T1=0	OPT f=26 TT=0.018 T1=0.01	OPT f=26 TT=0.003 T1=0	OPT f=26 TT=0.004 T1=0	OPT f=26 TT=0.184 T1=0.65	OPT f=26 TT=0.183 T1=0.14	OPT f=26 TT=0.02 T1=0.01
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/dt-problems/ normalized-lo_8x8_006.opb.metafix.opb	OPT f=37 TT=0.003 T1=0	OPT f=37 TT=0.022 T1=0.02	OPT f=37 TT=0.013 T1=0.01	OPT f=37 TT=0.009 T1=0	OPT f=37 TT=0.007 T1=0	OPT f=37 TT=0.003 T1=0	OPT f=37 TT=0.003 T1=0	OPT f=37 TT=0.183 T1=0.65	OPT f=37 TT=0.174 T1=0.13	OPT f=37 TT=0.021 T1=0.01
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/dt-problems/ normalized-lo_8x8_007.opb.metafix.opb	OPT f=30 TT=0.006 T1=0	OPT f=30 TT=0.024 T1=0.02	OPT f=30 TT=0.014 T1=0.01	OPT f=30 TT=0.01 T1=0	OPT f=30 TT=0.02 T1=0.01	OPT f=30 TT=0.006 T1=0	OPT f=30 TT=0.007 T1=0	OPT f=30 TT=0.204 T1=0.64	OPT f=30 TT=0.193 T1=0.14	OPT f=30 TT=0.045 T1=0.01
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/dt-problems/ normalized-lo_8x8_008.opb.metafix.opb	OPT f=31 TT=0.004 T1=0	OPT f=31 TT=0.023 T1=0.02	OPT f=31 TT=0.013 T1=0.01	OPT f=31 TT=0.008 T1=0	OPT f=31 TT=0.015 T1=0.01	OPT f=31 TT=0.005 T1=0	OPT f=31 TT=0.004 T1=0	OPT f=31 TT=0.204 T1=0.66	OPT f=31 TT=0.186 T1=0.15	OPT f=31 TT=0.03 T1=0.01
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/dt-problems/ normalized-lo_8x8_009.opb.metafix.opb	OPT f=27 TT=0.002 T1=0	OPT f=27 TT=0.022 T1=0.02	OPT f=27 TT=0.012 T1=0.01	OPT f=27 TT=0.003 T1=0	OPT f=27 TT=0.003 T1=0	OPT f=27 TT=0.003 T1=0	OPT f=27 TT=0.002 T1=0	OPT f=27 TT=0.184 T1=0.64	OPT f=27 TT=0.174 T1=0.13	OPT f=27 TT=0.02 T1=0.01
PB15eval/normalized-PB15eval/OPT-SMALLINT-LIN/ EmployeeScheduling/normalized-aug4.5.opb		? (TO) TT=1800.03	? (TO) TT=1800.01	? (TO) TT=1800.04	? (TO) TT=1800.08	? (TO) TT=1800.1	? (TO) TT=1800.05	? (TO) TT=1800.12	? (TO) TT=1800.09	? (TO) TT=1800.06
PB15eval/normalized-PB15eval/OPT-SMALLINT-LIN/ EmployeeScheduling/normalized-aug5.5.opb	SAT f=1330 TT=1800.61 T1=1131.41	? (TO) TT=1800.08	? (TO) TT=1800.05	SAT (TO) f=1650 TT=1800.08 T1=1800.4	SAT (TO) f=1380 TT=1800.07 T1=1800.4	SAT (TO) f=2110 TT=1800.08 T1=1801	SAT (TO) f=1450 TT=1800.02 T1=1801.1	SAT (TO) f=1380 TT=1802.38 T1=687.86	SAT (TO) f=1330 TT=1800.61 T1=1131.41	? (TO) TT=1800.04
PB15eval/normalized-PB15eval/OPT-SMALLINT-LIN/ EmployeeScheduling/normalized-aug6.5.opb	SAT f=670 TT=1800.06 T1=1800.4	? (TO) TT=1800.1	? (TO) TT=1800.11	SAT (TO) f=950 TT=1800.1 T1=1800.4	SAT (TO) f=890 TT=1800.11 T1=1800.8	SAT (TO) f=910 TT=1800.1 T1=1800.4	SAT (TO) f=670 TT=1800.06 T1=1800.4	SAT (TO) f=890 TT=1800.63 T1=766.43	SAT (TO) f=750 TT=1800.06 T1=1429.15	? (TO) TT=1800.04
PB15eval/normalized-PB15eval/OPT-SMALLINT-LIN/ EmployeeScheduling/normalized-jul4.5.opb	UNSAT TT=2.508	? (TO) TT=1800.09	? (TO) TT=1800.02	UNSAT TT=2.809	UNSAT TT=13.916	UNSAT TT=2.528	UNSAT TT=2.508	? (TO) TT=1800.1	? (TO) TT=1800.04	? (TO) TT=1800.06
PB15eval/normalized-PB15eval/OPT-SMALLINT-LIN/ EmployeeScheduling/normalized-jul5.5.opb	OPT f=1890 TT=20.245 T1=20.24	? (TO) TT=1800.09	? (TO) TT=1800.02	OPT f=1890 TT=124.873 T1=124.92	OPT f=1890 TT=37.056 T1=37.03	OPT f=1890 TT=28.301 T1=28.29	OPT f=1890 TT=20.245 T1=20.24	SAT (TO) f=1890 TT=1801.06 T1=46.05	SAT (TO) f=1890 TT=1800.03 T1=111.92	? (TO) TT=1800.02
PB15eval/normalized-PB15eval/OPT-SMALLINT-LIN/ EmployeeScheduling/normalized-jul6.5.opb	OPT f=790 TT=19.044 T1=19.02	? (TO) TT=1800.02	? (TO) TT=1800.02	OPT f=790 TT=374.96 T1=375.02	OPT f=790 TT=19.044 T1=19.02	OPT f=790 TT=59.225 T1=59.22	OPT f=790 TT=41.315 T1=41.31	SAT (TO) f=890 TT=1800.75 T1=712.13	SAT (TO) f=790 TT=1800 T1=726.98	? (TO) TT=1800.04
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
PB15eval/normalized-PB15eval/OPT-SMALLINT-LIN/ EmployeeScheduling/normalized-jun5.5.opb	OPT f=1450 TT=52.895 T1=52.93	? (TO) TT=1800.03	? (TO) TT=1800.02	SAT (TO) f=1650 TT=1800.01 T1=1800.4	OPT f=1450 TT=52.895 T1=52.93	OPT f=1450 TT=137.349 T1=137.36	OPT f=1450 TT=78.669 T1=78.8	SAT (TO) f=1450 TT=1804.59 T1=603.06	SAT (TO) f=1450 TT=1800.06 T1=324.84	? (TO) TT=1800.01
PB15eval/normalized-PB15eval/OPT-SMALLINT-LIN/ EmployeeScheduling/normalized-jun6.5.opb	OPT f=670 TT=34.447 T1=34.42	? (TO) TT=1800.09	? (TO) TT=1800.1	SAT (TO) f=770 TT=1800.07 T1=1799.7	OPT f=670 TT=34.447 T1=34.42	OPT f=670 TT=112.992 T1=113	OPT f=670 TT=107.456 T1=107.46	SAT (TO) f=2110 TT=1800.12 T1=73.81	SAT (TO) f=670 TT=1800.02 T1=1665.94	? (TO) TT=1800.04
PB15eval/normalized-PB15eval/OPT-SMALLINT-LIN/ EmployeeScheduling/normalized-may4.5.opb	OPT f=2110 TT=20.426 T1=9.36	? (TO) TT=1800.08	? (TO) TT=1800.05	OPT f=2110 TT=203.772 T1=203.79	OPT f=2110 TT=38.273 T1=38.37	OPT f=2110 TT=37.412 T1=37.48	OPT f=2110 TT=20.426 T1=21.24	SAT (TO) f=2110 TT=1810.25 T1=111.04	SAT (TO) f=2110 TT=1800.73 T1=9.36	? (TO) TT=1800.08
PB15eval/normalized-PB15eval/OPT-SMALLINT-LIN/ EmployeeScheduling/normalized-may5.5.opb	OPT f=1010 TT=34.639 T1=34.63	? (TO) TT=1800.08	? (TO) TT=1800.02	SAT (TO) f=1110 TT=1800.01 T1=1800.3	OPT f=1010 TT=34.639 T1=34.63	OPT f=1010 TT=70.709 T1=70.71	OPT f=1010 TT=58.156 T1=58.15	SAT (TO) f=1010 TT=1818.21 T1=566.34	SAT (TO) f=1010 TT=1800.69 T1=538.27	? (TO) TT=1800.03
PB15eval/normalized-PB15eval/OPT-SMALLINT-LIN/ EmployeeScheduling/normalized-may6.5.opb	OPT f=430 TT=15.455 T1=15.43	? (TO) TT=1800.09	? (TO) TT=1800.02	OPT f=430 TT=204.385 T1=204.42	OPT f=430 TT=15.455 T1=15.43	OPT f=430 TT=23.407 T1=23.4	OPT f=430 TT=35.625 T1=35.63	SAT (TO) f=850 TT=1800.31 T1=890.59	SAT (TO) f=430 TT=1800.6 T1=1602.45	? (TO) TT=1800.02
PB15eval/normalized-PB15eval/OPT-SMALLINT-LIN/ EmployeeScheduling/normalized-oct4.5.opb	UNSAT TT=2.729	? (TO) TT=1800.03	? (TO) TT=1800.02	UNSAT TT=3.204	UNSAT TT=14.654	UNSAT TT=2.766	UNSAT TT=2.729	? (TO) TT=1804.85	? (TO) TT=1800.02	? (TO) TT=1800.03
PB15eval/normalized-PB15eval/OPT-SMALLINT-LIN/ EmployeeScheduling/normalized-oct5.5.opb	OPT f=1670 TT=27.581 T1=27.62	? (TO) TT=1800.09	? (TO) TT=1800.02	OPT f=1670 TT=176.374 T1=176.4	OPT f=1670 TT=38.266 T1=38.24	OPT f=1670 TT=30.907 T1=30.9	OPT f=1670 TT=27.581 T1=27.62	SAT (TO) f=1670 TT=1800.11 T1=304.91	SAT (TO) f=1670 TT=1800.03 T1=147.01	? (TO) TT=1800.02
PB15eval/normalized-PB15eval/OPT-SMALLINT-LIN/ EmployeeScheduling/normalized-oct6.5.opb	OPT f=1010 TT=20.481 T1=20.47	? (TO) TT=1800.1	? (TO) TT=1800.02	OPT f=1010 TT=137.347 T1=137.38	OPT f=1010 TT=23.024 T1=23	OPT f=1010 TT=23.828 T1=23.82	OPT f=1010 TT=20.481 T1=20.47	SAT (TO) f=1010 TT=1800.89 T1=447.28	SAT (TO) f=1010 TT=1800.03 T1=317.66	? (TO) TT=1800.05
PB15eval/normalized-PB15eval/OPT-SMALLINT-LIN/ EmployeeScheduling/normalized-sep4.5.opb	UNSAT TT=3.683	? (TO) TT=1800.1	? (TO) TT=1800.02	UNSAT TT=3.683	UNSAT TT=24.989	UNSAT TT=14.661	UNSAT TT=14.857	? (TO) TT=1800.88	? (TO) TT=1800.03	? (TO) TT=1800.15
PB15eval/normalized-PB15eval/OPT-SMALLINT-LIN/ EmployeeScheduling/normalized-sep5.5.opb	SAT f=1230 TT=1800 T1=1593.09	? (TO) TT=1800.13	? (TO) TT=1800.02	SAT (TO) f=1600 TT=1800.09 T1=1800.4	SAT (TO) f=1380 TT=1800.07 T1=1800.4	SAT (TO) f=2110 TT=1800.08 T1=1801.5	SAT (TO) f=1330 TT=1800.06 T1=1800.4	SAT (TO) f=1270 TT=1800.56 T1=881.73	SAT (TO) f=1230 TT=1800 T1=1593.09	? (TO) TT=1800.07
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
PB15eval/normalized-PB15eval/OPT-SMALLINT-LIN/ EmployeeScheduling/normalized-sep6.5.opb	SAT f=550 TT=1800.09 T1=1800.4	? (TO) TT=1800.09	? (TO) TT=1800.02	SAT (TO) f=890 TT=1800.1 T1=1800.4	SAT (TO) f=550 TT=1800.09 T1=1800.4	SAT (TO) f=910 TT=1800.07 T1=1800.6	SAT (TO) f=600 TT=1800.11 T1=1799.6	SAT (TO) f=1010 TT=1800.87 T1=668.03	SAT (TO) f=810 TT=1800.03 T1=1536.32	? (TO) TT=1800.1
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/minlplib2-pb-0.1.0/opb/ normalized-autocorr_bern20-03.lin.opb	OPT f=-18 TT=0.001 T1=0	OPT f=-18 TT=0.024 T1=0.03	OPT f=-18 TT=0.013 T1=0.01	OPT f=-18 TT=0.005 T1=0	OPT f=-18 TT=0.009 T1=0	OPT f=-18 TT=0.001 T1=0	OPT f=-18 TT=0.002 T1=0	OPT f=-18 TT=0.643 T1=3.14	OPT f=-18 TT=0.744 T1=0.23	OPT f=-18 TT=0.028 T1=0.02
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/minlplib2-pb-0.1.0/opb/ normalized-autocorr_bern20-05.lin.opb	OPT f=-104 TT=42.668 T1=0.34	? (TO) TT=1800.02	OPT f=-104 TT=960.763 T1=960.91	OPT f=-104 TT=363.304 T1=363.35	OPT f=-104 TT=451.082 T1=451.14	SAT (TO) f=-104 TT=1800.02 T1=1800.3	OPT f=-104 TT=234.592 T1=234.62	OPT f=-104 TT=108.42 T1=7.74	OPT f=-104 TT=42.668 T1=0.34	OPT f=-104 TT=323.272 T1=6.9
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/minlplib2-pb-0.1.0/opb/ normalized-autocorr_bern20-10.lin.opb	OPT f=-367 TT=196.05 T1=4.59	? (TO) TT=1800.02	? (TO) TT=1800.02	SAT (TO) f=-367 TT=1800.02 T1=1800.3	SAT (TO) f=0 TT=1800.02 T1=1800.3	SAT (TO) f=-354 TT=1800.03 T1=1800.3	SAT (TO) f=-363 TT=1800.33 T1=1800.4	OPT f=-367 TT=660.044 T1=34.52	OPT f=-367 TT=196.05 T1=4.59	? (TO) TT=1800.04
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/minlplib2-pb-0.1.0/opb/ normalized-autocorr_bern20-15.lin.opb	OPT f=-1490 TT=352.92 T1=23.35	? (TO) TT=1800.09	? (TO) TT=1800.02	SAT (TO) f=-1490 TT=1800.03 T1=1800.3	SAT (TO) f=0 TT=1800.1 T1=1800.4	SAT (TO) f=-1443 TT=1800.02 T1=1800.3	? TT=82.92	OPT f=-1490 TT=1003.37 T1=65.28	OPT f=-1490 TT=352.92 T1=23.35	? (TO) TT=1800.02
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/minlplib2-pb-0.1.0/opb/ normalized-autocorr_bern25-03.lin.opb	OPT f=-23 TT=0.002 T1=0	OPT f=-23 TT=0.023 T1=0.02	OPT f=-23 TT=0.014 T1=0.01	OPT f=-23 TT=0.007 T1=0	OPT f=-23 TT=0.013 T1=0.01	OPT f=-23 TT=0.002 T1=0	OPT f=-23 TT=0.003 T1=0	OPT f=-23 TT=0.714 T1=4.15	OPT f=-23 TT=2.523 T1=1.09	OPT f=-23 TT=0.026 T1=0.02
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/minlplib2-pb-0.1.0/opb/ normalized-autocorr_bern25-06.lin.opb	SAT f=-120 TT=1800.02 T1=4.48	? (TO) TT=1800.03	? (TO) TT=1800.02	SAT (TO) f=-120 TT=1800.02 T1=1800.3	SAT (TO) f=-109 TT=1800.01 T1=1800.3	SAT (TO) f=-120 TT=1800.02 T1=1800.3	SAT (TO) f=-120 TT=1800.08 T1=1800.4	SAT (TO) f=-120 TT=1800.05 T1=16.91	SAT (TO) f=-120 TT=1800.07 T1=4.48	? (TO) TT=1800.05
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/minlplib2-pb-0.1.0/opb/ normalized-autocorr_bern25-13.lin.opb	SAT f=-2037 TT=1800.07 T1=125.07	? (TO) TT=1800.08	? (TO) TT=1800.02	SAT (TO) f=-2010 TT=1800.02 T1=1800.3	SAT (TO) f=0 TT=1800.1 T1=1800.4	SAT (TO) f=-1973 TT=1800.02 T1=1800.3	? TT=79.128	SAT (TO) f=-2037 TT=1800.07 T1=514.52	SAT (TO) f=-2037 TT=1800.87 T1=125.07	? (TO) TT=1800.08
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/minlplib2-pb-0.1.0/opb/ normalized-autocorr_bern25-19.lin.opb	SAT f=-3661 TT=1800.06 T1=1259.43	? (TO) TT=1800.08	? (TO) TT=1800.02	SAT (TO) f=-3641 TT=1800.02 T1=1800.3	SAT (TO) f=0 TT=1800.12 T1=1800.4	SAT (TO) f=-3577 TT=1800.02 T1=1800.3	? TT=73.005	SAT (TO) f=-3656 TT=1800.6 T1=515.81	SAT (TO) f=-3661 TT=1800.06 T1=1259.43	? (TO) TT=1800.1
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/minlplib2-pb-0.1.0/opb/ normalized-autocorr_bern25-25.lin.opb	SAT f=-2666 TT=1800.47 T1=805.02	? (TO) TT=1800.04	? (TO) TT=1800.1	SAT (TO) f=-2639 TT=1800.02 T1=1800.3	SAT (TO) f=0 TT=1800.11 T1=1800.4	SAT (TO) f=-2525 TT=1800.02 T1=1800.3	? TT=75.09	SAT (TO) f=-2666 TT=1800.47 T1=805.02	SAT (TO) f=-2664 TT=1800 T1=130.7	? (TO) TT=1800.1
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/minlplib2-pb-0.1.0/opb/ normalized-autocorr_bern30-04.lin.opb	SAT f=-81 TT=1800.02 T1=125.76	? (TO) TT=1800.02	? (TO) TT=1800.02	SAT (TO) f=-78 TT=1800.02 T1=1800.3	SAT (TO) f=0 TT=1800.02 T1=1800.3	SAT (TO) f=-80 TT=1800.02 T1=1800.3	SAT (TO) f=-81 TT=1800.02 T1=1800.3	SAT (TO) f=-81 TT=1800.82 T1=125.76	SAT (TO) f=-81 TT=1800.06 T1=457.43	? (TO) TT=1800.04
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/minlplib2-pb-0.1.0/opb/ normalized-autocorr_bern30-08.lin.opb	SAT f=-738 TT=1800.04 T1=787.89	? (TO) TT=1800.04	? (TO) TT=1800.03	SAT (TO) f=-726 TT=1800.02 T1=1800.3	SAT (TO) f=0 TT=1800.02 T1=1800.3	SAT (TO) f=-698 TT=1800.02 T1=1800.3	? TT=77.477	SAT (TO) f=-734 TT=1800.55 T1=484.38	SAT (TO) f=-738 TT=1800.04 T1=787.89	? (TO) TT=1800.06
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/minlplib2-pb-0.1.0/opb/ normalized-autocorr_bern30-15.lin.opb	SAT f=-3916 TT=1800.05 T1=354.67	? (TO) TT=1800.06	? (TO) TT=1800.02	SAT (TO) f=-3825 TT=1800.01 T1=1800.3	SAT (TO) f=0 TT=1800.02 T1=1800.3	SAT (TO) f=-3810 TT=1800.02 T1=1800.3	? TT=83.416	SAT (TO) f=-3916 TT=1800.05 T1=354.67	SAT (TO) f=-3901 TT=1800.08 T1=1683.03	? (TO) TT=1800.01
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/minlplib2-pb-0.1.0/opb/ normalized-autocorr_bern30-23.lin.opb	SAT f=-7539 TT=1800.01 T1=1700.18	? (TO) TT=1800.08	? (TO) TT=1800.03	SAT (TO) f=-7435 TT=1800.01 T1=1800.3	SAT (TO) f=0 TT=1800.02 T1=1800.3	SAT (TO) f=-7298 TT=1800.02 T1=1800.3	? TT=75.441	SAT (TO) f=-7443 TT=1800.53 T1=817.29	SAT (TO) f=-7539 TT=1800.01 T1=1700.18	? (TO) TT=1800.11
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/minlplib2-pb-0.1.0/opb/ normalized-autocorr_bern30-30.lin.opb	SAT f=-2848 TT=1800.08 T1=1513.75	? (TO) TT=1800.05	? (TO) TT=1800.02	SAT (TO) f=-2806 TT=1800.11 T1=1800.4	SAT (TO) f=0 TT=1800.02 T1=1800.3	SAT (TO) f=-2708 TT=1800.02 T1=1800.3	? TT=79.686	SAT (TO) f=-2765 TT=1800.08 T1=576.5	SAT (TO) f=-2848 TT=1800.08 T1=1513.75	? (TO) TT=1800.09
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/minlplib2-pb-0.1.0/opb/ normalized-autocorr_bern35-04.lin.opb	SAT f=-96 TT=1800.01 T1=1268.89	? (TO) TT=1800.01	? (TO) TT=1800.03	SAT (TO) f=-89 TT=1800.03 T1=1800.3	SAT (TO) f=0 TT=1800.02 T1=1800.3	SAT (TO) f=-93 TT=1800.02 T1=1800.3	SAT (TO) f=-96 TT=1800.02 T1=1800.3	SAT (TO) f=-94 TT=1800.37 T1=759.09	SAT (TO) f=-96 TT=1800.01 T1=1268.89	? (TO) TT=1800.05
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/minlplib2-pb-0.1.0/opb/ normalized-autocorr_bern35-09.lin.opb	SAT f=-1240 TT=1800.02 T1=1800.3	? (TO) TT=1800.09	? (TO) TT=1800.02	SAT (TO) f=-1240 TT=1800.02 T1=1800.3	SAT (TO) f=0 TT=1800.11 T1=1800.4	SAT (TO) f=-1183 TT=1800.02 T1=1800.3	? TT=82.183	SAT (TO) f=-1228 TT=1800.1 T1=364.97	SAT (TO) f=-1234 TT=1800.31 T1=1085.17	? (TO) TT=1800.06
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/minlplib2-pb-0.1.0/opb/ normalized-autocorr_bern35-18.lin.opb	SAT f=-3845 TT=1800.47 T1=694.4	? (TO) TT=1800.1	? (TO) TT=1800.01	SAT (TO) f=-3703 TT=1800.07 T1=1800.4	SAT (TO) f=0 TT=1800.11 T1=1800.4	SAT (TO) f=-3754 TT=1800.02 T1=1800.3	? TT=74.915	SAT (TO) f=-3845 TT=1800.47 T1=694.4	No Cert. TT=1800.83	? (TO) TT=1800.08
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/minlplib2-pb-0.1.0/opb/ normalized-autocorr_bern35-26.lin.opb	SAT f=-6641 TT=1800.02 T1=1800.3	? (TO) TT=1800.05	? (TO) TT=1800.03	SAT (TO) f=-6585 TT=1800.11 T1=1800.4	SAT (TO) f=0 TT=1800.09 T1=1800.7	SAT (TO) f=-6641 TT=1800.02 T1=1800.3	? TT=86.544	SAT (TO) f=-6098 TT=1800.36 T1=936.49	SAT (TO) f=-6429 TT=1800 T1=1630.7	? (TO) TT=1800.1
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/minlplib2-pb-0.1.0/opb/ normalized-autocorr_bern40-05.lin.opb	SAT f=-217 TT=1800.09 T1=697.01	? (TO) TT=1800.1	? (TO) TT=1800.02	SAT (TO) f=-213 TT=1800.02 T1=1800.3	SAT (TO) f=0 TT=1800.09 T1=1800.4	SAT (TO) f=-198 TT=1800.02 T1=1800.3	SAT (TO) f=-217 TT=1800.09 T1=1800.4	SAT (TO) f=-217 TT=1800.64 T1=697.01	SAT (TO) f=-212 TT=1800.76 T1=353.75	? (TO) TT=1800.09
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/minlplib2-pb-0.1.0/opb/ normalized-autocorr_bern40-10.lin.opb	SAT f=-1001 TT=1800.11 T1=1800.4	? (TO) TT=1800.06	? (TO) TT=1800.02	SAT (TO) f=-1001 TT=1800.11 T1=1800.4	SAT (TO) f=0 TT=1800.02 T1=1800.3	SAT (TO) f=-968 TT=1800.02 T1=1800.3	? TT=75.006	SAT (TO) f=-996 TT=1800.19 T1=292.54	SAT (TO) f=-844 TT=1801 T1=1670.96	? (TO) TT=1800.02
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/minlplib2-pb-0.1.0/opb/ normalized-autocorr_bern40-20.lin.opb	SAT f=-12381 TT=1800.59 T1=922.61	? (TO) TT=1800.07	? (TO) TT=1800.03	SAT (TO) f=-12169 TT=1800.1 T1=1800.4	SAT (TO) f=0 TT=1800.1 T1=1800.4	SAT (TO) f=-12199 TT=1800.11 T1=1800.4	? TT=88.359	SAT (TO) f=-12381 TT=1800.59 T1=922.61	SAT (TO) f=-9697 TT=1800.06 T1=1242.17	? (TO) TT=1800.11
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/minlplib2-pb-0.1.0/opb/ normalized-autocorr_bern40-30.lin.opb	SAT f=-11314 TT=1800.02 T1=1800.3	? (TO) TT=1800.15	? (TO) TT=1800.03	SAT (TO) f=-10582 TT=1800.1 T1=1800.4	SAT (TO) f=0 TT=1800.07 T1=1800.3	SAT (TO) f=-11314 TT=1800.02 T1=1800.3	? TT=89.566	SAT (TO) f=-9475 TT=1800.14 T1=682.06	SAT (TO) f=-9953 TT=1800.08 T1=1433.33	? (TO) TT=1800.1
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/minlplib2-pb-0.1.0/opb/ normalized-autocorr_bern45-05.lin.opb	SAT f=-250 TT=1800.09 T1=1800.4	? (TO) TT=1800.01	? (TO) TT=1800.02	SAT (TO) f=-235 TT=1800.1 T1=1800.4	SAT (TO) f=0 TT=1800.02 T1=1800.3	SAT (TO) f=-249 TT=1800.02 T1=1800.3	SAT (TO) f=-250 TT=1800.09 T1=1800.4	SAT (TO) f=-238 TT=1800.21 T1=900.97	SAT (TO) f=-230 TT=1800.39 T1=670.77	? (TO) TT=1800.1
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/minlplib2-pb-0.1.0/opb/ normalized-autocorr_bern45-11.lin.opb	SAT f=-3092 TT=1800.08 T1=1800.4	? (TO) TT=1800.05	? (TO) TT=1800.02	SAT (TO) f=-3092 TT=1800.08 T1=1800.4	SAT (TO) f=0 TT=1800.11 T1=1800.4	SAT (TO) f=-2947 TT=1800.02 T1=1800.3	? TT=79.063	SAT (TO) f=-3016 TT=1800.17 T1=285.19	SAT (TO) f=-2487 TT=1800.04 T1=1597.95	? (TO) TT=1800.01
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/minlplib2-pb-0.1.0/opb/ normalized-autocorr_bern50-06.lin.opb	SAT f=-270 TT=1800.01 T1=1800.3	? (TO) TT=1800.02	? (TO) TT=1800.02	SAT (TO) f=-270 TT=1800.01 T1=1800.3	SAT (TO) f=0 TT=1800.01 T1=1800.3	SAT (TO) f=-216 TT=1800.01 T1=1800.4	SAT (TO) f=-253 TT=1800.06 T1=1800.4	SAT (TO) f=-242 TT=1800.66 T1=111.22	SAT (TO) f=-207 TT=1800.67 T1=1687.11	? (TO) TT=1800.07
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/minlplib2-pb-0.1.0/opb/ normalized-autocorr_bern50-13.lin.opb	SAT f=-5712 TT=1800.1 T1=1800.4	? (TO) TT=1800.04	? (TO) TT=1800.02	SAT (TO) f=-5712 TT=1800.1 T1=1800.4	SAT (TO) f=0 TT=1800.08 T1=1800.4	SAT (TO) f=-5036 TT=1800.02 T1=1800.3	? TT=78.072	SAT (TO) f=-5531 TT=1800.12 T1=337.74	SAT (TO) f=-2977 TT=1800.02 T1=1310.96	? (TO) TT=1800.11
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/minlplib2-pb-0.1.0/opb/ normalized-autocorr_bern55-06.lin.opb	SAT f=-300 TT=1800.07 T1=1800.4	? (TO) TT=1800.08	? (TO) TT=1800.02	SAT (TO) f=-300 TT=1800.07 T1=1800.4	SAT (TO) f=0 TT=1800.02 T1=1800.3	SAT (TO) f=-298 TT=1800.02 T1=1800.3	SAT (TO) f=-267 TT=1800.04 T1=1800.4	SAT (TO) f=-261 TT=1800.11 T1=626.82	SAT (TO) f=-202 TT=1800.02 T1=1656.7	? (TO) TT=1800.09
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/minlplib2-pb-0.1.0/opb/ normalized-autocorr_bern55-14.lin.opb	SAT f=-3989 TT=1800.08 T1=1800.4	? (TO) TT=1800.06	? (TO) TT=1800.03	SAT (TO) f=-3989 TT=1800.08 T1=1800.4	SAT (TO) f=0 TT=1800.1 T1=1800.4	SAT (TO) f=-3779 TT=1800.02 T1=1800.3	? TT=76.485	SAT (TO) f=-3937 TT=1800.1 T1=319.7	SAT (TO) f=-1841 TT=1800.73 T1=1610.72	? (TO) TT=1800.09
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/minlplib2-pb-0.1.0/opb/ normalized-autocorr_bern60-08.lin.opb	SAT f=-1618 TT=1800.02 T1=1800.3	? (TO) TT=1800.07	? (TO) TT=1800.01	SAT (TO) f=-1618 TT=1800.02 T1=1800.3	SAT (TO) f=0 TT=1800.1 T1=1800.4	SAT (TO) f=-1599 TT=1800.02 T1=1800.3	? TT=81.626	SAT (TO) f=-1492 TT=1800.74 T1=613.38	SAT (TO) f=-1084 TT=1800.06 T1=1402.86	? (TO) TT=1800.03
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/minlplib2-pb-0.1.0/opb/ normalized-autocorr_bern60-15.lin.opb	SAT f=-10786 TT=1800.05 T1=1800.4	? (TO) TT=1800.06	? (TO) TT=1800.03	SAT (TO) f=-10786 TT=1800.05 T1=1800.4	SAT (TO) f=0 TT=1800.08 T1=1800.4	SAT (TO) f=-9976 TT=1800.02 T1=1800.3	? TT=82.875	SAT (TO) f=-9972 TT=1800.4 T1=635.64	No Cert. TT=1800.01	? (TO) TT=1800.01
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/minlplib2-pb-0.1.0/ opb/normalized-crossdock_15x7.lin.opb	SAT f=14604 TT=1800.59 T1=49.48	? (TO) TT=1800.09	? (TO) TT=1800.02	SAT (TO) f=15406 TT=1800.1 T1=1800.4	SAT (TO) f=16543 TT=1800.08 T1=1800.4	SAT (TO) f=15236 TT=1800.02 T1=1800.3	? TT=73.131	SAT (TO) f=14604 TT=1800.59 T1=49.48	SAT (TO) f=14863 TT=1800 T1=10.82	? (TO) TT=1800.06
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/minlplib2-pb-0.1.0/opb/ normalized-edgecross10-010.lin.opb	OPT f=1 TT=0.004 T1=0	OPT f=1 TT=0.079 T1=0.08	OPT f=1 TT=0.037 T1=0.03	OPT f=1 TT=0.029 T1=0.02	OPT f=1 TT=0.033 T1=0.03	OPT f=1 TT=0.004 T1=0	OPT f=1 TT=0.03 T1=0.03	OPT f=1 TT=1.573 T1=0.7	OPT f=1 TT=0.624 T1=0.21	OPT f=1 TT=0.09 T1=0.06
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/minlplib2-pb-0.1.0/opb/ normalized-edgecross10-020.lin.opb	OPT f=11 TT=0.527 T1=0.53	OPT f=11 TT=465.099 T1=465.17	OPT f=11 TT=119.184 T1=119.21	OPT f=11 TT=1.278 T1=1.27	OPT f=11 TT=1.575 T1=1.71	OPT f=11 TT=0.527 T1=0.53	OPT f=11 TT=1.708 T1=1.7	OPT f=11 TT=343.274 T1=32.04	OPT f=11 TT=185.83 T1=1.01	OPT f=11 TT=1009.84 T1=601.74
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/minlplib2-pb-0.1.0/opb/ normalized-edgecross10-030.lin.opb	OPT f=52 TT=52.208 T1=52.22	? (TO) TT=1800.03	? (TO) TT=1800.02	SAT (TO) f=60 TT=1800.03 T1=1800.3	OPT f=52 TT=1369.95 T1=1370.15	OPT f=52 TT=52.208 T1=52.22	OPT f=52 TT=1144.91 T1=1145.08	SAT (TO) f=56 TT=1800.74 T1=25.34	SAT (TO) f=56 TT=1800 T1=1.05	? (TO) TT=1800.09
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/minlplib2-pb-0.1.0/opb/ normalized-edgecross10-040.lin.opb	SAT f=143 TT=1800.02 T1=1800.3	? (TO) TT=1800.02	? (TO) TT=1800.03	SAT (TO) f=211 TT=1800.02 T1=1800.3	SAT (TO) f=207 TT=1800.02 T1=1800.3	SAT (TO) f=143 TT=1800.02 T1=1800.3	SAT (TO) f=170 TT=1800.02 T1=1800.3	SAT (TO) f=178 TT=1800.26 T1=1072.37	SAT (TO) f=190 TT=1800.1 T1=660.5	? (TO) TT=1800.09
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/minlplib2-pb-0.1.0/opb/ normalized-edgecross10-050.lin.opb	SAT f=291 TT=1800.1 T1=1800.4	? (TO) TT=1800.08	? (TO) TT=1800.02	SAT (TO) f=293 TT=1800.11 T1=1800.4	SAT (TO) f=353 TT=1800.1 T1=1800.4	SAT (TO) f=436 TT=1800.03 T1=1800.3	SAT (TO) f=291 TT=1800.1 T1=1800.4	SAT (TO) f=345 TT=1800.3 T1=1047.69	SAT (TO) f=327 TT=1801.07 T1=1735.74	? (TO) TT=1800.01
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/minlplib2-pb-0.1.0/opb/ normalized-edgecross10-070.lin.opb	SAT f=741 TT=1800.08 T1=1800.4	? (TO) TT=1800.07	? (TO) TT=1800.02	SAT (TO) f=792 TT=1800.02 T1=1800.3	SAT (TO) f=1013 TT=1800.03 T1=1800.3	SAT (TO) f=810 TT=1800.02 T1=1800.3	SAT (TO) f=741 TT=1800.08 T1=1800.4	SAT (TO) f=767 TT=1800.08 T1=930.31	SAT (TO) f=788 TT=1800.02 T1=1639.67	? (TO) TT=1800.03
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/minlplib2-pb-0.1.0/opb/ normalized-edgecross10-090.lin.opb	OPT f=1387 TT=25.998 T1=26	? (TO) TT=1800.02	? (TO) TT=1800.02	SAT (TO) f=1501 TT=1800.06 T1=1800.4	SAT (TO) f=1646 TT=1800.02 T1=1800.3	OPT f=1387 TT=25.998 T1=26	SAT (TO) f=1407 TT=1800.11 T1=1800.4	SAT (TO) f=1401 TT=1800.58 T1=51.03	SAT (TO) f=1387 TT=1800.02 T1=1505.57	? (TO) TT=1800.02
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/minlplib2-pb-0.1.0/opb/ normalized-edgecross14-019.lin.opb	OPT f=4 TT=4.673 T1=4.67	? (TO) TT=1800.02	? (TO) TT=1800.02	OPT f=4 TT=146.724 T1=146.74	OPT f=4 TT=189.922 T1=189.95	OPT f=4 TT=4.673 T1=4.67	OPT f=4 TT=120.959 T1=120.97	SAT (TO) f=6 TT=1800.03 T1=14.35	SAT (TO) f=6 TT=1800.64 T1=3.2	? (TO) TT=1800.08
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/minlplib2-pb-0.1.0/opb/ normalized-edgecross14-058.lin.opb	SAT f=473 TT=1800.06 T1=1800.4	? (TO) TT=1800.09	? (TO) TT=1800.03	SAT (TO) f=494 TT=1800.02 T1=1800.3	SAT (TO) f=692 TT=1800.02 T1=1800.3	SAT (TO) f=639 TT=1800.02 T1=1800.3	SAT (TO) f=473 TT=1800.06 T1=1800.4	SAT (TO) f=511 TT=1800.52 T1=686.45	SAT (TO) f=564 TT=1800.08 T1=824.9	? (TO) TT=1800.08
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/minlplib2-pb-0.1.0/opb/ normalized-edgecross14-098.lin.opb	SAT f=1552 TT=1800.06 T1=1800.4	? (TO) TT=1800.08	? (TO) TT=1800.02	SAT (TO) f=1708 TT=1800.02 T1=1800.3	SAT (TO) f=2143 TT=1800.02 T1=1800.3	SAT (TO) f=1864 TT=1800.02 T1=1800.3	SAT (TO) f=1552 TT=1800.06 T1=1800.4	SAT (TO) f=1721 TT=1800.45 T1=751.29	SAT (TO) f=2078 TT=1800 T1=367.81	? (TO) TT=1800.08
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/minlplib2-pb-0.1.0/opb/ normalized-edgecross14-117.lin.opb	SAT f=2331 TT=1800.05 T1=1800.4	? (TO) TT=1800.06	? (TO) TT=1800.02	SAT (TO) f=2552 TT=1800.01 T1=1800.3	SAT (TO) f=3011 TT=1800.09 T1=1800.4	SAT (TO) f=2665 TT=1800.02 T1=1800.3	SAT (TO) f=2331 TT=1800.05 T1=1800.4	SAT (TO) f=2570 TT=1800.26 T1=927.59	SAT (TO) f=2727 TT=1800.64 T1=1261.88	? (TO) TT=1800.09
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/minlplib2-pb-0.1.0/opb/ normalized-edgecross14-137.lin.opb	SAT f=3240 TT=1800.05 T1=1800.4	? (TO) TT=1800.01	? (TO) TT=1800.02	SAT (TO) f=3570 TT=1800.09 T1=1800.4	SAT (TO) f=4129 TT=1800.01 T1=1800.3	SAT (TO) f=3663 TT=1800.02 T1=1800.3	SAT (TO) f=3240 TT=1800.05 T1=1800.4	SAT (TO) f=3615 TT=1800.14 T1=337.98	SAT (TO) f=4061 TT=1800.09 T1=1680.81	? (TO) TT=1800.11
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/minlplib2-pb-0.1.0/opb/ normalized-edgecross14-176.lin.opb	SAT f=5989 TT=1800.03 T1=1800.4	? (TO) TT=1800.02	? (TO) TT=1800.03	SAT (TO) f=6251 TT=1800.1 T1=1800.4	SAT (TO) f=6872 TT=1800.07 T1=1800.5	SAT (TO) f=6437 TT=1800.02 T1=1800.3	SAT (TO) f=5989 TT=1800.03 T1=1800.4	SAT (TO) f=6381 TT=1800.01 T1=982.97	No Cert. TT=1800.07	? (TO) TT=1800.1
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/minlplib2-pb-0.1.0/opb/ normalized-edgecross20-040.lin.opb	SAT f=103 TT=1800.1 T1=1800.5	? (TO) TT=1800.11	? (TO) TT=1800.02	SAT (TO) f=157 TT=1800.11 T1=1800.4	SAT (TO) f=377 TT=1800.02 T1=1800.3	SAT (TO) f=258 TT=1800.01 T1=1800.3	SAT (TO) f=103 TT=1800.1 T1=1800.5	SAT (TO) f=216 TT=1800.09 T1=707.13	SAT (TO) f=199 TT=1800.74 T1=1611.95	? (TO) TT=1800.03
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/minlplib2-pb-0.1.0/opb/ normalized-edgecross20-080.lin.opb	SAT f=831 TT=1800.1 T1=1800.4	? (TO) TT=1800.12	? (TO) TT=1800.02	SAT (TO) f=993 TT=1800.04 T1=1800.5	SAT (TO) f=1457 TT=1800.09 T1=1800.4	SAT (TO) f=1115 TT=1800.02 T1=1800.3	SAT (TO) f=831 TT=1800.1 T1=1800.4	SAT (TO) f=1142 TT=1800.49 T1=236.62	SAT (TO) f=1221 TT=1800.07 T1=1010.67	? (TO) TT=1800.07
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/minlplib2-pb-0.1.0/opb/ normalized-edgecross22-048.lin.opb	SAT f=170 TT=1800.09 T1=1800.4	? (TO) TT=1800.08	? (TO) TT=1800.02	SAT (TO) f=277 TT=1800.02 T1=1800.3	SAT (TO) f=549 TT=1800.01 T1=1800.3	SAT (TO) f=384 TT=1800.02 T1=1800.3	SAT (TO) f=170 TT=1800.09 T1=1800.4	SAT (TO) f=261 TT=1800.06 T1=34.67	SAT (TO) f=364 TT=1800.05 T1=19.72	? (TO) TT=1800.11
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/minlplib2-pb-0.1.0/opb/ normalized-edgecross22-096.lin.opb	SAT f=1342 TT=1800.05 T1=1800.4	? (TO) TT=1800.03	? (TO) TT=1800.03	SAT (TO) f=1568 TT=1800.08 T1=1800.4	SAT (TO) f=2221 TT=1800.11 T1=1800.4	SAT (TO) f=1630 TT=1800.02 T1=1800.3	SAT (TO) f=1342 TT=1800.05 T1=1800.4	SAT (TO) f=1896 TT=1800.48 T1=239.84	SAT (TO) f=2105 TT=1800.65 T1=134.56	? (TO) TT=1800.06
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/minlplib2-pb-0.1.0/opb/ normalized-edgecross24-057.lin.opb	SAT f=341 TT=1800.1 T1=1800.4	? (TO) TT=1800.1	? (TO) TT=1800.03	SAT (TO) f=474 TT=1800.02 T1=1800.3	SAT (TO) f=741 TT=1800.02 T1=1800.3	SAT (TO) f=525 TT=1800.02 T1=1800.3	SAT (TO) f=341 TT=1800.1 T1=1800.4	SAT (TO) f=561 TT=1800.83 T1=116.32	SAT (TO) f=550 TT=1800.01 T1=1413.82	? (TO) TT=1800.02
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/minlplib2-pb-0.1.0/opb/ normalized-edgecross24-115.lin.opb	SAT f=2102 TT=1800.27 T1=1800.4	? (TO) TT=1800.11	? (TO) TT=1800.02	SAT (TO) f=2393 TT=1800.06 T1=1800.4	SAT (TO) f=3269 TT=1800.09 T1=1800.4	SAT (TO) f=2365 TT=1800.01 T1=1800.3	SAT (TO) f=2102 TT=1800.27 T1=1800.4	SAT (TO) f=2597 TT=1800.58 T1=424.37	SAT (TO) f=3259 TT=1800.04 T1=1379.5	? (TO) TT=1800.06
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/minlplib2-pb-0.1.0/ opb/normalized-faclay20h.lin.opb	SAT f=16470 TT=1800.66 T1=1666.11	? (TO) TT=1800.08	? (TO) TT=1800.02	SAT (TO) f=17676 TT=1800.09 T1=1800.4	SAT (TO) f=22909 TT=1800.09 T1=1800.4	SAT (TO) f=16691 TT=1800.02 T1=1800.3	? TT=76.373	SAT (TO) f=17162 TT=1800.83 T1=17.11	SAT (TO) f=16470 TT=1800.66 T1=1666.11	? (TO) TT=1800.01
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/minlplib2-pb-0.1.0/ opb/normalized-faclay25.lin.opb	SAT f=5216 TT=1800.02 T1=1800.3	? (TO) TT=1800.05	? (TO) TT=1800.02	SAT (TO) f=5307 TT=1800.09 T1=1800.4	SAT (TO) f=6435 TT=1800.07 T1=1800.4	SAT (TO) f=5216 TT=1800.02 T1=1800.3	? TT=76.038	SAT (TO) f=5412 TT=1800.67 T1=72.59	SAT (TO) f=5413 TT=1800.01 T1=10.67	? (TO) TT=1800.04
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/minlplib2-pb-0.1.0/ opb/normalized-faclay30h.lin.opb	SAT f=50985 TT=1800.02 T1=1800.3	? (TO) TT=1800.09	? (TO) TT=1800.02	SAT (TO) f=54002 TT=1800.08 T1=1800.5	SAT (TO) f=65126 TT=1800.05 T1=1800.4	SAT (TO) f=50985 TT=1800.02 T1=1800.3	? TT=72.674	SAT (TO) f=55049 TT=1800.46 T1=915.36	No Cert. TT=1800	? (TO) TT=1800.02
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/minlplib2-pb-0.1.0/ opb/normalized-faclay30.lin.opb	SAT f=9772 TT=1800.02 T1=1800.3	? (TO) TT=1800.13	? (TO) TT=1800.03	SAT (TO) f=9987 TT=1800.13 T1=1800.4	SAT (TO) f=11400 TT=1800.06 T1=1800.4	SAT (TO) f=9772 TT=1800.02 T1=1800.3	? TT=74.133	SAT (TO) f=10090 TT=1800.96 T1=209.33	SAT (TO) f=10090 TT=1800.05 T1=131.29	? (TO) TT=1800.02
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/minlplib2-pb-0.1.0/ opb/normalized-faclay33.lin.opb	SAT f=72340 TT=1800.02 T1=1800.3	? (TO) TT=1800.08	? (TO) TT=1800.03	SAT (TO) f=73008 TT=1800.11 T1=1800.4	SAT (TO) f=86090 TT=1800.05 T1=1800.4	SAT (TO) f=72340 TT=1800.02 T1=1800.3	? TT=78.855	SAT (TO) f=73959 TT=1801.35 T1=709.65	SAT (TO) f=73853 TT=1802.26 T1=990.37	? (TO) TT=1800.11
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/minlplib2-pb-0.1.0/ opb/normalized-faclay35.lin.opb	SAT f=82120 TT=1800.01 T1=1800.4	? (TO) TT=1800.11	? (TO) TT=1800.02	SAT (TO) f=82120 TT=1800.01 T1=1800.4	SAT (TO) f=98871 TT=1800.03 T1=1800.4	SAT (TO) f=83242 TT=1800.02 T1=1800.3	? TT=79.978	SAT (TO) f=84001 TT=1800.1 T1=191.99	SAT (TO) f=84001 TT=1800.57 T1=150.97	? (TO) TT=1800.14
PB15eval/normalized-PB15eval/OPT-SMALLINT-LIN/ minlplib2-pb-0.1.0/opb/ normalized-graphpart_2pm-0044-0044.lin.opb	OPT f=-13 TT=0.009 T1=0	OPT f=-13 TT=0.317 T1=0.31	OPT f=-13 TT=0.45 T1=0.44	OPT f=-13 TT=0.042 T1=0.04	OPT f=-13 TT=0.035 T1=0.03	OPT f=-13 TT=0.009 T1=0	OPT f=-13 TT=0.011 T1=0.01	OPT f=-13 TT=5.297 T1=2.68	OPT f=-13 TT=1.902 T1=0.72	OPT f=-13 TT=0.814 T1=0.43
PB15eval/normalized-PB15eval/OPT-SMALLINT-LIN/ minlplib2-pb-0.1.0/opb/ normalized-graphpart_2pm-0055-0055.lin.opb	OPT f=-20 TT=0.046 T1=0.04	OPT f=-20 TT=106.088 T1=106.1	OPT f=-20 TT=255.652 T1=255.69	OPT f=-20 TT=0.145 T1=0.14	OPT f=-20 TT=0.11 T1=0.11	OPT f=-20 TT=0.046 T1=0.04	OPT f=-20 TT=0.106 T1=0.1	OPT f=-20 TT=691.137 T1=97.32	OPT f=-20 TT=337.71 T1=17.99	OPT f=-20 TT=869.282 T1=0.55
PB15eval/normalized-PB15eval/OPT-SMALLINT-LIN/ minlplib2-pb-0.1.0/opb/ normalized-graphpart_2pm-0066-0066.lin.opb	OPT f=-29 TT=0.122 T1=0.12	? (TO) TT=1800.02	? (TO) TT=1800.01	OPT f=-29 TT=0.25 T1=0.25	OPT f=-29 TT=0.262 T1=0.26	OPT f=-29 TT=0.948 T1=0.94	OPT f=-29 TT=0.122 T1=0.12	SAT (TO) f=-27 TT=1800.59 T1=12.24	SAT (TO) f=-27 TT=1800.64 T1=1465.72	? (TO) TT=1800.08
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
PB15eval/normalized-PB15eval/OPT-SMALLINT-LIN/ minlplib2-pb-0.1.0/opb/ normalized-graphpart_2pm-0077-0777.lin.opb	OPT f=-40 TT=0.095 T1=0.09	? (TO) TT=1800.02	? (TO) TT=1800.01	OPT f=-40 TT=0.576 T1=0.61	OPT f=-40 TT=0.634 T1=0.63	OPT f=-40 TT=0.095 T1=0.09	OPT f=-40 TT=0.362 T1=0.36	SAT (TO) f=-35 TT=1800.16 T1=28.82	SAT (TO) f=-33 TT=1800.08 T1=0.55	? (TO) TT=1800.09
PB15eval/normalized-PB15eval/OPT-SMALLINT-LIN/ minlplib2-pb-0.1.0/opb/ normalized-graphpart_2pm-0088-0888.lin.opb	OPT f=-55 TT=0.076 T1=0.07	? (TO) TT=1800.02	? (TO) TT=1800.02	OPT f=-55 TT=0.627 T1=0.62	OPT f=-55 TT=0.505 T1=0.7	OPT f=-55 TT=0.076 T1=0.07	OPT f=-55 TT=0.255 T1=0.25	SAT (TO) f=-48 TT=1800.75 T1=3.28	SAT (TO) f=-48 TT=1800.03 T1=0.78	? (TO) TT=1800.07
PB15eval/normalized-PB15eval/OPT-SMALLINT-LIN/ minlplib2-pb-0.1.0/opb/ normalized-graphpart_2pm-0099-0999.lin.opb	OPT f=-64 TT=2.083 T1=2.08	? (TO) TT=1800.01	? (TO) TT=1800.1	OPT f=-64 TT=4.398 T1=4.39	OPT f=-64 TT=4.218 T1=4.22	OPT f=-64 TT=16.441 T1=16.44	OPT f=-64 TT=2.083 T1=2.08	SAT (TO) f=-55 TT=1800.74 T1=38.14	SAT (TO) f=-49 TT=1800.07 T1=0.75	? (TO) TT=1800.07
PB15eval/normalized-PB15eval/OPT-SMALLINT-LIN/ minlplib2-pb-0.1.0/opb/ normalized-graphpart_3pm-0234-0234.lin.opb	OPT f=-20 TT=0.218 T1=0.21	? (TO) TT=1800.01	OPT f=-20 TT=425.159 T1=425.22	OPT f=-20 TT=0.218 T1=0.21	OPT f=-20 TT=0.222 T1=0.22	OPT f=-20 TT=0.71 T1=0.71	OPT f=-20 TT=0.221 T1=0.22	OPT f=-20 TT=1142.56 T1=159.55	OPT f=-20 TT=713.076 T1=413.69	? (TO) TT=1800.01
PB15eval/normalized-PB15eval/OPT-SMALLINT-LIN/ minlplib2-pb-0.1.0/opb/ normalized-graphpart_3pm-0244-0244.lin.opb	OPT f=-28 TT=1.171 T1=1.17	? (TO) TT=1800.1	? (TO) TT=1800.02	OPT f=-28 TT=2.809 T1=2.8	OPT f=-28 TT=2.141 T1=2.14	OPT f=-28 TT=18.386 T1=18.38	OPT f=-28 TT=1.171 T1=1.17	SAT (TO) f=-25 TT=1800.66 T1=8.73	SAT (TO) f=-23 TT=1800.67 T1=0.25	? (TO) TT=1800.03
PB15eval/normalized-PB15eval/OPT-SMALLINT-LIN/ minlplib2-pb-0.1.0/opb/ normalized-graphpart_3pm-0333-0333.lin.opb	OPT f=-26 TT=0.844 T1=0.84	? (TO) TT=1800.02	? (TO) TT=1800.02	OPT f=-26 TT=1.41 T1=1.41	OPT f=-26 TT=1.003 T1=1	OPT f=-26 TT=8.115 T1=8.11	OPT f=-26 TT=0.844 T1=0.84	SAT (TO) f=-23 TT=1800.16 T1=260.04	SAT (TO) f=-23 TT=1800.05 T1=1228.05	? (TO) TT=1800.02
PB15eval/normalized-PB15eval/OPT-SMALLINT-LIN/ minlplib2-pb-0.1.0/opb/ normalized-graphpart_3pm-0334-0334.lin.opb	OPT f=-36 TT=1.92 T1=1.92	? (TO) TT=1800.02	? (TO) TT=1800.02	OPT f=-36 TT=6.403 T1=6.4	OPT f=-36 TT=6.533 T1=6.53	OPT f=-36 TT=58.994 T1=59	OPT f=-36 TT=1.92 T1=1.92	SAT (TO) f=-31 TT=1800.04 T1=2.75	SAT (TO) f=-31 TT=1800.08 T1=0.32	? (TO) TT=1800.09
PB15eval/normalized-PB15eval/OPT-SMALLINT-LIN/ minlplib2-pb-0.1.0/opb/ normalized-graphpart_3pm-0344-0344.lin.opb	OPT f=-48 TT=45.003 T1=45.01	? (TO) TT=1800.01	? (TO) TT=1800.02	OPT f=-48 TT=542.107 T1=542.18	OPT f=-48 TT=145.485 T1=145.5	SAT (TO) f=0 TT=1800.02 T1=1800.3	OPT f=-48 TT=45.003 T1=45.01	SAT (TO) f=-35 TT=1803.3 T1=12.38	SAT (TO) f=-32 TT=1800.09 T1=0.57	? (TO) TT=1800.01
PB15eval/normalized-PB15eval/OPT-SMALLINT-LIN/ minlplib2-pb-0.1.0/opb/ normalized-graphpart_3pm-0444-0444.lin.opb	SAT f=-65 TT=1800.02 T1=1800.3	? (TO) TT=1800.02	? (TO) TT=1800.02	SAT (TO) f=-65 TT=1800.02 T1=1800.3	SAT (TO) f=-65 TT=1800.03 T1=1800.5	SAT (TO) f=0 TT=1800.02 T1=1800.3	SAT (TO) f=-65 TT=1800.02 T1=1800.3	SAT (TO) f=-48 TT=1800.66 T1=41.61	SAT (TO) f=-48 TT=1800.08 T1=32.96	? (TO) TT=1800.07
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/minlplib2-pb-0.1.0/ opb/normalized-graphpart_clique-20.lin.opb	OPT f=147 TT=42.95 T1=0.28	? (TO) TT=1800.02	OPT f=147 TT=983.758 T1=983.91	SAT (TO) f=189 TT=1800.02 T1=1800.3	OPT f=147 TT=351.851 T1=352.08	OPT f=147 TT=955.824 T1=955.97	OPT f=147 TT=264.389 T1=264.46	OPT f=147 TT=114.067 T1=0.77	OPT f=147 TT=42.95 T1=0.28	OPT f=147 TT=599.318 T1=599.55
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/minlplib2-pb-0.1.0/ opb/normalized-graphpart_clique-30.lin.opb	SAT f=495 TT=1800.02 T1=0.43	? (TO) TT=1800.02	? (TO) TT=1800.02	SAT (TO) f=874 TT=1800.02 T1=1800.3	SAT (TO) f=910 TT=1800.1 T1=1800.4	SAT (TO) f=495 TT=1800.02 T1=1800.3	SAT (TO) f=928 TT=1800.05 T1=1800.4	SAT (TO) f=495 TT=1800.17 T1=0.85	SAT (TO) f=495 TT=1800.64 T1=0.43	? (TO) TT=1800.02
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/minlplib2-pb-0.1.0/ opb/normalized-graphpart_clique-40.lin.opb	SAT f=1183 TT=1800.02 T1=0.59	? (TO) TT=1800.07	? (TO) TT=1800.02	SAT (TO) f=2499 TT=1800.11 T1=1800.4	SAT (TO) f=2132 TT=1800.08 T1=1800.4	SAT (TO) f=1183 TT=1800.02 T1=1800.3	? TT=69.823	SAT (TO) f=1183 TT=1800.07 T1=4.81	SAT (TO) f=1183 TT=1800.07 T1=0.59	? (TO) TT=1800.06
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/minlplib2-pb-0.1.0/ opb/normalized-graphpart_clique-50.lin.opb	SAT f=2312 TT=1800.01 T1=0.56	? (TO) TT=1800.1	? (TO) TT=1800.03	SAT (TO) f=5250 TT=1800.01 T1=1800.3	SAT (TO) f=3889 TT=1800.03 T1=1800.4	SAT (TO) f=2312 TT=1800.01 T1=1800.3	? TT=74.084	SAT (TO) f=2312 TT=1800.08 T1=2.5	SAT (TO) f=2312 TT=1800.01 T1=0.56	? (TO) TT=1800.11
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/minlplib2-pb-0.1.0/ opb/normalized-graphpart_clique-60.lin.opb	SAT f=3990 TT=1800.02 T1=0.78	? (TO) TT=1800.01	? (TO) TT=1800.03	SAT (TO) f=9658 TT=1800.1 T1=1800.4	SAT (TO) f=8457 TT=1800.07 T1=1800.4	SAT (TO) f=3990 TT=1800.02 T1=1800.3	? TT=72.532	SAT (TO) f=3990 TT=1800.05 T1=1.54	SAT (TO) f=3990 TT=1800.85 T1=0.78	? (TO) TT=1800.02
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/minlplib2-pb-0.1.0/ opb/normalized-graphpart_clique-70.lin.opb	SAT f=6348 TT=1800 T1=0.83	? (TO) TT=1800.01	? (TO) TT=1800.03	SAT (TO) f=15813 TT=1800.06 T1=1800.4	SAT (TO) f=14109 TT=1800.05 T1=1800.4	SAT (TO) f=6348 TT=1800.02 T1=1800.3	? TT=71.925	SAT (TO) f=6348 TT=1800.07 T1=2.67	SAT (TO) f=6348 TT=1800 T1=0.83	? (TO) TT=1800.07
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/minlplib2-pb-0.1.0/ opb/normalized-hmittelman.lin.opb	OPT f=13 TT=0.001 T1=0	OPT f=13 TT=0.022 T1=0.02	OPT f=13 TT=0.013 T1=0.01	OPT f=13 TT=0.003 T1=0	OPT f=13 TT=0.005 T1=0	OPT f=13 TT=0.001 T1=0	OPT f=13 TT=0.002 T1=0	OPT f=13 TT=0.174 T1=1.14	OPT f=13 TT=0.174 T1=0.15	OPT f=13 TT=0.021 T1=0.01
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/minlplib2-pb-0.1.0/opb/ normalized-sporttournament06.lin.opb	OPT f=-6 TT=0.001 T1=0	OPT f=-6 TT=0.025 T1=0.02	OPT f=-6 TT=0.015 T1=0.01	OPT f=-6 TT=0.008 T1=0	OPT f=-6 TT=0.013 T1=0.25	OPT f=-6 TT=0.001 T1=0.01	OPT f=-6 TT=0.003 T1=0	OPT f=-6 TT=0.765 T1=2.14	OPT f=-6 TT=0.403 T1=0.15	OPT f=-6 TT=0.027 T1=0.02
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/minlplib2-pb-0.1.0/opb/ normalized-sporttournament08.lin.opb	OPT f=-12 TT=0.003 T1=0	OPT f=-12 TT=0.046 T1=0.04	OPT f=-12 TT=0.049 T1=0.04	OPT f=-12 TT=0.044 T1=0.04	OPT f=-12 TT=0.04 T1=0.04	OPT f=-12 TT=0.003 T1=0	OPT f=-12 TT=0.033 T1=0.03	OPT f=-12 TT=25.57 T1=3.16	OPT f=-12 TT=11.663 T1=1.48	OPT f=-12 TT=42.154 T1=1.22
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/minlplib2-pb-0.1.0/opb/ normalized-sporttournament10.lin.opb	OPT f=-22 TT=0.011 T1=0.01	OPT f=-22 TT=4.097 T1=4.09	OPT f=-22 TT=5.788 T1=5.78	OPT f=-22 TT=0.651 T1=0.65	OPT f=-22 TT=0.41 T1=0.41	OPT f=-22 TT=0.011 T1=0.01	OPT f=-22 TT=0.608 T1=0.6	SAT (TO) f=-21 TT=1800.02 T1=35.69	SAT (TO) f=-18 TT=1800.05 T1=181.57	? (TO) TT=1800.03
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/minlplib2-pb-0.1.0/opb/ normalized-sporttournament12.lin.opb	OPT f=-34 TT=0.01 T1=0.01	? (TO) TT=1800.02	? (TO) TT=1800.01	OPT f=-34 TT=520 T1=520.08	OPT f=-34 TT=209.945 T1=209.97	OPT f=-34 TT=0.01 T1=0.01	OPT f=-34 TT=87.56 T1=87.57	SAT (TO) f=-32 TT=1800.08 T1=191.22	SAT (TO) f=-28 TT=1800.03 T1=12.89	? (TO) TT=1800.08
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/minlplib2-pb-0.1.0/opb/ normalized-sporttournament16.lin.opb	OPT f=-65 TT=1.602 T1=1.6	? (TO) TT=1800.02	? (TO) TT=1800.02	SAT (TO) f=-60 TT=1800.02 T1=1800.3	SAT (TO) f=-58 TT=1800.01 T1=1800.3	OPT f=-65 TT=1.602 T1=1.6	SAT (TO) f=-61 TT=1800.02 T1=1800.3	SAT (TO) f=-49 TT=1800.08 T1=385.23	SAT (TO) f=-43 TT=1800.07 T1=451.47	? (TO) TT=1800.05
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/minlplib2-pb-0.1.0/opb/ normalized-sporttournament18.lin.opb	OPT f=-80 TT=90.745 T1=90.75	? (TO) TT=1800.01	? (TO) TT=1800.02	SAT (TO) f=-74 TT=1800.02 T1=1800.3	SAT (TO) f=-71 TT=1800.01 T1=1800.3	OPT f=-80 TT=90.745 T1=90.75	SAT (TO) f=-74 TT=1800.03 T1=1800.3	SAT (TO) f=-66 TT=1800.02 T1=196.37	SAT (TO) f=-50 TT=1800.04 T1=0.35	? (TO) TT=1800.09
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/minlplib2-pb-0.1.0/opb/ normalized-sporttournament20.lin.opb	OPT f=-96 TT=729.564 T1=729.67	? (TO) TT=1800.02	? (TO) TT=1800.02	SAT (TO) f=-86 TT=1800.02 T1=1800.3	SAT (TO) f=-88 TT=1800.09 T1=1800.4	OPT f=-96 TT=729.564 T1=729.67	SAT (TO) f=-86 TT=1800.02 T1=1800.3	SAT (TO) f=-71 TT=1800.06 T1=60.58	SAT (TO) f=-65 TT=1800.02 T1=5.49	? (TO) TT=1800.03
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/minlplib2-pb-0.1.0/opb/ normalized-sporttournament22.lin.opb	SAT f=-107 TT=1800.03 T1=1800.3	? (TO) TT=1800.02	? (TO) TT=1800.02	SAT (TO) f=-85 TT=1800.02 T1=1800.3	SAT (TO) f=0 TT=1800.1 T1=1800.4	SAT (TO) f=-54 TT=1800.01 T1=1800.3	SAT (TO) f=-107 TT=1800.03 T1=1800.3	SAT (TO) f=-87 TT=1800.12 T1=748.35	SAT (TO) f=-77 TT=1800.08 T1=1143.02	? (TO) TT=1800.13
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/minlplib2-pb-0.1.0/opb/ normalized-sporttournament24.lin.opb	SAT f=-121 TT=1800.11 T1=1800.4	? (TO) TT=1800.07	? (TO) TT=1800.02	SAT (TO) f=-107 TT=1800.01 T1=1800.3	SAT (TO) f=0 TT=1800.02 T1=1800.3	SAT (TO) f=-65 TT=1800.02 T1=1800.3	SAT (TO) f=-121 TT=1800.11 T1=1800.4	SAT (TO) f=-97 TT=1800.73 T1=132.82	SAT (TO) f=-73 TT=1800.04 T1=436.33	? (TO) TT=1800.01
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/minlplib2-pb-0.1.0/opb/ normalized-sporttournament26.lin.opb	SAT f=-142 TT=1800.02 T1=1800.3	? (TO) TT=1800.02	? (TO) TT=1800.02	SAT (TO) f=-122 TT=1800.02 T1=1800.3	SAT (TO) f=0 TT=1800 T1=1800.3	SAT (TO) f=-68 TT=1800.02 T1=1800.3	SAT (TO) f=-142 TT=1800.02 T1=1800.3	SAT (TO) f=-112 TT=1800.08 T1=744.29	SAT (TO) f=-102 TT=1800.78 T1=3.22	? (TO) TT=1800.02
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/minlplib2-pb-0.1.0/opb/ normalized-sporttournament28.lin.opb	SAT f=-156 TT=1800.02 T1=1800.3	? (TO) TT=1800.02	? (TO) TT=1800.02	SAT (TO) f=-125 TT=1800.02 T1=1800.3	SAT (TO) f=0 TT=1800.02 T1=1800.3	SAT (TO) f=-75 TT=1800.03 T1=1800.3	SAT (TO) f=-156 TT=1800.02 T1=1800.3	SAT (TO) f=-118 TT=1800.08 T1=436.75	SAT (TO) f=-96 TT=1800.02 T1=491.86	? (TO) TT=1800.08
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/minlplib2-pb-0.1.0/opb/ normalized-sporttournament30.lin.opb	SAT f=-168 TT=1800.02 T1=1800.3	? (TO) TT=1800.03	? (TO) TT=1800.03	SAT (TO) f=-139 TT=1800.02 T1=1800.3	SAT (TO) f=0 TT=1800.11 T1=1800.4	SAT (TO) f=-79 TT=1800.02 T1=1800.3	SAT (TO) f=-168 TT=1800.02 T1=1800.3	SAT (TO) f=-146 TT=1800.05 T1=176.04	SAT (TO) f=-109 TT=1800.03 T1=26.49	? (TO) TT=1800.11
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/minlplib2-pb-0.1.0/opb/ normalized-sporttournament32.lin.opb	SAT f=-187 TT=1800.02 T1=1800.3	? (TO) TT=1800.01	? (TO) TT=1800.03	SAT (TO) f=-153 TT=1800.02 T1=1800.3	SAT (TO) f=0 TT=1800.02 T1=1800.3	SAT (TO) f=-98 TT=1800.02 T1=1800.3	SAT (TO) f=-187 TT=1800.02 T1=1800.3	SAT (TO) f=-149 TT=1800.15 T1=828.13	SAT (TO) f=-126 TT=1800.93 T1=326.97	? (TO) TT=1800.01
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/minlplib2-pb-0.1.0/opb/ normalized-sporttournament34.lin.opb	SAT f=-221 TT=1800.02 T1=1800.3	? (TO) TT=1800.02	? (TO) TT=1800.01	SAT (TO) f=-195 TT=1800.03 T1=1800.3	SAT (TO) f=0 TT=1800.01 T1=1800.3	SAT (TO) f=-96 TT=1800.02 T1=1800.3	SAT (TO) f=-221 TT=1800.02 T1=1800.3	SAT (TO) f=-178 TT=1800.37 T1=459.67	SAT (TO) f=-147 TT=1800.06 T1=1610.38	? (TO) TT=1800.01
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/minlplib2-pb-0.1.0/opb/ normalized-sporttournament36.lin.opb	SAT f=-224 TT=1800.09 T1=1800.4	? (TO) TT=1800.02	? (TO) TT=1800.02	SAT (TO) f=-201 TT=1800.03 T1=1800.3	SAT (TO) f=0 TT=1800.1 T1=1800.4	SAT (TO) f=-89 TT=1800.02 T1=1800.3	SAT (TO) f=-224 TT=1800.09 T1=1800.4	SAT (TO) f=-181 TT=1800.04 T1=572.61	SAT (TO) f=-164 TT=1801.08 T1=91.74	? (TO) TT=1800.04
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/minlplib2-pb-0.1.0/opb/ normalized-sporttournament38.lin.opb	SAT f=-264 TT=1800.06 T1=1800.4	? (TO) TT=1800.01	? (TO) TT=1800.02	SAT (TO) f=-228 TT=1800.02 T1=1800.3	SAT (TO) f=0 TT=1800.09 T1=1800.4	SAT (TO) f=-104 TT=1800.02 T1=1800.3	SAT (TO) f=-264 TT=1800.06 T1=1800.4	SAT (TO) f=-212 TT=1800.13 T1=523.92	SAT (TO) f=-174 TT=1802.05 T1=34.22	? (TO) TT=1800.06
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/minlplib2-pb-0.1.0/opb/ normalized-sporttournament40.lin.opb	SAT f=-287 TT=1800.11 T1=1800.4	? (TO) TT=1800.12	? (TO) TT=1800.03	SAT (TO) f=-263 TT=1800.02 T1=1800.3	SAT (TO) f=0 TT=1800.01 T1=1800.3	SAT (TO) f=-107 TT=1800.02 T1=1800.3	SAT (TO) f=-287 TT=1800.11 T1=1800.4	SAT (TO) f=-237 TT=1800.05 T1=518.55	SAT (TO) f=-186 TT=1800 T1=498.08	? (TO) TT=1800.09
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/minlplib2-pb-0.1.0/opb/ normalized-sporttournament42.lin.opb	SAT f=-313 TT=1800.1 T1=1800.4	? (TO) TT=1800.15	? (TO) TT=1800.02	SAT (TO) f=-296 TT=1800.02 T1=1800.3	SAT (TO) f=0 TT=1800.1 T1=1800.4	SAT (TO) f=-138 TT=1800.01 T1=1800.3	SAT (TO) f=-313 TT=1800.1 T1=1800.4	SAT (TO) f=-265 TT=1800.02 T1=665.56	SAT (TO) f=-224 TT=1801 T1=247.38	? (TO) TT=1800.08
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/minlplib2-pb-0.1.0/opb/ normalized-sporttournament44.lin.opb	SAT f=-339 TT=1800.1 T1=1800.4	? (TO) TT=1800.12	? (TO) TT=1800.02	SAT (TO) f=-307 TT=1800.03 T1=1800.3	SAT (TO) f=0 TT=1800.1 T1=1800.4	SAT (TO) f=-150 TT=1800.02 T1=1800.3	SAT (TO) f=-339 TT=1800.1 T1=1800.4	SAT (TO) f=-278 TT=1800.45 T1=562.42	SAT (TO) f=-237 TT=1800 T1=14.53	? (TO) TT=1800.06
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/minlplib2-pb-0.1.0/opb/ normalized-sporttournament46.lin.opb	SAT f=-381 TT=1800.09 T1=1800.4	? (TO) TT=1800.1	? (TO) TT=1800.02	SAT (TO) f=-335 TT=1800.02 T1=1800.3	SAT (TO) f=0 TT=1800.11 T1=1800.4	SAT (TO) f=-162 TT=1800.02 T1=1800.3	SAT (TO) f=-381 TT=1800.09 T1=1800.4	SAT (TO) f=-310 TT=1800.46 T1=698.88	SAT (TO) f=-249 TT=1800.84 T1=160.98	? (TO) TT=1800.05
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/minlplib2-pb-0.1.0/opb/ normalized-sporttournament48.lin.opb	SAT f=-434 TT=1800.1 T1=1800.4	? (TO) TT=1800.09	? (TO) TT=1800.03	SAT (TO) f=-401 TT=1800.1 T1=1800.4	SAT (TO) f=0 TT=1800.1 T1=1800.4	SAT (TO) f=-204 TT=1800.02 T1=1800.3	SAT (TO) f=-434 TT=1800.1 T1=1800.4	SAT (TO) f=-361 TT=1800.04 T1=691.15	SAT (TO) f=-300 TT=1800.07 T1=356.24	? (TO) TT=1800.11
PB15eval/normalized-PB15eval/ OPT-SMALLINT-LIN/minlplib2-pb-0.1.0/opb/ normalized-sporttournament50.lin.opb	SAT f=-445 TT=1800.09 T1=1800.4	? (TO) TT=1800.09	? (TO) TT=1800.02	SAT (TO) f=-406 TT=1800.02 T1=1800.3	SAT (TO) f=0 TT=1800.1 T1=1800.4	SAT (TO) f=-174 TT=1800.02 T1=1800.3	SAT (TO) f=-445 TT=1800.09 T1=1800.4	SAT (TO) f=-380 TT=1800.16 T1=395.33	SAT (TO) f=-293 TT=1800.7 T1=243.88	? (TO) TT=1800.1
PB15eval/normalized-PB15eval/OPT-SMALLINT-LIN/ pbfvmc-formulae/hw128/ normalized-hw128-vm25p-opt.opb.negationfix.opb	SAT f=34 TT=1800.02 T1=12.06	? (TO) TT=1800.08	? (TO) TT=1800.02	? (TO) TT=1800.07	SAT (TO) f=84 TT=1800.49 T1=1800.4	? TT=75.235	? TT=75.103	SAT (TO) f=34 TT=1802.52 T1=12.06	SAT (TO) f=34 TT=1800.02 T1=1695.54	? (TO) TT=1800.03
PB15eval/normalized-PB15eval/OPT-SMALLINT-LIN/ pbfvmc-formulae/hw128/ normalized-hw128-vm50p-opt.opb.negationfix.opb	SAT f=66 TT=1800.03 T1=1029.14	? (TO) TT=1800.13	? (TO) TT=1800.09	? (TO) TT=1800.07	? (TO) TT=1800.14	? TT=68.303	? TT=68.077	SAT (TO) f=69 TT=1800.11 T1=284.52	SAT (TO) f=66 TT=1800.03 T1=1029.14	? (TO) TT=1800.05
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
PB15eval/normalized-PB15eval/OPT-SMALLINT-LIN/ pbfvmc-formulae/hw128/ normalized-hw128-vm75p-opt.opb.negationfix.opb	SAT f=105 TT=1800.69 T1=64.37	? (TO) TT=1800.12	? (TO) TT=1800.1	? (TO) TT=1800.05	? (TO) TT=1800.07	? TT=73.382	? TT=69.814	SAT (TO) f=108 TT=1800.92 T1=25.45	SAT (TO) f=105 TT=1800.69 T1=64.37	? (TO) TT=1800.07
PB15eval/normalized-PB15eval/OPT-SMALLINT-LIN/ pbfvmc-formulae/hw128/ normalized-hw128-vm85p-opt.opb.negationfix.opb	SAT f=112 TT=1800.09 T1=1579.25	? (TO) TT=1800.11	? (TO) TT=1800.11	? (TO) TT=1800.09	? (TO) TT=1800.11	? TT=69.044	? TT=69.336	SAT (TO) f=116 TT=1800.12 T1=92	SAT (TO) f=112 TT=1800.09 T1=1579.25	? (TO) TT=1800.06
PB15eval/normalized-PB15eval/OPT-SMALLINT-LIN/ pbfvmc-formulae/hw32/ normalized-hw32-vm100p-opt.opb.negationfix.opb		? (TO) TT=1800.1	? (TO) TT=1800.1	? (TO) TT=1800.09	? (TO) TT=1800.12	? TT=74.777	? TT=74.241	? (TO) TT=1800.12	? (TO) TT=1800.02	? (TO) TT=1800.13
PB15eval/normalized-PB15eval/OPT-SMALLINT-LIN/ pbfvmc-formulae/hw32/ normalized-hw32-vm25p-opt.opb.negationfix.opb	OPT f=7 TT=0.993 T1=0.98	OPT f=7 TT=0.993 T1=0.98	OPT f=7 TT=4.406 T1=4.4	OPT f=7 TT=89.257 T1=89.27	OPT f=7 TT=63.762 T1=63.71	? TT=81.843	? TT=82.084	OPT f=7 TT=32.038 T1=16.39	OPT f=7 TT=104.37 T1=2.42	OPT f=7 TT=221.15 T1=221.11
PB15eval/normalized-PB15eval/OPT-SMALLINT-LIN/ pbfvmc-formulae/hw32/ normalized-hw32-vm50p-opt.opb.negationfix.opb	SAT f=16 TT=1800.01 T1=5.03	? (TO) TT=1800.02	? (TO) TT=1800.02	? (TO) TT=1800.04	SAT (TO) f=16 TT=1800.06 T1=1800.4	? TT=78.105	? TT=77.313	SAT (TO) f=16 TT=1800.17 T1=5.03	SAT (TO) f=16 TT=1800.01 T1=118.97	? (TO) TT=1800.09
PB15eval/normalized-PB15eval/OPT-SMALLINT-LIN/ pbfvmc-formulae/hw32/ normalized-hw32-vm75p-opt.opb.negationfix.opb	SAT f=24 TT=1800.03 T1=443.63	? (TO) TT=1800.09	? (TO) TT=1800.08	? (TO) TT=1800.06	SAT (TO) f=32 TT=1800.04 T1=1800.4	? TT=76.393	? TT=74.914	SAT (TO) f=25 TT=1800.13 T1=233.6	SAT (TO) f=24 TT=1800.03 T1=443.63	? (TO) TT=1800.02
PB15eval/normalized-PB15eval/OPT-SMALLINT-LIN/ pbfvmc-formulae/hw32/ normalized-hw32-vm85p-opt.opb.negationfix.opb	SAT f=28 TT=1800.03 T1=193.41	? (TO) TT=1800.09	? (TO) TT=1800.01	? (TO) TT=1800.2	? (TO) TT=1800.11	? TT=76.723	? TT=77.249	SAT (TO) f=28 TT=1800.03 T1=193.41	SAT (TO) f=28 TT=1800.09 T1=595.8	? (TO) TT=1800.1
PB15eval/normalized-PB15eval/OPT-SMALLINT-LIN/ pbfvmc-formulae/hw32/ normalized-hw32-vm90p-opt.opb.negationfix.opb	OPT f=29 TT=403.408 T1=400.14	? (TO) TT=1800.09	? (TO) TT=1800.02	? (TO) TT=1800.11	? (TO) TT=1800.11	? TT=76.916	? TT=77.931	SAT (TO) f=30 TT=1800.6 T1=221.99	OPT f=29 TT=403.408 T1=400.14	? (TO) TT=1800.1
PB15eval/normalized-PB15eval/OPT-SMALLINT-LIN/ pbfvmc-formulae/hw32/ normalized-hw32-vm95p-opt.opb.negationfix.opb	OPT f=31 TT=1432.71 T1=715.2	? (TO) TT=1800.06	? (TO) TT=1800.01	? (TO) TT=1800.08	? (TO) TT=1800.05	? TT=77.038	? TT=76.918	OPT f=31 TT=1432.71 T1=715.2	SAT (TO) f=32 TT=1800 T1=6.63	? (TO) TT=1800.03
PB15eval/normalized-PB15eval/OPT-SMALLINT-LIN/ pbfvmc-formulae/hw32/ normalized-hw32-vm98p-opt.opb.negationfix.opb	OPT f=32 TT=101.638 T1=49.69	? (TO) TT=1800.09	? (TO) TT=1800.02	? (TO) TT=1800.14	? (TO) TT=1800.14	? TT=67.706	? TT=66.014	OPT f=32 TT=101.638 T1=49.69	OPT f=32 TT=1092.77 T1=1089.76	? (TO) TT=1800.09
Bench name	Best results	cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
PB15eval/normalized-PB15eval/OPT-SMALLINT-LIN/ pbfvmc-formulae/hw32/ normalized-hw32-vm99p-opt.opb.negationfix.opb		? (TO) TT=1800.09	? (TO) TT=1800.01	? (TO) TT=1800.06	? (TO) TT=1800.12	? TT=67.478	? TT=66.342	? (TO) TT=1800.08	? (TO) TT=1800.72	? (TO) TT=1800.07
PB15eval/normalized-PB15eval/OPT-SMALLINT-LIN/ pbfvmc-formulae/hw64/ normalized-hw64-vm100p-opt.opb.negationfix.opb		? (TO) TT=1800.08	? (TO) TT=1800.1	? (TO) TT=1800.08	? TT=1736.55	? TT=66.388	? TT=66.955	? (TO) TT=1800	? (TO) TT=1801.02	? (TO) TT=1800.07
PB15eval/normalized-PB15eval/OPT-SMALLINT-LIN/ pbfvmc-formulae/hw64/ normalized-hw64-vm25p-opt.opb.negationfix.opb	OPT f=13 TT=3.541 T1=3.53	OPT f=13 TT=3.541 T1=3.53	OPT f=13 TT=20.161 T1=20.16	? (TO) TT=1800.02	SAT (TO) f=16 TT=1800.15 T1=1800.4	? TT=76.28	? TT=76.769	OPT f=13 TT=534.904 T1=263.11	SAT (TO) f=16 TT=1800 T1=7.14	? (TO) TT=1800.02
PB15eval/normalized-PB15eval/OPT-SMALLINT-LIN/ pbfvmc-formulae/hw64/ normalized-hw64-vm50p-opt.opb.negationfix.opb	SAT f=32 TT=1800.62 T1=1163.13	? (TO) TT=1800.08	? (TO) TT=1800.01	? (TO) TT=1800.09	SAT (TO) f=41 TT=1800.16 T1=1800.5	? TT=72.637	? TT=74.012	SAT (TO) f=33 TT=1800.1 T1=264.29	SAT (TO) f=32 TT=1800.62 T1=1163.13	? (TO) TT=1800.08
PB15eval/normalized-PB15eval/OPT-SMALLINT-LIN/ pbfvmc-formulae/hw64/ normalized-hw64-vm75p-opt.opb.negationfix.opb	SAT f=48 TT=1800.17 T1=772.59	? (TO) TT=1800.06	? (TO) TT=1800.02	? (TO) TT=1800.06	? (TO) TT=1800.38	? TT=66.65	? TT=66.293	SAT (TO) f=48 TT=1800.17 T1=772.59	SAT (TO) f=51 TT=1800.02 T1=1550.04	? (TO) TT=1800.07
PB15eval/normalized-PB15eval/OPT-SMALLINT-LIN/ pbfvmc-formulae/hw64/ normalized-hw64-vm85p-opt.opb.negationfix.opb	OPT f=54 TT=1464.16 T1=733.33	? (TO) TT=1800.07	? (TO) TT=1800.02	? (TO) TT=1800.04	? (TO) TT=1800.48	? TT=65.892	? TT=66.787	OPT f=54 TT=1464.16 T1=733.33	SAT (TO) f=55 TT=1800.02 T1=1223.63	? (TO) TT=1800.06
PB15eval/normalized-PB15eval/OPT-SMALLINT-LIN/ pbfvmc-formulae/hw64/ normalized-hw64-vm90p-opt.opb.negationfix.opb	SAT f=60 TT=1800.08 T1=209.29	? (TO) TT=1800.1	? (TO) TT=1800.1	? (TO) TT=1800.08	? (TO) TT=1800.48	? TT=66.225	? TT=66.791	SAT (TO) f=60 TT=1800.14 T1=209.29	SAT (TO) f=60 TT=1800.08 T1=514.78	? (TO) TT=1800.06
PB15eval/normalized-PB15eval/OPT-SMALLINT-LIN/ pbfvmc-formulae/hw64/ normalized-hw64-vm95p-opt.opb.negationfix.opb	SAT f=62 TT=1800.87 T1=69.88	? (TO) TT=1800.09	? (TO) TT=1800.02	? (TO) TT=1800.05	? (TO) TT=1800.48	? TT=66.73	? TT=67.01	? (TO) TT=1800.62	SAT (TO) f=62 TT=1800.87 T1=69.88	? (TO) TT=1800.11
PB15eval/normalized-PB15eval/OPT-SMALLINT-LIN/ pbfvmc-formulae/hw64/ normalized-hw64-vm98p-opt.opb.negationfix.opb	SAT f=64 TT=1800.18 T1=281.47	? (TO) TT=1800.09	? (TO) TT=1800.01	? (TO) TT=1800.05	? (TO) TT=1800.62	? TT=66.97	? TT=67.128	SAT (TO) f=64 TT=1800.18 T1=281.47	? (TO) TT=1800.78	? (TO) TT=1800.09
PB15eval/normalized-PB15eval/OPT-SMALLINT-LIN/ pbfvmc-formulae/hw64/ normalized-hw64-vm99p-opt.opb.negationfix.opb	OPT f=64 TT=229.769 T1=227.42	? (TO) TT=1800.13	? (TO) TT=1800.02	? (TO) TT=1800.05	? (TO) TT=1800.57	? TT=66.463	? TT=66.556	? (TO) TT=1800.03	OPT f=64 TT=229.769 T1=227.42	? (TO) TT=1800.13

Statistics		cdcl-cuttingplanes OPT binary search 2016-05-01 (complete)	cdcl-cuttingplanes OPT linear search 2016-05-01 (complete)	minisatp 2012-10-02 git-d91742b (complete)	NaPS 1.02 (complete)	Open-WBO PB16 (complete)	Open-WBO-LSU PB16 (complete)	Sat4j PB 2.3.6 Res+CP PB16 (complete)	Sat4j PB 2.3.6 Resolution PB16 (complete)	toysat 2016-05-02 (complete)
Number of times the solver is able to give the best known answer		774	749	866	930	890	980	907	794	733
Number of times the solver is the best solver from a complete solver point of view (i.e. best known answer and best TT time)		80	108	246	142	437	312	159	105	14