add copyright statements
[platform/upstream/isl.git] / isl_convex_hull.c
1 /*
2  * Copyright 2008-2009 Katholieke Universiteit Leuven
3  *
4  * Use of this software is governed by the GNU LGPLv2.1 license
5  *
6  * Written by Sven Verdoolaege, K.U.Leuven, Departement
7  * Computerwetenschappen, Celestijnenlaan 200A, B-3001 Leuven, Belgium
8  */
9
10 #include "isl_lp.h"
11 #include "isl_map.h"
12 #include "isl_map_private.h"
13 #include "isl_mat.h"
14 #include "isl_set.h"
15 #include "isl_seq.h"
16 #include "isl_equalities.h"
17 #include "isl_tab.h"
18
19 static struct isl_basic_set *uset_convex_hull_wrap_bounded(struct isl_set *set);
20
21 static void swap_ineq(struct isl_basic_map *bmap, unsigned i, unsigned j)
22 {
23         isl_int *t;
24
25         if (i != j) {
26                 t = bmap->ineq[i];
27                 bmap->ineq[i] = bmap->ineq[j];
28                 bmap->ineq[j] = t;
29         }
30 }
31
32 /* Return 1 if constraint c is redundant with respect to the constraints
33  * in bmap.  If c is a lower [upper] bound in some variable and bmap
34  * does not have a lower [upper] bound in that variable, then c cannot
35  * be redundant and we do not need solve any lp.
36  */
37 int isl_basic_map_constraint_is_redundant(struct isl_basic_map **bmap,
38         isl_int *c, isl_int *opt_n, isl_int *opt_d)
39 {
40         enum isl_lp_result res;
41         unsigned total;
42         int i, j;
43
44         if (!bmap)
45                 return -1;
46
47         total = isl_basic_map_total_dim(*bmap);
48         for (i = 0; i < total; ++i) {
49                 int sign;
50                 if (isl_int_is_zero(c[1+i]))
51                         continue;
52                 sign = isl_int_sgn(c[1+i]);
53                 for (j = 0; j < (*bmap)->n_ineq; ++j)
54                         if (sign == isl_int_sgn((*bmap)->ineq[j][1+i]))
55                                 break;
56                 if (j == (*bmap)->n_ineq)
57                         break;
58         }
59         if (i < total)
60                 return 0;
61
62         res = isl_basic_map_solve_lp(*bmap, 0, c, (*bmap)->ctx->one,
63                                         opt_n, opt_d, NULL);
64         if (res == isl_lp_unbounded)
65                 return 0;
66         if (res == isl_lp_error)
67                 return -1;
68         if (res == isl_lp_empty) {
69                 *bmap = isl_basic_map_set_to_empty(*bmap);
70                 return 0;
71         }
72         return !isl_int_is_neg(*opt_n);
73 }
74
75 int isl_basic_set_constraint_is_redundant(struct isl_basic_set **bset,
76         isl_int *c, isl_int *opt_n, isl_int *opt_d)
77 {
78         return isl_basic_map_constraint_is_redundant(
79                         (struct isl_basic_map **)bset, c, opt_n, opt_d);
80 }
81
82 /* Compute the convex hull of a basic map, by removing the redundant
83  * constraints.  If the minimal value along the normal of a constraint
84  * is the same if the constraint is removed, then the constraint is redundant.
85  *
86  * Alternatively, we could have intersected the basic map with the
87  * corresponding equality and the checked if the dimension was that
88  * of a facet.
89  */
90 struct isl_basic_map *isl_basic_map_convex_hull(struct isl_basic_map *bmap)
91 {
92         struct isl_tab *tab;
93
94         if (!bmap)
95                 return NULL;
96
97         bmap = isl_basic_map_gauss(bmap, NULL);
98         if (ISL_F_ISSET(bmap, ISL_BASIC_MAP_EMPTY))
99                 return bmap;
100         if (ISL_F_ISSET(bmap, ISL_BASIC_MAP_NO_REDUNDANT))
101                 return bmap;
102         if (bmap->n_ineq <= 1)
103                 return bmap;
104
105         tab = isl_tab_from_basic_map(bmap);
106         tab = isl_tab_detect_implicit_equalities(tab);
107         if (isl_tab_detect_redundant(tab) < 0)
108                 goto error;
109         bmap = isl_basic_map_update_from_tab(bmap, tab);
110         isl_tab_free(tab);
111         ISL_F_SET(bmap, ISL_BASIC_MAP_NO_IMPLICIT);
112         ISL_F_SET(bmap, ISL_BASIC_MAP_NO_REDUNDANT);
113         return bmap;
114 error:
115         isl_tab_free(tab);
116         isl_basic_map_free(bmap);
117         return NULL;
118 }
119
120 struct isl_basic_set *isl_basic_set_convex_hull(struct isl_basic_set *bset)
121 {
122         return (struct isl_basic_set *)
123                 isl_basic_map_convex_hull((struct isl_basic_map *)bset);
124 }
125
126 /* Check if the set set is bound in the direction of the affine
127  * constraint c and if so, set the constant term such that the
128  * resulting constraint is a bounding constraint for the set.
129  */
130 static int uset_is_bound(struct isl_set *set, isl_int *c, unsigned len)
131 {
132         int first;
133         int j;
134         isl_int opt;
135         isl_int opt_denom;
136
137         isl_int_init(opt);
138         isl_int_init(opt_denom);
139         first = 1;
140         for (j = 0; j < set->n; ++j) {
141                 enum isl_lp_result res;
142
143                 if (ISL_F_ISSET(set->p[j], ISL_BASIC_SET_EMPTY))
144                         continue;
145
146                 res = isl_basic_set_solve_lp(set->p[j],
147                                 0, c, set->ctx->one, &opt, &opt_denom, NULL);
148                 if (res == isl_lp_unbounded)
149                         break;
150                 if (res == isl_lp_error)
151                         goto error;
152                 if (res == isl_lp_empty) {
153                         set->p[j] = isl_basic_set_set_to_empty(set->p[j]);
154                         if (!set->p[j])
155                                 goto error;
156                         continue;
157                 }
158                 if (!isl_int_is_one(opt_denom))
159                         isl_seq_scale(c, c, opt_denom, len);
160                 if (first || isl_int_is_neg(opt))
161                         isl_int_sub(c[0], c[0], opt);
162                 first = 0;
163         }
164         isl_int_clear(opt);
165         isl_int_clear(opt_denom);
166         return j >= set->n;
167 error:
168         isl_int_clear(opt);
169         isl_int_clear(opt_denom);
170         return -1;
171 }
172
173 /* Check if "c" is a direction that is independent of the previously found "n"
174  * bounds in "dirs".
175  * If so, add it to the list, with the negative of the lower bound
176  * in the constant position, i.e., such that c corresponds to a bounding
177  * hyperplane (but not necessarily a facet).
178  * Assumes set "set" is bounded.
179  */
180 static int is_independent_bound(struct isl_set *set, isl_int *c,
181         struct isl_mat *dirs, int n)
182 {
183         int is_bound;
184         int i = 0;
185
186         isl_seq_cpy(dirs->row[n]+1, c+1, dirs->n_col-1);
187         if (n != 0) {
188                 int pos = isl_seq_first_non_zero(dirs->row[n]+1, dirs->n_col-1);
189                 if (pos < 0)
190                         return 0;
191                 for (i = 0; i < n; ++i) {
192                         int pos_i;
193                         pos_i = isl_seq_first_non_zero(dirs->row[i]+1, dirs->n_col-1);
194                         if (pos_i < pos)
195                                 continue;
196                         if (pos_i > pos)
197                                 break;
198                         isl_seq_elim(dirs->row[n]+1, dirs->row[i]+1, pos,
199                                         dirs->n_col-1, NULL);
200                         pos = isl_seq_first_non_zero(dirs->row[n]+1, dirs->n_col-1);
201                         if (pos < 0)
202                                 return 0;
203                 }
204         }
205
206         is_bound = uset_is_bound(set, dirs->row[n], dirs->n_col);
207         if (is_bound != 1)
208                 return is_bound;
209         if (i < n) {
210                 int k;
211                 isl_int *t = dirs->row[n];
212                 for (k = n; k > i; --k)
213                         dirs->row[k] = dirs->row[k-1];
214                 dirs->row[i] = t;
215         }
216         return 1;
217 }
218
219 /* Compute and return a maximal set of linearly independent bounds
220  * on the set "set", based on the constraints of the basic sets
221  * in "set".
222  */
223 static struct isl_mat *independent_bounds(struct isl_set *set)
224 {
225         int i, j, n;
226         struct isl_mat *dirs = NULL;
227         unsigned dim = isl_set_n_dim(set);
228
229         dirs = isl_mat_alloc(set->ctx, dim, 1+dim);
230         if (!dirs)
231                 goto error;
232
233         n = 0;
234         for (i = 0; n < dim && i < set->n; ++i) {
235                 int f;
236                 struct isl_basic_set *bset = set->p[i];
237
238                 for (j = 0; n < dim && j < bset->n_eq; ++j) {
239                         f = is_independent_bound(set, bset->eq[j], dirs, n);
240                         if (f < 0)
241                                 goto error;
242                         if (f)
243                                 ++n;
244                 }
245                 for (j = 0; n < dim && j < bset->n_ineq; ++j) {
246                         f = is_independent_bound(set, bset->ineq[j], dirs, n);
247                         if (f < 0)
248                                 goto error;
249                         if (f)
250                                 ++n;
251                 }
252         }
253         dirs->n_row = n;
254         return dirs;
255 error:
256         isl_mat_free(dirs);
257         return NULL;
258 }
259
260 struct isl_basic_set *isl_basic_set_set_rational(struct isl_basic_set *bset)
261 {
262         if (!bset)
263                 return NULL;
264
265         if (ISL_F_ISSET(bset, ISL_BASIC_MAP_RATIONAL))
266                 return bset;
267
268         bset = isl_basic_set_cow(bset);
269         if (!bset)
270                 return NULL;
271
272         ISL_F_SET(bset, ISL_BASIC_MAP_RATIONAL);
273
274         return isl_basic_set_finalize(bset);
275 }
276
277 static struct isl_set *isl_set_set_rational(struct isl_set *set)
278 {
279         int i;
280
281         set = isl_set_cow(set);
282         if (!set)
283                 return NULL;
284         for (i = 0; i < set->n; ++i) {
285                 set->p[i] = isl_basic_set_set_rational(set->p[i]);
286                 if (!set->p[i])
287                         goto error;
288         }
289         return set;
290 error:
291         isl_set_free(set);
292         return NULL;
293 }
294
295 static struct isl_basic_set *isl_basic_set_add_equality(
296         struct isl_basic_set *bset, isl_int *c)
297 {
298         int i;
299         unsigned dim;
300
301         if (ISL_F_ISSET(bset, ISL_BASIC_SET_EMPTY))
302                 return bset;
303
304         isl_assert(bset->ctx, isl_basic_set_n_param(bset) == 0, goto error);
305         isl_assert(bset->ctx, bset->n_div == 0, goto error);
306         dim = isl_basic_set_n_dim(bset);
307         bset = isl_basic_set_cow(bset);
308         bset = isl_basic_set_extend(bset, 0, dim, 0, 1, 0);
309         i = isl_basic_set_alloc_equality(bset);
310         if (i < 0)
311                 goto error;
312         isl_seq_cpy(bset->eq[i], c, 1 + dim);
313         return bset;
314 error:
315         isl_basic_set_free(bset);
316         return NULL;
317 }
318
319 static struct isl_set *isl_set_add_equality(struct isl_set *set, isl_int *c)
320 {
321         int i;
322
323         set = isl_set_cow(set);
324         if (!set)
325                 return NULL;
326         for (i = 0; i < set->n; ++i) {
327                 set->p[i] = isl_basic_set_add_equality(set->p[i], c);
328                 if (!set->p[i])
329                         goto error;
330         }
331         return set;
332 error:
333         isl_set_free(set);
334         return NULL;
335 }
336
337 /* Given a union of basic sets, construct the constraints for wrapping
338  * a facet around one of its ridges.
339  * In particular, if each of n the d-dimensional basic sets i in "set"
340  * contains the origin, satisfies the constraints x_1 >= 0 and x_2 >= 0
341  * and is defined by the constraints
342  *                                  [ 1 ]
343  *                              A_i [ x ]  >= 0
344  *
345  * then the resulting set is of dimension n*(1+d) and has as constraints
346  *
347  *                                  [ a_i ]
348  *                              A_i [ x_i ] >= 0
349  *
350  *                                    a_i   >= 0
351  *
352  *                      \sum_i x_{i,1} = 1
353  */
354 static struct isl_basic_set *wrap_constraints(struct isl_set *set)
355 {
356         struct isl_basic_set *lp;
357         unsigned n_eq;
358         unsigned n_ineq;
359         int i, j, k;
360         unsigned dim, lp_dim;
361
362         if (!set)
363                 return NULL;
364
365         dim = 1 + isl_set_n_dim(set);
366         n_eq = 1;
367         n_ineq = set->n;
368         for (i = 0; i < set->n; ++i) {
369                 n_eq += set->p[i]->n_eq;
370                 n_ineq += set->p[i]->n_ineq;
371         }
372         lp = isl_basic_set_alloc(set->ctx, 0, dim * set->n, 0, n_eq, n_ineq);
373         if (!lp)
374                 return NULL;
375         lp_dim = isl_basic_set_n_dim(lp);
376         k = isl_basic_set_alloc_equality(lp);
377         isl_int_set_si(lp->eq[k][0], -1);
378         for (i = 0; i < set->n; ++i) {
379                 isl_int_set_si(lp->eq[k][1+dim*i], 0);
380                 isl_int_set_si(lp->eq[k][1+dim*i+1], 1);
381                 isl_seq_clr(lp->eq[k]+1+dim*i+2, dim-2);
382         }
383         for (i = 0; i < set->n; ++i) {
384                 k = isl_basic_set_alloc_inequality(lp);
385                 isl_seq_clr(lp->ineq[k], 1+lp_dim);
386                 isl_int_set_si(lp->ineq[k][1+dim*i], 1);
387
388                 for (j = 0; j < set->p[i]->n_eq; ++j) {
389                         k = isl_basic_set_alloc_equality(lp);
390                         isl_seq_clr(lp->eq[k], 1+dim*i);
391                         isl_seq_cpy(lp->eq[k]+1+dim*i, set->p[i]->eq[j], dim);
392                         isl_seq_clr(lp->eq[k]+1+dim*(i+1), dim*(set->n-i-1));
393                 }
394
395                 for (j = 0; j < set->p[i]->n_ineq; ++j) {
396                         k = isl_basic_set_alloc_inequality(lp);
397                         isl_seq_clr(lp->ineq[k], 1+dim*i);
398                         isl_seq_cpy(lp->ineq[k]+1+dim*i, set->p[i]->ineq[j], dim);
399                         isl_seq_clr(lp->ineq[k]+1+dim*(i+1), dim*(set->n-i-1));
400                 }
401         }
402         return lp;
403 }
404
405 /* Given a facet "facet" of the convex hull of "set" and a facet "ridge"
406  * of that facet, compute the other facet of the convex hull that contains
407  * the ridge.
408  *
409  * We first transform the set such that the facet constraint becomes
410  *
411  *                      x_1 >= 0
412  *
413  * I.e., the facet lies in
414  *
415  *                      x_1 = 0
416  *
417  * and on that facet, the constraint that defines the ridge is
418  *
419  *                      x_2 >= 0
420  *
421  * (This transformation is not strictly needed, all that is needed is
422  * that the ridge contains the origin.)
423  *
424  * Since the ridge contains the origin, the cone of the convex hull
425  * will be of the form
426  *
427  *                      x_1 >= 0
428  *                      x_2 >= a x_1
429  *
430  * with this second constraint defining the new facet.
431  * The constant a is obtained by settting x_1 in the cone of the
432  * convex hull to 1 and minimizing x_2.
433  * Now, each element in the cone of the convex hull is the sum
434  * of elements in the cones of the basic sets.
435  * If a_i is the dilation factor of basic set i, then the problem
436  * we need to solve is
437  *
438  *                      min \sum_i x_{i,2}
439  *                      st
440  *                              \sum_i x_{i,1} = 1
441  *                                  a_i   >= 0
442  *                                [ a_i ]
443  *                              A [ x_i ] >= 0
444  *
445  * with
446  *                                  [  1  ]
447  *                              A_i [ x_i ] >= 0
448  *
449  * the constraints of each (transformed) basic set.
450  * If a = n/d, then the constraint defining the new facet (in the transformed
451  * space) is
452  *
453  *                      -n x_1 + d x_2 >= 0
454  *
455  * In the original space, we need to take the same combination of the
456  * corresponding constraints "facet" and "ridge".
457  *
458  * Note that a is always finite, since we only apply the wrapping
459  * technique to a union of polytopes.
460  */
461 static isl_int *wrap_facet(struct isl_set *set, isl_int *facet, isl_int *ridge)
462 {
463         int i;
464         struct isl_mat *T = NULL;
465         struct isl_basic_set *lp = NULL;
466         struct isl_vec *obj;
467         enum isl_lp_result res;
468         isl_int num, den;
469         unsigned dim;
470
471         set = isl_set_copy(set);
472
473         dim = 1 + isl_set_n_dim(set);
474         T = isl_mat_alloc(set->ctx, 3, dim);
475         if (!T)
476                 goto error;
477         isl_int_set_si(T->row[0][0], 1);
478         isl_seq_clr(T->row[0]+1, dim - 1);
479         isl_seq_cpy(T->row[1], facet, dim);
480         isl_seq_cpy(T->row[2], ridge, dim);
481         T = isl_mat_right_inverse(T);
482         set = isl_set_preimage(set, T);
483         T = NULL;
484         if (!set)
485                 goto error;
486         lp = wrap_constraints(set);
487         obj = isl_vec_alloc(set->ctx, 1 + dim*set->n);
488         if (!obj)
489                 goto error;
490         isl_int_set_si(obj->block.data[0], 0);
491         for (i = 0; i < set->n; ++i) {
492                 isl_seq_clr(obj->block.data + 1 + dim*i, 2);
493                 isl_int_set_si(obj->block.data[1 + dim*i+2], 1);
494                 isl_seq_clr(obj->block.data + 1 + dim*i+3, dim-3);
495         }
496         isl_int_init(num);
497         isl_int_init(den);
498         res = isl_basic_set_solve_lp(lp, 0,
499                             obj->block.data, set->ctx->one, &num, &den, NULL);
500         if (res == isl_lp_ok) {
501                 isl_int_neg(num, num);
502                 isl_seq_combine(facet, num, facet, den, ridge, dim);
503         }
504         isl_int_clear(num);
505         isl_int_clear(den);
506         isl_vec_free(obj);
507         isl_basic_set_free(lp);
508         isl_set_free(set);
509         isl_assert(set->ctx, res == isl_lp_ok, return NULL);
510         return facet;
511 error:
512         isl_basic_set_free(lp);
513         isl_mat_free(T);
514         isl_set_free(set);
515         return NULL;
516 }
517
518 /* Given a set of d linearly independent bounding constraints of the
519  * convex hull of "set", compute the constraint of a facet of "set".
520  *
521  * We first compute the intersection with the first bounding hyperplane
522  * and remove the component corresponding to this hyperplane from
523  * other bounds (in homogeneous space).
524  * We then wrap around one of the remaining bounding constraints
525  * and continue the process until all bounding constraints have been
526  * taken into account.
527  * The resulting linear combination of the bounding constraints will
528  * correspond to a facet of the convex hull.
529  */
530 static struct isl_mat *initial_facet_constraint(struct isl_set *set,
531         struct isl_mat *bounds)
532 {
533         struct isl_set *slice = NULL;
534         struct isl_basic_set *face = NULL;
535         struct isl_mat *m, *U, *Q;
536         int i;
537         unsigned dim = isl_set_n_dim(set);
538
539         isl_assert(set->ctx, set->n > 0, goto error);
540         isl_assert(set->ctx, bounds->n_row == dim, goto error);
541
542         while (bounds->n_row > 1) {
543                 slice = isl_set_copy(set);
544                 slice = isl_set_add_equality(slice, bounds->row[0]);
545                 face = isl_set_affine_hull(slice);
546                 if (!face)
547                         goto error;
548                 if (face->n_eq == 1) {
549                         isl_basic_set_free(face);
550                         break;
551                 }
552                 m = isl_mat_alloc(set->ctx, 1 + face->n_eq, 1 + dim);
553                 if (!m)
554                         goto error;
555                 isl_int_set_si(m->row[0][0], 1);
556                 isl_seq_clr(m->row[0]+1, dim);
557                 for (i = 0; i < face->n_eq; ++i)
558                         isl_seq_cpy(m->row[1 + i], face->eq[i], 1 + dim);
559                 U = isl_mat_right_inverse(m);
560                 Q = isl_mat_right_inverse(isl_mat_copy(U));
561                 U = isl_mat_drop_cols(U, 1 + face->n_eq, dim - face->n_eq);
562                 Q = isl_mat_drop_rows(Q, 1 + face->n_eq, dim - face->n_eq);
563                 U = isl_mat_drop_cols(U, 0, 1);
564                 Q = isl_mat_drop_rows(Q, 0, 1);
565                 bounds = isl_mat_product(bounds, U);
566                 bounds = isl_mat_product(bounds, Q);
567                 while (isl_seq_first_non_zero(bounds->row[bounds->n_row-1],
568                                               bounds->n_col) == -1) {
569                         bounds->n_row--;
570                         isl_assert(set->ctx, bounds->n_row > 1, goto error);
571                 }
572                 if (!wrap_facet(set, bounds->row[0],
573                                           bounds->row[bounds->n_row-1]))
574                         goto error;
575                 isl_basic_set_free(face);
576                 bounds->n_row--;
577         }
578         return bounds;
579 error:
580         isl_basic_set_free(face);
581         isl_mat_free(bounds);
582         return NULL;
583 }
584
585 /* Given the bounding constraint "c" of a facet of the convex hull of "set",
586  * compute a hyperplane description of the facet, i.e., compute the facets
587  * of the facet.
588  *
589  * We compute an affine transformation that transforms the constraint
590  *
591  *                        [ 1 ]
592  *                      c [ x ] = 0
593  *
594  * to the constraint
595  *
596  *                         z_1  = 0
597  *
598  * by computing the right inverse U of a matrix that starts with the rows
599  *
600  *                      [ 1 0 ]
601  *                      [  c  ]
602  *
603  * Then
604  *                      [ 1 ]     [ 1 ]
605  *                      [ x ] = U [ z ]
606  * and
607  *                      [ 1 ]     [ 1 ]
608  *                      [ z ] = Q [ x ]
609  *
610  * with Q = U^{-1}
611  * Since z_1 is zero, we can drop this variable as well as the corresponding
612  * column of U to obtain
613  *
614  *                      [ 1 ]      [ 1  ]
615  *                      [ x ] = U' [ z' ]
616  * and
617  *                      [ 1  ]      [ 1 ]
618  *                      [ z' ] = Q' [ x ]
619  *
620  * with Q' equal to Q, but without the corresponding row.
621  * After computing the facets of the facet in the z' space,
622  * we convert them back to the x space through Q.
623  */
624 static struct isl_basic_set *compute_facet(struct isl_set *set, isl_int *c)
625 {
626         struct isl_mat *m, *U, *Q;
627         struct isl_basic_set *facet = NULL;
628         struct isl_ctx *ctx;
629         unsigned dim;
630
631         ctx = set->ctx;
632         set = isl_set_copy(set);
633         dim = isl_set_n_dim(set);
634         m = isl_mat_alloc(set->ctx, 2, 1 + dim);
635         if (!m)
636                 goto error;
637         isl_int_set_si(m->row[0][0], 1);
638         isl_seq_clr(m->row[0]+1, dim);
639         isl_seq_cpy(m->row[1], c, 1+dim);
640         U = isl_mat_right_inverse(m);
641         Q = isl_mat_right_inverse(isl_mat_copy(U));
642         U = isl_mat_drop_cols(U, 1, 1);
643         Q = isl_mat_drop_rows(Q, 1, 1);
644         set = isl_set_preimage(set, U);
645         facet = uset_convex_hull_wrap_bounded(set);
646         facet = isl_basic_set_preimage(facet, Q);
647         isl_assert(ctx, facet->n_eq == 0, goto error);
648         return facet;
649 error:
650         isl_basic_set_free(facet);
651         isl_set_free(set);
652         return NULL;
653 }
654
655 /* Given an initial facet constraint, compute the remaining facets.
656  * We do this by running through all facets found so far and computing
657  * the adjacent facets through wrapping, adding those facets that we
658  * hadn't already found before.
659  *
660  * For each facet we have found so far, we first compute its facets
661  * in the resulting convex hull.  That is, we compute the ridges
662  * of the resulting convex hull contained in the facet.
663  * We also compute the corresponding facet in the current approximation
664  * of the convex hull.  There is no need to wrap around the ridges
665  * in this facet since that would result in a facet that is already
666  * present in the current approximation.
667  *
668  * This function can still be significantly optimized by checking which of
669  * the facets of the basic sets are also facets of the convex hull and
670  * using all the facets so far to help in constructing the facets of the
671  * facets
672  * and/or
673  * using the technique in section "3.1 Ridge Generation" of
674  * "Extended Convex Hull" by Fukuda et al.
675  */
676 static struct isl_basic_set *extend(struct isl_basic_set *hull,
677         struct isl_set *set)
678 {
679         int i, j, f;
680         int k;
681         struct isl_basic_set *facet = NULL;
682         struct isl_basic_set *hull_facet = NULL;
683         unsigned dim;
684
685         isl_assert(set->ctx, set->n > 0, goto error);
686
687         dim = isl_set_n_dim(set);
688
689         for (i = 0; i < hull->n_ineq; ++i) {
690                 facet = compute_facet(set, hull->ineq[i]);
691                 facet = isl_basic_set_add_equality(facet, hull->ineq[i]);
692                 facet = isl_basic_set_gauss(facet, NULL);
693                 facet = isl_basic_set_normalize_constraints(facet);
694                 hull_facet = isl_basic_set_copy(hull);
695                 hull_facet = isl_basic_set_add_equality(hull_facet, hull->ineq[i]);
696                 hull_facet = isl_basic_set_gauss(hull_facet, NULL);
697                 hull_facet = isl_basic_set_normalize_constraints(hull_facet);
698                 if (!facet)
699                         goto error;
700                 hull = isl_basic_set_cow(hull);
701                 hull = isl_basic_set_extend_dim(hull,
702                         isl_dim_copy(hull->dim), 0, 0, facet->n_ineq);
703                 for (j = 0; j < facet->n_ineq; ++j) {
704                         for (f = 0; f < hull_facet->n_ineq; ++f)
705                                 if (isl_seq_eq(facet->ineq[j],
706                                                 hull_facet->ineq[f], 1 + dim))
707                                         break;
708                         if (f < hull_facet->n_ineq)
709                                 continue;
710                         k = isl_basic_set_alloc_inequality(hull);
711                         if (k < 0)
712                                 goto error;
713                         isl_seq_cpy(hull->ineq[k], hull->ineq[i], 1+dim);
714                         if (!wrap_facet(set, hull->ineq[k], facet->ineq[j]))
715                                 goto error;
716                 }
717                 isl_basic_set_free(hull_facet);
718                 isl_basic_set_free(facet);
719         }
720         hull = isl_basic_set_simplify(hull);
721         hull = isl_basic_set_finalize(hull);
722         return hull;
723 error:
724         isl_basic_set_free(hull_facet);
725         isl_basic_set_free(facet);
726         isl_basic_set_free(hull);
727         return NULL;
728 }
729
730 /* Special case for computing the convex hull of a one dimensional set.
731  * We simply collect the lower and upper bounds of each basic set
732  * and the biggest of those.
733  */
734 static struct isl_basic_set *convex_hull_1d(struct isl_set *set)
735 {
736         struct isl_mat *c = NULL;
737         isl_int *lower = NULL;
738         isl_int *upper = NULL;
739         int i, j, k;
740         isl_int a, b;
741         struct isl_basic_set *hull;
742
743         for (i = 0; i < set->n; ++i) {
744                 set->p[i] = isl_basic_set_simplify(set->p[i]);
745                 if (!set->p[i])
746                         goto error;
747         }
748         set = isl_set_remove_empty_parts(set);
749         if (!set)
750                 goto error;
751         isl_assert(set->ctx, set->n > 0, goto error);
752         c = isl_mat_alloc(set->ctx, 2, 2);
753         if (!c)
754                 goto error;
755
756         if (set->p[0]->n_eq > 0) {
757                 isl_assert(set->ctx, set->p[0]->n_eq == 1, goto error);
758                 lower = c->row[0];
759                 upper = c->row[1];
760                 if (isl_int_is_pos(set->p[0]->eq[0][1])) {
761                         isl_seq_cpy(lower, set->p[0]->eq[0], 2);
762                         isl_seq_neg(upper, set->p[0]->eq[0], 2);
763                 } else {
764                         isl_seq_neg(lower, set->p[0]->eq[0], 2);
765                         isl_seq_cpy(upper, set->p[0]->eq[0], 2);
766                 }
767         } else {
768                 for (j = 0; j < set->p[0]->n_ineq; ++j) {
769                         if (isl_int_is_pos(set->p[0]->ineq[j][1])) {
770                                 lower = c->row[0];
771                                 isl_seq_cpy(lower, set->p[0]->ineq[j], 2);
772                         } else {
773                                 upper = c->row[1];
774                                 isl_seq_cpy(upper, set->p[0]->ineq[j], 2);
775                         }
776                 }
777         }
778
779         isl_int_init(a);
780         isl_int_init(b);
781         for (i = 0; i < set->n; ++i) {
782                 struct isl_basic_set *bset = set->p[i];
783                 int has_lower = 0;
784                 int has_upper = 0;
785
786                 for (j = 0; j < bset->n_eq; ++j) {
787                         has_lower = 1;
788                         has_upper = 1;
789                         if (lower) {
790                                 isl_int_mul(a, lower[0], bset->eq[j][1]);
791                                 isl_int_mul(b, lower[1], bset->eq[j][0]);
792                                 if (isl_int_lt(a, b) && isl_int_is_pos(bset->eq[j][1]))
793                                         isl_seq_cpy(lower, bset->eq[j], 2);
794                                 if (isl_int_gt(a, b) && isl_int_is_neg(bset->eq[j][1]))
795                                         isl_seq_neg(lower, bset->eq[j], 2);
796                         }
797                         if (upper) {
798                                 isl_int_mul(a, upper[0], bset->eq[j][1]);
799                                 isl_int_mul(b, upper[1], bset->eq[j][0]);
800                                 if (isl_int_lt(a, b) && isl_int_is_pos(bset->eq[j][1]))
801                                         isl_seq_neg(upper, bset->eq[j], 2);
802                                 if (isl_int_gt(a, b) && isl_int_is_neg(bset->eq[j][1]))
803                                         isl_seq_cpy(upper, bset->eq[j], 2);
804                         }
805                 }
806                 for (j = 0; j < bset->n_ineq; ++j) {
807                         if (isl_int_is_pos(bset->ineq[j][1]))
808                                 has_lower = 1;
809                         if (isl_int_is_neg(bset->ineq[j][1]))
810                                 has_upper = 1;
811                         if (lower && isl_int_is_pos(bset->ineq[j][1])) {
812                                 isl_int_mul(a, lower[0], bset->ineq[j][1]);
813                                 isl_int_mul(b, lower[1], bset->ineq[j][0]);
814                                 if (isl_int_lt(a, b))
815                                         isl_seq_cpy(lower, bset->ineq[j], 2);
816                         }
817                         if (upper && isl_int_is_neg(bset->ineq[j][1])) {
818                                 isl_int_mul(a, upper[0], bset->ineq[j][1]);
819                                 isl_int_mul(b, upper[1], bset->ineq[j][0]);
820                                 if (isl_int_gt(a, b))
821                                         isl_seq_cpy(upper, bset->ineq[j], 2);
822                         }
823                 }
824                 if (!has_lower)
825                         lower = NULL;
826                 if (!has_upper)
827                         upper = NULL;
828         }
829         isl_int_clear(a);
830         isl_int_clear(b);
831
832         hull = isl_basic_set_alloc(set->ctx, 0, 1, 0, 0, 2);
833         hull = isl_basic_set_set_rational(hull);
834         if (!hull)
835                 goto error;
836         if (lower) {
837                 k = isl_basic_set_alloc_inequality(hull);
838                 isl_seq_cpy(hull->ineq[k], lower, 2);
839         }
840         if (upper) {
841                 k = isl_basic_set_alloc_inequality(hull);
842                 isl_seq_cpy(hull->ineq[k], upper, 2);
843         }
844         hull = isl_basic_set_finalize(hull);
845         isl_set_free(set);
846         isl_mat_free(c);
847         return hull;
848 error:
849         isl_set_free(set);
850         isl_mat_free(c);
851         return NULL;
852 }
853
854 /* Project out final n dimensions using Fourier-Motzkin */
855 static struct isl_set *set_project_out(struct isl_ctx *ctx,
856         struct isl_set *set, unsigned n)
857 {
858         return isl_set_remove_dims(set, isl_set_n_dim(set) - n, n);
859 }
860
861 static struct isl_basic_set *convex_hull_0d(struct isl_set *set)
862 {
863         struct isl_basic_set *convex_hull;
864
865         if (!set)
866                 return NULL;
867
868         if (isl_set_is_empty(set))
869                 convex_hull = isl_basic_set_empty(isl_dim_copy(set->dim));
870         else
871                 convex_hull = isl_basic_set_universe(isl_dim_copy(set->dim));
872         isl_set_free(set);
873         return convex_hull;
874 }
875
876 /* Compute the convex hull of a pair of basic sets without any parameters or
877  * integer divisions using Fourier-Motzkin elimination.
878  * The convex hull is the set of all points that can be written as
879  * the sum of points from both basic sets (in homogeneous coordinates).
880  * We set up the constraints in a space with dimensions for each of
881  * the three sets and then project out the dimensions corresponding
882  * to the two original basic sets, retaining only those corresponding
883  * to the convex hull.
884  */
885 static struct isl_basic_set *convex_hull_pair_elim(struct isl_basic_set *bset1,
886         struct isl_basic_set *bset2)
887 {
888         int i, j, k;
889         struct isl_basic_set *bset[2];
890         struct isl_basic_set *hull = NULL;
891         unsigned dim;
892
893         if (!bset1 || !bset2)
894                 goto error;
895
896         dim = isl_basic_set_n_dim(bset1);
897         hull = isl_basic_set_alloc(bset1->ctx, 0, 2 + 3 * dim, 0,
898                                 1 + dim + bset1->n_eq + bset2->n_eq,
899                                 2 + bset1->n_ineq + bset2->n_ineq);
900         bset[0] = bset1;
901         bset[1] = bset2;
902         for (i = 0; i < 2; ++i) {
903                 for (j = 0; j < bset[i]->n_eq; ++j) {
904                         k = isl_basic_set_alloc_equality(hull);
905                         if (k < 0)
906                                 goto error;
907                         isl_seq_clr(hull->eq[k], (i+1) * (1+dim));
908                         isl_seq_clr(hull->eq[k]+(i+2)*(1+dim), (1-i)*(1+dim));
909                         isl_seq_cpy(hull->eq[k]+(i+1)*(1+dim), bset[i]->eq[j],
910                                         1+dim);
911                 }
912                 for (j = 0; j < bset[i]->n_ineq; ++j) {
913                         k = isl_basic_set_alloc_inequality(hull);
914                         if (k < 0)
915                                 goto error;
916                         isl_seq_clr(hull->ineq[k], (i+1) * (1+dim));
917                         isl_seq_clr(hull->ineq[k]+(i+2)*(1+dim), (1-i)*(1+dim));
918                         isl_seq_cpy(hull->ineq[k]+(i+1)*(1+dim),
919                                         bset[i]->ineq[j], 1+dim);
920                 }
921                 k = isl_basic_set_alloc_inequality(hull);
922                 if (k < 0)
923                         goto error;
924                 isl_seq_clr(hull->ineq[k], 1+2+3*dim);
925                 isl_int_set_si(hull->ineq[k][(i+1)*(1+dim)], 1);
926         }
927         for (j = 0; j < 1+dim; ++j) {
928                 k = isl_basic_set_alloc_equality(hull);
929                 if (k < 0)
930                         goto error;
931                 isl_seq_clr(hull->eq[k], 1+2+3*dim);
932                 isl_int_set_si(hull->eq[k][j], -1);
933                 isl_int_set_si(hull->eq[k][1+dim+j], 1);
934                 isl_int_set_si(hull->eq[k][2*(1+dim)+j], 1);
935         }
936         hull = isl_basic_set_set_rational(hull);
937         hull = isl_basic_set_remove_dims(hull, dim, 2*(1+dim));
938         hull = isl_basic_set_convex_hull(hull);
939         isl_basic_set_free(bset1);
940         isl_basic_set_free(bset2);
941         return hull;
942 error:
943         isl_basic_set_free(bset1);
944         isl_basic_set_free(bset2);
945         isl_basic_set_free(hull);
946         return NULL;
947 }
948
949 static int isl_basic_set_is_bounded(struct isl_basic_set *bset)
950 {
951         struct isl_tab *tab;
952         int bounded;
953
954         tab = isl_tab_from_recession_cone(bset);
955         bounded = isl_tab_cone_is_bounded(tab);
956         isl_tab_free(tab);
957         return bounded;
958 }
959
960 static int isl_set_is_bounded(struct isl_set *set)
961 {
962         int i;
963
964         for (i = 0; i < set->n; ++i) {
965                 int bounded = isl_basic_set_is_bounded(set->p[i]);
966                 if (!bounded || bounded < 0)
967                         return bounded;
968         }
969         return 1;
970 }
971
972 /* Compute the lineality space of the convex hull of bset1 and bset2.
973  *
974  * We first compute the intersection of the recession cone of bset1
975  * with the negative of the recession cone of bset2 and then compute
976  * the linear hull of the resulting cone.
977  */
978 static struct isl_basic_set *induced_lineality_space(
979         struct isl_basic_set *bset1, struct isl_basic_set *bset2)
980 {
981         int i, k;
982         struct isl_basic_set *lin = NULL;
983         unsigned dim;
984
985         if (!bset1 || !bset2)
986                 goto error;
987
988         dim = isl_basic_set_total_dim(bset1);
989         lin = isl_basic_set_alloc_dim(isl_basic_set_get_dim(bset1), 0,
990                                         bset1->n_eq + bset2->n_eq,
991                                         bset1->n_ineq + bset2->n_ineq);
992         lin = isl_basic_set_set_rational(lin);
993         if (!lin)
994                 goto error;
995         for (i = 0; i < bset1->n_eq; ++i) {
996                 k = isl_basic_set_alloc_equality(lin);
997                 if (k < 0)
998                         goto error;
999                 isl_int_set_si(lin->eq[k][0], 0);
1000                 isl_seq_cpy(lin->eq[k] + 1, bset1->eq[i] + 1, dim);
1001         }
1002         for (i = 0; i < bset1->n_ineq; ++i) {
1003                 k = isl_basic_set_alloc_inequality(lin);
1004                 if (k < 0)
1005                         goto error;
1006                 isl_int_set_si(lin->ineq[k][0], 0);
1007                 isl_seq_cpy(lin->ineq[k] + 1, bset1->ineq[i] + 1, dim);
1008         }
1009         for (i = 0; i < bset2->n_eq; ++i) {
1010                 k = isl_basic_set_alloc_equality(lin);
1011                 if (k < 0)
1012                         goto error;
1013                 isl_int_set_si(lin->eq[k][0], 0);
1014                 isl_seq_neg(lin->eq[k] + 1, bset2->eq[i] + 1, dim);
1015         }
1016         for (i = 0; i < bset2->n_ineq; ++i) {
1017                 k = isl_basic_set_alloc_inequality(lin);
1018                 if (k < 0)
1019                         goto error;
1020                 isl_int_set_si(lin->ineq[k][0], 0);
1021                 isl_seq_neg(lin->ineq[k] + 1, bset2->ineq[i] + 1, dim);
1022         }
1023
1024         isl_basic_set_free(bset1);
1025         isl_basic_set_free(bset2);
1026         return isl_basic_set_affine_hull(lin);
1027 error:
1028         isl_basic_set_free(lin);
1029         isl_basic_set_free(bset1);
1030         isl_basic_set_free(bset2);
1031         return NULL;
1032 }
1033
1034 static struct isl_basic_set *uset_convex_hull(struct isl_set *set);
1035
1036 /* Given a set and a linear space "lin" of dimension n > 0,
1037  * project the linear space from the set, compute the convex hull
1038  * and then map the set back to the original space.
1039  *
1040  * Let
1041  *
1042  *      M x = 0
1043  *
1044  * describe the linear space.  We first compute the Hermite normal
1045  * form H = M U of M = H Q, to obtain
1046  *
1047  *      H Q x = 0
1048  *
1049  * The last n rows of H will be zero, so the last n variables of x' = Q x
1050  * are the one we want to project out.  We do this by transforming each
1051  * basic set A x >= b to A U x' >= b and then removing the last n dimensions.
1052  * After computing the convex hull in x'_1, i.e., A' x'_1 >= b',
1053  * we transform the hull back to the original space as A' Q_1 x >= b',
1054  * with Q_1 all but the last n rows of Q.
1055  */
1056 static struct isl_basic_set *modulo_lineality(struct isl_set *set,
1057         struct isl_basic_set *lin)
1058 {
1059         unsigned total = isl_basic_set_total_dim(lin);
1060         unsigned lin_dim;
1061         struct isl_basic_set *hull;
1062         struct isl_mat *M, *U, *Q;
1063
1064         if (!set || !lin)
1065                 goto error;
1066         lin_dim = total - lin->n_eq;
1067         M = isl_mat_sub_alloc(set->ctx, lin->eq, 0, lin->n_eq, 1, total);
1068         M = isl_mat_left_hermite(M, 0, &U, &Q);
1069         if (!M)
1070                 goto error;
1071         isl_mat_free(M);
1072         isl_basic_set_free(lin);
1073
1074         Q = isl_mat_drop_rows(Q, Q->n_row - lin_dim, lin_dim);
1075
1076         U = isl_mat_lin_to_aff(U);
1077         Q = isl_mat_lin_to_aff(Q);
1078
1079         set = isl_set_preimage(set, U);
1080         set = isl_set_remove_dims(set, total - lin_dim, lin_dim);
1081         hull = uset_convex_hull(set);
1082         hull = isl_basic_set_preimage(hull, Q);
1083
1084         return hull;
1085 error:
1086         isl_basic_set_free(lin);
1087         isl_set_free(set);
1088         return NULL;
1089 }
1090
1091 /* Given two polyhedra with as constraints h_{ij} x >= 0 in homegeneous space,
1092  * set up an LP for solving
1093  *
1094  *      \sum_j \alpha_{1j} h_{1j} = \sum_j \alpha_{2j} h_{2j}
1095  *
1096  * \alpha{i0} corresponds to the (implicit) positivity constraint 1 >= 0
1097  * The next \alpha{ij} correspond to the equalities and come in pairs.
1098  * The final \alpha{ij} correspond to the inequalities.
1099  */
1100 static struct isl_basic_set *valid_direction_lp(
1101         struct isl_basic_set *bset1, struct isl_basic_set *bset2)
1102 {
1103         struct isl_dim *dim;
1104         struct isl_basic_set *lp;
1105         unsigned d;
1106         int n;
1107         int i, j, k;
1108
1109         if (!bset1 || !bset2)
1110                 goto error;
1111         d = 1 + isl_basic_set_total_dim(bset1);
1112         n = 2 +
1113             2 * bset1->n_eq + bset1->n_ineq + 2 * bset2->n_eq + bset2->n_ineq;
1114         dim = isl_dim_set_alloc(bset1->ctx, 0, n);
1115         lp = isl_basic_set_alloc_dim(dim, 0, d, n);
1116         if (!lp)
1117                 goto error;
1118         for (i = 0; i < n; ++i) {
1119                 k = isl_basic_set_alloc_inequality(lp);
1120                 if (k < 0)
1121                         goto error;
1122                 isl_seq_clr(lp->ineq[k] + 1, n);
1123                 isl_int_set_si(lp->ineq[k][0], -1);
1124                 isl_int_set_si(lp->ineq[k][1 + i], 1);
1125         }
1126         for (i = 0; i < d; ++i) {
1127                 k = isl_basic_set_alloc_equality(lp);
1128                 if (k < 0)
1129                         goto error;
1130                 n = 0;
1131                 isl_int_set_si(lp->eq[k][n++], 0);
1132                 /* positivity constraint 1 >= 0 */
1133                 isl_int_set_si(lp->eq[k][n++], i == 0);
1134                 for (j = 0; j < bset1->n_eq; ++j) {
1135                         isl_int_set(lp->eq[k][n++], bset1->eq[j][i]);
1136                         isl_int_neg(lp->eq[k][n++], bset1->eq[j][i]);
1137                 }
1138                 for (j = 0; j < bset1->n_ineq; ++j)
1139                         isl_int_set(lp->eq[k][n++], bset1->ineq[j][i]);
1140                 /* positivity constraint 1 >= 0 */
1141                 isl_int_set_si(lp->eq[k][n++], -(i == 0));
1142                 for (j = 0; j < bset2->n_eq; ++j) {
1143                         isl_int_neg(lp->eq[k][n++], bset2->eq[j][i]);
1144                         isl_int_set(lp->eq[k][n++], bset2->eq[j][i]);
1145                 }
1146                 for (j = 0; j < bset2->n_ineq; ++j)
1147                         isl_int_neg(lp->eq[k][n++], bset2->ineq[j][i]);
1148         }
1149         lp = isl_basic_set_gauss(lp, NULL);
1150         isl_basic_set_free(bset1);
1151         isl_basic_set_free(bset2);
1152         return lp;
1153 error:
1154         isl_basic_set_free(bset1);
1155         isl_basic_set_free(bset2);
1156         return NULL;
1157 }
1158
1159 /* Compute a vector s in the homogeneous space such that <s, r> > 0
1160  * for all rays in the homogeneous space of the two cones that correspond
1161  * to the input polyhedra bset1 and bset2.
1162  *
1163  * We compute s as a vector that satisfies
1164  *
1165  *      s = \sum_j \alpha_{ij} h_{ij}   for i = 1,2                     (*)
1166  *
1167  * with h_{ij} the normals of the facets of polyhedron i
1168  * (including the "positivity constraint" 1 >= 0) and \alpha_{ij}
1169  * strictly positive numbers.  For simplicity we impose \alpha_{ij} >= 1.
1170  * We first set up an LP with as variables the \alpha{ij}.
1171  * In this formulateion, for each polyhedron i,
1172  * the first constraint is the positivity constraint, followed by pairs
1173  * of variables for the equalities, followed by variables for the inequalities.
1174  * We then simply pick a feasible solution and compute s using (*).
1175  *
1176  * Note that we simply pick any valid direction and make no attempt
1177  * to pick a "good" or even the "best" valid direction.
1178  */
1179 static struct isl_vec *valid_direction(
1180         struct isl_basic_set *bset1, struct isl_basic_set *bset2)
1181 {
1182         struct isl_basic_set *lp;
1183         struct isl_tab *tab;
1184         struct isl_vec *sample = NULL;
1185         struct isl_vec *dir;
1186         unsigned d;
1187         int i;
1188         int n;
1189
1190         if (!bset1 || !bset2)
1191                 goto error;
1192         lp = valid_direction_lp(isl_basic_set_copy(bset1),
1193                                 isl_basic_set_copy(bset2));
1194         tab = isl_tab_from_basic_set(lp);
1195         sample = isl_tab_get_sample_value(tab);
1196         isl_tab_free(tab);
1197         isl_basic_set_free(lp);
1198         if (!sample)
1199                 goto error;
1200         d = isl_basic_set_total_dim(bset1);
1201         dir = isl_vec_alloc(bset1->ctx, 1 + d);
1202         if (!dir)
1203                 goto error;
1204         isl_seq_clr(dir->block.data + 1, dir->size - 1);
1205         n = 1;
1206         /* positivity constraint 1 >= 0 */
1207         isl_int_set(dir->block.data[0], sample->block.data[n++]);
1208         for (i = 0; i < bset1->n_eq; ++i) {
1209                 isl_int_sub(sample->block.data[n],
1210                             sample->block.data[n], sample->block.data[n+1]);
1211                 isl_seq_combine(dir->block.data,
1212                                 bset1->ctx->one, dir->block.data,
1213                                 sample->block.data[n], bset1->eq[i], 1 + d);
1214
1215                 n += 2;
1216         }
1217         for (i = 0; i < bset1->n_ineq; ++i)
1218                 isl_seq_combine(dir->block.data,
1219                                 bset1->ctx->one, dir->block.data,
1220                                 sample->block.data[n++], bset1->ineq[i], 1 + d);
1221         isl_vec_free(sample);
1222         isl_seq_normalize(bset1->ctx, dir->block.data + 1, dir->size - 1);
1223         isl_basic_set_free(bset1);
1224         isl_basic_set_free(bset2);
1225         return dir;
1226 error:
1227         isl_vec_free(sample);
1228         isl_basic_set_free(bset1);
1229         isl_basic_set_free(bset2);
1230         return NULL;
1231 }
1232
1233 /* Given a polyhedron b_i + A_i x >= 0 and a map T = S^{-1},
1234  * compute b_i' + A_i' x' >= 0, with
1235  *
1236  *      [ b_i A_i ]        [ y' ]                             [ y' ]
1237  *      [  1   0  ] S^{-1} [ x' ] >= 0  or      [ b_i' A_i' ] [ x' ] >= 0
1238  *
1239  * In particular, add the "positivity constraint" and then perform
1240  * the mapping.
1241  */
1242 static struct isl_basic_set *homogeneous_map(struct isl_basic_set *bset,
1243         struct isl_mat *T)
1244 {
1245         int k;
1246
1247         if (!bset)
1248                 goto error;
1249         bset = isl_basic_set_extend_constraints(bset, 0, 1);
1250         k = isl_basic_set_alloc_inequality(bset);
1251         if (k < 0)
1252                 goto error;
1253         isl_seq_clr(bset->ineq[k] + 1, isl_basic_set_total_dim(bset));
1254         isl_int_set_si(bset->ineq[k][0], 1);
1255         bset = isl_basic_set_preimage(bset, T);
1256         return bset;
1257 error:
1258         isl_mat_free(T);
1259         isl_basic_set_free(bset);
1260         return NULL;
1261 }
1262
1263 /* Compute the convex hull of a pair of basic sets without any parameters or
1264  * integer divisions, where the convex hull is known to be pointed,
1265  * but the basic sets may be unbounded.
1266  *
1267  * We turn this problem into the computation of a convex hull of a pair
1268  * _bounded_ polyhedra by "changing the direction of the homogeneous
1269  * dimension".  This idea is due to Matthias Koeppe.
1270  *
1271  * Consider the cones in homogeneous space that correspond to the
1272  * input polyhedra.  The rays of these cones are also rays of the
1273  * polyhedra if the coordinate that corresponds to the homogeneous
1274  * dimension is zero.  That is, if the inner product of the rays
1275  * with the homogeneous direction is zero.
1276  * The cones in the homogeneous space can also be considered to
1277  * correspond to other pairs of polyhedra by chosing a different
1278  * homogeneous direction.  To ensure that both of these polyhedra
1279  * are bounded, we need to make sure that all rays of the cones
1280  * correspond to vertices and not to rays.
1281  * Let s be a direction such that <s, r> > 0 for all rays r of both cones.
1282  * Then using s as a homogeneous direction, we obtain a pair of polytopes.
1283  * The vector s is computed in valid_direction.
1284  *
1285  * Note that we need to consider _all_ rays of the cones and not just
1286  * the rays that correspond to rays in the polyhedra.  If we were to
1287  * only consider those rays and turn them into vertices, then we
1288  * may inadvertently turn some vertices into rays.
1289  *
1290  * The standard homogeneous direction is the unit vector in the 0th coordinate.
1291  * We therefore transform the two polyhedra such that the selected
1292  * direction is mapped onto this standard direction and then proceed
1293  * with the normal computation.
1294  * Let S be a non-singular square matrix with s as its first row,
1295  * then we want to map the polyhedra to the space
1296  *
1297  *      [ y' ]     [ y ]                [ y ]          [ y' ]
1298  *      [ x' ] = S [ x ]        i.e.,   [ x ] = S^{-1} [ x' ]
1299  *
1300  * We take S to be the unimodular completion of s to limit the growth
1301  * of the coefficients in the following computations.
1302  *
1303  * Let b_i + A_i x >= 0 be the constraints of polyhedron i.
1304  * We first move to the homogeneous dimension
1305  *
1306  *      b_i y + A_i x >= 0              [ b_i A_i ] [ y ]    [ 0 ]
1307  *          y         >= 0      or      [  1   0  ] [ x ] >= [ 0 ]
1308  *
1309  * Then we change directoin
1310  *
1311  *      [ b_i A_i ]        [ y' ]                             [ y' ]
1312  *      [  1   0  ] S^{-1} [ x' ] >= 0  or      [ b_i' A_i' ] [ x' ] >= 0
1313  *
1314  * Then we compute the convex hull of the polytopes b_i' + A_i' x' >= 0
1315  * resulting in b' + A' x' >= 0, which we then convert back
1316  *
1317  *                  [ y ]                       [ y ]
1318  *      [ b' A' ] S [ x ] >= 0  or      [ b A ] [ x ] >= 0
1319  *
1320  * The polyhedron b + A x >= 0 is then the convex hull of the input polyhedra.
1321  */
1322 static struct isl_basic_set *convex_hull_pair_pointed(
1323         struct isl_basic_set *bset1, struct isl_basic_set *bset2)
1324 {
1325         struct isl_ctx *ctx = NULL;
1326         struct isl_vec *dir = NULL;
1327         struct isl_mat *T = NULL;
1328         struct isl_mat *T2 = NULL;
1329         struct isl_basic_set *hull;
1330         struct isl_set *set;
1331
1332         if (!bset1 || !bset2)
1333                 goto error;
1334         ctx = bset1->ctx;
1335         dir = valid_direction(isl_basic_set_copy(bset1),
1336                                 isl_basic_set_copy(bset2));
1337         if (!dir)
1338                 goto error;
1339         T = isl_mat_alloc(bset1->ctx, dir->size, dir->size);
1340         if (!T)
1341                 goto error;
1342         isl_seq_cpy(T->row[0], dir->block.data, dir->size);
1343         T = isl_mat_unimodular_complete(T, 1);
1344         T2 = isl_mat_right_inverse(isl_mat_copy(T));
1345
1346         bset1 = homogeneous_map(bset1, isl_mat_copy(T2));
1347         bset2 = homogeneous_map(bset2, T2);
1348         set = isl_set_alloc_dim(isl_basic_set_get_dim(bset1), 2, 0);
1349         set = isl_set_add(set, bset1);
1350         set = isl_set_add(set, bset2);
1351         hull = uset_convex_hull(set);
1352         hull = isl_basic_set_preimage(hull, T);
1353          
1354         isl_vec_free(dir);
1355
1356         return hull;
1357 error:
1358         isl_vec_free(dir);
1359         isl_basic_set_free(bset1);
1360         isl_basic_set_free(bset2);
1361         return NULL;
1362 }
1363
1364 /* Compute the convex hull of a pair of basic sets without any parameters or
1365  * integer divisions.
1366  *
1367  * If the convex hull of the two basic sets would have a non-trivial
1368  * lineality space, we first project out this lineality space.
1369  */
1370 static struct isl_basic_set *convex_hull_pair(struct isl_basic_set *bset1,
1371         struct isl_basic_set *bset2)
1372 {
1373         struct isl_basic_set *lin;
1374
1375         if (isl_basic_set_is_bounded(bset1) || isl_basic_set_is_bounded(bset2))
1376                 return convex_hull_pair_pointed(bset1, bset2);
1377
1378         lin = induced_lineality_space(isl_basic_set_copy(bset1),
1379                                       isl_basic_set_copy(bset2));
1380         if (!lin)
1381                 goto error;
1382         if (isl_basic_set_is_universe(lin)) {
1383                 isl_basic_set_free(bset1);
1384                 isl_basic_set_free(bset2);
1385                 return lin;
1386         }
1387         if (lin->n_eq < isl_basic_set_total_dim(lin)) {
1388                 struct isl_set *set;
1389                 set = isl_set_alloc_dim(isl_basic_set_get_dim(bset1), 2, 0);
1390                 set = isl_set_add(set, bset1);
1391                 set = isl_set_add(set, bset2);
1392                 return modulo_lineality(set, lin);
1393         }
1394         isl_basic_set_free(lin);
1395
1396         return convex_hull_pair_pointed(bset1, bset2);
1397 error:
1398         isl_basic_set_free(bset1);
1399         isl_basic_set_free(bset2);
1400         return NULL;
1401 }
1402
1403 /* Compute the lineality space of a basic set.
1404  * We currently do not allow the basic set to have any divs.
1405  * We basically just drop the constants and turn every inequality
1406  * into an equality.
1407  */
1408 struct isl_basic_set *isl_basic_set_lineality_space(struct isl_basic_set *bset)
1409 {
1410         int i, k;
1411         struct isl_basic_set *lin = NULL;
1412         unsigned dim;
1413
1414         if (!bset)
1415                 goto error;
1416         isl_assert(bset->ctx, bset->n_div == 0, goto error);
1417         dim = isl_basic_set_total_dim(bset);
1418
1419         lin = isl_basic_set_alloc_dim(isl_basic_set_get_dim(bset), 0, dim, 0);
1420         if (!lin)
1421                 goto error;
1422         for (i = 0; i < bset->n_eq; ++i) {
1423                 k = isl_basic_set_alloc_equality(lin);
1424                 if (k < 0)
1425                         goto error;
1426                 isl_int_set_si(lin->eq[k][0], 0);
1427                 isl_seq_cpy(lin->eq[k] + 1, bset->eq[i] + 1, dim);
1428         }
1429         lin = isl_basic_set_gauss(lin, NULL);
1430         if (!lin)
1431                 goto error;
1432         for (i = 0; i < bset->n_ineq && lin->n_eq < dim; ++i) {
1433                 k = isl_basic_set_alloc_equality(lin);
1434                 if (k < 0)
1435                         goto error;
1436                 isl_int_set_si(lin->eq[k][0], 0);
1437                 isl_seq_cpy(lin->eq[k] + 1, bset->ineq[i] + 1, dim);
1438                 lin = isl_basic_set_gauss(lin, NULL);
1439                 if (!lin)
1440                         goto error;
1441         }
1442         isl_basic_set_free(bset);
1443         return lin;
1444 error:
1445         isl_basic_set_free(lin);
1446         isl_basic_set_free(bset);
1447         return NULL;
1448 }
1449
1450 /* Compute the (linear) hull of the lineality spaces of the basic sets in the
1451  * "underlying" set "set".
1452  */
1453 static struct isl_basic_set *uset_combined_lineality_space(struct isl_set *set)
1454 {
1455         int i;
1456         struct isl_set *lin = NULL;
1457
1458         if (!set)
1459                 return NULL;
1460         if (set->n == 0) {
1461                 struct isl_dim *dim = isl_set_get_dim(set);
1462                 isl_set_free(set);
1463                 return isl_basic_set_empty(dim);
1464         }
1465
1466         lin = isl_set_alloc_dim(isl_set_get_dim(set), set->n, 0);
1467         for (i = 0; i < set->n; ++i)
1468                 lin = isl_set_add(lin,
1469                     isl_basic_set_lineality_space(isl_basic_set_copy(set->p[i])));
1470         isl_set_free(set);
1471         return isl_set_affine_hull(lin);
1472 }
1473
1474 /* Compute the convex hull of a set without any parameters or
1475  * integer divisions.
1476  * In each step, we combined two basic sets until only one
1477  * basic set is left.
1478  * The input basic sets are assumed not to have a non-trivial
1479  * lineality space.  If any of the intermediate results has
1480  * a non-trivial lineality space, it is projected out.
1481  */
1482 static struct isl_basic_set *uset_convex_hull_unbounded(struct isl_set *set)
1483 {
1484         struct isl_basic_set *convex_hull = NULL;
1485
1486         convex_hull = isl_set_copy_basic_set(set);
1487         set = isl_set_drop_basic_set(set, convex_hull);
1488         if (!set)
1489                 goto error;
1490         while (set->n > 0) {
1491                 struct isl_basic_set *t;
1492                 t = isl_set_copy_basic_set(set);
1493                 if (!t)
1494                         goto error;
1495                 set = isl_set_drop_basic_set(set, t);
1496                 if (!set)
1497                         goto error;
1498                 convex_hull = convex_hull_pair(convex_hull, t);
1499                 if (set->n == 0)
1500                         break;
1501                 t = isl_basic_set_lineality_space(isl_basic_set_copy(convex_hull));
1502                 if (!t)
1503                         goto error;
1504                 if (isl_basic_set_is_universe(t)) {
1505                         isl_basic_set_free(convex_hull);
1506                         convex_hull = t;
1507                         break;
1508                 }
1509                 if (t->n_eq < isl_basic_set_total_dim(t)) {
1510                         set = isl_set_add(set, convex_hull);
1511                         return modulo_lineality(set, t);
1512                 }
1513                 isl_basic_set_free(t);
1514         }
1515         isl_set_free(set);
1516         return convex_hull;
1517 error:
1518         isl_set_free(set);
1519         isl_basic_set_free(convex_hull);
1520         return NULL;
1521 }
1522
1523 /* Compute an initial hull for wrapping containing a single initial
1524  * facet by first computing bounds on the set and then using these
1525  * bounds to construct an initial facet.
1526  * This function is a remnant of an older implementation where the
1527  * bounds were also used to check whether the set was bounded.
1528  * Since this function will now only be called when we know the
1529  * set to be bounded, the initial facet should probably be constructed 
1530  * by simply using the coordinate directions instead.
1531  */
1532 static struct isl_basic_set *initial_hull(struct isl_basic_set *hull,
1533         struct isl_set *set)
1534 {
1535         struct isl_mat *bounds = NULL;
1536         unsigned dim;
1537         int k;
1538
1539         if (!hull)
1540                 goto error;
1541         bounds = independent_bounds(set);
1542         if (!bounds)
1543                 goto error;
1544         isl_assert(set->ctx, bounds->n_row == isl_set_n_dim(set), goto error);
1545         bounds = initial_facet_constraint(set, bounds);
1546         if (!bounds)
1547                 goto error;
1548         k = isl_basic_set_alloc_inequality(hull);
1549         if (k < 0)
1550                 goto error;
1551         dim = isl_set_n_dim(set);
1552         isl_assert(set->ctx, 1 + dim == bounds->n_col, goto error);
1553         isl_seq_cpy(hull->ineq[k], bounds->row[0], bounds->n_col);
1554         isl_mat_free(bounds);
1555
1556         return hull;
1557 error:
1558         isl_basic_set_free(hull);
1559         isl_mat_free(bounds);
1560         return NULL;
1561 }
1562
1563 struct max_constraint {
1564         struct isl_mat *c;
1565         int             count;
1566         int             ineq;
1567 };
1568
1569 static int max_constraint_equal(const void *entry, const void *val)
1570 {
1571         struct max_constraint *a = (struct max_constraint *)entry;
1572         isl_int *b = (isl_int *)val;
1573
1574         return isl_seq_eq(a->c->row[0] + 1, b, a->c->n_col - 1);
1575 }
1576
1577 static void update_constraint(struct isl_ctx *ctx, struct isl_hash_table *table,
1578         isl_int *con, unsigned len, int n, int ineq)
1579 {
1580         struct isl_hash_table_entry *entry;
1581         struct max_constraint *c;
1582         uint32_t c_hash;
1583
1584         c_hash = isl_seq_get_hash(con + 1, len);
1585         entry = isl_hash_table_find(ctx, table, c_hash, max_constraint_equal,
1586                         con + 1, 0);
1587         if (!entry)
1588                 return;
1589         c = entry->data;
1590         if (c->count < n) {
1591                 isl_hash_table_remove(ctx, table, entry);
1592                 return;
1593         }
1594         c->count++;
1595         if (isl_int_gt(c->c->row[0][0], con[0]))
1596                 return;
1597         if (isl_int_eq(c->c->row[0][0], con[0])) {
1598                 if (ineq)
1599                         c->ineq = ineq;
1600                 return;
1601         }
1602         c->c = isl_mat_cow(c->c);
1603         isl_int_set(c->c->row[0][0], con[0]);
1604         c->ineq = ineq;
1605 }
1606
1607 /* Check whether the constraint hash table "table" constains the constraint
1608  * "con".
1609  */
1610 static int has_constraint(struct isl_ctx *ctx, struct isl_hash_table *table,
1611         isl_int *con, unsigned len, int n)
1612 {
1613         struct isl_hash_table_entry *entry;
1614         struct max_constraint *c;
1615         uint32_t c_hash;
1616
1617         c_hash = isl_seq_get_hash(con + 1, len);
1618         entry = isl_hash_table_find(ctx, table, c_hash, max_constraint_equal,
1619                         con + 1, 0);
1620         if (!entry)
1621                 return 0;
1622         c = entry->data;
1623         if (c->count < n)
1624                 return 0;
1625         return isl_int_eq(c->c->row[0][0], con[0]);
1626 }
1627
1628 /* Check for inequality constraints of a basic set without equalities
1629  * such that the same or more stringent copies of the constraint appear
1630  * in all of the basic sets.  Such constraints are necessarily facet
1631  * constraints of the convex hull.
1632  *
1633  * If the resulting basic set is by chance identical to one of
1634  * the basic sets in "set", then we know that this basic set contains
1635  * all other basic sets and is therefore the convex hull of set.
1636  * In this case we set *is_hull to 1.
1637  */
1638 static struct isl_basic_set *common_constraints(struct isl_basic_set *hull,
1639         struct isl_set *set, int *is_hull)
1640 {
1641         int i, j, s, n;
1642         int min_constraints;
1643         int best;
1644         struct max_constraint *constraints = NULL;
1645         struct isl_hash_table *table = NULL;
1646         unsigned total;
1647
1648         *is_hull = 0;
1649
1650         for (i = 0; i < set->n; ++i)
1651                 if (set->p[i]->n_eq == 0)
1652                         break;
1653         if (i >= set->n)
1654                 return hull;
1655         min_constraints = set->p[i]->n_ineq;
1656         best = i;
1657         for (i = best + 1; i < set->n; ++i) {
1658                 if (set->p[i]->n_eq != 0)
1659                         continue;
1660                 if (set->p[i]->n_ineq >= min_constraints)
1661                         continue;
1662                 min_constraints = set->p[i]->n_ineq;
1663                 best = i;
1664         }
1665         constraints = isl_calloc_array(hull->ctx, struct max_constraint,
1666                                         min_constraints);
1667         if (!constraints)
1668                 return hull;
1669         table = isl_alloc_type(hull->ctx, struct isl_hash_table);
1670         if (isl_hash_table_init(hull->ctx, table, min_constraints))
1671                 goto error;
1672
1673         total = isl_dim_total(set->dim);
1674         for (i = 0; i < set->p[best]->n_ineq; ++i) {
1675                 constraints[i].c = isl_mat_sub_alloc(hull->ctx,
1676                         set->p[best]->ineq + i, 0, 1, 0, 1 + total);
1677                 if (!constraints[i].c)
1678                         goto error;
1679                 constraints[i].ineq = 1;
1680         }
1681         for (i = 0; i < min_constraints; ++i) {
1682                 struct isl_hash_table_entry *entry;
1683                 uint32_t c_hash;
1684                 c_hash = isl_seq_get_hash(constraints[i].c->row[0] + 1, total);
1685                 entry = isl_hash_table_find(hull->ctx, table, c_hash,
1686                         max_constraint_equal, constraints[i].c->row[0] + 1, 1);
1687                 if (!entry)
1688                         goto error;
1689                 isl_assert(hull->ctx, !entry->data, goto error);
1690                 entry->data = &constraints[i];
1691         }
1692
1693         n = 0;
1694         for (s = 0; s < set->n; ++s) {
1695                 if (s == best)
1696                         continue;
1697
1698                 for (i = 0; i < set->p[s]->n_eq; ++i) {
1699                         isl_int *eq = set->p[s]->eq[i];
1700                         for (j = 0; j < 2; ++j) {
1701                                 isl_seq_neg(eq, eq, 1 + total);
1702                                 update_constraint(hull->ctx, table,
1703                                                             eq, total, n, 0);
1704                         }
1705                 }
1706                 for (i = 0; i < set->p[s]->n_ineq; ++i) {
1707                         isl_int *ineq = set->p[s]->ineq[i];
1708                         update_constraint(hull->ctx, table, ineq, total, n,
1709                                 set->p[s]->n_eq == 0);
1710                 }
1711                 ++n;
1712         }
1713
1714         for (i = 0; i < min_constraints; ++i) {
1715                 if (constraints[i].count < n)
1716                         continue;
1717                 if (!constraints[i].ineq)
1718                         continue;
1719                 j = isl_basic_set_alloc_inequality(hull);
1720                 if (j < 0)
1721                         goto error;
1722                 isl_seq_cpy(hull->ineq[j], constraints[i].c->row[0], 1 + total);
1723         }
1724
1725         for (s = 0; s < set->n; ++s) {
1726                 if (set->p[s]->n_eq)
1727                         continue;
1728                 if (set->p[s]->n_ineq != hull->n_ineq)
1729                         continue;
1730                 for (i = 0; i < set->p[s]->n_ineq; ++i) {
1731                         isl_int *ineq = set->p[s]->ineq[i];
1732                         if (!has_constraint(hull->ctx, table, ineq, total, n))
1733                                 break;
1734                 }
1735                 if (i == set->p[s]->n_ineq)
1736                         *is_hull = 1;
1737         }
1738
1739         isl_hash_table_clear(table);
1740         for (i = 0; i < min_constraints; ++i)
1741                 isl_mat_free(constraints[i].c);
1742         free(constraints);
1743         free(table);
1744         return hull;
1745 error:
1746         isl_hash_table_clear(table);
1747         free(table);
1748         if (constraints)
1749                 for (i = 0; i < min_constraints; ++i)
1750                         isl_mat_free(constraints[i].c);
1751         free(constraints);
1752         return hull;
1753 }
1754
1755 /* Create a template for the convex hull of "set" and fill it up
1756  * obvious facet constraints, if any.  If the result happens to
1757  * be the convex hull of "set" then *is_hull is set to 1.
1758  */
1759 static struct isl_basic_set *proto_hull(struct isl_set *set, int *is_hull)
1760 {
1761         struct isl_basic_set *hull;
1762         unsigned n_ineq;
1763         int i;
1764
1765         n_ineq = 1;
1766         for (i = 0; i < set->n; ++i) {
1767                 n_ineq += set->p[i]->n_eq;
1768                 n_ineq += set->p[i]->n_ineq;
1769         }
1770         hull = isl_basic_set_alloc_dim(isl_dim_copy(set->dim), 0, 0, n_ineq);
1771         hull = isl_basic_set_set_rational(hull);
1772         if (!hull)
1773                 return NULL;
1774         return common_constraints(hull, set, is_hull);
1775 }
1776
1777 static struct isl_basic_set *uset_convex_hull_wrap(struct isl_set *set)
1778 {
1779         struct isl_basic_set *hull;
1780         int is_hull;
1781
1782         hull = proto_hull(set, &is_hull);
1783         if (hull && !is_hull) {
1784                 if (hull->n_ineq == 0)
1785                         hull = initial_hull(hull, set);
1786                 hull = extend(hull, set);
1787         }
1788         isl_set_free(set);
1789
1790         return hull;
1791 }
1792
1793 /* Compute the convex hull of a set without any parameters or
1794  * integer divisions.  Depending on whether the set is bounded,
1795  * we pass control to the wrapping based convex hull or
1796  * the Fourier-Motzkin elimination based convex hull.
1797  * We also handle a few special cases before checking the boundedness.
1798  */
1799 static struct isl_basic_set *uset_convex_hull(struct isl_set *set)
1800 {
1801         struct isl_basic_set *convex_hull = NULL;
1802         struct isl_basic_set *lin;
1803
1804         if (isl_set_n_dim(set) == 0)
1805                 return convex_hull_0d(set);
1806
1807         set = isl_set_coalesce(set);
1808         set = isl_set_set_rational(set);
1809
1810         if (!set)
1811                 goto error;
1812         if (!set)
1813                 return NULL;
1814         if (set->n == 1) {
1815                 convex_hull = isl_basic_set_copy(set->p[0]);
1816                 isl_set_free(set);
1817                 return convex_hull;
1818         }
1819         if (isl_set_n_dim(set) == 1)
1820                 return convex_hull_1d(set);
1821
1822         if (isl_set_is_bounded(set))
1823                 return uset_convex_hull_wrap(set);
1824
1825         lin = uset_combined_lineality_space(isl_set_copy(set));
1826         if (!lin)
1827                 goto error;
1828         if (isl_basic_set_is_universe(lin)) {
1829                 isl_set_free(set);
1830                 return lin;
1831         }
1832         if (lin->n_eq < isl_basic_set_total_dim(lin))
1833                 return modulo_lineality(set, lin);
1834         isl_basic_set_free(lin);
1835
1836         return uset_convex_hull_unbounded(set);
1837 error:
1838         isl_set_free(set);
1839         isl_basic_set_free(convex_hull);
1840         return NULL;
1841 }
1842
1843 /* This is the core procedure, where "set" is a "pure" set, i.e.,
1844  * without parameters or divs and where the convex hull of set is
1845  * known to be full-dimensional.
1846  */
1847 static struct isl_basic_set *uset_convex_hull_wrap_bounded(struct isl_set *set)
1848 {
1849         struct isl_basic_set *convex_hull = NULL;
1850
1851         if (isl_set_n_dim(set) == 0) {
1852                 convex_hull = isl_basic_set_universe(isl_dim_copy(set->dim));
1853                 isl_set_free(set);
1854                 convex_hull = isl_basic_set_set_rational(convex_hull);
1855                 return convex_hull;
1856         }
1857
1858         set = isl_set_set_rational(set);
1859
1860         if (!set)
1861                 goto error;
1862         set = isl_set_coalesce(set);
1863         if (!set)
1864                 goto error;
1865         if (set->n == 1) {
1866                 convex_hull = isl_basic_set_copy(set->p[0]);
1867                 isl_set_free(set);
1868                 return convex_hull;
1869         }
1870         if (isl_set_n_dim(set) == 1)
1871                 return convex_hull_1d(set);
1872
1873         return uset_convex_hull_wrap(set);
1874 error:
1875         isl_set_free(set);
1876         return NULL;
1877 }
1878
1879 /* Compute the convex hull of set "set" with affine hull "affine_hull",
1880  * We first remove the equalities (transforming the set), compute the
1881  * convex hull of the transformed set and then add the equalities back
1882  * (after performing the inverse transformation.
1883  */
1884 static struct isl_basic_set *modulo_affine_hull(struct isl_ctx *ctx,
1885         struct isl_set *set, struct isl_basic_set *affine_hull)
1886 {
1887         struct isl_mat *T;
1888         struct isl_mat *T2;
1889         struct isl_basic_set *dummy;
1890         struct isl_basic_set *convex_hull;
1891
1892         dummy = isl_basic_set_remove_equalities(
1893                         isl_basic_set_copy(affine_hull), &T, &T2);
1894         if (!dummy)
1895                 goto error;
1896         isl_basic_set_free(dummy);
1897         set = isl_set_preimage(set, T);
1898         convex_hull = uset_convex_hull(set);
1899         convex_hull = isl_basic_set_preimage(convex_hull, T2);
1900         convex_hull = isl_basic_set_intersect(convex_hull, affine_hull);
1901         return convex_hull;
1902 error:
1903         isl_basic_set_free(affine_hull);
1904         isl_set_free(set);
1905         return NULL;
1906 }
1907
1908 /* Compute the convex hull of a map.
1909  *
1910  * The implementation was inspired by "Extended Convex Hull" by Fukuda et al.,
1911  * specifically, the wrapping of facets to obtain new facets.
1912  */
1913 struct isl_basic_map *isl_map_convex_hull(struct isl_map *map)
1914 {
1915         struct isl_basic_set *bset;
1916         struct isl_basic_map *model = NULL;
1917         struct isl_basic_set *affine_hull = NULL;
1918         struct isl_basic_map *convex_hull = NULL;
1919         struct isl_set *set = NULL;
1920         struct isl_ctx *ctx;
1921
1922         if (!map)
1923                 goto error;
1924
1925         ctx = map->ctx;
1926         if (map->n == 0) {
1927                 convex_hull = isl_basic_map_empty_like_map(map);
1928                 isl_map_free(map);
1929                 return convex_hull;
1930         }
1931
1932         map = isl_map_detect_equalities(map);
1933         map = isl_map_align_divs(map);
1934         model = isl_basic_map_copy(map->p[0]);
1935         set = isl_map_underlying_set(map);
1936         if (!set)
1937                 goto error;
1938
1939         affine_hull = isl_set_affine_hull(isl_set_copy(set));
1940         if (!affine_hull)
1941                 goto error;
1942         if (affine_hull->n_eq != 0)
1943                 bset = modulo_affine_hull(ctx, set, affine_hull);
1944         else {
1945                 isl_basic_set_free(affine_hull);
1946                 bset = uset_convex_hull(set);
1947         }
1948
1949         convex_hull = isl_basic_map_overlying_set(bset, model);
1950
1951         ISL_F_SET(convex_hull, ISL_BASIC_MAP_NO_IMPLICIT);
1952         ISL_F_SET(convex_hull, ISL_BASIC_MAP_ALL_EQUALITIES);
1953         ISL_F_CLR(convex_hull, ISL_BASIC_MAP_RATIONAL);
1954         return convex_hull;
1955 error:
1956         isl_set_free(set);
1957         isl_basic_map_free(model);
1958         return NULL;
1959 }
1960
1961 struct isl_basic_set *isl_set_convex_hull(struct isl_set *set)
1962 {
1963         return (struct isl_basic_set *)
1964                 isl_map_convex_hull((struct isl_map *)set);
1965 }
1966
1967 struct sh_data_entry {
1968         struct isl_hash_table   *table;
1969         struct isl_tab          *tab;
1970 };
1971
1972 /* Holds the data needed during the simple hull computation.
1973  * In particular,
1974  *      n               the number of basic sets in the original set
1975  *      hull_table      a hash table of already computed constraints
1976  *                      in the simple hull
1977  *      p               for each basic set,
1978  *              table           a hash table of the constraints
1979  *              tab             the tableau corresponding to the basic set
1980  */
1981 struct sh_data {
1982         struct isl_ctx          *ctx;
1983         unsigned                n;
1984         struct isl_hash_table   *hull_table;
1985         struct sh_data_entry    p[1];
1986 };
1987
1988 static void sh_data_free(struct sh_data *data)
1989 {
1990         int i;
1991
1992         if (!data)
1993                 return;
1994         isl_hash_table_free(data->ctx, data->hull_table);
1995         for (i = 0; i < data->n; ++i) {
1996                 isl_hash_table_free(data->ctx, data->p[i].table);
1997                 isl_tab_free(data->p[i].tab);
1998         }
1999         free(data);
2000 }
2001
2002 struct ineq_cmp_data {
2003         unsigned        len;
2004         isl_int         *p;
2005 };
2006
2007 static int has_ineq(const void *entry, const void *val)
2008 {
2009         isl_int *row = (isl_int *)entry;
2010         struct ineq_cmp_data *v = (struct ineq_cmp_data *)val;
2011
2012         return isl_seq_eq(row + 1, v->p + 1, v->len) ||
2013                isl_seq_is_neg(row + 1, v->p + 1, v->len);
2014 }
2015
2016 static int hash_ineq(struct isl_ctx *ctx, struct isl_hash_table *table,
2017                         isl_int *ineq, unsigned len)
2018 {
2019         uint32_t c_hash;
2020         struct ineq_cmp_data v;
2021         struct isl_hash_table_entry *entry;
2022
2023         v.len = len;
2024         v.p = ineq;
2025         c_hash = isl_seq_get_hash(ineq + 1, len);
2026         entry = isl_hash_table_find(ctx, table, c_hash, has_ineq, &v, 1);
2027         if (!entry)
2028                 return - 1;
2029         entry->data = ineq;
2030         return 0;
2031 }
2032
2033 /* Fill hash table "table" with the constraints of "bset".
2034  * Equalities are added as two inequalities.
2035  * The value in the hash table is a pointer to the (in)equality of "bset".
2036  */
2037 static int hash_basic_set(struct isl_hash_table *table,
2038                                 struct isl_basic_set *bset)
2039 {
2040         int i, j;
2041         unsigned dim = isl_basic_set_total_dim(bset);
2042
2043         for (i = 0; i < bset->n_eq; ++i) {
2044                 for (j = 0; j < 2; ++j) {
2045                         isl_seq_neg(bset->eq[i], bset->eq[i], 1 + dim);
2046                         if (hash_ineq(bset->ctx, table, bset->eq[i], dim) < 0)
2047                                 return -1;
2048                 }
2049         }
2050         for (i = 0; i < bset->n_ineq; ++i) {
2051                 if (hash_ineq(bset->ctx, table, bset->ineq[i], dim) < 0)
2052                         return -1;
2053         }
2054         return 0;
2055 }
2056
2057 static struct sh_data *sh_data_alloc(struct isl_set *set, unsigned n_ineq)
2058 {
2059         struct sh_data *data;
2060         int i;
2061
2062         data = isl_calloc(set->ctx, struct sh_data,
2063                 sizeof(struct sh_data) +
2064                 (set->n - 1) * sizeof(struct sh_data_entry));
2065         if (!data)
2066                 return NULL;
2067         data->ctx = set->ctx;
2068         data->n = set->n;
2069         data->hull_table = isl_hash_table_alloc(set->ctx, n_ineq);
2070         if (!data->hull_table)
2071                 goto error;
2072         for (i = 0; i < set->n; ++i) {
2073                 data->p[i].table = isl_hash_table_alloc(set->ctx,
2074                                     2 * set->p[i]->n_eq + set->p[i]->n_ineq);
2075                 if (!data->p[i].table)
2076                         goto error;
2077                 if (hash_basic_set(data->p[i].table, set->p[i]) < 0)
2078                         goto error;
2079         }
2080         return data;
2081 error:
2082         sh_data_free(data);
2083         return NULL;
2084 }
2085
2086 /* Check if inequality "ineq" is a bound for basic set "j" or if
2087  * it can be relaxed (by increasing the constant term) to become
2088  * a bound for that basic set.  In the latter case, the constant
2089  * term is updated.
2090  * Return 1 if "ineq" is a bound
2091  *        0 if "ineq" may attain arbitrarily small values on basic set "j"
2092  *       -1 if some error occurred
2093  */
2094 static int is_bound(struct sh_data *data, struct isl_set *set, int j,
2095                         isl_int *ineq)
2096 {
2097         enum isl_lp_result res;
2098         isl_int opt;
2099
2100         if (!data->p[j].tab) {
2101                 data->p[j].tab = isl_tab_from_basic_set(set->p[j]);
2102                 if (!data->p[j].tab)
2103                         return -1;
2104         }
2105
2106         isl_int_init(opt);
2107
2108         res = isl_tab_min(data->p[j].tab, ineq, data->ctx->one,
2109                                 &opt, NULL, 0);
2110         if (res == isl_lp_ok && isl_int_is_neg(opt))
2111                 isl_int_sub(ineq[0], ineq[0], opt);
2112
2113         isl_int_clear(opt);
2114
2115         return res == isl_lp_ok ? 1 :
2116                res == isl_lp_unbounded ? 0 : -1;
2117 }
2118
2119 /* Check if inequality "ineq" from basic set "i" can be relaxed to
2120  * become a bound on the whole set.  If so, add the (relaxed) inequality
2121  * to "hull".
2122  *
2123  * We first check if "hull" already contains a translate of the inequality.
2124  * If so, we are done.
2125  * Then, we check if any of the previous basic sets contains a translate
2126  * of the inequality.  If so, then we have already considered this
2127  * inequality and we are done.
2128  * Otherwise, for each basic set other than "i", we check if the inequality
2129  * is a bound on the basic set.
2130  * For previous basic sets, we know that they do not contain a translate
2131  * of the inequality, so we directly call is_bound.
2132  * For following basic sets, we first check if a translate of the
2133  * inequality appears in its description and if so directly update
2134  * the inequality accordingly.
2135  */
2136 static struct isl_basic_set *add_bound(struct isl_basic_set *hull,
2137         struct sh_data *data, struct isl_set *set, int i, isl_int *ineq)
2138 {
2139         uint32_t c_hash;
2140         struct ineq_cmp_data v;
2141         struct isl_hash_table_entry *entry;
2142         int j, k;
2143
2144         if (!hull)
2145                 return NULL;
2146
2147         v.len = isl_basic_set_total_dim(hull);
2148         v.p = ineq;
2149         c_hash = isl_seq_get_hash(ineq + 1, v.len);
2150
2151         entry = isl_hash_table_find(hull->ctx, data->hull_table, c_hash,
2152                                         has_ineq, &v, 0);
2153         if (entry)
2154                 return hull;
2155
2156         for (j = 0; j < i; ++j) {
2157                 entry = isl_hash_table_find(hull->ctx, data->p[j].table,
2158                                                 c_hash, has_ineq, &v, 0);
2159                 if (entry)
2160                         break;
2161         }
2162         if (j < i)
2163                 return hull;
2164
2165         k = isl_basic_set_alloc_inequality(hull);
2166         isl_seq_cpy(hull->ineq[k], ineq, 1 + v.len);
2167         if (k < 0)
2168                 goto error;
2169
2170         for (j = 0; j < i; ++j) {
2171                 int bound;
2172                 bound = is_bound(data, set, j, hull->ineq[k]);
2173                 if (bound < 0)
2174                         goto error;
2175                 if (!bound)
2176                         break;
2177         }
2178         if (j < i) {
2179                 isl_basic_set_free_inequality(hull, 1);
2180                 return hull;
2181         }
2182
2183         for (j = i + 1; j < set->n; ++j) {
2184                 int bound, neg;
2185                 isl_int *ineq_j;
2186                 entry = isl_hash_table_find(hull->ctx, data->p[j].table,
2187                                                 c_hash, has_ineq, &v, 0);
2188                 if (entry) {
2189                         ineq_j = entry->data;
2190                         neg = isl_seq_is_neg(ineq_j + 1,
2191                                              hull->ineq[k] + 1, v.len);
2192                         if (neg)
2193                                 isl_int_neg(ineq_j[0], ineq_j[0]);
2194                         if (isl_int_gt(ineq_j[0], hull->ineq[k][0]))
2195                                 isl_int_set(hull->ineq[k][0], ineq_j[0]);
2196                         if (neg)
2197                                 isl_int_neg(ineq_j[0], ineq_j[0]);
2198                         continue;
2199                 }
2200                 bound = is_bound(data, set, j, hull->ineq[k]);
2201                 if (bound < 0)
2202                         goto error;
2203                 if (!bound)
2204                         break;
2205         }
2206         if (j < set->n) {
2207                 isl_basic_set_free_inequality(hull, 1);
2208                 return hull;
2209         }
2210
2211         entry = isl_hash_table_find(hull->ctx, data->hull_table, c_hash,
2212                                         has_ineq, &v, 1);
2213         if (!entry)
2214                 goto error;
2215         entry->data = hull->ineq[k];
2216
2217         return hull;
2218 error:
2219         isl_basic_set_free(hull);
2220         return NULL;
2221 }
2222
2223 /* Check if any inequality from basic set "i" can be relaxed to
2224  * become a bound on the whole set.  If so, add the (relaxed) inequality
2225  * to "hull".
2226  */
2227 static struct isl_basic_set *add_bounds(struct isl_basic_set *bset,
2228         struct sh_data *data, struct isl_set *set, int i)
2229 {
2230         int j, k;
2231         unsigned dim = isl_basic_set_total_dim(bset);
2232
2233         for (j = 0; j < set->p[i]->n_eq; ++j) {
2234                 for (k = 0; k < 2; ++k) {
2235                         isl_seq_neg(set->p[i]->eq[j], set->p[i]->eq[j], 1+dim);
2236                         add_bound(bset, data, set, i, set->p[i]->eq[j]);
2237                 }
2238         }
2239         for (j = 0; j < set->p[i]->n_ineq; ++j)
2240                 add_bound(bset, data, set, i, set->p[i]->ineq[j]);
2241         return bset;
2242 }
2243
2244 /* Compute a superset of the convex hull of set that is described
2245  * by only translates of the constraints in the constituents of set.
2246  */
2247 static struct isl_basic_set *uset_simple_hull(struct isl_set *set)
2248 {
2249         struct sh_data *data = NULL;
2250         struct isl_basic_set *hull = NULL;
2251         unsigned n_ineq;
2252         int i;
2253
2254         if (!set)
2255                 return NULL;
2256
2257         n_ineq = 0;
2258         for (i = 0; i < set->n; ++i) {
2259                 if (!set->p[i])
2260                         goto error;
2261                 n_ineq += 2 * set->p[i]->n_eq + set->p[i]->n_ineq;
2262         }
2263
2264         hull = isl_basic_set_alloc_dim(isl_dim_copy(set->dim), 0, 0, n_ineq);
2265         if (!hull)
2266                 goto error;
2267
2268         data = sh_data_alloc(set, n_ineq);
2269         if (!data)
2270                 goto error;
2271
2272         for (i = 0; i < set->n; ++i)
2273                 hull = add_bounds(hull, data, set, i);
2274
2275         sh_data_free(data);
2276         isl_set_free(set);
2277
2278         return hull;
2279 error:
2280         sh_data_free(data);
2281         isl_basic_set_free(hull);
2282         isl_set_free(set);
2283         return NULL;
2284 }
2285
2286 /* Compute a superset of the convex hull of map that is described
2287  * by only translates of the constraints in the constituents of map.
2288  */
2289 struct isl_basic_map *isl_map_simple_hull(struct isl_map *map)
2290 {
2291         struct isl_set *set = NULL;
2292         struct isl_basic_map *model = NULL;
2293         struct isl_basic_map *hull;
2294         struct isl_basic_map *affine_hull;
2295         struct isl_basic_set *bset = NULL;
2296
2297         if (!map)
2298                 return NULL;
2299         if (map->n == 0) {
2300                 hull = isl_basic_map_empty_like_map(map);
2301                 isl_map_free(map);
2302                 return hull;
2303         }
2304         if (map->n == 1) {
2305                 hull = isl_basic_map_copy(map->p[0]);
2306                 isl_map_free(map);
2307                 return hull;
2308         }
2309
2310         map = isl_map_detect_equalities(map);
2311         affine_hull = isl_map_affine_hull(isl_map_copy(map));
2312         map = isl_map_align_divs(map);
2313         model = isl_basic_map_copy(map->p[0]);
2314
2315         set = isl_map_underlying_set(map);
2316
2317         bset = uset_simple_hull(set);
2318
2319         hull = isl_basic_map_overlying_set(bset, model);
2320
2321         hull = isl_basic_map_intersect(hull, affine_hull);
2322         hull = isl_basic_map_convex_hull(hull);
2323         ISL_F_SET(hull, ISL_BASIC_MAP_NO_IMPLICIT);
2324         ISL_F_SET(hull, ISL_BASIC_MAP_ALL_EQUALITIES);
2325
2326         return hull;
2327 }
2328
2329 struct isl_basic_set *isl_set_simple_hull(struct isl_set *set)
2330 {
2331         return (struct isl_basic_set *)
2332                 isl_map_simple_hull((struct isl_map *)set);
2333 }
2334
2335 /* Given a set "set", return parametric bounds on the dimension "dim".
2336  */
2337 static struct isl_basic_set *set_bounds(struct isl_set *set, int dim)
2338 {
2339         unsigned set_dim = isl_set_dim(set, isl_dim_set);
2340         set = isl_set_copy(set);
2341         set = isl_set_eliminate_dims(set, dim + 1, set_dim - (dim + 1));
2342         set = isl_set_eliminate_dims(set, 0, dim);
2343         return isl_set_convex_hull(set);
2344 }
2345
2346 /* Computes a "simple hull" and then check if each dimension in the
2347  * resulting hull is bounded by a symbolic constant.  If not, the
2348  * hull is intersected with the corresponding bounds on the whole set.
2349  */
2350 struct isl_basic_set *isl_set_bounded_simple_hull(struct isl_set *set)
2351 {
2352         int i, j;
2353         struct isl_basic_set *hull;
2354         unsigned nparam, left;
2355         int removed_divs = 0;
2356
2357         hull = isl_set_simple_hull(isl_set_copy(set));
2358         if (!hull)
2359                 goto error;
2360
2361         nparam = isl_basic_set_dim(hull, isl_dim_param);
2362         for (i = 0; i < isl_basic_set_dim(hull, isl_dim_set); ++i) {
2363                 int lower = 0, upper = 0;
2364                 struct isl_basic_set *bounds;
2365
2366                 left = isl_basic_set_total_dim(hull) - nparam - i - 1;
2367                 for (j = 0; j < hull->n_eq; ++j) {
2368                         if (isl_int_is_zero(hull->eq[j][1 + nparam + i]))
2369                                 continue;
2370                         if (isl_seq_first_non_zero(hull->eq[j]+1+nparam+i+1,
2371                                                     left) == -1)
2372                                 break;
2373                 }
2374                 if (j < hull->n_eq)
2375                         continue;
2376
2377                 for (j = 0; j < hull->n_ineq; ++j) {
2378                         if (isl_int_is_zero(hull->ineq[j][1 + nparam + i]))
2379                                 continue;
2380                         if (isl_seq_first_non_zero(hull->ineq[j]+1+nparam+i+1,
2381                                                     left) != -1 ||
2382                             isl_seq_first_non_zero(hull->ineq[j]+1+nparam,
2383                                                     i) != -1)
2384                                 continue;
2385                         if (isl_int_is_pos(hull->ineq[j][1 + nparam + i]))
2386                                 lower = 1;
2387                         else
2388                                 upper = 1;
2389                         if (lower && upper)
2390                                 break;
2391                 }
2392
2393                 if (lower && upper)
2394                         continue;
2395
2396                 if (!removed_divs) {
2397                         set = isl_set_remove_divs(set);
2398                         if (!set)
2399                                 goto error;
2400                         removed_divs = 1;
2401                 }
2402                 bounds = set_bounds(set, i);
2403                 hull = isl_basic_set_intersect(hull, bounds);
2404                 if (!hull)
2405                         goto error;
2406         }
2407
2408         isl_set_free(set);
2409         return hull;
2410 error:
2411         isl_set_free(set);
2412         return NULL;
2413 }