C_LAPACK: Fixes to make it compile with MSVC (#3605)
[platform/upstream/openblas.git] / lapack-netlib / SRC / chetri_3x.c
1 #include <math.h>
2 #include <stdlib.h>
3 #include <string.h>
4 #include <stdio.h>
5 #include <complex.h>
6 #ifdef complex
7 #undef complex
8 #endif
9 #ifdef I
10 #undef I
11 #endif
12
13 #if defined(_WIN64)
14 typedef long long BLASLONG;
15 typedef unsigned long long BLASULONG;
16 #else
17 typedef long BLASLONG;
18 typedef unsigned long BLASULONG;
19 #endif
20
21 #ifdef LAPACK_ILP64
22 typedef BLASLONG blasint;
23 #if defined(_WIN64)
24 #define blasabs(x) llabs(x)
25 #else
26 #define blasabs(x) labs(x)
27 #endif
28 #else
29 typedef int blasint;
30 #define blasabs(x) abs(x)
31 #endif
32
33 typedef blasint integer;
34
35 typedef unsigned int uinteger;
36 typedef char *address;
37 typedef short int shortint;
38 typedef float real;
39 typedef double doublereal;
40 typedef struct { real r, i; } complex;
41 typedef struct { doublereal r, i; } doublecomplex;
42 #ifdef _MSC_VER
43 static inline _Fcomplex Cf(complex *z) {_Fcomplex zz={z->r , z->i}; return zz;}
44 static inline _Dcomplex Cd(doublecomplex *z) {_Dcomplex zz={z->r , z->i};return zz;}
45 static inline _Fcomplex * _pCf(complex *z) {return (_Fcomplex*)z;}
46 static inline _Dcomplex * _pCd(doublecomplex *z) {return (_Dcomplex*)z;}
47 #else
48 static inline _Complex float Cf(complex *z) {return z->r + z->i*_Complex_I;}
49 static inline _Complex double Cd(doublecomplex *z) {return z->r + z->i*_Complex_I;}
50 static inline _Complex float * _pCf(complex *z) {return (_Complex float*)z;}
51 static inline _Complex double * _pCd(doublecomplex *z) {return (_Complex double*)z;}
52 #endif
53 #define pCf(z) (*_pCf(z))
54 #define pCd(z) (*_pCd(z))
55 typedef int logical;
56 typedef short int shortlogical;
57 typedef char logical1;
58 typedef char integer1;
59
60 #define TRUE_ (1)
61 #define FALSE_ (0)
62
63 /* Extern is for use with -E */
64 #ifndef Extern
65 #define Extern extern
66 #endif
67
68 /* I/O stuff */
69
70 typedef int flag;
71 typedef int ftnlen;
72 typedef int ftnint;
73
74 /*external read, write*/
75 typedef struct
76 {       flag cierr;
77         ftnint ciunit;
78         flag ciend;
79         char *cifmt;
80         ftnint cirec;
81 } cilist;
82
83 /*internal read, write*/
84 typedef struct
85 {       flag icierr;
86         char *iciunit;
87         flag iciend;
88         char *icifmt;
89         ftnint icirlen;
90         ftnint icirnum;
91 } icilist;
92
93 /*open*/
94 typedef struct
95 {       flag oerr;
96         ftnint ounit;
97         char *ofnm;
98         ftnlen ofnmlen;
99         char *osta;
100         char *oacc;
101         char *ofm;
102         ftnint orl;
103         char *oblnk;
104 } olist;
105
106 /*close*/
107 typedef struct
108 {       flag cerr;
109         ftnint cunit;
110         char *csta;
111 } cllist;
112
113 /*rewind, backspace, endfile*/
114 typedef struct
115 {       flag aerr;
116         ftnint aunit;
117 } alist;
118
119 /* inquire */
120 typedef struct
121 {       flag inerr;
122         ftnint inunit;
123         char *infile;
124         ftnlen infilen;
125         ftnint  *inex;  /*parameters in standard's order*/
126         ftnint  *inopen;
127         ftnint  *innum;
128         ftnint  *innamed;
129         char    *inname;
130         ftnlen  innamlen;
131         char    *inacc;
132         ftnlen  inacclen;
133         char    *inseq;
134         ftnlen  inseqlen;
135         char    *indir;
136         ftnlen  indirlen;
137         char    *infmt;
138         ftnlen  infmtlen;
139         char    *inform;
140         ftnint  informlen;
141         char    *inunf;
142         ftnlen  inunflen;
143         ftnint  *inrecl;
144         ftnint  *innrec;
145         char    *inblank;
146         ftnlen  inblanklen;
147 } inlist;
148
149 #define VOID void
150
151 union Multitype {       /* for multiple entry points */
152         integer1 g;
153         shortint h;
154         integer i;
155         /* longint j; */
156         real r;
157         doublereal d;
158         complex c;
159         doublecomplex z;
160         };
161
162 typedef union Multitype Multitype;
163
164 struct Vardesc {        /* for Namelist */
165         char *name;
166         char *addr;
167         ftnlen *dims;
168         int  type;
169         };
170 typedef struct Vardesc Vardesc;
171
172 struct Namelist {
173         char *name;
174         Vardesc **vars;
175         int nvars;
176         };
177 typedef struct Namelist Namelist;
178
179 #define abs(x) ((x) >= 0 ? (x) : -(x))
180 #define dabs(x) (fabs(x))
181 #define f2cmin(a,b) ((a) <= (b) ? (a) : (b))
182 #define f2cmax(a,b) ((a) >= (b) ? (a) : (b))
183 #define dmin(a,b) (f2cmin(a,b))
184 #define dmax(a,b) (f2cmax(a,b))
185 #define bit_test(a,b)   ((a) >> (b) & 1)
186 #define bit_clear(a,b)  ((a) & ~((uinteger)1 << (b)))
187 #define bit_set(a,b)    ((a) |  ((uinteger)1 << (b)))
188
189 #define abort_() { sig_die("Fortran abort routine called", 1); }
190 #define c_abs(z) (cabsf(Cf(z)))
191 #define c_cos(R,Z) { pCf(R)=ccos(Cf(Z)); }
192 #ifdef _MSC_VER
193 #define c_div(c, a, b) {Cf(c)._Val[0] = (Cf(a)._Val[0]/Cf(b)._Val[0]); Cf(c)._Val[1]=(Cf(a)._Val[1]/Cf(b)._Val[1]);}
194 #define z_div(c, a, b) {Cd(c)._Val[0] = (Cd(a)._Val[0]/Cd(b)._Val[0]); Cd(c)._Val[1]=(Cd(a)._Val[1]/df(b)._Val[1]);}
195 #else
196 #define c_div(c, a, b) {pCf(c) = Cf(a)/Cf(b);}
197 #define z_div(c, a, b) {pCd(c) = Cd(a)/Cd(b);}
198 #endif
199 #define c_exp(R, Z) {pCf(R) = cexpf(Cf(Z));}
200 #define c_log(R, Z) {pCf(R) = clogf(Cf(Z));}
201 #define c_sin(R, Z) {pCf(R) = csinf(Cf(Z));}
202 //#define c_sqrt(R, Z) {*(R) = csqrtf(Cf(Z));}
203 #define c_sqrt(R, Z) {pCf(R) = csqrtf(Cf(Z));}
204 #define d_abs(x) (fabs(*(x)))
205 #define d_acos(x) (acos(*(x)))
206 #define d_asin(x) (asin(*(x)))
207 #define d_atan(x) (atan(*(x)))
208 #define d_atn2(x, y) (atan2(*(x),*(y)))
209 #define d_cnjg(R, Z) { pCd(R) = conj(Cd(Z)); }
210 #define r_cnjg(R, Z) { pCf(R) = conjf(Cf(Z)); }
211 #define d_cos(x) (cos(*(x)))
212 #define d_cosh(x) (cosh(*(x)))
213 #define d_dim(__a, __b) ( *(__a) > *(__b) ? *(__a) - *(__b) : 0.0 )
214 #define d_exp(x) (exp(*(x)))
215 #define d_imag(z) (cimag(Cd(z)))
216 #define r_imag(z) (cimagf(Cf(z)))
217 #define d_int(__x) (*(__x)>0 ? floor(*(__x)) : -floor(- *(__x)))
218 #define r_int(__x) (*(__x)>0 ? floor(*(__x)) : -floor(- *(__x)))
219 #define d_lg10(x) ( 0.43429448190325182765 * log(*(x)) )
220 #define r_lg10(x) ( 0.43429448190325182765 * log(*(x)) )
221 #define d_log(x) (log(*(x)))
222 #define d_mod(x, y) (fmod(*(x), *(y)))
223 #define u_nint(__x) ((__x)>=0 ? floor((__x) + .5) : -floor(.5 - (__x)))
224 #define d_nint(x) u_nint(*(x))
225 #define u_sign(__a,__b) ((__b) >= 0 ? ((__a) >= 0 ? (__a) : -(__a)) : -((__a) >= 0 ? (__a) : -(__a)))
226 #define d_sign(a,b) u_sign(*(a),*(b))
227 #define r_sign(a,b) u_sign(*(a),*(b))
228 #define d_sin(x) (sin(*(x)))
229 #define d_sinh(x) (sinh(*(x)))
230 #define d_sqrt(x) (sqrt(*(x)))
231 #define d_tan(x) (tan(*(x)))
232 #define d_tanh(x) (tanh(*(x)))
233 #define i_abs(x) abs(*(x))
234 #define i_dnnt(x) ((integer)u_nint(*(x)))
235 #define i_len(s, n) (n)
236 #define i_nint(x) ((integer)u_nint(*(x)))
237 #define i_sign(a,b) ((integer)u_sign((integer)*(a),(integer)*(b)))
238 #define pow_dd(ap, bp) ( pow(*(ap), *(bp)))
239 #define pow_si(B,E) spow_ui(*(B),*(E))
240 #define pow_ri(B,E) spow_ui(*(B),*(E))
241 #define pow_di(B,E) dpow_ui(*(B),*(E))
242 #define pow_zi(p, a, b) {pCd(p) = zpow_ui(Cd(a), *(b));}
243 #define pow_ci(p, a, b) {pCf(p) = cpow_ui(Cf(a), *(b));}
244 #define pow_zz(R,A,B) {pCd(R) = cpow(Cd(A),*(B));}
245 #define s_cat(lpp, rpp, rnp, np, llp) {         ftnlen i, nc, ll; char *f__rp, *lp;     ll = (llp); lp = (lpp);         for(i=0; i < (int)*(np); ++i) {                 nc = ll;                if((rnp)[i] < nc) nc = (rnp)[i];                ll -= nc;               f__rp = (rpp)[i];               while(--nc >= 0) *lp++ = *(f__rp)++;         }  while(--ll >= 0) *lp++ = ' '; }
246 #define s_cmp(a,b,c,d) ((integer)strncmp((a),(b),f2cmin((c),(d))))
247 #define s_copy(A,B,C,D) { int __i,__m; for (__i=0, __m=f2cmin((C),(D)); __i<__m && (B)[__i] != 0; ++__i) (A)[__i] = (B)[__i]; }
248 #define sig_die(s, kill) { exit(1); }
249 #define s_stop(s, n) {exit(0);}
250 static char junk[] = "\n@(#)LIBF77 VERSION 19990503\n";
251 #define z_abs(z) (cabs(Cd(z)))
252 #define z_exp(R, Z) {pCd(R) = cexp(Cd(Z));}
253 #define z_sqrt(R, Z) {pCd(R) = csqrt(Cd(Z));}
254 #define myexit_() break;
255 #define mycycle() continue;
256 #define myceiling(w) {ceil(w)}
257 #define myhuge(w) {HUGE_VAL}
258 //#define mymaxloc_(w,s,e,n) {if (sizeof(*(w)) == sizeof(double)) dmaxloc_((w),*(s),*(e),n); else dmaxloc_((w),*(s),*(e),n);}
259 #define mymaxloc(w,s,e,n) {dmaxloc_(w,*(s),*(e),n)}
260
261 /* procedure parameter types for -A and -C++ */
262
263 #define F2C_proc_par_types 1
264 #ifdef __cplusplus
265 typedef logical (*L_fp)(...);
266 #else
267 typedef logical (*L_fp)();
268 #endif
269
270 static float spow_ui(float x, integer n) {
271         float pow=1.0; unsigned long int u;
272         if(n != 0) {
273                 if(n < 0) n = -n, x = 1/x;
274                 for(u = n; ; ) {
275                         if(u & 01) pow *= x;
276                         if(u >>= 1) x *= x;
277                         else break;
278                 }
279         }
280         return pow;
281 }
282 static double dpow_ui(double x, integer n) {
283         double pow=1.0; unsigned long int u;
284         if(n != 0) {
285                 if(n < 0) n = -n, x = 1/x;
286                 for(u = n; ; ) {
287                         if(u & 01) pow *= x;
288                         if(u >>= 1) x *= x;
289                         else break;
290                 }
291         }
292         return pow;
293 }
294 #ifdef _MSC_VER
295 static _Fcomplex cpow_ui(complex x, integer n) {
296         complex pow={1.0,0.0}; unsigned long int u;
297                 if(n != 0) {
298                 if(n < 0) n = -n, x.r = 1/x.r, x.i=1/x.i;
299                 for(u = n; ; ) {
300                         if(u & 01) pow.r *= x.r, pow.i *= x.i;
301                         if(u >>= 1) x.r *= x.r, x.i *= x.i;
302                         else break;
303                 }
304         }
305         _Fcomplex p={pow.r, pow.i};
306         return p;
307 }
308 #else
309 static _Complex float cpow_ui(_Complex float x, integer n) {
310         _Complex float pow=1.0; unsigned long int u;
311         if(n != 0) {
312                 if(n < 0) n = -n, x = 1/x;
313                 for(u = n; ; ) {
314                         if(u & 01) pow *= x;
315                         if(u >>= 1) x *= x;
316                         else break;
317                 }
318         }
319         return pow;
320 }
321 #endif
322 #ifdef _MSC_VER
323 static _Dcomplex zpow_ui(_Dcomplex x, integer n) {
324         _Dcomplex pow={1.0,0.0}; unsigned long int u;
325         if(n != 0) {
326                 if(n < 0) n = -n, x._Val[0] = 1/x._Val[0], x._Val[1] =1/x._Val[1];
327                 for(u = n; ; ) {
328                         if(u & 01) pow._Val[0] *= x._Val[0], pow._Val[1] *= x._Val[1];
329                         if(u >>= 1) x._Val[0] *= x._Val[0], x._Val[1] *= x._Val[1];
330                         else break;
331                 }
332         }
333         _Dcomplex p = {pow._Val[0], pow._Val[1]};
334         return p;
335 }
336 #else
337 static _Complex double zpow_ui(_Complex double x, integer n) {
338         _Complex double pow=1.0; unsigned long int u;
339         if(n != 0) {
340                 if(n < 0) n = -n, x = 1/x;
341                 for(u = n; ; ) {
342                         if(u & 01) pow *= x;
343                         if(u >>= 1) x *= x;
344                         else break;
345                 }
346         }
347         return pow;
348 }
349 #endif
350 static integer pow_ii(integer x, integer n) {
351         integer pow; unsigned long int u;
352         if (n <= 0) {
353                 if (n == 0 || x == 1) pow = 1;
354                 else if (x != -1) pow = x == 0 ? 1/x : 0;
355                 else n = -n;
356         }
357         if ((n > 0) || !(n == 0 || x == 1 || x != -1)) {
358                 u = n;
359                 for(pow = 1; ; ) {
360                         if(u & 01) pow *= x;
361                         if(u >>= 1) x *= x;
362                         else break;
363                 }
364         }
365         return pow;
366 }
367 static integer dmaxloc_(double *w, integer s, integer e, integer *n)
368 {
369         double m; integer i, mi;
370         for(m=w[s-1], mi=s, i=s+1; i<=e; i++)
371                 if (w[i-1]>m) mi=i ,m=w[i-1];
372         return mi-s+1;
373 }
374 static integer smaxloc_(float *w, integer s, integer e, integer *n)
375 {
376         float m; integer i, mi;
377         for(m=w[s-1], mi=s, i=s+1; i<=e; i++)
378                 if (w[i-1]>m) mi=i ,m=w[i-1];
379         return mi-s+1;
380 }
381 static inline void cdotc_(complex *z, integer *n_, complex *x, integer *incx_, complex *y, integer *incy_) {
382         integer n = *n_, incx = *incx_, incy = *incy_, i;
383 #ifdef _MSC_VER
384         _Fcomplex zdotc = {0.0, 0.0};
385         if (incx == 1 && incy == 1) {
386                 for (i=0;i<n;i++) { /* zdotc = zdotc + dconjg(x(i))* y(i) */
387                         zdotc._Val[0] += conjf(Cf(&x[i]))._Val[0] * Cf(&y[i])._Val[0];
388                         zdotc._Val[1] += conjf(Cf(&x[i]))._Val[1] * Cf(&y[i])._Val[1];
389                 }
390         } else {
391                 for (i=0;i<n;i++) { /* zdotc = zdotc + dconjg(x(i))* y(i) */
392                         zdotc._Val[0] += conjf(Cf(&x[i*incx]))._Val[0] * Cf(&y[i*incy])._Val[0];
393                         zdotc._Val[1] += conjf(Cf(&x[i*incx]))._Val[1] * Cf(&y[i*incy])._Val[1];
394                 }
395         }
396         pCf(z) = zdotc;
397 }
398 #else
399         _Complex float zdotc = 0.0;
400         if (incx == 1 && incy == 1) {
401                 for (i=0;i<n;i++) { /* zdotc = zdotc + dconjg(x(i))* y(i) */
402                         zdotc += conjf(Cf(&x[i])) * Cf(&y[i]);
403                 }
404         } else {
405                 for (i=0;i<n;i++) { /* zdotc = zdotc + dconjg(x(i))* y(i) */
406                         zdotc += conjf(Cf(&x[i*incx])) * Cf(&y[i*incy]);
407                 }
408         }
409         pCf(z) = zdotc;
410 }
411 #endif
412 static inline void zdotc_(doublecomplex *z, integer *n_, doublecomplex *x, integer *incx_, doublecomplex *y, integer *incy_) {
413         integer n = *n_, incx = *incx_, incy = *incy_, i;
414 #ifdef _MSC_VER
415         _Dcomplex zdotc = {0.0, 0.0};
416         if (incx == 1 && incy == 1) {
417                 for (i=0;i<n;i++) { /* zdotc = zdotc + dconjg(x(i))* y(i) */
418                         zdotc._Val[0] += conj(Cd(&x[i]))._Val[0] * Cd(&y[i])._Val[0];
419                         zdotc._Val[1] += conj(Cd(&x[i]))._Val[1] * Cd(&y[i])._Val[1];
420                 }
421         } else {
422                 for (i=0;i<n;i++) { /* zdotc = zdotc + dconjg(x(i))* y(i) */
423                         zdotc._Val[0] += conj(Cd(&x[i*incx]))._Val[0] * Cd(&y[i*incy])._Val[0];
424                         zdotc._Val[1] += conj(Cd(&x[i*incx]))._Val[1] * Cd(&y[i*incy])._Val[1];
425                 }
426         }
427         pCd(z) = zdotc;
428 }
429 #else
430         _Complex double zdotc = 0.0;
431         if (incx == 1 && incy == 1) {
432                 for (i=0;i<n;i++) { /* zdotc = zdotc + dconjg(x(i))* y(i) */
433                         zdotc += conj(Cd(&x[i])) * Cd(&y[i]);
434                 }
435         } else {
436                 for (i=0;i<n;i++) { /* zdotc = zdotc + dconjg(x(i))* y(i) */
437                         zdotc += conj(Cd(&x[i*incx])) * Cd(&y[i*incy]);
438                 }
439         }
440         pCd(z) = zdotc;
441 }
442 #endif  
443 static inline void cdotu_(complex *z, integer *n_, complex *x, integer *incx_, complex *y, integer *incy_) {
444         integer n = *n_, incx = *incx_, incy = *incy_, i;
445 #ifdef _MSC_VER
446         _Fcomplex zdotc = {0.0, 0.0};
447         if (incx == 1 && incy == 1) {
448                 for (i=0;i<n;i++) { /* zdotc = zdotc + dconjg(x(i))* y(i) */
449                         zdotc._Val[0] += Cf(&x[i])._Val[0] * Cf(&y[i])._Val[0];
450                         zdotc._Val[1] += Cf(&x[i])._Val[1] * Cf(&y[i])._Val[1];
451                 }
452         } else {
453                 for (i=0;i<n;i++) { /* zdotc = zdotc + dconjg(x(i))* y(i) */
454                         zdotc._Val[0] += Cf(&x[i*incx])._Val[0] * Cf(&y[i*incy])._Val[0];
455                         zdotc._Val[1] += Cf(&x[i*incx])._Val[1] * Cf(&y[i*incy])._Val[1];
456                 }
457         }
458         pCf(z) = zdotc;
459 }
460 #else
461         _Complex float zdotc = 0.0;
462         if (incx == 1 && incy == 1) {
463                 for (i=0;i<n;i++) { /* zdotc = zdotc + dconjg(x(i))* y(i) */
464                         zdotc += Cf(&x[i]) * Cf(&y[i]);
465                 }
466         } else {
467                 for (i=0;i<n;i++) { /* zdotc = zdotc + dconjg(x(i))* y(i) */
468                         zdotc += Cf(&x[i*incx]) * Cf(&y[i*incy]);
469                 }
470         }
471         pCf(z) = zdotc;
472 }
473 #endif
474 static inline void zdotu_(doublecomplex *z, integer *n_, doublecomplex *x, integer *incx_, doublecomplex *y, integer *incy_) {
475         integer n = *n_, incx = *incx_, incy = *incy_, i;
476 #ifdef _MSC_VER
477         _Dcomplex zdotc = {0.0, 0.0};
478         if (incx == 1 && incy == 1) {
479                 for (i=0;i<n;i++) { /* zdotc = zdotc + dconjg(x(i))* y(i) */
480                         zdotc._Val[0] += Cd(&x[i])._Val[0] * Cd(&y[i])._Val[0];
481                         zdotc._Val[1] += Cd(&x[i])._Val[1] * Cd(&y[i])._Val[1];
482                 }
483         } else {
484                 for (i=0;i<n;i++) { /* zdotc = zdotc + dconjg(x(i))* y(i) */
485                         zdotc._Val[0] += Cd(&x[i*incx])._Val[0] * Cd(&y[i*incy])._Val[0];
486                         zdotc._Val[1] += Cd(&x[i*incx])._Val[1] * Cd(&y[i*incy])._Val[1];
487                 }
488         }
489         pCd(z) = zdotc;
490 }
491 #else
492         _Complex double zdotc = 0.0;
493         if (incx == 1 && incy == 1) {
494                 for (i=0;i<n;i++) { /* zdotc = zdotc + dconjg(x(i))* y(i) */
495                         zdotc += Cd(&x[i]) * Cd(&y[i]);
496                 }
497         } else {
498                 for (i=0;i<n;i++) { /* zdotc = zdotc + dconjg(x(i))* y(i) */
499                         zdotc += Cd(&x[i*incx]) * Cd(&y[i*incy]);
500                 }
501         }
502         pCd(z) = zdotc;
503 }
504 #endif
505 /*  -- translated by f2c (version 20000121).
506    You must link the resulting object file with the libraries:
507         -lf2c -lm   (in that order)
508 */
509
510
511
512
513 /* Table of constant values */
514
515 static complex c_b1 = {1.f,0.f};
516 static complex c_b2 = {0.f,0.f};
517
518 /* > \brief \b CHETRI_3X */
519
520 /*  =========== DOCUMENTATION =========== */
521
522 /* Online html documentation available at */
523 /*            http://www.netlib.org/lapack/explore-html/ */
524
525 /* > \htmlonly */
526 /* > Download CHETRI_3X + dependencies */
527 /* > <a href="http://www.netlib.org/cgi-bin/netlibfiles.tgz?format=tgz&filename=/lapack/lapack_routine/chetri_
528 3x.f"> */
529 /* > [TGZ]</a> */
530 /* > <a href="http://www.netlib.org/cgi-bin/netlibfiles.zip?format=zip&filename=/lapack/lapack_routine/chetri_
531 3x.f"> */
532 /* > [ZIP]</a> */
533 /* > <a href="http://www.netlib.org/cgi-bin/netlibfiles.txt?format=txt&filename=/lapack/lapack_routine/chetri_
534 3x.f"> */
535 /* > [TXT]</a> */
536 /* > \endhtmlonly */
537
538 /*  Definition: */
539 /*  =========== */
540
541 /*       SUBROUTINE CHETRI_3X( UPLO, N, A, LDA, E, IPIV, WORK, NB, INFO ) */
542
543 /*       CHARACTER          UPLO */
544 /*       INTEGER            INFO, LDA, N, NB */
545 /*       INTEGER            IPIV( * ) */
546 /*       COMPLEX            A( LDA, * ),  E( * ), WORK( N+NB+1, * ) */
547
548
549 /* > \par Purpose: */
550 /*  ============= */
551 /* > */
552 /* > \verbatim */
553 /* > CHETRI_3X computes the inverse of a complex Hermitian indefinite */
554 /* > matrix A using the factorization computed by CHETRF_RK or CHETRF_BK: */
555 /* > */
556 /* >     A = P*U*D*(U**H)*(P**T) or A = P*L*D*(L**H)*(P**T), */
557 /* > */
558 /* > where U (or L) is unit upper (or lower) triangular matrix, */
559 /* > U**H (or L**H) is the conjugate of U (or L), P is a permutation */
560 /* > matrix, P**T is the transpose of P, and D is Hermitian and block */
561 /* > diagonal with 1-by-1 and 2-by-2 diagonal blocks. */
562 /* > */
563 /* > This is the blocked version of the algorithm, calling Level 3 BLAS. */
564 /* > \endverbatim */
565
566 /*  Arguments: */
567 /*  ========== */
568
569 /* > \param[in] UPLO */
570 /* > \verbatim */
571 /* >          UPLO is CHARACTER*1 */
572 /* >          Specifies whether the details of the factorization are */
573 /* >          stored as an upper or lower triangular matrix. */
574 /* >          = 'U':  Upper triangle of A is stored; */
575 /* >          = 'L':  Lower triangle of A is stored. */
576 /* > \endverbatim */
577 /* > */
578 /* > \param[in] N */
579 /* > \verbatim */
580 /* >          N is INTEGER */
581 /* >          The order of the matrix A.  N >= 0. */
582 /* > \endverbatim */
583 /* > */
584 /* > \param[in,out] A */
585 /* > \verbatim */
586 /* >          A is COMPLEX array, dimension (LDA,N) */
587 /* >          On entry, diagonal of the block diagonal matrix D and */
588 /* >          factors U or L as computed by CHETRF_RK and CHETRF_BK: */
589 /* >            a) ONLY diagonal elements of the Hermitian block diagonal */
590 /* >               matrix D on the diagonal of A, i.e. D(k,k) = A(k,k); */
591 /* >               (superdiagonal (or subdiagonal) elements of D */
592 /* >                should be provided on entry in array E), and */
593 /* >            b) If UPLO = 'U': factor U in the superdiagonal part of A. */
594 /* >               If UPLO = 'L': factor L in the subdiagonal part of A. */
595 /* > */
596 /* >          On exit, if INFO = 0, the Hermitian inverse of the original */
597 /* >          matrix. */
598 /* >             If UPLO = 'U': the upper triangular part of the inverse */
599 /* >             is formed and the part of A below the diagonal is not */
600 /* >             referenced; */
601 /* >             If UPLO = 'L': the lower triangular part of the inverse */
602 /* >             is formed and the part of A above the diagonal is not */
603 /* >             referenced. */
604 /* > \endverbatim */
605 /* > */
606 /* > \param[in] LDA */
607 /* > \verbatim */
608 /* >          LDA is INTEGER */
609 /* >          The leading dimension of the array A.  LDA >= f2cmax(1,N). */
610 /* > \endverbatim */
611 /* > */
612 /* > \param[in] E */
613 /* > \verbatim */
614 /* >          E is COMPLEX array, dimension (N) */
615 /* >          On entry, contains the superdiagonal (or subdiagonal) */
616 /* >          elements of the Hermitian block diagonal matrix D */
617 /* >          with 1-by-1 or 2-by-2 diagonal blocks, where */
618 /* >          If UPLO = 'U': E(i) = D(i-1,i), i=2:N, E(1) not referenced; */
619 /* >          If UPLO = 'L': E(i) = D(i+1,i), i=1:N-1, E(N) not referenced. */
620 /* > */
621 /* >          NOTE: For 1-by-1 diagonal block D(k), where */
622 /* >          1 <= k <= N, the element E(k) is not referenced in both */
623 /* >          UPLO = 'U' or UPLO = 'L' cases. */
624 /* > \endverbatim */
625 /* > */
626 /* > \param[in] IPIV */
627 /* > \verbatim */
628 /* >          IPIV is INTEGER array, dimension (N) */
629 /* >          Details of the interchanges and the block structure of D */
630 /* >          as determined by CHETRF_RK or CHETRF_BK. */
631 /* > \endverbatim */
632 /* > */
633 /* > \param[out] WORK */
634 /* > \verbatim */
635 /* >          WORK is COMPLEX array, dimension (N+NB+1,NB+3). */
636 /* > \endverbatim */
637 /* > */
638 /* > \param[in] NB */
639 /* > \verbatim */
640 /* >          NB is INTEGER */
641 /* >          Block size. */
642 /* > \endverbatim */
643 /* > */
644 /* > \param[out] INFO */
645 /* > \verbatim */
646 /* >          INFO is INTEGER */
647 /* >          = 0: successful exit */
648 /* >          < 0: if INFO = -i, the i-th argument had an illegal value */
649 /* >          > 0: if INFO = i, D(i,i) = 0; the matrix is singular and its */
650 /* >               inverse could not be computed. */
651 /* > \endverbatim */
652
653 /*  Authors: */
654 /*  ======== */
655
656 /* > \author Univ. of Tennessee */
657 /* > \author Univ. of California Berkeley */
658 /* > \author Univ. of Colorado Denver */
659 /* > \author NAG Ltd. */
660
661 /* > \date June 2017 */
662
663 /* > \ingroup complexHEcomputational */
664
665 /* > \par Contributors: */
666 /*  ================== */
667 /* > \verbatim */
668 /* > */
669 /* >  June 2017,  Igor Kozachenko, */
670 /* >                  Computer Science Division, */
671 /* >                  University of California, Berkeley */
672 /* > */
673 /* > \endverbatim */
674
675 /*  ===================================================================== */
676 /* Subroutine */ int chetri_3x_(char *uplo, integer *n, complex *a, integer *
677         lda, complex *e, integer *ipiv, complex *work, integer *nb, integer *
678         info)
679 {
680     /* System generated locals */
681     integer a_dim1, a_offset, work_dim1, work_offset, i__1, i__2, i__3, i__4, 
682             i__5, i__6;
683     real r__1;
684     complex q__1, q__2, q__3;
685
686     /* Local variables */
687     integer invd;
688     extern /* Subroutine */ int cheswapr_(char *, integer *, complex *, 
689             integer *, integer *, integer *);
690     complex akkp1, d__;
691     integer i__, j, k;
692     real t;
693     extern /* Subroutine */ int cgemm_(char *, char *, integer *, integer *, 
694             integer *, complex *, complex *, integer *, complex *, integer *, 
695             complex *, complex *, integer *);
696     extern logical lsame_(char *, char *);
697     extern /* Subroutine */ int ctrmm_(char *, char *, char *, char *, 
698             integer *, integer *, complex *, complex *, integer *, complex *, 
699             integer *);
700     logical upper;
701     real ak;
702     complex u01_i_j__;
703     integer u11;
704     complex u11_i_j__;
705     integer ip;
706     extern /* Subroutine */ int xerbla_(char *, integer *, ftnlen);
707     integer icount;
708     extern /* Subroutine */ int ctrtri_(char *, char *, integer *, complex *, 
709             integer *, integer *);
710     integer nnb, cut;
711     real akp1;
712     complex u01_ip1_j__, u11_ip1_j__;
713
714
715 /*  -- LAPACK computational routine (version 3.7.1) -- */
716 /*  -- LAPACK is a software package provided by Univ. of Tennessee,    -- */
717 /*  -- Univ. of California Berkeley, Univ. of Colorado Denver and NAG Ltd..-- */
718 /*     June 2017 */
719
720
721 /*  ===================================================================== */
722
723
724 /*     Test the input parameters. */
725
726     /* Parameter adjustments */
727     a_dim1 = *lda;
728     a_offset = 1 + a_dim1 * 1;
729     a -= a_offset;
730     --e;
731     --ipiv;
732     work_dim1 = *n + *nb + 1;
733     work_offset = 1 + work_dim1 * 1;
734     work -= work_offset;
735
736     /* Function Body */
737     *info = 0;
738     upper = lsame_(uplo, "U");
739     if (! upper && ! lsame_(uplo, "L")) {
740         *info = -1;
741     } else if (*n < 0) {
742         *info = -2;
743     } else if (*lda < f2cmax(1,*n)) {
744         *info = -4;
745     }
746
747 /*     Quick return if possible */
748
749     if (*info != 0) {
750         i__1 = -(*info);
751         xerbla_("CHETRI_3X", &i__1, (ftnlen)9);
752         return 0;
753     }
754     if (*n == 0) {
755         return 0;
756     }
757
758 /*     Workspace got Non-diag elements of D */
759
760     i__1 = *n;
761     for (k = 1; k <= i__1; ++k) {
762         i__2 = k + work_dim1;
763         i__3 = k;
764         work[i__2].r = e[i__3].r, work[i__2].i = e[i__3].i;
765     }
766
767 /*     Check that the diagonal matrix D is nonsingular. */
768
769     if (upper) {
770
771 /*        Upper triangular storage: examine D from bottom to top */
772
773         for (*info = *n; *info >= 1; --(*info)) {
774             i__1 = *info + *info * a_dim1;
775             if (ipiv[*info] > 0 && (a[i__1].r == 0.f && a[i__1].i == 0.f)) {
776                 return 0;
777             }
778         }
779     } else {
780
781 /*        Lower triangular storage: examine D from top to bottom. */
782
783         i__1 = *n;
784         for (*info = 1; *info <= i__1; ++(*info)) {
785             i__2 = *info + *info * a_dim1;
786             if (ipiv[*info] > 0 && (a[i__2].r == 0.f && a[i__2].i == 0.f)) {
787                 return 0;
788             }
789         }
790     }
791
792     *info = 0;
793
794 /*     Splitting Workspace */
795 /*     U01 is a block ( N, NB+1 ) */
796 /*     The first element of U01 is in WORK( 1, 1 ) */
797 /*     U11 is a block ( NB+1, NB+1 ) */
798 /*     The first element of U11 is in WORK( N+1, 1 ) */
799
800     u11 = *n;
801
802 /*     INVD is a block ( N, 2 ) */
803 /*     The first element of INVD is in WORK( 1, INVD ) */
804
805     invd = *nb + 2;
806     if (upper) {
807
808 /*        Begin Upper */
809
810 /*        invA = P * inv(U**H) * inv(D) * inv(U) * P**T. */
811
812         ctrtri_(uplo, "U", n, &a[a_offset], lda, info);
813
814 /*        inv(D) and inv(D) * inv(U) */
815
816         k = 1;
817         while(k <= *n) {
818             if (ipiv[k] > 0) {
819 /*              1 x 1 diagonal NNB */
820                 i__1 = k + invd * work_dim1;
821                 i__2 = k + k * a_dim1;
822                 r__1 = 1.f / a[i__2].r;
823                 work[i__1].r = r__1, work[i__1].i = 0.f;
824                 i__1 = k + (invd + 1) * work_dim1;
825                 work[i__1].r = 0.f, work[i__1].i = 0.f;
826             } else {
827 /*              2 x 2 diagonal NNB */
828                 t = c_abs(&work[k + 1 + work_dim1]);
829                 i__1 = k + k * a_dim1;
830                 ak = a[i__1].r / t;
831                 i__1 = k + 1 + (k + 1) * a_dim1;
832                 akp1 = a[i__1].r / t;
833                 i__1 = k + 1 + work_dim1;
834                 q__1.r = work[i__1].r / t, q__1.i = work[i__1].i / t;
835                 akkp1.r = q__1.r, akkp1.i = q__1.i;
836                 r__1 = ak * akp1;
837                 q__2.r = r__1 - 1.f, q__2.i = 0.f;
838                 q__1.r = t * q__2.r, q__1.i = t * q__2.i;
839                 d__.r = q__1.r, d__.i = q__1.i;
840                 i__1 = k + invd * work_dim1;
841                 q__2.r = akp1, q__2.i = 0.f;
842                 c_div(&q__1, &q__2, &d__);
843                 work[i__1].r = q__1.r, work[i__1].i = q__1.i;
844                 i__1 = k + 1 + (invd + 1) * work_dim1;
845                 q__2.r = ak, q__2.i = 0.f;
846                 c_div(&q__1, &q__2, &d__);
847                 work[i__1].r = q__1.r, work[i__1].i = q__1.i;
848                 i__1 = k + (invd + 1) * work_dim1;
849                 q__2.r = -akkp1.r, q__2.i = -akkp1.i;
850                 c_div(&q__1, &q__2, &d__);
851                 work[i__1].r = q__1.r, work[i__1].i = q__1.i;
852                 i__1 = k + 1 + invd * work_dim1;
853                 r_cnjg(&q__1, &work[k + (invd + 1) * work_dim1]);
854                 work[i__1].r = q__1.r, work[i__1].i = q__1.i;
855                 ++k;
856             }
857             ++k;
858         }
859
860 /*        inv(U**H) = (inv(U))**H */
861
862 /*        inv(U**H) * inv(D) * inv(U) */
863
864         cut = *n;
865         while(cut > 0) {
866             nnb = *nb;
867             if (cut <= nnb) {
868                 nnb = cut;
869             } else {
870                 icount = 0;
871 /*              count negative elements, */
872                 i__1 = cut;
873                 for (i__ = cut + 1 - nnb; i__ <= i__1; ++i__) {
874                     if (ipiv[i__] < 0) {
875                         ++icount;
876                     }
877                 }
878 /*              need a even number for a clear cut */
879                 if (icount % 2 == 1) {
880                     ++nnb;
881                 }
882             }
883             cut -= nnb;
884
885 /*           U01 Block */
886
887             i__1 = cut;
888             for (i__ = 1; i__ <= i__1; ++i__) {
889                 i__2 = nnb;
890                 for (j = 1; j <= i__2; ++j) {
891                     i__3 = i__ + j * work_dim1;
892                     i__4 = i__ + (cut + j) * a_dim1;
893                     work[i__3].r = a[i__4].r, work[i__3].i = a[i__4].i;
894                 }
895             }
896
897 /*           U11 Block */
898
899             i__1 = nnb;
900             for (i__ = 1; i__ <= i__1; ++i__) {
901                 i__2 = u11 + i__ + i__ * work_dim1;
902                 work[i__2].r = 1.f, work[i__2].i = 0.f;
903                 i__2 = i__ - 1;
904                 for (j = 1; j <= i__2; ++j) {
905                     i__3 = u11 + i__ + j * work_dim1;
906                     work[i__3].r = 0.f, work[i__3].i = 0.f;
907                 }
908                 i__2 = nnb;
909                 for (j = i__ + 1; j <= i__2; ++j) {
910                     i__3 = u11 + i__ + j * work_dim1;
911                     i__4 = cut + i__ + (cut + j) * a_dim1;
912                     work[i__3].r = a[i__4].r, work[i__3].i = a[i__4].i;
913                 }
914             }
915
916 /*           invD * U01 */
917
918             i__ = 1;
919             while(i__ <= cut) {
920                 if (ipiv[i__] > 0) {
921                     i__1 = nnb;
922                     for (j = 1; j <= i__1; ++j) {
923                         i__2 = i__ + j * work_dim1;
924                         i__3 = i__ + invd * work_dim1;
925                         i__4 = i__ + j * work_dim1;
926                         q__1.r = work[i__3].r * work[i__4].r - work[i__3].i * 
927                                 work[i__4].i, q__1.i = work[i__3].r * work[
928                                 i__4].i + work[i__3].i * work[i__4].r;
929                         work[i__2].r = q__1.r, work[i__2].i = q__1.i;
930                     }
931                 } else {
932                     i__1 = nnb;
933                     for (j = 1; j <= i__1; ++j) {
934                         i__2 = i__ + j * work_dim1;
935                         u01_i_j__.r = work[i__2].r, u01_i_j__.i = work[i__2]
936                                 .i;
937                         i__2 = i__ + 1 + j * work_dim1;
938                         u01_ip1_j__.r = work[i__2].r, u01_ip1_j__.i = work[
939                                 i__2].i;
940                         i__2 = i__ + j * work_dim1;
941                         i__3 = i__ + invd * work_dim1;
942                         q__2.r = work[i__3].r * u01_i_j__.r - work[i__3].i * 
943                                 u01_i_j__.i, q__2.i = work[i__3].r * 
944                                 u01_i_j__.i + work[i__3].i * u01_i_j__.r;
945                         i__4 = i__ + (invd + 1) * work_dim1;
946                         q__3.r = work[i__4].r * u01_ip1_j__.r - work[i__4].i *
947                                  u01_ip1_j__.i, q__3.i = work[i__4].r * 
948                                 u01_ip1_j__.i + work[i__4].i * u01_ip1_j__.r;
949                         q__1.r = q__2.r + q__3.r, q__1.i = q__2.i + q__3.i;
950                         work[i__2].r = q__1.r, work[i__2].i = q__1.i;
951                         i__2 = i__ + 1 + j * work_dim1;
952                         i__3 = i__ + 1 + invd * work_dim1;
953                         q__2.r = work[i__3].r * u01_i_j__.r - work[i__3].i * 
954                                 u01_i_j__.i, q__2.i = work[i__3].r * 
955                                 u01_i_j__.i + work[i__3].i * u01_i_j__.r;
956                         i__4 = i__ + 1 + (invd + 1) * work_dim1;
957                         q__3.r = work[i__4].r * u01_ip1_j__.r - work[i__4].i *
958                                  u01_ip1_j__.i, q__3.i = work[i__4].r * 
959                                 u01_ip1_j__.i + work[i__4].i * u01_ip1_j__.r;
960                         q__1.r = q__2.r + q__3.r, q__1.i = q__2.i + q__3.i;
961                         work[i__2].r = q__1.r, work[i__2].i = q__1.i;
962                     }
963                     ++i__;
964                 }
965                 ++i__;
966             }
967
968 /*           invD1 * U11 */
969
970             i__ = 1;
971             while(i__ <= nnb) {
972                 if (ipiv[cut + i__] > 0) {
973                     i__1 = nnb;
974                     for (j = i__; j <= i__1; ++j) {
975                         i__2 = u11 + i__ + j * work_dim1;
976                         i__3 = cut + i__ + invd * work_dim1;
977                         i__4 = u11 + i__ + j * work_dim1;
978                         q__1.r = work[i__3].r * work[i__4].r - work[i__3].i * 
979                                 work[i__4].i, q__1.i = work[i__3].r * work[
980                                 i__4].i + work[i__3].i * work[i__4].r;
981                         work[i__2].r = q__1.r, work[i__2].i = q__1.i;
982                     }
983                 } else {
984                     i__1 = nnb;
985                     for (j = i__; j <= i__1; ++j) {
986                         i__2 = u11 + i__ + j * work_dim1;
987                         u11_i_j__.r = work[i__2].r, u11_i_j__.i = work[i__2]
988                                 .i;
989                         i__2 = u11 + i__ + 1 + j * work_dim1;
990                         u11_ip1_j__.r = work[i__2].r, u11_ip1_j__.i = work[
991                                 i__2].i;
992                         i__2 = u11 + i__ + j * work_dim1;
993                         i__3 = cut + i__ + invd * work_dim1;
994                         i__4 = u11 + i__ + j * work_dim1;
995                         q__2.r = work[i__3].r * work[i__4].r - work[i__3].i * 
996                                 work[i__4].i, q__2.i = work[i__3].r * work[
997                                 i__4].i + work[i__3].i * work[i__4].r;
998                         i__5 = cut + i__ + (invd + 1) * work_dim1;
999                         i__6 = u11 + i__ + 1 + j * work_dim1;
1000                         q__3.r = work[i__5].r * work[i__6].r - work[i__5].i * 
1001                                 work[i__6].i, q__3.i = work[i__5].r * work[
1002                                 i__6].i + work[i__5].i * work[i__6].r;
1003                         q__1.r = q__2.r + q__3.r, q__1.i = q__2.i + q__3.i;
1004                         work[i__2].r = q__1.r, work[i__2].i = q__1.i;
1005                         i__2 = u11 + i__ + 1 + j * work_dim1;
1006                         i__3 = cut + i__ + 1 + invd * work_dim1;
1007                         q__2.r = work[i__3].r * u11_i_j__.r - work[i__3].i * 
1008                                 u11_i_j__.i, q__2.i = work[i__3].r * 
1009                                 u11_i_j__.i + work[i__3].i * u11_i_j__.r;
1010                         i__4 = cut + i__ + 1 + (invd + 1) * work_dim1;
1011                         q__3.r = work[i__4].r * u11_ip1_j__.r - work[i__4].i *
1012                                  u11_ip1_j__.i, q__3.i = work[i__4].r * 
1013                                 u11_ip1_j__.i + work[i__4].i * u11_ip1_j__.r;
1014                         q__1.r = q__2.r + q__3.r, q__1.i = q__2.i + q__3.i;
1015                         work[i__2].r = q__1.r, work[i__2].i = q__1.i;
1016                     }
1017                     ++i__;
1018                 }
1019                 ++i__;
1020             }
1021
1022 /*           U11**H * invD1 * U11 -> U11 */
1023
1024             i__1 = *n + *nb + 1;
1025             ctrmm_("L", "U", "C", "U", &nnb, &nnb, &c_b1, &a[cut + 1 + (cut + 
1026                     1) * a_dim1], lda, &work[u11 + 1 + work_dim1], &i__1);
1027
1028             i__1 = nnb;
1029             for (i__ = 1; i__ <= i__1; ++i__) {
1030                 i__2 = nnb;
1031                 for (j = i__; j <= i__2; ++j) {
1032                     i__3 = cut + i__ + (cut + j) * a_dim1;
1033                     i__4 = u11 + i__ + j * work_dim1;
1034                     a[i__3].r = work[i__4].r, a[i__3].i = work[i__4].i;
1035                 }
1036             }
1037
1038 /*           U01**H * invD * U01 -> A( CUT+I, CUT+J ) */
1039
1040             i__1 = *n + *nb + 1;
1041             i__2 = *n + *nb + 1;
1042             cgemm_("C", "N", &nnb, &nnb, &cut, &c_b1, &a[(cut + 1) * a_dim1 + 
1043                     1], lda, &work[work_offset], &i__1, &c_b2, &work[u11 + 1 
1044                     + work_dim1], &i__2);
1045
1046 /*           U11 =  U11**H * invD1 * U11 + U01**H * invD * U01 */
1047
1048             i__1 = nnb;
1049             for (i__ = 1; i__ <= i__1; ++i__) {
1050                 i__2 = nnb;
1051                 for (j = i__; j <= i__2; ++j) {
1052                     i__3 = cut + i__ + (cut + j) * a_dim1;
1053                     i__4 = cut + i__ + (cut + j) * a_dim1;
1054                     i__5 = u11 + i__ + j * work_dim1;
1055                     q__1.r = a[i__4].r + work[i__5].r, q__1.i = a[i__4].i + 
1056                             work[i__5].i;
1057                     a[i__3].r = q__1.r, a[i__3].i = q__1.i;
1058                 }
1059             }
1060
1061 /*           U01 =  U00**H * invD0 * U01 */
1062
1063             i__1 = *n + *nb + 1;
1064             ctrmm_("L", uplo, "C", "U", &cut, &nnb, &c_b1, &a[a_offset], lda, 
1065                     &work[work_offset], &i__1);
1066
1067 /*           Update U01 */
1068
1069             i__1 = cut;
1070             for (i__ = 1; i__ <= i__1; ++i__) {
1071                 i__2 = nnb;
1072                 for (j = 1; j <= i__2; ++j) {
1073                     i__3 = i__ + (cut + j) * a_dim1;
1074                     i__4 = i__ + j * work_dim1;
1075                     a[i__3].r = work[i__4].r, a[i__3].i = work[i__4].i;
1076                 }
1077             }
1078
1079 /*           Next Block */
1080
1081         }
1082
1083 /*        Apply PERMUTATIONS P and P**T: */
1084 /*        P * inv(U**H) * inv(D) * inv(U) * P**T. */
1085 /*        Interchange rows and columns I and IPIV(I) in reverse order */
1086 /*        from the formation order of IPIV vector for Upper case. */
1087
1088 /*        ( We can use a loop over IPIV with increment 1, */
1089 /*        since the ABS value of IPIV(I) represents the row (column) */
1090 /*        index of the interchange with row (column) i in both 1x1 */
1091 /*        and 2x2 pivot cases, i.e. we don't need separate code branches */
1092 /*        for 1x1 and 2x2 pivot cases ) */
1093
1094         i__1 = *n;
1095         for (i__ = 1; i__ <= i__1; ++i__) {
1096             ip = (i__2 = ipiv[i__], abs(i__2));
1097             if (ip != i__) {
1098                 if (i__ < ip) {
1099                     cheswapr_(uplo, n, &a[a_offset], lda, &i__, &ip);
1100                 }
1101                 if (i__ > ip) {
1102                     cheswapr_(uplo, n, &a[a_offset], lda, &ip, &i__);
1103                 }
1104             }
1105         }
1106
1107     } else {
1108
1109 /*        Begin Lower */
1110
1111 /*        inv A = P * inv(L**H) * inv(D) * inv(L) * P**T. */
1112
1113         ctrtri_(uplo, "U", n, &a[a_offset], lda, info);
1114
1115 /*        inv(D) and inv(D) * inv(L) */
1116
1117         k = *n;
1118         while(k >= 1) {
1119             if (ipiv[k] > 0) {
1120 /*              1 x 1 diagonal NNB */
1121                 i__1 = k + invd * work_dim1;
1122                 i__2 = k + k * a_dim1;
1123                 r__1 = 1.f / a[i__2].r;
1124                 work[i__1].r = r__1, work[i__1].i = 0.f;
1125                 i__1 = k + (invd + 1) * work_dim1;
1126                 work[i__1].r = 0.f, work[i__1].i = 0.f;
1127             } else {
1128 /*              2 x 2 diagonal NNB */
1129                 t = c_abs(&work[k - 1 + work_dim1]);
1130                 i__1 = k - 1 + (k - 1) * a_dim1;
1131                 ak = a[i__1].r / t;
1132                 i__1 = k + k * a_dim1;
1133                 akp1 = a[i__1].r / t;
1134                 i__1 = k - 1 + work_dim1;
1135                 q__1.r = work[i__1].r / t, q__1.i = work[i__1].i / t;
1136                 akkp1.r = q__1.r, akkp1.i = q__1.i;
1137                 r__1 = ak * akp1;
1138                 q__2.r = r__1 - 1.f, q__2.i = 0.f;
1139                 q__1.r = t * q__2.r, q__1.i = t * q__2.i;
1140                 d__.r = q__1.r, d__.i = q__1.i;
1141                 i__1 = k - 1 + invd * work_dim1;
1142                 q__2.r = akp1, q__2.i = 0.f;
1143                 c_div(&q__1, &q__2, &d__);
1144                 work[i__1].r = q__1.r, work[i__1].i = q__1.i;
1145                 i__1 = k + invd * work_dim1;
1146                 q__2.r = ak, q__2.i = 0.f;
1147                 c_div(&q__1, &q__2, &d__);
1148                 work[i__1].r = q__1.r, work[i__1].i = q__1.i;
1149                 i__1 = k + (invd + 1) * work_dim1;
1150                 q__2.r = -akkp1.r, q__2.i = -akkp1.i;
1151                 c_div(&q__1, &q__2, &d__);
1152                 work[i__1].r = q__1.r, work[i__1].i = q__1.i;
1153                 i__1 = k - 1 + (invd + 1) * work_dim1;
1154                 r_cnjg(&q__1, &work[k + (invd + 1) * work_dim1]);
1155                 work[i__1].r = q__1.r, work[i__1].i = q__1.i;
1156                 --k;
1157             }
1158             --k;
1159         }
1160
1161 /*        inv(L**H) = (inv(L))**H */
1162
1163 /*        inv(L**H) * inv(D) * inv(L) */
1164
1165         cut = 0;
1166         while(cut < *n) {
1167             nnb = *nb;
1168             if (cut + nnb > *n) {
1169                 nnb = *n - cut;
1170             } else {
1171                 icount = 0;
1172 /*              count negative elements, */
1173                 i__1 = cut + nnb;
1174                 for (i__ = cut + 1; i__ <= i__1; ++i__) {
1175                     if (ipiv[i__] < 0) {
1176                         ++icount;
1177                     }
1178                 }
1179 /*              need a even number for a clear cut */
1180                 if (icount % 2 == 1) {
1181                     ++nnb;
1182                 }
1183             }
1184
1185 /*           L21 Block */
1186
1187             i__1 = *n - cut - nnb;
1188             for (i__ = 1; i__ <= i__1; ++i__) {
1189                 i__2 = nnb;
1190                 for (j = 1; j <= i__2; ++j) {
1191                     i__3 = i__ + j * work_dim1;
1192                     i__4 = cut + nnb + i__ + (cut + j) * a_dim1;
1193                     work[i__3].r = a[i__4].r, work[i__3].i = a[i__4].i;
1194                 }
1195             }
1196
1197 /*           L11 Block */
1198
1199             i__1 = nnb;
1200             for (i__ = 1; i__ <= i__1; ++i__) {
1201                 i__2 = u11 + i__ + i__ * work_dim1;
1202                 work[i__2].r = 1.f, work[i__2].i = 0.f;
1203                 i__2 = nnb;
1204                 for (j = i__ + 1; j <= i__2; ++j) {
1205                     i__3 = u11 + i__ + j * work_dim1;
1206                     work[i__3].r = 0.f, work[i__3].i = 0.f;
1207                 }
1208                 i__2 = i__ - 1;
1209                 for (j = 1; j <= i__2; ++j) {
1210                     i__3 = u11 + i__ + j * work_dim1;
1211                     i__4 = cut + i__ + (cut + j) * a_dim1;
1212                     work[i__3].r = a[i__4].r, work[i__3].i = a[i__4].i;
1213                 }
1214             }
1215
1216 /*           invD*L21 */
1217
1218             i__ = *n - cut - nnb;
1219             while(i__ >= 1) {
1220                 if (ipiv[cut + nnb + i__] > 0) {
1221                     i__1 = nnb;
1222                     for (j = 1; j <= i__1; ++j) {
1223                         i__2 = i__ + j * work_dim1;
1224                         i__3 = cut + nnb + i__ + invd * work_dim1;
1225                         i__4 = i__ + j * work_dim1;
1226                         q__1.r = work[i__3].r * work[i__4].r - work[i__3].i * 
1227                                 work[i__4].i, q__1.i = work[i__3].r * work[
1228                                 i__4].i + work[i__3].i * work[i__4].r;
1229                         work[i__2].r = q__1.r, work[i__2].i = q__1.i;
1230                     }
1231                 } else {
1232                     i__1 = nnb;
1233                     for (j = 1; j <= i__1; ++j) {
1234                         i__2 = i__ + j * work_dim1;
1235                         u01_i_j__.r = work[i__2].r, u01_i_j__.i = work[i__2]
1236                                 .i;
1237                         i__2 = i__ - 1 + j * work_dim1;
1238                         u01_ip1_j__.r = work[i__2].r, u01_ip1_j__.i = work[
1239                                 i__2].i;
1240                         i__2 = i__ + j * work_dim1;
1241                         i__3 = cut + nnb + i__ + invd * work_dim1;
1242                         q__2.r = work[i__3].r * u01_i_j__.r - work[i__3].i * 
1243                                 u01_i_j__.i, q__2.i = work[i__3].r * 
1244                                 u01_i_j__.i + work[i__3].i * u01_i_j__.r;
1245                         i__4 = cut + nnb + i__ + (invd + 1) * work_dim1;
1246                         q__3.r = work[i__4].r * u01_ip1_j__.r - work[i__4].i *
1247                                  u01_ip1_j__.i, q__3.i = work[i__4].r * 
1248                                 u01_ip1_j__.i + work[i__4].i * u01_ip1_j__.r;
1249                         q__1.r = q__2.r + q__3.r, q__1.i = q__2.i + q__3.i;
1250                         work[i__2].r = q__1.r, work[i__2].i = q__1.i;
1251                         i__2 = i__ - 1 + j * work_dim1;
1252                         i__3 = cut + nnb + i__ - 1 + (invd + 1) * work_dim1;
1253                         q__2.r = work[i__3].r * u01_i_j__.r - work[i__3].i * 
1254                                 u01_i_j__.i, q__2.i = work[i__3].r * 
1255                                 u01_i_j__.i + work[i__3].i * u01_i_j__.r;
1256                         i__4 = cut + nnb + i__ - 1 + invd * work_dim1;
1257                         q__3.r = work[i__4].r * u01_ip1_j__.r - work[i__4].i *
1258                                  u01_ip1_j__.i, q__3.i = work[i__4].r * 
1259                                 u01_ip1_j__.i + work[i__4].i * u01_ip1_j__.r;
1260                         q__1.r = q__2.r + q__3.r, q__1.i = q__2.i + q__3.i;
1261                         work[i__2].r = q__1.r, work[i__2].i = q__1.i;
1262                     }
1263                     --i__;
1264                 }
1265                 --i__;
1266             }
1267
1268 /*           invD1*L11 */
1269
1270             i__ = nnb;
1271             while(i__ >= 1) {
1272                 if (ipiv[cut + i__] > 0) {
1273                     i__1 = nnb;
1274                     for (j = 1; j <= i__1; ++j) {
1275                         i__2 = u11 + i__ + j * work_dim1;
1276                         i__3 = cut + i__ + invd * work_dim1;
1277                         i__4 = u11 + i__ + j * work_dim1;
1278                         q__1.r = work[i__3].r * work[i__4].r - work[i__3].i * 
1279                                 work[i__4].i, q__1.i = work[i__3].r * work[
1280                                 i__4].i + work[i__3].i * work[i__4].r;
1281                         work[i__2].r = q__1.r, work[i__2].i = q__1.i;
1282                     }
1283                 } else {
1284                     i__1 = nnb;
1285                     for (j = 1; j <= i__1; ++j) {
1286                         i__2 = u11 + i__ + j * work_dim1;
1287                         u11_i_j__.r = work[i__2].r, u11_i_j__.i = work[i__2]
1288                                 .i;
1289                         i__2 = u11 + i__ - 1 + j * work_dim1;
1290                         u11_ip1_j__.r = work[i__2].r, u11_ip1_j__.i = work[
1291                                 i__2].i;
1292                         i__2 = u11 + i__ + j * work_dim1;
1293                         i__3 = cut + i__ + invd * work_dim1;
1294                         i__4 = u11 + i__ + j * work_dim1;
1295                         q__2.r = work[i__3].r * work[i__4].r - work[i__3].i * 
1296                                 work[i__4].i, q__2.i = work[i__3].r * work[
1297                                 i__4].i + work[i__3].i * work[i__4].r;
1298                         i__5 = cut + i__ + (invd + 1) * work_dim1;
1299                         q__3.r = work[i__5].r * u11_ip1_j__.r - work[i__5].i *
1300                                  u11_ip1_j__.i, q__3.i = work[i__5].r * 
1301                                 u11_ip1_j__.i + work[i__5].i * u11_ip1_j__.r;
1302                         q__1.r = q__2.r + q__3.r, q__1.i = q__2.i + q__3.i;
1303                         work[i__2].r = q__1.r, work[i__2].i = q__1.i;
1304                         i__2 = u11 + i__ - 1 + j * work_dim1;
1305                         i__3 = cut + i__ - 1 + (invd + 1) * work_dim1;
1306                         q__2.r = work[i__3].r * u11_i_j__.r - work[i__3].i * 
1307                                 u11_i_j__.i, q__2.i = work[i__3].r * 
1308                                 u11_i_j__.i + work[i__3].i * u11_i_j__.r;
1309                         i__4 = cut + i__ - 1 + invd * work_dim1;
1310                         q__3.r = work[i__4].r * u11_ip1_j__.r - work[i__4].i *
1311                                  u11_ip1_j__.i, q__3.i = work[i__4].r * 
1312                                 u11_ip1_j__.i + work[i__4].i * u11_ip1_j__.r;
1313                         q__1.r = q__2.r + q__3.r, q__1.i = q__2.i + q__3.i;
1314                         work[i__2].r = q__1.r, work[i__2].i = q__1.i;
1315                     }
1316                     --i__;
1317                 }
1318                 --i__;
1319             }
1320
1321 /*           L11**H * invD1 * L11 -> L11 */
1322
1323             i__1 = *n + *nb + 1;
1324             ctrmm_("L", uplo, "C", "U", &nnb, &nnb, &c_b1, &a[cut + 1 + (cut 
1325                     + 1) * a_dim1], lda, &work[u11 + 1 + work_dim1], &i__1);
1326
1327             i__1 = nnb;
1328             for (i__ = 1; i__ <= i__1; ++i__) {
1329                 i__2 = i__;
1330                 for (j = 1; j <= i__2; ++j) {
1331                     i__3 = cut + i__ + (cut + j) * a_dim1;
1332                     i__4 = u11 + i__ + j * work_dim1;
1333                     a[i__3].r = work[i__4].r, a[i__3].i = work[i__4].i;
1334                 }
1335             }
1336
1337             if (cut + nnb < *n) {
1338
1339 /*              L21**H * invD2*L21 -> A( CUT+I, CUT+J ) */
1340
1341                 i__1 = *n - nnb - cut;
1342                 i__2 = *n + *nb + 1;
1343                 i__3 = *n + *nb + 1;
1344                 cgemm_("C", "N", &nnb, &nnb, &i__1, &c_b1, &a[cut + nnb + 1 + 
1345                         (cut + 1) * a_dim1], lda, &work[work_offset], &i__2, &
1346                         c_b2, &work[u11 + 1 + work_dim1], &i__3);
1347
1348 /*              L11 =  L11**H * invD1 * L11 + U01**H * invD * U01 */
1349
1350                 i__1 = nnb;
1351                 for (i__ = 1; i__ <= i__1; ++i__) {
1352                     i__2 = i__;
1353                     for (j = 1; j <= i__2; ++j) {
1354                         i__3 = cut + i__ + (cut + j) * a_dim1;
1355                         i__4 = cut + i__ + (cut + j) * a_dim1;
1356                         i__5 = u11 + i__ + j * work_dim1;
1357                         q__1.r = a[i__4].r + work[i__5].r, q__1.i = a[i__4].i 
1358                                 + work[i__5].i;
1359                         a[i__3].r = q__1.r, a[i__3].i = q__1.i;
1360                     }
1361                 }
1362
1363 /*              L01 =  L22**H * invD2 * L21 */
1364
1365                 i__1 = *n - nnb - cut;
1366                 i__2 = *n + *nb + 1;
1367                 ctrmm_("L", uplo, "C", "U", &i__1, &nnb, &c_b1, &a[cut + nnb 
1368                         + 1 + (cut + nnb + 1) * a_dim1], lda, &work[
1369                         work_offset], &i__2);
1370
1371 /*              Update L21 */
1372
1373                 i__1 = *n - cut - nnb;
1374                 for (i__ = 1; i__ <= i__1; ++i__) {
1375                     i__2 = nnb;
1376                     for (j = 1; j <= i__2; ++j) {
1377                         i__3 = cut + nnb + i__ + (cut + j) * a_dim1;
1378                         i__4 = i__ + j * work_dim1;
1379                         a[i__3].r = work[i__4].r, a[i__3].i = work[i__4].i;
1380                     }
1381                 }
1382
1383             } else {
1384
1385 /*              L11 =  L11**H * invD1 * L11 */
1386
1387                 i__1 = nnb;
1388                 for (i__ = 1; i__ <= i__1; ++i__) {
1389                     i__2 = i__;
1390                     for (j = 1; j <= i__2; ++j) {
1391                         i__3 = cut + i__ + (cut + j) * a_dim1;
1392                         i__4 = u11 + i__ + j * work_dim1;
1393                         a[i__3].r = work[i__4].r, a[i__3].i = work[i__4].i;
1394                     }
1395                 }
1396             }
1397
1398 /*           Next Block */
1399
1400             cut += nnb;
1401
1402         }
1403
1404 /*        Apply PERMUTATIONS P and P**T: */
1405 /*        P * inv(L**H) * inv(D) * inv(L) * P**T. */
1406 /*        Interchange rows and columns I and IPIV(I) in reverse order */
1407 /*        from the formation order of IPIV vector for Lower case. */
1408
1409 /*        ( We can use a loop over IPIV with increment -1, */
1410 /*        since the ABS value of IPIV(I) represents the row (column) */
1411 /*        index of the interchange with row (column) i in both 1x1 */
1412 /*        and 2x2 pivot cases, i.e. we don't need separate code branches */
1413 /*        for 1x1 and 2x2 pivot cases ) */
1414
1415         for (i__ = *n; i__ >= 1; --i__) {
1416             ip = (i__1 = ipiv[i__], abs(i__1));
1417             if (ip != i__) {
1418                 if (i__ < ip) {
1419                     cheswapr_(uplo, n, &a[a_offset], lda, &i__, &ip);
1420                 }
1421                 if (i__ > ip) {
1422                     cheswapr_(uplo, n, &a[a_offset], lda, &ip, &i__);
1423                 }
1424             }
1425         }
1426
1427     }
1428
1429     return 0;
1430
1431 /*     End of CHETRI_3X */
1432
1433 } /* chetri_3x__ */
1434