fs/ntfs3/frecord.c

   1 // SPDX-License-Identifier: GPL-2.0
   2 /*
   3  *
   4  * Copyright (C) 2019-2021 Paragon Software GmbH, All rights reserved.
   5  *
   6  */
   7
   8 #include <linux/fiemap.h>
   9 #include <linux/fs.h>
  10 #include <linux/minmax.h>
  11 #include <linux/vmalloc.h>
  12
  13 #include "debug.h"
  14 #include "ntfs.h"
  15 #include "ntfs_fs.h"
  16 #ifdef CONFIG_NTFS3_LZX_XPRESS
  17 #include "lib/lib.h"
  18 #endif
  19
  20 static struct mft_inode *ni_ins_mi(struct ntfs_inode *ni, struct rb_root *tree,
  21                                    CLST ino, struct rb_node *ins)
  22 {
  23         struct rb_node **p = &tree->rb_node;
  24         struct rb_node *pr = NULL;
  25
  26         while (*p) {
  27                 struct mft_inode *mi;
  28
  29                 pr = *p;
  30                 mi = rb_entry(pr, struct mft_inode, node);
  31                 if (mi->rno > ino)
  32                         p = &pr->rb_left;
  33                 else if (mi->rno < ino)
  34                         p = &pr->rb_right;
  35                 else
  36                         return mi;
  37         }
  38
  39         if (!ins)
  40                 return NULL;
  41
  42         rb_link_node(ins, pr, p);
  43         rb_insert_color(ins, tree);
  44         return rb_entry(ins, struct mft_inode, node);
  45 }
  46
  47 /*
  48  * ni_find_mi - Find mft_inode by record number.
  49  */
  50 static struct mft_inode *ni_find_mi(struct ntfs_inode *ni, CLST rno)
  51 {
  52         return ni_ins_mi(ni, &ni->mi_tree, rno, NULL);
  53 }
  54
  55 /*
  56  * ni_add_mi - Add new mft_inode into ntfs_inode.
  57  */
  58 static void ni_add_mi(struct ntfs_inode *ni, struct mft_inode *mi)
  59 {
  60         ni_ins_mi(ni, &ni->mi_tree, mi->rno, &mi->node);
  61 }
  62
  63 /*
  64  * ni_remove_mi - Remove mft_inode from ntfs_inode.
  65  */
  66 void ni_remove_mi(struct ntfs_inode *ni, struct mft_inode *mi)
  67 {
  68         rb_erase(&mi->node, &ni->mi_tree);
  69 }
  70
  71 /*
  72  * ni_std - Return: Pointer into std_info from primary record.
  73  */
  74 struct ATTR_STD_INFO *ni_std(struct ntfs_inode *ni)
  75 {
  76         const struct ATTRIB *attr;
  77
  78         attr = mi_find_attr(&ni->mi, NULL, ATTR_STD, NULL, 0, NULL);
  79         return attr ? resident_data_ex(attr, sizeof(struct ATTR_STD_INFO)) :
  80                             NULL;
  81 }
  82
  83 /*
  84  * ni_std5
  85  *
  86  * Return: Pointer into std_info from primary record.
  87  */
  88 struct ATTR_STD_INFO5 *ni_std5(struct ntfs_inode *ni)
  89 {
  90         const struct ATTRIB *attr;
  91
  92         attr = mi_find_attr(&ni->mi, NULL, ATTR_STD, NULL, 0, NULL);
  93
  94         return attr ? resident_data_ex(attr, sizeof(struct ATTR_STD_INFO5)) :
  95                             NULL;
  96 }
  97
  98 /*
  99  * ni_clear - Clear resources allocated by ntfs_inode.
 100  */
 101 void ni_clear(struct ntfs_inode *ni)
 102 {
 103         struct rb_node *node;
 104
 105         if (!ni->vfs_inode.i_nlink && ni->mi.mrec && is_rec_inuse(ni->mi.mrec))
 106                 ni_delete_all(ni);
 107
 108         al_destroy(ni);
 109
 110         for (node = rb_first(&ni->mi_tree); node;) {
 111                 struct rb_node *next = rb_next(node);
 112                 struct mft_inode *mi = rb_entry(node, struct mft_inode, node);
 113
 114                 rb_erase(node, &ni->mi_tree);
 115                 mi_put(mi);
 116                 node = next;
 117         }
 118
 119         /* Bad inode always has mode == S_IFREG. */
 120         if (ni->ni_flags & NI_FLAG_DIR)
 121                 indx_clear(&ni->dir);
 122         else {
 123                 run_close(&ni->file.run);
 124 #ifdef CONFIG_NTFS3_LZX_XPRESS
 125                 if (ni->file.offs_page) {
 126                         /* On-demand allocated page for offsets. */
 127                         put_page(ni->file.offs_page);
 128                         ni->file.offs_page = NULL;
 129                 }
 130 #endif
 131         }
 132
 133         mi_clear(&ni->mi);
 134 }
 135
 136 /*
 137  * ni_load_mi_ex - Find mft_inode by record number.
 138  */
 139 int ni_load_mi_ex(struct ntfs_inode *ni, CLST rno, struct mft_inode **mi)
 140 {
 141         int err;
 142         struct mft_inode *r;
 143
 144         r = ni_find_mi(ni, rno);
 145         if (r)
 146                 goto out;
 147
 148         err = mi_get(ni->mi.sbi, rno, &r);
 149         if (err)
 150                 return err;
 151
 152         ni_add_mi(ni, r);
 153
 154 out:
 155         if (mi)
 156                 *mi = r;
 157         return 0;
 158 }
 159
 160 /*
 161  * ni_load_mi - Load mft_inode corresponded list_entry.
 162  */
 163 int ni_load_mi(struct ntfs_inode *ni, const struct ATTR_LIST_ENTRY *le,
 164                struct mft_inode **mi)
 165 {
 166         CLST rno;
 167
 168         if (!le) {
 169                 *mi = &ni->mi;
 170                 return 0;
 171         }
 172
 173         rno = ino_get(&le->ref);
 174         if (rno == ni->mi.rno) {
 175                 *mi = &ni->mi;
 176                 return 0;
 177         }
 178         return ni_load_mi_ex(ni, rno, mi);
 179 }
 180
 181 /*
 182  * ni_find_attr
 183  *
 184  * Return: Attribute and record this attribute belongs to.
 185  */
 186 struct ATTRIB *ni_find_attr(struct ntfs_inode *ni, struct ATTRIB *attr,
 187                             struct ATTR_LIST_ENTRY **le_o, enum ATTR_TYPE type,
 188                             const __le16 *name, u8 name_len, const CLST *vcn,
 189                             struct mft_inode **mi)
 190 {
 191         struct ATTR_LIST_ENTRY *le;
 192         struct mft_inode *m;
 193
 194         if (!ni->attr_list.size ||
 195             (!name_len && (type == ATTR_LIST || type == ATTR_STD))) {
 196                 if (le_o)
 197                         *le_o = NULL;
 198                 if (mi)
 199                         *mi = &ni->mi;
 200
 201                 /* Look for required attribute in primary record. */
 202                 return mi_find_attr(&ni->mi, attr, type, name, name_len, NULL);
 203         }
 204
 205         /* First look for list entry of required type. */
 206         le = al_find_ex(ni, le_o ? *le_o : NULL, type, name, name_len, vcn);
 207         if (!le)
 208                 return NULL;
 209
 210         if (le_o)
 211                 *le_o = le;
 212
 213         /* Load record that contains this attribute. */
 214         if (ni_load_mi(ni, le, &m))
 215                 return NULL;
 216
 217         /* Look for required attribute. */
 218         attr = mi_find_attr(m, NULL, type, name, name_len, &le->id);
 219
 220         if (!attr)
 221                 goto out;
 222
 223         if (!attr->non_res) {
 224                 if (vcn && *vcn)
 225                         goto out;
 226         } else if (!vcn) {
 227                 if (attr->nres.svcn)
 228                         goto out;
 229         } else if (le64_to_cpu(attr->nres.svcn) > *vcn ||
 230                    *vcn > le64_to_cpu(attr->nres.evcn)) {
 231                 goto out;
 232         }
 233
 234         if (mi)
 235                 *mi = m;
 236         return attr;
 237
 238 out:
 239         ntfs_set_state(ni->mi.sbi, NTFS_DIRTY_ERROR);
 240         return NULL;
 241 }
 242
 243 /*
 244  * ni_enum_attr_ex - Enumerates attributes in ntfs_inode.
 245  */
 246 struct ATTRIB *ni_enum_attr_ex(struct ntfs_inode *ni, struct ATTRIB *attr,
 247                                struct ATTR_LIST_ENTRY **le,
 248                                struct mft_inode **mi)
 249 {
 250         struct mft_inode *mi2;
 251         struct ATTR_LIST_ENTRY *le2;
 252
 253         /* Do we have an attribute list? */
 254         if (!ni->attr_list.size) {
 255                 *le = NULL;
 256                 if (mi)
 257                         *mi = &ni->mi;
 258                 /* Enum attributes in primary record. */
 259                 return mi_enum_attr(&ni->mi, attr);
 260         }
 261
 262         /* Get next list entry. */
 263         le2 = *le = al_enumerate(ni, attr ? *le : NULL);
 264         if (!le2)
 265                 return NULL;
 266
 267         /* Load record that contains the required attribute. */
 268         if (ni_load_mi(ni, le2, &mi2))
 269                 return NULL;
 270
 271         if (mi)
 272                 *mi = mi2;
 273
 274         /* Find attribute in loaded record. */
 275         return rec_find_attr_le(mi2, le2);
 276 }
 277
 278 /*
 279  * ni_load_attr - Load attribute that contains given VCN.
 280  */
 281 struct ATTRIB *ni_load_attr(struct ntfs_inode *ni, enum ATTR_TYPE type,
 282                             const __le16 *name, u8 name_len, CLST vcn,
 283                             struct mft_inode **pmi)
 284 {
 285         struct ATTR_LIST_ENTRY *le;
 286         struct ATTRIB *attr;
 287         struct mft_inode *mi;
 288         struct ATTR_LIST_ENTRY *next;
 289
 290         if (!ni->attr_list.size) {
 291                 if (pmi)
 292                         *pmi = &ni->mi;
 293                 return mi_find_attr(&ni->mi, NULL, type, name, name_len, NULL);
 294         }
 295
 296         le = al_find_ex(ni, NULL, type, name, name_len, NULL);
 297         if (!le)
 298                 return NULL;
 299
 300         /*
 301          * Unfortunately ATTR_LIST_ENTRY contains only start VCN.
 302          * So to find the ATTRIB segment that contains 'vcn' we should
 303          * enumerate some entries.
 304          */
 305         if (vcn) {
 306                 for (;; le = next) {
 307                         next = al_find_ex(ni, le, type, name, name_len, NULL);
 308                         if (!next || le64_to_cpu(next->vcn) > vcn)
 309                                 break;
 310                 }
 311         }
 312
 313         if (ni_load_mi(ni, le, &mi))
 314                 return NULL;
 315
 316         if (pmi)
 317                 *pmi = mi;
 318
 319         attr = mi_find_attr(mi, NULL, type, name, name_len, &le->id);
 320         if (!attr)
 321                 return NULL;
 322
 323         if (!attr->non_res)
 324                 return attr;
 325
 326         if (le64_to_cpu(attr->nres.svcn) <= vcn &&
 327             vcn <= le64_to_cpu(attr->nres.evcn))
 328                 return attr;
 329
 330         return NULL;
 331 }
 332
 333 /*
 334  * ni_load_all_mi - Load all subrecords.
 335  */
 336 int ni_load_all_mi(struct ntfs_inode *ni)
 337 {
 338         int err;
 339         struct ATTR_LIST_ENTRY *le;
 340
 341         if (!ni->attr_list.size)
 342                 return 0;
 343
 344         le = NULL;
 345
 346         while ((le = al_enumerate(ni, le))) {
 347                 CLST rno = ino_get(&le->ref);
 348
 349                 if (rno == ni->mi.rno)
 350                         continue;
 351
 352                 err = ni_load_mi_ex(ni, rno, NULL);
 353                 if (err)
 354                         return err;
 355         }
 356
 357         return 0;
 358 }
 359
 360 /*
 361  * ni_add_subrecord - Allocate + format + attach a new subrecord.
 362  */
 363 bool ni_add_subrecord(struct ntfs_inode *ni, CLST rno, struct mft_inode **mi)
 364 {
 365         struct mft_inode *m;
 366
 367         m = kzalloc(sizeof(struct mft_inode), GFP_NOFS);
 368         if (!m)
 369                 return false;
 370
 371         if (mi_format_new(m, ni->mi.sbi, rno, 0, ni->mi.rno == MFT_REC_MFT)) {
 372                 mi_put(m);
 373                 return false;
 374         }
 375
 376         mi_get_ref(&ni->mi, &m->mrec->parent_ref);
 377
 378         ni_add_mi(ni, m);
 379         *mi = m;
 380         return true;
 381 }
 382
 383 /*
 384  * ni_remove_attr - Remove all attributes for the given type/name/id.
 385  */
 386 int ni_remove_attr(struct ntfs_inode *ni, enum ATTR_TYPE type,
 387                    const __le16 *name, size_t name_len, bool base_only,
 388                    const __le16 *id)
 389 {
 390         int err;
 391         struct ATTRIB *attr;
 392         struct ATTR_LIST_ENTRY *le;
 393         struct mft_inode *mi;
 394         u32 type_in;
 395         int diff;
 396
 397         if (base_only || type == ATTR_LIST || !ni->attr_list.size) {
 398                 attr = mi_find_attr(&ni->mi, NULL, type, name, name_len, id);
 399                 if (!attr)
 400                         return -ENOENT;
 401
 402                 mi_remove_attr(ni, &ni->mi, attr);
 403                 return 0;
 404         }
 405
 406         type_in = le32_to_cpu(type);
 407         le = NULL;
 408
 409         for (;;) {
 410                 le = al_enumerate(ni, le);
 411                 if (!le)
 412                         return 0;
 413
 414 next_le2:
 415                 diff = le32_to_cpu(le->type) - type_in;
 416                 if (diff < 0)
 417                         continue;
 418
 419                 if (diff > 0)
 420                         return 0;
 421
 422                 if (le->name_len != name_len)
 423                         continue;
 424
 425                 if (name_len &&
 426                     memcmp(le_name(le), name, name_len * sizeof(short)))
 427                         continue;
 428
 429                 if (id && le->id != *id)
 430                         continue;
 431                 err = ni_load_mi(ni, le, &mi);
 432                 if (err)
 433                         return err;
 434
 435                 al_remove_le(ni, le);
 436
 437                 attr = mi_find_attr(mi, NULL, type, name, name_len, id);
 438                 if (!attr)
 439                         return -ENOENT;
 440
 441                 mi_remove_attr(ni, mi, attr);
 442
 443                 if (PtrOffset(ni->attr_list.le, le) >= ni->attr_list.size)
 444                         return 0;
 445                 goto next_le2;
 446         }
 447 }
 448
 449 /*
 450  * ni_ins_new_attr - Insert the attribute into record.
 451  *
 452  * Return: Not full constructed attribute or NULL if not possible to create.
 453  */
 454 static struct ATTRIB *
 455 ni_ins_new_attr(struct ntfs_inode *ni, struct mft_inode *mi,
 456                 struct ATTR_LIST_ENTRY *le, enum ATTR_TYPE type,
 457                 const __le16 *name, u8 name_len, u32 asize, u16 name_off,
 458                 CLST svcn, struct ATTR_LIST_ENTRY **ins_le)
 459 {
 460         int err;
 461         struct ATTRIB *attr;
 462         bool le_added = false;
 463         struct MFT_REF ref;
 464
 465         mi_get_ref(mi, &ref);
 466
 467         if (type != ATTR_LIST && !le && ni->attr_list.size) {
 468                 err = al_add_le(ni, type, name, name_len, svcn, cpu_to_le16(-1),
 469                                 &ref, &le);
 470                 if (err) {
 471                         /* No memory or no space. */
 472                         return ERR_PTR(err);
 473                 }
 474                 le_added = true;
 475
 476                 /*
 477                  * al_add_le -> attr_set_size (list) -> ni_expand_list
 478                  * which moves some attributes out of primary record
 479                  * this means that name may point into moved memory
 480                  * reinit 'name' from le.
 481                  */
 482                 name = le->name;
 483         }
 484
 485         attr = mi_insert_attr(mi, type, name, name_len, asize, name_off);
 486         if (!attr) {
 487                 if (le_added)
 488                         al_remove_le(ni, le);
 489                 return NULL;
 490         }
 491
 492         if (type == ATTR_LIST) {
 493                 /* Attr list is not in list entry array. */
 494                 goto out;
 495         }
 496
 497         if (!le)
 498                 goto out;
 499
 500         /* Update ATTRIB Id and record reference. */
 501         le->id = attr->id;
 502         ni->attr_list.dirty = true;
 503         le->ref = ref;
 504
 505 out:
 506         if (ins_le)
 507                 *ins_le = le;
 508         return attr;
 509 }
 510
 511 /*
 512  * ni_repack
 513  *
 514  * Random write access to sparsed or compressed file may result to
 515  * not optimized packed runs.
 516  * Here is the place to optimize it.
 517  */
 518 static int ni_repack(struct ntfs_inode *ni)
 519 {
 520         int err = 0;
 521         struct ntfs_sb_info *sbi = ni->mi.sbi;
 522         struct mft_inode *mi, *mi_p = NULL;
 523         struct ATTRIB *attr = NULL, *attr_p;
 524         struct ATTR_LIST_ENTRY *le = NULL, *le_p;
 525         CLST alloc = 0;
 526         u8 cluster_bits = sbi->cluster_bits;
 527         CLST svcn, evcn = 0, svcn_p, evcn_p, next_svcn;
 528         u32 roff, rs = sbi->record_size;
 529         struct runs_tree run;
 530
 531         run_init(&run);
 532
 533         while ((attr = ni_enum_attr_ex(ni, attr, &le, &mi))) {
 534                 if (!attr->non_res)
 535                         continue;
 536
 537                 svcn = le64_to_cpu(attr->nres.svcn);
 538                 if (svcn != le64_to_cpu(le->vcn)) {
 539                         err = -EINVAL;
 540                         break;
 541                 }
 542
 543                 if (!svcn) {
 544                         alloc = le64_to_cpu(attr->nres.alloc_size) >>
 545                                 cluster_bits;
 546                         mi_p = NULL;
 547                 } else if (svcn != evcn + 1) {
 548                         err = -EINVAL;
 549                         break;
 550                 }
 551
 552                 evcn = le64_to_cpu(attr->nres.evcn);
 553
 554                 if (svcn > evcn + 1) {
 555                         err = -EINVAL;
 556                         break;
 557                 }
 558
 559                 if (!mi_p) {
 560                         /* Do not try if not enough free space. */
 561                         if (le32_to_cpu(mi->mrec->used) + 8 >= rs)
 562                                 continue;
 563
 564                         /* Do not try if last attribute segment. */
 565                         if (evcn + 1 == alloc)
 566                                 continue;
 567                         run_close(&run);
 568                 }
 569
 570                 roff = le16_to_cpu(attr->nres.run_off);
 571
 572                 if (roff > le32_to_cpu(attr->size)) {
 573                         err = -EINVAL;
 574                         break;
 575                 }
 576
 577                 err = run_unpack(&run, sbi, ni->mi.rno, svcn, evcn, svcn,
 578                                  Add2Ptr(attr, roff),
 579                                  le32_to_cpu(attr->size) - roff);
 580                 if (err < 0)
 581                         break;
 582
 583                 if (!mi_p) {
 584                         mi_p = mi;
 585                         attr_p = attr;
 586                         svcn_p = svcn;
 587                         evcn_p = evcn;
 588                         le_p = le;
 589                         err = 0;
 590                         continue;
 591                 }
 592
 593                 /*
 594                  * Run contains data from two records: mi_p and mi
 595                  * Try to pack in one.
 596                  */
 597                 err = mi_pack_runs(mi_p, attr_p, &run, evcn + 1 - svcn_p);
 598                 if (err)
 599                         break;
 600
 601                 next_svcn = le64_to_cpu(attr_p->nres.evcn) + 1;
 602
 603                 if (next_svcn >= evcn + 1) {
 604                         /* We can remove this attribute segment. */
 605                         al_remove_le(ni, le);
 606                         mi_remove_attr(NULL, mi, attr);
 607                         le = le_p;
 608                         continue;
 609                 }
 610
 611                 attr->nres.svcn = le->vcn = cpu_to_le64(next_svcn);
 612                 mi->dirty = true;
 613                 ni->attr_list.dirty = true;
 614
 615                 if (evcn + 1 == alloc) {
 616                         err = mi_pack_runs(mi, attr, &run,
 617                                            evcn + 1 - next_svcn);
 618                         if (err)
 619                                 break;
 620                         mi_p = NULL;
 621                 } else {
 622                         mi_p = mi;
 623                         attr_p = attr;
 624                         svcn_p = next_svcn;
 625                         evcn_p = evcn;
 626                         le_p = le;
 627                         run_truncate_head(&run, next_svcn);
 628                 }
 629         }
 630
 631         if (err) {
 632                 ntfs_inode_warn(&ni->vfs_inode, "repack problem");
 633                 ntfs_set_state(sbi, NTFS_DIRTY_ERROR);
 634
 635                 /* Pack loaded but not packed runs. */
 636                 if (mi_p)
 637                         mi_pack_runs(mi_p, attr_p, &run, evcn_p + 1 - svcn_p);
 638         }
 639
 640         run_close(&run);
 641         return err;
 642 }
 643
 644 /*
 645  * ni_try_remove_attr_list
 646  *
 647  * Can we remove attribute list?
 648  * Check the case when primary record contains enough space for all attributes.
 649  */
 650 static int ni_try_remove_attr_list(struct ntfs_inode *ni)
 651 {
 652         int err = 0;
 653         struct ntfs_sb_info *sbi = ni->mi.sbi;
 654         struct ATTRIB *attr, *attr_list, *attr_ins;
 655         struct ATTR_LIST_ENTRY *le;
 656         struct mft_inode *mi;
 657         u32 asize, free;
 658         struct MFT_REF ref;
 659         struct MFT_REC *mrec;
 660         __le16 id;
 661
 662         if (!ni->attr_list.dirty)
 663                 return 0;
 664
 665         err = ni_repack(ni);
 666         if (err)
 667                 return err;
 668
 669         attr_list = mi_find_attr(&ni->mi, NULL, ATTR_LIST, NULL, 0, NULL);
 670         if (!attr_list)
 671                 return 0;
 672
 673         asize = le32_to_cpu(attr_list->size);
 674
 675         /* Free space in primary record without attribute list. */
 676         free = sbi->record_size - le32_to_cpu(ni->mi.mrec->used) + asize;
 677         mi_get_ref(&ni->mi, &ref);
 678
 679         le = NULL;
 680         while ((le = al_enumerate(ni, le))) {
 681                 if (!memcmp(&le->ref, &ref, sizeof(ref)))
 682                         continue;
 683
 684                 if (le->vcn)
 685                         return 0;
 686
 687                 mi = ni_find_mi(ni, ino_get(&le->ref));
 688                 if (!mi)
 689                         return 0;
 690
 691                 attr = mi_find_attr(mi, NULL, le->type, le_name(le),
 692                                     le->name_len, &le->id);
 693                 if (!attr)
 694                         return 0;
 695
 696                 asize = le32_to_cpu(attr->size);
 697                 if (asize > free)
 698                         return 0;
 699
 700                 free -= asize;
 701         }
 702
 703         /* Make a copy of primary record to restore if error. */
 704         mrec = kmemdup(ni->mi.mrec, sbi->record_size, GFP_NOFS);
 705         if (!mrec)
 706                 return 0; /* Not critical. */
 707
 708         /* It seems that attribute list can be removed from primary record. */
 709         mi_remove_attr(NULL, &ni->mi, attr_list);
 710
 711         /*
 712          * Repeat the cycle above and copy all attributes to primary record.
 713          * Do not remove original attributes from subrecords!
 714          * It should be success!
 715          */
 716         le = NULL;
 717         while ((le = al_enumerate(ni, le))) {
 718                 if (!memcmp(&le->ref, &ref, sizeof(ref)))
 719                         continue;
 720
 721                 mi = ni_find_mi(ni, ino_get(&le->ref));
 722                 if (!mi) {
 723                         /* Should never happened, 'cause already checked. */
 724                         goto out;
 725                 }
 726
 727                 attr = mi_find_attr(mi, NULL, le->type, le_name(le),
 728                                     le->name_len, &le->id);
 729                 if (!attr) {
 730                         /* Should never happened, 'cause already checked. */
 731                         goto out;
 732                 }
 733                 asize = le32_to_cpu(attr->size);
 734
 735                 /* Insert into primary record. */
 736                 attr_ins = mi_insert_attr(&ni->mi, le->type, le_name(le),
 737                                           le->name_len, asize,
 738                                           le16_to_cpu(attr->name_off));
 739                 if (!attr_ins) {
 740                         /*
 741                          * No space in primary record (already checked).
 742                          */
 743                         goto out;
 744                 }
 745
 746                 /* Copy all except id. */
 747                 id = attr_ins->id;
 748                 memcpy(attr_ins, attr, asize);
 749                 attr_ins->id = id;
 750         }
 751
 752         /*
 753          * Repeat the cycle above and remove all attributes from subrecords.
 754          */
 755         le = NULL;
 756         while ((le = al_enumerate(ni, le))) {
 757                 if (!memcmp(&le->ref, &ref, sizeof(ref)))
 758                         continue;
 759
 760                 mi = ni_find_mi(ni, ino_get(&le->ref));
 761                 if (!mi)
 762                         continue;
 763
 764                 attr = mi_find_attr(mi, NULL, le->type, le_name(le),
 765                                     le->name_len, &le->id);
 766                 if (!attr)
 767                         continue;
 768
 769                 /* Remove from original record. */
 770                 mi_remove_attr(NULL, mi, attr);
 771         }
 772
 773         run_deallocate(sbi, &ni->attr_list.run, true);
 774         run_close(&ni->attr_list.run);
 775         ni->attr_list.size = 0;
 776         kfree(ni->attr_list.le);
 777         ni->attr_list.le = NULL;
 778         ni->attr_list.dirty = false;
 779
 780         kfree(mrec);
 781         return 0;
 782 out:
 783         /* Restore primary record. */
 784         swap(mrec, ni->mi.mrec);
 785         kfree(mrec);
 786         return 0;
 787 }
 788
 789 /*
 790  * ni_create_attr_list - Generates an attribute list for this primary record.
 791  */
 792 int ni_create_attr_list(struct ntfs_inode *ni)
 793 {
 794         struct ntfs_sb_info *sbi = ni->mi.sbi;
 795         int err;
 796         u32 lsize;
 797         struct ATTRIB *attr;
 798         struct ATTRIB *arr_move[7];
 799         struct ATTR_LIST_ENTRY *le, *le_b[7];
 800         struct MFT_REC *rec;
 801         bool is_mft;
 802         CLST rno = 0;
 803         struct mft_inode *mi;
 804         u32 free_b, nb, to_free, rs;
 805         u16 sz;
 806
 807         is_mft = ni->mi.rno == MFT_REC_MFT;
 808         rec = ni->mi.mrec;
 809         rs = sbi->record_size;
 810
 811         /*
 812          * Skip estimating exact memory requirement.
 813          * Looks like one record_size is always enough.
 814          */
 815         le = kmalloc(al_aligned(rs), GFP_NOFS);
 816         if (!le) {
 817                 err = -ENOMEM;
 818                 goto out;
 819         }
 820
 821         mi_get_ref(&ni->mi, &le->ref);
 822         ni->attr_list.le = le;
 823
 824         attr = NULL;
 825         nb = 0;
 826         free_b = 0;
 827         attr = NULL;
 828
 829         for (; (attr = mi_enum_attr(&ni->mi, attr)); le = Add2Ptr(le, sz)) {
 830                 sz = le_size(attr->name_len);
 831                 le->type = attr->type;
 832                 le->size = cpu_to_le16(sz);
 833                 le->name_len = attr->name_len;
 834                 le->name_off = offsetof(struct ATTR_LIST_ENTRY, name);
 835                 le->vcn = 0;
 836                 if (le != ni->attr_list.le)
 837                         le->ref = ni->attr_list.le->ref;
 838                 le->id = attr->id;
 839
 840                 if (attr->name_len)
 841                         memcpy(le->name, attr_name(attr),
 842                                sizeof(short) * attr->name_len);
 843                 else if (attr->type == ATTR_STD)
 844                         continue;
 845                 else if (attr->type == ATTR_LIST)
 846                         continue;
 847                 else if (is_mft && attr->type == ATTR_DATA)
 848                         continue;
 849
 850                 if (!nb || nb < ARRAY_SIZE(arr_move)) {
 851                         le_b[nb] = le;
 852                         arr_move[nb++] = attr;
 853                         free_b += le32_to_cpu(attr->size);
 854                 }
 855         }
 856
 857         lsize = PtrOffset(ni->attr_list.le, le);
 858         ni->attr_list.size = lsize;
 859
 860         to_free = le32_to_cpu(rec->used) + lsize + SIZEOF_RESIDENT;
 861         if (to_free <= rs) {
 862                 to_free = 0;
 863         } else {
 864                 to_free -= rs;
 865
 866                 if (to_free > free_b) {
 867                         err = -EINVAL;
 868                         goto out1;
 869                 }
 870         }
 871
 872         /* Allocate child MFT. */
 873         err = ntfs_look_free_mft(sbi, &rno, is_mft, ni, &mi);
 874         if (err)
 875                 goto out1;
 876
 877         /* Call mi_remove_attr() in reverse order to keep pointers 'arr_move' valid. */
 878         while (to_free > 0) {
 879                 struct ATTRIB *b = arr_move[--nb];
 880                 u32 asize = le32_to_cpu(b->size);
 881                 u16 name_off = le16_to_cpu(b->name_off);
 882
 883                 attr = mi_insert_attr(mi, b->type, Add2Ptr(b, name_off),
 884                                       b->name_len, asize, name_off);
 885                 WARN_ON(!attr);
 886
 887                 mi_get_ref(mi, &le_b[nb]->ref);
 888                 le_b[nb]->id = attr->id;
 889
 890                 /* Copy all except id. */
 891                 memcpy(attr, b, asize);
 892                 attr->id = le_b[nb]->id;
 893
 894                 /* Remove from primary record. */
 895                 WARN_ON(!mi_remove_attr(NULL, &ni->mi, b));
 896
 897                 if (to_free <= asize)
 898                         break;
 899                 to_free -= asize;
 900                 WARN_ON(!nb);
 901         }
 902
 903         attr = mi_insert_attr(&ni->mi, ATTR_LIST, NULL, 0,
 904                               lsize + SIZEOF_RESIDENT, SIZEOF_RESIDENT);
 905         WARN_ON(!attr);
 906
 907         attr->non_res = 0;
 908         attr->flags = 0;
 909         attr->res.data_size = cpu_to_le32(lsize);
 910         attr->res.data_off = SIZEOF_RESIDENT_LE;
 911         attr->res.flags = 0;
 912         attr->res.res = 0;
 913
 914         memcpy(resident_data_ex(attr, lsize), ni->attr_list.le, lsize);
 915
 916         ni->attr_list.dirty = false;
 917
 918         mark_inode_dirty(&ni->vfs_inode);
 919         goto out;
 920
 921 out1:
 922         kfree(ni->attr_list.le);
 923         ni->attr_list.le = NULL;
 924         ni->attr_list.size = 0;
 925
 926 out:
 927         return err;
 928 }
 929
 930 /*
 931  * ni_ins_attr_ext - Add an external attribute to the ntfs_inode.
 932  */
 933 static int ni_ins_attr_ext(struct ntfs_inode *ni, struct ATTR_LIST_ENTRY *le,
 934                            enum ATTR_TYPE type, const __le16 *name, u8 name_len,
 935                            u32 asize, CLST svcn, u16 name_off, bool force_ext,
 936                            struct ATTRIB **ins_attr, struct mft_inode **ins_mi,
 937                            struct ATTR_LIST_ENTRY **ins_le)
 938 {
 939         struct ATTRIB *attr;
 940         struct mft_inode *mi;
 941         CLST rno;
 942         u64 vbo;
 943         struct rb_node *node;
 944         int err;
 945         bool is_mft, is_mft_data;
 946         struct ntfs_sb_info *sbi = ni->mi.sbi;
 947
 948         is_mft = ni->mi.rno == MFT_REC_MFT;
 949         is_mft_data = is_mft && type == ATTR_DATA && !name_len;
 950
 951         if (asize > sbi->max_bytes_per_attr) {
 952                 err = -EINVAL;
 953                 goto out;
 954         }
 955
 956         /*
 957          * Standard information and attr_list cannot be made external.
 958          * The Log File cannot have any external attributes.
 959          */
 960         if (type == ATTR_STD || type == ATTR_LIST ||
 961             ni->mi.rno == MFT_REC_LOG) {
 962                 err = -EINVAL;
 963                 goto out;
 964         }
 965
 966         /* Create attribute list if it is not already existed. */
 967         if (!ni->attr_list.size) {
 968                 err = ni_create_attr_list(ni);
 969                 if (err)
 970                         goto out;
 971         }
 972
 973         vbo = is_mft_data ? ((u64)svcn << sbi->cluster_bits) : 0;
 974
 975         if (force_ext)
 976                 goto insert_ext;
 977
 978         /* Load all subrecords into memory. */
 979         err = ni_load_all_mi(ni);
 980         if (err)
 981                 goto out;
 982
 983         /* Check each of loaded subrecord. */
 984         for (node = rb_first(&ni->mi_tree); node; node = rb_next(node)) {
 985                 mi = rb_entry(node, struct mft_inode, node);
 986
 987                 if (is_mft_data &&
 988                     (mi_enum_attr(mi, NULL) ||
 989                      vbo <= ((u64)mi->rno << sbi->record_bits))) {
 990                         /* We can't accept this record 'cause MFT's bootstrapping. */
 991                         continue;
 992                 }
 993                 if (is_mft &&
 994                     mi_find_attr(mi, NULL, ATTR_DATA, NULL, 0, NULL)) {
 995                         /*
 996                          * This child record already has a ATTR_DATA.
 997                          * So it can't accept any other records.
 998                          */
 999                         continue;
1000                 }
1001
1002                 if ((type != ATTR_NAME || name_len) &&
1003                     mi_find_attr(mi, NULL, type, name, name_len, NULL)) {
1004                         /* Only indexed attributes can share same record. */
1005                         continue;
1006                 }
1007
1008                 /*
1009                  * Do not try to insert this attribute
1010                  * if there is no room in record.
1011                  */
1012                 if (le32_to_cpu(mi->mrec->used) + asize > sbi->record_size)
1013                         continue;
1014
1015                 /* Try to insert attribute into this subrecord. */
1016                 attr = ni_ins_new_attr(ni, mi, le, type, name, name_len, asize,
1017                                        name_off, svcn, ins_le);
1018                 if (!attr)
1019                         continue;
1020                 if (IS_ERR(attr))
1021                         return PTR_ERR(attr);
1022
1023                 if (ins_attr)
1024                         *ins_attr = attr;
1025                 if (ins_mi)
1026                         *ins_mi = mi;
1027                 return 0;
1028         }
1029
1030 insert_ext:
1031         /* We have to allocate a new child subrecord. */
1032         err = ntfs_look_free_mft(sbi, &rno, is_mft_data, ni, &mi);
1033         if (err)
1034                 goto out;
1035
1036         if (is_mft_data && vbo <= ((u64)rno << sbi->record_bits)) {
1037                 err = -EINVAL;
1038                 goto out1;
1039         }
1040
1041         attr = ni_ins_new_attr(ni, mi, le, type, name, name_len, asize,
1042                                name_off, svcn, ins_le);
1043         if (!attr) {
1044                 err = -EINVAL;
1045                 goto out2;
1046         }
1047
1048         if (IS_ERR(attr)) {
1049                 err = PTR_ERR(attr);
1050                 goto out2;
1051         }
1052
1053         if (ins_attr)
1054                 *ins_attr = attr;
1055         if (ins_mi)
1056                 *ins_mi = mi;
1057
1058         return 0;
1059
1060 out2:
1061         ni_remove_mi(ni, mi);
1062         mi_put(mi);
1063
1064 out1:
1065         ntfs_mark_rec_free(sbi, rno, is_mft);
1066
1067 out:
1068         return err;
1069 }
1070
1071 /*
1072  * ni_insert_attr - Insert an attribute into the file.
1073  *
1074  * If the primary record has room, it will just insert the attribute.
1075  * If not, it may make the attribute external.
1076  * For $MFT::Data it may make room for the attribute by
1077  * making other attributes external.
1078  *
1079  * NOTE:
1080  * The ATTR_LIST and ATTR_STD cannot be made external.
1081  * This function does not fill new attribute full.
1082  * It only fills 'size'/'type'/'id'/'name_len' fields.
1083  */
1084 static int ni_insert_attr(struct ntfs_inode *ni, enum ATTR_TYPE type,
1085                           const __le16 *name, u8 name_len, u32 asize,
1086                           u16 name_off, CLST svcn, struct ATTRIB **ins_attr,
1087                           struct mft_inode **ins_mi,
1088                           struct ATTR_LIST_ENTRY **ins_le)
1089 {
1090         struct ntfs_sb_info *sbi = ni->mi.sbi;
1091         int err;
1092         struct ATTRIB *attr, *eattr;
1093         struct MFT_REC *rec;
1094         bool is_mft;
1095         struct ATTR_LIST_ENTRY *le;
1096         u32 list_reserve, max_free, free, used, t32;
1097         __le16 id;
1098         u16 t16;
1099
1100         is_mft = ni->mi.rno == MFT_REC_MFT;
1101         rec = ni->mi.mrec;
1102
1103         list_reserve = SIZEOF_NONRESIDENT + 3 * (1 + 2 * sizeof(u32));
1104         used = le32_to_cpu(rec->used);
1105         free = sbi->record_size - used;
1106
1107         if (is_mft && type != ATTR_LIST) {
1108                 /* Reserve space for the ATTRIB list. */
1109                 if (free < list_reserve)
1110                         free = 0;
1111                 else
1112                         free -= list_reserve;
1113         }
1114
1115         if (asize <= free) {
1116                 attr = ni_ins_new_attr(ni, &ni->mi, NULL, type, name, name_len,
1117                                        asize, name_off, svcn, ins_le);
1118                 if (IS_ERR(attr)) {
1119                         err = PTR_ERR(attr);
1120                         goto out;
1121                 }
1122
1123                 if (attr) {
1124                         if (ins_attr)
1125                                 *ins_attr = attr;
1126                         if (ins_mi)
1127                                 *ins_mi = &ni->mi;
1128                         err = 0;
1129                         goto out;
1130                 }
1131         }
1132
1133         if (!is_mft || type != ATTR_DATA || svcn) {
1134                 /* This ATTRIB will be external. */
1135                 err = ni_ins_attr_ext(ni, NULL, type, name, name_len, asize,
1136                                       svcn, name_off, false, ins_attr, ins_mi,
1137                                       ins_le);
1138                 goto out;
1139         }
1140
1141         /*
1142          * Here we have: "is_mft && type == ATTR_DATA && !svcn"
1143          *
1144          * The first chunk of the $MFT::Data ATTRIB must be the base record.
1145          * Evict as many other attributes as possible.
1146          */
1147         max_free = free;
1148
1149         /* Estimate the result of moving all possible attributes away. */
1150         attr = NULL;
1151
1152         while ((attr = mi_enum_attr(&ni->mi, attr))) {
1153                 if (attr->type == ATTR_STD)
1154                         continue;
1155                 if (attr->type == ATTR_LIST)
1156                         continue;
1157                 max_free += le32_to_cpu(attr->size);
1158         }
1159
1160         if (max_free < asize + list_reserve) {
1161                 /* Impossible to insert this attribute into primary record. */
1162                 err = -EINVAL;
1163                 goto out;
1164         }
1165
1166         /* Start real attribute moving. */
1167         attr = NULL;
1168
1169         for (;;) {
1170                 attr = mi_enum_attr(&ni->mi, attr);
1171                 if (!attr) {
1172                         /* We should never be here 'cause we have already check this case. */
1173                         err = -EINVAL;
1174                         goto out;
1175                 }
1176
1177                 /* Skip attributes that MUST be primary record. */
1178                 if (attr->type == ATTR_STD || attr->type == ATTR_LIST)
1179                         continue;
1180
1181                 le = NULL;
1182                 if (ni->attr_list.size) {
1183                         le = al_find_le(ni, NULL, attr);
1184                         if (!le) {
1185                                 /* Really this is a serious bug. */
1186                                 err = -EINVAL;
1187                                 goto out;
1188                         }
1189                 }
1190
1191                 t32 = le32_to_cpu(attr->size);
1192                 t16 = le16_to_cpu(attr->name_off);
1193                 err = ni_ins_attr_ext(ni, le, attr->type, Add2Ptr(attr, t16),
1194                                       attr->name_len, t32, attr_svcn(attr), t16,
1195                                       false, &eattr, NULL, NULL);
1196                 if (err)
1197                         return err;
1198
1199                 id = eattr->id;
1200                 memcpy(eattr, attr, t32);
1201                 eattr->id = id;
1202
1203                 /* Remove from primary record. */
1204                 mi_remove_attr(NULL, &ni->mi, attr);
1205
1206                 /* attr now points to next attribute. */
1207                 if (attr->type == ATTR_END)
1208                         goto out;
1209         }
1210         while (asize + list_reserve > sbi->record_size - le32_to_cpu(rec->used))
1211                 ;
1212
1213         attr = ni_ins_new_attr(ni, &ni->mi, NULL, type, name, name_len, asize,
1214                                name_off, svcn, ins_le);
1215         if (!attr) {
1216                 err = -EINVAL;
1217                 goto out;
1218         }
1219
1220         if (IS_ERR(attr)) {
1221                 err = PTR_ERR(attr);
1222                 goto out;
1223         }
1224
1225         if (ins_attr)
1226                 *ins_attr = attr;
1227         if (ins_mi)
1228                 *ins_mi = &ni->mi;
1229
1230 out:
1231         return err;
1232 }
1233
1234 /* ni_expand_mft_list - Split ATTR_DATA of $MFT. */
1235 static int ni_expand_mft_list(struct ntfs_inode *ni)
1236 {
1237         int err = 0;
1238         struct runs_tree *run = &ni->file.run;
1239         u32 asize, run_size, done = 0;
1240         struct ATTRIB *attr;
1241         struct rb_node *node;
1242         CLST mft_min, mft_new, svcn, evcn, plen;
1243         struct mft_inode *mi, *mi_min, *mi_new;
1244         struct ntfs_sb_info *sbi = ni->mi.sbi;
1245
1246         /* Find the nearest MFT. */
1247         mft_min = 0;
1248         mft_new = 0;
1249         mi_min = NULL;
1250
1251         for (node = rb_first(&ni->mi_tree); node; node = rb_next(node)) {
1252                 mi = rb_entry(node, struct mft_inode, node);
1253
1254                 attr = mi_enum_attr(mi, NULL);
1255
1256                 if (!attr) {
1257                         mft_min = mi->rno;
1258                         mi_min = mi;
1259                         break;
1260                 }
1261         }
1262
1263         if (ntfs_look_free_mft(sbi, &mft_new, true, ni, &mi_new)) {
1264                 mft_new = 0;
1265                 /* Really this is not critical. */
1266         } else if (mft_min > mft_new) {
1267                 mft_min = mft_new;
1268                 mi_min = mi_new;
1269         } else {
1270                 ntfs_mark_rec_free(sbi, mft_new, true);
1271                 mft_new = 0;
1272                 ni_remove_mi(ni, mi_new);
1273         }
1274
1275         attr = mi_find_attr(&ni->mi, NULL, ATTR_DATA, NULL, 0, NULL);
1276         if (!attr) {
1277                 err = -EINVAL;
1278                 goto out;
1279         }
1280
1281         asize = le32_to_cpu(attr->size);
1282
1283         evcn = le64_to_cpu(attr->nres.evcn);
1284         svcn = bytes_to_cluster(sbi, (u64)(mft_min + 1) << sbi->record_bits);
1285         if (evcn + 1 >= svcn) {
1286                 err = -EINVAL;
1287                 goto out;
1288         }
1289
1290         /*
1291          * Split primary attribute [0 evcn] in two parts [0 svcn) + [svcn evcn].
1292          *
1293          * Update first part of ATTR_DATA in 'primary MFT.
1294          */
1295         err = run_pack(run, 0, svcn, Add2Ptr(attr, SIZEOF_NONRESIDENT),
1296                        asize - SIZEOF_NONRESIDENT, &plen);
1297         if (err < 0)
1298                 goto out;
1299
1300         run_size = ALIGN(err, 8);
1301         err = 0;
1302
1303         if (plen < svcn) {
1304                 err = -EINVAL;
1305                 goto out;
1306         }
1307
1308         attr->nres.evcn = cpu_to_le64(svcn - 1);
1309         attr->size = cpu_to_le32(run_size + SIZEOF_NONRESIDENT);
1310         /* 'done' - How many bytes of primary MFT becomes free. */
1311         done = asize - run_size - SIZEOF_NONRESIDENT;
1312         le32_sub_cpu(&ni->mi.mrec->used, done);
1313
1314         /* Estimate packed size (run_buf=NULL). */
1315         err = run_pack(run, svcn, evcn + 1 - svcn, NULL, sbi->record_size,
1316                        &plen);
1317         if (err < 0)
1318                 goto out;
1319
1320         run_size = ALIGN(err, 8);
1321         err = 0;
1322
1323         if (plen < evcn + 1 - svcn) {
1324                 err = -EINVAL;
1325                 goto out;
1326         }
1327
1328         /*
1329          * This function may implicitly call expand attr_list.
1330          * Insert second part of ATTR_DATA in 'mi_min'.
1331          */
1332         attr = ni_ins_new_attr(ni, mi_min, NULL, ATTR_DATA, NULL, 0,
1333                                SIZEOF_NONRESIDENT + run_size,
1334                                SIZEOF_NONRESIDENT, svcn, NULL);
1335         if (!attr) {
1336                 err = -EINVAL;
1337                 goto out;
1338         }
1339
1340         if (IS_ERR(attr)) {
1341                 err = PTR_ERR(attr);
1342                 goto out;
1343         }
1344
1345         attr->non_res = 1;
1346         attr->name_off = SIZEOF_NONRESIDENT_LE;
1347         attr->flags = 0;
1348
1349         /* This function can't fail - cause already checked above. */
1350         run_pack(run, svcn, evcn + 1 - svcn, Add2Ptr(attr, SIZEOF_NONRESIDENT),
1351                  run_size, &plen);
1352
1353         attr->nres.svcn = cpu_to_le64(svcn);
1354         attr->nres.evcn = cpu_to_le64(evcn);
1355         attr->nres.run_off = cpu_to_le16(SIZEOF_NONRESIDENT);
1356
1357 out:
1358         if (mft_new) {
1359                 ntfs_mark_rec_free(sbi, mft_new, true);
1360                 ni_remove_mi(ni, mi_new);
1361         }
1362
1363         return !err && !done ? -EOPNOTSUPP : err;
1364 }
1365
1366 /*
1367  * ni_expand_list - Move all possible attributes out of primary record.
1368  */
1369 int ni_expand_list(struct ntfs_inode *ni)
1370 {
1371         int err = 0;
1372         u32 asize, done = 0;
1373         struct ATTRIB *attr, *ins_attr;
1374         struct ATTR_LIST_ENTRY *le;
1375         bool is_mft = ni->mi.rno == MFT_REC_MFT;
1376         struct MFT_REF ref;
1377
1378         mi_get_ref(&ni->mi, &ref);
1379         le = NULL;
1380
1381         while ((le = al_enumerate(ni, le))) {
1382                 if (le->type == ATTR_STD)
1383                         continue;
1384
1385                 if (memcmp(&ref, &le->ref, sizeof(struct MFT_REF)))
1386                         continue;
1387
1388                 if (is_mft && le->type == ATTR_DATA)
1389                         continue;
1390
1391                 /* Find attribute in primary record. */
1392                 attr = rec_find_attr_le(&ni->mi, le);
1393                 if (!attr) {
1394                         err = -EINVAL;
1395                         goto out;
1396                 }
1397
1398                 asize = le32_to_cpu(attr->size);
1399
1400                 /* Always insert into new record to avoid collisions (deep recursive). */
1401                 err = ni_ins_attr_ext(ni, le, attr->type, attr_name(attr),
1402                                       attr->name_len, asize, attr_svcn(attr),
1403                                       le16_to_cpu(attr->name_off), true,
1404                                       &ins_attr, NULL, NULL);
1405
1406                 if (err)
1407                         goto out;
1408
1409                 memcpy(ins_attr, attr, asize);
1410                 ins_attr->id = le->id;
1411                 /* Remove from primary record. */
1412                 mi_remove_attr(NULL, &ni->mi, attr);
1413
1414                 done += asize;
1415                 goto out;
1416         }
1417
1418         if (!is_mft) {
1419                 err = -EFBIG; /* Attr list is too big(?) */
1420                 goto out;
1421         }
1422
1423         /* Split MFT data as much as possible. */
1424         err = ni_expand_mft_list(ni);
1425
1426 out:
1427         return !err && !done ? -EOPNOTSUPP : err;
1428 }
1429
1430 /*
1431  * ni_insert_nonresident - Insert new nonresident attribute.
1432  */
1433 int ni_insert_nonresident(struct ntfs_inode *ni, enum ATTR_TYPE type,
1434                           const __le16 *name, u8 name_len,
1435                           const struct runs_tree *run, CLST svcn, CLST len,
1436                           __le16 flags, struct ATTRIB **new_attr,
1437                           struct mft_inode **mi, struct ATTR_LIST_ENTRY **le)
1438 {
1439         int err;
1440         CLST plen;
1441         struct ATTRIB *attr;
1442         bool is_ext = (flags & (ATTR_FLAG_SPARSED | ATTR_FLAG_COMPRESSED)) &&
1443                       !svcn;
1444         u32 name_size = ALIGN(name_len * sizeof(short), 8);
1445         u32 name_off = is_ext ? SIZEOF_NONRESIDENT_EX : SIZEOF_NONRESIDENT;
1446         u32 run_off = name_off + name_size;
1447         u32 run_size, asize;
1448         struct ntfs_sb_info *sbi = ni->mi.sbi;
1449
1450         /* Estimate packed size (run_buf=NULL). */
1451         err = run_pack(run, svcn, len, NULL, sbi->max_bytes_per_attr - run_off,
1452                        &plen);
1453         if (err < 0)
1454                 goto out;
1455
1456         run_size = ALIGN(err, 8);
1457
1458         if (plen < len) {
1459                 err = -EINVAL;
1460                 goto out;
1461         }
1462
1463         asize = run_off + run_size;
1464
1465         if (asize > sbi->max_bytes_per_attr) {
1466                 err = -EINVAL;
1467                 goto out;
1468         }
1469
1470         err = ni_insert_attr(ni, type, name, name_len, asize, name_off, svcn,
1471                              &attr, mi, le);
1472
1473         if (err)
1474                 goto out;
1475
1476         attr->non_res = 1;
1477         attr->name_off = cpu_to_le16(name_off);
1478         attr->flags = flags;
1479
1480         /* This function can't fail - cause already checked above. */
1481         run_pack(run, svcn, len, Add2Ptr(attr, run_off), run_size, &plen);
1482
1483         attr->nres.svcn = cpu_to_le64(svcn);
1484         attr->nres.evcn = cpu_to_le64((u64)svcn + len - 1);
1485
1486         if (new_attr)
1487                 *new_attr = attr;
1488
1489         *(__le64 *)&attr->nres.run_off = cpu_to_le64(run_off);
1490
1491         attr->nres.alloc_size =
1492                 svcn ? 0 : cpu_to_le64((u64)len << ni->mi.sbi->cluster_bits);
1493         attr->nres.data_size = attr->nres.alloc_size;
1494         attr->nres.valid_size = attr->nres.alloc_size;
1495
1496         if (is_ext) {
1497                 if (flags & ATTR_FLAG_COMPRESSED)
1498                         attr->nres.c_unit = COMPRESSION_UNIT;
1499                 attr->nres.total_size = attr->nres.alloc_size;
1500         }
1501
1502 out:
1503         return err;
1504 }
1505
1506 /*
1507  * ni_insert_resident - Inserts new resident attribute.
1508  */
1509 int ni_insert_resident(struct ntfs_inode *ni, u32 data_size,
1510                        enum ATTR_TYPE type, const __le16 *name, u8 name_len,
1511                        struct ATTRIB **new_attr, struct mft_inode **mi,
1512                        struct ATTR_LIST_ENTRY **le)
1513 {
1514         int err;
1515         u32 name_size = ALIGN(name_len * sizeof(short), 8);
1516         u32 asize = SIZEOF_RESIDENT + name_size + ALIGN(data_size, 8);
1517         struct ATTRIB *attr;
1518
1519         err = ni_insert_attr(ni, type, name, name_len, asize, SIZEOF_RESIDENT,
1520                              0, &attr, mi, le);
1521         if (err)
1522                 return err;
1523
1524         attr->non_res = 0;
1525         attr->flags = 0;
1526
1527         attr->res.data_size = cpu_to_le32(data_size);
1528         attr->res.data_off = cpu_to_le16(SIZEOF_RESIDENT + name_size);
1529         if (type == ATTR_NAME) {
1530                 attr->res.flags = RESIDENT_FLAG_INDEXED;
1531
1532                 /* is_attr_indexed(attr)) == true */
1533                 le16_add_cpu(&ni->mi.mrec->hard_links, 1);
1534                 ni->mi.dirty = true;
1535         }
1536         attr->res.res = 0;
1537
1538         if (new_attr)
1539                 *new_attr = attr;
1540
1541         return 0;
1542 }
1543
1544 /*
1545  * ni_remove_attr_le - Remove attribute from record.
1546  */
1547 void ni_remove_attr_le(struct ntfs_inode *ni, struct ATTRIB *attr,
1548                        struct mft_inode *mi, struct ATTR_LIST_ENTRY *le)
1549 {
1550         mi_remove_attr(ni, mi, attr);
1551
1552         if (le)
1553                 al_remove_le(ni, le);
1554 }
1555
1556 /*
1557  * ni_delete_all - Remove all attributes and frees allocates space.
1558  *
1559  * ntfs_evict_inode->ntfs_clear_inode->ni_delete_all (if no links).
1560  */
1561 int ni_delete_all(struct ntfs_inode *ni)
1562 {
1563         int err;
1564         struct ATTR_LIST_ENTRY *le = NULL;
1565         struct ATTRIB *attr = NULL;
1566         struct rb_node *node;
1567         u16 roff;
1568         u32 asize;
1569         CLST svcn, evcn;
1570         struct ntfs_sb_info *sbi = ni->mi.sbi;
1571         bool nt3 = is_ntfs3(sbi);
1572         struct MFT_REF ref;
1573
1574         while ((attr = ni_enum_attr_ex(ni, attr, &le, NULL))) {
1575                 if (!nt3 || attr->name_len) {
1576                         ;
1577                 } else if (attr->type == ATTR_REPARSE) {
1578                         mi_get_ref(&ni->mi, &ref);
1579                         ntfs_remove_reparse(sbi, 0, &ref);
1580                 } else if (attr->type == ATTR_ID && !attr->non_res &&
1581                            le32_to_cpu(attr->res.data_size) >=
1582                                    sizeof(struct GUID)) {
1583                         ntfs_objid_remove(sbi, resident_data(attr));
1584                 }
1585
1586                 if (!attr->non_res)
1587                         continue;
1588
1589                 svcn = le64_to_cpu(attr->nres.svcn);
1590                 evcn = le64_to_cpu(attr->nres.evcn);
1591
1592                 if (evcn + 1 <= svcn)
1593                         continue;
1594
1595                 asize = le32_to_cpu(attr->size);
1596                 roff = le16_to_cpu(attr->nres.run_off);
1597
1598                 if (roff > asize)
1599                         return -EINVAL;
1600
1601                 /* run==1 means unpack and deallocate. */
1602                 run_unpack_ex(RUN_DEALLOCATE, sbi, ni->mi.rno, svcn, evcn, svcn,
1603                               Add2Ptr(attr, roff), asize - roff);
1604         }
1605
1606         if (ni->attr_list.size) {
1607                 run_deallocate(ni->mi.sbi, &ni->attr_list.run, true);
1608                 al_destroy(ni);
1609         }
1610
1611         /* Free all subrecords. */
1612         for (node = rb_first(&ni->mi_tree); node;) {
1613                 struct rb_node *next = rb_next(node);
1614                 struct mft_inode *mi = rb_entry(node, struct mft_inode, node);
1615
1616                 clear_rec_inuse(mi->mrec);
1617                 mi->dirty = true;
1618                 mi_write(mi, 0);
1619
1620                 ntfs_mark_rec_free(sbi, mi->rno, false);
1621                 ni_remove_mi(ni, mi);
1622                 mi_put(mi);
1623                 node = next;
1624         }
1625
1626         /* Free base record. */
1627         clear_rec_inuse(ni->mi.mrec);
1628         ni->mi.dirty = true;
1629         err = mi_write(&ni->mi, 0);
1630
1631         ntfs_mark_rec_free(sbi, ni->mi.rno, false);
1632
1633         return err;
1634 }
1635
1636 /* ni_fname_name
1637  *
1638  * Return: File name attribute by its value.
1639  */
1640 struct ATTR_FILE_NAME *ni_fname_name(struct ntfs_inode *ni,
1641                                      const struct cpu_str *uni,
1642                                      const struct MFT_REF *home_dir,
1643                                      struct mft_inode **mi,
1644                                      struct ATTR_LIST_ENTRY **le)
1645 {
1646         struct ATTRIB *attr = NULL;
1647         struct ATTR_FILE_NAME *fname;
1648         struct le_str *fns;
1649
1650         if (le)
1651                 *le = NULL;
1652
1653         /* Enumerate all names. */
1654 next:
1655         attr = ni_find_attr(ni, attr, le, ATTR_NAME, NULL, 0, NULL, mi);
1656         if (!attr)
1657                 return NULL;
1658
1659         fname = resident_data_ex(attr, SIZEOF_ATTRIBUTE_FILENAME);
1660         if (!fname)
1661                 goto next;
1662
1663         if (home_dir && memcmp(home_dir, &fname->home, sizeof(*home_dir)))
1664                 goto next;
1665
1666         if (!uni)
1667                 return fname;
1668
1669         if (uni->len != fname->name_len)
1670                 goto next;
1671
1672         fns = (struct le_str *)&fname->name_len;
1673         if (ntfs_cmp_names_cpu(uni, fns, NULL, false))
1674                 goto next;
1675
1676         return fname;
1677 }
1678
1679 /*
1680  * ni_fname_type
1681  *
1682  * Return: File name attribute with given type.
1683  */
1684 struct ATTR_FILE_NAME *ni_fname_type(struct ntfs_inode *ni, u8 name_type,
1685                                      struct mft_inode **mi,
1686                                      struct ATTR_LIST_ENTRY **le)
1687 {
1688         struct ATTRIB *attr = NULL;
1689         struct ATTR_FILE_NAME *fname;
1690
1691         *le = NULL;
1692
1693         if (name_type == FILE_NAME_POSIX)
1694                 return NULL;
1695
1696         /* Enumerate all names. */
1697         for (;;) {
1698                 attr = ni_find_attr(ni, attr, le, ATTR_NAME, NULL, 0, NULL, mi);
1699                 if (!attr)
1700                         return NULL;
1701
1702                 fname = resident_data_ex(attr, SIZEOF_ATTRIBUTE_FILENAME);
1703                 if (fname && name_type == fname->type)
1704                         return fname;
1705         }
1706 }
1707
1708 /*
1709  * ni_new_attr_flags
1710  *
1711  * Process compressed/sparsed in special way.
1712  * NOTE: You need to set ni->std_fa = new_fa
1713  * after this function to keep internal structures in consistency.
1714  */
1715 int ni_new_attr_flags(struct ntfs_inode *ni, enum FILE_ATTRIBUTE new_fa)
1716 {
1717         struct ATTRIB *attr;
1718         struct mft_inode *mi;
1719         __le16 new_aflags;
1720         u32 new_asize;
1721
1722         attr = ni_find_attr(ni, NULL, NULL, ATTR_DATA, NULL, 0, NULL, &mi);
1723         if (!attr)
1724                 return -EINVAL;
1725
1726         new_aflags = attr->flags;
1727
1728         if (new_fa & FILE_ATTRIBUTE_SPARSE_FILE)
1729                 new_aflags |= ATTR_FLAG_SPARSED;
1730         else
1731                 new_aflags &= ~ATTR_FLAG_SPARSED;
1732
1733         if (new_fa & FILE_ATTRIBUTE_COMPRESSED)
1734                 new_aflags |= ATTR_FLAG_COMPRESSED;
1735         else
1736                 new_aflags &= ~ATTR_FLAG_COMPRESSED;
1737
1738         if (new_aflags == attr->flags)
1739                 return 0;
1740
1741         if ((new_aflags & (ATTR_FLAG_COMPRESSED | ATTR_FLAG_SPARSED)) ==
1742             (ATTR_FLAG_COMPRESSED | ATTR_FLAG_SPARSED)) {
1743                 ntfs_inode_warn(&ni->vfs_inode,
1744                                 "file can't be sparsed and compressed");
1745                 return -EOPNOTSUPP;
1746         }
1747
1748         if (!attr->non_res)
1749                 goto out;
1750
1751         if (attr->nres.data_size) {
1752                 ntfs_inode_warn(
1753                         &ni->vfs_inode,
1754                         "one can change sparsed/compressed only for empty files");
1755                 return -EOPNOTSUPP;
1756         }
1757
1758         /* Resize nonresident empty attribute in-place only. */
1759         new_asize = (new_aflags & (ATTR_FLAG_COMPRESSED | ATTR_FLAG_SPARSED)) ?
1760                                   (SIZEOF_NONRESIDENT_EX + 8) :
1761                                   (SIZEOF_NONRESIDENT + 8);
1762
1763         if (!mi_resize_attr(mi, attr, new_asize - le32_to_cpu(attr->size)))
1764                 return -EOPNOTSUPP;
1765
1766         if (new_aflags & ATTR_FLAG_SPARSED) {
1767                 attr->name_off = SIZEOF_NONRESIDENT_EX_LE;
1768                 /* Windows uses 16 clusters per frame but supports one cluster per frame too. */
1769                 attr->nres.c_unit = 0;
1770                 ni->vfs_inode.i_mapping->a_ops = &ntfs_aops;
1771         } else if (new_aflags & ATTR_FLAG_COMPRESSED) {
1772                 attr->name_off = SIZEOF_NONRESIDENT_EX_LE;
1773                 /* The only allowed: 16 clusters per frame. */
1774                 attr->nres.c_unit = NTFS_LZNT_CUNIT;
1775                 ni->vfs_inode.i_mapping->a_ops = &ntfs_aops_cmpr;
1776         } else {
1777                 attr->name_off = SIZEOF_NONRESIDENT_LE;
1778                 /* Normal files. */
1779                 attr->nres.c_unit = 0;
1780                 ni->vfs_inode.i_mapping->a_ops = &ntfs_aops;
1781         }
1782         attr->nres.run_off = attr->name_off;
1783 out:
1784         attr->flags = new_aflags;
1785         mi->dirty = true;
1786
1787         return 0;
1788 }
1789
1790 /*
1791  * ni_parse_reparse
1792  *
1793  * buffer - memory for reparse buffer header
1794  */
1795 enum REPARSE_SIGN ni_parse_reparse(struct ntfs_inode *ni, struct ATTRIB *attr,
1796                                    struct REPARSE_DATA_BUFFER *buffer)
1797 {
1798         const struct REPARSE_DATA_BUFFER *rp = NULL;
1799         u8 bits;
1800         u16 len;
1801         typeof(rp->CompressReparseBuffer) *cmpr;
1802
1803         /* Try to estimate reparse point. */
1804         if (!attr->non_res) {
1805                 rp = resident_data_ex(attr, sizeof(struct REPARSE_DATA_BUFFER));
1806         } else if (le64_to_cpu(attr->nres.data_size) >=
1807                    sizeof(struct REPARSE_DATA_BUFFER)) {
1808                 struct runs_tree run;
1809
1810                 run_init(&run);
1811
1812                 if (!attr_load_runs_vcn(ni, ATTR_REPARSE, NULL, 0, &run, 0) &&
1813                     !ntfs_read_run_nb(ni->mi.sbi, &run, 0, buffer,
1814                                       sizeof(struct REPARSE_DATA_BUFFER),
1815                                       NULL)) {
1816                         rp = buffer;
1817                 }
1818
1819                 run_close(&run);
1820         }
1821
1822         if (!rp)
1823                 return REPARSE_NONE;
1824
1825         len = le16_to_cpu(rp->ReparseDataLength);
1826         switch (rp->ReparseTag) {
1827         case (IO_REPARSE_TAG_MICROSOFT | IO_REPARSE_TAG_SYMBOLIC_LINK):
1828                 break; /* Symbolic link. */
1829         case IO_REPARSE_TAG_MOUNT_POINT:
1830                 break; /* Mount points and junctions. */
1831         case IO_REPARSE_TAG_SYMLINK:
1832                 break;
1833         case IO_REPARSE_TAG_COMPRESS:
1834                 /*
1835                  * WOF - Windows Overlay Filter - Used to compress files with
1836                  * LZX/Xpress.
1837                  *
1838                  * Unlike native NTFS file compression, the Windows
1839                  * Overlay Filter supports only read operations. This means
1840                  * that it doesn't need to sector-align each compressed chunk,
1841                  * so the compressed data can be packed more tightly together.
1842                  * If you open the file for writing, the WOF just decompresses
1843                  * the entire file, turning it back into a plain file.
1844                  *
1845                  * Ntfs3 driver decompresses the entire file only on write or
1846                  * change size requests.
1847                  */
1848
1849                 cmpr = &rp->CompressReparseBuffer;
1850                 if (len < sizeof(*cmpr) ||
1851                     cmpr->WofVersion != WOF_CURRENT_VERSION ||
1852                     cmpr->WofProvider != WOF_PROVIDER_SYSTEM ||
1853                     cmpr->ProviderVer != WOF_PROVIDER_CURRENT_VERSION) {
1854                         return REPARSE_NONE;
1855                 }
1856
1857                 switch (cmpr->CompressionFormat) {
1858                 case WOF_COMPRESSION_XPRESS4K:
1859                         bits = 0xc; // 4k
1860                         break;
1861                 case WOF_COMPRESSION_XPRESS8K:
1862                         bits = 0xd; // 8k
1863                         break;
1864                 case WOF_COMPRESSION_XPRESS16K:
1865                         bits = 0xe; // 16k
1866                         break;
1867                 case WOF_COMPRESSION_LZX32K:
1868                         bits = 0xf; // 32k
1869                         break;
1870                 default:
1871                         bits = 0x10; // 64k
1872                         break;
1873                 }
1874                 ni_set_ext_compress_bits(ni, bits);
1875                 return REPARSE_COMPRESSED;
1876
1877         case IO_REPARSE_TAG_DEDUP:
1878                 ni->ni_flags |= NI_FLAG_DEDUPLICATED;
1879                 return REPARSE_DEDUPLICATED;
1880
1881         default:
1882                 if (rp->ReparseTag & IO_REPARSE_TAG_NAME_SURROGATE)
1883                         break;
1884
1885                 return REPARSE_NONE;
1886         }
1887
1888         if (buffer != rp)
1889                 memcpy(buffer, rp, sizeof(struct REPARSE_DATA_BUFFER));
1890
1891         /* Looks like normal symlink. */
1892         return REPARSE_LINK;
1893 }
1894
1895 /*
1896  * ni_fiemap - Helper for file_fiemap().
1897  *
1898  * Assumed ni_lock.
1899  * TODO: Less aggressive locks.
1900  */
1901 int ni_fiemap(struct ntfs_inode *ni, struct fiemap_extent_info *fieinfo,
1902               __u64 vbo, __u64 len)
1903 {
1904         int err = 0;
1905         struct ntfs_sb_info *sbi = ni->mi.sbi;
1906         u8 cluster_bits = sbi->cluster_bits;
1907         struct runs_tree *run;
1908         struct rw_semaphore *run_lock;
1909         struct ATTRIB *attr;
1910         CLST vcn = vbo >> cluster_bits;
1911         CLST lcn, clen;
1912         u64 valid = ni->i_valid;
1913         u64 lbo, bytes;
1914         u64 end, alloc_size;
1915         size_t idx = -1;
1916         u32 flags;
1917         bool ok;
1918
1919         if (S_ISDIR(ni->vfs_inode.i_mode)) {
1920                 run = &ni->dir.alloc_run;
1921                 attr = ni_find_attr(ni, NULL, NULL, ATTR_ALLOC, I30_NAME,
1922                                     ARRAY_SIZE(I30_NAME), NULL, NULL);
1923                 run_lock = &ni->dir.run_lock;
1924         } else {
1925                 run = &ni->file.run;
1926                 attr = ni_find_attr(ni, NULL, NULL, ATTR_DATA, NULL, 0, NULL,
1927                                     NULL);
1928                 if (!attr) {
1929                         err = -EINVAL;
1930                         goto out;
1931                 }
1932                 if (is_attr_compressed(attr)) {
1933                         /* Unfortunately cp -r incorrectly treats compressed clusters. */
1934                         err = -EOPNOTSUPP;
1935                         ntfs_inode_warn(
1936                                 &ni->vfs_inode,
1937                                 "fiemap is not supported for compressed file (cp -r)");
1938                         goto out;
1939                 }
1940                 run_lock = &ni->file.run_lock;
1941         }
1942
1943         if (!attr || !attr->non_res) {
1944                 err = fiemap_fill_next_extent(
1945                         fieinfo, 0, 0,
1946                         attr ? le32_to_cpu(attr->res.data_size) : 0,
1947                         FIEMAP_EXTENT_DATA_INLINE | FIEMAP_EXTENT_LAST |
1948                                 FIEMAP_EXTENT_MERGED);
1949                 goto out;
1950         }
1951
1952         end = vbo + len;
1953         alloc_size = le64_to_cpu(attr->nres.alloc_size);
1954         if (end > alloc_size)
1955                 end = alloc_size;
1956
1957         down_read(run_lock);
1958
1959         while (vbo < end) {
1960                 if (idx == -1) {
1961                         ok = run_lookup_entry(run, vcn, &lcn, &clen, &idx);
1962                 } else {
1963                         CLST vcn_next = vcn;
1964
1965                         ok = run_get_entry(run, ++idx, &vcn, &lcn, &clen) &&
1966                              vcn == vcn_next;
1967                         if (!ok)
1968                                 vcn = vcn_next;
1969                 }
1970
1971                 if (!ok) {
1972                         up_read(run_lock);
1973                         down_write(run_lock);
1974
1975                         err = attr_load_runs_vcn(ni, attr->type,
1976                                                  attr_name(attr),
1977                                                  attr->name_len, run, vcn);
1978
1979                         up_write(run_lock);
1980                         down_read(run_lock);
1981
1982                         if (err)
1983                                 break;
1984
1985                         ok = run_lookup_entry(run, vcn, &lcn, &clen, &idx);
1986
1987                         if (!ok) {
1988                                 err = -EINVAL;
1989                                 break;
1990                         }
1991                 }
1992
1993                 if (!clen) {
1994                         err = -EINVAL; // ?
1995                         break;
1996                 }
1997
1998                 if (lcn == SPARSE_LCN) {
1999                         vcn += clen;
2000                         vbo = (u64)vcn << cluster_bits;
2001                         continue;
2002                 }
2003
2004                 flags = FIEMAP_EXTENT_MERGED;
2005                 if (S_ISDIR(ni->vfs_inode.i_mode)) {
2006                         ;
2007                 } else if (is_attr_compressed(attr)) {
2008                         CLST clst_data;
2009
2010                         err = attr_is_frame_compressed(
2011                                 ni, attr, vcn >> attr->nres.c_unit, &clst_data);
2012                         if (err)
2013                                 break;
2014                         if (clst_data < NTFS_LZNT_CLUSTERS)
2015                                 flags |= FIEMAP_EXTENT_ENCODED;
2016                 } else if (is_attr_encrypted(attr)) {
2017                         flags |= FIEMAP_EXTENT_DATA_ENCRYPTED;
2018                 }
2019
2020                 vbo = (u64)vcn << cluster_bits;
2021                 bytes = (u64)clen << cluster_bits;
2022                 lbo = (u64)lcn << cluster_bits;
2023
2024                 vcn += clen;
2025
2026                 if (vbo + bytes >= end)
2027                         bytes = end - vbo;
2028
2029                 if (vbo + bytes <= valid) {
2030                         ;
2031                 } else if (vbo >= valid) {
2032                         flags |= FIEMAP_EXTENT_UNWRITTEN;
2033                 } else {
2034                         /* vbo < valid && valid < vbo + bytes */
2035                         u64 dlen = valid - vbo;
2036
2037                         if (vbo + dlen >= end)
2038                                 flags |= FIEMAP_EXTENT_LAST;
2039
2040                         err = fiemap_fill_next_extent(fieinfo, vbo, lbo, dlen,
2041                                                       flags);
2042                         if (err < 0)
2043                                 break;
2044                         if (err == 1) {
2045                                 err = 0;
2046                                 break;
2047                         }
2048
2049                         vbo = valid;
2050                         bytes -= dlen;
2051                         if (!bytes)
2052                                 continue;
2053
2054                         lbo += dlen;
2055                         flags |= FIEMAP_EXTENT_UNWRITTEN;
2056                 }
2057
2058                 if (vbo + bytes >= end)
2059                         flags |= FIEMAP_EXTENT_LAST;
2060
2061                 err = fiemap_fill_next_extent(fieinfo, vbo, lbo, bytes, flags);
2062                 if (err < 0)
2063                         break;
2064                 if (err == 1) {
2065                         err = 0;
2066                         break;
2067                 }
2068
2069                 vbo += bytes;
2070         }
2071
2072         up_read(run_lock);
2073
2074 out:
2075         return err;
2076 }
2077
2078 /*
2079  * ni_readpage_cmpr
2080  *
2081  * When decompressing, we typically obtain more than one page per reference.
2082  * We inject the additional pages into the page cache.
2083  */
2084 int ni_readpage_cmpr(struct ntfs_inode *ni, struct page *page)
2085 {
2086         int err;
2087         struct ntfs_sb_info *sbi = ni->mi.sbi;
2088         struct address_space *mapping = page->mapping;
2089         pgoff_t index = page->index;
2090         u64 frame_vbo, vbo = (u64)index << PAGE_SHIFT;
2091         struct page **pages = NULL; /* Array of at most 16 pages. stack? */
2092         u8 frame_bits;
2093         CLST frame;
2094         u32 i, idx, frame_size, pages_per_frame;
2095         gfp_t gfp_mask;
2096         struct page *pg;
2097
2098         if (vbo >= ni->vfs_inode.i_size) {
2099                 SetPageUptodate(page);
2100                 err = 0;
2101                 goto out;
2102         }
2103
2104         if (ni->ni_flags & NI_FLAG_COMPRESSED_MASK) {
2105                 /* Xpress or LZX. */
2106                 frame_bits = ni_ext_compress_bits(ni);
2107         } else {
2108                 /* LZNT compression. */
2109                 frame_bits = NTFS_LZNT_CUNIT + sbi->cluster_bits;
2110         }
2111         frame_size = 1u << frame_bits;
2112         frame = vbo >> frame_bits;
2113         frame_vbo = (u64)frame << frame_bits;
2114         idx = (vbo - frame_vbo) >> PAGE_SHIFT;
2115
2116         pages_per_frame = frame_size >> PAGE_SHIFT;
2117         pages = kcalloc(pages_per_frame, sizeof(struct page *), GFP_NOFS);
2118         if (!pages) {
2119                 err = -ENOMEM;
2120                 goto out;
2121         }
2122
2123         pages[idx] = page;
2124         index = frame_vbo >> PAGE_SHIFT;
2125         gfp_mask = mapping_gfp_mask(mapping);
2126
2127         for (i = 0; i < pages_per_frame; i++, index++) {
2128                 if (i == idx)
2129                         continue;
2130
2131                 pg = find_or_create_page(mapping, index, gfp_mask);
2132                 if (!pg) {
2133                         err = -ENOMEM;
2134                         goto out1;
2135                 }
2136                 pages[i] = pg;
2137         }
2138
2139         err = ni_read_frame(ni, frame_vbo, pages, pages_per_frame);
2140
2141 out1:
2142         if (err)
2143                 SetPageError(page);
2144
2145         for (i = 0; i < pages_per_frame; i++) {
2146                 pg = pages[i];
2147                 if (i == idx)
2148                         continue;
2149                 unlock_page(pg);
2150                 put_page(pg);
2151         }
2152
2153 out:
2154         /* At this point, err contains 0 or -EIO depending on the "critical" page. */
2155         kfree(pages);
2156         unlock_page(page);
2157
2158         return err;
2159 }
2160
2161 #ifdef CONFIG_NTFS3_LZX_XPRESS
2162 /*
2163  * ni_decompress_file - Decompress LZX/Xpress compressed file.
2164  *
2165  * Remove ATTR_DATA::WofCompressedData.
2166  * Remove ATTR_REPARSE.
2167  */
2168 int ni_decompress_file(struct ntfs_inode *ni)
2169 {
2170         struct ntfs_sb_info *sbi = ni->mi.sbi;
2171         struct inode *inode = &ni->vfs_inode;
2172         loff_t i_size = inode->i_size;
2173         struct address_space *mapping = inode->i_mapping;
2174         gfp_t gfp_mask = mapping_gfp_mask(mapping);
2175         struct page **pages = NULL;
2176         struct ATTR_LIST_ENTRY *le;
2177         struct ATTRIB *attr;
2178         CLST vcn, cend, lcn, clen, end;
2179         pgoff_t index;
2180         u64 vbo;
2181         u8 frame_bits;
2182         u32 i, frame_size, pages_per_frame, bytes;
2183         struct mft_inode *mi;
2184         int err;
2185
2186         /* Clusters for decompressed data. */
2187         cend = bytes_to_cluster(sbi, i_size);
2188
2189         if (!i_size)
2190                 goto remove_wof;
2191
2192         /* Check in advance. */
2193         if (cend > wnd_zeroes(&sbi->used.bitmap)) {
2194                 err = -ENOSPC;
2195                 goto out;
2196         }
2197
2198         frame_bits = ni_ext_compress_bits(ni);
2199         frame_size = 1u << frame_bits;
2200         pages_per_frame = frame_size >> PAGE_SHIFT;
2201         pages = kcalloc(pages_per_frame, sizeof(struct page *), GFP_NOFS);
2202         if (!pages) {
2203                 err = -ENOMEM;
2204                 goto out;
2205         }
2206
2207         /*
2208          * Step 1: Decompress data and copy to new allocated clusters.
2209          */
2210         index = 0;
2211         for (vbo = 0; vbo < i_size; vbo += bytes) {
2212                 u32 nr_pages;
2213                 bool new;
2214
2215                 if (vbo + frame_size > i_size) {
2216                         bytes = i_size - vbo;
2217                         nr_pages = (bytes + PAGE_SIZE - 1) >> PAGE_SHIFT;
2218                 } else {
2219                         nr_pages = pages_per_frame;
2220                         bytes = frame_size;
2221                 }
2222
2223                 end = bytes_to_cluster(sbi, vbo + bytes);
2224
2225                 for (vcn = vbo >> sbi->cluster_bits; vcn < end; vcn += clen) {
2226                         err = attr_data_get_block(ni, vcn, cend - vcn, &lcn,
2227                                                   &clen, &new, false);
2228                         if (err)
2229                                 goto out;
2230                 }
2231
2232                 for (i = 0; i < pages_per_frame; i++, index++) {
2233                         struct page *pg;
2234
2235                         pg = find_or_create_page(mapping, index, gfp_mask);
2236                         if (!pg) {
2237                                 while (i--) {
2238                                         unlock_page(pages[i]);
2239                                         put_page(pages[i]);
2240                                 }
2241                                 err = -ENOMEM;
2242                                 goto out;
2243                         }
2244                         pages[i] = pg;
2245                 }
2246
2247                 err = ni_read_frame(ni, vbo, pages, pages_per_frame);
2248
2249                 if (!err) {
2250                         down_read(&ni->file.run_lock);
2251                         err = ntfs_bio_pages(sbi, &ni->file.run, pages,
2252                                              nr_pages, vbo, bytes,
2253                                              REQ_OP_WRITE);
2254                         up_read(&ni->file.run_lock);
2255                 }
2256
2257                 for (i = 0; i < pages_per_frame; i++) {
2258                         unlock_page(pages[i]);
2259                         put_page(pages[i]);
2260                 }
2261
2262                 if (err)
2263                         goto out;
2264
2265                 cond_resched();
2266         }
2267
2268 remove_wof:
2269         /*
2270          * Step 2: Deallocate attributes ATTR_DATA::WofCompressedData
2271          * and ATTR_REPARSE.
2272          */
2273         attr = NULL;
2274         le = NULL;
2275         while ((attr = ni_enum_attr_ex(ni, attr, &le, NULL))) {
2276                 CLST svcn, evcn;
2277                 u32 asize, roff;
2278
2279                 if (attr->type == ATTR_REPARSE) {
2280                         struct MFT_REF ref;
2281
2282                         mi_get_ref(&ni->mi, &ref);
2283                         ntfs_remove_reparse(sbi, 0, &ref);
2284                 }
2285
2286                 if (!attr->non_res)
2287                         continue;
2288
2289                 if (attr->type != ATTR_REPARSE &&
2290                     (attr->type != ATTR_DATA ||
2291                      attr->name_len != ARRAY_SIZE(WOF_NAME) ||
2292                      memcmp(attr_name(attr), WOF_NAME, sizeof(WOF_NAME))))
2293                         continue;
2294
2295                 svcn = le64_to_cpu(attr->nres.svcn);
2296                 evcn = le64_to_cpu(attr->nres.evcn);
2297
2298                 if (evcn + 1 <= svcn)
2299                         continue;
2300
2301                 asize = le32_to_cpu(attr->size);
2302                 roff = le16_to_cpu(attr->nres.run_off);
2303
2304                 if (roff > asize) {
2305                         err = -EINVAL;
2306                         goto out;
2307                 }
2308
2309                 /*run==1  Means unpack and deallocate. */
2310                 run_unpack_ex(RUN_DEALLOCATE, sbi, ni->mi.rno, svcn, evcn, svcn,
2311                               Add2Ptr(attr, roff), asize - roff);
2312         }
2313
2314         /*
2315          * Step 3: Remove attribute ATTR_DATA::WofCompressedData.
2316          */
2317         err = ni_remove_attr(ni, ATTR_DATA, WOF_NAME, ARRAY_SIZE(WOF_NAME),
2318                              false, NULL);
2319         if (err)
2320                 goto out;
2321
2322         /*
2323          * Step 4: Remove ATTR_REPARSE.
2324          */
2325         err = ni_remove_attr(ni, ATTR_REPARSE, NULL, 0, false, NULL);
2326         if (err)
2327                 goto out;
2328
2329         /*
2330          * Step 5: Remove sparse flag from data attribute.
2331          */
2332         attr = ni_find_attr(ni, NULL, NULL, ATTR_DATA, NULL, 0, NULL, &mi);
2333         if (!attr) {
2334                 err = -EINVAL;
2335                 goto out;
2336         }
2337
2338         if (attr->non_res && is_attr_sparsed(attr)) {
2339                 /* Sparsed attribute header is 8 bytes bigger than normal. */
2340                 struct MFT_REC *rec = mi->mrec;
2341                 u32 used = le32_to_cpu(rec->used);
2342                 u32 asize = le32_to_cpu(attr->size);
2343                 u16 roff = le16_to_cpu(attr->nres.run_off);
2344                 char *rbuf = Add2Ptr(attr, roff);
2345
2346                 memmove(rbuf - 8, rbuf, used - PtrOffset(rec, rbuf));
2347                 attr->size = cpu_to_le32(asize - 8);
2348                 attr->flags &= ~ATTR_FLAG_SPARSED;
2349                 attr->nres.run_off = cpu_to_le16(roff - 8);
2350                 attr->nres.c_unit = 0;
2351                 rec->used = cpu_to_le32(used - 8);
2352                 mi->dirty = true;
2353                 ni->std_fa &= ~(FILE_ATTRIBUTE_SPARSE_FILE |
2354                                 FILE_ATTRIBUTE_REPARSE_POINT);
2355
2356                 mark_inode_dirty(inode);
2357         }
2358
2359         /* Clear cached flag. */
2360         ni->ni_flags &= ~NI_FLAG_COMPRESSED_MASK;
2361         if (ni->file.offs_page) {
2362                 put_page(ni->file.offs_page);
2363                 ni->file.offs_page = NULL;
2364         }
2365         mapping->a_ops = &ntfs_aops;
2366
2367 out:
2368         kfree(pages);
2369         if (err)
2370                 _ntfs_bad_inode(inode);
2371
2372         return err;
2373 }
2374
2375 /*
2376  * decompress_lzx_xpress - External compression LZX/Xpress.
2377  */
2378 static int decompress_lzx_xpress(struct ntfs_sb_info *sbi, const char *cmpr,
2379                                  size_t cmpr_size, void *unc, size_t unc_size,
2380                                  u32 frame_size)
2381 {
2382         int err;
2383         void *ctx;
2384
2385         if (cmpr_size == unc_size) {
2386                 /* Frame not compressed. */
2387                 memcpy(unc, cmpr, unc_size);
2388                 return 0;
2389         }
2390
2391         err = 0;
2392         if (frame_size == 0x8000) {
2393                 mutex_lock(&sbi->compress.mtx_lzx);
2394                 /* LZX: Frame compressed. */
2395                 ctx = sbi->compress.lzx;
2396                 if (!ctx) {
2397                         /* Lazy initialize LZX decompress context. */
2398                         ctx = lzx_allocate_decompressor();
2399                         if (!ctx) {
2400                                 err = -ENOMEM;
2401                                 goto out1;
2402                         }
2403
2404                         sbi->compress.lzx = ctx;
2405                 }
2406
2407                 if (lzx_decompress(ctx, cmpr, cmpr_size, unc, unc_size)) {
2408                         /* Treat all errors as "invalid argument". */
2409                         err = -EINVAL;
2410                 }
2411 out1:
2412                 mutex_unlock(&sbi->compress.mtx_lzx);
2413         } else {
2414                 /* XPRESS: Frame compressed. */
2415                 mutex_lock(&sbi->compress.mtx_xpress);
2416                 ctx = sbi->compress.xpress;
2417                 if (!ctx) {
2418                         /* Lazy initialize Xpress decompress context. */
2419                         ctx = xpress_allocate_decompressor();
2420                         if (!ctx) {
2421                                 err = -ENOMEM;
2422                                 goto out2;
2423                         }
2424
2425                         sbi->compress.xpress = ctx;
2426                 }
2427
2428                 if (xpress_decompress(ctx, cmpr, cmpr_size, unc, unc_size)) {
2429                         /* Treat all errors as "invalid argument". */
2430                         err = -EINVAL;
2431                 }
2432 out2:
2433                 mutex_unlock(&sbi->compress.mtx_xpress);
2434         }
2435         return err;
2436 }
2437 #endif
2438
2439 /*
2440  * ni_read_frame
2441  *
2442  * Pages - Array of locked pages.
2443  */
2444 int ni_read_frame(struct ntfs_inode *ni, u64 frame_vbo, struct page **pages,
2445                   u32 pages_per_frame)
2446 {
2447         int err;
2448         struct ntfs_sb_info *sbi = ni->mi.sbi;
2449         u8 cluster_bits = sbi->cluster_bits;
2450         char *frame_ondisk = NULL;
2451         char *frame_mem = NULL;
2452         struct page **pages_disk = NULL;
2453         struct ATTR_LIST_ENTRY *le = NULL;
2454         struct runs_tree *run = &ni->file.run;
2455         u64 valid_size = ni->i_valid;
2456         u64 vbo_disk;
2457         size_t unc_size;
2458         u32 frame_size, i, npages_disk, ondisk_size;
2459         struct page *pg;
2460         struct ATTRIB *attr;
2461         CLST frame, clst_data;
2462
2463         /*
2464          * To simplify decompress algorithm do vmap for source
2465          * and target pages.
2466          */
2467         for (i = 0; i < pages_per_frame; i++)
2468                 kmap(pages[i]);
2469
2470         frame_size = pages_per_frame << PAGE_SHIFT;
2471         frame_mem = vmap(pages, pages_per_frame, VM_MAP, PAGE_KERNEL);
2472         if (!frame_mem) {
2473                 err = -ENOMEM;
2474                 goto out;
2475         }
2476
2477         attr = ni_find_attr(ni, NULL, &le, ATTR_DATA, NULL, 0, NULL, NULL);
2478         if (!attr) {
2479                 err = -ENOENT;
2480                 goto out1;
2481         }
2482
2483         if (!attr->non_res) {
2484                 u32 data_size = le32_to_cpu(attr->res.data_size);
2485
2486                 memset(frame_mem, 0, frame_size);
2487                 if (frame_vbo < data_size) {
2488                         ondisk_size = data_size - frame_vbo;
2489                         memcpy(frame_mem, resident_data(attr) + frame_vbo,
2490                                min(ondisk_size, frame_size));
2491                 }
2492                 err = 0;
2493                 goto out1;
2494         }
2495
2496         if (frame_vbo >= valid_size) {
2497                 memset(frame_mem, 0, frame_size);
2498                 err = 0;
2499                 goto out1;
2500         }
2501
2502         if (ni->ni_flags & NI_FLAG_COMPRESSED_MASK) {
2503 #ifndef CONFIG_NTFS3_LZX_XPRESS
2504                 err = -EOPNOTSUPP;
2505                 goto out1;
2506 #else
2507                 u32 frame_bits = ni_ext_compress_bits(ni);
2508                 u64 frame64 = frame_vbo >> frame_bits;
2509                 u64 frames, vbo_data;
2510
2511                 if (frame_size != (1u << frame_bits)) {
2512                         err = -EINVAL;
2513                         goto out1;
2514                 }
2515                 switch (frame_size) {
2516                 case 0x1000:
2517                 case 0x2000:
2518                 case 0x4000:
2519                 case 0x8000:
2520                         break;
2521                 default:
2522                         /* Unknown compression. */
2523                         err = -EOPNOTSUPP;
2524                         goto out1;
2525                 }
2526
2527                 attr = ni_find_attr(ni, attr, &le, ATTR_DATA, WOF_NAME,
2528                                     ARRAY_SIZE(WOF_NAME), NULL, NULL);
2529                 if (!attr) {
2530                         ntfs_inode_err(
2531                                 &ni->vfs_inode,
2532                                 "external compressed file should contains data attribute \"WofCompressedData\"");
2533                         err = -EINVAL;
2534                         goto out1;
2535                 }
2536
2537                 if (!attr->non_res) {
2538                         run = NULL;
2539                 } else {
2540                         run = run_alloc();
2541                         if (!run) {
2542                                 err = -ENOMEM;
2543                                 goto out1;
2544                         }
2545                 }
2546
2547                 frames = (ni->vfs_inode.i_size - 1) >> frame_bits;
2548
2549                 err = attr_wof_frame_info(ni, attr, run, frame64, frames,
2550                                           frame_bits, &ondisk_size, &vbo_data);
2551                 if (err)
2552                         goto out2;
2553
2554                 if (frame64 == frames) {
2555                         unc_size = 1 + ((ni->vfs_inode.i_size - 1) &
2556                                         (frame_size - 1));
2557                         ondisk_size = attr_size(attr) - vbo_data;
2558                 } else {
2559                         unc_size = frame_size;
2560                 }
2561
2562                 if (ondisk_size > frame_size) {
2563                         err = -EINVAL;
2564                         goto out2;
2565                 }
2566
2567                 if (!attr->non_res) {
2568                         if (vbo_data + ondisk_size >
2569                             le32_to_cpu(attr->res.data_size)) {
2570                                 err = -EINVAL;
2571                                 goto out1;
2572                         }
2573
2574                         err = decompress_lzx_xpress(
2575                                 sbi, Add2Ptr(resident_data(attr), vbo_data),
2576                                 ondisk_size, frame_mem, unc_size, frame_size);
2577                         goto out1;
2578                 }
2579                 vbo_disk = vbo_data;
2580                 /* Load all runs to read [vbo_disk-vbo_to). */
2581                 err = attr_load_runs_range(ni, ATTR_DATA, WOF_NAME,
2582                                            ARRAY_SIZE(WOF_NAME), run, vbo_disk,
2583                                            vbo_data + ondisk_size);
2584                 if (err)
2585                         goto out2;
2586                 npages_disk = (ondisk_size + (vbo_disk & (PAGE_SIZE - 1)) +
2587                                PAGE_SIZE - 1) >>
2588                               PAGE_SHIFT;
2589 #endif
2590         } else if (is_attr_compressed(attr)) {
2591                 /* LZNT compression. */
2592                 if (sbi->cluster_size > NTFS_LZNT_MAX_CLUSTER) {
2593                         err = -EOPNOTSUPP;
2594                         goto out1;
2595                 }
2596
2597                 if (attr->nres.c_unit != NTFS_LZNT_CUNIT) {
2598                         err = -EOPNOTSUPP;
2599                         goto out1;
2600                 }
2601
2602                 down_write(&ni->file.run_lock);
2603                 run_truncate_around(run, le64_to_cpu(attr->nres.svcn));
2604                 frame = frame_vbo >> (cluster_bits + NTFS_LZNT_CUNIT);
2605                 err = attr_is_frame_compressed(ni, attr, frame, &clst_data);
2606                 up_write(&ni->file.run_lock);
2607                 if (err)
2608                         goto out1;
2609
2610                 if (!clst_data) {
2611                         memset(frame_mem, 0, frame_size);
2612                         goto out1;
2613                 }
2614
2615                 frame_size = sbi->cluster_size << NTFS_LZNT_CUNIT;
2616                 ondisk_size = clst_data << cluster_bits;
2617
2618                 if (clst_data >= NTFS_LZNT_CLUSTERS) {
2619                         /* Frame is not compressed. */
2620                         down_read(&ni->file.run_lock);
2621                         err = ntfs_bio_pages(sbi, run, pages, pages_per_frame,
2622                                              frame_vbo, ondisk_size,
2623                                              REQ_OP_READ);
2624                         up_read(&ni->file.run_lock);
2625                         goto out1;
2626                 }
2627                 vbo_disk = frame_vbo;
2628                 npages_disk = (ondisk_size + PAGE_SIZE - 1) >> PAGE_SHIFT;
2629         } else {
2630                 __builtin_unreachable();
2631                 err = -EINVAL;
2632                 goto out1;
2633         }
2634
2635         pages_disk = kzalloc(npages_disk * sizeof(struct page *), GFP_NOFS);
2636         if (!pages_disk) {
2637                 err = -ENOMEM;
2638                 goto out2;
2639         }
2640
2641         for (i = 0; i < npages_disk; i++) {
2642                 pg = alloc_page(GFP_KERNEL);
2643                 if (!pg) {
2644                         err = -ENOMEM;
2645                         goto out3;
2646                 }
2647                 pages_disk[i] = pg;
2648                 lock_page(pg);
2649                 kmap(pg);
2650         }
2651
2652         /* Read 'ondisk_size' bytes from disk. */
2653         down_read(&ni->file.run_lock);
2654         err = ntfs_bio_pages(sbi, run, pages_disk, npages_disk, vbo_disk,
2655                              ondisk_size, REQ_OP_READ);
2656         up_read(&ni->file.run_lock);
2657         if (err)
2658                 goto out3;
2659
2660         /*
2661          * To simplify decompress algorithm do vmap for source and target pages.
2662          */
2663         frame_ondisk = vmap(pages_disk, npages_disk, VM_MAP, PAGE_KERNEL_RO);
2664         if (!frame_ondisk) {
2665                 err = -ENOMEM;
2666                 goto out3;
2667         }
2668
2669         /* Decompress: Frame_ondisk -> frame_mem. */
2670 #ifdef CONFIG_NTFS3_LZX_XPRESS
2671         if (run != &ni->file.run) {
2672                 /* LZX or XPRESS */
2673                 err = decompress_lzx_xpress(
2674                         sbi, frame_ondisk + (vbo_disk & (PAGE_SIZE - 1)),
2675                         ondisk_size, frame_mem, unc_size, frame_size);
2676         } else
2677 #endif
2678         {
2679                 /* LZNT - Native NTFS compression. */
2680                 unc_size = decompress_lznt(frame_ondisk, ondisk_size, frame_mem,
2681                                            frame_size);
2682                 if ((ssize_t)unc_size < 0)
2683                         err = unc_size;
2684                 else if (!unc_size || unc_size > frame_size)
2685                         err = -EINVAL;
2686         }
2687         if (!err && valid_size < frame_vbo + frame_size) {
2688                 size_t ok = valid_size - frame_vbo;
2689
2690                 memset(frame_mem + ok, 0, frame_size - ok);
2691         }
2692
2693         vunmap(frame_ondisk);
2694
2695 out3:
2696         for (i = 0; i < npages_disk; i++) {
2697                 pg = pages_disk[i];
2698                 if (pg) {
2699                         kunmap(pg);
2700                         unlock_page(pg);
2701                         put_page(pg);
2702                 }
2703         }
2704         kfree(pages_disk);
2705
2706 out2:
2707 #ifdef CONFIG_NTFS3_LZX_XPRESS
2708         if (run != &ni->file.run)
2709                 run_free(run);
2710 #endif
2711 out1:
2712         vunmap(frame_mem);
2713 out:
2714         for (i = 0; i < pages_per_frame; i++) {
2715                 pg = pages[i];
2716                 kunmap(pg);
2717                 ClearPageError(pg);
2718                 SetPageUptodate(pg);
2719         }
2720
2721         return err;
2722 }
2723
2724 /*
2725  * ni_write_frame
2726  *
2727  * Pages - Array of locked pages.
2728  */
2729 int ni_write_frame(struct ntfs_inode *ni, struct page **pages,
2730                    u32 pages_per_frame)
2731 {
2732         int err;
2733         struct ntfs_sb_info *sbi = ni->mi.sbi;
2734         u8 frame_bits = NTFS_LZNT_CUNIT + sbi->cluster_bits;
2735         u32 frame_size = sbi->cluster_size << NTFS_LZNT_CUNIT;
2736         u64 frame_vbo = (u64)pages[0]->index << PAGE_SHIFT;
2737         CLST frame = frame_vbo >> frame_bits;
2738         char *frame_ondisk = NULL;
2739         struct page **pages_disk = NULL;
2740         struct ATTR_LIST_ENTRY *le = NULL;
2741         char *frame_mem;
2742         struct ATTRIB *attr;
2743         struct mft_inode *mi;
2744         u32 i;
2745         struct page *pg;
2746         size_t compr_size, ondisk_size;
2747         struct lznt *lznt;
2748
2749         attr = ni_find_attr(ni, NULL, &le, ATTR_DATA, NULL, 0, NULL, &mi);
2750         if (!attr) {
2751                 err = -ENOENT;
2752                 goto out;
2753         }
2754
2755         if (WARN_ON(!is_attr_compressed(attr))) {
2756                 err = -EINVAL;
2757                 goto out;
2758         }
2759
2760         if (sbi->cluster_size > NTFS_LZNT_MAX_CLUSTER) {
2761                 err = -EOPNOTSUPP;
2762                 goto out;
2763         }
2764
2765         if (!attr->non_res) {
2766                 down_write(&ni->file.run_lock);
2767                 err = attr_make_nonresident(ni, attr, le, mi,
2768                                             le32_to_cpu(attr->res.data_size),
2769                                             &ni->file.run, &attr, pages[0]);
2770                 up_write(&ni->file.run_lock);
2771                 if (err)
2772                         goto out;
2773         }
2774
2775         if (attr->nres.c_unit != NTFS_LZNT_CUNIT) {
2776                 err = -EOPNOTSUPP;
2777                 goto out;
2778         }
2779
2780         pages_disk = kcalloc(pages_per_frame, sizeof(struct page *), GFP_NOFS);
2781         if (!pages_disk) {
2782                 err = -ENOMEM;
2783                 goto out;
2784         }
2785
2786         for (i = 0; i < pages_per_frame; i++) {
2787                 pg = alloc_page(GFP_KERNEL);
2788                 if (!pg) {
2789                         err = -ENOMEM;
2790                         goto out1;
2791                 }
2792                 pages_disk[i] = pg;
2793                 lock_page(pg);
2794                 kmap(pg);
2795         }
2796
2797         /* To simplify compress algorithm do vmap for source and target pages. */
2798         frame_ondisk = vmap(pages_disk, pages_per_frame, VM_MAP, PAGE_KERNEL);
2799         if (!frame_ondisk) {
2800                 err = -ENOMEM;
2801                 goto out1;
2802         }
2803
2804         for (i = 0; i < pages_per_frame; i++)
2805                 kmap(pages[i]);
2806
2807         /* Map in-memory frame for read-only. */
2808         frame_mem = vmap(pages, pages_per_frame, VM_MAP, PAGE_KERNEL_RO);
2809         if (!frame_mem) {
2810                 err = -ENOMEM;
2811                 goto out2;
2812         }
2813
2814         mutex_lock(&sbi->compress.mtx_lznt);
2815         lznt = NULL;
2816         if (!sbi->compress.lznt) {
2817                 /*
2818                  * LZNT implements two levels of compression:
2819                  * 0 - Standard compression
2820                  * 1 - Best compression, requires a lot of cpu
2821                  * use mount option?
2822                  */
2823                 lznt = get_lznt_ctx(0);
2824                 if (!lznt) {
2825                         mutex_unlock(&sbi->compress.mtx_lznt);
2826                         err = -ENOMEM;
2827                         goto out3;
2828                 }
2829
2830                 sbi->compress.lznt = lznt;
2831                 lznt = NULL;
2832         }
2833
2834         /* Compress: frame_mem -> frame_ondisk */
2835         compr_size = compress_lznt(frame_mem, frame_size, frame_ondisk,
2836                                    frame_size, sbi->compress.lznt);
2837         mutex_unlock(&sbi->compress.mtx_lznt);
2838         kfree(lznt);
2839
2840         if (compr_size + sbi->cluster_size > frame_size) {
2841                 /* Frame is not compressed. */
2842                 compr_size = frame_size;
2843                 ondisk_size = frame_size;
2844         } else if (compr_size) {
2845                 /* Frame is compressed. */
2846                 ondisk_size = ntfs_up_cluster(sbi, compr_size);
2847                 memset(frame_ondisk + compr_size, 0, ondisk_size - compr_size);
2848         } else {
2849                 /* Frame is sparsed. */
2850                 ondisk_size = 0;
2851         }
2852
2853         down_write(&ni->file.run_lock);
2854         run_truncate_around(&ni->file.run, le64_to_cpu(attr->nres.svcn));
2855         err = attr_allocate_frame(ni, frame, compr_size, ni->i_valid);
2856         up_write(&ni->file.run_lock);
2857         if (err)
2858                 goto out2;
2859
2860         if (!ondisk_size)
2861                 goto out2;
2862
2863         down_read(&ni->file.run_lock);
2864         err = ntfs_bio_pages(sbi, &ni->file.run,
2865                              ondisk_size < frame_size ? pages_disk : pages,
2866                              pages_per_frame, frame_vbo, ondisk_size,
2867                              REQ_OP_WRITE);
2868         up_read(&ni->file.run_lock);
2869
2870 out3:
2871         vunmap(frame_mem);
2872
2873 out2:
2874         for (i = 0; i < pages_per_frame; i++)
2875                 kunmap(pages[i]);
2876
2877         vunmap(frame_ondisk);
2878 out1:
2879         for (i = 0; i < pages_per_frame; i++) {
2880                 pg = pages_disk[i];
2881                 if (pg) {
2882                         kunmap(pg);
2883                         unlock_page(pg);
2884                         put_page(pg);
2885                 }
2886         }
2887         kfree(pages_disk);
2888 out:
2889         return err;
2890 }
2891
2892 /*
2893  * ni_remove_name - Removes name 'de' from MFT and from directory.
2894  * 'de2' and 'undo_step' are used to restore MFT/dir, if error occurs.
2895  */
2896 int ni_remove_name(struct ntfs_inode *dir_ni, struct ntfs_inode *ni,
2897                    struct NTFS_DE *de, struct NTFS_DE **de2, int *undo_step)
2898 {
2899         int err;
2900         struct ntfs_sb_info *sbi = ni->mi.sbi;
2901         struct ATTR_FILE_NAME *de_name = (struct ATTR_FILE_NAME *)(de + 1);
2902         struct ATTR_FILE_NAME *fname;
2903         struct ATTR_LIST_ENTRY *le;
2904         struct mft_inode *mi;
2905         u16 de_key_size = le16_to_cpu(de->key_size);
2906         u8 name_type;
2907
2908         *undo_step = 0;
2909
2910         /* Find name in record. */
2911         mi_get_ref(&dir_ni->mi, &de_name->home);
2912
2913         fname = ni_fname_name(ni, (struct cpu_str *)&de_name->name_len,
2914                               &de_name->home, &mi, &le);
2915         if (!fname)
2916                 return -ENOENT;
2917
2918         memcpy(&de_name->dup, &fname->dup, sizeof(struct NTFS_DUP_INFO));
2919         name_type = paired_name(fname->type);
2920
2921         /* Mark ntfs as dirty. It will be cleared at umount. */
2922         ntfs_set_state(sbi, NTFS_DIRTY_DIRTY);
2923
2924         /* Step 1: Remove name from directory. */
2925         err = indx_delete_entry(&dir_ni->dir, dir_ni, fname, de_key_size, sbi);
2926         if (err)
2927                 return err;
2928
2929         /* Step 2: Remove name from MFT. */
2930         ni_remove_attr_le(ni, attr_from_name(fname), mi, le);
2931
2932         *undo_step = 2;
2933
2934         /* Get paired name. */
2935         fname = ni_fname_type(ni, name_type, &mi, &le);
2936         if (fname) {
2937                 u16 de2_key_size = fname_full_size(fname);
2938
2939                 *de2 = Add2Ptr(de, 1024);
2940                 (*de2)->key_size = cpu_to_le16(de2_key_size);
2941
2942                 memcpy(*de2 + 1, fname, de2_key_size);
2943
2944                 /* Step 3: Remove paired name from directory. */
2945                 err = indx_delete_entry(&dir_ni->dir, dir_ni, fname,
2946                                         de2_key_size, sbi);
2947                 if (err)
2948                         return err;
2949
2950                 /* Step 4: Remove paired name from MFT. */
2951                 ni_remove_attr_le(ni, attr_from_name(fname), mi, le);
2952
2953                 *undo_step = 4;
2954         }
2955         return 0;
2956 }
2957
2958 /*
2959  * ni_remove_name_undo - Paired function for ni_remove_name.
2960  *
2961  * Return: True if ok
2962  */
2963 bool ni_remove_name_undo(struct ntfs_inode *dir_ni, struct ntfs_inode *ni,
2964                          struct NTFS_DE *de, struct NTFS_DE *de2, int undo_step)
2965 {
2966         struct ntfs_sb_info *sbi = ni->mi.sbi;
2967         struct ATTRIB *attr;
2968         u16 de_key_size;
2969
2970         switch (undo_step) {
2971         case 4:
2972                 de_key_size = le16_to_cpu(de2->key_size);
2973                 if (ni_insert_resident(ni, de_key_size, ATTR_NAME, NULL, 0,
2974                                        &attr, NULL, NULL))
2975                         return false;
2976                 memcpy(Add2Ptr(attr, SIZEOF_RESIDENT), de2 + 1, de_key_size);
2977
2978                 mi_get_ref(&ni->mi, &de2->ref);
2979                 de2->size = cpu_to_le16(ALIGN(de_key_size, 8) +
2980                                         sizeof(struct NTFS_DE));
2981                 de2->flags = 0;
2982                 de2->res = 0;
2983
2984                 if (indx_insert_entry(&dir_ni->dir, dir_ni, de2, sbi, NULL, 1))
2985                         return false;
2986                 fallthrough;
2987
2988         case 2:
2989                 de_key_size = le16_to_cpu(de->key_size);
2990
2991                 if (ni_insert_resident(ni, de_key_size, ATTR_NAME, NULL, 0,
2992                                        &attr, NULL, NULL))
2993                         return false;
2994
2995                 memcpy(Add2Ptr(attr, SIZEOF_RESIDENT), de + 1, de_key_size);
2996                 mi_get_ref(&ni->mi, &de->ref);
2997
2998                 if (indx_insert_entry(&dir_ni->dir, dir_ni, de, sbi, NULL, 1))
2999                         return false;
3000         }
3001
3002         return true;
3003 }
3004
3005 /*
3006  * ni_add_name - Add new name into MFT and into directory.
3007  */
3008 int ni_add_name(struct ntfs_inode *dir_ni, struct ntfs_inode *ni,
3009                 struct NTFS_DE *de)
3010 {
3011         int err;
3012         struct ntfs_sb_info *sbi = ni->mi.sbi;
3013         struct ATTRIB *attr;
3014         struct ATTR_LIST_ENTRY *le;
3015         struct mft_inode *mi;
3016         struct ATTR_FILE_NAME *fname;
3017         struct ATTR_FILE_NAME *de_name = (struct ATTR_FILE_NAME *)(de + 1);
3018         u16 de_key_size = le16_to_cpu(de->key_size);
3019
3020         if (sbi->options->windows_names &&
3021             !valid_windows_name(sbi, (struct le_str *)&de_name->name_len))
3022                 return -EINVAL;
3023
3024         /* If option "hide_dot_files" then set hidden attribute for dot files. */
3025         if (ni->mi.sbi->options->hide_dot_files) {
3026                 if (de_name->name_len > 0 &&
3027                     le16_to_cpu(de_name->name[0]) == '.')
3028                         ni->std_fa |= FILE_ATTRIBUTE_HIDDEN;
3029                 else
3030                         ni->std_fa &= ~FILE_ATTRIBUTE_HIDDEN;
3031         }
3032
3033         mi_get_ref(&ni->mi, &de->ref);
3034         mi_get_ref(&dir_ni->mi, &de_name->home);
3035
3036         /* Fill duplicate from any ATTR_NAME. */
3037         fname = ni_fname_name(ni, NULL, NULL, NULL, NULL);
3038         if (fname)
3039                 memcpy(&de_name->dup, &fname->dup, sizeof(fname->dup));
3040         de_name->dup.fa = ni->std_fa;
3041
3042         /* Insert new name into MFT. */
3043         err = ni_insert_resident(ni, de_key_size, ATTR_NAME, NULL, 0, &attr,
3044                                  &mi, &le);
3045         if (err)
3046                 return err;
3047
3048         memcpy(Add2Ptr(attr, SIZEOF_RESIDENT), de_name, de_key_size);
3049
3050         /* Insert new name into directory. */
3051         err = indx_insert_entry(&dir_ni->dir, dir_ni, de, sbi, NULL, 0);
3052         if (err)
3053                 ni_remove_attr_le(ni, attr, mi, le);
3054
3055         return err;
3056 }
3057
3058 /*
3059  * ni_rename - Remove one name and insert new name.
3060  */
3061 int ni_rename(struct ntfs_inode *dir_ni, struct ntfs_inode *new_dir_ni,
3062               struct ntfs_inode *ni, struct NTFS_DE *de, struct NTFS_DE *new_de,
3063               bool *is_bad)
3064 {
3065         int err;
3066         struct NTFS_DE *de2 = NULL;
3067         int undo = 0;
3068
3069         /*
3070          * There are two possible ways to rename:
3071          * 1) Add new name and remove old name.
3072          * 2) Remove old name and add new name.
3073          *
3074          * In most cases (not all!) adding new name into MFT and into directory can
3075          * allocate additional cluster(s).
3076          * Second way may result to bad inode if we can't add new name
3077          * and then can't restore (add) old name.
3078          */
3079
3080         /*
3081          * Way 1 - Add new + remove old.
3082          */
3083         err = ni_add_name(new_dir_ni, ni, new_de);
3084         if (!err) {
3085                 err = ni_remove_name(dir_ni, ni, de, &de2, &undo);
3086                 if (err && ni_remove_name(new_dir_ni, ni, new_de, &de2, &undo))
3087                         *is_bad = true;
3088         }
3089
3090         /*
3091          * Way 2 - Remove old + add new.
3092          */
3093         /*
3094          *      err = ni_remove_name(dir_ni, ni, de, &de2, &undo);
3095          *      if (!err) {
3096          *              err = ni_add_name(new_dir_ni, ni, new_de);
3097          *              if (err && !ni_remove_name_undo(dir_ni, ni, de, de2, undo))
3098          *                      *is_bad = true;
3099          *      }
3100          */
3101
3102         return err;
3103 }
3104
3105 /*
3106  * ni_is_dirty - Return: True if 'ni' requires ni_write_inode.
3107  */
3108 bool ni_is_dirty(struct inode *inode)
3109 {
3110         struct ntfs_inode *ni = ntfs_i(inode);
3111         struct rb_node *node;
3112
3113         if (ni->mi.dirty || ni->attr_list.dirty ||
3114             (ni->ni_flags & NI_FLAG_UPDATE_PARENT))
3115                 return true;
3116
3117         for (node = rb_first(&ni->mi_tree); node; node = rb_next(node)) {
3118                 if (rb_entry(node, struct mft_inode, node)->dirty)
3119                         return true;
3120         }
3121
3122         return false;
3123 }
3124
3125 /*
3126  * ni_update_parent
3127  *
3128  * Update duplicate info of ATTR_FILE_NAME in MFT and in parent directories.
3129  */
3130 static bool ni_update_parent(struct ntfs_inode *ni, struct NTFS_DUP_INFO *dup,
3131                              int sync)
3132 {
3133         struct ATTRIB *attr;
3134         struct mft_inode *mi;
3135         struct ATTR_LIST_ENTRY *le = NULL;
3136         struct ntfs_sb_info *sbi = ni->mi.sbi;
3137         struct super_block *sb = sbi->sb;
3138         bool re_dirty = false;
3139
3140         if (ni->mi.mrec->flags & RECORD_FLAG_DIR) {
3141                 dup->fa |= FILE_ATTRIBUTE_DIRECTORY;
3142                 attr = NULL;
3143                 dup->alloc_size = 0;
3144                 dup->data_size = 0;
3145         } else {
3146                 dup->fa &= ~FILE_ATTRIBUTE_DIRECTORY;
3147
3148                 attr = ni_find_attr(ni, NULL, &le, ATTR_DATA, NULL, 0, NULL,
3149                                     &mi);
3150                 if (!attr) {
3151                         dup->alloc_size = dup->data_size = 0;
3152                 } else if (!attr->non_res) {
3153                         u32 data_size = le32_to_cpu(attr->res.data_size);
3154
3155                         dup->alloc_size = cpu_to_le64(ALIGN(data_size, 8));
3156                         dup->data_size = cpu_to_le64(data_size);
3157                 } else {
3158                         u64 new_valid = ni->i_valid;
3159                         u64 data_size = le64_to_cpu(attr->nres.data_size);
3160                         __le64 valid_le;
3161
3162                         dup->alloc_size = is_attr_ext(attr) ?
3163                                                         attr->nres.total_size :
3164                                                         attr->nres.alloc_size;
3165                         dup->data_size = attr->nres.data_size;
3166
3167                         if (new_valid > data_size)
3168                                 new_valid = data_size;
3169
3170                         valid_le = cpu_to_le64(new_valid);
3171                         if (valid_le != attr->nres.valid_size) {
3172                                 attr->nres.valid_size = valid_le;
3173                                 mi->dirty = true;
3174                         }
3175                 }
3176         }
3177
3178         /* TODO: Fill reparse info. */
3179         dup->reparse = 0;
3180         dup->ea_size = 0;
3181
3182         if (ni->ni_flags & NI_FLAG_EA) {
3183                 attr = ni_find_attr(ni, attr, &le, ATTR_EA_INFO, NULL, 0, NULL,
3184                                     NULL);
3185                 if (attr) {
3186                         const struct EA_INFO *info;
3187
3188                         info = resident_data_ex(attr, sizeof(struct EA_INFO));
3189                         /* If ATTR_EA_INFO exists 'info' can't be NULL. */
3190                         if (info)
3191                                 dup->ea_size = info->size_pack;
3192                 }
3193         }
3194
3195         attr = NULL;
3196         le = NULL;
3197
3198         while ((attr = ni_find_attr(ni, attr, &le, ATTR_NAME, NULL, 0, NULL,
3199                                     &mi))) {
3200                 struct inode *dir;
3201                 struct ATTR_FILE_NAME *fname;
3202
3203                 fname = resident_data_ex(attr, SIZEOF_ATTRIBUTE_FILENAME);
3204                 if (!fname || !memcmp(&fname->dup, dup, sizeof(fname->dup)))
3205                         continue;
3206
3207                 /* ntfs_iget5 may sleep. */
3208                 dir = ntfs_iget5(sb, &fname->home, NULL);
3209                 if (IS_ERR(dir)) {
3210                         ntfs_inode_warn(
3211                                 &ni->vfs_inode,
3212                                 "failed to open parent directory r=%lx to update",
3213                                 (long)ino_get(&fname->home));
3214                         continue;
3215                 }
3216
3217                 if (!is_bad_inode(dir)) {
3218                         struct ntfs_inode *dir_ni = ntfs_i(dir);
3219
3220                         if (!ni_trylock(dir_ni)) {
3221                                 re_dirty = true;
3222                         } else {
3223                                 indx_update_dup(dir_ni, sbi, fname, dup, sync);
3224                                 ni_unlock(dir_ni);
3225                                 memcpy(&fname->dup, dup, sizeof(fname->dup));
3226                                 mi->dirty = true;
3227                         }
3228                 }
3229                 iput(dir);
3230         }
3231
3232         return re_dirty;
3233 }
3234
3235 /*
3236  * ni_write_inode - Write MFT base record and all subrecords to disk.
3237  */
3238 int ni_write_inode(struct inode *inode, int sync, const char *hint)
3239 {
3240         int err = 0, err2;
3241         struct ntfs_inode *ni = ntfs_i(inode);
3242         struct super_block *sb = inode->i_sb;
3243         struct ntfs_sb_info *sbi = sb->s_fs_info;
3244         bool re_dirty = false;
3245         struct ATTR_STD_INFO *std;
3246         struct rb_node *node, *next;
3247         struct NTFS_DUP_INFO dup;
3248
3249         if (is_bad_inode(inode) || sb_rdonly(sb))
3250                 return 0;
3251
3252         if (!ni_trylock(ni)) {
3253                 /* 'ni' is under modification, skip for now. */
3254                 mark_inode_dirty_sync(inode);
3255                 return 0;
3256         }
3257
3258         if (!ni->mi.mrec)
3259                 goto out;
3260
3261         if (is_rec_inuse(ni->mi.mrec) &&
3262             !(sbi->flags & NTFS_FLAGS_LOG_REPLAYING) && inode->i_nlink) {
3263                 bool modified = false;
3264
3265                 /* Update times in standard attribute. */
3266                 std = ni_std(ni);
3267                 if (!std) {
3268                         err = -EINVAL;
3269                         goto out;
3270                 }
3271
3272                 /* Update the access times if they have changed. */
3273                 dup.m_time = kernel2nt(&inode->i_mtime);
3274                 if (std->m_time != dup.m_time) {
3275                         std->m_time = dup.m_time;
3276                         modified = true;
3277                 }
3278
3279                 dup.c_time = kernel2nt(&inode->i_ctime);
3280                 if (std->c_time != dup.c_time) {
3281                         std->c_time = dup.c_time;
3282                         modified = true;
3283                 }
3284
3285                 dup.a_time = kernel2nt(&inode->i_atime);
3286                 if (std->a_time != dup.a_time) {
3287                         std->a_time = dup.a_time;
3288                         modified = true;
3289                 }
3290
3291                 dup.fa = ni->std_fa;
3292                 if (std->fa != dup.fa) {
3293                         std->fa = dup.fa;
3294                         modified = true;
3295                 }
3296
3297                 /* std attribute is always in primary MFT record. */
3298                 if (modified)
3299                         ni->mi.dirty = true;
3300
3301                 if (!ntfs_is_meta_file(sbi, inode->i_ino) &&
3302                     (modified || (ni->ni_flags & NI_FLAG_UPDATE_PARENT))
3303                     /* Avoid __wait_on_freeing_inode(inode). */
3304                     && (sb->s_flags & SB_ACTIVE)) {
3305                         dup.cr_time = std->cr_time;
3306                         /* Not critical if this function fail. */
3307                         re_dirty = ni_update_parent(ni, &dup, sync);
3308
3309                         if (re_dirty)
3310                                 ni->ni_flags |= NI_FLAG_UPDATE_PARENT;
3311                         else
3312                                 ni->ni_flags &= ~NI_FLAG_UPDATE_PARENT;
3313                 }
3314
3315                 /* Update attribute list. */
3316                 if (ni->attr_list.size && ni->attr_list.dirty) {
3317                         if (inode->i_ino != MFT_REC_MFT || sync) {
3318                                 err = ni_try_remove_attr_list(ni);
3319                                 if (err)
3320                                         goto out;
3321                         }
3322
3323                         err = al_update(ni, sync);
3324                         if (err)
3325                                 goto out;
3326                 }
3327         }
3328
3329         for (node = rb_first(&ni->mi_tree); node; node = next) {
3330                 struct mft_inode *mi = rb_entry(node, struct mft_inode, node);
3331                 bool is_empty;
3332
3333                 next = rb_next(node);
3334
3335                 if (!mi->dirty)
3336                         continue;
3337
3338                 is_empty = !mi_enum_attr(mi, NULL);
3339
3340                 if (is_empty)
3341                         clear_rec_inuse(mi->mrec);
3342
3343                 err2 = mi_write(mi, sync);
3344                 if (!err && err2)
3345                         err = err2;
3346
3347                 if (is_empty) {
3348                         ntfs_mark_rec_free(sbi, mi->rno, false);
3349                         rb_erase(node, &ni->mi_tree);
3350                         mi_put(mi);
3351                 }
3352         }
3353
3354         if (ni->mi.dirty) {
3355                 err2 = mi_write(&ni->mi, sync);
3356                 if (!err && err2)
3357                         err = err2;
3358         }
3359 out:
3360         ni_unlock(ni);
3361
3362         if (err) {
3363                 ntfs_inode_err(inode, "%s failed, %d.", hint, err);
3364                 ntfs_set_state(sbi, NTFS_DIRTY_ERROR);
3365                 return err;
3366         }
3367
3368         if (re_dirty)
3369                 mark_inode_dirty_sync(inode);
3370
3371         return 0;
3372 }