fs/xfs/xfs_iops.c

   1 // SPDX-License-Identifier: GPL-2.0
   2 /*
   3  * Copyright (c) 2000-2005 Silicon Graphics, Inc.
   4  * All Rights Reserved.
   5  */
   6 #include "xfs.h"
   7 #include "xfs_fs.h"
   8 #include "xfs_shared.h"
   9 #include "xfs_format.h"
  10 #include "xfs_log_format.h"
  11 #include "xfs_trans_resv.h"
  12 #include "xfs_mount.h"
  13 #include "xfs_inode.h"
  14 #include "xfs_acl.h"
  15 #include "xfs_quota.h"
  16 #include "xfs_attr.h"
  17 #include "xfs_trans.h"
  18 #include "xfs_trace.h"
  19 #include "xfs_icache.h"
  20 #include "xfs_symlink.h"
  21 #include "xfs_dir2.h"
  22 #include "xfs_iomap.h"
  23 #include "xfs_error.h"
  24 #include "xfs_ioctl.h"
  25
  26 #include <linux/posix_acl.h>
  27 #include <linux/security.h>
  28 #include <linux/iversion.h>
  29 #include <linux/fiemap.h>
  30
  31 /*
  32  * Directories have different lock order w.r.t. mmap_lock compared to regular
  33  * files. This is due to readdir potentially triggering page faults on a user
  34  * buffer inside filldir(), and this happens with the ilock on the directory
  35  * held. For regular files, the lock order is the other way around - the
  36  * mmap_lock is taken during the page fault, and then we lock the ilock to do
  37  * block mapping. Hence we need a different class for the directory ilock so
  38  * that lockdep can tell them apart.
  39  */
  40 static struct lock_class_key xfs_nondir_ilock_class;
  41 static struct lock_class_key xfs_dir_ilock_class;
  42
  43 static int
  44 xfs_initxattrs(
  45         struct inode            *inode,
  46         const struct xattr      *xattr_array,
  47         void                    *fs_info)
  48 {
  49         const struct xattr      *xattr;
  50         struct xfs_inode        *ip = XFS_I(inode);
  51         int                     error = 0;
  52
  53         for (xattr = xattr_array; xattr->name != NULL; xattr++) {
  54                 struct xfs_da_args      args = {
  55                         .dp             = ip,
  56                         .attr_filter    = XFS_ATTR_SECURE,
  57                         .name           = xattr->name,
  58                         .namelen        = strlen(xattr->name),
  59                         .value          = xattr->value,
  60                         .valuelen       = xattr->value_len,
  61                 };
  62                 error = xfs_attr_set(&args);
  63                 if (error < 0)
  64                         break;
  65         }
  66         return error;
  67 }
  68
  69 /*
  70  * Hook in SELinux.  This is not quite correct yet, what we really need
  71  * here (as we do for default ACLs) is a mechanism by which creation of
  72  * these attrs can be journalled at inode creation time (along with the
  73  * inode, of course, such that log replay can't cause these to be lost).
  74  */
  75
  76 STATIC int
  77 xfs_init_security(
  78         struct inode    *inode,
  79         struct inode    *dir,
  80         const struct qstr *qstr)
  81 {
  82         return security_inode_init_security(inode, dir, qstr,
  83                                              &xfs_initxattrs, NULL);
  84 }
  85
  86 static void
  87 xfs_dentry_to_name(
  88         struct xfs_name *namep,
  89         struct dentry   *dentry)
  90 {
  91         namep->name = dentry->d_name.name;
  92         namep->len = dentry->d_name.len;
  93         namep->type = XFS_DIR3_FT_UNKNOWN;
  94 }
  95
  96 static int
  97 xfs_dentry_mode_to_name(
  98         struct xfs_name *namep,
  99         struct dentry   *dentry,
 100         int             mode)
 101 {
 102         namep->name = dentry->d_name.name;
 103         namep->len = dentry->d_name.len;
 104         namep->type = xfs_mode_to_ftype(mode);
 105
 106         if (unlikely(namep->type == XFS_DIR3_FT_UNKNOWN))
 107                 return -EFSCORRUPTED;
 108
 109         return 0;
 110 }
 111
 112 STATIC void
 113 xfs_cleanup_inode(
 114         struct inode    *dir,
 115         struct inode    *inode,
 116         struct dentry   *dentry)
 117 {
 118         struct xfs_name teardown;
 119
 120         /* Oh, the horror.
 121          * If we can't add the ACL or we fail in
 122          * xfs_init_security we must back out.
 123          * ENOSPC can hit here, among other things.
 124          */
 125         xfs_dentry_to_name(&teardown, dentry);
 126
 127         xfs_remove(XFS_I(dir), &teardown, XFS_I(inode));
 128 }
 129
 130 /*
 131  * Check to see if we are likely to need an extended attribute to be added to
 132  * the inode we are about to allocate. This allows the attribute fork to be
 133  * created during the inode allocation, reducing the number of transactions we
 134  * need to do in this fast path.
 135  *
 136  * The security checks are optimistic, but not guaranteed. The two LSMs that
 137  * require xattrs to be added here (selinux and smack) are also the only two
 138  * LSMs that add a sb->s_security structure to the superblock. Hence if security
 139  * is enabled and sb->s_security is set, we have a pretty good idea that we are
 140  * going to be asked to add a security xattr immediately after allocating the
 141  * xfs inode and instantiating the VFS inode.
 142  */
 143 static inline bool
 144 xfs_create_need_xattr(
 145         struct inode    *dir,
 146         struct posix_acl *default_acl,
 147         struct posix_acl *acl)
 148 {
 149         if (acl)
 150                 return true;
 151         if (default_acl)
 152                 return true;
 153 #if IS_ENABLED(CONFIG_SECURITY)
 154         if (dir->i_sb->s_security)
 155                 return true;
 156 #endif
 157         return false;
 158 }
 159
 160
 161 STATIC int
 162 xfs_generic_create(
 163         struct user_namespace   *mnt_userns,
 164         struct inode    *dir,
 165         struct dentry   *dentry,
 166         umode_t         mode,
 167         dev_t           rdev,
 168         bool            tmpfile)        /* unnamed file */
 169 {
 170         struct inode    *inode;
 171         struct xfs_inode *ip = NULL;
 172         struct posix_acl *default_acl, *acl;
 173         struct xfs_name name;
 174         int             error;
 175
 176         /*
 177          * Irix uses Missed'em'V split, but doesn't want to see
 178          * the upper 5 bits of (14bit) major.
 179          */
 180         if (S_ISCHR(mode) || S_ISBLK(mode)) {
 181                 if (unlikely(!sysv_valid_dev(rdev) || MAJOR(rdev) & ~0x1ff))
 182                         return -EINVAL;
 183         } else {
 184                 rdev = 0;
 185         }
 186
 187         error = posix_acl_create(dir, &mode, &default_acl, &acl);
 188         if (error)
 189                 return error;
 190
 191         /* Verify mode is valid also for tmpfile case */
 192         error = xfs_dentry_mode_to_name(&name, dentry, mode);
 193         if (unlikely(error))
 194                 goto out_free_acl;
 195
 196         if (!tmpfile) {
 197                 error = xfs_create(mnt_userns, XFS_I(dir), &name, mode, rdev,
 198                                 xfs_create_need_xattr(dir, default_acl, acl),
 199                                 &ip);
 200         } else {
 201                 error = xfs_create_tmpfile(mnt_userns, XFS_I(dir), mode, &ip);
 202         }
 203         if (unlikely(error))
 204                 goto out_free_acl;
 205
 206         inode = VFS_I(ip);
 207
 208         error = xfs_init_security(inode, dir, &dentry->d_name);
 209         if (unlikely(error))
 210                 goto out_cleanup_inode;
 211
 212 #ifdef CONFIG_XFS_POSIX_ACL
 213         if (default_acl) {
 214                 error = __xfs_set_acl(inode, default_acl, ACL_TYPE_DEFAULT);
 215                 if (error)
 216                         goto out_cleanup_inode;
 217         }
 218         if (acl) {
 219                 error = __xfs_set_acl(inode, acl, ACL_TYPE_ACCESS);
 220                 if (error)
 221                         goto out_cleanup_inode;
 222         }
 223 #endif
 224
 225         xfs_setup_iops(ip);
 226
 227         if (tmpfile) {
 228                 /*
 229                  * The VFS requires that any inode fed to d_tmpfile must have
 230                  * nlink == 1 so that it can decrement the nlink in d_tmpfile.
 231                  * However, we created the temp file with nlink == 0 because
 232                  * we're not allowed to put an inode with nlink > 0 on the
 233                  * unlinked list.  Therefore we have to set nlink to 1 so that
 234                  * d_tmpfile can immediately set it back to zero.
 235                  */
 236                 set_nlink(inode, 1);
 237                 d_tmpfile(dentry, inode);
 238         } else
 239                 d_instantiate(dentry, inode);
 240
 241         xfs_finish_inode_setup(ip);
 242
 243  out_free_acl:
 244         posix_acl_release(default_acl);
 245         posix_acl_release(acl);
 246         return error;
 247
 248  out_cleanup_inode:
 249         xfs_finish_inode_setup(ip);
 250         if (!tmpfile)
 251                 xfs_cleanup_inode(dir, inode, dentry);
 252         xfs_irele(ip);
 253         goto out_free_acl;
 254 }
 255
 256 STATIC int
 257 xfs_vn_mknod(
 258         struct user_namespace   *mnt_userns,
 259         struct inode            *dir,
 260         struct dentry           *dentry,
 261         umode_t                 mode,
 262         dev_t                   rdev)
 263 {
 264         return xfs_generic_create(mnt_userns, dir, dentry, mode, rdev, false);
 265 }
 266
 267 STATIC int
 268 xfs_vn_create(
 269         struct user_namespace   *mnt_userns,
 270         struct inode            *dir,
 271         struct dentry           *dentry,
 272         umode_t                 mode,
 273         bool                    flags)
 274 {
 275         return xfs_generic_create(mnt_userns, dir, dentry, mode, 0, false);
 276 }
 277
 278 STATIC int
 279 xfs_vn_mkdir(
 280         struct user_namespace   *mnt_userns,
 281         struct inode            *dir,
 282         struct dentry           *dentry,
 283         umode_t                 mode)
 284 {
 285         return xfs_generic_create(mnt_userns, dir, dentry, mode | S_IFDIR, 0,
 286                                   false);
 287 }
 288
 289 STATIC struct dentry *
 290 xfs_vn_lookup(
 291         struct inode    *dir,
 292         struct dentry   *dentry,
 293         unsigned int flags)
 294 {
 295         struct inode *inode;
 296         struct xfs_inode *cip;
 297         struct xfs_name name;
 298         int             error;
 299
 300         if (dentry->d_name.len >= MAXNAMELEN)
 301                 return ERR_PTR(-ENAMETOOLONG);
 302
 303         xfs_dentry_to_name(&name, dentry);
 304         error = xfs_lookup(XFS_I(dir), &name, &cip, NULL);
 305         if (likely(!error))
 306                 inode = VFS_I(cip);
 307         else if (likely(error == -ENOENT))
 308                 inode = NULL;
 309         else
 310                 inode = ERR_PTR(error);
 311         return d_splice_alias(inode, dentry);
 312 }
 313
 314 STATIC struct dentry *
 315 xfs_vn_ci_lookup(
 316         struct inode    *dir,
 317         struct dentry   *dentry,
 318         unsigned int flags)
 319 {
 320         struct xfs_inode *ip;
 321         struct xfs_name xname;
 322         struct xfs_name ci_name;
 323         struct qstr     dname;
 324         int             error;
 325
 326         if (dentry->d_name.len >= MAXNAMELEN)
 327                 return ERR_PTR(-ENAMETOOLONG);
 328
 329         xfs_dentry_to_name(&xname, dentry);
 330         error = xfs_lookup(XFS_I(dir), &xname, &ip, &ci_name);
 331         if (unlikely(error)) {
 332                 if (unlikely(error != -ENOENT))
 333                         return ERR_PTR(error);
 334                 /*
 335                  * call d_add(dentry, NULL) here when d_drop_negative_children
 336                  * is called in xfs_vn_mknod (ie. allow negative dentries
 337                  * with CI filesystems).
 338                  */
 339                 return NULL;
 340         }
 341
 342         /* if exact match, just splice and exit */
 343         if (!ci_name.name)
 344                 return d_splice_alias(VFS_I(ip), dentry);
 345
 346         /* else case-insensitive match... */
 347         dname.name = ci_name.name;
 348         dname.len = ci_name.len;
 349         dentry = d_add_ci(dentry, VFS_I(ip), &dname);
 350         kmem_free(ci_name.name);
 351         return dentry;
 352 }
 353
 354 STATIC int
 355 xfs_vn_link(
 356         struct dentry   *old_dentry,
 357         struct inode    *dir,
 358         struct dentry   *dentry)
 359 {
 360         struct inode    *inode = d_inode(old_dentry);
 361         struct xfs_name name;
 362         int             error;
 363
 364         error = xfs_dentry_mode_to_name(&name, dentry, inode->i_mode);
 365         if (unlikely(error))
 366                 return error;
 367
 368         error = xfs_link(XFS_I(dir), XFS_I(inode), &name);
 369         if (unlikely(error))
 370                 return error;
 371
 372         ihold(inode);
 373         d_instantiate(dentry, inode);
 374         return 0;
 375 }
 376
 377 STATIC int
 378 xfs_vn_unlink(
 379         struct inode    *dir,
 380         struct dentry   *dentry)
 381 {
 382         struct xfs_name name;
 383         int             error;
 384
 385         xfs_dentry_to_name(&name, dentry);
 386
 387         error = xfs_remove(XFS_I(dir), &name, XFS_I(d_inode(dentry)));
 388         if (error)
 389                 return error;
 390
 391         /*
 392          * With unlink, the VFS makes the dentry "negative": no inode,
 393          * but still hashed. This is incompatible with case-insensitive
 394          * mode, so invalidate (unhash) the dentry in CI-mode.
 395          */
 396         if (xfs_has_asciici(XFS_M(dir->i_sb)))
 397                 d_invalidate(dentry);
 398         return 0;
 399 }
 400
 401 STATIC int
 402 xfs_vn_symlink(
 403         struct user_namespace   *mnt_userns,
 404         struct inode            *dir,
 405         struct dentry           *dentry,
 406         const char              *symname)
 407 {
 408         struct inode    *inode;
 409         struct xfs_inode *cip = NULL;
 410         struct xfs_name name;
 411         int             error;
 412         umode_t         mode;
 413
 414         mode = S_IFLNK |
 415                 (irix_symlink_mode ? 0777 & ~current_umask() : S_IRWXUGO);
 416         error = xfs_dentry_mode_to_name(&name, dentry, mode);
 417         if (unlikely(error))
 418                 goto out;
 419
 420         error = xfs_symlink(mnt_userns, XFS_I(dir), &name, symname, mode, &cip);
 421         if (unlikely(error))
 422                 goto out;
 423
 424         inode = VFS_I(cip);
 425
 426         error = xfs_init_security(inode, dir, &dentry->d_name);
 427         if (unlikely(error))
 428                 goto out_cleanup_inode;
 429
 430         xfs_setup_iops(cip);
 431
 432         d_instantiate(dentry, inode);
 433         xfs_finish_inode_setup(cip);
 434         return 0;
 435
 436  out_cleanup_inode:
 437         xfs_finish_inode_setup(cip);
 438         xfs_cleanup_inode(dir, inode, dentry);
 439         xfs_irele(cip);
 440  out:
 441         return error;
 442 }
 443
 444 STATIC int
 445 xfs_vn_rename(
 446         struct user_namespace   *mnt_userns,
 447         struct inode            *odir,
 448         struct dentry           *odentry,
 449         struct inode            *ndir,
 450         struct dentry           *ndentry,
 451         unsigned int            flags)
 452 {
 453         struct inode    *new_inode = d_inode(ndentry);
 454         int             omode = 0;
 455         int             error;
 456         struct xfs_name oname;
 457         struct xfs_name nname;
 458
 459         if (flags & ~(RENAME_NOREPLACE | RENAME_EXCHANGE | RENAME_WHITEOUT))
 460                 return -EINVAL;
 461
 462         /* if we are exchanging files, we need to set i_mode of both files */
 463         if (flags & RENAME_EXCHANGE)
 464                 omode = d_inode(ndentry)->i_mode;
 465
 466         error = xfs_dentry_mode_to_name(&oname, odentry, omode);
 467         if (omode && unlikely(error))
 468                 return error;
 469
 470         error = xfs_dentry_mode_to_name(&nname, ndentry,
 471                                         d_inode(odentry)->i_mode);
 472         if (unlikely(error))
 473                 return error;
 474
 475         return xfs_rename(mnt_userns, XFS_I(odir), &oname,
 476                           XFS_I(d_inode(odentry)), XFS_I(ndir), &nname,
 477                           new_inode ? XFS_I(new_inode) : NULL, flags);
 478 }
 479
 480 /*
 481  * careful here - this function can get called recursively, so
 482  * we need to be very careful about how much stack we use.
 483  * uio is kmalloced for this reason...
 484  */
 485 STATIC const char *
 486 xfs_vn_get_link(
 487         struct dentry           *dentry,
 488         struct inode            *inode,
 489         struct delayed_call     *done)
 490 {
 491         char                    *link;
 492         int                     error = -ENOMEM;
 493
 494         if (!dentry)
 495                 return ERR_PTR(-ECHILD);
 496
 497         link = kmalloc(XFS_SYMLINK_MAXLEN+1, GFP_KERNEL);
 498         if (!link)
 499                 goto out_err;
 500
 501         error = xfs_readlink(XFS_I(d_inode(dentry)), link);
 502         if (unlikely(error))
 503                 goto out_kfree;
 504
 505         set_delayed_call(done, kfree_link, link);
 506         return link;
 507
 508  out_kfree:
 509         kfree(link);
 510  out_err:
 511         return ERR_PTR(error);
 512 }
 513
 514 static uint32_t
 515 xfs_stat_blksize(
 516         struct xfs_inode        *ip)
 517 {
 518         struct xfs_mount        *mp = ip->i_mount;
 519
 520         /*
 521          * If the file blocks are being allocated from a realtime volume, then
 522          * always return the realtime extent size.
 523          */
 524         if (XFS_IS_REALTIME_INODE(ip))
 525                 return XFS_FSB_TO_B(mp, xfs_get_extsz_hint(ip));
 526
 527         /*
 528          * Allow large block sizes to be reported to userspace programs if the
 529          * "largeio" mount option is used.
 530          *
 531          * If compatibility mode is specified, simply return the basic unit of
 532          * caching so that we don't get inefficient read/modify/write I/O from
 533          * user apps. Otherwise....
 534          *
 535          * If the underlying volume is a stripe, then return the stripe width in
 536          * bytes as the recommended I/O size. It is not a stripe and we've set a
 537          * default buffered I/O size, return that, otherwise return the compat
 538          * default.
 539          */
 540         if (xfs_has_large_iosize(mp)) {
 541                 if (mp->m_swidth)
 542                         return XFS_FSB_TO_B(mp, mp->m_swidth);
 543                 if (xfs_has_allocsize(mp))
 544                         return 1U << mp->m_allocsize_log;
 545         }
 546
 547         return PAGE_SIZE;
 548 }
 549
 550 STATIC int
 551 xfs_vn_getattr(
 552         struct user_namespace   *mnt_userns,
 553         const struct path       *path,
 554         struct kstat            *stat,
 555         u32                     request_mask,
 556         unsigned int            query_flags)
 557 {
 558         struct inode            *inode = d_inode(path->dentry);
 559         struct xfs_inode        *ip = XFS_I(inode);
 560         struct xfs_mount        *mp = ip->i_mount;
 561
 562         trace_xfs_getattr(ip);
 563
 564         if (xfs_is_shutdown(mp))
 565                 return -EIO;
 566
 567         stat->size = XFS_ISIZE(ip);
 568         stat->dev = inode->i_sb->s_dev;
 569         stat->mode = inode->i_mode;
 570         stat->nlink = inode->i_nlink;
 571         stat->uid = i_uid_into_mnt(mnt_userns, inode);
 572         stat->gid = i_gid_into_mnt(mnt_userns, inode);
 573         stat->ino = ip->i_ino;
 574         stat->atime = inode->i_atime;
 575         stat->mtime = inode->i_mtime;
 576         stat->ctime = inode->i_ctime;
 577         stat->blocks = XFS_FSB_TO_BB(mp, ip->i_nblocks + ip->i_delayed_blks);
 578
 579         if (xfs_has_v3inodes(mp)) {
 580                 if (request_mask & STATX_BTIME) {
 581                         stat->result_mask |= STATX_BTIME;
 582                         stat->btime = ip->i_crtime;
 583                 }
 584         }
 585
 586         /*
 587          * Note: If you add another clause to set an attribute flag, please
 588          * update attributes_mask below.
 589          */
 590         if (ip->i_diflags & XFS_DIFLAG_IMMUTABLE)
 591                 stat->attributes |= STATX_ATTR_IMMUTABLE;
 592         if (ip->i_diflags & XFS_DIFLAG_APPEND)
 593                 stat->attributes |= STATX_ATTR_APPEND;
 594         if (ip->i_diflags & XFS_DIFLAG_NODUMP)
 595                 stat->attributes |= STATX_ATTR_NODUMP;
 596
 597         stat->attributes_mask |= (STATX_ATTR_IMMUTABLE |
 598                                   STATX_ATTR_APPEND |
 599                                   STATX_ATTR_NODUMP);
 600
 601         switch (inode->i_mode & S_IFMT) {
 602         case S_IFBLK:
 603         case S_IFCHR:
 604                 stat->blksize = BLKDEV_IOSIZE;
 605                 stat->rdev = inode->i_rdev;
 606                 break;
 607         default:
 608                 stat->blksize = xfs_stat_blksize(ip);
 609                 stat->rdev = 0;
 610                 break;
 611         }
 612
 613         return 0;
 614 }
 615
 616 static int
 617 xfs_vn_change_ok(
 618         struct user_namespace   *mnt_userns,
 619         struct dentry           *dentry,
 620         struct iattr            *iattr)
 621 {
 622         struct xfs_mount        *mp = XFS_I(d_inode(dentry))->i_mount;
 623
 624         if (xfs_is_readonly(mp))
 625                 return -EROFS;
 626
 627         if (xfs_is_shutdown(mp))
 628                 return -EIO;
 629
 630         return setattr_prepare(mnt_userns, dentry, iattr);
 631 }
 632
 633 /*
 634  * Set non-size attributes of an inode.
 635  *
 636  * Caution: The caller of this function is responsible for calling
 637  * setattr_prepare() or otherwise verifying the change is fine.
 638  */
 639 static int
 640 xfs_setattr_nonsize(
 641         struct user_namespace   *mnt_userns,
 642         struct xfs_inode        *ip,
 643         struct iattr            *iattr)
 644 {
 645         xfs_mount_t             *mp = ip->i_mount;
 646         struct inode            *inode = VFS_I(ip);
 647         int                     mask = iattr->ia_valid;
 648         xfs_trans_t             *tp;
 649         int                     error;
 650         kuid_t                  uid = GLOBAL_ROOT_UID;
 651         kgid_t                  gid = GLOBAL_ROOT_GID;
 652         struct xfs_dquot        *udqp = NULL, *gdqp = NULL;
 653         struct xfs_dquot        *old_udqp = NULL, *old_gdqp = NULL;
 654
 655         ASSERT((mask & ATTR_SIZE) == 0);
 656
 657         /*
 658          * If disk quotas is on, we make sure that the dquots do exist on disk,
 659          * before we start any other transactions. Trying to do this later
 660          * is messy. We don't care to take a readlock to look at the ids
 661          * in inode here, because we can't hold it across the trans_reserve.
 662          * If the IDs do change before we take the ilock, we're covered
 663          * because the i_*dquot fields will get updated anyway.
 664          */
 665         if (XFS_IS_QUOTA_ON(mp) && (mask & (ATTR_UID|ATTR_GID))) {
 666                 uint    qflags = 0;
 667
 668                 if ((mask & ATTR_UID) && XFS_IS_UQUOTA_ON(mp)) {
 669                         uid = iattr->ia_uid;
 670                         qflags |= XFS_QMOPT_UQUOTA;
 671                 } else {
 672                         uid = inode->i_uid;
 673                 }
 674                 if ((mask & ATTR_GID) && XFS_IS_GQUOTA_ON(mp)) {
 675                         gid = iattr->ia_gid;
 676                         qflags |= XFS_QMOPT_GQUOTA;
 677                 }  else {
 678                         gid = inode->i_gid;
 679                 }
 680
 681                 /*
 682                  * We take a reference when we initialize udqp and gdqp,
 683                  * so it is important that we never blindly double trip on
 684                  * the same variable. See xfs_create() for an example.
 685                  */
 686                 ASSERT(udqp == NULL);
 687                 ASSERT(gdqp == NULL);
 688                 error = xfs_qm_vop_dqalloc(ip, uid, gid, ip->i_projid,
 689                                            qflags, &udqp, &gdqp, NULL);
 690                 if (error)
 691                         return error;
 692         }
 693
 694         error = xfs_trans_alloc_ichange(ip, udqp, gdqp, NULL,
 695                         has_capability_noaudit(current, CAP_FOWNER), &tp);
 696         if (error)
 697                 goto out_dqrele;
 698
 699         /*
 700          * Register quota modifications in the transaction.  Must be the owner
 701          * or privileged.  These IDs could have changed since we last looked at
 702          * them.  But, we're assured that if the ownership did change while we
 703          * didn't have the inode locked, inode's dquot(s) would have changed
 704          * also.
 705          */
 706         if ((mask & ATTR_UID) && XFS_IS_UQUOTA_ON(mp) &&
 707             !uid_eq(inode->i_uid, iattr->ia_uid)) {
 708                 ASSERT(udqp);
 709                 old_udqp = xfs_qm_vop_chown(tp, ip, &ip->i_udquot, udqp);
 710         }
 711         if ((mask & ATTR_GID) && XFS_IS_GQUOTA_ON(mp) &&
 712             !gid_eq(inode->i_gid, iattr->ia_gid)) {
 713                 ASSERT(xfs_has_pquotino(mp) || !XFS_IS_PQUOTA_ON(mp));
 714                 ASSERT(gdqp);
 715                 old_gdqp = xfs_qm_vop_chown(tp, ip, &ip->i_gdquot, gdqp);
 716         }
 717
 718         setattr_copy(mnt_userns, inode, iattr);
 719         xfs_trans_log_inode(tp, ip, XFS_ILOG_CORE);
 720
 721         XFS_STATS_INC(mp, xs_ig_attrchg);
 722
 723         if (xfs_has_wsync(mp))
 724                 xfs_trans_set_sync(tp);
 725         error = xfs_trans_commit(tp);
 726
 727         /*
 728          * Release any dquot(s) the inode had kept before chown.
 729          */
 730         xfs_qm_dqrele(old_udqp);
 731         xfs_qm_dqrele(old_gdqp);
 732         xfs_qm_dqrele(udqp);
 733         xfs_qm_dqrele(gdqp);
 734
 735         if (error)
 736                 return error;
 737
 738         /*
 739          * XXX(hch): Updating the ACL entries is not atomic vs the i_mode
 740          *           update.  We could avoid this with linked transactions
 741          *           and passing down the transaction pointer all the way
 742          *           to attr_set.  No previous user of the generic
 743          *           Posix ACL code seems to care about this issue either.
 744          */
 745         if (mask & ATTR_MODE) {
 746                 error = posix_acl_chmod(mnt_userns, inode, inode->i_mode);
 747                 if (error)
 748                         return error;
 749         }
 750
 751         return 0;
 752
 753 out_dqrele:
 754         xfs_qm_dqrele(udqp);
 755         xfs_qm_dqrele(gdqp);
 756         return error;
 757 }
 758
 759 /*
 760  * Truncate file.  Must have write permission and not be a directory.
 761  *
 762  * Caution: The caller of this function is responsible for calling
 763  * setattr_prepare() or otherwise verifying the change is fine.
 764  */
 765 STATIC int
 766 xfs_setattr_size(
 767         struct user_namespace   *mnt_userns,
 768         struct xfs_inode        *ip,
 769         struct iattr            *iattr)
 770 {
 771         struct xfs_mount        *mp = ip->i_mount;
 772         struct inode            *inode = VFS_I(ip);
 773         xfs_off_t               oldsize, newsize;
 774         struct xfs_trans        *tp;
 775         int                     error;
 776         uint                    lock_flags = 0;
 777         bool                    did_zeroing = false;
 778
 779         ASSERT(xfs_isilocked(ip, XFS_IOLOCK_EXCL));
 780         ASSERT(xfs_isilocked(ip, XFS_MMAPLOCK_EXCL));
 781         ASSERT(S_ISREG(inode->i_mode));
 782         ASSERT((iattr->ia_valid & (ATTR_UID|ATTR_GID|ATTR_ATIME|ATTR_ATIME_SET|
 783                 ATTR_MTIME_SET|ATTR_TIMES_SET)) == 0);
 784
 785         oldsize = inode->i_size;
 786         newsize = iattr->ia_size;
 787
 788         /*
 789          * Short circuit the truncate case for zero length files.
 790          */
 791         if (newsize == 0 && oldsize == 0 && ip->i_df.if_nextents == 0) {
 792                 if (!(iattr->ia_valid & (ATTR_CTIME|ATTR_MTIME)))
 793                         return 0;
 794
 795                 /*
 796                  * Use the regular setattr path to update the timestamps.
 797                  */
 798                 iattr->ia_valid &= ~ATTR_SIZE;
 799                 return xfs_setattr_nonsize(mnt_userns, ip, iattr);
 800         }
 801
 802         /*
 803          * Make sure that the dquots are attached to the inode.
 804          */
 805         error = xfs_qm_dqattach(ip);
 806         if (error)
 807                 return error;
 808
 809         /*
 810          * Wait for all direct I/O to complete.
 811          */
 812         inode_dio_wait(inode);
 813
 814         /*
 815          * File data changes must be complete before we start the transaction to
 816          * modify the inode.  This needs to be done before joining the inode to
 817          * the transaction because the inode cannot be unlocked once it is a
 818          * part of the transaction.
 819          *
 820          * Start with zeroing any data beyond EOF that we may expose on file
 821          * extension, or zeroing out the rest of the block on a downward
 822          * truncate.
 823          */
 824         if (newsize > oldsize) {
 825                 trace_xfs_zero_eof(ip, oldsize, newsize - oldsize);
 826                 error = xfs_zero_range(ip, oldsize, newsize - oldsize,
 827                                 &did_zeroing);
 828         } else {
 829                 /*
 830                  * iomap won't detect a dirty page over an unwritten block (or a
 831                  * cow block over a hole) and subsequently skips zeroing the
 832                  * newly post-EOF portion of the page. Flush the new EOF to
 833                  * convert the block before the pagecache truncate.
 834                  */
 835                 error = filemap_write_and_wait_range(inode->i_mapping, newsize,
 836                                                      newsize);
 837                 if (error)
 838                         return error;
 839                 error = xfs_truncate_page(ip, newsize, &did_zeroing);
 840         }
 841
 842         if (error)
 843                 return error;
 844
 845         /*
 846          * We've already locked out new page faults, so now we can safely remove
 847          * pages from the page cache knowing they won't get refaulted until we
 848          * drop the XFS_MMAP_EXCL lock after the extent manipulations are
 849          * complete. The truncate_setsize() call also cleans partial EOF page
 850          * PTEs on extending truncates and hence ensures sub-page block size
 851          * filesystems are correctly handled, too.
 852          *
 853          * We have to do all the page cache truncate work outside the
 854          * transaction context as the "lock" order is page lock->log space
 855          * reservation as defined by extent allocation in the writeback path.
 856          * Hence a truncate can fail with ENOMEM from xfs_trans_alloc(), but
 857          * having already truncated the in-memory version of the file (i.e. made
 858          * user visible changes). There's not much we can do about this, except
 859          * to hope that the caller sees ENOMEM and retries the truncate
 860          * operation.
 861          *
 862          * And we update in-core i_size and truncate page cache beyond newsize
 863          * before writeback the [i_disk_size, newsize] range, so we're
 864          * guaranteed not to write stale data past the new EOF on truncate down.
 865          */
 866         truncate_setsize(inode, newsize);
 867
 868         /*
 869          * We are going to log the inode size change in this transaction so
 870          * any previous writes that are beyond the on disk EOF and the new
 871          * EOF that have not been written out need to be written here.  If we
 872          * do not write the data out, we expose ourselves to the null files
 873          * problem. Note that this includes any block zeroing we did above;
 874          * otherwise those blocks may not be zeroed after a crash.
 875          */
 876         if (did_zeroing ||
 877             (newsize > ip->i_disk_size && oldsize != ip->i_disk_size)) {
 878                 error = filemap_write_and_wait_range(VFS_I(ip)->i_mapping,
 879                                                 ip->i_disk_size, newsize - 1);
 880                 if (error)
 881                         return error;
 882         }
 883
 884         error = xfs_trans_alloc(mp, &M_RES(mp)->tr_itruncate, 0, 0, 0, &tp);
 885         if (error)
 886                 return error;
 887
 888         lock_flags |= XFS_ILOCK_EXCL;
 889         xfs_ilock(ip, XFS_ILOCK_EXCL);
 890         xfs_trans_ijoin(tp, ip, 0);
 891
 892         /*
 893          * Only change the c/mtime if we are changing the size or we are
 894          * explicitly asked to change it.  This handles the semantic difference
 895          * between truncate() and ftruncate() as implemented in the VFS.
 896          *
 897          * The regular truncate() case without ATTR_CTIME and ATTR_MTIME is a
 898          * special case where we need to update the times despite not having
 899          * these flags set.  For all other operations the VFS set these flags
 900          * explicitly if it wants a timestamp update.
 901          */
 902         if (newsize != oldsize &&
 903             !(iattr->ia_valid & (ATTR_CTIME | ATTR_MTIME))) {
 904                 iattr->ia_ctime = iattr->ia_mtime =
 905                         current_time(inode);
 906                 iattr->ia_valid |= ATTR_CTIME | ATTR_MTIME;
 907         }
 908
 909         /*
 910          * The first thing we do is set the size to new_size permanently on
 911          * disk.  This way we don't have to worry about anyone ever being able
 912          * to look at the data being freed even in the face of a crash.
 913          * What we're getting around here is the case where we free a block, it
 914          * is allocated to another file, it is written to, and then we crash.
 915          * If the new data gets written to the file but the log buffers
 916          * containing the free and reallocation don't, then we'd end up with
 917          * garbage in the blocks being freed.  As long as we make the new size
 918          * permanent before actually freeing any blocks it doesn't matter if
 919          * they get written to.
 920          */
 921         ip->i_disk_size = newsize;
 922         xfs_trans_log_inode(tp, ip, XFS_ILOG_CORE);
 923
 924         if (newsize <= oldsize) {
 925                 error = xfs_itruncate_extents(&tp, ip, XFS_DATA_FORK, newsize);
 926                 if (error)
 927                         goto out_trans_cancel;
 928
 929                 /*
 930                  * Truncated "down", so we're removing references to old data
 931                  * here - if we delay flushing for a long time, we expose
 932                  * ourselves unduly to the notorious NULL files problem.  So,
 933                  * we mark this inode and flush it when the file is closed,
 934                  * and do not wait the usual (long) time for writeout.
 935                  */
 936                 xfs_iflags_set(ip, XFS_ITRUNCATED);
 937
 938                 /* A truncate down always removes post-EOF blocks. */
 939                 xfs_inode_clear_eofblocks_tag(ip);
 940         }
 941
 942         ASSERT(!(iattr->ia_valid & (ATTR_UID | ATTR_GID)));
 943         setattr_copy(mnt_userns, inode, iattr);
 944         xfs_trans_log_inode(tp, ip, XFS_ILOG_CORE);
 945
 946         XFS_STATS_INC(mp, xs_ig_attrchg);
 947
 948         if (xfs_has_wsync(mp))
 949                 xfs_trans_set_sync(tp);
 950
 951         error = xfs_trans_commit(tp);
 952 out_unlock:
 953         if (lock_flags)
 954                 xfs_iunlock(ip, lock_flags);
 955         return error;
 956
 957 out_trans_cancel:
 958         xfs_trans_cancel(tp);
 959         goto out_unlock;
 960 }
 961
 962 int
 963 xfs_vn_setattr_size(
 964         struct user_namespace   *mnt_userns,
 965         struct dentry           *dentry,
 966         struct iattr            *iattr)
 967 {
 968         struct xfs_inode        *ip = XFS_I(d_inode(dentry));
 969         int error;
 970
 971         trace_xfs_setattr(ip);
 972
 973         error = xfs_vn_change_ok(mnt_userns, dentry, iattr);
 974         if (error)
 975                 return error;
 976         return xfs_setattr_size(mnt_userns, ip, iattr);
 977 }
 978
 979 STATIC int
 980 xfs_vn_setattr(
 981         struct user_namespace   *mnt_userns,
 982         struct dentry           *dentry,
 983         struct iattr            *iattr)
 984 {
 985         struct inode            *inode = d_inode(dentry);
 986         struct xfs_inode        *ip = XFS_I(inode);
 987         int                     error;
 988
 989         if (iattr->ia_valid & ATTR_SIZE) {
 990                 uint                    iolock;
 991
 992                 xfs_ilock(ip, XFS_MMAPLOCK_EXCL);
 993                 iolock = XFS_IOLOCK_EXCL | XFS_MMAPLOCK_EXCL;
 994
 995                 error = xfs_break_layouts(inode, &iolock, BREAK_UNMAP);
 996                 if (error) {
 997                         xfs_iunlock(ip, XFS_MMAPLOCK_EXCL);
 998                         return error;
 999                 }
1000
1001                 error = xfs_vn_setattr_size(mnt_userns, dentry, iattr);
1002                 xfs_iunlock(ip, XFS_MMAPLOCK_EXCL);
1003         } else {
1004                 trace_xfs_setattr(ip);
1005
1006                 error = xfs_vn_change_ok(mnt_userns, dentry, iattr);
1007                 if (!error)
1008                         error = xfs_setattr_nonsize(mnt_userns, ip, iattr);
1009         }
1010
1011         return error;
1012 }
1013
1014 STATIC int
1015 xfs_vn_update_time(
1016         struct inode            *inode,
1017         struct timespec64       *now,
1018         int                     flags)
1019 {
1020         struct xfs_inode        *ip = XFS_I(inode);
1021         struct xfs_mount        *mp = ip->i_mount;
1022         int                     log_flags = XFS_ILOG_TIMESTAMP;
1023         struct xfs_trans        *tp;
1024         int                     error;
1025
1026         trace_xfs_update_time(ip);
1027
1028         if (inode->i_sb->s_flags & SB_LAZYTIME) {
1029                 if (!((flags & S_VERSION) &&
1030                       inode_maybe_inc_iversion(inode, false)))
1031                         return generic_update_time(inode, now, flags);
1032
1033                 /* Capture the iversion update that just occurred */
1034                 log_flags |= XFS_ILOG_CORE;
1035         }
1036
1037         error = xfs_trans_alloc(mp, &M_RES(mp)->tr_fsyncts, 0, 0, 0, &tp);
1038         if (error)
1039                 return error;
1040
1041         xfs_ilock(ip, XFS_ILOCK_EXCL);
1042         if (flags & S_CTIME)
1043                 inode->i_ctime = *now;
1044         if (flags & S_MTIME)
1045                 inode->i_mtime = *now;
1046         if (flags & S_ATIME)
1047                 inode->i_atime = *now;
1048
1049         xfs_trans_ijoin(tp, ip, XFS_ILOCK_EXCL);
1050         xfs_trans_log_inode(tp, ip, log_flags);
1051         return xfs_trans_commit(tp);
1052 }
1053
1054 STATIC int
1055 xfs_vn_fiemap(
1056         struct inode            *inode,
1057         struct fiemap_extent_info *fieinfo,
1058         u64                     start,
1059         u64                     length)
1060 {
1061         int                     error;
1062
1063         xfs_ilock(XFS_I(inode), XFS_IOLOCK_SHARED);
1064         if (fieinfo->fi_flags & FIEMAP_FLAG_XATTR) {
1065                 fieinfo->fi_flags &= ~FIEMAP_FLAG_XATTR;
1066                 error = iomap_fiemap(inode, fieinfo, start, length,
1067                                 &xfs_xattr_iomap_ops);
1068         } else {
1069                 error = iomap_fiemap(inode, fieinfo, start, length,
1070                                 &xfs_read_iomap_ops);
1071         }
1072         xfs_iunlock(XFS_I(inode), XFS_IOLOCK_SHARED);
1073
1074         return error;
1075 }
1076
1077 STATIC int
1078 xfs_vn_tmpfile(
1079         struct user_namespace   *mnt_userns,
1080         struct inode            *dir,
1081         struct dentry           *dentry,
1082         umode_t                 mode)
1083 {
1084         return xfs_generic_create(mnt_userns, dir, dentry, mode, 0, true);
1085 }
1086
1087 static const struct inode_operations xfs_inode_operations = {
1088         .get_acl                = xfs_get_acl,
1089         .set_acl                = xfs_set_acl,
1090         .getattr                = xfs_vn_getattr,
1091         .setattr                = xfs_vn_setattr,
1092         .listxattr              = xfs_vn_listxattr,
1093         .fiemap                 = xfs_vn_fiemap,
1094         .update_time            = xfs_vn_update_time,
1095         .fileattr_get           = xfs_fileattr_get,
1096         .fileattr_set           = xfs_fileattr_set,
1097 };
1098
1099 static const struct inode_operations xfs_dir_inode_operations = {
1100         .create                 = xfs_vn_create,
1101         .lookup                 = xfs_vn_lookup,
1102         .link                   = xfs_vn_link,
1103         .unlink                 = xfs_vn_unlink,
1104         .symlink                = xfs_vn_symlink,
1105         .mkdir                  = xfs_vn_mkdir,
1106         /*
1107          * Yes, XFS uses the same method for rmdir and unlink.
1108          *
1109          * There are some subtile differences deeper in the code,
1110          * but we use S_ISDIR to check for those.
1111          */
1112         .rmdir                  = xfs_vn_unlink,
1113         .mknod                  = xfs_vn_mknod,
1114         .rename                 = xfs_vn_rename,
1115         .get_acl                = xfs_get_acl,
1116         .set_acl                = xfs_set_acl,
1117         .getattr                = xfs_vn_getattr,
1118         .setattr                = xfs_vn_setattr,
1119         .listxattr              = xfs_vn_listxattr,
1120         .update_time            = xfs_vn_update_time,
1121         .tmpfile                = xfs_vn_tmpfile,
1122         .fileattr_get           = xfs_fileattr_get,
1123         .fileattr_set           = xfs_fileattr_set,
1124 };
1125
1126 static const struct inode_operations xfs_dir_ci_inode_operations = {
1127         .create                 = xfs_vn_create,
1128         .lookup                 = xfs_vn_ci_lookup,
1129         .link                   = xfs_vn_link,
1130         .unlink                 = xfs_vn_unlink,
1131         .symlink                = xfs_vn_symlink,
1132         .mkdir                  = xfs_vn_mkdir,
1133         /*
1134          * Yes, XFS uses the same method for rmdir and unlink.
1135          *
1136          * There are some subtile differences deeper in the code,
1137          * but we use S_ISDIR to check for those.
1138          */
1139         .rmdir                  = xfs_vn_unlink,
1140         .mknod                  = xfs_vn_mknod,
1141         .rename                 = xfs_vn_rename,
1142         .get_acl                = xfs_get_acl,
1143         .set_acl                = xfs_set_acl,
1144         .getattr                = xfs_vn_getattr,
1145         .setattr                = xfs_vn_setattr,
1146         .listxattr              = xfs_vn_listxattr,
1147         .update_time            = xfs_vn_update_time,
1148         .tmpfile                = xfs_vn_tmpfile,
1149         .fileattr_get           = xfs_fileattr_get,
1150         .fileattr_set           = xfs_fileattr_set,
1151 };
1152
1153 static const struct inode_operations xfs_symlink_inode_operations = {
1154         .get_link               = xfs_vn_get_link,
1155         .getattr                = xfs_vn_getattr,
1156         .setattr                = xfs_vn_setattr,
1157         .listxattr              = xfs_vn_listxattr,
1158         .update_time            = xfs_vn_update_time,
1159 };
1160
1161 /* Figure out if this file actually supports DAX. */
1162 static bool
1163 xfs_inode_supports_dax(
1164         struct xfs_inode        *ip)
1165 {
1166         struct xfs_mount        *mp = ip->i_mount;
1167
1168         /* Only supported on regular files. */
1169         if (!S_ISREG(VFS_I(ip)->i_mode))
1170                 return false;
1171
1172         /* Only supported on non-reflinked files. */
1173         if (xfs_is_reflink_inode(ip))
1174                 return false;
1175
1176         /* Block size must match page size */
1177         if (mp->m_sb.sb_blocksize != PAGE_SIZE)
1178                 return false;
1179
1180         /* Device has to support DAX too. */
1181         return xfs_inode_buftarg(ip)->bt_daxdev != NULL;
1182 }
1183
1184 static bool
1185 xfs_inode_should_enable_dax(
1186         struct xfs_inode *ip)
1187 {
1188         if (!IS_ENABLED(CONFIG_FS_DAX))
1189                 return false;
1190         if (xfs_has_dax_never(ip->i_mount))
1191                 return false;
1192         if (!xfs_inode_supports_dax(ip))
1193                 return false;
1194         if (xfs_has_dax_always(ip->i_mount))
1195                 return true;
1196         if (ip->i_diflags2 & XFS_DIFLAG2_DAX)
1197                 return true;
1198         return false;
1199 }
1200
1201 void
1202 xfs_diflags_to_iflags(
1203         struct xfs_inode        *ip,
1204         bool init)
1205 {
1206         struct inode            *inode = VFS_I(ip);
1207         unsigned int            xflags = xfs_ip2xflags(ip);
1208         unsigned int            flags = 0;
1209
1210         ASSERT(!(IS_DAX(inode) && init));
1211
1212         if (xflags & FS_XFLAG_IMMUTABLE)
1213                 flags |= S_IMMUTABLE;
1214         if (xflags & FS_XFLAG_APPEND)
1215                 flags |= S_APPEND;
1216         if (xflags & FS_XFLAG_SYNC)
1217                 flags |= S_SYNC;
1218         if (xflags & FS_XFLAG_NOATIME)
1219                 flags |= S_NOATIME;
1220         if (init && xfs_inode_should_enable_dax(ip))
1221                 flags |= S_DAX;
1222
1223         /*
1224          * S_DAX can only be set during inode initialization and is never set by
1225          * the VFS, so we cannot mask off S_DAX in i_flags.
1226          */
1227         inode->i_flags &= ~(S_IMMUTABLE | S_APPEND | S_SYNC | S_NOATIME);
1228         inode->i_flags |= flags;
1229 }
1230
1231 /*
1232  * Initialize the Linux inode.
1233  *
1234  * When reading existing inodes from disk this is called directly from xfs_iget,
1235  * when creating a new inode it is called from xfs_init_new_inode after setting
1236  * up the inode. These callers have different criteria for clearing XFS_INEW, so
1237  * leave it up to the caller to deal with unlocking the inode appropriately.
1238  */
1239 void
1240 xfs_setup_inode(
1241         struct xfs_inode        *ip)
1242 {
1243         struct inode            *inode = &ip->i_vnode;
1244         gfp_t                   gfp_mask;
1245
1246         inode->i_ino = ip->i_ino;
1247         inode->i_state |= I_NEW;
1248
1249         inode_sb_list_add(inode);
1250         /* make the inode look hashed for the writeback code */
1251         inode_fake_hash(inode);
1252
1253         i_size_write(inode, ip->i_disk_size);
1254         xfs_diflags_to_iflags(ip, true);
1255
1256         if (S_ISDIR(inode->i_mode)) {
1257                 /*
1258                  * We set the i_rwsem class here to avoid potential races with
1259                  * lockdep_annotate_inode_mutex_key() reinitialising the lock
1260                  * after a filehandle lookup has already found the inode in
1261                  * cache before it has been unlocked via unlock_new_inode().
1262                  */
1263                 lockdep_set_class(&inode->i_rwsem,
1264                                   &inode->i_sb->s_type->i_mutex_dir_key);
1265                 lockdep_set_class(&ip->i_lock.mr_lock, &xfs_dir_ilock_class);
1266         } else {
1267                 lockdep_set_class(&ip->i_lock.mr_lock, &xfs_nondir_ilock_class);
1268         }
1269
1270         /*
1271          * Ensure all page cache allocations are done from GFP_NOFS context to
1272          * prevent direct reclaim recursion back into the filesystem and blowing
1273          * stacks or deadlocking.
1274          */
1275         gfp_mask = mapping_gfp_mask(inode->i_mapping);
1276         mapping_set_gfp_mask(inode->i_mapping, (gfp_mask & ~(__GFP_FS)));
1277
1278         /*
1279          * If there is no attribute fork no ACL can exist on this inode,
1280          * and it can't have any file capabilities attached to it either.
1281          */
1282         if (!XFS_IFORK_Q(ip)) {
1283                 inode_has_no_xattr(inode);
1284                 cache_no_acl(inode);
1285         }
1286 }
1287
1288 void
1289 xfs_setup_iops(
1290         struct xfs_inode        *ip)
1291 {
1292         struct inode            *inode = &ip->i_vnode;
1293
1294         switch (inode->i_mode & S_IFMT) {
1295         case S_IFREG:
1296                 inode->i_op = &xfs_inode_operations;
1297                 inode->i_fop = &xfs_file_operations;
1298                 if (IS_DAX(inode))
1299                         inode->i_mapping->a_ops = &xfs_dax_aops;
1300                 else
1301                         inode->i_mapping->a_ops = &xfs_address_space_operations;
1302                 break;
1303         case S_IFDIR:
1304                 if (xfs_has_asciici(XFS_M(inode->i_sb)))
1305                         inode->i_op = &xfs_dir_ci_inode_operations;
1306                 else
1307                         inode->i_op = &xfs_dir_inode_operations;
1308                 inode->i_fop = &xfs_dir_file_operations;
1309                 break;
1310         case S_IFLNK:
1311                 inode->i_op = &xfs_symlink_inode_operations;
1312                 break;
1313         default:
1314                 inode->i_op = &xfs_inode_operations;
1315                 init_special_inode(inode, inode->i_mode, inode->i_rdev);
1316                 break;
1317         }
1318 }