fs/f2fs/file.c

   1 /*
   2  * fs/f2fs/file.c
   3  *
   4  * Copyright (c) 2012 Samsung Electronics Co., Ltd.
   5  *             http://www.samsung.com/
   6  *
   7  * This program is free software; you can redistribute it and/or modify
   8  * it under the terms of the GNU General Public License version 2 as
   9  * published by the Free Software Foundation.
  10  */
  11 #include <linux/fs.h>
  12 #include <linux/f2fs_fs.h>
  13 #include <linux/stat.h>
  14 #include <linux/buffer_head.h>
  15 #include <linux/writeback.h>
  16 #include <linux/blkdev.h>
  17 #include <linux/falloc.h>
  18 #include <linux/types.h>
  19 #include <linux/compat.h>
  20 #include <linux/uaccess.h>
  21 #include <linux/mount.h>
  22 #include <linux/pagevec.h>
  23
  24 #include "f2fs.h"
  25 #include "node.h"
  26 #include "segment.h"
  27 #include "xattr.h"
  28 #include "acl.h"
  29 #include "trace.h"
  30 #include <trace/events/f2fs.h>
  31
  32 static int f2fs_vm_page_mkwrite(struct vm_area_struct *vma,
  33                                                 struct vm_fault *vmf)
  34 {
  35         struct page *page = vmf->page;
  36         struct inode *inode = file_inode(vma->vm_file);
  37         struct f2fs_sb_info *sbi = F2FS_I_SB(inode);
  38         struct dnode_of_data dn;
  39         int err;
  40
  41         f2fs_balance_fs(sbi);
  42
  43         sb_start_pagefault(inode->i_sb);
  44
  45         f2fs_bug_on(sbi, f2fs_has_inline_data(inode));
  46
  47         /* block allocation */
  48         f2fs_lock_op(sbi);
  49         set_new_dnode(&dn, inode, NULL, NULL, 0);
  50         err = f2fs_reserve_block(&dn, page->index);
  51         if (err) {
  52                 f2fs_unlock_op(sbi);
  53                 goto out;
  54         }
  55         f2fs_put_dnode(&dn);
  56         f2fs_unlock_op(sbi);
  57
  58         file_update_time(vma->vm_file);
  59         lock_page(page);
  60         if (unlikely(page->mapping != inode->i_mapping ||
  61                         page_offset(page) > i_size_read(inode) ||
  62                         !PageUptodate(page))) {
  63                 unlock_page(page);
  64                 err = -EFAULT;
  65                 goto out;
  66         }
  67
  68         /*
  69          * check to see if the page is mapped already (no holes)
  70          */
  71         if (PageMappedToDisk(page))
  72                 goto mapped;
  73
  74         /* page is wholly or partially inside EOF */
  75         if (((page->index + 1) << PAGE_CACHE_SHIFT) > i_size_read(inode)) {
  76                 unsigned offset;
  77                 offset = i_size_read(inode) & ~PAGE_CACHE_MASK;
  78                 zero_user_segment(page, offset, PAGE_CACHE_SIZE);
  79         }
  80         set_page_dirty(page);
  81         SetPageUptodate(page);
  82
  83         trace_f2fs_vm_page_mkwrite(page, DATA);
  84 mapped:
  85         /* fill the page */
  86         f2fs_wait_on_page_writeback(page, DATA);
  87 out:
  88         sb_end_pagefault(inode->i_sb);
  89         return block_page_mkwrite_return(err);
  90 }
  91
  92 static const struct vm_operations_struct f2fs_file_vm_ops = {
  93         .fault          = filemap_fault,
  94         .map_pages      = filemap_map_pages,
  95         .page_mkwrite   = f2fs_vm_page_mkwrite,
  96 };
  97
  98 static int get_parent_ino(struct inode *inode, nid_t *pino)
  99 {
 100         struct dentry *dentry;
 101
 102         inode = igrab(inode);
 103         dentry = d_find_any_alias(inode);
 104         iput(inode);
 105         if (!dentry)
 106                 return 0;
 107
 108         if (update_dent_inode(inode, &dentry->d_name)) {
 109                 dput(dentry);
 110                 return 0;
 111         }
 112
 113         *pino = parent_ino(dentry);
 114         dput(dentry);
 115         return 1;
 116 }
 117
 118 static inline bool need_do_checkpoint(struct inode *inode)
 119 {
 120         struct f2fs_sb_info *sbi = F2FS_I_SB(inode);
 121         bool need_cp = false;
 122
 123         if (!S_ISREG(inode->i_mode) || inode->i_nlink != 1)
 124                 need_cp = true;
 125         else if (file_wrong_pino(inode))
 126                 need_cp = true;
 127         else if (!space_for_roll_forward(sbi))
 128                 need_cp = true;
 129         else if (!is_checkpointed_node(sbi, F2FS_I(inode)->i_pino))
 130                 need_cp = true;
 131         else if (F2FS_I(inode)->xattr_ver == cur_cp_version(F2FS_CKPT(sbi)))
 132                 need_cp = true;
 133         else if (test_opt(sbi, FASTBOOT))
 134                 need_cp = true;
 135         else if (sbi->active_logs == 2)
 136                 need_cp = true;
 137
 138         return need_cp;
 139 }
 140
 141 static bool need_inode_page_update(struct f2fs_sb_info *sbi, nid_t ino)
 142 {
 143         struct page *i = find_get_page(NODE_MAPPING(sbi), ino);
 144         bool ret = false;
 145         /* But we need to avoid that there are some inode updates */
 146         if ((i && PageDirty(i)) || need_inode_block_update(sbi, ino))
 147                 ret = true;
 148         f2fs_put_page(i, 0);
 149         return ret;
 150 }
 151
 152 static void try_to_fix_pino(struct inode *inode)
 153 {
 154         struct f2fs_inode_info *fi = F2FS_I(inode);
 155         nid_t pino;
 156
 157         down_write(&fi->i_sem);
 158         fi->xattr_ver = 0;
 159         if (file_wrong_pino(inode) && inode->i_nlink == 1 &&
 160                         get_parent_ino(inode, &pino)) {
 161                 fi->i_pino = pino;
 162                 file_got_pino(inode);
 163                 up_write(&fi->i_sem);
 164
 165                 mark_inode_dirty_sync(inode);
 166                 f2fs_write_inode(inode, NULL);
 167         } else {
 168                 up_write(&fi->i_sem);
 169         }
 170 }
 171
 172 int f2fs_sync_file(struct file *file, loff_t start, loff_t end, int datasync)
 173 {
 174         struct inode *inode = file->f_mapping->host;
 175         struct f2fs_inode_info *fi = F2FS_I(inode);
 176         struct f2fs_sb_info *sbi = F2FS_I_SB(inode);
 177         nid_t ino = inode->i_ino;
 178         int ret = 0;
 179         bool need_cp = false;
 180         struct writeback_control wbc = {
 181                 .sync_mode = WB_SYNC_ALL,
 182                 .nr_to_write = LONG_MAX,
 183                 .for_reclaim = 0,
 184         };
 185
 186         if (unlikely(f2fs_readonly(inode->i_sb)))
 187                 return 0;
 188
 189         trace_f2fs_sync_file_enter(inode);
 190
 191         /* if fdatasync is triggered, let's do in-place-update */
 192         if (get_dirty_pages(inode) <= SM_I(sbi)->min_fsync_blocks)
 193                 set_inode_flag(fi, FI_NEED_IPU);
 194         ret = filemap_write_and_wait_range(inode->i_mapping, start, end);
 195         clear_inode_flag(fi, FI_NEED_IPU);
 196
 197         if (ret) {
 198                 trace_f2fs_sync_file_exit(inode, need_cp, datasync, ret);
 199                 return ret;
 200         }
 201
 202         /* if the inode is dirty, let's recover all the time */
 203         if (!datasync && is_inode_flag_set(fi, FI_DIRTY_INODE)) {
 204                 update_inode_page(inode);
 205                 goto go_write;
 206         }
 207
 208         /*
 209          * if there is no written data, don't waste time to write recovery info.
 210          */
 211         if (!is_inode_flag_set(fi, FI_APPEND_WRITE) &&
 212                         !exist_written_data(sbi, ino, APPEND_INO)) {
 213
 214                 /* it may call write_inode just prior to fsync */
 215                 if (need_inode_page_update(sbi, ino))
 216                         goto go_write;
 217
 218                 if (is_inode_flag_set(fi, FI_UPDATE_WRITE) ||
 219                                 exist_written_data(sbi, ino, UPDATE_INO))
 220                         goto flush_out;
 221                 goto out;
 222         }
 223 go_write:
 224         /* guarantee free sections for fsync */
 225         f2fs_balance_fs(sbi);
 226
 227         /*
 228          * Both of fdatasync() and fsync() are able to be recovered from
 229          * sudden-power-off.
 230          */
 231         down_read(&fi->i_sem);
 232         need_cp = need_do_checkpoint(inode);
 233         up_read(&fi->i_sem);
 234
 235         if (need_cp) {
 236                 /* all the dirty node pages should be flushed for POR */
 237                 ret = f2fs_sync_fs(inode->i_sb, 1);
 238
 239                 /*
 240                  * We've secured consistency through sync_fs. Following pino
 241                  * will be used only for fsynced inodes after checkpoint.
 242                  */
 243                 try_to_fix_pino(inode);
 244                 clear_inode_flag(fi, FI_APPEND_WRITE);
 245                 clear_inode_flag(fi, FI_UPDATE_WRITE);
 246                 goto out;
 247         }
 248 sync_nodes:
 249         sync_node_pages(sbi, ino, &wbc);
 250
 251         /* if cp_error was enabled, we should avoid infinite loop */
 252         if (unlikely(f2fs_cp_error(sbi)))
 253                 goto out;
 254
 255         if (need_inode_block_update(sbi, ino)) {
 256                 mark_inode_dirty_sync(inode);
 257                 f2fs_write_inode(inode, NULL);
 258                 goto sync_nodes;
 259         }
 260
 261         ret = wait_on_node_pages_writeback(sbi, ino);
 262         if (ret)
 263                 goto out;
 264
 265         /* once recovery info is written, don't need to tack this */
 266         remove_dirty_inode(sbi, ino, APPEND_INO);
 267         clear_inode_flag(fi, FI_APPEND_WRITE);
 268 flush_out:
 269         remove_dirty_inode(sbi, ino, UPDATE_INO);
 270         clear_inode_flag(fi, FI_UPDATE_WRITE);
 271         ret = f2fs_issue_flush(sbi);
 272 out:
 273         trace_f2fs_sync_file_exit(inode, need_cp, datasync, ret);
 274         f2fs_trace_ios(NULL, NULL, 1);
 275         return ret;
 276 }
 277
 278 static pgoff_t __get_first_dirty_index(struct address_space *mapping,
 279                                                 pgoff_t pgofs, int whence)
 280 {
 281         struct pagevec pvec;
 282         int nr_pages;
 283
 284         if (whence != SEEK_DATA)
 285                 return 0;
 286
 287         /* find first dirty page index */
 288         pagevec_init(&pvec, 0);
 289         nr_pages = pagevec_lookup_tag(&pvec, mapping, &pgofs,
 290                                         PAGECACHE_TAG_DIRTY, 1);
 291         pgofs = nr_pages ? pvec.pages[0]->index : LONG_MAX;
 292         pagevec_release(&pvec);
 293         return pgofs;
 294 }
 295
 296 static bool __found_offset(block_t blkaddr, pgoff_t dirty, pgoff_t pgofs,
 297                                                         int whence)
 298 {
 299         switch (whence) {
 300         case SEEK_DATA:
 301                 if ((blkaddr == NEW_ADDR && dirty == pgofs) ||
 302                         (blkaddr != NEW_ADDR && blkaddr != NULL_ADDR))
 303                         return true;
 304                 break;
 305         case SEEK_HOLE:
 306                 if (blkaddr == NULL_ADDR)
 307                         return true;
 308                 break;
 309         }
 310         return false;
 311 }
 312
 313 static loff_t f2fs_seek_block(struct file *file, loff_t offset, int whence)
 314 {
 315         struct inode *inode = file->f_mapping->host;
 316         loff_t maxbytes = inode->i_sb->s_maxbytes;
 317         struct dnode_of_data dn;
 318         pgoff_t pgofs, end_offset, dirty;
 319         loff_t data_ofs = offset;
 320         loff_t isize;
 321         int err = 0;
 322
 323         mutex_lock(&inode->i_mutex);
 324
 325         isize = i_size_read(inode);
 326         if (offset >= isize)
 327                 goto fail;
 328
 329         /* handle inline data case */
 330         if (f2fs_has_inline_data(inode) || f2fs_has_inline_dentry(inode)) {
 331                 if (whence == SEEK_HOLE)
 332                         data_ofs = isize;
 333                 goto found;
 334         }
 335
 336         pgofs = (pgoff_t)(offset >> PAGE_CACHE_SHIFT);
 337
 338         dirty = __get_first_dirty_index(inode->i_mapping, pgofs, whence);
 339
 340         for (; data_ofs < isize; data_ofs = pgofs << PAGE_CACHE_SHIFT) {
 341                 set_new_dnode(&dn, inode, NULL, NULL, 0);
 342                 err = get_dnode_of_data(&dn, pgofs, LOOKUP_NODE_RA);
 343                 if (err && err != -ENOENT) {
 344                         goto fail;
 345                 } else if (err == -ENOENT) {
 346                         /* direct node does not exists */
 347                         if (whence == SEEK_DATA) {
 348                                 pgofs = PGOFS_OF_NEXT_DNODE(pgofs,
 349                                                         F2FS_I(inode));
 350                                 continue;
 351                         } else {
 352                                 goto found;
 353                         }
 354                 }
 355
 356                 end_offset = ADDRS_PER_PAGE(dn.node_page, F2FS_I(inode));
 357
 358                 /* find data/hole in dnode block */
 359                 for (; dn.ofs_in_node < end_offset;
 360                                 dn.ofs_in_node++, pgofs++,
 361                                 data_ofs = (loff_t)pgofs << PAGE_CACHE_SHIFT) {
 362                         block_t blkaddr;
 363                         blkaddr = datablock_addr(dn.node_page, dn.ofs_in_node);
 364
 365                         if (__found_offset(blkaddr, dirty, pgofs, whence)) {
 366                                 f2fs_put_dnode(&dn);
 367                                 goto found;
 368                         }
 369                 }
 370                 f2fs_put_dnode(&dn);
 371         }
 372
 373         if (whence == SEEK_DATA)
 374                 goto fail;
 375 found:
 376         if (whence == SEEK_HOLE && data_ofs > isize)
 377                 data_ofs = isize;
 378         mutex_unlock(&inode->i_mutex);
 379         return vfs_setpos(file, data_ofs, maxbytes);
 380 fail:
 381         mutex_unlock(&inode->i_mutex);
 382         return -ENXIO;
 383 }
 384
 385 static loff_t f2fs_llseek(struct file *file, loff_t offset, int whence)
 386 {
 387         struct inode *inode = file->f_mapping->host;
 388         loff_t maxbytes = inode->i_sb->s_maxbytes;
 389
 390         switch (whence) {
 391         case SEEK_SET:
 392         case SEEK_CUR:
 393         case SEEK_END:
 394                 return generic_file_llseek_size(file, offset, whence,
 395                                                 maxbytes, i_size_read(inode));
 396         case SEEK_DATA:
 397         case SEEK_HOLE:
 398                 if (offset < 0)
 399                         return -ENXIO;
 400                 return f2fs_seek_block(file, offset, whence);
 401         }
 402
 403         return -EINVAL;
 404 }
 405
 406 static int f2fs_file_mmap(struct file *file, struct vm_area_struct *vma)
 407 {
 408         struct inode *inode = file_inode(file);
 409
 410         /* we don't need to use inline_data strictly */
 411         if (f2fs_has_inline_data(inode)) {
 412                 int err = f2fs_convert_inline_inode(inode);
 413                 if (err)
 414                         return err;
 415         }
 416
 417         file_accessed(file);
 418         vma->vm_ops = &f2fs_file_vm_ops;
 419         return 0;
 420 }
 421
 422 int truncate_data_blocks_range(struct dnode_of_data *dn, int count)
 423 {
 424         int nr_free = 0, ofs = dn->ofs_in_node;
 425         struct f2fs_sb_info *sbi = F2FS_I_SB(dn->inode);
 426         struct f2fs_node *raw_node;
 427         __le32 *addr;
 428
 429         raw_node = F2FS_NODE(dn->node_page);
 430         addr = blkaddr_in_node(raw_node) + ofs;
 431
 432         for (; count > 0; count--, addr++, dn->ofs_in_node++) {
 433                 block_t blkaddr = le32_to_cpu(*addr);
 434                 if (blkaddr == NULL_ADDR)
 435                         continue;
 436
 437                 dn->data_blkaddr = NULL_ADDR;
 438                 set_data_blkaddr(dn);
 439                 f2fs_update_extent_cache(dn);
 440                 invalidate_blocks(sbi, blkaddr);
 441                 if (dn->ofs_in_node == 0 && IS_INODE(dn->node_page))
 442                         clear_inode_flag(F2FS_I(dn->inode),
 443                                                 FI_FIRST_BLOCK_WRITTEN);
 444                 nr_free++;
 445         }
 446         if (nr_free) {
 447                 dec_valid_block_count(sbi, dn->inode, nr_free);
 448                 set_page_dirty(dn->node_page);
 449                 sync_inode_page(dn);
 450         }
 451         dn->ofs_in_node = ofs;
 452
 453         trace_f2fs_truncate_data_blocks_range(dn->inode, dn->nid,
 454                                          dn->ofs_in_node, nr_free);
 455         return nr_free;
 456 }
 457
 458 void truncate_data_blocks(struct dnode_of_data *dn)
 459 {
 460         truncate_data_blocks_range(dn, ADDRS_PER_BLOCK);
 461 }
 462
 463 static int truncate_partial_data_page(struct inode *inode, u64 from,
 464                                                                 bool force)
 465 {
 466         unsigned offset = from & (PAGE_CACHE_SIZE - 1);
 467         struct page *page;
 468
 469         if (!offset && !force)
 470                 return 0;
 471
 472         page = find_data_page(inode, from >> PAGE_CACHE_SHIFT, force);
 473         if (IS_ERR(page))
 474                 return 0;
 475
 476         lock_page(page);
 477         if (unlikely(!PageUptodate(page) ||
 478                         page->mapping != inode->i_mapping))
 479                 goto out;
 480
 481         f2fs_wait_on_page_writeback(page, DATA);
 482         zero_user(page, offset, PAGE_CACHE_SIZE - offset);
 483         if (!force)
 484                 set_page_dirty(page);
 485 out:
 486         f2fs_put_page(page, 1);
 487         return 0;
 488 }
 489
 490 int truncate_blocks(struct inode *inode, u64 from, bool lock)
 491 {
 492         struct f2fs_sb_info *sbi = F2FS_I_SB(inode);
 493         unsigned int blocksize = inode->i_sb->s_blocksize;
 494         struct dnode_of_data dn;
 495         pgoff_t free_from;
 496         int count = 0, err = 0;
 497         struct page *ipage;
 498         bool truncate_page = false;
 499
 500         trace_f2fs_truncate_blocks_enter(inode, from);
 501
 502         free_from = (pgoff_t)F2FS_BYTES_TO_BLK(from + blocksize - 1);
 503
 504         if (lock)
 505                 f2fs_lock_op(sbi);
 506
 507         ipage = get_node_page(sbi, inode->i_ino);
 508         if (IS_ERR(ipage)) {
 509                 err = PTR_ERR(ipage);
 510                 goto out;
 511         }
 512
 513         if (f2fs_has_inline_data(inode)) {
 514                 if (truncate_inline_inode(ipage, from))
 515                         set_page_dirty(ipage);
 516                 f2fs_put_page(ipage, 1);
 517                 truncate_page = true;
 518                 goto out;
 519         }
 520
 521         set_new_dnode(&dn, inode, ipage, NULL, 0);
 522         err = get_dnode_of_data(&dn, free_from, LOOKUP_NODE);
 523         if (err) {
 524                 if (err == -ENOENT)
 525                         goto free_next;
 526                 goto out;
 527         }
 528
 529         count = ADDRS_PER_PAGE(dn.node_page, F2FS_I(inode));
 530
 531         count -= dn.ofs_in_node;
 532         f2fs_bug_on(sbi, count < 0);
 533
 534         if (dn.ofs_in_node || IS_INODE(dn.node_page)) {
 535                 truncate_data_blocks_range(&dn, count);
 536                 free_from += count;
 537         }
 538
 539         f2fs_put_dnode(&dn);
 540 free_next:
 541         err = truncate_inode_blocks(inode, free_from);
 542 out:
 543         if (lock)
 544                 f2fs_unlock_op(sbi);
 545
 546         /* lastly zero out the first data page */
 547         if (!err)
 548                 err = truncate_partial_data_page(inode, from, truncate_page);
 549
 550         trace_f2fs_truncate_blocks_exit(inode, err);
 551         return err;
 552 }
 553
 554 void f2fs_truncate(struct inode *inode)
 555 {
 556         if (!(S_ISREG(inode->i_mode) || S_ISDIR(inode->i_mode) ||
 557                                 S_ISLNK(inode->i_mode)))
 558                 return;
 559
 560         trace_f2fs_truncate(inode);
 561
 562         /* we should check inline_data size */
 563         if (f2fs_has_inline_data(inode) && !f2fs_may_inline(inode)) {
 564                 if (f2fs_convert_inline_inode(inode))
 565                         return;
 566         }
 567
 568         if (!truncate_blocks(inode, i_size_read(inode), true)) {
 569                 inode->i_mtime = inode->i_ctime = CURRENT_TIME;
 570                 mark_inode_dirty(inode);
 571         }
 572 }
 573
 574 int f2fs_getattr(struct vfsmount *mnt,
 575                          struct dentry *dentry, struct kstat *stat)
 576 {
 577         struct inode *inode = d_inode(dentry);
 578         generic_fillattr(inode, stat);
 579         stat->blocks <<= 3;
 580         return 0;
 581 }
 582
 583 #ifdef CONFIG_F2FS_FS_POSIX_ACL
 584 static void __setattr_copy(struct inode *inode, const struct iattr *attr)
 585 {
 586         struct f2fs_inode_info *fi = F2FS_I(inode);
 587         unsigned int ia_valid = attr->ia_valid;
 588
 589         if (ia_valid & ATTR_UID)
 590                 inode->i_uid = attr->ia_uid;
 591         if (ia_valid & ATTR_GID)
 592                 inode->i_gid = attr->ia_gid;
 593         if (ia_valid & ATTR_ATIME)
 594                 inode->i_atime = timespec_trunc(attr->ia_atime,
 595                                                 inode->i_sb->s_time_gran);
 596         if (ia_valid & ATTR_MTIME)
 597                 inode->i_mtime = timespec_trunc(attr->ia_mtime,
 598                                                 inode->i_sb->s_time_gran);
 599         if (ia_valid & ATTR_CTIME)
 600                 inode->i_ctime = timespec_trunc(attr->ia_ctime,
 601                                                 inode->i_sb->s_time_gran);
 602         if (ia_valid & ATTR_MODE) {
 603                 umode_t mode = attr->ia_mode;
 604
 605                 if (!in_group_p(inode->i_gid) && !capable(CAP_FSETID))
 606                         mode &= ~S_ISGID;
 607                 set_acl_inode(fi, mode);
 608         }
 609 }
 610 #else
 611 #define __setattr_copy setattr_copy
 612 #endif
 613
 614 int f2fs_setattr(struct dentry *dentry, struct iattr *attr)
 615 {
 616         struct inode *inode = d_inode(dentry);
 617         struct f2fs_inode_info *fi = F2FS_I(inode);
 618         int err;
 619
 620         err = inode_change_ok(inode, attr);
 621         if (err)
 622                 return err;
 623
 624         if (attr->ia_valid & ATTR_SIZE) {
 625                 if (attr->ia_size != i_size_read(inode)) {
 626                         truncate_setsize(inode, attr->ia_size);
 627                         f2fs_truncate(inode);
 628                         f2fs_balance_fs(F2FS_I_SB(inode));
 629                 } else {
 630                         /*
 631                          * giving a chance to truncate blocks past EOF which
 632                          * are fallocated with FALLOC_FL_KEEP_SIZE.
 633                          */
 634                         f2fs_truncate(inode);
 635                 }
 636         }
 637
 638         __setattr_copy(inode, attr);
 639
 640         if (attr->ia_valid & ATTR_MODE) {
 641                 err = posix_acl_chmod(inode, get_inode_mode(inode));
 642                 if (err || is_inode_flag_set(fi, FI_ACL_MODE)) {
 643                         inode->i_mode = fi->i_acl_mode;
 644                         clear_inode_flag(fi, FI_ACL_MODE);
 645                 }
 646         }
 647
 648         mark_inode_dirty(inode);
 649         return err;
 650 }
 651
 652 const struct inode_operations f2fs_file_inode_operations = {
 653         .getattr        = f2fs_getattr,
 654         .setattr        = f2fs_setattr,
 655         .get_acl        = f2fs_get_acl,
 656         .set_acl        = f2fs_set_acl,
 657 #ifdef CONFIG_F2FS_FS_XATTR
 658         .setxattr       = generic_setxattr,
 659         .getxattr       = generic_getxattr,
 660         .listxattr      = f2fs_listxattr,
 661         .removexattr    = generic_removexattr,
 662 #endif
 663         .fiemap         = f2fs_fiemap,
 664 };
 665
 666 static void fill_zero(struct inode *inode, pgoff_t index,
 667                                         loff_t start, loff_t len)
 668 {
 669         struct f2fs_sb_info *sbi = F2FS_I_SB(inode);
 670         struct page *page;
 671
 672         if (!len)
 673                 return;
 674
 675         f2fs_balance_fs(sbi);
 676
 677         f2fs_lock_op(sbi);
 678         page = get_new_data_page(inode, NULL, index, false);
 679         f2fs_unlock_op(sbi);
 680
 681         if (!IS_ERR(page)) {
 682                 f2fs_wait_on_page_writeback(page, DATA);
 683                 zero_user(page, start, len);
 684                 set_page_dirty(page);
 685                 f2fs_put_page(page, 1);
 686         }
 687 }
 688
 689 int truncate_hole(struct inode *inode, pgoff_t pg_start, pgoff_t pg_end)
 690 {
 691         pgoff_t index;
 692         int err;
 693
 694         for (index = pg_start; index < pg_end; index++) {
 695                 struct dnode_of_data dn;
 696
 697                 set_new_dnode(&dn, inode, NULL, NULL, 0);
 698                 err = get_dnode_of_data(&dn, index, LOOKUP_NODE);
 699                 if (err) {
 700                         if (err == -ENOENT)
 701                                 continue;
 702                         return err;
 703                 }
 704
 705                 if (dn.data_blkaddr != NULL_ADDR)
 706                         truncate_data_blocks_range(&dn, 1);
 707                 f2fs_put_dnode(&dn);
 708         }
 709         return 0;
 710 }
 711
 712 static int punch_hole(struct inode *inode, loff_t offset, loff_t len)
 713 {
 714         pgoff_t pg_start, pg_end;
 715         loff_t off_start, off_end;
 716         int ret = 0;
 717
 718         if (!S_ISREG(inode->i_mode))
 719                 return -EOPNOTSUPP;
 720
 721         if (f2fs_has_inline_data(inode)) {
 722                 ret = f2fs_convert_inline_inode(inode);
 723                 if (ret)
 724                         return ret;
 725         }
 726
 727         pg_start = ((unsigned long long) offset) >> PAGE_CACHE_SHIFT;
 728         pg_end = ((unsigned long long) offset + len) >> PAGE_CACHE_SHIFT;
 729
 730         off_start = offset & (PAGE_CACHE_SIZE - 1);
 731         off_end = (offset + len) & (PAGE_CACHE_SIZE - 1);
 732
 733         if (pg_start == pg_end) {
 734                 fill_zero(inode, pg_start, off_start,
 735                                                 off_end - off_start);
 736         } else {
 737                 if (off_start)
 738                         fill_zero(inode, pg_start++, off_start,
 739                                         PAGE_CACHE_SIZE - off_start);
 740                 if (off_end)
 741                         fill_zero(inode, pg_end, 0, off_end);
 742
 743                 if (pg_start < pg_end) {
 744                         struct address_space *mapping = inode->i_mapping;
 745                         loff_t blk_start, blk_end;
 746                         struct f2fs_sb_info *sbi = F2FS_I_SB(inode);
 747
 748                         f2fs_balance_fs(sbi);
 749
 750                         blk_start = pg_start << PAGE_CACHE_SHIFT;
 751                         blk_end = pg_end << PAGE_CACHE_SHIFT;
 752                         truncate_inode_pages_range(mapping, blk_start,
 753                                         blk_end - 1);
 754
 755                         f2fs_lock_op(sbi);
 756                         ret = truncate_hole(inode, pg_start, pg_end);
 757                         f2fs_unlock_op(sbi);
 758                 }
 759         }
 760
 761         return ret;
 762 }
 763
 764 static int expand_inode_data(struct inode *inode, loff_t offset,
 765                                         loff_t len, int mode)
 766 {
 767         struct f2fs_sb_info *sbi = F2FS_I_SB(inode);
 768         pgoff_t index, pg_start, pg_end;
 769         loff_t new_size = i_size_read(inode);
 770         loff_t off_start, off_end;
 771         int ret = 0;
 772
 773         f2fs_balance_fs(sbi);
 774
 775         ret = inode_newsize_ok(inode, (len + offset));
 776         if (ret)
 777                 return ret;
 778
 779         if (f2fs_has_inline_data(inode)) {
 780                 ret = f2fs_convert_inline_inode(inode);
 781                 if (ret)
 782                         return ret;
 783         }
 784
 785         pg_start = ((unsigned long long) offset) >> PAGE_CACHE_SHIFT;
 786         pg_end = ((unsigned long long) offset + len) >> PAGE_CACHE_SHIFT;
 787
 788         off_start = offset & (PAGE_CACHE_SIZE - 1);
 789         off_end = (offset + len) & (PAGE_CACHE_SIZE - 1);
 790
 791         f2fs_lock_op(sbi);
 792
 793         for (index = pg_start; index <= pg_end; index++) {
 794                 struct dnode_of_data dn;
 795
 796                 if (index == pg_end && !off_end)
 797                         goto noalloc;
 798
 799                 set_new_dnode(&dn, inode, NULL, NULL, 0);
 800                 ret = f2fs_reserve_block(&dn, index);
 801                 if (ret)
 802                         break;
 803 noalloc:
 804                 if (pg_start == pg_end)
 805                         new_size = offset + len;
 806                 else if (index == pg_start && off_start)
 807                         new_size = (index + 1) << PAGE_CACHE_SHIFT;
 808                 else if (index == pg_end)
 809                         new_size = (index << PAGE_CACHE_SHIFT) + off_end;
 810                 else
 811                         new_size += PAGE_CACHE_SIZE;
 812         }
 813
 814         if (!(mode & FALLOC_FL_KEEP_SIZE) &&
 815                 i_size_read(inode) < new_size) {
 816                 i_size_write(inode, new_size);
 817                 mark_inode_dirty(inode);
 818                 update_inode_page(inode);
 819         }
 820         f2fs_unlock_op(sbi);
 821
 822         return ret;
 823 }
 824
 825 static long f2fs_fallocate(struct file *file, int mode,
 826                                 loff_t offset, loff_t len)
 827 {
 828         struct inode *inode = file_inode(file);
 829         long ret = 0;
 830
 831         if (mode & ~(FALLOC_FL_KEEP_SIZE | FALLOC_FL_PUNCH_HOLE))
 832                 return -EOPNOTSUPP;
 833
 834         mutex_lock(&inode->i_mutex);
 835
 836         if (mode & FALLOC_FL_PUNCH_HOLE) {
 837                 if (offset >= inode->i_size)
 838                         goto out;
 839
 840                 ret = punch_hole(inode, offset, len);
 841         }
 842         else
 843                 ret = expand_inode_data(inode, offset, len, mode);
 844
 845         if (!ret) {
 846                 inode->i_mtime = inode->i_ctime = CURRENT_TIME;
 847                 mark_inode_dirty(inode);
 848         }
 849
 850 out:
 851         mutex_unlock(&inode->i_mutex);
 852
 853         trace_f2fs_fallocate(inode, mode, offset, len, ret);
 854         return ret;
 855 }
 856
 857 static int f2fs_release_file(struct inode *inode, struct file *filp)
 858 {
 859         /* some remained atomic pages should discarded */
 860         if (f2fs_is_atomic_file(inode))
 861                 commit_inmem_pages(inode, true);
 862         if (f2fs_is_volatile_file(inode)) {
 863                 set_inode_flag(F2FS_I(inode), FI_DROP_CACHE);
 864                 filemap_fdatawrite(inode->i_mapping);
 865                 clear_inode_flag(F2FS_I(inode), FI_DROP_CACHE);
 866         }
 867         return 0;
 868 }
 869
 870 #define F2FS_REG_FLMASK         (~(FS_DIRSYNC_FL | FS_TOPDIR_FL))
 871 #define F2FS_OTHER_FLMASK       (FS_NODUMP_FL | FS_NOATIME_FL)
 872
 873 static inline __u32 f2fs_mask_flags(umode_t mode, __u32 flags)
 874 {
 875         if (S_ISDIR(mode))
 876                 return flags;
 877         else if (S_ISREG(mode))
 878                 return flags & F2FS_REG_FLMASK;
 879         else
 880                 return flags & F2FS_OTHER_FLMASK;
 881 }
 882
 883 static int f2fs_ioc_getflags(struct file *filp, unsigned long arg)
 884 {
 885         struct inode *inode = file_inode(filp);
 886         struct f2fs_inode_info *fi = F2FS_I(inode);
 887         unsigned int flags = fi->i_flags & FS_FL_USER_VISIBLE;
 888         return put_user(flags, (int __user *)arg);
 889 }
 890
 891 static int f2fs_ioc_setflags(struct file *filp, unsigned long arg)
 892 {
 893         struct inode *inode = file_inode(filp);
 894         struct f2fs_inode_info *fi = F2FS_I(inode);
 895         unsigned int flags = fi->i_flags & FS_FL_USER_VISIBLE;
 896         unsigned int oldflags;
 897         int ret;
 898
 899         ret = mnt_want_write_file(filp);
 900         if (ret)
 901                 return ret;
 902
 903         if (!inode_owner_or_capable(inode)) {
 904                 ret = -EACCES;
 905                 goto out;
 906         }
 907
 908         if (get_user(flags, (int __user *)arg)) {
 909                 ret = -EFAULT;
 910                 goto out;
 911         }
 912
 913         flags = f2fs_mask_flags(inode->i_mode, flags);
 914
 915         mutex_lock(&inode->i_mutex);
 916
 917         oldflags = fi->i_flags;
 918
 919         if ((flags ^ oldflags) & (FS_APPEND_FL | FS_IMMUTABLE_FL)) {
 920                 if (!capable(CAP_LINUX_IMMUTABLE)) {
 921                         mutex_unlock(&inode->i_mutex);
 922                         ret = -EPERM;
 923                         goto out;
 924                 }
 925         }
 926
 927         flags = flags & FS_FL_USER_MODIFIABLE;
 928         flags |= oldflags & ~FS_FL_USER_MODIFIABLE;
 929         fi->i_flags = flags;
 930         mutex_unlock(&inode->i_mutex);
 931
 932         f2fs_set_inode_flags(inode);
 933         inode->i_ctime = CURRENT_TIME;
 934         mark_inode_dirty(inode);
 935 out:
 936         mnt_drop_write_file(filp);
 937         return ret;
 938 }
 939
 940 static int f2fs_ioc_getversion(struct file *filp, unsigned long arg)
 941 {
 942         struct inode *inode = file_inode(filp);
 943
 944         return put_user(inode->i_generation, (int __user *)arg);
 945 }
 946
 947 static int f2fs_ioc_start_atomic_write(struct file *filp)
 948 {
 949         struct inode *inode = file_inode(filp);
 950
 951         if (!inode_owner_or_capable(inode))
 952                 return -EACCES;
 953
 954         f2fs_balance_fs(F2FS_I_SB(inode));
 955
 956         if (f2fs_is_atomic_file(inode))
 957                 return 0;
 958
 959         set_inode_flag(F2FS_I(inode), FI_ATOMIC_FILE);
 960
 961         return f2fs_convert_inline_inode(inode);
 962 }
 963
 964 static int f2fs_ioc_commit_atomic_write(struct file *filp)
 965 {
 966         struct inode *inode = file_inode(filp);
 967         int ret;
 968
 969         if (!inode_owner_or_capable(inode))
 970                 return -EACCES;
 971
 972         if (f2fs_is_volatile_file(inode))
 973                 return 0;
 974
 975         ret = mnt_want_write_file(filp);
 976         if (ret)
 977                 return ret;
 978
 979         if (f2fs_is_atomic_file(inode))
 980                 commit_inmem_pages(inode, false);
 981
 982         ret = f2fs_sync_file(filp, 0, LONG_MAX, 0);
 983         mnt_drop_write_file(filp);
 984         clear_inode_flag(F2FS_I(inode), FI_ATOMIC_FILE);
 985         return ret;
 986 }
 987
 988 static int f2fs_ioc_start_volatile_write(struct file *filp)
 989 {
 990         struct inode *inode = file_inode(filp);
 991
 992         if (!inode_owner_or_capable(inode))
 993                 return -EACCES;
 994
 995         if (f2fs_is_volatile_file(inode))
 996                 return 0;
 997
 998         set_inode_flag(F2FS_I(inode), FI_VOLATILE_FILE);
 999
1000         return f2fs_convert_inline_inode(inode);
1001 }
1002
1003 static int f2fs_ioc_release_volatile_write(struct file *filp)
1004 {
1005         struct inode *inode = file_inode(filp);
1006
1007         if (!inode_owner_or_capable(inode))
1008                 return -EACCES;
1009
1010         if (!f2fs_is_volatile_file(inode))
1011                 return 0;
1012
1013         if (!f2fs_is_first_block_written(inode))
1014                 return truncate_partial_data_page(inode, 0, true);
1015
1016         punch_hole(inode, 0, F2FS_BLKSIZE);
1017         return 0;
1018 }
1019
1020 static int f2fs_ioc_abort_volatile_write(struct file *filp)
1021 {
1022         struct inode *inode = file_inode(filp);
1023         int ret;
1024
1025         if (!inode_owner_or_capable(inode))
1026                 return -EACCES;
1027
1028         ret = mnt_want_write_file(filp);
1029         if (ret)
1030                 return ret;
1031
1032         f2fs_balance_fs(F2FS_I_SB(inode));
1033
1034         if (f2fs_is_atomic_file(inode)) {
1035                 commit_inmem_pages(inode, false);
1036                 clear_inode_flag(F2FS_I(inode), FI_ATOMIC_FILE);
1037         }
1038
1039         if (f2fs_is_volatile_file(inode)) {
1040                 clear_inode_flag(F2FS_I(inode), FI_VOLATILE_FILE);
1041                 filemap_fdatawrite(inode->i_mapping);
1042                 set_inode_flag(F2FS_I(inode), FI_VOLATILE_FILE);
1043         }
1044         mnt_drop_write_file(filp);
1045         return ret;
1046 }
1047
1048 static int f2fs_ioc_shutdown(struct file *filp, unsigned long arg)
1049 {
1050         struct inode *inode = file_inode(filp);
1051         struct f2fs_sb_info *sbi = F2FS_I_SB(inode);
1052         struct super_block *sb = sbi->sb;
1053         __u32 in;
1054
1055         if (!capable(CAP_SYS_ADMIN))
1056                 return -EPERM;
1057
1058         if (get_user(in, (__u32 __user *)arg))
1059                 return -EFAULT;
1060
1061         switch (in) {
1062         case F2FS_GOING_DOWN_FULLSYNC:
1063                 sb = freeze_bdev(sb->s_bdev);
1064                 if (sb && !IS_ERR(sb)) {
1065                         f2fs_stop_checkpoint(sbi);
1066                         thaw_bdev(sb->s_bdev, sb);
1067                 }
1068                 break;
1069         case F2FS_GOING_DOWN_METASYNC:
1070                 /* do checkpoint only */
1071                 f2fs_sync_fs(sb, 1);
1072                 f2fs_stop_checkpoint(sbi);
1073                 break;
1074         case F2FS_GOING_DOWN_NOSYNC:
1075                 f2fs_stop_checkpoint(sbi);
1076                 break;
1077         default:
1078                 return -EINVAL;
1079         }
1080         return 0;
1081 }
1082
1083 static int f2fs_ioc_fitrim(struct file *filp, unsigned long arg)
1084 {
1085         struct inode *inode = file_inode(filp);
1086         struct super_block *sb = inode->i_sb;
1087         struct request_queue *q = bdev_get_queue(sb->s_bdev);
1088         struct fstrim_range range;
1089         int ret;
1090
1091         if (!capable(CAP_SYS_ADMIN))
1092                 return -EPERM;
1093
1094         if (!blk_queue_discard(q))
1095                 return -EOPNOTSUPP;
1096
1097         if (copy_from_user(&range, (struct fstrim_range __user *)arg,
1098                                 sizeof(range)))
1099                 return -EFAULT;
1100
1101         range.minlen = max((unsigned int)range.minlen,
1102                                 q->limits.discard_granularity);
1103         ret = f2fs_trim_fs(F2FS_SB(sb), &range);
1104         if (ret < 0)
1105                 return ret;
1106
1107         if (copy_to_user((struct fstrim_range __user *)arg, &range,
1108                                 sizeof(range)))
1109                 return -EFAULT;
1110         return 0;
1111 }
1112
1113 long f2fs_ioctl(struct file *filp, unsigned int cmd, unsigned long arg)
1114 {
1115         switch (cmd) {
1116         case F2FS_IOC_GETFLAGS:
1117                 return f2fs_ioc_getflags(filp, arg);
1118         case F2FS_IOC_SETFLAGS:
1119                 return f2fs_ioc_setflags(filp, arg);
1120         case F2FS_IOC_GETVERSION:
1121                 return f2fs_ioc_getversion(filp, arg);
1122         case F2FS_IOC_START_ATOMIC_WRITE:
1123                 return f2fs_ioc_start_atomic_write(filp);
1124         case F2FS_IOC_COMMIT_ATOMIC_WRITE:
1125                 return f2fs_ioc_commit_atomic_write(filp);
1126         case F2FS_IOC_START_VOLATILE_WRITE:
1127                 return f2fs_ioc_start_volatile_write(filp);
1128         case F2FS_IOC_RELEASE_VOLATILE_WRITE:
1129                 return f2fs_ioc_release_volatile_write(filp);
1130         case F2FS_IOC_ABORT_VOLATILE_WRITE:
1131                 return f2fs_ioc_abort_volatile_write(filp);
1132         case F2FS_IOC_SHUTDOWN:
1133                 return f2fs_ioc_shutdown(filp, arg);
1134         case FITRIM:
1135                 return f2fs_ioc_fitrim(filp, arg);
1136         default:
1137                 return -ENOTTY;
1138         }
1139 }
1140
1141 #ifdef CONFIG_COMPAT
1142 long f2fs_compat_ioctl(struct file *file, unsigned int cmd, unsigned long arg)
1143 {
1144         switch (cmd) {
1145         case F2FS_IOC32_GETFLAGS:
1146                 cmd = F2FS_IOC_GETFLAGS;
1147                 break;
1148         case F2FS_IOC32_SETFLAGS:
1149                 cmd = F2FS_IOC_SETFLAGS;
1150                 break;
1151         default:
1152                 return -ENOIOCTLCMD;
1153         }
1154         return f2fs_ioctl(file, cmd, (unsigned long) compat_ptr(arg));
1155 }
1156 #endif
1157
1158 const struct file_operations f2fs_file_operations = {
1159         .llseek         = f2fs_llseek,
1160         .read_iter      = generic_file_read_iter,
1161         .write_iter     = generic_file_write_iter,
1162         .open           = generic_file_open,
1163         .release        = f2fs_release_file,
1164         .mmap           = f2fs_file_mmap,
1165         .fsync          = f2fs_sync_file,
1166         .fallocate      = f2fs_fallocate,
1167         .unlocked_ioctl = f2fs_ioctl,
1168 #ifdef CONFIG_COMPAT
1169         .compat_ioctl   = f2fs_compat_ioctl,
1170 #endif
1171         .splice_read    = generic_file_splice_read,
1172         .splice_write   = iter_file_splice_write,
1173 };