scripts: mkbootimg_rpi4: Fix url path to tizen_7.0
[platform/kernel/linux-rpi.git] / fs / namespace.c
1 // SPDX-License-Identifier: GPL-2.0-only
2 /*
3  *  linux/fs/namespace.c
4  *
5  * (C) Copyright Al Viro 2000, 2001
6  *
7  * Based on code from fs/super.c, copyright Linus Torvalds and others.
8  * Heavily rewritten.
9  */
10
11 #include <linux/syscalls.h>
12 #include <linux/export.h>
13 #include <linux/capability.h>
14 #include <linux/mnt_namespace.h>
15 #include <linux/user_namespace.h>
16 #include <linux/namei.h>
17 #include <linux/delay.h>
18 #include <linux/security.h>
19 #include <linux/cred.h>
20 #include <linux/idr.h>
21 #include <linux/init.h>         /* init_rootfs */
22 #include <linux/fs_struct.h>    /* get_fs_root et.al. */
23 #include <linux/fsnotify.h>     /* fsnotify_vfsmount_delete */
24 #include <linux/file.h>
25 #include <linux/uaccess.h>
26 #include <linux/proc_ns.h>
27 #include <linux/magic.h>
28 #include <linux/memblock.h>
29 #include <linux/task_work.h>
30 #include <linux/sched/task.h>
31 #include <uapi/linux/mount.h>
32 #include <linux/fs_context.h>
33 #include <linux/shmem_fs.h>
34
35 #include "pnode.h"
36 #include "internal.h"
37
38 /* Maximum number of mounts in a mount namespace */
39 unsigned int sysctl_mount_max __read_mostly = 100000;
40
41 static unsigned int m_hash_mask __read_mostly;
42 static unsigned int m_hash_shift __read_mostly;
43 static unsigned int mp_hash_mask __read_mostly;
44 static unsigned int mp_hash_shift __read_mostly;
45
46 static __initdata unsigned long mhash_entries;
47 static int __init set_mhash_entries(char *str)
48 {
49         if (!str)
50                 return 0;
51         mhash_entries = simple_strtoul(str, &str, 0);
52         return 1;
53 }
54 __setup("mhash_entries=", set_mhash_entries);
55
56 static __initdata unsigned long mphash_entries;
57 static int __init set_mphash_entries(char *str)
58 {
59         if (!str)
60                 return 0;
61         mphash_entries = simple_strtoul(str, &str, 0);
62         return 1;
63 }
64 __setup("mphash_entries=", set_mphash_entries);
65
66 static u64 event;
67 static DEFINE_IDA(mnt_id_ida);
68 static DEFINE_IDA(mnt_group_ida);
69
70 static struct hlist_head *mount_hashtable __read_mostly;
71 static struct hlist_head *mountpoint_hashtable __read_mostly;
72 static struct kmem_cache *mnt_cache __read_mostly;
73 static DECLARE_RWSEM(namespace_sem);
74 static HLIST_HEAD(unmounted);   /* protected by namespace_sem */
75 static LIST_HEAD(ex_mountpoints); /* protected by namespace_sem */
76
77 /* /sys/fs */
78 struct kobject *fs_kobj;
79 EXPORT_SYMBOL_GPL(fs_kobj);
80
81 /*
82  * vfsmount lock may be taken for read to prevent changes to the
83  * vfsmount hash, ie. during mountpoint lookups or walking back
84  * up the tree.
85  *
86  * It should be taken for write in all cases where the vfsmount
87  * tree or hash is modified or when a vfsmount structure is modified.
88  */
89 __cacheline_aligned_in_smp DEFINE_SEQLOCK(mount_lock);
90
91 static inline struct hlist_head *m_hash(struct vfsmount *mnt, struct dentry *dentry)
92 {
93         unsigned long tmp = ((unsigned long)mnt / L1_CACHE_BYTES);
94         tmp += ((unsigned long)dentry / L1_CACHE_BYTES);
95         tmp = tmp + (tmp >> m_hash_shift);
96         return &mount_hashtable[tmp & m_hash_mask];
97 }
98
99 static inline struct hlist_head *mp_hash(struct dentry *dentry)
100 {
101         unsigned long tmp = ((unsigned long)dentry / L1_CACHE_BYTES);
102         tmp = tmp + (tmp >> mp_hash_shift);
103         return &mountpoint_hashtable[tmp & mp_hash_mask];
104 }
105
106 static int mnt_alloc_id(struct mount *mnt)
107 {
108         int res = ida_alloc(&mnt_id_ida, GFP_KERNEL);
109
110         if (res < 0)
111                 return res;
112         mnt->mnt_id = res;
113         return 0;
114 }
115
116 static void mnt_free_id(struct mount *mnt)
117 {
118         ida_free(&mnt_id_ida, mnt->mnt_id);
119 }
120
121 /*
122  * Allocate a new peer group ID
123  */
124 static int mnt_alloc_group_id(struct mount *mnt)
125 {
126         int res = ida_alloc_min(&mnt_group_ida, 1, GFP_KERNEL);
127
128         if (res < 0)
129                 return res;
130         mnt->mnt_group_id = res;
131         return 0;
132 }
133
134 /*
135  * Release a peer group ID
136  */
137 void mnt_release_group_id(struct mount *mnt)
138 {
139         ida_free(&mnt_group_ida, mnt->mnt_group_id);
140         mnt->mnt_group_id = 0;
141 }
142
143 /*
144  * vfsmount lock must be held for read
145  */
146 static inline void mnt_add_count(struct mount *mnt, int n)
147 {
148 #ifdef CONFIG_SMP
149         this_cpu_add(mnt->mnt_pcp->mnt_count, n);
150 #else
151         preempt_disable();
152         mnt->mnt_count += n;
153         preempt_enable();
154 #endif
155 }
156
157 /*
158  * vfsmount lock must be held for write
159  */
160 int mnt_get_count(struct mount *mnt)
161 {
162 #ifdef CONFIG_SMP
163         int count = 0;
164         int cpu;
165
166         for_each_possible_cpu(cpu) {
167                 count += per_cpu_ptr(mnt->mnt_pcp, cpu)->mnt_count;
168         }
169
170         return count;
171 #else
172         return mnt->mnt_count;
173 #endif
174 }
175
176 static struct mount *alloc_vfsmnt(const char *name)
177 {
178         struct mount *mnt = kmem_cache_zalloc(mnt_cache, GFP_KERNEL);
179         if (mnt) {
180                 int err;
181
182                 err = mnt_alloc_id(mnt);
183                 if (err)
184                         goto out_free_cache;
185
186                 if (name) {
187                         mnt->mnt_devname = kstrdup_const(name, GFP_KERNEL);
188                         if (!mnt->mnt_devname)
189                                 goto out_free_id;
190                 }
191
192 #ifdef CONFIG_SMP
193                 mnt->mnt_pcp = alloc_percpu(struct mnt_pcp);
194                 if (!mnt->mnt_pcp)
195                         goto out_free_devname;
196
197                 this_cpu_add(mnt->mnt_pcp->mnt_count, 1);
198 #else
199                 mnt->mnt_count = 1;
200                 mnt->mnt_writers = 0;
201 #endif
202
203                 INIT_HLIST_NODE(&mnt->mnt_hash);
204                 INIT_LIST_HEAD(&mnt->mnt_child);
205                 INIT_LIST_HEAD(&mnt->mnt_mounts);
206                 INIT_LIST_HEAD(&mnt->mnt_list);
207                 INIT_LIST_HEAD(&mnt->mnt_expire);
208                 INIT_LIST_HEAD(&mnt->mnt_share);
209                 INIT_LIST_HEAD(&mnt->mnt_slave_list);
210                 INIT_LIST_HEAD(&mnt->mnt_slave);
211                 INIT_HLIST_NODE(&mnt->mnt_mp_list);
212                 INIT_LIST_HEAD(&mnt->mnt_umounting);
213                 INIT_HLIST_HEAD(&mnt->mnt_stuck_children);
214         }
215         return mnt;
216
217 #ifdef CONFIG_SMP
218 out_free_devname:
219         kfree_const(mnt->mnt_devname);
220 #endif
221 out_free_id:
222         mnt_free_id(mnt);
223 out_free_cache:
224         kmem_cache_free(mnt_cache, mnt);
225         return NULL;
226 }
227
228 /*
229  * Most r/o checks on a fs are for operations that take
230  * discrete amounts of time, like a write() or unlink().
231  * We must keep track of when those operations start
232  * (for permission checks) and when they end, so that
233  * we can determine when writes are able to occur to
234  * a filesystem.
235  */
236 /*
237  * __mnt_is_readonly: check whether a mount is read-only
238  * @mnt: the mount to check for its write status
239  *
240  * This shouldn't be used directly ouside of the VFS.
241  * It does not guarantee that the filesystem will stay
242  * r/w, just that it is right *now*.  This can not and
243  * should not be used in place of IS_RDONLY(inode).
244  * mnt_want/drop_write() will _keep_ the filesystem
245  * r/w.
246  */
247 bool __mnt_is_readonly(struct vfsmount *mnt)
248 {
249         return (mnt->mnt_flags & MNT_READONLY) || sb_rdonly(mnt->mnt_sb);
250 }
251 EXPORT_SYMBOL_GPL(__mnt_is_readonly);
252
253 static inline void mnt_inc_writers(struct mount *mnt)
254 {
255 #ifdef CONFIG_SMP
256         this_cpu_inc(mnt->mnt_pcp->mnt_writers);
257 #else
258         mnt->mnt_writers++;
259 #endif
260 }
261
262 static inline void mnt_dec_writers(struct mount *mnt)
263 {
264 #ifdef CONFIG_SMP
265         this_cpu_dec(mnt->mnt_pcp->mnt_writers);
266 #else
267         mnt->mnt_writers--;
268 #endif
269 }
270
271 static unsigned int mnt_get_writers(struct mount *mnt)
272 {
273 #ifdef CONFIG_SMP
274         unsigned int count = 0;
275         int cpu;
276
277         for_each_possible_cpu(cpu) {
278                 count += per_cpu_ptr(mnt->mnt_pcp, cpu)->mnt_writers;
279         }
280
281         return count;
282 #else
283         return mnt->mnt_writers;
284 #endif
285 }
286
287 static int mnt_is_readonly(struct vfsmount *mnt)
288 {
289         if (mnt->mnt_sb->s_readonly_remount)
290                 return 1;
291         /* Order wrt setting s_flags/s_readonly_remount in do_remount() */
292         smp_rmb();
293         return __mnt_is_readonly(mnt);
294 }
295
296 /*
297  * Most r/o & frozen checks on a fs are for operations that take discrete
298  * amounts of time, like a write() or unlink().  We must keep track of when
299  * those operations start (for permission checks) and when they end, so that we
300  * can determine when writes are able to occur to a filesystem.
301  */
302 /**
303  * __mnt_want_write - get write access to a mount without freeze protection
304  * @m: the mount on which to take a write
305  *
306  * This tells the low-level filesystem that a write is about to be performed to
307  * it, and makes sure that writes are allowed (mnt it read-write) before
308  * returning success. This operation does not protect against filesystem being
309  * frozen. When the write operation is finished, __mnt_drop_write() must be
310  * called. This is effectively a refcount.
311  */
312 int __mnt_want_write(struct vfsmount *m)
313 {
314         struct mount *mnt = real_mount(m);
315         int ret = 0;
316
317         preempt_disable();
318         mnt_inc_writers(mnt);
319         /*
320          * The store to mnt_inc_writers must be visible before we pass
321          * MNT_WRITE_HOLD loop below, so that the slowpath can see our
322          * incremented count after it has set MNT_WRITE_HOLD.
323          */
324         smp_mb();
325         while (READ_ONCE(mnt->mnt.mnt_flags) & MNT_WRITE_HOLD) {
326                 preempt_enable();
327                 cpu_chill();
328                 preempt_disable();
329         }
330         /*
331          * After the slowpath clears MNT_WRITE_HOLD, mnt_is_readonly will
332          * be set to match its requirements. So we must not load that until
333          * MNT_WRITE_HOLD is cleared.
334          */
335         smp_rmb();
336         if (mnt_is_readonly(m)) {
337                 mnt_dec_writers(mnt);
338                 ret = -EROFS;
339         }
340         preempt_enable();
341
342         return ret;
343 }
344
345 /**
346  * mnt_want_write - get write access to a mount
347  * @m: the mount on which to take a write
348  *
349  * This tells the low-level filesystem that a write is about to be performed to
350  * it, and makes sure that writes are allowed (mount is read-write, filesystem
351  * is not frozen) before returning success.  When the write operation is
352  * finished, mnt_drop_write() must be called.  This is effectively a refcount.
353  */
354 int mnt_want_write(struct vfsmount *m)
355 {
356         int ret;
357
358         sb_start_write(m->mnt_sb);
359         ret = __mnt_want_write(m);
360         if (ret)
361                 sb_end_write(m->mnt_sb);
362         return ret;
363 }
364 EXPORT_SYMBOL_GPL(mnt_want_write);
365
366 /**
367  * mnt_clone_write - get write access to a mount
368  * @mnt: the mount on which to take a write
369  *
370  * This is effectively like mnt_want_write, except
371  * it must only be used to take an extra write reference
372  * on a mountpoint that we already know has a write reference
373  * on it. This allows some optimisation.
374  *
375  * After finished, mnt_drop_write must be called as usual to
376  * drop the reference.
377  */
378 int mnt_clone_write(struct vfsmount *mnt)
379 {
380         /* superblock may be r/o */
381         if (__mnt_is_readonly(mnt))
382                 return -EROFS;
383         preempt_disable();
384         mnt_inc_writers(real_mount(mnt));
385         preempt_enable();
386         return 0;
387 }
388 EXPORT_SYMBOL_GPL(mnt_clone_write);
389
390 /**
391  * __mnt_want_write_file - get write access to a file's mount
392  * @file: the file who's mount on which to take a write
393  *
394  * This is like __mnt_want_write, but it takes a file and can
395  * do some optimisations if the file is open for write already
396  */
397 int __mnt_want_write_file(struct file *file)
398 {
399         if (!(file->f_mode & FMODE_WRITER))
400                 return __mnt_want_write(file->f_path.mnt);
401         else
402                 return mnt_clone_write(file->f_path.mnt);
403 }
404
405 /**
406  * mnt_want_write_file - get write access to a file's mount
407  * @file: the file who's mount on which to take a write
408  *
409  * This is like mnt_want_write, but it takes a file and can
410  * do some optimisations if the file is open for write already
411  */
412 int mnt_want_write_file(struct file *file)
413 {
414         int ret;
415
416         sb_start_write(file_inode(file)->i_sb);
417         ret = __mnt_want_write_file(file);
418         if (ret)
419                 sb_end_write(file_inode(file)->i_sb);
420         return ret;
421 }
422 EXPORT_SYMBOL_GPL(mnt_want_write_file);
423
424 /**
425  * __mnt_drop_write - give up write access to a mount
426  * @mnt: the mount on which to give up write access
427  *
428  * Tells the low-level filesystem that we are done
429  * performing writes to it.  Must be matched with
430  * __mnt_want_write() call above.
431  */
432 void __mnt_drop_write(struct vfsmount *mnt)
433 {
434         preempt_disable();
435         mnt_dec_writers(real_mount(mnt));
436         preempt_enable();
437 }
438
439 /**
440  * mnt_drop_write - give up write access to a mount
441  * @mnt: the mount on which to give up write access
442  *
443  * Tells the low-level filesystem that we are done performing writes to it and
444  * also allows filesystem to be frozen again.  Must be matched with
445  * mnt_want_write() call above.
446  */
447 void mnt_drop_write(struct vfsmount *mnt)
448 {
449         __mnt_drop_write(mnt);
450         sb_end_write(mnt->mnt_sb);
451 }
452 EXPORT_SYMBOL_GPL(mnt_drop_write);
453
454 void __mnt_drop_write_file(struct file *file)
455 {
456         __mnt_drop_write(file->f_path.mnt);
457 }
458
459 void mnt_drop_write_file(struct file *file)
460 {
461         __mnt_drop_write_file(file);
462         sb_end_write(file_inode(file)->i_sb);
463 }
464 EXPORT_SYMBOL(mnt_drop_write_file);
465
466 static int mnt_make_readonly(struct mount *mnt)
467 {
468         int ret = 0;
469
470         lock_mount_hash();
471         mnt->mnt.mnt_flags |= MNT_WRITE_HOLD;
472         /*
473          * After storing MNT_WRITE_HOLD, we'll read the counters. This store
474          * should be visible before we do.
475          */
476         smp_mb();
477
478         /*
479          * With writers on hold, if this value is zero, then there are
480          * definitely no active writers (although held writers may subsequently
481          * increment the count, they'll have to wait, and decrement it after
482          * seeing MNT_READONLY).
483          *
484          * It is OK to have counter incremented on one CPU and decremented on
485          * another: the sum will add up correctly. The danger would be when we
486          * sum up each counter, if we read a counter before it is incremented,
487          * but then read another CPU's count which it has been subsequently
488          * decremented from -- we would see more decrements than we should.
489          * MNT_WRITE_HOLD protects against this scenario, because
490          * mnt_want_write first increments count, then smp_mb, then spins on
491          * MNT_WRITE_HOLD, so it can't be decremented by another CPU while
492          * we're counting up here.
493          */
494         if (mnt_get_writers(mnt) > 0)
495                 ret = -EBUSY;
496         else
497                 mnt->mnt.mnt_flags |= MNT_READONLY;
498         /*
499          * MNT_READONLY must become visible before ~MNT_WRITE_HOLD, so writers
500          * that become unheld will see MNT_READONLY.
501          */
502         smp_wmb();
503         mnt->mnt.mnt_flags &= ~MNT_WRITE_HOLD;
504         unlock_mount_hash();
505         return ret;
506 }
507
508 static int __mnt_unmake_readonly(struct mount *mnt)
509 {
510         lock_mount_hash();
511         mnt->mnt.mnt_flags &= ~MNT_READONLY;
512         unlock_mount_hash();
513         return 0;
514 }
515
516 int sb_prepare_remount_readonly(struct super_block *sb)
517 {
518         struct mount *mnt;
519         int err = 0;
520
521         /* Racy optimization.  Recheck the counter under MNT_WRITE_HOLD */
522         if (atomic_long_read(&sb->s_remove_count))
523                 return -EBUSY;
524
525         lock_mount_hash();
526         list_for_each_entry(mnt, &sb->s_mounts, mnt_instance) {
527                 if (!(mnt->mnt.mnt_flags & MNT_READONLY)) {
528                         mnt->mnt.mnt_flags |= MNT_WRITE_HOLD;
529                         smp_mb();
530                         if (mnt_get_writers(mnt) > 0) {
531                                 err = -EBUSY;
532                                 break;
533                         }
534                 }
535         }
536         if (!err && atomic_long_read(&sb->s_remove_count))
537                 err = -EBUSY;
538
539         if (!err) {
540                 sb->s_readonly_remount = 1;
541                 smp_wmb();
542         }
543         list_for_each_entry(mnt, &sb->s_mounts, mnt_instance) {
544                 if (mnt->mnt.mnt_flags & MNT_WRITE_HOLD)
545                         mnt->mnt.mnt_flags &= ~MNT_WRITE_HOLD;
546         }
547         unlock_mount_hash();
548
549         return err;
550 }
551
552 static void free_vfsmnt(struct mount *mnt)
553 {
554         kfree_const(mnt->mnt_devname);
555 #ifdef CONFIG_SMP
556         free_percpu(mnt->mnt_pcp);
557 #endif
558         kmem_cache_free(mnt_cache, mnt);
559 }
560
561 static void delayed_free_vfsmnt(struct rcu_head *head)
562 {
563         free_vfsmnt(container_of(head, struct mount, mnt_rcu));
564 }
565
566 /* call under rcu_read_lock */
567 int __legitimize_mnt(struct vfsmount *bastard, unsigned seq)
568 {
569         struct mount *mnt;
570         if (read_seqretry(&mount_lock, seq))
571                 return 1;
572         if (bastard == NULL)
573                 return 0;
574         mnt = real_mount(bastard);
575         mnt_add_count(mnt, 1);
576         smp_mb();                       // see mntput_no_expire()
577         if (likely(!read_seqretry(&mount_lock, seq)))
578                 return 0;
579         if (bastard->mnt_flags & MNT_SYNC_UMOUNT) {
580                 mnt_add_count(mnt, -1);
581                 return 1;
582         }
583         lock_mount_hash();
584         if (unlikely(bastard->mnt_flags & MNT_DOOMED)) {
585                 mnt_add_count(mnt, -1);
586                 unlock_mount_hash();
587                 return 1;
588         }
589         unlock_mount_hash();
590         /* caller will mntput() */
591         return -1;
592 }
593
594 /* call under rcu_read_lock */
595 bool legitimize_mnt(struct vfsmount *bastard, unsigned seq)
596 {
597         int res = __legitimize_mnt(bastard, seq);
598         if (likely(!res))
599                 return true;
600         if (unlikely(res < 0)) {
601                 rcu_read_unlock();
602                 mntput(bastard);
603                 rcu_read_lock();
604         }
605         return false;
606 }
607
608 /*
609  * find the first mount at @dentry on vfsmount @mnt.
610  * call under rcu_read_lock()
611  */
612 struct mount *__lookup_mnt(struct vfsmount *mnt, struct dentry *dentry)
613 {
614         struct hlist_head *head = m_hash(mnt, dentry);
615         struct mount *p;
616
617         hlist_for_each_entry_rcu(p, head, mnt_hash)
618                 if (&p->mnt_parent->mnt == mnt && p->mnt_mountpoint == dentry)
619                         return p;
620         return NULL;
621 }
622
623 /*
624  * lookup_mnt - Return the first child mount mounted at path
625  *
626  * "First" means first mounted chronologically.  If you create the
627  * following mounts:
628  *
629  * mount /dev/sda1 /mnt
630  * mount /dev/sda2 /mnt
631  * mount /dev/sda3 /mnt
632  *
633  * Then lookup_mnt() on the base /mnt dentry in the root mount will
634  * return successively the root dentry and vfsmount of /dev/sda1, then
635  * /dev/sda2, then /dev/sda3, then NULL.
636  *
637  * lookup_mnt takes a reference to the found vfsmount.
638  */
639 struct vfsmount *lookup_mnt(const struct path *path)
640 {
641         struct mount *child_mnt;
642         struct vfsmount *m;
643         unsigned seq;
644
645         rcu_read_lock();
646         do {
647                 seq = read_seqbegin(&mount_lock);
648                 child_mnt = __lookup_mnt(path->mnt, path->dentry);
649                 m = child_mnt ? &child_mnt->mnt : NULL;
650         } while (!legitimize_mnt(m, seq));
651         rcu_read_unlock();
652         return m;
653 }
654
655 static inline void lock_ns_list(struct mnt_namespace *ns)
656 {
657         spin_lock(&ns->ns_lock);
658 }
659
660 static inline void unlock_ns_list(struct mnt_namespace *ns)
661 {
662         spin_unlock(&ns->ns_lock);
663 }
664
665 static inline bool mnt_is_cursor(struct mount *mnt)
666 {
667         return mnt->mnt.mnt_flags & MNT_CURSOR;
668 }
669
670 /*
671  * __is_local_mountpoint - Test to see if dentry is a mountpoint in the
672  *                         current mount namespace.
673  *
674  * The common case is dentries are not mountpoints at all and that
675  * test is handled inline.  For the slow case when we are actually
676  * dealing with a mountpoint of some kind, walk through all of the
677  * mounts in the current mount namespace and test to see if the dentry
678  * is a mountpoint.
679  *
680  * The mount_hashtable is not usable in the context because we
681  * need to identify all mounts that may be in the current mount
682  * namespace not just a mount that happens to have some specified
683  * parent mount.
684  */
685 bool __is_local_mountpoint(struct dentry *dentry)
686 {
687         struct mnt_namespace *ns = current->nsproxy->mnt_ns;
688         struct mount *mnt;
689         bool is_covered = false;
690
691         down_read(&namespace_sem);
692         lock_ns_list(ns);
693         list_for_each_entry(mnt, &ns->list, mnt_list) {
694                 if (mnt_is_cursor(mnt))
695                         continue;
696                 is_covered = (mnt->mnt_mountpoint == dentry);
697                 if (is_covered)
698                         break;
699         }
700         unlock_ns_list(ns);
701         up_read(&namespace_sem);
702
703         return is_covered;
704 }
705
706 static struct mountpoint *lookup_mountpoint(struct dentry *dentry)
707 {
708         struct hlist_head *chain = mp_hash(dentry);
709         struct mountpoint *mp;
710
711         hlist_for_each_entry(mp, chain, m_hash) {
712                 if (mp->m_dentry == dentry) {
713                         mp->m_count++;
714                         return mp;
715                 }
716         }
717         return NULL;
718 }
719
720 static struct mountpoint *get_mountpoint(struct dentry *dentry)
721 {
722         struct mountpoint *mp, *new = NULL;
723         int ret;
724
725         if (d_mountpoint(dentry)) {
726                 /* might be worth a WARN_ON() */
727                 if (d_unlinked(dentry))
728                         return ERR_PTR(-ENOENT);
729 mountpoint:
730                 read_seqlock_excl(&mount_lock);
731                 mp = lookup_mountpoint(dentry);
732                 read_sequnlock_excl(&mount_lock);
733                 if (mp)
734                         goto done;
735         }
736
737         if (!new)
738                 new = kmalloc(sizeof(struct mountpoint), GFP_KERNEL);
739         if (!new)
740                 return ERR_PTR(-ENOMEM);
741
742
743         /* Exactly one processes may set d_mounted */
744         ret = d_set_mounted(dentry);
745
746         /* Someone else set d_mounted? */
747         if (ret == -EBUSY)
748                 goto mountpoint;
749
750         /* The dentry is not available as a mountpoint? */
751         mp = ERR_PTR(ret);
752         if (ret)
753                 goto done;
754
755         /* Add the new mountpoint to the hash table */
756         read_seqlock_excl(&mount_lock);
757         new->m_dentry = dget(dentry);
758         new->m_count = 1;
759         hlist_add_head(&new->m_hash, mp_hash(dentry));
760         INIT_HLIST_HEAD(&new->m_list);
761         read_sequnlock_excl(&mount_lock);
762
763         mp = new;
764         new = NULL;
765 done:
766         kfree(new);
767         return mp;
768 }
769
770 /*
771  * vfsmount lock must be held.  Additionally, the caller is responsible
772  * for serializing calls for given disposal list.
773  */
774 static void __put_mountpoint(struct mountpoint *mp, struct list_head *list)
775 {
776         if (!--mp->m_count) {
777                 struct dentry *dentry = mp->m_dentry;
778                 BUG_ON(!hlist_empty(&mp->m_list));
779                 spin_lock(&dentry->d_lock);
780                 dentry->d_flags &= ~DCACHE_MOUNTED;
781                 spin_unlock(&dentry->d_lock);
782                 dput_to_list(dentry, list);
783                 hlist_del(&mp->m_hash);
784                 kfree(mp);
785         }
786 }
787
788 /* called with namespace_lock and vfsmount lock */
789 static void put_mountpoint(struct mountpoint *mp)
790 {
791         __put_mountpoint(mp, &ex_mountpoints);
792 }
793
794 static inline int check_mnt(struct mount *mnt)
795 {
796         return mnt->mnt_ns == current->nsproxy->mnt_ns;
797 }
798
799 /*
800  * vfsmount lock must be held for write
801  */
802 static void touch_mnt_namespace(struct mnt_namespace *ns)
803 {
804         if (ns) {
805                 ns->event = ++event;
806                 wake_up_interruptible(&ns->poll);
807         }
808 }
809
810 /*
811  * vfsmount lock must be held for write
812  */
813 static void __touch_mnt_namespace(struct mnt_namespace *ns)
814 {
815         if (ns && ns->event != event) {
816                 ns->event = event;
817                 wake_up_interruptible(&ns->poll);
818         }
819 }
820
821 /*
822  * vfsmount lock must be held for write
823  */
824 static struct mountpoint *unhash_mnt(struct mount *mnt)
825 {
826         struct mountpoint *mp;
827         mnt->mnt_parent = mnt;
828         mnt->mnt_mountpoint = mnt->mnt.mnt_root;
829         list_del_init(&mnt->mnt_child);
830         hlist_del_init_rcu(&mnt->mnt_hash);
831         hlist_del_init(&mnt->mnt_mp_list);
832         mp = mnt->mnt_mp;
833         mnt->mnt_mp = NULL;
834         return mp;
835 }
836
837 /*
838  * vfsmount lock must be held for write
839  */
840 static void umount_mnt(struct mount *mnt)
841 {
842         put_mountpoint(unhash_mnt(mnt));
843 }
844
845 /*
846  * vfsmount lock must be held for write
847  */
848 void mnt_set_mountpoint(struct mount *mnt,
849                         struct mountpoint *mp,
850                         struct mount *child_mnt)
851 {
852         mp->m_count++;
853         mnt_add_count(mnt, 1);  /* essentially, that's mntget */
854         child_mnt->mnt_mountpoint = mp->m_dentry;
855         child_mnt->mnt_parent = mnt;
856         child_mnt->mnt_mp = mp;
857         hlist_add_head(&child_mnt->mnt_mp_list, &mp->m_list);
858 }
859
860 static void __attach_mnt(struct mount *mnt, struct mount *parent)
861 {
862         hlist_add_head_rcu(&mnt->mnt_hash,
863                            m_hash(&parent->mnt, mnt->mnt_mountpoint));
864         list_add_tail(&mnt->mnt_child, &parent->mnt_mounts);
865 }
866
867 /*
868  * vfsmount lock must be held for write
869  */
870 static void attach_mnt(struct mount *mnt,
871                         struct mount *parent,
872                         struct mountpoint *mp)
873 {
874         mnt_set_mountpoint(parent, mp, mnt);
875         __attach_mnt(mnt, parent);
876 }
877
878 void mnt_change_mountpoint(struct mount *parent, struct mountpoint *mp, struct mount *mnt)
879 {
880         struct mountpoint *old_mp = mnt->mnt_mp;
881         struct mount *old_parent = mnt->mnt_parent;
882
883         list_del_init(&mnt->mnt_child);
884         hlist_del_init(&mnt->mnt_mp_list);
885         hlist_del_init_rcu(&mnt->mnt_hash);
886
887         attach_mnt(mnt, parent, mp);
888
889         put_mountpoint(old_mp);
890         mnt_add_count(old_parent, -1);
891 }
892
893 /*
894  * vfsmount lock must be held for write
895  */
896 static void commit_tree(struct mount *mnt)
897 {
898         struct mount *parent = mnt->mnt_parent;
899         struct mount *m;
900         LIST_HEAD(head);
901         struct mnt_namespace *n = parent->mnt_ns;
902
903         BUG_ON(parent == mnt);
904
905         list_add_tail(&head, &mnt->mnt_list);
906         list_for_each_entry(m, &head, mnt_list)
907                 m->mnt_ns = n;
908
909         list_splice(&head, n->list.prev);
910
911         n->mounts += n->pending_mounts;
912         n->pending_mounts = 0;
913
914         __attach_mnt(mnt, parent);
915         touch_mnt_namespace(n);
916 }
917
918 static struct mount *next_mnt(struct mount *p, struct mount *root)
919 {
920         struct list_head *next = p->mnt_mounts.next;
921         if (next == &p->mnt_mounts) {
922                 while (1) {
923                         if (p == root)
924                                 return NULL;
925                         next = p->mnt_child.next;
926                         if (next != &p->mnt_parent->mnt_mounts)
927                                 break;
928                         p = p->mnt_parent;
929                 }
930         }
931         return list_entry(next, struct mount, mnt_child);
932 }
933
934 static struct mount *skip_mnt_tree(struct mount *p)
935 {
936         struct list_head *prev = p->mnt_mounts.prev;
937         while (prev != &p->mnt_mounts) {
938                 p = list_entry(prev, struct mount, mnt_child);
939                 prev = p->mnt_mounts.prev;
940         }
941         return p;
942 }
943
944 /**
945  * vfs_create_mount - Create a mount for a configured superblock
946  * @fc: The configuration context with the superblock attached
947  *
948  * Create a mount to an already configured superblock.  If necessary, the
949  * caller should invoke vfs_get_tree() before calling this.
950  *
951  * Note that this does not attach the mount to anything.
952  */
953 struct vfsmount *vfs_create_mount(struct fs_context *fc)
954 {
955         struct mount *mnt;
956
957         if (!fc->root)
958                 return ERR_PTR(-EINVAL);
959
960         mnt = alloc_vfsmnt(fc->source ?: "none");
961         if (!mnt)
962                 return ERR_PTR(-ENOMEM);
963
964         if (fc->sb_flags & SB_KERNMOUNT)
965                 mnt->mnt.mnt_flags = MNT_INTERNAL;
966
967         atomic_inc(&fc->root->d_sb->s_active);
968         mnt->mnt.mnt_sb         = fc->root->d_sb;
969         mnt->mnt.mnt_root       = dget(fc->root);
970         mnt->mnt_mountpoint     = mnt->mnt.mnt_root;
971         mnt->mnt_parent         = mnt;
972
973         lock_mount_hash();
974         list_add_tail(&mnt->mnt_instance, &mnt->mnt.mnt_sb->s_mounts);
975         unlock_mount_hash();
976         return &mnt->mnt;
977 }
978 EXPORT_SYMBOL(vfs_create_mount);
979
980 struct vfsmount *fc_mount(struct fs_context *fc)
981 {
982         int err = vfs_get_tree(fc);
983         if (!err) {
984                 up_write(&fc->root->d_sb->s_umount);
985                 return vfs_create_mount(fc);
986         }
987         return ERR_PTR(err);
988 }
989 EXPORT_SYMBOL(fc_mount);
990
991 struct vfsmount *vfs_kern_mount(struct file_system_type *type,
992                                 int flags, const char *name,
993                                 void *data)
994 {
995         struct fs_context *fc;
996         struct vfsmount *mnt;
997         int ret = 0;
998
999         if (!type)
1000                 return ERR_PTR(-EINVAL);
1001
1002         fc = fs_context_for_mount(type, flags);
1003         if (IS_ERR(fc))
1004                 return ERR_CAST(fc);
1005
1006         if (name)
1007                 ret = vfs_parse_fs_string(fc, "source",
1008                                           name, strlen(name));
1009         if (!ret)
1010                 ret = parse_monolithic_mount_data(fc, data);
1011         if (!ret)
1012                 mnt = fc_mount(fc);
1013         else
1014                 mnt = ERR_PTR(ret);
1015
1016         put_fs_context(fc);
1017         return mnt;
1018 }
1019 EXPORT_SYMBOL_GPL(vfs_kern_mount);
1020
1021 struct vfsmount *
1022 vfs_submount(const struct dentry *mountpoint, struct file_system_type *type,
1023              const char *name, void *data)
1024 {
1025         /* Until it is worked out how to pass the user namespace
1026          * through from the parent mount to the submount don't support
1027          * unprivileged mounts with submounts.
1028          */
1029         if (mountpoint->d_sb->s_user_ns != &init_user_ns)
1030                 return ERR_PTR(-EPERM);
1031
1032         return vfs_kern_mount(type, SB_SUBMOUNT, name, data);
1033 }
1034 EXPORT_SYMBOL_GPL(vfs_submount);
1035
1036 static struct mount *clone_mnt(struct mount *old, struct dentry *root,
1037                                         int flag)
1038 {
1039         struct super_block *sb = old->mnt.mnt_sb;
1040         struct mount *mnt;
1041         int err;
1042
1043         mnt = alloc_vfsmnt(old->mnt_devname);
1044         if (!mnt)
1045                 return ERR_PTR(-ENOMEM);
1046
1047         if (flag & (CL_SLAVE | CL_PRIVATE | CL_SHARED_TO_SLAVE))
1048                 mnt->mnt_group_id = 0; /* not a peer of original */
1049         else
1050                 mnt->mnt_group_id = old->mnt_group_id;
1051
1052         if ((flag & CL_MAKE_SHARED) && !mnt->mnt_group_id) {
1053                 err = mnt_alloc_group_id(mnt);
1054                 if (err)
1055                         goto out_free;
1056         }
1057
1058         mnt->mnt.mnt_flags = old->mnt.mnt_flags;
1059         mnt->mnt.mnt_flags &= ~(MNT_WRITE_HOLD|MNT_MARKED|MNT_INTERNAL);
1060
1061         atomic_inc(&sb->s_active);
1062         mnt->mnt.mnt_sb = sb;
1063         mnt->mnt.mnt_root = dget(root);
1064         mnt->mnt_mountpoint = mnt->mnt.mnt_root;
1065         mnt->mnt_parent = mnt;
1066         lock_mount_hash();
1067         list_add_tail(&mnt->mnt_instance, &sb->s_mounts);
1068         unlock_mount_hash();
1069
1070         if ((flag & CL_SLAVE) ||
1071             ((flag & CL_SHARED_TO_SLAVE) && IS_MNT_SHARED(old))) {
1072                 list_add(&mnt->mnt_slave, &old->mnt_slave_list);
1073                 mnt->mnt_master = old;
1074                 CLEAR_MNT_SHARED(mnt);
1075         } else if (!(flag & CL_PRIVATE)) {
1076                 if ((flag & CL_MAKE_SHARED) || IS_MNT_SHARED(old))
1077                         list_add(&mnt->mnt_share, &old->mnt_share);
1078                 if (IS_MNT_SLAVE(old))
1079                         list_add(&mnt->mnt_slave, &old->mnt_slave);
1080                 mnt->mnt_master = old->mnt_master;
1081         } else {
1082                 CLEAR_MNT_SHARED(mnt);
1083         }
1084         if (flag & CL_MAKE_SHARED)
1085                 set_mnt_shared(mnt);
1086
1087         /* stick the duplicate mount on the same expiry list
1088          * as the original if that was on one */
1089         if (flag & CL_EXPIRE) {
1090                 if (!list_empty(&old->mnt_expire))
1091                         list_add(&mnt->mnt_expire, &old->mnt_expire);
1092         }
1093
1094         return mnt;
1095
1096  out_free:
1097         mnt_free_id(mnt);
1098         free_vfsmnt(mnt);
1099         return ERR_PTR(err);
1100 }
1101
1102 static void cleanup_mnt(struct mount *mnt)
1103 {
1104         struct hlist_node *p;
1105         struct mount *m;
1106         /*
1107          * The warning here probably indicates that somebody messed
1108          * up a mnt_want/drop_write() pair.  If this happens, the
1109          * filesystem was probably unable to make r/w->r/o transitions.
1110          * The locking used to deal with mnt_count decrement provides barriers,
1111          * so mnt_get_writers() below is safe.
1112          */
1113         WARN_ON(mnt_get_writers(mnt));
1114         if (unlikely(mnt->mnt_pins.first))
1115                 mnt_pin_kill(mnt);
1116         hlist_for_each_entry_safe(m, p, &mnt->mnt_stuck_children, mnt_umount) {
1117                 hlist_del(&m->mnt_umount);
1118                 mntput(&m->mnt);
1119         }
1120         fsnotify_vfsmount_delete(&mnt->mnt);
1121         dput(mnt->mnt.mnt_root);
1122         deactivate_super(mnt->mnt.mnt_sb);
1123         mnt_free_id(mnt);
1124         call_rcu(&mnt->mnt_rcu, delayed_free_vfsmnt);
1125 }
1126
1127 static void __cleanup_mnt(struct rcu_head *head)
1128 {
1129         cleanup_mnt(container_of(head, struct mount, mnt_rcu));
1130 }
1131
1132 static LLIST_HEAD(delayed_mntput_list);
1133 static void delayed_mntput(struct work_struct *unused)
1134 {
1135         struct llist_node *node = llist_del_all(&delayed_mntput_list);
1136         struct mount *m, *t;
1137
1138         llist_for_each_entry_safe(m, t, node, mnt_llist)
1139                 cleanup_mnt(m);
1140 }
1141 static DECLARE_DELAYED_WORK(delayed_mntput_work, delayed_mntput);
1142
1143 static void mntput_no_expire(struct mount *mnt)
1144 {
1145         LIST_HEAD(list);
1146         int count;
1147
1148         rcu_read_lock();
1149         if (likely(READ_ONCE(mnt->mnt_ns))) {
1150                 /*
1151                  * Since we don't do lock_mount_hash() here,
1152                  * ->mnt_ns can change under us.  However, if it's
1153                  * non-NULL, then there's a reference that won't
1154                  * be dropped until after an RCU delay done after
1155                  * turning ->mnt_ns NULL.  So if we observe it
1156                  * non-NULL under rcu_read_lock(), the reference
1157                  * we are dropping is not the final one.
1158                  */
1159                 mnt_add_count(mnt, -1);
1160                 rcu_read_unlock();
1161                 return;
1162         }
1163         lock_mount_hash();
1164         /*
1165          * make sure that if __legitimize_mnt() has not seen us grab
1166          * mount_lock, we'll see their refcount increment here.
1167          */
1168         smp_mb();
1169         mnt_add_count(mnt, -1);
1170         count = mnt_get_count(mnt);
1171         if (count != 0) {
1172                 WARN_ON(count < 0);
1173                 rcu_read_unlock();
1174                 unlock_mount_hash();
1175                 return;
1176         }
1177         if (unlikely(mnt->mnt.mnt_flags & MNT_DOOMED)) {
1178                 rcu_read_unlock();
1179                 unlock_mount_hash();
1180                 return;
1181         }
1182         mnt->mnt.mnt_flags |= MNT_DOOMED;
1183         rcu_read_unlock();
1184
1185         list_del(&mnt->mnt_instance);
1186
1187         if (unlikely(!list_empty(&mnt->mnt_mounts))) {
1188                 struct mount *p, *tmp;
1189                 list_for_each_entry_safe(p, tmp, &mnt->mnt_mounts,  mnt_child) {
1190                         __put_mountpoint(unhash_mnt(p), &list);
1191                         hlist_add_head(&p->mnt_umount, &mnt->mnt_stuck_children);
1192                 }
1193         }
1194         unlock_mount_hash();
1195         shrink_dentry_list(&list);
1196
1197         if (likely(!(mnt->mnt.mnt_flags & MNT_INTERNAL))) {
1198                 struct task_struct *task = current;
1199                 if (likely(!(task->flags & PF_KTHREAD))) {
1200                         init_task_work(&mnt->mnt_rcu, __cleanup_mnt);
1201                         if (!task_work_add(task, &mnt->mnt_rcu, TWA_RESUME))
1202                                 return;
1203                 }
1204                 if (llist_add(&mnt->mnt_llist, &delayed_mntput_list))
1205                         schedule_delayed_work(&delayed_mntput_work, 1);
1206                 return;
1207         }
1208         cleanup_mnt(mnt);
1209 }
1210
1211 void mntput(struct vfsmount *mnt)
1212 {
1213         if (mnt) {
1214                 struct mount *m = real_mount(mnt);
1215                 /* avoid cacheline pingpong, hope gcc doesn't get "smart" */
1216                 if (unlikely(m->mnt_expiry_mark))
1217                         m->mnt_expiry_mark = 0;
1218                 mntput_no_expire(m);
1219         }
1220 }
1221 EXPORT_SYMBOL(mntput);
1222
1223 struct vfsmount *mntget(struct vfsmount *mnt)
1224 {
1225         if (mnt)
1226                 mnt_add_count(real_mount(mnt), 1);
1227         return mnt;
1228 }
1229 EXPORT_SYMBOL(mntget);
1230
1231 /* path_is_mountpoint() - Check if path is a mount in the current
1232  *                          namespace.
1233  *
1234  *  d_mountpoint() can only be used reliably to establish if a dentry is
1235  *  not mounted in any namespace and that common case is handled inline.
1236  *  d_mountpoint() isn't aware of the possibility there may be multiple
1237  *  mounts using a given dentry in a different namespace. This function
1238  *  checks if the passed in path is a mountpoint rather than the dentry
1239  *  alone.
1240  */
1241 bool path_is_mountpoint(const struct path *path)
1242 {
1243         unsigned seq;
1244         bool res;
1245
1246         if (!d_mountpoint(path->dentry))
1247                 return false;
1248
1249         rcu_read_lock();
1250         do {
1251                 seq = read_seqbegin(&mount_lock);
1252                 res = __path_is_mountpoint(path);
1253         } while (read_seqretry(&mount_lock, seq));
1254         rcu_read_unlock();
1255
1256         return res;
1257 }
1258 EXPORT_SYMBOL(path_is_mountpoint);
1259
1260 struct vfsmount *mnt_clone_internal(const struct path *path)
1261 {
1262         struct mount *p;
1263         p = clone_mnt(real_mount(path->mnt), path->dentry, CL_PRIVATE);
1264         if (IS_ERR(p))
1265                 return ERR_CAST(p);
1266         p->mnt.mnt_flags |= MNT_INTERNAL;
1267         return &p->mnt;
1268 }
1269
1270 #ifdef CONFIG_PROC_FS
1271 static struct mount *mnt_list_next(struct mnt_namespace *ns,
1272                                    struct list_head *p)
1273 {
1274         struct mount *mnt, *ret = NULL;
1275
1276         lock_ns_list(ns);
1277         list_for_each_continue(p, &ns->list) {
1278                 mnt = list_entry(p, typeof(*mnt), mnt_list);
1279                 if (!mnt_is_cursor(mnt)) {
1280                         ret = mnt;
1281                         break;
1282                 }
1283         }
1284         unlock_ns_list(ns);
1285
1286         return ret;
1287 }
1288
1289 /* iterator; we want it to have access to namespace_sem, thus here... */
1290 static void *m_start(struct seq_file *m, loff_t *pos)
1291 {
1292         struct proc_mounts *p = m->private;
1293         struct list_head *prev;
1294
1295         down_read(&namespace_sem);
1296         if (!*pos) {
1297                 prev = &p->ns->list;
1298         } else {
1299                 prev = &p->cursor.mnt_list;
1300
1301                 /* Read after we'd reached the end? */
1302                 if (list_empty(prev))
1303                         return NULL;
1304         }
1305
1306         return mnt_list_next(p->ns, prev);
1307 }
1308
1309 static void *m_next(struct seq_file *m, void *v, loff_t *pos)
1310 {
1311         struct proc_mounts *p = m->private;
1312         struct mount *mnt = v;
1313
1314         ++*pos;
1315         return mnt_list_next(p->ns, &mnt->mnt_list);
1316 }
1317
1318 static void m_stop(struct seq_file *m, void *v)
1319 {
1320         struct proc_mounts *p = m->private;
1321         struct mount *mnt = v;
1322
1323         lock_ns_list(p->ns);
1324         if (mnt)
1325                 list_move_tail(&p->cursor.mnt_list, &mnt->mnt_list);
1326         else
1327                 list_del_init(&p->cursor.mnt_list);
1328         unlock_ns_list(p->ns);
1329         up_read(&namespace_sem);
1330 }
1331
1332 static int m_show(struct seq_file *m, void *v)
1333 {
1334         struct proc_mounts *p = m->private;
1335         struct mount *r = v;
1336         return p->show(m, &r->mnt);
1337 }
1338
1339 const struct seq_operations mounts_op = {
1340         .start  = m_start,
1341         .next   = m_next,
1342         .stop   = m_stop,
1343         .show   = m_show,
1344 };
1345
1346 void mnt_cursor_del(struct mnt_namespace *ns, struct mount *cursor)
1347 {
1348         down_read(&namespace_sem);
1349         lock_ns_list(ns);
1350         list_del(&cursor->mnt_list);
1351         unlock_ns_list(ns);
1352         up_read(&namespace_sem);
1353 }
1354 #endif  /* CONFIG_PROC_FS */
1355
1356 /**
1357  * may_umount_tree - check if a mount tree is busy
1358  * @mnt: root of mount tree
1359  *
1360  * This is called to check if a tree of mounts has any
1361  * open files, pwds, chroots or sub mounts that are
1362  * busy.
1363  */
1364 int may_umount_tree(struct vfsmount *m)
1365 {
1366         struct mount *mnt = real_mount(m);
1367         int actual_refs = 0;
1368         int minimum_refs = 0;
1369         struct mount *p;
1370         BUG_ON(!m);
1371
1372         /* write lock needed for mnt_get_count */
1373         lock_mount_hash();
1374         for (p = mnt; p; p = next_mnt(p, mnt)) {
1375                 actual_refs += mnt_get_count(p);
1376                 minimum_refs += 2;
1377         }
1378         unlock_mount_hash();
1379
1380         if (actual_refs > minimum_refs)
1381                 return 0;
1382
1383         return 1;
1384 }
1385
1386 EXPORT_SYMBOL(may_umount_tree);
1387
1388 /**
1389  * may_umount - check if a mount point is busy
1390  * @mnt: root of mount
1391  *
1392  * This is called to check if a mount point has any
1393  * open files, pwds, chroots or sub mounts. If the
1394  * mount has sub mounts this will return busy
1395  * regardless of whether the sub mounts are busy.
1396  *
1397  * Doesn't take quota and stuff into account. IOW, in some cases it will
1398  * give false negatives. The main reason why it's here is that we need
1399  * a non-destructive way to look for easily umountable filesystems.
1400  */
1401 int may_umount(struct vfsmount *mnt)
1402 {
1403         int ret = 1;
1404         down_read(&namespace_sem);
1405         lock_mount_hash();
1406         if (propagate_mount_busy(real_mount(mnt), 2))
1407                 ret = 0;
1408         unlock_mount_hash();
1409         up_read(&namespace_sem);
1410         return ret;
1411 }
1412
1413 EXPORT_SYMBOL(may_umount);
1414
1415 static void namespace_unlock(void)
1416 {
1417         struct hlist_head head;
1418         struct hlist_node *p;
1419         struct mount *m;
1420         LIST_HEAD(list);
1421
1422         hlist_move_list(&unmounted, &head);
1423         list_splice_init(&ex_mountpoints, &list);
1424
1425         up_write(&namespace_sem);
1426
1427         shrink_dentry_list(&list);
1428
1429         if (likely(hlist_empty(&head)))
1430                 return;
1431
1432         synchronize_rcu_expedited();
1433
1434         hlist_for_each_entry_safe(m, p, &head, mnt_umount) {
1435                 hlist_del(&m->mnt_umount);
1436                 mntput(&m->mnt);
1437         }
1438 }
1439
1440 static inline void namespace_lock(void)
1441 {
1442         down_write(&namespace_sem);
1443 }
1444
1445 enum umount_tree_flags {
1446         UMOUNT_SYNC = 1,
1447         UMOUNT_PROPAGATE = 2,
1448         UMOUNT_CONNECTED = 4,
1449 };
1450
1451 static bool disconnect_mount(struct mount *mnt, enum umount_tree_flags how)
1452 {
1453         /* Leaving mounts connected is only valid for lazy umounts */
1454         if (how & UMOUNT_SYNC)
1455                 return true;
1456
1457         /* A mount without a parent has nothing to be connected to */
1458         if (!mnt_has_parent(mnt))
1459                 return true;
1460
1461         /* Because the reference counting rules change when mounts are
1462          * unmounted and connected, umounted mounts may not be
1463          * connected to mounted mounts.
1464          */
1465         if (!(mnt->mnt_parent->mnt.mnt_flags & MNT_UMOUNT))
1466                 return true;
1467
1468         /* Has it been requested that the mount remain connected? */
1469         if (how & UMOUNT_CONNECTED)
1470                 return false;
1471
1472         /* Is the mount locked such that it needs to remain connected? */
1473         if (IS_MNT_LOCKED(mnt))
1474                 return false;
1475
1476         /* By default disconnect the mount */
1477         return true;
1478 }
1479
1480 /*
1481  * mount_lock must be held
1482  * namespace_sem must be held for write
1483  */
1484 static void umount_tree(struct mount *mnt, enum umount_tree_flags how)
1485 {
1486         LIST_HEAD(tmp_list);
1487         struct mount *p;
1488
1489         if (how & UMOUNT_PROPAGATE)
1490                 propagate_mount_unlock(mnt);
1491
1492         /* Gather the mounts to umount */
1493         for (p = mnt; p; p = next_mnt(p, mnt)) {
1494                 p->mnt.mnt_flags |= MNT_UMOUNT;
1495                 list_move(&p->mnt_list, &tmp_list);
1496         }
1497
1498         /* Hide the mounts from mnt_mounts */
1499         list_for_each_entry(p, &tmp_list, mnt_list) {
1500                 list_del_init(&p->mnt_child);
1501         }
1502
1503         /* Add propogated mounts to the tmp_list */
1504         if (how & UMOUNT_PROPAGATE)
1505                 propagate_umount(&tmp_list);
1506
1507         while (!list_empty(&tmp_list)) {
1508                 struct mnt_namespace *ns;
1509                 bool disconnect;
1510                 p = list_first_entry(&tmp_list, struct mount, mnt_list);
1511                 list_del_init(&p->mnt_expire);
1512                 list_del_init(&p->mnt_list);
1513                 ns = p->mnt_ns;
1514                 if (ns) {
1515                         ns->mounts--;
1516                         __touch_mnt_namespace(ns);
1517                 }
1518                 p->mnt_ns = NULL;
1519                 if (how & UMOUNT_SYNC)
1520                         p->mnt.mnt_flags |= MNT_SYNC_UMOUNT;
1521
1522                 disconnect = disconnect_mount(p, how);
1523                 if (mnt_has_parent(p)) {
1524                         mnt_add_count(p->mnt_parent, -1);
1525                         if (!disconnect) {
1526                                 /* Don't forget about p */
1527                                 list_add_tail(&p->mnt_child, &p->mnt_parent->mnt_mounts);
1528                         } else {
1529                                 umount_mnt(p);
1530                         }
1531                 }
1532                 change_mnt_propagation(p, MS_PRIVATE);
1533                 if (disconnect)
1534                         hlist_add_head(&p->mnt_umount, &unmounted);
1535         }
1536 }
1537
1538 static void shrink_submounts(struct mount *mnt);
1539
1540 static int do_umount_root(struct super_block *sb)
1541 {
1542         int ret = 0;
1543
1544         down_write(&sb->s_umount);
1545         if (!sb_rdonly(sb)) {
1546                 struct fs_context *fc;
1547
1548                 fc = fs_context_for_reconfigure(sb->s_root, SB_RDONLY,
1549                                                 SB_RDONLY);
1550                 if (IS_ERR(fc)) {
1551                         ret = PTR_ERR(fc);
1552                 } else {
1553                         ret = parse_monolithic_mount_data(fc, NULL);
1554                         if (!ret)
1555                                 ret = reconfigure_super(fc);
1556                         put_fs_context(fc);
1557                 }
1558         }
1559         up_write(&sb->s_umount);
1560         return ret;
1561 }
1562
1563 static int do_umount(struct mount *mnt, int flags)
1564 {
1565         struct super_block *sb = mnt->mnt.mnt_sb;
1566         int retval;
1567
1568         retval = security_sb_umount(&mnt->mnt, flags);
1569         if (retval)
1570                 return retval;
1571
1572         /*
1573          * Allow userspace to request a mountpoint be expired rather than
1574          * unmounting unconditionally. Unmount only happens if:
1575          *  (1) the mark is already set (the mark is cleared by mntput())
1576          *  (2) the usage count == 1 [parent vfsmount] + 1 [sys_umount]
1577          */
1578         if (flags & MNT_EXPIRE) {
1579                 if (&mnt->mnt == current->fs->root.mnt ||
1580                     flags & (MNT_FORCE | MNT_DETACH))
1581                         return -EINVAL;
1582
1583                 /*
1584                  * probably don't strictly need the lock here if we examined
1585                  * all race cases, but it's a slowpath.
1586                  */
1587                 lock_mount_hash();
1588                 if (mnt_get_count(mnt) != 2) {
1589                         unlock_mount_hash();
1590                         return -EBUSY;
1591                 }
1592                 unlock_mount_hash();
1593
1594                 if (!xchg(&mnt->mnt_expiry_mark, 1))
1595                         return -EAGAIN;
1596         }
1597
1598         /*
1599          * If we may have to abort operations to get out of this
1600          * mount, and they will themselves hold resources we must
1601          * allow the fs to do things. In the Unix tradition of
1602          * 'Gee thats tricky lets do it in userspace' the umount_begin
1603          * might fail to complete on the first run through as other tasks
1604          * must return, and the like. Thats for the mount program to worry
1605          * about for the moment.
1606          */
1607
1608         if (flags & MNT_FORCE && sb->s_op->umount_begin) {
1609                 sb->s_op->umount_begin(sb);
1610         }
1611
1612         /*
1613          * No sense to grab the lock for this test, but test itself looks
1614          * somewhat bogus. Suggestions for better replacement?
1615          * Ho-hum... In principle, we might treat that as umount + switch
1616          * to rootfs. GC would eventually take care of the old vfsmount.
1617          * Actually it makes sense, especially if rootfs would contain a
1618          * /reboot - static binary that would close all descriptors and
1619          * call reboot(9). Then init(8) could umount root and exec /reboot.
1620          */
1621         if (&mnt->mnt == current->fs->root.mnt && !(flags & MNT_DETACH)) {
1622                 /*
1623                  * Special case for "unmounting" root ...
1624                  * we just try to remount it readonly.
1625                  */
1626                 if (!ns_capable(sb->s_user_ns, CAP_SYS_ADMIN))
1627                         return -EPERM;
1628                 return do_umount_root(sb);
1629         }
1630
1631         namespace_lock();
1632         lock_mount_hash();
1633
1634         /* Recheck MNT_LOCKED with the locks held */
1635         retval = -EINVAL;
1636         if (mnt->mnt.mnt_flags & MNT_LOCKED)
1637                 goto out;
1638
1639         event++;
1640         if (flags & MNT_DETACH) {
1641                 if (!list_empty(&mnt->mnt_list))
1642                         umount_tree(mnt, UMOUNT_PROPAGATE);
1643                 retval = 0;
1644         } else {
1645                 shrink_submounts(mnt);
1646                 retval = -EBUSY;
1647                 if (!propagate_mount_busy(mnt, 2)) {
1648                         if (!list_empty(&mnt->mnt_list))
1649                                 umount_tree(mnt, UMOUNT_PROPAGATE|UMOUNT_SYNC);
1650                         retval = 0;
1651                 }
1652         }
1653 out:
1654         unlock_mount_hash();
1655         namespace_unlock();
1656         return retval;
1657 }
1658
1659 /*
1660  * __detach_mounts - lazily unmount all mounts on the specified dentry
1661  *
1662  * During unlink, rmdir, and d_drop it is possible to loose the path
1663  * to an existing mountpoint, and wind up leaking the mount.
1664  * detach_mounts allows lazily unmounting those mounts instead of
1665  * leaking them.
1666  *
1667  * The caller may hold dentry->d_inode->i_mutex.
1668  */
1669 void __detach_mounts(struct dentry *dentry)
1670 {
1671         struct mountpoint *mp;
1672         struct mount *mnt;
1673
1674         namespace_lock();
1675         lock_mount_hash();
1676         mp = lookup_mountpoint(dentry);
1677         if (!mp)
1678                 goto out_unlock;
1679
1680         event++;
1681         while (!hlist_empty(&mp->m_list)) {
1682                 mnt = hlist_entry(mp->m_list.first, struct mount, mnt_mp_list);
1683                 if (mnt->mnt.mnt_flags & MNT_UMOUNT) {
1684                         umount_mnt(mnt);
1685                         hlist_add_head(&mnt->mnt_umount, &unmounted);
1686                 }
1687                 else umount_tree(mnt, UMOUNT_CONNECTED);
1688         }
1689         put_mountpoint(mp);
1690 out_unlock:
1691         unlock_mount_hash();
1692         namespace_unlock();
1693 }
1694
1695 /*
1696  * Is the caller allowed to modify his namespace?
1697  */
1698 static inline bool may_mount(void)
1699 {
1700         return ns_capable(current->nsproxy->mnt_ns->user_ns, CAP_SYS_ADMIN);
1701 }
1702
1703 #ifdef  CONFIG_MANDATORY_FILE_LOCKING
1704 static bool may_mandlock(void)
1705 {
1706         pr_warn_once("======================================================\n"
1707                      "WARNING: the mand mount option is being deprecated and\n"
1708                      "         will be removed in v5.15!\n"
1709                      "======================================================\n");
1710         return capable(CAP_SYS_ADMIN);
1711 }
1712 #else
1713 static inline bool may_mandlock(void)
1714 {
1715         pr_warn("VFS: \"mand\" mount option not supported");
1716         return false;
1717 }
1718 #endif
1719
1720 static int can_umount(const struct path *path, int flags)
1721 {
1722         struct mount *mnt = real_mount(path->mnt);
1723
1724         if (!may_mount())
1725                 return -EPERM;
1726         if (path->dentry != path->mnt->mnt_root)
1727                 return -EINVAL;
1728         if (!check_mnt(mnt))
1729                 return -EINVAL;
1730         if (mnt->mnt.mnt_flags & MNT_LOCKED) /* Check optimistically */
1731                 return -EINVAL;
1732         if (flags & MNT_FORCE && !capable(CAP_SYS_ADMIN))
1733                 return -EPERM;
1734         return 0;
1735 }
1736
1737 // caller is responsible for flags being sane
1738 int path_umount(struct path *path, int flags)
1739 {
1740         struct mount *mnt = real_mount(path->mnt);
1741         int ret;
1742
1743         ret = can_umount(path, flags);
1744         if (!ret)
1745                 ret = do_umount(mnt, flags);
1746
1747         /* we mustn't call path_put() as that would clear mnt_expiry_mark */
1748         dput(path->dentry);
1749         mntput_no_expire(mnt);
1750         return ret;
1751 }
1752
1753 static int ksys_umount(char __user *name, int flags)
1754 {
1755         int lookup_flags = LOOKUP_MOUNTPOINT;
1756         struct path path;
1757         int ret;
1758
1759         // basic validity checks done first
1760         if (flags & ~(MNT_FORCE | MNT_DETACH | MNT_EXPIRE | UMOUNT_NOFOLLOW))
1761                 return -EINVAL;
1762
1763         if (!(flags & UMOUNT_NOFOLLOW))
1764                 lookup_flags |= LOOKUP_FOLLOW;
1765         ret = user_path_at(AT_FDCWD, name, lookup_flags, &path);
1766         if (ret)
1767                 return ret;
1768         return path_umount(&path, flags);
1769 }
1770
1771 SYSCALL_DEFINE2(umount, char __user *, name, int, flags)
1772 {
1773         return ksys_umount(name, flags);
1774 }
1775
1776 #ifdef __ARCH_WANT_SYS_OLDUMOUNT
1777
1778 /*
1779  *      The 2.0 compatible umount. No flags.
1780  */
1781 SYSCALL_DEFINE1(oldumount, char __user *, name)
1782 {
1783         return ksys_umount(name, 0);
1784 }
1785
1786 #endif
1787
1788 static bool is_mnt_ns_file(struct dentry *dentry)
1789 {
1790         /* Is this a proxy for a mount namespace? */
1791         return dentry->d_op == &ns_dentry_operations &&
1792                dentry->d_fsdata == &mntns_operations;
1793 }
1794
1795 static struct mnt_namespace *to_mnt_ns(struct ns_common *ns)
1796 {
1797         return container_of(ns, struct mnt_namespace, ns);
1798 }
1799
1800 struct ns_common *from_mnt_ns(struct mnt_namespace *mnt)
1801 {
1802         return &mnt->ns;
1803 }
1804
1805 static bool mnt_ns_loop(struct dentry *dentry)
1806 {
1807         /* Could bind mounting the mount namespace inode cause a
1808          * mount namespace loop?
1809          */
1810         struct mnt_namespace *mnt_ns;
1811         if (!is_mnt_ns_file(dentry))
1812                 return false;
1813
1814         mnt_ns = to_mnt_ns(get_proc_ns(dentry->d_inode));
1815         return current->nsproxy->mnt_ns->seq >= mnt_ns->seq;
1816 }
1817
1818 struct mount *copy_tree(struct mount *mnt, struct dentry *dentry,
1819                                         int flag)
1820 {
1821         struct mount *res, *p, *q, *r, *parent;
1822
1823         if (!(flag & CL_COPY_UNBINDABLE) && IS_MNT_UNBINDABLE(mnt))
1824                 return ERR_PTR(-EINVAL);
1825
1826         if (!(flag & CL_COPY_MNT_NS_FILE) && is_mnt_ns_file(dentry))
1827                 return ERR_PTR(-EINVAL);
1828
1829         res = q = clone_mnt(mnt, dentry, flag);
1830         if (IS_ERR(q))
1831                 return q;
1832
1833         q->mnt_mountpoint = mnt->mnt_mountpoint;
1834
1835         p = mnt;
1836         list_for_each_entry(r, &mnt->mnt_mounts, mnt_child) {
1837                 struct mount *s;
1838                 if (!is_subdir(r->mnt_mountpoint, dentry))
1839                         continue;
1840
1841                 for (s = r; s; s = next_mnt(s, r)) {
1842                         if (!(flag & CL_COPY_UNBINDABLE) &&
1843                             IS_MNT_UNBINDABLE(s)) {
1844                                 if (s->mnt.mnt_flags & MNT_LOCKED) {
1845                                         /* Both unbindable and locked. */
1846                                         q = ERR_PTR(-EPERM);
1847                                         goto out;
1848                                 } else {
1849                                         s = skip_mnt_tree(s);
1850                                         continue;
1851                                 }
1852                         }
1853                         if (!(flag & CL_COPY_MNT_NS_FILE) &&
1854                             is_mnt_ns_file(s->mnt.mnt_root)) {
1855                                 s = skip_mnt_tree(s);
1856                                 continue;
1857                         }
1858                         while (p != s->mnt_parent) {
1859                                 p = p->mnt_parent;
1860                                 q = q->mnt_parent;
1861                         }
1862                         p = s;
1863                         parent = q;
1864                         q = clone_mnt(p, p->mnt.mnt_root, flag);
1865                         if (IS_ERR(q))
1866                                 goto out;
1867                         lock_mount_hash();
1868                         list_add_tail(&q->mnt_list, &res->mnt_list);
1869                         attach_mnt(q, parent, p->mnt_mp);
1870                         unlock_mount_hash();
1871                 }
1872         }
1873         return res;
1874 out:
1875         if (res) {
1876                 lock_mount_hash();
1877                 umount_tree(res, UMOUNT_SYNC);
1878                 unlock_mount_hash();
1879         }
1880         return q;
1881 }
1882
1883 /* Caller should check returned pointer for errors */
1884
1885 struct vfsmount *collect_mounts(const struct path *path)
1886 {
1887         struct mount *tree;
1888         namespace_lock();
1889         if (!check_mnt(real_mount(path->mnt)))
1890                 tree = ERR_PTR(-EINVAL);
1891         else
1892                 tree = copy_tree(real_mount(path->mnt), path->dentry,
1893                                  CL_COPY_ALL | CL_PRIVATE);
1894         namespace_unlock();
1895         if (IS_ERR(tree))
1896                 return ERR_CAST(tree);
1897         return &tree->mnt;
1898 }
1899 EXPORT_SYMBOL_GPL(collect_mounts);
1900
1901 static void free_mnt_ns(struct mnt_namespace *);
1902 static struct mnt_namespace *alloc_mnt_ns(struct user_namespace *, bool);
1903
1904 void dissolve_on_fput(struct vfsmount *mnt)
1905 {
1906         struct mnt_namespace *ns;
1907         namespace_lock();
1908         lock_mount_hash();
1909         ns = real_mount(mnt)->mnt_ns;
1910         if (ns) {
1911                 if (is_anon_ns(ns))
1912                         umount_tree(real_mount(mnt), UMOUNT_CONNECTED);
1913                 else
1914                         ns = NULL;
1915         }
1916         unlock_mount_hash();
1917         namespace_unlock();
1918         if (ns)
1919                 free_mnt_ns(ns);
1920 }
1921
1922 void drop_collected_mounts(struct vfsmount *mnt)
1923 {
1924         namespace_lock();
1925         lock_mount_hash();
1926         umount_tree(real_mount(mnt), 0);
1927         unlock_mount_hash();
1928         namespace_unlock();
1929 }
1930 EXPORT_SYMBOL_GPL(drop_collected_mounts);
1931
1932 static bool has_locked_children(struct mount *mnt, struct dentry *dentry)
1933 {
1934         struct mount *child;
1935
1936         list_for_each_entry(child, &mnt->mnt_mounts, mnt_child) {
1937                 if (!is_subdir(child->mnt_mountpoint, dentry))
1938                         continue;
1939
1940                 if (child->mnt.mnt_flags & MNT_LOCKED)
1941                         return true;
1942         }
1943         return false;
1944 }
1945
1946 /**
1947  * clone_private_mount - create a private clone of a path
1948  *
1949  * This creates a new vfsmount, which will be the clone of @path.  The new will
1950  * not be attached anywhere in the namespace and will be private (i.e. changes
1951  * to the originating mount won't be propagated into this).
1952  *
1953  * Release with mntput().
1954  */
1955 struct vfsmount *clone_private_mount(const struct path *path)
1956 {
1957         struct mount *old_mnt = real_mount(path->mnt);
1958         struct mount *new_mnt;
1959
1960         down_read(&namespace_sem);
1961         if (IS_MNT_UNBINDABLE(old_mnt))
1962                 goto invalid;
1963
1964         if (!check_mnt(old_mnt))
1965                 goto invalid;
1966
1967         if (has_locked_children(old_mnt, path->dentry))
1968                 goto invalid;
1969
1970         new_mnt = clone_mnt(old_mnt, path->dentry, CL_PRIVATE);
1971         up_read(&namespace_sem);
1972
1973         if (IS_ERR(new_mnt))
1974                 return ERR_CAST(new_mnt);
1975
1976         /* Longterm mount to be removed by kern_unmount*() */
1977         new_mnt->mnt_ns = MNT_NS_INTERNAL;
1978
1979         return &new_mnt->mnt;
1980
1981 invalid:
1982         up_read(&namespace_sem);
1983         return ERR_PTR(-EINVAL);
1984 }
1985 EXPORT_SYMBOL_GPL(clone_private_mount);
1986
1987 int iterate_mounts(int (*f)(struct vfsmount *, void *), void *arg,
1988                    struct vfsmount *root)
1989 {
1990         struct mount *mnt;
1991         int res = f(root, arg);
1992         if (res)
1993                 return res;
1994         list_for_each_entry(mnt, &real_mount(root)->mnt_list, mnt_list) {
1995                 res = f(&mnt->mnt, arg);
1996                 if (res)
1997                         return res;
1998         }
1999         return 0;
2000 }
2001 EXPORT_SYMBOL_GPL(iterate_mounts);
2002
2003 static void lock_mnt_tree(struct mount *mnt)
2004 {
2005         struct mount *p;
2006
2007         for (p = mnt; p; p = next_mnt(p, mnt)) {
2008                 int flags = p->mnt.mnt_flags;
2009                 /* Don't allow unprivileged users to change mount flags */
2010                 flags |= MNT_LOCK_ATIME;
2011
2012                 if (flags & MNT_READONLY)
2013                         flags |= MNT_LOCK_READONLY;
2014
2015                 if (flags & MNT_NODEV)
2016                         flags |= MNT_LOCK_NODEV;
2017
2018                 if (flags & MNT_NOSUID)
2019                         flags |= MNT_LOCK_NOSUID;
2020
2021                 if (flags & MNT_NOEXEC)
2022                         flags |= MNT_LOCK_NOEXEC;
2023                 /* Don't allow unprivileged users to reveal what is under a mount */
2024                 if (list_empty(&p->mnt_expire))
2025                         flags |= MNT_LOCKED;
2026                 p->mnt.mnt_flags = flags;
2027         }
2028 }
2029
2030 static void cleanup_group_ids(struct mount *mnt, struct mount *end)
2031 {
2032         struct mount *p;
2033
2034         for (p = mnt; p != end; p = next_mnt(p, mnt)) {
2035                 if (p->mnt_group_id && !IS_MNT_SHARED(p))
2036                         mnt_release_group_id(p);
2037         }
2038 }
2039
2040 static int invent_group_ids(struct mount *mnt, bool recurse)
2041 {
2042         struct mount *p;
2043
2044         for (p = mnt; p; p = recurse ? next_mnt(p, mnt) : NULL) {
2045                 if (!p->mnt_group_id && !IS_MNT_SHARED(p)) {
2046                         int err = mnt_alloc_group_id(p);
2047                         if (err) {
2048                                 cleanup_group_ids(mnt, p);
2049                                 return err;
2050                         }
2051                 }
2052         }
2053
2054         return 0;
2055 }
2056
2057 int count_mounts(struct mnt_namespace *ns, struct mount *mnt)
2058 {
2059         unsigned int max = READ_ONCE(sysctl_mount_max);
2060         unsigned int mounts = 0, old, pending, sum;
2061         struct mount *p;
2062
2063         for (p = mnt; p; p = next_mnt(p, mnt))
2064                 mounts++;
2065
2066         old = ns->mounts;
2067         pending = ns->pending_mounts;
2068         sum = old + pending;
2069         if ((old > sum) ||
2070             (pending > sum) ||
2071             (max < sum) ||
2072             (mounts > (max - sum)))
2073                 return -ENOSPC;
2074
2075         ns->pending_mounts = pending + mounts;
2076         return 0;
2077 }
2078
2079 /*
2080  *  @source_mnt : mount tree to be attached
2081  *  @nd         : place the mount tree @source_mnt is attached
2082  *  @parent_nd  : if non-null, detach the source_mnt from its parent and
2083  *                 store the parent mount and mountpoint dentry.
2084  *                 (done when source_mnt is moved)
2085  *
2086  *  NOTE: in the table below explains the semantics when a source mount
2087  *  of a given type is attached to a destination mount of a given type.
2088  * ---------------------------------------------------------------------------
2089  * |         BIND MOUNT OPERATION                                            |
2090  * |**************************************************************************
2091  * | source-->| shared        |       private  |       slave    | unbindable |
2092  * | dest     |               |                |                |            |
2093  * |   |      |               |                |                |            |
2094  * |   v      |               |                |                |            |
2095  * |**************************************************************************
2096  * |  shared  | shared (++)   |     shared (+) |     shared(+++)|  invalid   |
2097  * |          |               |                |                |            |
2098  * |non-shared| shared (+)    |      private   |      slave (*) |  invalid   |
2099  * ***************************************************************************
2100  * A bind operation clones the source mount and mounts the clone on the
2101  * destination mount.
2102  *
2103  * (++)  the cloned mount is propagated to all the mounts in the propagation
2104  *       tree of the destination mount and the cloned mount is added to
2105  *       the peer group of the source mount.
2106  * (+)   the cloned mount is created under the destination mount and is marked
2107  *       as shared. The cloned mount is added to the peer group of the source
2108  *       mount.
2109  * (+++) the mount is propagated to all the mounts in the propagation tree
2110  *       of the destination mount and the cloned mount is made slave
2111  *       of the same master as that of the source mount. The cloned mount
2112  *       is marked as 'shared and slave'.
2113  * (*)   the cloned mount is made a slave of the same master as that of the
2114  *       source mount.
2115  *
2116  * ---------------------------------------------------------------------------
2117  * |                    MOVE MOUNT OPERATION                                 |
2118  * |**************************************************************************
2119  * | source-->| shared        |       private  |       slave    | unbindable |
2120  * | dest     |               |                |                |            |
2121  * |   |      |               |                |                |            |
2122  * |   v      |               |                |                |            |
2123  * |**************************************************************************
2124  * |  shared  | shared (+)    |     shared (+) |    shared(+++) |  invalid   |
2125  * |          |               |                |                |            |
2126  * |non-shared| shared (+*)   |      private   |    slave (*)   | unbindable |
2127  * ***************************************************************************
2128  *
2129  * (+)  the mount is moved to the destination. And is then propagated to
2130  *      all the mounts in the propagation tree of the destination mount.
2131  * (+*)  the mount is moved to the destination.
2132  * (+++)  the mount is moved to the destination and is then propagated to
2133  *      all the mounts belonging to the destination mount's propagation tree.
2134  *      the mount is marked as 'shared and slave'.
2135  * (*)  the mount continues to be a slave at the new location.
2136  *
2137  * if the source mount is a tree, the operations explained above is
2138  * applied to each mount in the tree.
2139  * Must be called without spinlocks held, since this function can sleep
2140  * in allocations.
2141  */
2142 static int attach_recursive_mnt(struct mount *source_mnt,
2143                         struct mount *dest_mnt,
2144                         struct mountpoint *dest_mp,
2145                         bool moving)
2146 {
2147         struct user_namespace *user_ns = current->nsproxy->mnt_ns->user_ns;
2148         HLIST_HEAD(tree_list);
2149         struct mnt_namespace *ns = dest_mnt->mnt_ns;
2150         struct mountpoint *smp;
2151         struct mount *child, *p;
2152         struct hlist_node *n;
2153         int err;
2154
2155         /* Preallocate a mountpoint in case the new mounts need
2156          * to be tucked under other mounts.
2157          */
2158         smp = get_mountpoint(source_mnt->mnt.mnt_root);
2159         if (IS_ERR(smp))
2160                 return PTR_ERR(smp);
2161
2162         /* Is there space to add these mounts to the mount namespace? */
2163         if (!moving) {
2164                 err = count_mounts(ns, source_mnt);
2165                 if (err)
2166                         goto out;
2167         }
2168
2169         if (IS_MNT_SHARED(dest_mnt)) {
2170                 err = invent_group_ids(source_mnt, true);
2171                 if (err)
2172                         goto out;
2173                 err = propagate_mnt(dest_mnt, dest_mp, source_mnt, &tree_list);
2174                 lock_mount_hash();
2175                 if (err)
2176                         goto out_cleanup_ids;
2177                 for (p = source_mnt; p; p = next_mnt(p, source_mnt))
2178                         set_mnt_shared(p);
2179         } else {
2180                 lock_mount_hash();
2181         }
2182         if (moving) {
2183                 unhash_mnt(source_mnt);
2184                 attach_mnt(source_mnt, dest_mnt, dest_mp);
2185                 touch_mnt_namespace(source_mnt->mnt_ns);
2186         } else {
2187                 if (source_mnt->mnt_ns) {
2188                         /* move from anon - the caller will destroy */
2189                         list_del_init(&source_mnt->mnt_ns->list);
2190                 }
2191                 mnt_set_mountpoint(dest_mnt, dest_mp, source_mnt);
2192                 commit_tree(source_mnt);
2193         }
2194
2195         hlist_for_each_entry_safe(child, n, &tree_list, mnt_hash) {
2196                 struct mount *q;
2197                 hlist_del_init(&child->mnt_hash);
2198                 q = __lookup_mnt(&child->mnt_parent->mnt,
2199                                  child->mnt_mountpoint);
2200                 if (q)
2201                         mnt_change_mountpoint(child, smp, q);
2202                 /* Notice when we are propagating across user namespaces */
2203                 if (child->mnt_parent->mnt_ns->user_ns != user_ns)
2204                         lock_mnt_tree(child);
2205                 child->mnt.mnt_flags &= ~MNT_LOCKED;
2206                 commit_tree(child);
2207         }
2208         put_mountpoint(smp);
2209         unlock_mount_hash();
2210
2211         return 0;
2212
2213  out_cleanup_ids:
2214         while (!hlist_empty(&tree_list)) {
2215                 child = hlist_entry(tree_list.first, struct mount, mnt_hash);
2216                 child->mnt_parent->mnt_ns->pending_mounts = 0;
2217                 umount_tree(child, UMOUNT_SYNC);
2218         }
2219         unlock_mount_hash();
2220         cleanup_group_ids(source_mnt, NULL);
2221  out:
2222         ns->pending_mounts = 0;
2223
2224         read_seqlock_excl(&mount_lock);
2225         put_mountpoint(smp);
2226         read_sequnlock_excl(&mount_lock);
2227
2228         return err;
2229 }
2230
2231 static struct mountpoint *lock_mount(struct path *path)
2232 {
2233         struct vfsmount *mnt;
2234         struct dentry *dentry = path->dentry;
2235 retry:
2236         inode_lock(dentry->d_inode);
2237         if (unlikely(cant_mount(dentry))) {
2238                 inode_unlock(dentry->d_inode);
2239                 return ERR_PTR(-ENOENT);
2240         }
2241         namespace_lock();
2242         mnt = lookup_mnt(path);
2243         if (likely(!mnt)) {
2244                 struct mountpoint *mp = get_mountpoint(dentry);
2245                 if (IS_ERR(mp)) {
2246                         namespace_unlock();
2247                         inode_unlock(dentry->d_inode);
2248                         return mp;
2249                 }
2250                 return mp;
2251         }
2252         namespace_unlock();
2253         inode_unlock(path->dentry->d_inode);
2254         path_put(path);
2255         path->mnt = mnt;
2256         dentry = path->dentry = dget(mnt->mnt_root);
2257         goto retry;
2258 }
2259
2260 static void unlock_mount(struct mountpoint *where)
2261 {
2262         struct dentry *dentry = where->m_dentry;
2263
2264         read_seqlock_excl(&mount_lock);
2265         put_mountpoint(where);
2266         read_sequnlock_excl(&mount_lock);
2267
2268         namespace_unlock();
2269         inode_unlock(dentry->d_inode);
2270 }
2271
2272 static int graft_tree(struct mount *mnt, struct mount *p, struct mountpoint *mp)
2273 {
2274         if (mnt->mnt.mnt_sb->s_flags & SB_NOUSER)
2275                 return -EINVAL;
2276
2277         if (d_is_dir(mp->m_dentry) !=
2278               d_is_dir(mnt->mnt.mnt_root))
2279                 return -ENOTDIR;
2280
2281         return attach_recursive_mnt(mnt, p, mp, false);
2282 }
2283
2284 /*
2285  * Sanity check the flags to change_mnt_propagation.
2286  */
2287
2288 static int flags_to_propagation_type(int ms_flags)
2289 {
2290         int type = ms_flags & ~(MS_REC | MS_SILENT);
2291
2292         /* Fail if any non-propagation flags are set */
2293         if (type & ~(MS_SHARED | MS_PRIVATE | MS_SLAVE | MS_UNBINDABLE))
2294                 return 0;
2295         /* Only one propagation flag should be set */
2296         if (!is_power_of_2(type))
2297                 return 0;
2298         return type;
2299 }
2300
2301 /*
2302  * recursively change the type of the mountpoint.
2303  */
2304 static int do_change_type(struct path *path, int ms_flags)
2305 {
2306         struct mount *m;
2307         struct mount *mnt = real_mount(path->mnt);
2308         int recurse = ms_flags & MS_REC;
2309         int type;
2310         int err = 0;
2311
2312         if (path->dentry != path->mnt->mnt_root)
2313                 return -EINVAL;
2314
2315         type = flags_to_propagation_type(ms_flags);
2316         if (!type)
2317                 return -EINVAL;
2318
2319         namespace_lock();
2320         if (type == MS_SHARED) {
2321                 err = invent_group_ids(mnt, recurse);
2322                 if (err)
2323                         goto out_unlock;
2324         }
2325
2326         lock_mount_hash();
2327         for (m = mnt; m; m = (recurse ? next_mnt(m, mnt) : NULL))
2328                 change_mnt_propagation(m, type);
2329         unlock_mount_hash();
2330
2331  out_unlock:
2332         namespace_unlock();
2333         return err;
2334 }
2335
2336 static struct mount *__do_loopback(struct path *old_path, int recurse)
2337 {
2338         struct mount *mnt = ERR_PTR(-EINVAL), *old = real_mount(old_path->mnt);
2339
2340         if (IS_MNT_UNBINDABLE(old))
2341                 return mnt;
2342
2343         if (!check_mnt(old) && old_path->dentry->d_op != &ns_dentry_operations)
2344                 return mnt;
2345
2346         if (!recurse && has_locked_children(old, old_path->dentry))
2347                 return mnt;
2348
2349         if (recurse)
2350                 mnt = copy_tree(old, old_path->dentry, CL_COPY_MNT_NS_FILE);
2351         else
2352                 mnt = clone_mnt(old, old_path->dentry, 0);
2353
2354         if (!IS_ERR(mnt))
2355                 mnt->mnt.mnt_flags &= ~MNT_LOCKED;
2356
2357         return mnt;
2358 }
2359
2360 /*
2361  * do loopback mount.
2362  */
2363 static int do_loopback(struct path *path, const char *old_name,
2364                                 int recurse)
2365 {
2366         struct path old_path;
2367         struct mount *mnt = NULL, *parent;
2368         struct mountpoint *mp;
2369         int err;
2370         if (!old_name || !*old_name)
2371                 return -EINVAL;
2372         err = kern_path(old_name, LOOKUP_FOLLOW|LOOKUP_AUTOMOUNT, &old_path);
2373         if (err)
2374                 return err;
2375
2376         err = -EINVAL;
2377         if (mnt_ns_loop(old_path.dentry))
2378                 goto out;
2379
2380         mp = lock_mount(path);
2381         if (IS_ERR(mp)) {
2382                 err = PTR_ERR(mp);
2383                 goto out;
2384         }
2385
2386         parent = real_mount(path->mnt);
2387         if (!check_mnt(parent))
2388                 goto out2;
2389
2390         mnt = __do_loopback(&old_path, recurse);
2391         if (IS_ERR(mnt)) {
2392                 err = PTR_ERR(mnt);
2393                 goto out2;
2394         }
2395
2396         err = graft_tree(mnt, parent, mp);
2397         if (err) {
2398                 lock_mount_hash();
2399                 umount_tree(mnt, UMOUNT_SYNC);
2400                 unlock_mount_hash();
2401         }
2402 out2:
2403         unlock_mount(mp);
2404 out:
2405         path_put(&old_path);
2406         return err;
2407 }
2408
2409 static struct file *open_detached_copy(struct path *path, bool recursive)
2410 {
2411         struct user_namespace *user_ns = current->nsproxy->mnt_ns->user_ns;
2412         struct mnt_namespace *ns = alloc_mnt_ns(user_ns, true);
2413         struct mount *mnt, *p;
2414         struct file *file;
2415
2416         if (IS_ERR(ns))
2417                 return ERR_CAST(ns);
2418
2419         namespace_lock();
2420         mnt = __do_loopback(path, recursive);
2421         if (IS_ERR(mnt)) {
2422                 namespace_unlock();
2423                 free_mnt_ns(ns);
2424                 return ERR_CAST(mnt);
2425         }
2426
2427         lock_mount_hash();
2428         for (p = mnt; p; p = next_mnt(p, mnt)) {
2429                 p->mnt_ns = ns;
2430                 ns->mounts++;
2431         }
2432         ns->root = mnt;
2433         list_add_tail(&ns->list, &mnt->mnt_list);
2434         mntget(&mnt->mnt);
2435         unlock_mount_hash();
2436         namespace_unlock();
2437
2438         mntput(path->mnt);
2439         path->mnt = &mnt->mnt;
2440         file = dentry_open(path, O_PATH, current_cred());
2441         if (IS_ERR(file))
2442                 dissolve_on_fput(path->mnt);
2443         else
2444                 file->f_mode |= FMODE_NEED_UNMOUNT;
2445         return file;
2446 }
2447
2448 SYSCALL_DEFINE3(open_tree, int, dfd, const char __user *, filename, unsigned, flags)
2449 {
2450         struct file *file;
2451         struct path path;
2452         int lookup_flags = LOOKUP_AUTOMOUNT | LOOKUP_FOLLOW;
2453         bool detached = flags & OPEN_TREE_CLONE;
2454         int error;
2455         int fd;
2456
2457         BUILD_BUG_ON(OPEN_TREE_CLOEXEC != O_CLOEXEC);
2458
2459         if (flags & ~(AT_EMPTY_PATH | AT_NO_AUTOMOUNT | AT_RECURSIVE |
2460                       AT_SYMLINK_NOFOLLOW | OPEN_TREE_CLONE |
2461                       OPEN_TREE_CLOEXEC))
2462                 return -EINVAL;
2463
2464         if ((flags & (AT_RECURSIVE | OPEN_TREE_CLONE)) == AT_RECURSIVE)
2465                 return -EINVAL;
2466
2467         if (flags & AT_NO_AUTOMOUNT)
2468                 lookup_flags &= ~LOOKUP_AUTOMOUNT;
2469         if (flags & AT_SYMLINK_NOFOLLOW)
2470                 lookup_flags &= ~LOOKUP_FOLLOW;
2471         if (flags & AT_EMPTY_PATH)
2472                 lookup_flags |= LOOKUP_EMPTY;
2473
2474         if (detached && !may_mount())
2475                 return -EPERM;
2476
2477         fd = get_unused_fd_flags(flags & O_CLOEXEC);
2478         if (fd < 0)
2479                 return fd;
2480
2481         error = user_path_at(dfd, filename, lookup_flags, &path);
2482         if (unlikely(error)) {
2483                 file = ERR_PTR(error);
2484         } else {
2485                 if (detached)
2486                         file = open_detached_copy(&path, flags & AT_RECURSIVE);
2487                 else
2488                         file = dentry_open(&path, O_PATH, current_cred());
2489                 path_put(&path);
2490         }
2491         if (IS_ERR(file)) {
2492                 put_unused_fd(fd);
2493                 return PTR_ERR(file);
2494         }
2495         fd_install(fd, file);
2496         return fd;
2497 }
2498
2499 /*
2500  * Don't allow locked mount flags to be cleared.
2501  *
2502  * No locks need to be held here while testing the various MNT_LOCK
2503  * flags because those flags can never be cleared once they are set.
2504  */
2505 static bool can_change_locked_flags(struct mount *mnt, unsigned int mnt_flags)
2506 {
2507         unsigned int fl = mnt->mnt.mnt_flags;
2508
2509         if ((fl & MNT_LOCK_READONLY) &&
2510             !(mnt_flags & MNT_READONLY))
2511                 return false;
2512
2513         if ((fl & MNT_LOCK_NODEV) &&
2514             !(mnt_flags & MNT_NODEV))
2515                 return false;
2516
2517         if ((fl & MNT_LOCK_NOSUID) &&
2518             !(mnt_flags & MNT_NOSUID))
2519                 return false;
2520
2521         if ((fl & MNT_LOCK_NOEXEC) &&
2522             !(mnt_flags & MNT_NOEXEC))
2523                 return false;
2524
2525         if ((fl & MNT_LOCK_ATIME) &&
2526             ((fl & MNT_ATIME_MASK) != (mnt_flags & MNT_ATIME_MASK)))
2527                 return false;
2528
2529         return true;
2530 }
2531
2532 static int change_mount_ro_state(struct mount *mnt, unsigned int mnt_flags)
2533 {
2534         bool readonly_request = (mnt_flags & MNT_READONLY);
2535
2536         if (readonly_request == __mnt_is_readonly(&mnt->mnt))
2537                 return 0;
2538
2539         if (readonly_request)
2540                 return mnt_make_readonly(mnt);
2541
2542         return __mnt_unmake_readonly(mnt);
2543 }
2544
2545 /*
2546  * Update the user-settable attributes on a mount.  The caller must hold
2547  * sb->s_umount for writing.
2548  */
2549 static void set_mount_attributes(struct mount *mnt, unsigned int mnt_flags)
2550 {
2551         lock_mount_hash();
2552         mnt_flags |= mnt->mnt.mnt_flags & ~MNT_USER_SETTABLE_MASK;
2553         mnt->mnt.mnt_flags = mnt_flags;
2554         touch_mnt_namespace(mnt->mnt_ns);
2555         unlock_mount_hash();
2556 }
2557
2558 static void mnt_warn_timestamp_expiry(struct path *mountpoint, struct vfsmount *mnt)
2559 {
2560         struct super_block *sb = mnt->mnt_sb;
2561
2562         if (!__mnt_is_readonly(mnt) &&
2563            (ktime_get_real_seconds() + TIME_UPTIME_SEC_MAX > sb->s_time_max)) {
2564                 char *buf = (char *)__get_free_page(GFP_KERNEL);
2565                 char *mntpath = buf ? d_path(mountpoint, buf, PAGE_SIZE) : ERR_PTR(-ENOMEM);
2566                 struct tm tm;
2567
2568                 time64_to_tm(sb->s_time_max, 0, &tm);
2569
2570                 pr_warn("%s filesystem being %s at %s supports timestamps until %04ld (0x%llx)\n",
2571                         sb->s_type->name,
2572                         is_mounted(mnt) ? "remounted" : "mounted",
2573                         mntpath,
2574                         tm.tm_year+1900, (unsigned long long)sb->s_time_max);
2575
2576                 free_page((unsigned long)buf);
2577         }
2578 }
2579
2580 /*
2581  * Handle reconfiguration of the mountpoint only without alteration of the
2582  * superblock it refers to.  This is triggered by specifying MS_REMOUNT|MS_BIND
2583  * to mount(2).
2584  */
2585 static int do_reconfigure_mnt(struct path *path, unsigned int mnt_flags)
2586 {
2587         struct super_block *sb = path->mnt->mnt_sb;
2588         struct mount *mnt = real_mount(path->mnt);
2589         int ret;
2590
2591         if (!check_mnt(mnt))
2592                 return -EINVAL;
2593
2594         if (path->dentry != mnt->mnt.mnt_root)
2595                 return -EINVAL;
2596
2597         if (!can_change_locked_flags(mnt, mnt_flags))
2598                 return -EPERM;
2599
2600         down_write(&sb->s_umount);
2601         ret = change_mount_ro_state(mnt, mnt_flags);
2602         if (ret == 0)
2603                 set_mount_attributes(mnt, mnt_flags);
2604         up_write(&sb->s_umount);
2605
2606         mnt_warn_timestamp_expiry(path, &mnt->mnt);
2607
2608         return ret;
2609 }
2610
2611 /*
2612  * change filesystem flags. dir should be a physical root of filesystem.
2613  * If you've mounted a non-root directory somewhere and want to do remount
2614  * on it - tough luck.
2615  */
2616 static int do_remount(struct path *path, int ms_flags, int sb_flags,
2617                       int mnt_flags, void *data)
2618 {
2619         int err;
2620         struct super_block *sb = path->mnt->mnt_sb;
2621         struct mount *mnt = real_mount(path->mnt);
2622         struct fs_context *fc;
2623
2624         if (!check_mnt(mnt))
2625                 return -EINVAL;
2626
2627         if (path->dentry != path->mnt->mnt_root)
2628                 return -EINVAL;
2629
2630         if (!can_change_locked_flags(mnt, mnt_flags))
2631                 return -EPERM;
2632
2633         fc = fs_context_for_reconfigure(path->dentry, sb_flags, MS_RMT_MASK);
2634         if (IS_ERR(fc))
2635                 return PTR_ERR(fc);
2636
2637         fc->oldapi = true;
2638         err = parse_monolithic_mount_data(fc, data);
2639         if (!err) {
2640                 down_write(&sb->s_umount);
2641                 err = -EPERM;
2642                 if (ns_capable(sb->s_user_ns, CAP_SYS_ADMIN)) {
2643                         err = reconfigure_super(fc);
2644                         if (!err)
2645                                 set_mount_attributes(mnt, mnt_flags);
2646                 }
2647                 up_write(&sb->s_umount);
2648         }
2649
2650         mnt_warn_timestamp_expiry(path, &mnt->mnt);
2651
2652         put_fs_context(fc);
2653         return err;
2654 }
2655
2656 static inline int tree_contains_unbindable(struct mount *mnt)
2657 {
2658         struct mount *p;
2659         for (p = mnt; p; p = next_mnt(p, mnt)) {
2660                 if (IS_MNT_UNBINDABLE(p))
2661                         return 1;
2662         }
2663         return 0;
2664 }
2665
2666 /*
2667  * Check that there aren't references to earlier/same mount namespaces in the
2668  * specified subtree.  Such references can act as pins for mount namespaces
2669  * that aren't checked by the mount-cycle checking code, thereby allowing
2670  * cycles to be made.
2671  */
2672 static bool check_for_nsfs_mounts(struct mount *subtree)
2673 {
2674         struct mount *p;
2675         bool ret = false;
2676
2677         lock_mount_hash();
2678         for (p = subtree; p; p = next_mnt(p, subtree))
2679                 if (mnt_ns_loop(p->mnt.mnt_root))
2680                         goto out;
2681
2682         ret = true;
2683 out:
2684         unlock_mount_hash();
2685         return ret;
2686 }
2687
2688 static int do_move_mount(struct path *old_path, struct path *new_path)
2689 {
2690         struct mnt_namespace *ns;
2691         struct mount *p;
2692         struct mount *old;
2693         struct mount *parent;
2694         struct mountpoint *mp, *old_mp;
2695         int err;
2696         bool attached;
2697
2698         mp = lock_mount(new_path);
2699         if (IS_ERR(mp))
2700                 return PTR_ERR(mp);
2701
2702         old = real_mount(old_path->mnt);
2703         p = real_mount(new_path->mnt);
2704         parent = old->mnt_parent;
2705         attached = mnt_has_parent(old);
2706         old_mp = old->mnt_mp;
2707         ns = old->mnt_ns;
2708
2709         err = -EINVAL;
2710         /* The mountpoint must be in our namespace. */
2711         if (!check_mnt(p))
2712                 goto out;
2713
2714         /* The thing moved must be mounted... */
2715         if (!is_mounted(&old->mnt))
2716                 goto out;
2717
2718         /* ... and either ours or the root of anon namespace */
2719         if (!(attached ? check_mnt(old) : is_anon_ns(ns)))
2720                 goto out;
2721
2722         if (old->mnt.mnt_flags & MNT_LOCKED)
2723                 goto out;
2724
2725         if (old_path->dentry != old_path->mnt->mnt_root)
2726                 goto out;
2727
2728         if (d_is_dir(new_path->dentry) !=
2729             d_is_dir(old_path->dentry))
2730                 goto out;
2731         /*
2732          * Don't move a mount residing in a shared parent.
2733          */
2734         if (attached && IS_MNT_SHARED(parent))
2735                 goto out;
2736         /*
2737          * Don't move a mount tree containing unbindable mounts to a destination
2738          * mount which is shared.
2739          */
2740         if (IS_MNT_SHARED(p) && tree_contains_unbindable(old))
2741                 goto out;
2742         err = -ELOOP;
2743         if (!check_for_nsfs_mounts(old))
2744                 goto out;
2745         for (; mnt_has_parent(p); p = p->mnt_parent)
2746                 if (p == old)
2747                         goto out;
2748
2749         err = attach_recursive_mnt(old, real_mount(new_path->mnt), mp,
2750                                    attached);
2751         if (err)
2752                 goto out;
2753
2754         /* if the mount is moved, it should no longer be expire
2755          * automatically */
2756         list_del_init(&old->mnt_expire);
2757         if (attached)
2758                 put_mountpoint(old_mp);
2759 out:
2760         unlock_mount(mp);
2761         if (!err) {
2762                 if (attached)
2763                         mntput_no_expire(parent);
2764                 else
2765                         free_mnt_ns(ns);
2766         }
2767         return err;
2768 }
2769
2770 static int do_move_mount_old(struct path *path, const char *old_name)
2771 {
2772         struct path old_path;
2773         int err;
2774
2775         if (!old_name || !*old_name)
2776                 return -EINVAL;
2777
2778         err = kern_path(old_name, LOOKUP_FOLLOW, &old_path);
2779         if (err)
2780                 return err;
2781
2782         err = do_move_mount(&old_path, path);
2783         path_put(&old_path);
2784         return err;
2785 }
2786
2787 /*
2788  * add a mount into a namespace's mount tree
2789  */
2790 static int do_add_mount(struct mount *newmnt, struct mountpoint *mp,
2791                         struct path *path, int mnt_flags)
2792 {
2793         struct mount *parent = real_mount(path->mnt);
2794
2795         mnt_flags &= ~MNT_INTERNAL_FLAGS;
2796
2797         if (unlikely(!check_mnt(parent))) {
2798                 /* that's acceptable only for automounts done in private ns */
2799                 if (!(mnt_flags & MNT_SHRINKABLE))
2800                         return -EINVAL;
2801                 /* ... and for those we'd better have mountpoint still alive */
2802                 if (!parent->mnt_ns)
2803                         return -EINVAL;
2804         }
2805
2806         /* Refuse the same filesystem on the same mount point */
2807         if (path->mnt->mnt_sb == newmnt->mnt.mnt_sb &&
2808             path->mnt->mnt_root == path->dentry)
2809                 return -EBUSY;
2810
2811         if (d_is_symlink(newmnt->mnt.mnt_root))
2812                 return -EINVAL;
2813
2814         newmnt->mnt.mnt_flags = mnt_flags;
2815         return graft_tree(newmnt, parent, mp);
2816 }
2817
2818 static bool mount_too_revealing(const struct super_block *sb, int *new_mnt_flags);
2819
2820 /*
2821  * Create a new mount using a superblock configuration and request it
2822  * be added to the namespace tree.
2823  */
2824 static int do_new_mount_fc(struct fs_context *fc, struct path *mountpoint,
2825                            unsigned int mnt_flags)
2826 {
2827         struct vfsmount *mnt;
2828         struct mountpoint *mp;
2829         struct super_block *sb = fc->root->d_sb;
2830         int error;
2831
2832         error = security_sb_kern_mount(sb);
2833         if (!error && mount_too_revealing(sb, &mnt_flags))
2834                 error = -EPERM;
2835
2836         if (unlikely(error)) {
2837                 fc_drop_locked(fc);
2838                 return error;
2839         }
2840
2841         up_write(&sb->s_umount);
2842
2843         mnt = vfs_create_mount(fc);
2844         if (IS_ERR(mnt))
2845                 return PTR_ERR(mnt);
2846
2847         mnt_warn_timestamp_expiry(mountpoint, mnt);
2848
2849         mp = lock_mount(mountpoint);
2850         if (IS_ERR(mp)) {
2851                 mntput(mnt);
2852                 return PTR_ERR(mp);
2853         }
2854         error = do_add_mount(real_mount(mnt), mp, mountpoint, mnt_flags);
2855         unlock_mount(mp);
2856         if (error < 0)
2857                 mntput(mnt);
2858         return error;
2859 }
2860
2861 /*
2862  * create a new mount for userspace and request it to be added into the
2863  * namespace's tree
2864  */
2865 static int do_new_mount(struct path *path, const char *fstype, int sb_flags,
2866                         int mnt_flags, const char *name, void *data)
2867 {
2868         struct file_system_type *type;
2869         struct fs_context *fc;
2870         const char *subtype = NULL;
2871         int err = 0;
2872
2873         if (!fstype)
2874                 return -EINVAL;
2875
2876         type = get_fs_type(fstype);
2877         if (!type)
2878                 return -ENODEV;
2879
2880         if (type->fs_flags & FS_HAS_SUBTYPE) {
2881                 subtype = strchr(fstype, '.');
2882                 if (subtype) {
2883                         subtype++;
2884                         if (!*subtype) {
2885                                 put_filesystem(type);
2886                                 return -EINVAL;
2887                         }
2888                 }
2889         }
2890
2891         fc = fs_context_for_mount(type, sb_flags);
2892         put_filesystem(type);
2893         if (IS_ERR(fc))
2894                 return PTR_ERR(fc);
2895
2896         if (subtype)
2897                 err = vfs_parse_fs_string(fc, "subtype",
2898                                           subtype, strlen(subtype));
2899         if (!err && name)
2900                 err = vfs_parse_fs_string(fc, "source", name, strlen(name));
2901         if (!err)
2902                 err = parse_monolithic_mount_data(fc, data);
2903         if (!err && !mount_capable(fc))
2904                 err = -EPERM;
2905         if (!err)
2906                 err = vfs_get_tree(fc);
2907         if (!err)
2908                 err = do_new_mount_fc(fc, path, mnt_flags);
2909
2910         put_fs_context(fc);
2911         return err;
2912 }
2913
2914 int finish_automount(struct vfsmount *m, struct path *path)
2915 {
2916         struct dentry *dentry = path->dentry;
2917         struct mountpoint *mp;
2918         struct mount *mnt;
2919         int err;
2920
2921         if (!m)
2922                 return 0;
2923         if (IS_ERR(m))
2924                 return PTR_ERR(m);
2925
2926         mnt = real_mount(m);
2927         /* The new mount record should have at least 2 refs to prevent it being
2928          * expired before we get a chance to add it
2929          */
2930         BUG_ON(mnt_get_count(mnt) < 2);
2931
2932         if (m->mnt_sb == path->mnt->mnt_sb &&
2933             m->mnt_root == dentry) {
2934                 err = -ELOOP;
2935                 goto discard;
2936         }
2937
2938         /*
2939          * we don't want to use lock_mount() - in this case finding something
2940          * that overmounts our mountpoint to be means "quitely drop what we've
2941          * got", not "try to mount it on top".
2942          */
2943         inode_lock(dentry->d_inode);
2944         namespace_lock();
2945         if (unlikely(cant_mount(dentry))) {
2946                 err = -ENOENT;
2947                 goto discard_locked;
2948         }
2949         rcu_read_lock();
2950         if (unlikely(__lookup_mnt(path->mnt, dentry))) {
2951                 rcu_read_unlock();
2952                 err = 0;
2953                 goto discard_locked;
2954         }
2955         rcu_read_unlock();
2956         mp = get_mountpoint(dentry);
2957         if (IS_ERR(mp)) {
2958                 err = PTR_ERR(mp);
2959                 goto discard_locked;
2960         }
2961
2962         err = do_add_mount(mnt, mp, path, path->mnt->mnt_flags | MNT_SHRINKABLE);
2963         unlock_mount(mp);
2964         if (unlikely(err))
2965                 goto discard;
2966         mntput(m);
2967         return 0;
2968
2969 discard_locked:
2970         namespace_unlock();
2971         inode_unlock(dentry->d_inode);
2972 discard:
2973         /* remove m from any expiration list it may be on */
2974         if (!list_empty(&mnt->mnt_expire)) {
2975                 namespace_lock();
2976                 list_del_init(&mnt->mnt_expire);
2977                 namespace_unlock();
2978         }
2979         mntput(m);
2980         mntput(m);
2981         return err;
2982 }
2983
2984 /**
2985  * mnt_set_expiry - Put a mount on an expiration list
2986  * @mnt: The mount to list.
2987  * @expiry_list: The list to add the mount to.
2988  */
2989 void mnt_set_expiry(struct vfsmount *mnt, struct list_head *expiry_list)
2990 {
2991         namespace_lock();
2992
2993         list_add_tail(&real_mount(mnt)->mnt_expire, expiry_list);
2994
2995         namespace_unlock();
2996 }
2997 EXPORT_SYMBOL(mnt_set_expiry);
2998
2999 /*
3000  * process a list of expirable mountpoints with the intent of discarding any
3001  * mountpoints that aren't in use and haven't been touched since last we came
3002  * here
3003  */
3004 void mark_mounts_for_expiry(struct list_head *mounts)
3005 {
3006         struct mount *mnt, *next;
3007         LIST_HEAD(graveyard);
3008
3009         if (list_empty(mounts))
3010                 return;
3011
3012         namespace_lock();
3013         lock_mount_hash();
3014
3015         /* extract from the expiration list every vfsmount that matches the
3016          * following criteria:
3017          * - only referenced by its parent vfsmount
3018          * - still marked for expiry (marked on the last call here; marks are
3019          *   cleared by mntput())
3020          */
3021         list_for_each_entry_safe(mnt, next, mounts, mnt_expire) {
3022                 if (!xchg(&mnt->mnt_expiry_mark, 1) ||
3023                         propagate_mount_busy(mnt, 1))
3024                         continue;
3025                 list_move(&mnt->mnt_expire, &graveyard);
3026         }
3027         while (!list_empty(&graveyard)) {
3028                 mnt = list_first_entry(&graveyard, struct mount, mnt_expire);
3029                 touch_mnt_namespace(mnt->mnt_ns);
3030                 umount_tree(mnt, UMOUNT_PROPAGATE|UMOUNT_SYNC);
3031         }
3032         unlock_mount_hash();
3033         namespace_unlock();
3034 }
3035
3036 EXPORT_SYMBOL_GPL(mark_mounts_for_expiry);
3037
3038 /*
3039  * Ripoff of 'select_parent()'
3040  *
3041  * search the list of submounts for a given mountpoint, and move any
3042  * shrinkable submounts to the 'graveyard' list.
3043  */
3044 static int select_submounts(struct mount *parent, struct list_head *graveyard)
3045 {
3046         struct mount *this_parent = parent;
3047         struct list_head *next;
3048         int found = 0;
3049
3050 repeat:
3051         next = this_parent->mnt_mounts.next;
3052 resume:
3053         while (next != &this_parent->mnt_mounts) {
3054                 struct list_head *tmp = next;
3055                 struct mount *mnt = list_entry(tmp, struct mount, mnt_child);
3056
3057                 next = tmp->next;
3058                 if (!(mnt->mnt.mnt_flags & MNT_SHRINKABLE))
3059                         continue;
3060                 /*
3061                  * Descend a level if the d_mounts list is non-empty.
3062                  */
3063                 if (!list_empty(&mnt->mnt_mounts)) {
3064                         this_parent = mnt;
3065                         goto repeat;
3066                 }
3067
3068                 if (!propagate_mount_busy(mnt, 1)) {
3069                         list_move_tail(&mnt->mnt_expire, graveyard);
3070                         found++;
3071                 }
3072         }
3073         /*
3074          * All done at this level ... ascend and resume the search
3075          */
3076         if (this_parent != parent) {
3077                 next = this_parent->mnt_child.next;
3078                 this_parent = this_parent->mnt_parent;
3079                 goto resume;
3080         }
3081         return found;
3082 }
3083
3084 /*
3085  * process a list of expirable mountpoints with the intent of discarding any
3086  * submounts of a specific parent mountpoint
3087  *
3088  * mount_lock must be held for write
3089  */
3090 static void shrink_submounts(struct mount *mnt)
3091 {
3092         LIST_HEAD(graveyard);
3093         struct mount *m;
3094
3095         /* extract submounts of 'mountpoint' from the expiration list */
3096         while (select_submounts(mnt, &graveyard)) {
3097                 while (!list_empty(&graveyard)) {
3098                         m = list_first_entry(&graveyard, struct mount,
3099                                                 mnt_expire);
3100                         touch_mnt_namespace(m->mnt_ns);
3101                         umount_tree(m, UMOUNT_PROPAGATE|UMOUNT_SYNC);
3102                 }
3103         }
3104 }
3105
3106 static void *copy_mount_options(const void __user * data)
3107 {
3108         char *copy;
3109         unsigned left, offset;
3110
3111         if (!data)
3112                 return NULL;
3113
3114         copy = kmalloc(PAGE_SIZE, GFP_KERNEL);
3115         if (!copy)
3116                 return ERR_PTR(-ENOMEM);
3117
3118         left = copy_from_user(copy, data, PAGE_SIZE);
3119
3120         /*
3121          * Not all architectures have an exact copy_from_user(). Resort to
3122          * byte at a time.
3123          */
3124         offset = PAGE_SIZE - left;
3125         while (left) {
3126                 char c;
3127                 if (get_user(c, (const char __user *)data + offset))
3128                         break;
3129                 copy[offset] = c;
3130                 left--;
3131                 offset++;
3132         }
3133
3134         if (left == PAGE_SIZE) {
3135                 kfree(copy);
3136                 return ERR_PTR(-EFAULT);
3137         }
3138
3139         return copy;
3140 }
3141
3142 static char *copy_mount_string(const void __user *data)
3143 {
3144         return data ? strndup_user(data, PATH_MAX) : NULL;
3145 }
3146
3147 /*
3148  * Flags is a 32-bit value that allows up to 31 non-fs dependent flags to
3149  * be given to the mount() call (ie: read-only, no-dev, no-suid etc).
3150  *
3151  * data is a (void *) that can point to any structure up to
3152  * PAGE_SIZE-1 bytes, which can contain arbitrary fs-dependent
3153  * information (or be NULL).
3154  *
3155  * Pre-0.97 versions of mount() didn't have a flags word.
3156  * When the flags word was introduced its top half was required
3157  * to have the magic value 0xC0ED, and this remained so until 2.4.0-test9.
3158  * Therefore, if this magic number is present, it carries no information
3159  * and must be discarded.
3160  */
3161 int path_mount(const char *dev_name, struct path *path,
3162                 const char *type_page, unsigned long flags, void *data_page)
3163 {
3164         unsigned int mnt_flags = 0, sb_flags;
3165         int ret;
3166
3167         /* Discard magic */
3168         if ((flags & MS_MGC_MSK) == MS_MGC_VAL)
3169                 flags &= ~MS_MGC_MSK;
3170
3171         /* Basic sanity checks */
3172         if (data_page)
3173                 ((char *)data_page)[PAGE_SIZE - 1] = 0;
3174
3175         if (flags & MS_NOUSER)
3176                 return -EINVAL;
3177
3178         ret = security_sb_mount(dev_name, path, type_page, flags, data_page);
3179         if (ret)
3180                 return ret;
3181         if (!may_mount())
3182                 return -EPERM;
3183         if ((flags & SB_MANDLOCK) && !may_mandlock())
3184                 return -EPERM;
3185
3186         /* Default to relatime unless overriden */
3187         if (!(flags & MS_NOATIME))
3188                 mnt_flags |= MNT_RELATIME;
3189
3190         /* Separate the per-mountpoint flags */
3191         if (flags & MS_NOSUID)
3192                 mnt_flags |= MNT_NOSUID;
3193         if (flags & MS_NODEV)
3194                 mnt_flags |= MNT_NODEV;
3195         if (flags & MS_NOEXEC)
3196                 mnt_flags |= MNT_NOEXEC;
3197         if (flags & MS_NOATIME)
3198                 mnt_flags |= MNT_NOATIME;
3199         if (flags & MS_NODIRATIME)
3200                 mnt_flags |= MNT_NODIRATIME;
3201         if (flags & MS_STRICTATIME)
3202                 mnt_flags &= ~(MNT_RELATIME | MNT_NOATIME);
3203         if (flags & MS_RDONLY)
3204                 mnt_flags |= MNT_READONLY;
3205         if (flags & MS_NOSYMFOLLOW)
3206                 mnt_flags |= MNT_NOSYMFOLLOW;
3207
3208         /* The default atime for remount is preservation */
3209         if ((flags & MS_REMOUNT) &&
3210             ((flags & (MS_NOATIME | MS_NODIRATIME | MS_RELATIME |
3211                        MS_STRICTATIME)) == 0)) {
3212                 mnt_flags &= ~MNT_ATIME_MASK;
3213                 mnt_flags |= path->mnt->mnt_flags & MNT_ATIME_MASK;
3214         }
3215
3216         sb_flags = flags & (SB_RDONLY |
3217                             SB_SYNCHRONOUS |
3218                             SB_MANDLOCK |
3219                             SB_DIRSYNC |
3220                             SB_SILENT |
3221                             SB_POSIXACL |
3222                             SB_LAZYTIME |
3223                             SB_I_VERSION);
3224
3225         if ((flags & (MS_REMOUNT | MS_BIND)) == (MS_REMOUNT | MS_BIND))
3226                 return do_reconfigure_mnt(path, mnt_flags);
3227         if (flags & MS_REMOUNT)
3228                 return do_remount(path, flags, sb_flags, mnt_flags, data_page);
3229         if (flags & MS_BIND)
3230                 return do_loopback(path, dev_name, flags & MS_REC);
3231         if (flags & (MS_SHARED | MS_PRIVATE | MS_SLAVE | MS_UNBINDABLE))
3232                 return do_change_type(path, flags);
3233         if (flags & MS_MOVE)
3234                 return do_move_mount_old(path, dev_name);
3235
3236         return do_new_mount(path, type_page, sb_flags, mnt_flags, dev_name,
3237                             data_page);
3238 }
3239
3240 long do_mount(const char *dev_name, const char __user *dir_name,
3241                 const char *type_page, unsigned long flags, void *data_page)
3242 {
3243         struct path path;
3244         int ret;
3245
3246         ret = user_path_at(AT_FDCWD, dir_name, LOOKUP_FOLLOW, &path);
3247         if (ret)
3248                 return ret;
3249         ret = path_mount(dev_name, &path, type_page, flags, data_page);
3250         path_put(&path);
3251         return ret;
3252 }
3253
3254 static struct ucounts *inc_mnt_namespaces(struct user_namespace *ns)
3255 {
3256         return inc_ucount(ns, current_euid(), UCOUNT_MNT_NAMESPACES);
3257 }
3258
3259 static void dec_mnt_namespaces(struct ucounts *ucounts)
3260 {
3261         dec_ucount(ucounts, UCOUNT_MNT_NAMESPACES);
3262 }
3263
3264 static void free_mnt_ns(struct mnt_namespace *ns)
3265 {
3266         if (!is_anon_ns(ns))
3267                 ns_free_inum(&ns->ns);
3268         dec_mnt_namespaces(ns->ucounts);
3269         put_user_ns(ns->user_ns);
3270         kfree(ns);
3271 }
3272
3273 /*
3274  * Assign a sequence number so we can detect when we attempt to bind
3275  * mount a reference to an older mount namespace into the current
3276  * mount namespace, preventing reference counting loops.  A 64bit
3277  * number incrementing at 10Ghz will take 12,427 years to wrap which
3278  * is effectively never, so we can ignore the possibility.
3279  */
3280 static atomic64_t mnt_ns_seq = ATOMIC64_INIT(1);
3281
3282 static struct mnt_namespace *alloc_mnt_ns(struct user_namespace *user_ns, bool anon)
3283 {
3284         struct mnt_namespace *new_ns;
3285         struct ucounts *ucounts;
3286         int ret;
3287
3288         ucounts = inc_mnt_namespaces(user_ns);
3289         if (!ucounts)
3290                 return ERR_PTR(-ENOSPC);
3291
3292         new_ns = kzalloc(sizeof(struct mnt_namespace), GFP_KERNEL);
3293         if (!new_ns) {
3294                 dec_mnt_namespaces(ucounts);
3295                 return ERR_PTR(-ENOMEM);
3296         }
3297         if (!anon) {
3298                 ret = ns_alloc_inum(&new_ns->ns);
3299                 if (ret) {
3300                         kfree(new_ns);
3301                         dec_mnt_namespaces(ucounts);
3302                         return ERR_PTR(ret);
3303                 }
3304         }
3305         new_ns->ns.ops = &mntns_operations;
3306         if (!anon)
3307                 new_ns->seq = atomic64_add_return(1, &mnt_ns_seq);
3308         atomic_set(&new_ns->count, 1);
3309         INIT_LIST_HEAD(&new_ns->list);
3310         init_waitqueue_head(&new_ns->poll);
3311         spin_lock_init(&new_ns->ns_lock);
3312         new_ns->user_ns = get_user_ns(user_ns);
3313         new_ns->ucounts = ucounts;
3314         return new_ns;
3315 }
3316
3317 __latent_entropy
3318 struct mnt_namespace *copy_mnt_ns(unsigned long flags, struct mnt_namespace *ns,
3319                 struct user_namespace *user_ns, struct fs_struct *new_fs)
3320 {
3321         struct mnt_namespace *new_ns;
3322         struct vfsmount *rootmnt = NULL, *pwdmnt = NULL;
3323         struct mount *p, *q;
3324         struct mount *old;
3325         struct mount *new;
3326         int copy_flags;
3327
3328         BUG_ON(!ns);
3329
3330         if (likely(!(flags & CLONE_NEWNS))) {
3331                 get_mnt_ns(ns);
3332                 return ns;
3333         }
3334
3335         old = ns->root;
3336
3337         new_ns = alloc_mnt_ns(user_ns, false);
3338         if (IS_ERR(new_ns))
3339                 return new_ns;
3340
3341         namespace_lock();
3342         /* First pass: copy the tree topology */
3343         copy_flags = CL_COPY_UNBINDABLE | CL_EXPIRE;
3344         if (user_ns != ns->user_ns)
3345                 copy_flags |= CL_SHARED_TO_SLAVE;
3346         new = copy_tree(old, old->mnt.mnt_root, copy_flags);
3347         if (IS_ERR(new)) {
3348                 namespace_unlock();
3349                 free_mnt_ns(new_ns);
3350                 return ERR_CAST(new);
3351         }
3352         if (user_ns != ns->user_ns) {
3353                 lock_mount_hash();
3354                 lock_mnt_tree(new);
3355                 unlock_mount_hash();
3356         }
3357         new_ns->root = new;
3358         list_add_tail(&new_ns->list, &new->mnt_list);
3359
3360         /*
3361          * Second pass: switch the tsk->fs->* elements and mark new vfsmounts
3362          * as belonging to new namespace.  We have already acquired a private
3363          * fs_struct, so tsk->fs->lock is not needed.
3364          */
3365         p = old;
3366         q = new;
3367         while (p) {
3368                 q->mnt_ns = new_ns;
3369                 new_ns->mounts++;
3370                 if (new_fs) {
3371                         if (&p->mnt == new_fs->root.mnt) {
3372                                 new_fs->root.mnt = mntget(&q->mnt);
3373                                 rootmnt = &p->mnt;
3374                         }
3375                         if (&p->mnt == new_fs->pwd.mnt) {
3376                                 new_fs->pwd.mnt = mntget(&q->mnt);
3377                                 pwdmnt = &p->mnt;
3378                         }
3379                 }
3380                 p = next_mnt(p, old);
3381                 q = next_mnt(q, new);
3382                 if (!q)
3383                         break;
3384                 while (p->mnt.mnt_root != q->mnt.mnt_root)
3385                         p = next_mnt(p, old);
3386         }
3387         namespace_unlock();
3388
3389         if (rootmnt)
3390                 mntput(rootmnt);
3391         if (pwdmnt)
3392                 mntput(pwdmnt);
3393
3394         return new_ns;
3395 }
3396
3397 struct dentry *mount_subtree(struct vfsmount *m, const char *name)
3398 {
3399         struct mount *mnt = real_mount(m);
3400         struct mnt_namespace *ns;
3401         struct super_block *s;
3402         struct path path;
3403         int err;
3404
3405         ns = alloc_mnt_ns(&init_user_ns, true);
3406         if (IS_ERR(ns)) {
3407                 mntput(m);
3408                 return ERR_CAST(ns);
3409         }
3410         mnt->mnt_ns = ns;
3411         ns->root = mnt;
3412         ns->mounts++;
3413         list_add(&mnt->mnt_list, &ns->list);
3414
3415         err = vfs_path_lookup(m->mnt_root, m,
3416                         name, LOOKUP_FOLLOW|LOOKUP_AUTOMOUNT, &path);
3417
3418         put_mnt_ns(ns);
3419
3420         if (err)
3421                 return ERR_PTR(err);
3422
3423         /* trade a vfsmount reference for active sb one */
3424         s = path.mnt->mnt_sb;
3425         atomic_inc(&s->s_active);
3426         mntput(path.mnt);
3427         /* lock the sucker */
3428         down_write(&s->s_umount);
3429         /* ... and return the root of (sub)tree on it */
3430         return path.dentry;
3431 }
3432 EXPORT_SYMBOL(mount_subtree);
3433
3434 SYSCALL_DEFINE5(mount, char __user *, dev_name, char __user *, dir_name,
3435                 char __user *, type, unsigned long, flags, void __user *, data)
3436 {
3437         int ret;
3438         char *kernel_type;
3439         char *kernel_dev;
3440         void *options;
3441
3442         kernel_type = copy_mount_string(type);
3443         ret = PTR_ERR(kernel_type);
3444         if (IS_ERR(kernel_type))
3445                 goto out_type;
3446
3447         kernel_dev = copy_mount_string(dev_name);
3448         ret = PTR_ERR(kernel_dev);
3449         if (IS_ERR(kernel_dev))
3450                 goto out_dev;
3451
3452         options = copy_mount_options(data);
3453         ret = PTR_ERR(options);
3454         if (IS_ERR(options))
3455                 goto out_data;
3456
3457         ret = do_mount(kernel_dev, dir_name, kernel_type, flags, options);
3458
3459         kfree(options);
3460 out_data:
3461         kfree(kernel_dev);
3462 out_dev:
3463         kfree(kernel_type);
3464 out_type:
3465         return ret;
3466 }
3467
3468 /*
3469  * Create a kernel mount representation for a new, prepared superblock
3470  * (specified by fs_fd) and attach to an open_tree-like file descriptor.
3471  */
3472 SYSCALL_DEFINE3(fsmount, int, fs_fd, unsigned int, flags,
3473                 unsigned int, attr_flags)
3474 {
3475         struct mnt_namespace *ns;
3476         struct fs_context *fc;
3477         struct file *file;
3478         struct path newmount;
3479         struct mount *mnt;
3480         struct fd f;
3481         unsigned int mnt_flags = 0;
3482         long ret;
3483
3484         if (!may_mount())
3485                 return -EPERM;
3486
3487         if ((flags & ~(FSMOUNT_CLOEXEC)) != 0)
3488                 return -EINVAL;
3489
3490         if (attr_flags & ~(MOUNT_ATTR_RDONLY |
3491                            MOUNT_ATTR_NOSUID |
3492                            MOUNT_ATTR_NODEV |
3493                            MOUNT_ATTR_NOEXEC |
3494                            MOUNT_ATTR__ATIME |
3495                            MOUNT_ATTR_NODIRATIME))
3496                 return -EINVAL;
3497
3498         if (attr_flags & MOUNT_ATTR_RDONLY)
3499                 mnt_flags |= MNT_READONLY;
3500         if (attr_flags & MOUNT_ATTR_NOSUID)
3501                 mnt_flags |= MNT_NOSUID;
3502         if (attr_flags & MOUNT_ATTR_NODEV)
3503                 mnt_flags |= MNT_NODEV;
3504         if (attr_flags & MOUNT_ATTR_NOEXEC)
3505                 mnt_flags |= MNT_NOEXEC;
3506         if (attr_flags & MOUNT_ATTR_NODIRATIME)
3507                 mnt_flags |= MNT_NODIRATIME;
3508
3509         switch (attr_flags & MOUNT_ATTR__ATIME) {
3510         case MOUNT_ATTR_STRICTATIME:
3511                 break;
3512         case MOUNT_ATTR_NOATIME:
3513                 mnt_flags |= MNT_NOATIME;
3514                 break;
3515         case MOUNT_ATTR_RELATIME:
3516                 mnt_flags |= MNT_RELATIME;
3517                 break;
3518         default:
3519                 return -EINVAL;
3520         }
3521
3522         f = fdget(fs_fd);
3523         if (!f.file)
3524                 return -EBADF;
3525
3526         ret = -EINVAL;
3527         if (f.file->f_op != &fscontext_fops)
3528                 goto err_fsfd;
3529
3530         fc = f.file->private_data;
3531
3532         ret = mutex_lock_interruptible(&fc->uapi_mutex);
3533         if (ret < 0)
3534                 goto err_fsfd;
3535
3536         /* There must be a valid superblock or we can't mount it */
3537         ret = -EINVAL;
3538         if (!fc->root)
3539                 goto err_unlock;
3540
3541         ret = -EPERM;
3542         if (mount_too_revealing(fc->root->d_sb, &mnt_flags)) {
3543                 pr_warn("VFS: Mount too revealing\n");
3544                 goto err_unlock;
3545         }
3546
3547         ret = -EBUSY;
3548         if (fc->phase != FS_CONTEXT_AWAITING_MOUNT)
3549                 goto err_unlock;
3550
3551         ret = -EPERM;
3552         if ((fc->sb_flags & SB_MANDLOCK) && !may_mandlock())
3553                 goto err_unlock;
3554
3555         newmount.mnt = vfs_create_mount(fc);
3556         if (IS_ERR(newmount.mnt)) {
3557                 ret = PTR_ERR(newmount.mnt);
3558                 goto err_unlock;
3559         }
3560         newmount.dentry = dget(fc->root);
3561         newmount.mnt->mnt_flags = mnt_flags;
3562
3563         /* We've done the mount bit - now move the file context into more or
3564          * less the same state as if we'd done an fspick().  We don't want to
3565          * do any memory allocation or anything like that at this point as we
3566          * don't want to have to handle any errors incurred.
3567          */
3568         vfs_clean_context(fc);
3569
3570         ns = alloc_mnt_ns(current->nsproxy->mnt_ns->user_ns, true);
3571         if (IS_ERR(ns)) {
3572                 ret = PTR_ERR(ns);
3573                 goto err_path;
3574         }
3575         mnt = real_mount(newmount.mnt);
3576         mnt->mnt_ns = ns;
3577         ns->root = mnt;
3578         ns->mounts = 1;
3579         list_add(&mnt->mnt_list, &ns->list);
3580         mntget(newmount.mnt);
3581
3582         /* Attach to an apparent O_PATH fd with a note that we need to unmount
3583          * it, not just simply put it.
3584          */
3585         file = dentry_open(&newmount, O_PATH, fc->cred);
3586         if (IS_ERR(file)) {
3587                 dissolve_on_fput(newmount.mnt);
3588                 ret = PTR_ERR(file);
3589                 goto err_path;
3590         }
3591         file->f_mode |= FMODE_NEED_UNMOUNT;
3592
3593         ret = get_unused_fd_flags((flags & FSMOUNT_CLOEXEC) ? O_CLOEXEC : 0);
3594         if (ret >= 0)
3595                 fd_install(ret, file);
3596         else
3597                 fput(file);
3598
3599 err_path:
3600         path_put(&newmount);
3601 err_unlock:
3602         mutex_unlock(&fc->uapi_mutex);
3603 err_fsfd:
3604         fdput(f);
3605         return ret;
3606 }
3607
3608 /*
3609  * Move a mount from one place to another.  In combination with
3610  * fsopen()/fsmount() this is used to install a new mount and in combination
3611  * with open_tree(OPEN_TREE_CLONE [| AT_RECURSIVE]) it can be used to copy
3612  * a mount subtree.
3613  *
3614  * Note the flags value is a combination of MOVE_MOUNT_* flags.
3615  */
3616 SYSCALL_DEFINE5(move_mount,
3617                 int, from_dfd, const char __user *, from_pathname,
3618                 int, to_dfd, const char __user *, to_pathname,
3619                 unsigned int, flags)
3620 {
3621         struct path from_path, to_path;
3622         unsigned int lflags;
3623         int ret = 0;
3624
3625         if (!may_mount())
3626                 return -EPERM;
3627
3628         if (flags & ~MOVE_MOUNT__MASK)
3629                 return -EINVAL;
3630
3631         /* If someone gives a pathname, they aren't permitted to move
3632          * from an fd that requires unmount as we can't get at the flag
3633          * to clear it afterwards.
3634          */
3635         lflags = 0;
3636         if (flags & MOVE_MOUNT_F_SYMLINKS)      lflags |= LOOKUP_FOLLOW;
3637         if (flags & MOVE_MOUNT_F_AUTOMOUNTS)    lflags |= LOOKUP_AUTOMOUNT;
3638         if (flags & MOVE_MOUNT_F_EMPTY_PATH)    lflags |= LOOKUP_EMPTY;
3639
3640         ret = user_path_at(from_dfd, from_pathname, lflags, &from_path);
3641         if (ret < 0)
3642                 return ret;
3643
3644         lflags = 0;
3645         if (flags & MOVE_MOUNT_T_SYMLINKS)      lflags |= LOOKUP_FOLLOW;
3646         if (flags & MOVE_MOUNT_T_AUTOMOUNTS)    lflags |= LOOKUP_AUTOMOUNT;
3647         if (flags & MOVE_MOUNT_T_EMPTY_PATH)    lflags |= LOOKUP_EMPTY;
3648
3649         ret = user_path_at(to_dfd, to_pathname, lflags, &to_path);
3650         if (ret < 0)
3651                 goto out_from;
3652
3653         ret = security_move_mount(&from_path, &to_path);
3654         if (ret < 0)
3655                 goto out_to;
3656
3657         ret = do_move_mount(&from_path, &to_path);
3658
3659 out_to:
3660         path_put(&to_path);
3661 out_from:
3662         path_put(&from_path);
3663         return ret;
3664 }
3665
3666 /*
3667  * Return true if path is reachable from root
3668  *
3669  * namespace_sem or mount_lock is held
3670  */
3671 bool is_path_reachable(struct mount *mnt, struct dentry *dentry,
3672                          const struct path *root)
3673 {
3674         while (&mnt->mnt != root->mnt && mnt_has_parent(mnt)) {
3675                 dentry = mnt->mnt_mountpoint;
3676                 mnt = mnt->mnt_parent;
3677         }
3678         return &mnt->mnt == root->mnt && is_subdir(dentry, root->dentry);
3679 }
3680
3681 bool path_is_under(const struct path *path1, const struct path *path2)
3682 {
3683         bool res;
3684         read_seqlock_excl(&mount_lock);
3685         res = is_path_reachable(real_mount(path1->mnt), path1->dentry, path2);
3686         read_sequnlock_excl(&mount_lock);
3687         return res;
3688 }
3689 EXPORT_SYMBOL(path_is_under);
3690
3691 /*
3692  * pivot_root Semantics:
3693  * Moves the root file system of the current process to the directory put_old,
3694  * makes new_root as the new root file system of the current process, and sets
3695  * root/cwd of all processes which had them on the current root to new_root.
3696  *
3697  * Restrictions:
3698  * The new_root and put_old must be directories, and  must not be on the
3699  * same file  system as the current process root. The put_old  must  be
3700  * underneath new_root,  i.e. adding a non-zero number of /.. to the string
3701  * pointed to by put_old must yield the same directory as new_root. No other
3702  * file system may be mounted on put_old. After all, new_root is a mountpoint.
3703  *
3704  * Also, the current root cannot be on the 'rootfs' (initial ramfs) filesystem.
3705  * See Documentation/filesystems/ramfs-rootfs-initramfs.rst for alternatives
3706  * in this situation.
3707  *
3708  * Notes:
3709  *  - we don't move root/cwd if they are not at the root (reason: if something
3710  *    cared enough to change them, it's probably wrong to force them elsewhere)
3711  *  - it's okay to pick a root that isn't the root of a file system, e.g.
3712  *    /nfs/my_root where /nfs is the mount point. It must be a mountpoint,
3713  *    though, so you may need to say mount --bind /nfs/my_root /nfs/my_root
3714  *    first.
3715  */
3716 SYSCALL_DEFINE2(pivot_root, const char __user *, new_root,
3717                 const char __user *, put_old)
3718 {
3719         struct path new, old, root;
3720         struct mount *new_mnt, *root_mnt, *old_mnt, *root_parent, *ex_parent;
3721         struct mountpoint *old_mp, *root_mp;
3722         int error;
3723
3724         if (!may_mount())
3725                 return -EPERM;
3726
3727         error = user_path_at(AT_FDCWD, new_root,
3728                              LOOKUP_FOLLOW | LOOKUP_DIRECTORY, &new);
3729         if (error)
3730                 goto out0;
3731
3732         error = user_path_at(AT_FDCWD, put_old,
3733                              LOOKUP_FOLLOW | LOOKUP_DIRECTORY, &old);
3734         if (error)
3735                 goto out1;
3736
3737         error = security_sb_pivotroot(&old, &new);
3738         if (error)
3739                 goto out2;
3740
3741         get_fs_root(current->fs, &root);
3742         old_mp = lock_mount(&old);
3743         error = PTR_ERR(old_mp);
3744         if (IS_ERR(old_mp))
3745                 goto out3;
3746
3747         error = -EINVAL;
3748         new_mnt = real_mount(new.mnt);
3749         root_mnt = real_mount(root.mnt);
3750         old_mnt = real_mount(old.mnt);
3751         ex_parent = new_mnt->mnt_parent;
3752         root_parent = root_mnt->mnt_parent;
3753         if (IS_MNT_SHARED(old_mnt) ||
3754                 IS_MNT_SHARED(ex_parent) ||
3755                 IS_MNT_SHARED(root_parent))
3756                 goto out4;
3757         if (!check_mnt(root_mnt) || !check_mnt(new_mnt))
3758                 goto out4;
3759         if (new_mnt->mnt.mnt_flags & MNT_LOCKED)
3760                 goto out4;
3761         error = -ENOENT;
3762         if (d_unlinked(new.dentry))
3763                 goto out4;
3764         error = -EBUSY;
3765         if (new_mnt == root_mnt || old_mnt == root_mnt)
3766                 goto out4; /* loop, on the same file system  */
3767         error = -EINVAL;
3768         if (root.mnt->mnt_root != root.dentry)
3769                 goto out4; /* not a mountpoint */
3770         if (!mnt_has_parent(root_mnt))
3771                 goto out4; /* not attached */
3772         if (new.mnt->mnt_root != new.dentry)
3773                 goto out4; /* not a mountpoint */
3774         if (!mnt_has_parent(new_mnt))
3775                 goto out4; /* not attached */
3776         /* make sure we can reach put_old from new_root */
3777         if (!is_path_reachable(old_mnt, old.dentry, &new))
3778                 goto out4;
3779         /* make certain new is below the root */
3780         if (!is_path_reachable(new_mnt, new.dentry, &root))
3781                 goto out4;
3782         lock_mount_hash();
3783         umount_mnt(new_mnt);
3784         root_mp = unhash_mnt(root_mnt);  /* we'll need its mountpoint */
3785         if (root_mnt->mnt.mnt_flags & MNT_LOCKED) {
3786                 new_mnt->mnt.mnt_flags |= MNT_LOCKED;
3787                 root_mnt->mnt.mnt_flags &= ~MNT_LOCKED;
3788         }
3789         /* mount old root on put_old */
3790         attach_mnt(root_mnt, old_mnt, old_mp);
3791         /* mount new_root on / */
3792         attach_mnt(new_mnt, root_parent, root_mp);
3793         mnt_add_count(root_parent, -1);
3794         touch_mnt_namespace(current->nsproxy->mnt_ns);
3795         /* A moved mount should not expire automatically */
3796         list_del_init(&new_mnt->mnt_expire);
3797         put_mountpoint(root_mp);
3798         unlock_mount_hash();
3799         chroot_fs_refs(&root, &new);
3800         error = 0;
3801 out4:
3802         unlock_mount(old_mp);
3803         if (!error)
3804                 mntput_no_expire(ex_parent);
3805 out3:
3806         path_put(&root);
3807 out2:
3808         path_put(&old);
3809 out1:
3810         path_put(&new);
3811 out0:
3812         return error;
3813 }
3814
3815 static void __init init_mount_tree(void)
3816 {
3817         struct vfsmount *mnt;
3818         struct mount *m;
3819         struct mnt_namespace *ns;
3820         struct path root;
3821
3822         mnt = vfs_kern_mount(&rootfs_fs_type, 0, "rootfs", NULL);
3823         if (IS_ERR(mnt))
3824                 panic("Can't create rootfs");
3825
3826         ns = alloc_mnt_ns(&init_user_ns, false);
3827         if (IS_ERR(ns))
3828                 panic("Can't allocate initial namespace");
3829         m = real_mount(mnt);
3830         m->mnt_ns = ns;
3831         ns->root = m;
3832         ns->mounts = 1;
3833         list_add(&m->mnt_list, &ns->list);
3834         init_task.nsproxy->mnt_ns = ns;
3835         get_mnt_ns(ns);
3836
3837         root.mnt = mnt;
3838         root.dentry = mnt->mnt_root;
3839         mnt->mnt_flags |= MNT_LOCKED;
3840
3841         set_fs_pwd(current->fs, &root);
3842         set_fs_root(current->fs, &root);
3843 }
3844
3845 void __init mnt_init(void)
3846 {
3847         int err;
3848
3849         mnt_cache = kmem_cache_create("mnt_cache", sizeof(struct mount),
3850                         0, SLAB_HWCACHE_ALIGN | SLAB_PANIC, NULL);
3851
3852         mount_hashtable = alloc_large_system_hash("Mount-cache",
3853                                 sizeof(struct hlist_head),
3854                                 mhash_entries, 19,
3855                                 HASH_ZERO,
3856                                 &m_hash_shift, &m_hash_mask, 0, 0);
3857         mountpoint_hashtable = alloc_large_system_hash("Mountpoint-cache",
3858                                 sizeof(struct hlist_head),
3859                                 mphash_entries, 19,
3860                                 HASH_ZERO,
3861                                 &mp_hash_shift, &mp_hash_mask, 0, 0);
3862
3863         if (!mount_hashtable || !mountpoint_hashtable)
3864                 panic("Failed to allocate mount hash table\n");
3865
3866         kernfs_init();
3867
3868         err = sysfs_init();
3869         if (err)
3870                 printk(KERN_WARNING "%s: sysfs_init error: %d\n",
3871                         __func__, err);
3872         fs_kobj = kobject_create_and_add("fs", NULL);
3873         if (!fs_kobj)
3874                 printk(KERN_WARNING "%s: kobj create error\n", __func__);
3875         shmem_init();
3876         init_rootfs();
3877         init_mount_tree();
3878 }
3879
3880 void put_mnt_ns(struct mnt_namespace *ns)
3881 {
3882         if (!atomic_dec_and_test(&ns->count))
3883                 return;
3884         drop_collected_mounts(&ns->root->mnt);
3885         free_mnt_ns(ns);
3886 }
3887
3888 struct vfsmount *kern_mount(struct file_system_type *type)
3889 {
3890         struct vfsmount *mnt;
3891         mnt = vfs_kern_mount(type, SB_KERNMOUNT, type->name, NULL);
3892         if (!IS_ERR(mnt)) {
3893                 /*
3894                  * it is a longterm mount, don't release mnt until
3895                  * we unmount before file sys is unregistered
3896                 */
3897                 real_mount(mnt)->mnt_ns = MNT_NS_INTERNAL;
3898         }
3899         return mnt;
3900 }
3901 EXPORT_SYMBOL_GPL(kern_mount);
3902
3903 void kern_unmount(struct vfsmount *mnt)
3904 {
3905         /* release long term mount so mount point can be released */
3906         if (!IS_ERR_OR_NULL(mnt)) {
3907                 real_mount(mnt)->mnt_ns = NULL;
3908                 synchronize_rcu();      /* yecchhh... */
3909                 mntput(mnt);
3910         }
3911 }
3912 EXPORT_SYMBOL(kern_unmount);
3913
3914 void kern_unmount_array(struct vfsmount *mnt[], unsigned int num)
3915 {
3916         unsigned int i;
3917
3918         for (i = 0; i < num; i++)
3919                 if (mnt[i])
3920                         real_mount(mnt[i])->mnt_ns = NULL;
3921         synchronize_rcu_expedited();
3922         for (i = 0; i < num; i++)
3923                 mntput(mnt[i]);
3924 }
3925 EXPORT_SYMBOL(kern_unmount_array);
3926
3927 bool our_mnt(struct vfsmount *mnt)
3928 {
3929         return check_mnt(real_mount(mnt));
3930 }
3931
3932 bool current_chrooted(void)
3933 {
3934         /* Does the current process have a non-standard root */
3935         struct path ns_root;
3936         struct path fs_root;
3937         bool chrooted;
3938
3939         /* Find the namespace root */
3940         ns_root.mnt = &current->nsproxy->mnt_ns->root->mnt;
3941         ns_root.dentry = ns_root.mnt->mnt_root;
3942         path_get(&ns_root);
3943         while (d_mountpoint(ns_root.dentry) && follow_down_one(&ns_root))
3944                 ;
3945
3946         get_fs_root(current->fs, &fs_root);
3947
3948         chrooted = !path_equal(&fs_root, &ns_root);
3949
3950         path_put(&fs_root);
3951         path_put(&ns_root);
3952
3953         return chrooted;
3954 }
3955
3956 static bool mnt_already_visible(struct mnt_namespace *ns,
3957                                 const struct super_block *sb,
3958                                 int *new_mnt_flags)
3959 {
3960         int new_flags = *new_mnt_flags;
3961         struct mount *mnt;
3962         bool visible = false;
3963
3964         down_read(&namespace_sem);
3965         lock_ns_list(ns);
3966         list_for_each_entry(mnt, &ns->list, mnt_list) {
3967                 struct mount *child;
3968                 int mnt_flags;
3969
3970                 if (mnt_is_cursor(mnt))
3971                         continue;
3972
3973                 if (mnt->mnt.mnt_sb->s_type != sb->s_type)
3974                         continue;
3975
3976                 /* This mount is not fully visible if it's root directory
3977                  * is not the root directory of the filesystem.
3978                  */
3979                 if (mnt->mnt.mnt_root != mnt->mnt.mnt_sb->s_root)
3980                         continue;
3981
3982                 /* A local view of the mount flags */
3983                 mnt_flags = mnt->mnt.mnt_flags;
3984
3985                 /* Don't miss readonly hidden in the superblock flags */
3986                 if (sb_rdonly(mnt->mnt.mnt_sb))
3987                         mnt_flags |= MNT_LOCK_READONLY;
3988
3989                 /* Verify the mount flags are equal to or more permissive
3990                  * than the proposed new mount.
3991                  */
3992                 if ((mnt_flags & MNT_LOCK_READONLY) &&
3993                     !(new_flags & MNT_READONLY))
3994                         continue;
3995                 if ((mnt_flags & MNT_LOCK_ATIME) &&
3996                     ((mnt_flags & MNT_ATIME_MASK) != (new_flags & MNT_ATIME_MASK)))
3997                         continue;
3998
3999                 /* This mount is not fully visible if there are any
4000                  * locked child mounts that cover anything except for
4001                  * empty directories.
4002                  */
4003                 list_for_each_entry(child, &mnt->mnt_mounts, mnt_child) {
4004                         struct inode *inode = child->mnt_mountpoint->d_inode;
4005                         /* Only worry about locked mounts */
4006                         if (!(child->mnt.mnt_flags & MNT_LOCKED))
4007                                 continue;
4008                         /* Is the directory permanetly empty? */
4009                         if (!is_empty_dir_inode(inode))
4010                                 goto next;
4011                 }
4012                 /* Preserve the locked attributes */
4013                 *new_mnt_flags |= mnt_flags & (MNT_LOCK_READONLY | \
4014                                                MNT_LOCK_ATIME);
4015                 visible = true;
4016                 goto found;
4017         next:   ;
4018         }
4019 found:
4020         unlock_ns_list(ns);
4021         up_read(&namespace_sem);
4022         return visible;
4023 }
4024
4025 static bool mount_too_revealing(const struct super_block *sb, int *new_mnt_flags)
4026 {
4027         const unsigned long required_iflags = SB_I_NOEXEC | SB_I_NODEV;
4028         struct mnt_namespace *ns = current->nsproxy->mnt_ns;
4029         unsigned long s_iflags;
4030
4031         if (ns->user_ns == &init_user_ns)
4032                 return false;
4033
4034         /* Can this filesystem be too revealing? */
4035         s_iflags = sb->s_iflags;
4036         if (!(s_iflags & SB_I_USERNS_VISIBLE))
4037                 return false;
4038
4039         if ((s_iflags & required_iflags) != required_iflags) {
4040                 WARN_ONCE(1, "Expected s_iflags to contain 0x%lx\n",
4041                           required_iflags);
4042                 return true;
4043         }
4044
4045         return !mnt_already_visible(ns, sb, new_mnt_flags);
4046 }
4047
4048 bool mnt_may_suid(struct vfsmount *mnt)
4049 {
4050         /*
4051          * Foreign mounts (accessed via fchdir or through /proc
4052          * symlinks) are always treated as if they are nosuid.  This
4053          * prevents namespaces from trusting potentially unsafe
4054          * suid/sgid bits, file caps, or security labels that originate
4055          * in other namespaces.
4056          */
4057         return !(mnt->mnt_flags & MNT_NOSUID) && check_mnt(real_mount(mnt)) &&
4058                current_in_userns(mnt->mnt_sb->s_user_ns);
4059 }
4060
4061 static struct ns_common *mntns_get(struct task_struct *task)
4062 {
4063         struct ns_common *ns = NULL;
4064         struct nsproxy *nsproxy;
4065
4066         task_lock(task);
4067         nsproxy = task->nsproxy;
4068         if (nsproxy) {
4069                 ns = &nsproxy->mnt_ns->ns;
4070                 get_mnt_ns(to_mnt_ns(ns));
4071         }
4072         task_unlock(task);
4073
4074         return ns;
4075 }
4076
4077 static void mntns_put(struct ns_common *ns)
4078 {
4079         put_mnt_ns(to_mnt_ns(ns));
4080 }
4081
4082 static int mntns_install(struct nsset *nsset, struct ns_common *ns)
4083 {
4084         struct nsproxy *nsproxy = nsset->nsproxy;
4085         struct fs_struct *fs = nsset->fs;
4086         struct mnt_namespace *mnt_ns = to_mnt_ns(ns), *old_mnt_ns;
4087         struct user_namespace *user_ns = nsset->cred->user_ns;
4088         struct path root;
4089         int err;
4090
4091         if (!ns_capable(mnt_ns->user_ns, CAP_SYS_ADMIN) ||
4092             !ns_capable(user_ns, CAP_SYS_CHROOT) ||
4093             !ns_capable(user_ns, CAP_SYS_ADMIN))
4094                 return -EPERM;
4095
4096         if (is_anon_ns(mnt_ns))
4097                 return -EINVAL;
4098
4099         if (fs->users != 1)
4100                 return -EINVAL;
4101
4102         get_mnt_ns(mnt_ns);
4103         old_mnt_ns = nsproxy->mnt_ns;
4104         nsproxy->mnt_ns = mnt_ns;
4105
4106         /* Find the root */
4107         err = vfs_path_lookup(mnt_ns->root->mnt.mnt_root, &mnt_ns->root->mnt,
4108                                 "/", LOOKUP_DOWN, &root);
4109         if (err) {
4110                 /* revert to old namespace */
4111                 nsproxy->mnt_ns = old_mnt_ns;
4112                 put_mnt_ns(mnt_ns);
4113                 return err;
4114         }
4115
4116         put_mnt_ns(old_mnt_ns);
4117
4118         /* Update the pwd and root */
4119         set_fs_pwd(fs, &root);
4120         set_fs_root(fs, &root);
4121
4122         path_put(&root);
4123         return 0;
4124 }
4125
4126 static struct user_namespace *mntns_owner(struct ns_common *ns)
4127 {
4128         return to_mnt_ns(ns)->user_ns;
4129 }
4130
4131 const struct proc_ns_operations mntns_operations = {
4132         .name           = "mnt",
4133         .type           = CLONE_NEWNS,
4134         .get            = mntns_get,
4135         .put            = mntns_put,
4136         .install        = mntns_install,
4137         .owner          = mntns_owner,
4138 };