cmds-send.c

   1 /*
   2  * Copyright (C) 2012 Alexander Block.  All rights reserved.
   3  *
   4  * This program is free software; you can redistribute it and/or
   5  * modify it under the terms of the GNU General Public
   6  * License v2 as published by the Free Software Foundation.
   7  *
   8  * This program is distributed in the hope that it will be useful,
   9  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  10  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  11  * General Public License for more details.
  12  *
  13  * You should have received a copy of the GNU General Public
  14  * License along with this program; if not, write to the
  15  * Free Software Foundation, Inc., 59 Temple Place - Suite 330,
  16  * Boston, MA 021110-1307, USA.
  17  */
  18
  19 #define _GNU_SOURCE
  20
  21 #include "kerncompat.h"
  22
  23 #include <unistd.h>
  24 #include <stdint.h>
  25 #include <dirent.h>
  26 #include <fcntl.h>
  27 #include <pthread.h>
  28 #include <math.h>
  29 #include <sys/stat.h>
  30 #include <sys/types.h>
  31 #include <sys/ioctl.h>
  32 #include <libgen.h>
  33 #include <mntent.h>
  34 #include <assert.h>
  35
  36 #include <uuid/uuid.h>
  37
  38 #include "ctree.h"
  39 #include "ioctl.h"
  40 #include "commands.h"
  41 #include "list.h"
  42 #include "utils.h"
  43
  44 #include "send.h"
  45 #include "send-utils.h"
  46
  47 static int g_verbose = 0;
  48
  49 struct btrfs_send {
  50         int send_fd;
  51         int dump_fd;
  52         int mnt_fd;
  53
  54         u64 *clone_sources;
  55         u64 clone_sources_count;
  56
  57         char *root_path;
  58         struct subvol_uuid_search sus;
  59 };
  60
  61 static int get_root_id(struct btrfs_send *s, const char *path, u64 *root_id)
  62 {
  63         struct subvol_info *si;
  64
  65         si = subvol_uuid_search(&s->sus, 0, NULL, 0, path,
  66                         subvol_search_by_path);
  67         if (!si)
  68                 return -ENOENT;
  69         *root_id = si->root_id;
  70         free(si->path);
  71         free(si);
  72         return 0;
  73 }
  74
  75 static struct subvol_info *get_parent(struct btrfs_send *s, u64 root_id)
  76 {
  77         struct subvol_info *si_tmp;
  78         struct subvol_info *si;
  79
  80         si_tmp = subvol_uuid_search(&s->sus, root_id, NULL, 0, NULL,
  81                         subvol_search_by_root_id);
  82         if (!si_tmp)
  83                 return NULL;
  84
  85         si = subvol_uuid_search(&s->sus, 0, si_tmp->parent_uuid, 0, NULL,
  86                         subvol_search_by_uuid);
  87         free(si_tmp->path);
  88         free(si_tmp);
  89         return si;
  90 }
  91
  92 static int find_good_parent(struct btrfs_send *s, u64 root_id, u64 *found)
  93 {
  94         int ret;
  95         struct subvol_info *parent = NULL;
  96         struct subvol_info *parent2 = NULL;
  97         struct subvol_info *best_parent = NULL;
  98         __s64 tmp;
  99         u64 best_diff = (u64)-1;
 100         int i;
 101
 102         parent = get_parent(s, root_id);
 103         if (!parent) {
 104                 ret = -ENOENT;
 105                 goto out;
 106         }
 107
 108         for (i = 0; i < s->clone_sources_count; i++) {
 109                 if (s->clone_sources[i] == parent->root_id) {
 110                         best_parent = parent;
 111                         parent = NULL;
 112                         goto out_found;
 113                 }
 114         }
 115
 116         for (i = 0; i < s->clone_sources_count; i++) {
 117                 parent2 = get_parent(s, s->clone_sources[i]);
 118                 if (!parent2)
 119                         continue;
 120                 if (parent2->root_id != parent->root_id) {
 121                         free(parent2->path);
 122                         free(parent2);
 123                         parent2 = NULL;
 124                         continue;
 125                 }
 126
 127                 free(parent2->path);
 128                 free(parent2);
 129                 parent2 = subvol_uuid_search(&s->sus, s->clone_sources[i], NULL,
 130                                 0, NULL, subvol_search_by_root_id);
 131
 132                 if (!parent2) {
 133                         ret = -ENOENT;
 134                         goto out;
 135                 }
 136                 tmp = parent2->ctransid - parent->ctransid;
 137                 if (tmp < 0)
 138                         tmp *= -1;
 139                 if (tmp < best_diff) {
 140                         if (best_parent) {
 141                                 free(best_parent->path);
 142                                 free(best_parent);
 143                         }
 144                         best_parent = parent2;
 145                         parent2 = NULL;
 146                         best_diff = tmp;
 147                 } else {
 148                         free(parent2->path);
 149                         free(parent2);
 150                         parent2 = NULL;
 151                 }
 152         }
 153
 154         if (!best_parent) {
 155                 ret = -ENOENT;
 156                 goto out;
 157         }
 158
 159 out_found:
 160         *found = best_parent->root_id;
 161         ret = 0;
 162
 163 out:
 164         if (parent) {
 165                 free(parent->path);
 166                 free(parent);
 167         }
 168         if (best_parent) {
 169                 free(best_parent->path);
 170                 free(best_parent);
 171         }
 172         return ret;
 173 }
 174
 175 static void add_clone_source(struct btrfs_send *s, u64 root_id)
 176 {
 177         s->clone_sources = realloc(s->clone_sources,
 178                 sizeof(*s->clone_sources) * (s->clone_sources_count + 1));
 179         s->clone_sources[s->clone_sources_count++] = root_id;
 180 }
 181
 182 static int write_buf(int fd, const void *buf, int size)
 183 {
 184         int ret;
 185         int pos = 0;
 186
 187         while (pos < size) {
 188                 ret = write(fd, (char*)buf + pos, size - pos);
 189                 if (ret < 0) {
 190                         ret = -errno;
 191                         fprintf(stderr, "ERROR: failed to dump stream. %s",
 192                                         strerror(-ret));
 193                         goto out;
 194                 }
 195                 if (!ret) {
 196                         ret = -EIO;
 197                         fprintf(stderr, "ERROR: failed to dump stream. %s",
 198                                         strerror(-ret));
 199                         goto out;
 200                 }
 201                 pos += ret;
 202         }
 203         ret = 0;
 204
 205 out:
 206         return ret;
 207 }
 208
 209 static void *dump_thread(void *arg_)
 210 {
 211         int ret;
 212         struct btrfs_send *s = (struct btrfs_send*)arg_;
 213         char buf[4096];
 214         int readed;
 215
 216         while (1) {
 217                 readed = read(s->send_fd, buf, sizeof(buf));
 218                 if (readed < 0) {
 219                         ret = -errno;
 220                         fprintf(stderr, "ERROR: failed to read stream from "
 221                                         "kernel. %s\n", strerror(-ret));
 222                         goto out;
 223                 }
 224                 if (!readed) {
 225                         ret = 0;
 226                         goto out;
 227                 }
 228                 ret = write_buf(s->dump_fd, buf, readed);
 229                 if (ret < 0)
 230                         goto out;
 231         }
 232
 233 out:
 234         if (ret < 0) {
 235                 exit(-ret);
 236         }
 237
 238         return ERR_PTR(ret);
 239 }
 240
 241 static int do_send(struct btrfs_send *send, u64 parent_root_id,
 242                    int is_first_subvol, int is_last_subvol, char *subvol)
 243 {
 244         int ret;
 245         pthread_t t_read;
 246         struct btrfs_ioctl_send_args io_send;
 247         void *t_err = NULL;
 248         int subvol_fd = -1;
 249         int pipefd[2] = {-1, -1};
 250
 251         subvol_fd = openat(send->mnt_fd, subvol, O_RDONLY | O_NOATIME);
 252         if (subvol_fd < 0) {
 253                 ret = -errno;
 254                 fprintf(stderr, "ERROR: open %s failed. %s\n", subvol,
 255                                 strerror(-ret));
 256                 goto out;
 257         }
 258
 259         ret = pipe(pipefd);
 260         if (ret < 0) {
 261                 ret = -errno;
 262                 fprintf(stderr, "ERROR: pipe failed. %s\n", strerror(-ret));
 263                 goto out;
 264         }
 265
 266         memset(&io_send, 0, sizeof(io_send));
 267         io_send.send_fd = pipefd[1];
 268         send->send_fd = pipefd[0];
 269
 270         if (!ret)
 271                 ret = pthread_create(&t_read, NULL, dump_thread,
 272                                         send);
 273         if (ret) {
 274                 ret = -ret;
 275                 fprintf(stderr, "ERROR: thread setup failed: %s\n",
 276                         strerror(-ret));
 277                 goto out;
 278         }
 279
 280         io_send.clone_sources = (__u64*)send->clone_sources;
 281         io_send.clone_sources_count = send->clone_sources_count;
 282         io_send.parent_root = parent_root_id;
 283         if (!is_first_subvol)
 284                 io_send.flags |= BTRFS_SEND_FLAG_OMIT_STREAM_HEADER;
 285         if (!is_last_subvol)
 286                 io_send.flags |= BTRFS_SEND_FLAG_OMIT_END_CMD;
 287         ret = ioctl(subvol_fd, BTRFS_IOC_SEND, &io_send);
 288         if (ret) {
 289                 ret = -errno;
 290                 fprintf(stderr, "ERROR: send ioctl failed with %d: %s\n", ret,
 291                         strerror(-ret));
 292                 if (ret == -EINVAL && (!is_first_subvol || !is_last_subvol))
 293                         fprintf(stderr,
 294                                 "Try upgrading your kernel or don't use -e.\n");
 295                 goto out;
 296         }
 297         if (g_verbose > 0)
 298                 fprintf(stderr, "BTRFS_IOC_SEND returned %d\n", ret);
 299
 300         if (g_verbose > 0)
 301                 fprintf(stderr, "joining genl thread\n");
 302
 303         close(pipefd[1]);
 304         pipefd[1] = -1;
 305
 306         ret = pthread_join(t_read, &t_err);
 307         if (ret) {
 308                 ret = -ret;
 309                 fprintf(stderr, "ERROR: pthread_join failed: %s\n",
 310                         strerror(-ret));
 311                 goto out;
 312         }
 313         if (t_err) {
 314                 ret = (long int)t_err;
 315                 fprintf(stderr, "ERROR: failed to process send stream, ret=%ld "
 316                         "(%s)\n", (long int)t_err, strerror(-ret));
 317                 goto out;
 318         }
 319
 320         ret = 0;
 321
 322 out:
 323         if (subvol_fd != -1)
 324                 close(subvol_fd);
 325         if (pipefd[0] != -1)
 326                 close(pipefd[0]);
 327         if (pipefd[1] != -1)
 328                 close(pipefd[1]);
 329         return ret;
 330 }
 331
 332 char *get_subvol_name(char *mnt, char *full_path)
 333 {
 334         int len = strlen(mnt);
 335         if (!len)
 336                 return full_path;
 337         if (mnt[len - 1] != '/')
 338                 len += 1;
 339
 340         return full_path + len;
 341 }
 342
 343 static int init_root_path(struct btrfs_send *s, const char *subvol)
 344 {
 345         int ret = 0;
 346
 347         if (s->root_path)
 348                 goto out;
 349
 350         ret = find_mount_root(subvol, &s->root_path);
 351         if (ret < 0) {
 352                 fprintf(stderr,
 353                         "ERROR: failed to determine mount point for %s: %s\n",
 354                         subvol, strerror(-ret));
 355                 ret = -EINVAL;
 356                 goto out;
 357         }
 358
 359         s->mnt_fd = open(s->root_path, O_RDONLY | O_NOATIME);
 360         if (s->mnt_fd < 0) {
 361                 ret = -errno;
 362                 fprintf(stderr, "ERROR: can't open '%s': %s\n", s->root_path,
 363                         strerror(-ret));
 364                 goto out;
 365         }
 366
 367         ret = subvol_uuid_search_init(s->mnt_fd, &s->sus);
 368         if (ret < 0) {
 369                 fprintf(stderr, "ERROR: failed to initialize subvol search. "
 370                                 "%s\n", strerror(-ret));
 371                 goto out;
 372         }
 373
 374 out:
 375         return ret;
 376
 377 }
 378
 379 static int is_subvol_ro(struct btrfs_send *s, char *subvol)
 380 {
 381         int ret;
 382         u64 flags;
 383         int fd = -1;
 384
 385         fd = openat(s->mnt_fd, subvol, O_RDONLY | O_NOATIME);
 386         if (fd < 0) {
 387                 ret = -errno;
 388                 fprintf(stderr, "ERROR: failed to open %s. %s\n",
 389                                 subvol, strerror(-ret));
 390                 goto out;
 391         }
 392
 393         ret = ioctl(fd, BTRFS_IOC_SUBVOL_GETFLAGS, &flags);
 394         if (ret < 0) {
 395                 ret = -errno;
 396                 fprintf(stderr, "ERROR: failed to get flags for subvolume. "
 397                                 "%s\n", strerror(-ret));
 398                 goto out;
 399         }
 400
 401         if (flags & BTRFS_SUBVOL_RDONLY)
 402                 ret = 1;
 403         else
 404                 ret = 0;
 405
 406 out:
 407         if (fd != -1)
 408                 close(fd);
 409
 410         return ret;
 411 }
 412
 413 int cmd_send(int argc, char **argv)
 414 {
 415         char *subvol = NULL;
 416         int c;
 417         int ret;
 418         char *outname = NULL;
 419         struct btrfs_send send;
 420         u32 i;
 421         char *mount_root = NULL;
 422         char *snapshot_parent = NULL;
 423         u64 root_id;
 424         u64 parent_root_id = 0;
 425         int full_send = 1;
 426         int new_end_cmd_semantic = 0;
 427
 428         memset(&send, 0, sizeof(send));
 429         send.dump_fd = fileno(stdout);
 430
 431         while ((c = getopt(argc, argv, "vec:f:i:p:")) != -1) {
 432                 switch (c) {
 433                 case 'v':
 434                         g_verbose++;
 435                         break;
 436                 case 'e':
 437                         new_end_cmd_semantic = 1;
 438                         break;
 439                 case 'c':
 440                         subvol = realpath(optarg, NULL);
 441                         if (!subvol) {
 442                                 ret = -errno;
 443                                 fprintf(stderr, "ERROR: realpath %s failed. "
 444                                                 "%s\n", optarg, strerror(-ret));
 445                                 goto out;
 446                         }
 447
 448                         ret = init_root_path(&send, subvol);
 449                         if (ret < 0)
 450                                 goto out;
 451
 452                         ret = get_root_id(&send, get_subvol_name(send.root_path, subvol),
 453                                         &root_id);
 454                         if (ret < 0) {
 455                                 fprintf(stderr, "ERROR: could not resolve "
 456                                                 "root_id for %s\n", subvol);
 457                                 goto out;
 458                         }
 459
 460                         ret = is_subvol_ro(&send, subvol);
 461                         if (ret < 0)
 462                                 goto out;
 463                         if (!ret) {
 464                                 ret = -EINVAL;
 465                                 fprintf(stderr,
 466                                 "ERROR: cloned subvol %s is not read-only.\n",
 467                                         subvol);
 468                                 goto out;
 469                         }
 470
 471                         add_clone_source(&send, root_id);
 472                         subvol_uuid_search_finit(&send.sus);
 473                         free(subvol);
 474                         subvol = NULL;
 475                         if (send.mnt_fd >= 0) {
 476                                 close(send.mnt_fd);
 477                                 send.mnt_fd = -1;
 478                         }
 479                         free(send.root_path);
 480                         send.root_path = NULL;
 481                         full_send = 0;
 482                         break;
 483                 case 'f':
 484                         outname = optarg;
 485                         break;
 486                 case 'p':
 487                         if (snapshot_parent) {
 488                                 fprintf(stderr, "ERROR: you cannot have more than one parent (-p)\n");
 489                                 ret = 1;
 490                                 goto out;
 491                         }
 492                         snapshot_parent = realpath(optarg, NULL);
 493                         if (!snapshot_parent) {
 494                                 ret = -errno;
 495                                 fprintf(stderr, "ERROR: realpath %s failed. "
 496                                                 "%s\n", optarg, strerror(-ret));
 497                                 goto out;
 498                         }
 499
 500                         ret = is_subvol_ro(&send, snapshot_parent);
 501                         if (ret < 0)
 502                                 goto out;
 503                         if (!ret) {
 504                                 ret = -EINVAL;
 505                                 fprintf(stderr,
 506                                         "ERROR: parent %s is not read-only.\n",
 507                                         snapshot_parent);
 508                                 goto out;
 509                         }
 510
 511                         full_send = 0;
 512                         break;
 513                 case 'i':
 514                         fprintf(stderr,
 515                                 "ERROR: -i was removed, use -c instead\n");
 516                         ret = 1;
 517                         goto out;
 518                 case '?':
 519                 default:
 520                         fprintf(stderr, "ERROR: send args invalid.\n");
 521                         ret = 1;
 522                         goto out;
 523                 }
 524         }
 525
 526         if (check_argc_min(argc - optind, 1))
 527                 usage(cmd_send_usage);
 528
 529         if (outname != NULL) {
 530                 send.dump_fd = creat(outname, 0600);
 531                 if (send.dump_fd == -1) {
 532                         ret = -errno;
 533                         fprintf(stderr, "ERROR: can't create '%s': %s\n",
 534                                         outname, strerror(-ret));
 535                         goto out;
 536                 }
 537         }
 538
 539         if (isatty(send.dump_fd)) {
 540                 fprintf(stderr,
 541                         "ERROR: not dumping send stream into a terminal, "
 542                         "redirect it into a file\n");
 543                 ret = 1;
 544                 goto out;
 545         }
 546
 547         /* use first send subvol to determine mount_root */
 548         subvol = argv[optind];
 549
 550         subvol = realpath(argv[optind], NULL);
 551         if (!subvol) {
 552                 ret = -errno;
 553                 fprintf(stderr, "ERROR: unable to resolve %s\n", argv[optind]);
 554                 goto out;
 555         }
 556
 557         ret = init_root_path(&send, subvol);
 558         if (ret < 0)
 559                 goto out;
 560
 561         if (snapshot_parent != NULL) {
 562                 ret = get_root_id(&send,
 563                                 get_subvol_name(send.root_path, snapshot_parent),
 564                                 &parent_root_id);
 565                 if (ret < 0) {
 566                         fprintf(stderr, "ERROR: could not resolve root_id "
 567                                         "for %s\n", snapshot_parent);
 568                         goto out;
 569                 }
 570
 571                 add_clone_source(&send, parent_root_id);
 572         }
 573
 574         for (i = optind; i < argc; i++) {
 575                 free(subvol);
 576                 subvol = realpath(argv[i], NULL);
 577                 if (!subvol) {
 578                         ret = -errno;
 579                         fprintf(stderr, "ERROR: unable to resolve %s\n", argv[i]);
 580                         goto out;
 581                 }
 582
 583                 ret = find_mount_root(subvol, &mount_root);
 584                 if (ret < 0) {
 585                         fprintf(stderr, "ERROR: find_mount_root failed on %s: "
 586                                         "%s\n", subvol,
 587                                 strerror(-ret));
 588                         goto out;
 589                 }
 590                 if (strcmp(send.root_path, mount_root) != 0) {
 591                         ret = -EINVAL;
 592                         fprintf(stderr, "ERROR: all subvols must be from the "
 593                                         "same fs.\n");
 594                         goto out;
 595                 }
 596                 free(mount_root);
 597
 598                 ret = is_subvol_ro(&send, subvol);
 599                 if (ret < 0)
 600                         goto out;
 601                 if (!ret) {
 602                         ret = -EINVAL;
 603                         fprintf(stderr, "ERROR: %s is not read-only.\n",
 604                                         subvol);
 605                         goto out;
 606                 }
 607         }
 608
 609         for (i = optind; i < argc; i++) {
 610                 int is_first_subvol;
 611                 int is_last_subvol;
 612
 613                 free(subvol);
 614                 subvol = argv[i];
 615
 616                 fprintf(stderr, "At subvol %s\n", subvol);
 617
 618                 subvol = realpath(subvol, NULL);
 619                 if (!subvol) {
 620                         ret = -errno;
 621                         fprintf(stderr, "ERROR: realpath %s failed. "
 622                                         "%s\n", argv[i], strerror(-ret));
 623                         goto out;
 624                 }
 625
 626                 if (!full_send && !parent_root_id) {
 627                         ret = find_good_parent(&send, root_id, &parent_root_id);
 628                         if (ret < 0) {
 629                                 fprintf(stderr, "ERROR: parent determination failed for %lld\n",
 630                                         root_id);
 631                                 goto out;
 632                         }
 633                 }
 634
 635                 ret = is_subvol_ro(&send, subvol);
 636                 if (ret < 0)
 637                         goto out;
 638                 if (!ret) {
 639                         ret = -EINVAL;
 640                         fprintf(stderr, "ERROR: %s is not read-only.\n",
 641                                         subvol);
 642                         goto out;
 643                 }
 644
 645                 if (new_end_cmd_semantic) {
 646                         /* require new kernel */
 647                         is_first_subvol = (i == optind);
 648                         is_last_subvol = (i == argc - 1);
 649                 } else {
 650                         /* be compatible to old and new kernel */
 651                         is_first_subvol = 1;
 652                         is_last_subvol = 1;
 653                 }
 654                 ret = do_send(&send, parent_root_id, is_first_subvol,
 655                               is_last_subvol, subvol);
 656                 if (ret < 0)
 657                         goto out;
 658
 659                 /* done with this subvol, so add it to the clone sources */
 660                 add_clone_source(&send, root_id);
 661
 662                 parent_root_id = 0;
 663                 full_send = 0;
 664         }
 665
 666         ret = 0;
 667
 668 out:
 669         free(subvol);
 670         free(snapshot_parent);
 671         free(send.clone_sources);
 672         if (send.mnt_fd >= 0)
 673                 close(send.mnt_fd);
 674         free(send.root_path);
 675         subvol_uuid_search_finit(&send.sus);
 676         return !!ret;
 677 }
 678
 679 const char * const cmd_send_usage[] = {
 680         "btrfs send [-ve] [-p <parent>] [-c <clone-src>] [-f <outfile>] <subvol> [<subvol>...]",
 681         "Send the subvolume(s) to stdout.",
 682         "Sends the subvolume(s) specified by <subvol> to stdout.",
 683         "By default, this will send the whole subvolume. To do an incremental",
 684         "send, use '-p <parent>'. If you want to allow btrfs to clone from",
 685         "any additional local snapshots, use '-c <clone-src>' (multiple times",
 686         "where applicable). You must not specify clone sources unless you",
 687         "guarantee that these snapshots are exactly in the same state on both",
 688         "sides, the sender and the receiver. It is allowed to omit the",
 689         "'-p <parent>' option when '-c <clone-src>' options are given, in",
 690         "which case 'btrfs send' will determine a suitable parent among the",
 691         "clone sources itself.",
 692         "\n",
 693         "-v               Enable verbose debug output. Each occurrence of",
 694         "                 this option increases the verbose level more.",
 695         "-e               If sending multiple subvols at once, use the new",
 696         "                 format and omit the end-cmd between the subvols.",
 697         "-p <parent>      Send an incremental stream from <parent> to",
 698         "                 <subvol>.",
 699         "-c <clone-src>   Use this snapshot as a clone source for an ",
 700         "                 incremental send (multiple allowed)",
 701         "-f <outfile>     Output is normally written to stdout. To write to",
 702         "                 a file, use this option. An alternative would be to",
 703         "                 use pipes.",
 704         NULL
 705 };