ctree.c

   1 #include <stdio.h>
   2 #include <stdlib.h>
   3 #include "kerncompat.h"
   4 #include "radix-tree.h"
   5 #include "ctree.h"
   6 #include "disk-io.h"
   7 #include "print-tree.h"
   8
   9 static int split_node(struct btrfs_trans_handle *trans, struct btrfs_root
  10                       *root, struct btrfs_path *path, int level);
  11 static int split_leaf(struct btrfs_trans_handle *trans, struct btrfs_root
  12                       *root, struct btrfs_path *path, int data_size);
  13 static int push_node_left(struct btrfs_trans_handle *trans, struct btrfs_root
  14                           *root, struct btrfs_buffer *dst, struct btrfs_buffer
  15                           *src);
  16 static int balance_node_right(struct btrfs_trans_handle *trans, struct
  17                               btrfs_root *root, struct btrfs_buffer *dst_buf,
  18                               struct btrfs_buffer *src_buf);
  19 static int del_ptr(struct btrfs_trans_handle *trans, struct btrfs_root *root,
  20                    struct btrfs_path *path, int level, int slot);
  21
  22 inline void btrfs_init_path(struct btrfs_path *p)
  23 {
  24         memset(p, 0, sizeof(*p));
  25 }
  26
  27 void btrfs_release_path(struct btrfs_root *root, struct btrfs_path *p)
  28 {
  29         int i;
  30         for (i = 0; i < BTRFS_MAX_LEVEL; i++) {
  31                 if (!p->nodes[i])
  32                         break;
  33                 btrfs_block_release(root, p->nodes[i]);
  34         }
  35         memset(p, 0, sizeof(*p));
  36 }
  37
  38 static int btrfs_cow_block(struct btrfs_trans_handle *trans, struct btrfs_root
  39                            *root, struct btrfs_buffer *buf, struct btrfs_buffer
  40                            *parent, int parent_slot, struct btrfs_buffer
  41                            **cow_ret)
  42 {
  43         struct btrfs_buffer *cow;
  44
  45         if (!list_empty(&buf->dirty)) {
  46                 *cow_ret = buf;
  47                 return 0;
  48         }
  49         cow = btrfs_alloc_free_block(trans, root);
  50         memcpy(&cow->node, &buf->node, root->blocksize);
  51         btrfs_set_header_blocknr(&cow->node.header, cow->blocknr);
  52         *cow_ret = cow;
  53         btrfs_inc_ref(trans, root, buf);
  54         if (buf == root->node) {
  55                 root->node = cow;
  56                 cow->count++;
  57                 if (buf != root->commit_root)
  58                         btrfs_free_extent(trans, root, buf->blocknr, 1, 1);
  59                 btrfs_block_release(root, buf);
  60         } else {
  61                 btrfs_set_node_blockptr(&parent->node, parent_slot,
  62                                         cow->blocknr);
  63                 BUG_ON(list_empty(&parent->dirty));
  64                 btrfs_free_extent(trans, root, buf->blocknr, 1, 1);
  65         }
  66         btrfs_block_release(root, buf);
  67         return 0;
  68 }
  69
  70 /*
  71  * The leaf data grows from end-to-front in the node.
  72  * this returns the address of the start of the last item,
  73  * which is the stop of the leaf data stack
  74  */
  75 static inline unsigned int leaf_data_end(struct btrfs_root *root,
  76                                          struct btrfs_leaf *leaf)
  77 {
  78         u32 nr = btrfs_header_nritems(&leaf->header);
  79         if (nr == 0)
  80                 return BTRFS_LEAF_DATA_SIZE(root);
  81         return btrfs_item_offset(leaf->items + nr - 1);
  82 }
  83
  84 /*
  85  * The space between the end of the leaf items and
  86  * the start of the leaf data.  IOW, how much room
  87  * the leaf has left for both items and data
  88  */
  89 int btrfs_leaf_free_space(struct btrfs_root *root, struct btrfs_leaf *leaf)
  90 {
  91         int data_end = leaf_data_end(root, leaf);
  92         int nritems = btrfs_header_nritems(&leaf->header);
  93         char *items_end = (char *)(leaf->items + nritems + 1);
  94         return (char *)(btrfs_leaf_data(leaf) + data_end) - (char *)items_end;
  95 }
  96
  97 /*
  98  * compare two keys in a memcmp fashion
  99  */
 100 static int comp_keys(struct btrfs_disk_key *disk, struct btrfs_key *k2)
 101 {
 102         struct btrfs_key k1;
 103
 104         btrfs_disk_key_to_cpu(&k1, disk);
 105
 106         if (k1.objectid > k2->objectid)
 107                 return 1;
 108         if (k1.objectid < k2->objectid)
 109                 return -1;
 110         if (k1.flags > k2->flags)
 111                 return 1;
 112         if (k1.flags < k2->flags)
 113                 return -1;
 114         if (k1.offset > k2->offset)
 115                 return 1;
 116         if (k1.offset < k2->offset)
 117                 return -1;
 118         return 0;
 119 }
 120
 121 static int check_node(struct btrfs_root *root, struct btrfs_path *path,
 122                       int level)
 123 {
 124         int i;
 125         struct btrfs_node *parent = NULL;
 126         struct btrfs_node *node = &path->nodes[level]->node;
 127         int parent_slot;
 128         u32 nritems = btrfs_header_nritems(&node->header);
 129
 130         if (path->nodes[level + 1])
 131                 parent = &path->nodes[level + 1]->node;
 132         parent_slot = path->slots[level + 1];
 133         BUG_ON(nritems == 0);
 134         if (parent) {
 135                 struct btrfs_disk_key *parent_key;
 136                 parent_key = &parent->ptrs[parent_slot].key;
 137                 BUG_ON(memcmp(parent_key, &node->ptrs[0].key,
 138                               sizeof(struct btrfs_disk_key)));
 139                 BUG_ON(btrfs_node_blockptr(parent, parent_slot) !=
 140                        btrfs_header_blocknr(&node->header));
 141         }
 142         BUG_ON(nritems > BTRFS_NODEPTRS_PER_BLOCK(root));
 143         for (i = 0; nritems > 1 && i < nritems - 2; i++) {
 144                 struct btrfs_key cpukey;
 145                 btrfs_disk_key_to_cpu(&cpukey, &node->ptrs[i + 1].key);
 146                 BUG_ON(comp_keys(&node->ptrs[i].key, &cpukey) >= 0);
 147         }
 148         return 0;
 149 }
 150
 151 static int check_leaf(struct btrfs_root *root, struct btrfs_path *path,
 152                       int level)
 153 {
 154         int i;
 155         struct btrfs_leaf *leaf = &path->nodes[level]->leaf;
 156         struct btrfs_node *parent = NULL;
 157         int parent_slot;
 158         u32 nritems = btrfs_header_nritems(&leaf->header);
 159
 160         if (path->nodes[level + 1])
 161                 parent = &path->nodes[level + 1]->node;
 162         parent_slot = path->slots[level + 1];
 163         BUG_ON(btrfs_leaf_free_space(root, leaf) < 0);
 164
 165         if (nritems == 0)
 166                 return 0;
 167
 168         if (parent) {
 169                 struct btrfs_disk_key *parent_key;
 170                 parent_key = &parent->ptrs[parent_slot].key;
 171                 BUG_ON(memcmp(parent_key, &leaf->items[0].key,
 172                        sizeof(struct btrfs_disk_key)));
 173                 BUG_ON(btrfs_node_blockptr(parent, parent_slot) !=
 174                        btrfs_header_blocknr(&leaf->header));
 175         }
 176         for (i = 0; nritems > 1 && i < nritems - 2; i++) {
 177                 struct btrfs_key cpukey;
 178                 btrfs_disk_key_to_cpu(&cpukey, &leaf->items[i + 1].key);
 179                 BUG_ON(comp_keys(&leaf->items[i].key,
 180                                  &cpukey) >= 0);
 181                 BUG_ON(btrfs_item_offset(leaf->items + i) !=
 182                         btrfs_item_end(leaf->items + i + 1));
 183                 if (i == 0) {
 184                         BUG_ON(btrfs_item_offset(leaf->items + i) +
 185                                btrfs_item_size(leaf->items + i) !=
 186                                BTRFS_LEAF_DATA_SIZE(root));
 187                 }
 188         }
 189         return 0;
 190 }
 191
 192 static int check_block(struct btrfs_root *root, struct btrfs_path *path,
 193                         int level)
 194 {
 195         if (level == 0)
 196                 return check_leaf(root, path, level);
 197         return check_node(root, path, level);
 198 }
 199
 200 /*
 201  * search for key in the array p.  items p are item_size apart
 202  * and there are 'max' items in p
 203  * the slot in the array is returned via slot, and it points to
 204  * the place where you would insert key if it is not found in
 205  * the array.
 206  *
 207  * slot may point to max if the key is bigger than all of the keys
 208  */
 209 static int generic_bin_search(char *p, int item_size, struct btrfs_key *key,
 210                        int max, int *slot)
 211 {
 212         int low = 0;
 213         int high = max;
 214         int mid;
 215         int ret;
 216         struct btrfs_disk_key *tmp;
 217
 218         while(low < high) {
 219                 mid = (low + high) / 2;
 220                 tmp = (struct btrfs_disk_key *)(p + mid * item_size);
 221                 ret = comp_keys(tmp, key);
 222
 223                 if (ret < 0)
 224                         low = mid + 1;
 225                 else if (ret > 0)
 226                         high = mid;
 227                 else {
 228                         *slot = mid;
 229                         return 0;
 230                 }
 231         }
 232         *slot = low;
 233         return 1;
 234 }
 235
 236 /*
 237  * simple bin_search frontend that does the right thing for
 238  * leaves vs nodes
 239  */
 240 static int bin_search(struct btrfs_node *c, struct btrfs_key *key, int *slot)
 241 {
 242         if (btrfs_is_leaf(c)) {
 243                 struct btrfs_leaf *l = (struct btrfs_leaf *)c;
 244                 return generic_bin_search((void *)l->items,
 245                                           sizeof(struct btrfs_item),
 246                                           key, btrfs_header_nritems(&c->header),
 247                                           slot);
 248         } else {
 249                 return generic_bin_search((void *)c->ptrs,
 250                                           sizeof(struct btrfs_key_ptr),
 251                                           key, btrfs_header_nritems(&c->header),
 252                                           slot);
 253         }
 254         return -1;
 255 }
 256
 257 static struct btrfs_buffer *read_node_slot(struct btrfs_root *root,
 258                                    struct btrfs_buffer *parent_buf,
 259                                    int slot)
 260 {
 261         struct btrfs_node *node = &parent_buf->node;
 262         if (slot < 0)
 263                 return NULL;
 264         if (slot >= btrfs_header_nritems(&node->header))
 265                 return NULL;
 266         return read_tree_block(root, btrfs_node_blockptr(node, slot));
 267 }
 268
 269 static int balance_level(struct btrfs_trans_handle *trans, struct btrfs_root
 270                          *root, struct btrfs_path *path, int level)
 271 {
 272         struct btrfs_buffer *right_buf;
 273         struct btrfs_buffer *mid_buf;
 274         struct btrfs_buffer *left_buf;
 275         struct btrfs_buffer *parent_buf = NULL;
 276         struct btrfs_node *right = NULL;
 277         struct btrfs_node *mid;
 278         struct btrfs_node *left = NULL;
 279         struct btrfs_node *parent = NULL;
 280         int ret = 0;
 281         int wret;
 282         int pslot;
 283         int orig_slot = path->slots[level];
 284         u64 orig_ptr;
 285
 286         if (level == 0)
 287                 return 0;
 288
 289         mid_buf = path->nodes[level];
 290         mid = &mid_buf->node;
 291         orig_ptr = btrfs_node_blockptr(mid, orig_slot);
 292
 293         if (level < BTRFS_MAX_LEVEL - 1)
 294                 parent_buf = path->nodes[level + 1];
 295         pslot = path->slots[level + 1];
 296
 297         if (!parent_buf) {
 298                 struct btrfs_buffer *child;
 299                 u64 blocknr = mid_buf->blocknr;
 300
 301                 if (btrfs_header_nritems(&mid->header) != 1)
 302                         return 0;
 303
 304                 /* promote the child to a root */
 305                 child = read_node_slot(root, mid_buf, 0);
 306                 BUG_ON(!child);
 307                 root->node = child;
 308                 path->nodes[level] = NULL;
 309                 /* once for the path */
 310                 btrfs_block_release(root, mid_buf);
 311                 /* once for the root ptr */
 312                 btrfs_block_release(root, mid_buf);
 313                 clean_tree_block(trans, root, mid_buf);
 314                 return btrfs_free_extent(trans, root, blocknr, 1, 1);
 315         }
 316         parent = &parent_buf->node;
 317
 318         if (btrfs_header_nritems(&mid->header) >
 319             BTRFS_NODEPTRS_PER_BLOCK(root) / 4)
 320                 return 0;
 321
 322         left_buf = read_node_slot(root, parent_buf, pslot - 1);
 323         right_buf = read_node_slot(root, parent_buf, pslot + 1);
 324
 325         /* first, try to make some room in the middle buffer */
 326         if (left_buf) {
 327                 btrfs_cow_block(trans, root, left_buf, parent_buf, pslot - 1,
 328                                 &left_buf);
 329                 left = &left_buf->node;
 330                 orig_slot += btrfs_header_nritems(&left->header);
 331                 wret = push_node_left(trans, root, left_buf, mid_buf);
 332                 if (wret < 0)
 333                         ret = wret;
 334         }
 335
 336         /*
 337          * then try to empty the right most buffer into the middle
 338          */
 339         if (right_buf) {
 340                 btrfs_cow_block(trans, root, right_buf, parent_buf, pslot + 1,
 341                                 &right_buf);
 342                 right = &right_buf->node;
 343                 wret = push_node_left(trans, root, mid_buf, right_buf);
 344                 if (wret < 0)
 345                         ret = wret;
 346                 if (btrfs_header_nritems(&right->header) == 0) {
 347                         u64 blocknr = right_buf->blocknr;
 348                         btrfs_block_release(root, right_buf);
 349                         clean_tree_block(trans, root, right_buf);
 350                         right_buf = NULL;
 351                         right = NULL;
 352                         wret = del_ptr(trans, root, path, level + 1, pslot +
 353                                        1);
 354                         if (wret)
 355                                 ret = wret;
 356                         wret = btrfs_free_extent(trans, root, blocknr, 1, 1);
 357                         if (wret)
 358                                 ret = wret;
 359                 } else {
 360                         memcpy(&parent->ptrs[pslot + 1].key,
 361                                 &right->ptrs[0].key,
 362                                 sizeof(struct btrfs_disk_key));
 363                         BUG_ON(list_empty(&parent_buf->dirty));
 364                 }
 365         }
 366         if (btrfs_header_nritems(&mid->header) == 1) {
 367                 /*
 368                  * we're not allowed to leave a node with one item in the
 369                  * tree during a delete.  A deletion from lower in the tree
 370                  * could try to delete the only pointer in this node.
 371                  * So, pull some keys from the left.
 372                  * There has to be a left pointer at this point because
 373                  * otherwise we would have pulled some pointers from the
 374                  * right
 375                  */
 376                 BUG_ON(!left_buf);
 377                 wret = balance_node_right(trans, root, mid_buf, left_buf);
 378                 if (wret < 0)
 379                         ret = wret;
 380                 BUG_ON(wret == 1);
 381         }
 382         if (btrfs_header_nritems(&mid->header) == 0) {
 383                 /* we've managed to empty the middle node, drop it */
 384                 u64 blocknr = mid_buf->blocknr;
 385                 btrfs_block_release(root, mid_buf);
 386                 clean_tree_block(trans, root, mid_buf);
 387                 mid_buf = NULL;
 388                 mid = NULL;
 389                 wret = del_ptr(trans, root, path, level + 1, pslot);
 390                 if (wret)
 391                         ret = wret;
 392                 wret = btrfs_free_extent(trans, root, blocknr, 1, 1);
 393                 if (wret)
 394                         ret = wret;
 395         } else {
 396                 /* update the parent key to reflect our changes */
 397                 memcpy(&parent->ptrs[pslot].key, &mid->ptrs[0].key,
 398                        sizeof(struct btrfs_disk_key));
 399                 BUG_ON(list_empty(&parent_buf->dirty));
 400         }
 401
 402         /* update the path */
 403         if (left_buf) {
 404                 if (btrfs_header_nritems(&left->header) > orig_slot) {
 405                         left_buf->count++; // released below
 406                         path->nodes[level] = left_buf;
 407                         path->slots[level + 1] -= 1;
 408                         path->slots[level] = orig_slot;
 409                         if (mid_buf)
 410                                 btrfs_block_release(root, mid_buf);
 411                 } else {
 412                         orig_slot -= btrfs_header_nritems(&left->header);
 413                         path->slots[level] = orig_slot;
 414                 }
 415         }
 416         /* double check we haven't messed things up */
 417         check_block(root, path, level);
 418         if (orig_ptr != btrfs_node_blockptr(&path->nodes[level]->node,
 419                                             path->slots[level]))
 420                 BUG();
 421
 422         if (right_buf)
 423                 btrfs_block_release(root, right_buf);
 424         if (left_buf)
 425                 btrfs_block_release(root, left_buf);
 426         return ret;
 427 }
 428
 429 /*
 430  * look for key in the tree.  path is filled in with nodes along the way
 431  * if key is found, we return zero and you can find the item in the leaf
 432  * level of the path (level 0)
 433  *
 434  * If the key isn't found, the path points to the slot where it should
 435  * be inserted, and 1 is returned.  If there are other errors during the
 436  * search a negative error number is returned.
 437  *
 438  * if ins_len > 0, nodes and leaves will be split as we walk down the
 439  * tree.  if ins_len < 0, nodes will be merged as we walk down the tree (if
 440  * possible)
 441  */
 442 int btrfs_search_slot(struct btrfs_trans_handle *trans, struct btrfs_root
 443                       *root, struct btrfs_key *key, struct btrfs_path *p, int
 444                       ins_len, int cow)
 445 {
 446         struct btrfs_buffer *b;
 447         struct btrfs_buffer *cow_buf;
 448         struct btrfs_node *c;
 449         int slot;
 450         int ret;
 451         int level;
 452
 453 again:
 454         b = root->node;
 455         b->count++;
 456         while (b) {
 457                 level = btrfs_header_level(&b->node.header);
 458                 if (cow) {
 459                         int wret;
 460                         wret = btrfs_cow_block(trans, root, b, p->nodes[level +
 461                                                1], p->slots[level + 1],
 462                                                &cow_buf);
 463                         b = cow_buf;
 464                 }
 465                 BUG_ON(!cow && ins_len);
 466                 c = &b->node;
 467                 p->nodes[level] = b;
 468                 ret = check_block(root, p, level);
 469                 if (ret)
 470                         return -1;
 471                 ret = bin_search(c, key, &slot);
 472                 if (!btrfs_is_leaf(c)) {
 473                         if (ret && slot > 0)
 474                                 slot -= 1;
 475                         p->slots[level] = slot;
 476                         if (ins_len > 0 && btrfs_header_nritems(&c->header) ==
 477                             BTRFS_NODEPTRS_PER_BLOCK(root)) {
 478                                 int sret = split_node(trans, root, p, level);
 479                                 BUG_ON(sret > 0);
 480                                 if (sret)
 481                                         return sret;
 482                                 b = p->nodes[level];
 483                                 c = &b->node;
 484                                 slot = p->slots[level];
 485                         } else if (ins_len < 0) {
 486                                 int sret = balance_level(trans, root, p,
 487                                                          level);
 488                                 if (sret)
 489                                         return sret;
 490                                 b = p->nodes[level];
 491                                 if (!b)
 492                                         goto again;
 493                                 c = &b->node;
 494                                 slot = p->slots[level];
 495                                 BUG_ON(btrfs_header_nritems(&c->header) == 1);
 496                         }
 497                         b = read_tree_block(root, btrfs_node_blockptr(c, slot));
 498                 } else {
 499                         struct btrfs_leaf *l = (struct btrfs_leaf *)c;
 500                         p->slots[level] = slot;
 501                         if (ins_len > 0 && btrfs_leaf_free_space(root, l) <
 502                             sizeof(struct btrfs_item) + ins_len) {
 503                                 int sret = split_leaf(trans, root, p, ins_len);
 504                                 BUG_ON(sret > 0);
 505                                 if (sret)
 506                                         return sret;
 507                         }
 508                         BUG_ON(root->node->count == 1);
 509                         return ret;
 510                 }
 511         }
 512         BUG_ON(root->node->count == 1);
 513         return 1;
 514 }
 515
 516 /*
 517  * adjust the pointers going up the tree, starting at level
 518  * making sure the right key of each node is points to 'key'.
 519  * This is used after shifting pointers to the left, so it stops
 520  * fixing up pointers when a given leaf/node is not in slot 0 of the
 521  * higher levels
 522  *
 523  * If this fails to write a tree block, it returns -1, but continues
 524  * fixing up the blocks in ram so the tree is consistent.
 525  */
 526 static int fixup_low_keys(struct btrfs_trans_handle *trans, struct btrfs_root
 527                           *root, struct btrfs_path *path, struct btrfs_disk_key
 528                           *key, int level)
 529 {
 530         int i;
 531         int ret = 0;
 532         for (i = level; i < BTRFS_MAX_LEVEL; i++) {
 533                 struct btrfs_node *t;
 534                 int tslot = path->slots[i];
 535                 if (!path->nodes[i])
 536                         break;
 537                 t = &path->nodes[i]->node;
 538                 memcpy(&t->ptrs[tslot].key, key, sizeof(*key));
 539                 BUG_ON(list_empty(&path->nodes[i]->dirty));
 540                 if (tslot != 0)
 541                         break;
 542         }
 543         return ret;
 544 }
 545
 546 /*
 547  * try to push data from one node into the next node left in the
 548  * tree.
 549  *
 550  * returns 0 if some ptrs were pushed left, < 0 if there was some horrible
 551  * error, and > 0 if there was no room in the left hand block.
 552  */
 553 static int push_node_left(struct btrfs_trans_handle *trans, struct btrfs_root
 554                           *root, struct btrfs_buffer *dst_buf, struct
 555                           btrfs_buffer *src_buf)
 556 {
 557         struct btrfs_node *src = &src_buf->node;
 558         struct btrfs_node *dst = &dst_buf->node;
 559         int push_items = 0;
 560         int src_nritems;
 561         int dst_nritems;
 562         int ret = 0;
 563
 564         src_nritems = btrfs_header_nritems(&src->header);
 565         dst_nritems = btrfs_header_nritems(&dst->header);
 566         push_items = BTRFS_NODEPTRS_PER_BLOCK(root) - dst_nritems;
 567         if (push_items <= 0) {
 568                 return 1;
 569         }
 570
 571         if (src_nritems < push_items)
 572                 push_items = src_nritems;
 573
 574         memcpy(dst->ptrs + dst_nritems, src->ptrs,
 575                 push_items * sizeof(struct btrfs_key_ptr));
 576         if (push_items < src_nritems) {
 577                 memmove(src->ptrs, src->ptrs + push_items,
 578                         (src_nritems - push_items) *
 579                         sizeof(struct btrfs_key_ptr));
 580         }
 581         btrfs_set_header_nritems(&src->header, src_nritems - push_items);
 582         btrfs_set_header_nritems(&dst->header, dst_nritems + push_items);
 583         BUG_ON(list_empty(&src_buf->dirty));
 584         BUG_ON(list_empty(&dst_buf->dirty));
 585         return ret;
 586 }
 587
 588 /*
 589  * try to push data from one node into the next node right in the
 590  * tree.
 591  *
 592  * returns 0 if some ptrs were pushed, < 0 if there was some horrible
 593  * error, and > 0 if there was no room in the right hand block.
 594  *
 595  * this will  only push up to 1/2 the contents of the left node over
 596  */
 597 static int balance_node_right(struct btrfs_trans_handle *trans, struct
 598                               btrfs_root *root, struct btrfs_buffer *dst_buf,
 599                               struct btrfs_buffer *src_buf)
 600 {
 601         struct btrfs_node *src = &src_buf->node;
 602         struct btrfs_node *dst = &dst_buf->node;
 603         int push_items = 0;
 604         int max_push;
 605         int src_nritems;
 606         int dst_nritems;
 607         int ret = 0;
 608
 609         src_nritems = btrfs_header_nritems(&src->header);
 610         dst_nritems = btrfs_header_nritems(&dst->header);
 611         push_items = BTRFS_NODEPTRS_PER_BLOCK(root) - dst_nritems;
 612         if (push_items <= 0) {
 613                 return 1;
 614         }
 615
 616         max_push = src_nritems / 2 + 1;
 617         /* don't try to empty the node */
 618         if (max_push > src_nritems)
 619                 return 1;
 620         if (max_push < push_items)
 621                 push_items = max_push;
 622
 623         memmove(dst->ptrs + push_items, dst->ptrs,
 624                 dst_nritems * sizeof(struct btrfs_key_ptr));
 625         memcpy(dst->ptrs, src->ptrs + src_nritems - push_items,
 626                 push_items * sizeof(struct btrfs_key_ptr));
 627
 628         btrfs_set_header_nritems(&src->header, src_nritems - push_items);
 629         btrfs_set_header_nritems(&dst->header, dst_nritems + push_items);
 630
 631         BUG_ON(list_empty(&src_buf->dirty));
 632         BUG_ON(list_empty(&dst_buf->dirty));
 633         return ret;
 634 }
 635
 636 /*
 637  * helper function to insert a new root level in the tree.
 638  * A new node is allocated, and a single item is inserted to
 639  * point to the existing root
 640  *
 641  * returns zero on success or < 0 on failure.
 642  */
 643 static int insert_new_root(struct btrfs_trans_handle *trans, struct btrfs_root
 644                            *root, struct btrfs_path *path, int level)
 645 {
 646         struct btrfs_buffer *t;
 647         struct btrfs_node *lower;
 648         struct btrfs_node *c;
 649         struct btrfs_disk_key *lower_key;
 650
 651         BUG_ON(path->nodes[level]);
 652         BUG_ON(path->nodes[level-1] != root->node);
 653
 654         t = btrfs_alloc_free_block(trans, root);
 655         c = &t->node;
 656         memset(c, 0, root->blocksize);
 657         btrfs_set_header_nritems(&c->header, 1);
 658         btrfs_set_header_level(&c->header, level);
 659         btrfs_set_header_blocknr(&c->header, t->blocknr);
 660         btrfs_set_header_parentid(&c->header,
 661                                btrfs_header_parentid(&root->node->node.header));
 662         lower = &path->nodes[level-1]->node;
 663         if (btrfs_is_leaf(lower))
 664                 lower_key = &((struct btrfs_leaf *)lower)->items[0].key;
 665         else
 666                 lower_key = &lower->ptrs[0].key;
 667         memcpy(&c->ptrs[0].key, lower_key, sizeof(struct btrfs_disk_key));
 668         btrfs_set_node_blockptr(c, 0, path->nodes[level - 1]->blocknr);
 669         /* the super has an extra ref to root->node */
 670         btrfs_block_release(root, root->node);
 671         root->node = t;
 672         t->count++;
 673         path->nodes[level] = t;
 674         path->slots[level] = 0;
 675         return 0;
 676 }
 677
 678 /*
 679  * worker function to insert a single pointer in a node.
 680  * the node should have enough room for the pointer already
 681  *
 682  * slot and level indicate where you want the key to go, and
 683  * blocknr is the block the key points to.
 684  *
 685  * returns zero on success and < 0 on any error
 686  */
 687 static int insert_ptr(struct btrfs_trans_handle *trans, struct btrfs_root
 688                       *root, struct btrfs_path *path, struct btrfs_disk_key
 689                       *key, u64 blocknr, int slot, int level)
 690 {
 691         struct btrfs_node *lower;
 692         int nritems;
 693
 694         BUG_ON(!path->nodes[level]);
 695         lower = &path->nodes[level]->node;
 696         nritems = btrfs_header_nritems(&lower->header);
 697         if (slot > nritems)
 698                 BUG();
 699         if (nritems == BTRFS_NODEPTRS_PER_BLOCK(root))
 700                 BUG();
 701         if (slot != nritems) {
 702                 memmove(lower->ptrs + slot + 1, lower->ptrs + slot,
 703                         (nritems - slot) * sizeof(struct btrfs_key_ptr));
 704         }
 705         memcpy(&lower->ptrs[slot].key, key, sizeof(struct btrfs_disk_key));
 706         btrfs_set_node_blockptr(lower, slot, blocknr);
 707         btrfs_set_header_nritems(&lower->header, nritems + 1);
 708         BUG_ON(list_empty(&path->nodes[level]->dirty));
 709         return 0;
 710 }
 711
 712 /*
 713  * split the node at the specified level in path in two.
 714  * The path is corrected to point to the appropriate node after the split
 715  *
 716  * Before splitting this tries to make some room in the node by pushing
 717  * left and right, if either one works, it returns right away.
 718  *
 719  * returns 0 on success and < 0 on failure
 720  */
 721 static int split_node(struct btrfs_trans_handle *trans, struct btrfs_root
 722                       *root, struct btrfs_path *path, int level)
 723 {
 724         struct btrfs_buffer *t;
 725         struct btrfs_node *c;
 726         struct btrfs_buffer *split_buffer;
 727         struct btrfs_node *split;
 728         int mid;
 729         int ret;
 730         int wret;
 731         u32 c_nritems;
 732
 733         t = path->nodes[level];
 734         c = &t->node;
 735         if (t == root->node) {
 736                 /* trying to split the root, lets make a new one */
 737                 ret = insert_new_root(trans, root, path, level + 1);
 738                 if (ret)
 739                         return ret;
 740         }
 741         c_nritems = btrfs_header_nritems(&c->header);
 742         split_buffer = btrfs_alloc_free_block(trans, root);
 743         split = &split_buffer->node;
 744         btrfs_set_header_flags(&split->header, btrfs_header_flags(&c->header));
 745         btrfs_set_header_blocknr(&split->header, split_buffer->blocknr);
 746         btrfs_set_header_parentid(&split->header,
 747                                btrfs_header_parentid(&root->node->node.header));
 748         mid = (c_nritems + 1) / 2;
 749         memcpy(split->ptrs, c->ptrs + mid,
 750                 (c_nritems - mid) * sizeof(struct btrfs_key_ptr));
 751         btrfs_set_header_nritems(&split->header, c_nritems - mid);
 752         btrfs_set_header_nritems(&c->header, mid);
 753         ret = 0;
 754
 755         BUG_ON(list_empty(&t->dirty));
 756         wret = insert_ptr(trans, root, path, &split->ptrs[0].key,
 757                           split_buffer->blocknr, path->slots[level + 1] + 1,
 758                           level + 1);
 759         if (wret)
 760                 ret = wret;
 761
 762         if (path->slots[level] >= mid) {
 763                 path->slots[level] -= mid;
 764                 btrfs_block_release(root, t);
 765                 path->nodes[level] = split_buffer;
 766                 path->slots[level + 1] += 1;
 767         } else {
 768                 btrfs_block_release(root, split_buffer);
 769         }
 770         return ret;
 771 }
 772
 773 /*
 774  * how many bytes are required to store the items in a leaf.  start
 775  * and nr indicate which items in the leaf to check.  This totals up the
 776  * space used both by the item structs and the item data
 777  */
 778 static int leaf_space_used(struct btrfs_leaf *l, int start, int nr)
 779 {
 780         int data_len;
 781         int end = start + nr - 1;
 782
 783         if (!nr)
 784                 return 0;
 785         data_len = btrfs_item_end(l->items + start);
 786         data_len = data_len - btrfs_item_offset(l->items + end);
 787         data_len += sizeof(struct btrfs_item) * nr;
 788         return data_len;
 789 }
 790
 791 /*
 792  * push some data in the path leaf to the right, trying to free up at
 793  * least data_size bytes.  returns zero if the push worked, nonzero otherwise
 794  *
 795  * returns 1 if the push failed because the other node didn't have enough
 796  * room, 0 if everything worked out and < 0 if there were major errors.
 797  */
 798 static int push_leaf_right(struct btrfs_trans_handle *trans, struct btrfs_root
 799                            *root, struct btrfs_path *path, int data_size)
 800 {
 801         struct btrfs_buffer *left_buf = path->nodes[0];
 802         struct btrfs_leaf *left = &left_buf->leaf;
 803         struct btrfs_leaf *right;
 804         struct btrfs_buffer *right_buf;
 805         struct btrfs_buffer *upper;
 806         int slot;
 807         int i;
 808         int free_space;
 809         int push_space = 0;
 810         int push_items = 0;
 811         struct btrfs_item *item;
 812         u32 left_nritems;
 813         u32 right_nritems;
 814
 815         slot = path->slots[1];
 816         if (!path->nodes[1]) {
 817                 return 1;
 818         }
 819         upper = path->nodes[1];
 820         if (slot >= btrfs_header_nritems(&upper->node.header) - 1) {
 821                 return 1;
 822         }
 823         right_buf = read_tree_block(root, btrfs_node_blockptr(&upper->node,
 824                                                               slot + 1));
 825         right = &right_buf->leaf;
 826         free_space = btrfs_leaf_free_space(root, right);
 827         if (free_space < data_size + sizeof(struct btrfs_item)) {
 828                 btrfs_block_release(root, right_buf);
 829                 return 1;
 830         }
 831         /* cow and double check */
 832         btrfs_cow_block(trans, root, right_buf, upper, slot + 1, &right_buf);
 833         right = &right_buf->leaf;
 834         free_space = btrfs_leaf_free_space(root, right);
 835         if (free_space < data_size + sizeof(struct btrfs_item)) {
 836                 btrfs_block_release(root, right_buf);
 837                 return 1;
 838         }
 839
 840         left_nritems = btrfs_header_nritems(&left->header);
 841         for (i = left_nritems - 1; i >= 0; i--) {
 842                 item = left->items + i;
 843                 if (path->slots[0] == i)
 844                         push_space += data_size + sizeof(*item);
 845                 if (btrfs_item_size(item) + sizeof(*item) + push_space >
 846                     free_space)
 847                         break;
 848                 push_items++;
 849                 push_space += btrfs_item_size(item) + sizeof(*item);
 850         }
 851         if (push_items == 0) {
 852                 btrfs_block_release(root, right_buf);
 853                 return 1;
 854         }
 855         right_nritems = btrfs_header_nritems(&right->header);
 856         /* push left to right */
 857         push_space = btrfs_item_end(left->items + left_nritems - push_items);
 858         push_space -= leaf_data_end(root, left);
 859         /* make room in the right data area */
 860         memmove(btrfs_leaf_data(right) + leaf_data_end(root, right) -
 861                 push_space, btrfs_leaf_data(right) + leaf_data_end(root, right),
 862                 BTRFS_LEAF_DATA_SIZE(root) - leaf_data_end(root, right));
 863         /* copy from the left data area */
 864         memcpy(btrfs_leaf_data(right) + BTRFS_LEAF_DATA_SIZE(root) - push_space,
 865                 btrfs_leaf_data(left) + leaf_data_end(root, left), push_space);
 866         memmove(right->items + push_items, right->items,
 867                 right_nritems * sizeof(struct btrfs_item));
 868         /* copy the items from left to right */
 869         memcpy(right->items, left->items + left_nritems - push_items,
 870                 push_items * sizeof(struct btrfs_item));
 871
 872         /* update the item pointers */
 873         right_nritems += push_items;
 874         btrfs_set_header_nritems(&right->header, right_nritems);
 875         push_space = BTRFS_LEAF_DATA_SIZE(root);
 876         for (i = 0; i < right_nritems; i++) {
 877                 btrfs_set_item_offset(right->items + i, push_space -
 878                                       btrfs_item_size(right->items + i));
 879                 push_space = btrfs_item_offset(right->items + i);
 880         }
 881         left_nritems -= push_items;
 882         btrfs_set_header_nritems(&left->header, left_nritems);
 883
 884         BUG_ON(list_empty(&left_buf->dirty));
 885         BUG_ON(list_empty(&right_buf->dirty));
 886         memcpy(&upper->node.ptrs[slot + 1].key,
 887                 &right->items[0].key, sizeof(struct btrfs_disk_key));
 888         BUG_ON(list_empty(&upper->dirty));
 889
 890         /* then fixup the leaf pointer in the path */
 891         if (path->slots[0] >= left_nritems) {
 892                 path->slots[0] -= left_nritems;
 893                 btrfs_block_release(root, path->nodes[0]);
 894                 path->nodes[0] = right_buf;
 895                 path->slots[1] += 1;
 896         } else {
 897                 btrfs_block_release(root, right_buf);
 898         }
 899         return 0;
 900 }
 901 /*
 902  * push some data in the path leaf to the left, trying to free up at
 903  * least data_size bytes.  returns zero if the push worked, nonzero otherwise
 904  */
 905 static int push_leaf_left(struct btrfs_trans_handle *trans, struct btrfs_root
 906                           *root, struct btrfs_path *path, int data_size)
 907 {
 908         struct btrfs_buffer *right_buf = path->nodes[0];
 909         struct btrfs_leaf *right = &right_buf->leaf;
 910         struct btrfs_buffer *t;
 911         struct btrfs_leaf *left;
 912         int slot;
 913         int i;
 914         int free_space;
 915         int push_space = 0;
 916         int push_items = 0;
 917         struct btrfs_item *item;
 918         u32 old_left_nritems;
 919         int ret = 0;
 920         int wret;
 921
 922         slot = path->slots[1];
 923         if (slot == 0) {
 924                 return 1;
 925         }
 926         if (!path->nodes[1]) {
 927                 return 1;
 928         }
 929         t = read_tree_block(root, btrfs_node_blockptr(&path->nodes[1]->node,
 930                                                       slot - 1));
 931         left = &t->leaf;
 932         free_space = btrfs_leaf_free_space(root, left);
 933         if (free_space < data_size + sizeof(struct btrfs_item)) {
 934                 btrfs_block_release(root, t);
 935                 return 1;
 936         }
 937
 938         /* cow and double check */
 939         btrfs_cow_block(trans, root, t, path->nodes[1], slot - 1, &t);
 940         left = &t->leaf;
 941         free_space = btrfs_leaf_free_space(root, left);
 942         if (free_space < data_size + sizeof(struct btrfs_item)) {
 943                 btrfs_block_release(root, t);
 944                 return 1;
 945         }
 946
 947         for (i = 0; i < btrfs_header_nritems(&right->header); i++) {
 948                 item = right->items + i;
 949                 if (path->slots[0] == i)
 950                         push_space += data_size + sizeof(*item);
 951                 if (btrfs_item_size(item) + sizeof(*item) + push_space >
 952                     free_space)
 953                         break;
 954                 push_items++;
 955                 push_space += btrfs_item_size(item) + sizeof(*item);
 956         }
 957         if (push_items == 0) {
 958                 btrfs_block_release(root, t);
 959                 return 1;
 960         }
 961         /* push data from right to left */
 962         memcpy(left->items + btrfs_header_nritems(&left->header),
 963                 right->items, push_items * sizeof(struct btrfs_item));
 964         push_space = BTRFS_LEAF_DATA_SIZE(root) -
 965                      btrfs_item_offset(right->items + push_items -1);
 966         memcpy(btrfs_leaf_data(left) + leaf_data_end(root, left) - push_space,
 967                 btrfs_leaf_data(right) +
 968                 btrfs_item_offset(right->items + push_items - 1),
 969                 push_space);
 970         old_left_nritems = btrfs_header_nritems(&left->header);
 971         BUG_ON(old_left_nritems < 0);
 972
 973         for (i = old_left_nritems; i < old_left_nritems + push_items; i++) {
 974                 u32 ioff = btrfs_item_offset(left->items + i);
 975                 btrfs_set_item_offset(left->items + i, ioff -
 976                                      (BTRFS_LEAF_DATA_SIZE(root) -
 977                                       btrfs_item_offset(left->items +
 978                                                         old_left_nritems - 1)));
 979         }
 980         btrfs_set_header_nritems(&left->header, old_left_nritems + push_items);
 981
 982         /* fixup right node */
 983         push_space = btrfs_item_offset(right->items + push_items - 1) -
 984                      leaf_data_end(root, right);
 985         memmove(btrfs_leaf_data(right) + BTRFS_LEAF_DATA_SIZE(root) -
 986                 push_space, btrfs_leaf_data(right) +
 987                 leaf_data_end(root, right), push_space);
 988         memmove(right->items, right->items + push_items,
 989                 (btrfs_header_nritems(&right->header) - push_items) *
 990                 sizeof(struct btrfs_item));
 991         btrfs_set_header_nritems(&right->header,
 992                                  btrfs_header_nritems(&right->header) -
 993                                  push_items);
 994         push_space = BTRFS_LEAF_DATA_SIZE(root);
 995
 996         for (i = 0; i < btrfs_header_nritems(&right->header); i++) {
 997                 btrfs_set_item_offset(right->items + i, push_space -
 998                                       btrfs_item_size(right->items + i));
 999                 push_space = btrfs_item_offset(right->items + i);
1000         }
1001
1002         BUG_ON(list_empty(&t->dirty));
1003         BUG_ON(list_empty(&right_buf->dirty));
1004
1005         wret = fixup_low_keys(trans, root, path, &right->items[0].key, 1);
1006         if (wret)
1007                 ret = wret;
1008
1009         /* then fixup the leaf pointer in the path */
1010         if (path->slots[0] < push_items) {
1011                 path->slots[0] += old_left_nritems;
1012                 btrfs_block_release(root, path->nodes[0]);
1013                 path->nodes[0] = t;
1014                 path->slots[1] -= 1;
1015         } else {
1016                 btrfs_block_release(root, t);
1017                 path->slots[0] -= push_items;
1018         }
1019         BUG_ON(path->slots[0] < 0);
1020         return ret;
1021 }
1022
1023 /*
1024  * split the path's leaf in two, making sure there is at least data_size
1025  * available for the resulting leaf level of the path.
1026  *
1027  * returns 0 if all went well and < 0 on failure.
1028  */
1029 static int split_leaf(struct btrfs_trans_handle *trans, struct btrfs_root
1030                       *root, struct btrfs_path *path, int data_size)
1031 {
1032         struct btrfs_buffer *l_buf;
1033         struct btrfs_leaf *l;
1034         u32 nritems;
1035         int mid;
1036         int slot;
1037         struct btrfs_leaf *right;
1038         struct btrfs_buffer *right_buffer;
1039         int space_needed = data_size + sizeof(struct btrfs_item);
1040         int data_copy_size;
1041         int rt_data_off;
1042         int i;
1043         int ret;
1044         int wret;
1045
1046         wret = push_leaf_left(trans, root, path, data_size);
1047         if (wret < 0)
1048                 return wret;
1049         if (wret) {
1050                 wret = push_leaf_right(trans, root, path, data_size);
1051                 if (wret < 0)
1052                         return wret;
1053         }
1054         l_buf = path->nodes[0];
1055         l = &l_buf->leaf;
1056
1057         /* did the pushes work? */
1058         if (btrfs_leaf_free_space(root, l) >=
1059             sizeof(struct btrfs_item) + data_size)
1060                 return 0;
1061
1062         if (!path->nodes[1]) {
1063                 ret = insert_new_root(trans, root, path, 1);
1064                 if (ret)
1065                         return ret;
1066         }
1067         slot = path->slots[0];
1068         nritems = btrfs_header_nritems(&l->header);
1069         mid = (nritems + 1)/ 2;
1070         right_buffer = btrfs_alloc_free_block(trans, root);
1071         BUG_ON(!right_buffer);
1072         BUG_ON(mid == nritems);
1073         right = &right_buffer->leaf;
1074         memset(&right->header, 0, sizeof(right->header));
1075         if (mid <= slot) {
1076                 /* FIXME, just alloc a new leaf here */
1077                 if (leaf_space_used(l, mid, nritems - mid) + space_needed >
1078                         BTRFS_LEAF_DATA_SIZE(root))
1079                         BUG();
1080         } else {
1081                 /* FIXME, just alloc a new leaf here */
1082                 if (leaf_space_used(l, 0, mid + 1) + space_needed >
1083                         BTRFS_LEAF_DATA_SIZE(root))
1084                         BUG();
1085         }
1086         btrfs_set_header_nritems(&right->header, nritems - mid);
1087         btrfs_set_header_blocknr(&right->header, right_buffer->blocknr);
1088         btrfs_set_header_level(&right->header, 0);
1089         btrfs_set_header_parentid(&right->header,
1090                                btrfs_header_parentid(&root->node->node.header));
1091         data_copy_size = btrfs_item_end(l->items + mid) -
1092                          leaf_data_end(root, l);
1093         memcpy(right->items, l->items + mid,
1094                (nritems - mid) * sizeof(struct btrfs_item));
1095         memcpy(btrfs_leaf_data(right) + BTRFS_LEAF_DATA_SIZE(root) -
1096                 data_copy_size, btrfs_leaf_data(l) +
1097                 leaf_data_end(root, l), data_copy_size);
1098         rt_data_off = BTRFS_LEAF_DATA_SIZE(root) -
1099                       btrfs_item_end(l->items + mid);
1100
1101         for (i = 0; i < btrfs_header_nritems(&right->header); i++) {
1102                 u32 ioff = btrfs_item_offset(right->items + i);
1103                 btrfs_set_item_offset(right->items + i, ioff + rt_data_off);
1104         }
1105
1106         btrfs_set_header_nritems(&l->header, mid);
1107         ret = 0;
1108         wret = insert_ptr(trans, root, path, &right->items[0].key,
1109                           right_buffer->blocknr, path->slots[1] + 1, 1);
1110         if (wret)
1111                 ret = wret;
1112         BUG_ON(list_empty(&right_buffer->dirty));
1113         BUG_ON(list_empty(&l_buf->dirty));
1114         BUG_ON(path->slots[0] != slot);
1115         if (mid <= slot) {
1116                 btrfs_block_release(root, path->nodes[0]);
1117                 path->nodes[0] = right_buffer;
1118                 path->slots[0] -= mid;
1119                 path->slots[1] += 1;
1120         } else
1121                 btrfs_block_release(root, right_buffer);
1122         BUG_ON(path->slots[0] < 0);
1123         return ret;
1124 }
1125
1126 /*
1127  * Given a key and some data, insert an item into the tree.
1128  * This does all the path init required, making room in the tree if needed.
1129  */
1130 int btrfs_insert_empty_item(struct btrfs_trans_handle *trans, struct btrfs_root
1131                             *root, struct btrfs_path *path, struct btrfs_key
1132                             *cpu_key, u32 data_size)
1133 {
1134         int ret = 0;
1135         int slot;
1136         int slot_orig;
1137         struct btrfs_leaf *leaf;
1138         struct btrfs_buffer *leaf_buf;
1139         u32 nritems;
1140         unsigned int data_end;
1141         struct btrfs_disk_key disk_key;
1142
1143         btrfs_cpu_key_to_disk(&disk_key, cpu_key);
1144
1145         /* create a root if there isn't one */
1146         if (!root->node)
1147                 BUG();
1148         ret = btrfs_search_slot(trans, root, cpu_key, path, data_size, 1);
1149         if (ret == 0) {
1150                 btrfs_release_path(root, path);
1151                 return -EEXIST;
1152         }
1153         if (ret < 0)
1154                 goto out;
1155
1156         slot_orig = path->slots[0];
1157         leaf_buf = path->nodes[0];
1158         leaf = &leaf_buf->leaf;
1159
1160         nritems = btrfs_header_nritems(&leaf->header);
1161         data_end = leaf_data_end(root, leaf);
1162
1163         if (btrfs_leaf_free_space(root, leaf) <
1164             sizeof(struct btrfs_item) + data_size)
1165                 BUG();
1166
1167         slot = path->slots[0];
1168         BUG_ON(slot < 0);
1169         if (slot != nritems) {
1170                 int i;
1171                 unsigned int old_data = btrfs_item_end(leaf->items + slot);
1172
1173                 /*
1174                  * item0..itemN ... dataN.offset..dataN.size .. data0.size
1175                  */
1176                 /* first correct the data pointers */
1177                 for (i = slot; i < nritems; i++) {
1178                         u32 ioff = btrfs_item_offset(leaf->items + i);
1179                         btrfs_set_item_offset(leaf->items + i,
1180                                               ioff - data_size);
1181                 }
1182
1183                 /* shift the items */
1184                 memmove(leaf->items + slot + 1, leaf->items + slot,
1185                         (nritems - slot) * sizeof(struct btrfs_item));
1186
1187                 /* shift the data */
1188                 memmove(btrfs_leaf_data(leaf) + data_end - data_size,
1189                         btrfs_leaf_data(leaf) +
1190                         data_end, old_data - data_end);
1191                 data_end = old_data;
1192         }
1193         /* setup the item for the new data */
1194         memcpy(&leaf->items[slot].key, &disk_key,
1195                 sizeof(struct btrfs_disk_key));
1196         btrfs_set_item_offset(leaf->items + slot, data_end - data_size);
1197         btrfs_set_item_size(leaf->items + slot, data_size);
1198         btrfs_set_header_nritems(&leaf->header, nritems + 1);
1199
1200         ret = 0;
1201         if (slot == 0)
1202                 ret = fixup_low_keys(trans, root, path, &disk_key, 1);
1203
1204         BUG_ON(list_empty(&leaf_buf->dirty));
1205         if (btrfs_leaf_free_space(root, leaf) < 0)
1206                 BUG();
1207         check_leaf(root, path, 0);
1208 out:
1209         return ret;
1210 }
1211
1212 /*
1213  * Given a key and some data, insert an item into the tree.
1214  * This does all the path init required, making room in the tree if needed.
1215  */
1216 int btrfs_insert_item(struct btrfs_trans_handle *trans, struct btrfs_root
1217                       *root, struct btrfs_key *cpu_key, void *data, u32
1218                       data_size)
1219 {
1220         int ret = 0;
1221         struct btrfs_path path;
1222         u8 *ptr;
1223
1224         btrfs_init_path(&path);
1225         ret = btrfs_insert_empty_item(trans, root, &path, cpu_key, data_size);
1226         if (!ret) {
1227                 ptr = btrfs_item_ptr(&path.nodes[0]->leaf, path.slots[0], u8);
1228                 memcpy(ptr, data, data_size);
1229         }
1230         btrfs_release_path(root, &path);
1231         return ret;
1232 }
1233
1234 /*
1235  * delete the pointer from a given node.
1236  *
1237  * If the delete empties a node, the node is removed from the tree,
1238  * continuing all the way the root if required.  The root is converted into
1239  * a leaf if all the nodes are emptied.
1240  */
1241 static int del_ptr(struct btrfs_trans_handle *trans, struct btrfs_root *root,
1242                    struct btrfs_path *path, int level, int slot)
1243 {
1244         struct btrfs_node *node;
1245         struct btrfs_buffer *parent = path->nodes[level];
1246         u32 nritems;
1247         int ret = 0;
1248         int wret;
1249
1250         node = &parent->node;
1251         nritems = btrfs_header_nritems(&node->header);
1252         if (slot != nritems -1) {
1253                 memmove(node->ptrs + slot, node->ptrs + slot + 1,
1254                         sizeof(struct btrfs_key_ptr) * (nritems - slot - 1));
1255         }
1256         nritems--;
1257         btrfs_set_header_nritems(&node->header, nritems);
1258         if (nritems == 0 && parent == root->node) {
1259                 BUG_ON(btrfs_header_level(&root->node->node.header) != 1);
1260                 /* just turn the root into a leaf and break */
1261                 btrfs_set_header_level(&root->node->node.header, 0);
1262         } else if (slot == 0) {
1263                 wret = fixup_low_keys(trans, root, path, &node->ptrs[0].key,
1264                                       level + 1);
1265                 if (wret)
1266                         ret = wret;
1267         }
1268         BUG_ON(list_empty(&parent->dirty));
1269         return ret;
1270 }
1271
1272 /*
1273  * delete the item at the leaf level in path.  If that empties
1274  * the leaf, remove it from the tree
1275  */
1276 int btrfs_del_item(struct btrfs_trans_handle *trans, struct btrfs_root *root,
1277                    struct btrfs_path *path)
1278 {
1279         int slot;
1280         struct btrfs_leaf *leaf;
1281         struct btrfs_buffer *leaf_buf;
1282         int doff;
1283         int dsize;
1284         int ret = 0;
1285         int wret;
1286         u32 nritems;
1287
1288         leaf_buf = path->nodes[0];
1289         leaf = &leaf_buf->leaf;
1290         slot = path->slots[0];
1291         doff = btrfs_item_offset(leaf->items + slot);
1292         dsize = btrfs_item_size(leaf->items + slot);
1293         nritems = btrfs_header_nritems(&leaf->header);
1294
1295         if (slot != nritems - 1) {
1296                 int i;
1297                 int data_end = leaf_data_end(root, leaf);
1298                 memmove(btrfs_leaf_data(leaf) + data_end + dsize,
1299                         btrfs_leaf_data(leaf) + data_end,
1300                         doff - data_end);
1301                 for (i = slot + 1; i < nritems; i++) {
1302                         u32 ioff = btrfs_item_offset(leaf->items + i);
1303                         btrfs_set_item_offset(leaf->items + i, ioff + dsize);
1304                 }
1305                 memmove(leaf->items + slot, leaf->items + slot + 1,
1306                         sizeof(struct btrfs_item) *
1307                         (nritems - slot - 1));
1308         }
1309         btrfs_set_header_nritems(&leaf->header, nritems - 1);
1310         nritems--;
1311         /* delete the leaf if we've emptied it */
1312         if (nritems == 0) {
1313                 if (leaf_buf == root->node) {
1314                         btrfs_set_header_level(&leaf->header, 0);
1315                         BUG_ON(list_empty(&leaf_buf->dirty));
1316                 } else {
1317                         clean_tree_block(trans, root, leaf_buf);
1318                         wret = del_ptr(trans, root, path, 1, path->slots[1]);
1319                         if (wret)
1320                                 ret = wret;
1321                         wret = btrfs_free_extent(trans, root,
1322                                                  leaf_buf->blocknr, 1, 1);
1323                         if (wret)
1324                                 ret = wret;
1325                 }
1326         } else {
1327                 int used = leaf_space_used(leaf, 0, nritems);
1328                 if (slot == 0) {
1329                         wret = fixup_low_keys(trans, root, path,
1330                                               &leaf->items[0].key, 1);
1331                         if (wret)
1332                                 ret = wret;
1333                 }
1334                 BUG_ON(list_empty(&leaf_buf->dirty));
1335
1336                 /* delete the leaf if it is mostly empty */
1337                 if (used < BTRFS_LEAF_DATA_SIZE(root) / 3) {
1338                         /* push_leaf_left fixes the path.
1339                          * make sure the path still points to our leaf
1340                          * for possible call to del_ptr below
1341                          */
1342                         slot = path->slots[1];
1343                         leaf_buf->count++;
1344                         wret = push_leaf_left(trans, root, path, 1);
1345                         if (wret < 0)
1346                                 ret = wret;
1347                         if (path->nodes[0] == leaf_buf &&
1348                             btrfs_header_nritems(&leaf->header)) {
1349                                 wret = push_leaf_right(trans, root, path, 1);
1350                                 if (wret < 0)
1351                                         ret = wret;
1352                         }
1353                         if (btrfs_header_nritems(&leaf->header) == 0) {
1354                                 u64 blocknr = leaf_buf->blocknr;
1355                                 clean_tree_block(trans, root, leaf_buf);
1356                                 wret = del_ptr(trans, root, path, 1, slot);
1357                                 if (wret)
1358                                         ret = wret;
1359                                 btrfs_block_release(root, leaf_buf);
1360                                 wret = btrfs_free_extent(trans, root, blocknr,
1361                                                          1, 1);
1362                                 if (wret)
1363                                         ret = wret;
1364                         } else {
1365                                 btrfs_block_release(root, leaf_buf);
1366                         }
1367                 }
1368         }
1369         return ret;
1370 }
1371
1372 /*
1373  * walk up the tree as far as required to find the next leaf.
1374  * returns 0 if it found something or 1 if there are no greater leaves.
1375  * returns < 0 on io errors.
1376  */
1377 int btrfs_next_leaf(struct btrfs_root *root, struct btrfs_path *path)
1378 {
1379         int slot;
1380         int level = 1;
1381         u64 blocknr;
1382         struct btrfs_buffer *c;
1383         struct btrfs_buffer *next = NULL;
1384
1385         while(level < BTRFS_MAX_LEVEL) {
1386                 if (!path->nodes[level])
1387                         return 1;
1388                 slot = path->slots[level] + 1;
1389                 c = path->nodes[level];
1390                 if (slot >= btrfs_header_nritems(&c->node.header)) {
1391                         level++;
1392                         continue;
1393                 }
1394                 blocknr = btrfs_node_blockptr(&c->node, slot);
1395                 if (next)
1396                         btrfs_block_release(root, next);
1397                 next = read_tree_block(root, blocknr);
1398                 break;
1399         }
1400         path->slots[level] = slot;
1401         while(1) {
1402                 level--;
1403                 c = path->nodes[level];
1404                 btrfs_block_release(root, c);
1405                 path->nodes[level] = next;
1406                 path->slots[level] = 0;
1407                 if (!level)
1408                         break;
1409                 next = read_tree_block(root,
1410                                        btrfs_node_blockptr(&next->node, 0));
1411         }
1412         return 0;
1413 }