js/src/assembler/assembler/MacroAssemblerX86_64.h

   1 /* -*- Mode: C++; tab-width: 8; indent-tabs-mode: nil; c-basic-offset: 4 -*-
   2  * vim: set ts=8 sw=4 et tw=79:
   3  *
   4  * ***** BEGIN LICENSE BLOCK *****
   5  * Copyright (C) 2008 Apple Inc. All rights reserved.
   6  *
   7  * Redistribution and use in source and binary forms, with or without
   8  * modification, are permitted provided that the following conditions
   9  * are met:
  10  * 1. Redistributions of source code must retain the above copyright
  11  *    notice, this list of conditions and the following disclaimer.
  12  * 2. Redistributions in binary form must reproduce the above copyright
  13  *    notice, this list of conditions and the following disclaimer in the
  14  *    documentation and/or other materials provided with the distribution.
  15  *
  16  * THIS SOFTWARE IS PROVIDED BY APPLE INC. ``AS IS'' AND ANY
  17  * EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  18  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
  19  * PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL APPLE INC. OR
  20  * CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
  21  * EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
  22  * PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
  23  * PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY
  24  * OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
  25  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
  26  * OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  27  *
  28  * ***** END LICENSE BLOCK ***** */
  29
  30 #ifndef MacroAssemblerX86_64_h
  31 #define MacroAssemblerX86_64_h
  32
  33 #include "assembler/wtf/Platform.h"
  34
  35 #if ENABLE_ASSEMBLER && WTF_CPU_X86_64
  36
  37 #include "MacroAssemblerX86Common.h"
  38
  39 #define REPTACH_OFFSET_CALL_R11 3
  40
  41 namespace JSC {
  42
  43 class MacroAssemblerX86_64 : public MacroAssemblerX86Common {
  44 protected:
  45     static const intptr_t MinInt32 = 0xFFFFFFFF80000000;
  46     static const intptr_t MaxInt32 = 0x000000007FFFFFFF;
  47
  48 public:
  49     static const Scale ScalePtr = TimesEight;
  50     static const unsigned int TotalRegisters = 16;
  51
  52     using MacroAssemblerX86Common::add32;
  53     using MacroAssemblerX86Common::and32;
  54     using MacroAssemblerX86Common::or32;
  55     using MacroAssemblerX86Common::sub32;
  56     using MacroAssemblerX86Common::load32;
  57     using MacroAssemblerX86Common::store32;
  58     using MacroAssemblerX86Common::call;
  59     using MacroAssemblerX86Common::loadDouble;
  60     using MacroAssemblerX86Common::storeDouble;
  61     using MacroAssemblerX86Common::convertInt32ToDouble;
  62
  63     void add32(Imm32 imm, AbsoluteAddress address)
  64     {
  65         move(ImmPtr(address.m_ptr), scratchRegister);
  66         add32(imm, Address(scratchRegister));
  67     }
  68
  69     void and32(Imm32 imm, AbsoluteAddress address)
  70     {
  71         move(ImmPtr(address.m_ptr), scratchRegister);
  72         and32(imm, Address(scratchRegister));
  73     }
  74
  75     void or32(Imm32 imm, AbsoluteAddress address)
  76     {
  77         move(ImmPtr(address.m_ptr), scratchRegister);
  78         or32(imm, Address(scratchRegister));
  79     }
  80
  81     void sub32(Imm32 imm, AbsoluteAddress address)
  82     {
  83         move(ImmPtr(address.m_ptr), scratchRegister);
  84         sub32(imm, Address(scratchRegister));
  85     }
  86
  87     void load32(void* address, RegisterID dest)
  88     {
  89         if (dest == X86Registers::eax)
  90             m_assembler.movl_mEAX(address);
  91         else {
  92             move(ImmPtr(address), scratchRegister);
  93             load32(ImplicitAddress(scratchRegister), dest);
  94         }
  95     }
  96
  97     DataLabelPtr loadDouble(const void* address, FPRegisterID dest)
  98     {
  99         DataLabelPtr label = moveWithPatch(ImmPtr(address), scratchRegister);
 100         loadDouble(scratchRegister, dest);
 101         return label;
 102     }
 103
 104     void convertInt32ToDouble(AbsoluteAddress src, FPRegisterID dest)
 105     {
 106         move(Imm32(*static_cast<int32_t*>(src.m_ptr)), scratchRegister);
 107         m_assembler.cvtsi2sd_rr(scratchRegister, dest);
 108     }
 109
 110     void convertUInt32ToDouble(RegisterID srcDest, FPRegisterID dest)
 111     {
 112         zeroExtend32ToPtr(srcDest, srcDest);
 113         zeroDouble(dest); // break dependency chains
 114         m_assembler.cvtsq2sd_rr(srcDest, dest);
 115     }
 116
 117     void store32(Imm32 imm, void* address)
 118     {
 119         move(X86Registers::eax, scratchRegister);
 120         move(imm, X86Registers::eax);
 121         m_assembler.movl_EAXm(address);
 122         move(scratchRegister, X86Registers::eax);
 123     }
 124
 125     Call call()
 126     {
 127         DataLabelPtr label = moveWithPatch(ImmPtr(0), scratchRegister);
 128         Call result = Call(m_assembler.call(scratchRegister), Call::Linkable);
 129         ASSERT(differenceBetween(label, result) == REPTACH_OFFSET_CALL_R11);
 130         return result;
 131     }
 132
 133     Call tailRecursiveCall()
 134     {
 135         DataLabelPtr label = moveWithPatch(ImmPtr(0), scratchRegister);
 136         Jump newJump = Jump(m_assembler.jmp_r(scratchRegister));
 137         ASSERT(differenceBetween(label, newJump) == REPTACH_OFFSET_CALL_R11);
 138         return Call::fromTailJump(newJump);
 139     }
 140
 141     Call makeTailRecursiveCall(Jump oldJump)
 142     {
 143         oldJump.link(this);
 144         DataLabelPtr label = moveWithPatch(ImmPtr(0), scratchRegister);
 145         Jump newJump = Jump(m_assembler.jmp_r(scratchRegister));
 146         ASSERT(differenceBetween(label, newJump) == REPTACH_OFFSET_CALL_R11);
 147         return Call::fromTailJump(newJump);
 148     }
 149
 150
 151     void addPtr(RegisterID src, RegisterID dest)
 152     {
 153         m_assembler.addq_rr(src, dest);
 154     }
 155
 156     void lea(BaseIndex address, RegisterID dest)
 157     {
 158         m_assembler.leaq_mr(address.offset, address.base, address.index, address.scale, dest);
 159     }
 160
 161     void lea(Address address, RegisterID dest)
 162     {
 163         m_assembler.leaq_mr(address.offset, address.base, dest);
 164     }
 165
 166     void addPtr(Imm32 imm, RegisterID srcDest)
 167     {
 168         m_assembler.addq_ir(imm.m_value, srcDest);
 169     }
 170
 171     void addPtr(ImmPtr imm, RegisterID dest)
 172     {
 173         move(imm, scratchRegister);
 174         m_assembler.addq_rr(scratchRegister, dest);
 175     }
 176
 177     void addPtr(Imm32 imm, RegisterID src, RegisterID dest)
 178     {
 179         m_assembler.leaq_mr(imm.m_value, src, dest);
 180     }
 181
 182     void addPtr(Imm32 imm, Address address)
 183     {
 184         m_assembler.addq_im(imm.m_value, address.offset, address.base);
 185     }
 186
 187     void addPtr(Imm32 imm, AbsoluteAddress address)
 188     {
 189         move(ImmPtr(address.m_ptr), scratchRegister);
 190         addPtr(imm, Address(scratchRegister));
 191     }
 192
 193     void andPtr(RegisterID src, RegisterID dest)
 194     {
 195         m_assembler.andq_rr(src, dest);
 196     }
 197
 198     void andPtr(Address src, RegisterID dest)
 199     {
 200         m_assembler.andq_mr(src.offset, src.base, dest);
 201     }
 202
 203     void andPtr(Imm32 imm, RegisterID srcDest)
 204     {
 205         m_assembler.andq_ir(imm.m_value, srcDest);
 206     }
 207
 208     void andPtr(ImmPtr imm, RegisterID srcDest)
 209     {
 210         intptr_t value = intptr_t(imm.m_value);
 211
 212         // 32-bit immediates in 64-bit ALU ops are sign-extended.
 213         if (value >= MinInt32 && value <= MaxInt32) {
 214             andPtr(Imm32(int(value)), srcDest);
 215         } else {
 216             move(imm, scratchRegister);
 217             m_assembler.andq_rr(scratchRegister, srcDest);
 218         }
 219     }
 220
 221     void notPtr(RegisterID srcDest)
 222     {
 223         m_assembler.notq_r(srcDest);
 224     }
 225
 226     void orPtr(Address src, RegisterID dest)
 227     {
 228         m_assembler.orq_mr(src.offset, src.base, dest);
 229     }
 230
 231     void orPtr(RegisterID src, RegisterID dest)
 232     {
 233         m_assembler.orq_rr(src, dest);
 234     }
 235
 236     void orPtr(ImmPtr imm, RegisterID dest)
 237     {
 238         move(imm, scratchRegister);
 239         m_assembler.orq_rr(scratchRegister, dest);
 240     }
 241
 242     void orPtr(Imm32 imm, RegisterID dest)
 243     {
 244         m_assembler.orq_ir(imm.m_value, dest);
 245     }
 246
 247     void subPtr(RegisterID src, RegisterID dest)
 248     {
 249         m_assembler.subq_rr(src, dest);
 250     }
 251
 252     void subPtr(Imm32 imm, RegisterID dest)
 253     {
 254         m_assembler.subq_ir(imm.m_value, dest);
 255     }
 256
 257     void subPtr(ImmPtr imm, RegisterID dest)
 258     {
 259         move(imm, scratchRegister);
 260         m_assembler.subq_rr(scratchRegister, dest);
 261     }
 262
 263     void xorPtr(RegisterID src, RegisterID dest)
 264     {
 265         m_assembler.xorq_rr(src, dest);
 266     }
 267
 268     void xorPtr(Imm32 imm, RegisterID srcDest)
 269     {
 270         m_assembler.xorq_ir(imm.m_value, srcDest);
 271     }
 272
 273     void rshiftPtr(Imm32 imm, RegisterID srcDest)
 274     {
 275         m_assembler.sarq_i8r(imm.m_value, srcDest);
 276     }
 277
 278     void lshiftPtr(Imm32 imm, RegisterID srcDest)
 279     {
 280         m_assembler.shlq_i8r(imm.m_value, srcDest);
 281     }
 282
 283     void loadPtr(ImplicitAddress address, RegisterID dest)
 284     {
 285         m_assembler.movq_mr(address.offset, address.base, dest);
 286     }
 287
 288     void loadPtr(BaseIndex address, RegisterID dest)
 289     {
 290         m_assembler.movq_mr(address.offset, address.base, address.index, address.scale, dest);
 291     }
 292
 293     void loadPtr(void* address, RegisterID dest)
 294     {
 295         if (dest == X86Registers::eax)
 296             m_assembler.movq_mEAX(address);
 297         else {
 298             move(ImmPtr(address), scratchRegister);
 299             loadPtr(ImplicitAddress(scratchRegister), dest);
 300         }
 301     }
 302
 303     DataLabel32 loadPtrWithAddressOffsetPatch(Address address, RegisterID dest)
 304     {
 305         m_assembler.movq_mr_disp32(address.offset, address.base, dest);
 306         return DataLabel32(this);
 307     }
 308
 309     void storePtr(RegisterID src, ImplicitAddress address)
 310     {
 311         m_assembler.movq_rm(src, address.offset, address.base);
 312     }
 313
 314     void storePtr(ImmPtr imm, BaseIndex address)
 315     {
 316         intptr_t value = intptr_t(imm.m_value);
 317
 318         // 32-bit immediates in 64-bit stores will be zero-extended, so check
 319         // if the value can fit in such a store.
 320         if (value >= 0 && value < intptr_t(0x7FFFFFFF)) {
 321             m_assembler.movq_i32m(int32_t(value), address.offset, address.base, address.index,
 322                                   address.scale);
 323         } else {
 324             move(imm, scratchRegister);
 325             storePtr(scratchRegister, address);
 326         }
 327     }
 328
 329     void storePtr(RegisterID src, BaseIndex address)
 330     {
 331         m_assembler.movq_rm(src, address.offset, address.base, address.index, address.scale);
 332     }
 333
 334     void storePtr(RegisterID src, void* address)
 335     {
 336         if (src == X86Registers::eax)
 337             m_assembler.movq_EAXm(address);
 338         else {
 339             move(ImmPtr(address), scratchRegister);
 340             storePtr(src, ImplicitAddress(scratchRegister));
 341         }
 342     }
 343
 344     void storePtr(ImmPtr imm, ImplicitAddress address)
 345     {
 346         intptr_t value = intptr_t(imm.m_value);
 347
 348         // 32-bit immediates in 64-bit stores will be zero-extended, so check
 349         // if the value can fit in such a store.
 350         if (value >= 0 && value < intptr_t(0x7FFFFFFF)) {
 351             m_assembler.movq_i32m(int32_t(value), address.offset, address.base);
 352         } else {
 353             move(imm, scratchRegister);
 354             storePtr(scratchRegister, address);
 355         }
 356     }
 357
 358     DataLabel32 storePtrWithAddressOffsetPatch(RegisterID src, Address address)
 359     {
 360         m_assembler.movq_rm_disp32(src, address.offset, address.base);
 361         return DataLabel32(this);
 362     }
 363
 364     void movePtrToDouble(RegisterID src, FPRegisterID dest)
 365     {
 366         m_assembler.movq_rr(src, dest);
 367     }
 368
 369     void moveDoubleToPtr(FPRegisterID src, RegisterID dest)
 370     {
 371         m_assembler.movq_rr(src, dest);
 372     }
 373
 374     void setPtr(Condition cond, RegisterID left, Imm32 right, RegisterID dest)
 375     {
 376         if (((cond == Equal) || (cond == NotEqual)) && !right.m_value)
 377             m_assembler.testq_rr(left, left);
 378         else
 379             m_assembler.cmpq_ir(right.m_value, left);
 380         m_assembler.setCC_r(x86Condition(cond), dest);
 381         m_assembler.movzbl_rr(dest, dest);
 382     }
 383
 384     void setPtr(Condition cond, RegisterID left, RegisterID right, RegisterID dest)
 385     {
 386         m_assembler.cmpq_rr(right, left);
 387         m_assembler.setCC_r(x86Condition(cond), dest);
 388         m_assembler.movzbl_rr(dest, dest);
 389     }
 390
 391     void setPtr(Condition cond, RegisterID left, ImmPtr right, RegisterID dest)
 392     {
 393         move(right, scratchRegister);
 394         setPtr(cond, left, scratchRegister, dest);
 395     }
 396
 397     Jump branchPtr(Condition cond, RegisterID left, RegisterID right)
 398     {
 399         m_assembler.cmpq_rr(right, left);
 400         return Jump(m_assembler.jCC(x86Condition(cond)));
 401     }
 402
 403     Jump branchPtr(Condition cond, RegisterID left, Imm32 right)
 404     {
 405         m_assembler.cmpq_ir(right.m_value, left);
 406         return Jump(m_assembler.jCC(x86Condition(cond)));
 407     }
 408
 409     Jump branchPtr(Condition cond, RegisterID left, ImmPtr right)
 410     {
 411         move(right, scratchRegister);
 412         return branchPtr(cond, left, scratchRegister);
 413     }
 414
 415     Jump branchPtr(Condition cond, RegisterID left, Address right)
 416     {
 417         m_assembler.cmpq_mr(right.offset, right.base, left);
 418         return Jump(m_assembler.jCC(x86Condition(cond)));
 419     }
 420
 421     Jump branchPtr(Condition cond, AbsoluteAddress left, RegisterID right)
 422     {
 423         move(ImmPtr(left.m_ptr), scratchRegister);
 424         return branchPtr(cond, Address(scratchRegister), right);
 425     }
 426
 427     Jump branchPtr(Condition cond, Address left, RegisterID right)
 428     {
 429         m_assembler.cmpq_rm(right, left.offset, left.base);
 430         return Jump(m_assembler.jCC(x86Condition(cond)));
 431     }
 432
 433     Jump branchPtr(Condition cond, Address left, ImmPtr right)
 434     {
 435         move(right, scratchRegister);
 436         return branchPtr(cond, left, scratchRegister);
 437     }
 438
 439     Jump branchTestPtr(Condition cond, RegisterID reg, RegisterID mask)
 440     {
 441         m_assembler.testq_rr(reg, mask);
 442         return Jump(m_assembler.jCC(x86Condition(cond)));
 443     }
 444
 445     Jump branchTestPtr(Condition cond, RegisterID reg, Imm32 mask = Imm32(-1))
 446     {
 447         // if we are only interested in the low seven bits, this can be tested with a testb
 448         if (mask.m_value == -1)
 449             m_assembler.testq_rr(reg, reg);
 450         else if ((mask.m_value & ~0x7f) == 0)
 451             m_assembler.testb_i8r(mask.m_value, reg);
 452         else
 453             m_assembler.testq_i32r(mask.m_value, reg);
 454         return Jump(m_assembler.jCC(x86Condition(cond)));
 455     }
 456
 457     Jump branchTestPtr(Condition cond, Address address, Imm32 mask = Imm32(-1))
 458     {
 459         if (mask.m_value == -1)
 460             m_assembler.cmpq_im(0, address.offset, address.base);
 461         else
 462             m_assembler.testq_i32m(mask.m_value, address.offset, address.base);
 463         return Jump(m_assembler.jCC(x86Condition(cond)));
 464     }
 465
 466     Jump branchTestPtr(Condition cond, BaseIndex address, Imm32 mask = Imm32(-1))
 467     {
 468         if (mask.m_value == -1)
 469             m_assembler.cmpq_im(0, address.offset, address.base, address.index, address.scale);
 470         else
 471             m_assembler.testq_i32m(mask.m_value, address.offset, address.base, address.index, address.scale);
 472         return Jump(m_assembler.jCC(x86Condition(cond)));
 473     }
 474
 475
 476     Jump branchAddPtr(Condition cond, RegisterID src, RegisterID dest)
 477     {
 478         ASSERT((cond == Overflow) || (cond == Zero) || (cond == NonZero));
 479         addPtr(src, dest);
 480         return Jump(m_assembler.jCC(x86Condition(cond)));
 481     }
 482
 483     Jump branchSubPtr(Condition cond, Imm32 imm, RegisterID dest)
 484     {
 485         ASSERT((cond == Overflow) || (cond == Zero) || (cond == NonZero));
 486         subPtr(imm, dest);
 487         return Jump(m_assembler.jCC(x86Condition(cond)));
 488     }
 489
 490     DataLabelPtr moveWithPatch(ImmPtr initialValue, RegisterID dest)
 491     {
 492         m_assembler.movq_i64r(initialValue.asIntptr(), dest);
 493         return DataLabelPtr(this);
 494     }
 495
 496     Jump branchPtrWithPatch(Condition cond, RegisterID left, DataLabelPtr& dataLabel, ImmPtr initialRightValue = ImmPtr(0))
 497     {
 498         dataLabel = moveWithPatch(initialRightValue, scratchRegister);
 499         return branchPtr(cond, left, scratchRegister);
 500     }
 501
 502     Jump branchPtrWithPatch(Condition cond, Address left, DataLabelPtr& dataLabel, ImmPtr initialRightValue = ImmPtr(0))
 503     {
 504         dataLabel = moveWithPatch(initialRightValue, scratchRegister);
 505         return branchPtr(cond, left, scratchRegister);
 506     }
 507
 508     DataLabelPtr storePtrWithPatch(ImmPtr initialValue, ImplicitAddress address)
 509     {
 510         DataLabelPtr label = moveWithPatch(initialValue, scratchRegister);
 511         storePtr(scratchRegister, address);
 512         return label;
 513     }
 514
 515     using MacroAssemblerX86Common::branchTest8;
 516     Jump branchTest8(Condition cond, ExtendedAddress address, Imm32 mask = Imm32(-1))
 517     {
 518         ImmPtr addr(reinterpret_cast<void*>(address.offset));
 519         MacroAssemblerX86Common::move(addr, scratchRegister);
 520         return MacroAssemblerX86Common::branchTest8(cond, BaseIndex(scratchRegister, address.base, TimesOne), mask);
 521     }
 522
 523     Label loadPtrWithPatchToLEA(Address address, RegisterID dest)
 524     {
 525         Label label(this);
 526         loadPtr(address, dest);
 527         return label;
 528     }
 529
 530     void pushAllRegs()
 531     {
 532         for (int i = X86Registers::eax; i <= X86Registers::r15; i++)
 533             m_assembler.push_r((RegisterID)i);
 534     }
 535
 536     void popAllRegs()
 537     {
 538         for (int i = X86Registers::r15; i >= X86Registers::eax; i--)
 539             m_assembler.pop_r((RegisterID)i);
 540     }
 541
 542     void storeDouble(ImmDouble imm, Address address)
 543     {
 544         storePtr(ImmPtr(reinterpret_cast<void *>(imm.u.u64)), address);
 545     }
 546
 547     void storeDouble(ImmDouble imm, BaseIndex address)
 548     {
 549         storePtr(ImmPtr(reinterpret_cast<void *>(imm.u.u64)), address);
 550     }
 551
 552     bool supportsFloatingPoint() const { return true; }
 553     // See comment on MacroAssemblerARMv7::supportsFloatingPointTruncate()
 554     bool supportsFloatingPointTruncate() const { return true; }
 555     bool supportsFloatingPointSqrt() const { return true; }
 556
 557 private:
 558     friend class LinkBuffer;
 559     friend class RepatchBuffer;
 560
 561     static void linkCall(void* code, Call call, FunctionPtr function)
 562     {
 563         if (!call.isFlagSet(Call::Near))
 564             X86Assembler::linkPointer(code, X86Assembler::labelFor(call.m_jmp, -REPTACH_OFFSET_CALL_R11), function.value());
 565         else
 566             X86Assembler::linkCall(code, call.m_jmp, function.value());
 567     }
 568
 569     static void repatchCall(CodeLocationCall call, CodeLocationLabel destination)
 570     {
 571         X86Assembler::repatchPointer(call.dataLabelPtrAtOffset(-REPTACH_OFFSET_CALL_R11).dataLocation(), destination.executableAddress());
 572     }
 573
 574     static void repatchCall(CodeLocationCall call, FunctionPtr destination)
 575     {
 576         X86Assembler::repatchPointer(call.dataLabelPtrAtOffset(-REPTACH_OFFSET_CALL_R11).dataLocation(), destination.executableAddress());
 577     }
 578
 579 };
 580
 581 } // namespace JSC
 582
 583 #endif // ENABLE(ASSEMBLER)
 584
 585 #endif // MacroAssemblerX86_64_h