src/v8/src/ia32/assembler-ia32-inl.h

   1 // Copyright (c) 1994-2006 Sun Microsystems Inc.
   2 // All Rights Reserved.
   3 //
   4 // Redistribution and use in source and binary forms, with or without
   5 // modification, are permitted provided that the following conditions are
   6 // met:
   7 //
   8 // - Redistributions of source code must retain the above copyright notice,
   9 // this list of conditions and the following disclaimer.
  10 //
  11 // - Redistribution in binary form must reproduce the above copyright
  12 // notice, this list of conditions and the following disclaimer in the
  13 // documentation and/or other materials provided with the distribution.
  14 //
  15 // - Neither the name of Sun Microsystems or the names of contributors may
  16 // be used to endorse or promote products derived from this software without
  17 // specific prior written permission.
  18 //
  19 // THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS "AS
  20 // IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO,
  21 // THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
  22 // PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT OWNER OR
  23 // CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
  24 // EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
  25 // PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
  26 // PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF
  27 // LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING
  28 // NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS
  29 // SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  30
  31 // The original source code covered by the above license above has been
  32 // modified significantly by Google Inc.
  33 // Copyright 2012 the V8 project authors. All rights reserved.
  34
  35 // A light-weight IA32 Assembler.
  36
  37 #ifndef V8_IA32_ASSEMBLER_IA32_INL_H_
  38 #define V8_IA32_ASSEMBLER_IA32_INL_H_
  39
  40 #include "ia32/assembler-ia32.h"
  41
  42 #include "cpu.h"
  43 #include "debug.h"
  44
  45 namespace v8 {
  46 namespace internal {
  47
  48
  49 static const byte kCallOpcode = 0xE8;
  50 static const int kNoCodeAgeSequenceLength = 5;
  51
  52
  53 // The modes possibly affected by apply must be in kApplyMask.
  54 void RelocInfo::apply(intptr_t delta) {
  55   if (IsRuntimeEntry(rmode_) || IsCodeTarget(rmode_)) {
  56     int32_t* p = reinterpret_cast<int32_t*>(pc_);
  57     *p -= delta;  // Relocate entry.
  58     CPU::FlushICache(p, sizeof(uint32_t));
  59   } else if (rmode_ == CODE_AGE_SEQUENCE) {
  60     if (*pc_ == kCallOpcode) {
  61       int32_t* p = reinterpret_cast<int32_t*>(pc_ + 1);
  62       *p -= delta;  // Relocate entry.
  63       CPU::FlushICache(p, sizeof(uint32_t));
  64     }
  65   } else if (rmode_ == JS_RETURN && IsPatchedReturnSequence()) {
  66     // Special handling of js_return when a break point is set (call
  67     // instruction has been inserted).
  68     int32_t* p = reinterpret_cast<int32_t*>(pc_ + 1);
  69     *p -= delta;  // Relocate entry.
  70     CPU::FlushICache(p, sizeof(uint32_t));
  71   } else if (rmode_ == DEBUG_BREAK_SLOT && IsPatchedDebugBreakSlotSequence()) {
  72     // Special handling of a debug break slot when a break point is set (call
  73     // instruction has been inserted).
  74     int32_t* p = reinterpret_cast<int32_t*>(pc_ + 1);
  75     *p -= delta;  // Relocate entry.
  76     CPU::FlushICache(p, sizeof(uint32_t));
  77   } else if (IsInternalReference(rmode_)) {
  78     // absolute code pointer inside code object moves with the code object.
  79     int32_t* p = reinterpret_cast<int32_t*>(pc_);
  80     *p += delta;  // Relocate entry.
  81     CPU::FlushICache(p, sizeof(uint32_t));
  82   }
  83 }
  84
  85
  86 Address RelocInfo::target_address() {
  87   ASSERT(IsCodeTarget(rmode_) || IsRuntimeEntry(rmode_));
  88   return Assembler::target_address_at(pc_, host_);
  89 }
  90
  91
  92 Address RelocInfo::target_address_address() {
  93   ASSERT(IsCodeTarget(rmode_) || IsRuntimeEntry(rmode_)
  94                               || rmode_ == EMBEDDED_OBJECT
  95                               || rmode_ == EXTERNAL_REFERENCE);
  96   return reinterpret_cast<Address>(pc_);
  97 }
  98
  99
 100 Address RelocInfo::constant_pool_entry_address() {
 101   UNREACHABLE();
 102   return NULL;
 103 }
 104
 105
 106 int RelocInfo::target_address_size() {
 107   return Assembler::kSpecialTargetSize;
 108 }
 109
 110
 111 void RelocInfo::set_target_address(Address target, WriteBarrierMode mode) {
 112   Assembler::set_target_address_at(pc_, host_, target);
 113   ASSERT(IsCodeTarget(rmode_) || IsRuntimeEntry(rmode_));
 114   if (mode == UPDATE_WRITE_BARRIER && host() != NULL && IsCodeTarget(rmode_)) {
 115     Object* target_code = Code::GetCodeFromTargetAddress(target);
 116     host()->GetHeap()->incremental_marking()->RecordWriteIntoCode(
 117         host(), this, HeapObject::cast(target_code));
 118   }
 119 }
 120
 121
 122 Object* RelocInfo::target_object() {
 123   ASSERT(IsCodeTarget(rmode_) || rmode_ == EMBEDDED_OBJECT);
 124   return Memory::Object_at(pc_);
 125 }
 126
 127
 128 Handle<Object> RelocInfo::target_object_handle(Assembler* origin) {
 129   ASSERT(IsCodeTarget(rmode_) || rmode_ == EMBEDDED_OBJECT);
 130   return Memory::Object_Handle_at(pc_);
 131 }
 132
 133
 134 void RelocInfo::set_target_object(Object* target, WriteBarrierMode mode) {
 135   ASSERT(IsCodeTarget(rmode_) || rmode_ == EMBEDDED_OBJECT);
 136   ASSERT(!target->IsConsString());
 137   Memory::Object_at(pc_) = target;
 138   CPU::FlushICache(pc_, sizeof(Address));
 139   if (mode == UPDATE_WRITE_BARRIER &&
 140       host() != NULL &&
 141       target->IsHeapObject()) {
 142     host()->GetHeap()->incremental_marking()->RecordWrite(
 143         host(), &Memory::Object_at(pc_), HeapObject::cast(target));
 144   }
 145 }
 146
 147
 148 Address RelocInfo::target_reference() {
 149   ASSERT(rmode_ == RelocInfo::EXTERNAL_REFERENCE);
 150   return Memory::Address_at(pc_);
 151 }
 152
 153
 154 Address RelocInfo::target_runtime_entry(Assembler* origin) {
 155   ASSERT(IsRuntimeEntry(rmode_));
 156   return reinterpret_cast<Address>(*reinterpret_cast<int32_t*>(pc_));
 157 }
 158
 159
 160 void RelocInfo::set_target_runtime_entry(Address target,
 161                                          WriteBarrierMode mode) {
 162   ASSERT(IsRuntimeEntry(rmode_));
 163   if (target_address() != target) set_target_address(target, mode);
 164 }
 165
 166
 167 Handle<Cell> RelocInfo::target_cell_handle() {
 168   ASSERT(rmode_ == RelocInfo::CELL);
 169   Address address = Memory::Address_at(pc_);
 170   return Handle<Cell>(reinterpret_cast<Cell**>(address));
 171 }
 172
 173
 174 Cell* RelocInfo::target_cell() {
 175   ASSERT(rmode_ == RelocInfo::CELL);
 176   return Cell::FromValueAddress(Memory::Address_at(pc_));
 177 }
 178
 179
 180 void RelocInfo::set_target_cell(Cell* cell, WriteBarrierMode mode) {
 181   ASSERT(rmode_ == RelocInfo::CELL);
 182   Address address = cell->address() + Cell::kValueOffset;
 183   Memory::Address_at(pc_) = address;
 184   CPU::FlushICache(pc_, sizeof(Address));
 185   if (mode == UPDATE_WRITE_BARRIER && host() != NULL) {
 186     // TODO(1550) We are passing NULL as a slot because cell can never be on
 187     // evacuation candidate.
 188     host()->GetHeap()->incremental_marking()->RecordWrite(
 189         host(), NULL, cell);
 190   }
 191 }
 192
 193
 194 Handle<Object> RelocInfo::code_age_stub_handle(Assembler* origin) {
 195   ASSERT(rmode_ == RelocInfo::CODE_AGE_SEQUENCE);
 196   ASSERT(*pc_ == kCallOpcode);
 197   return Memory::Object_Handle_at(pc_ + 1);
 198 }
 199
 200
 201 Code* RelocInfo::code_age_stub() {
 202   ASSERT(rmode_ == RelocInfo::CODE_AGE_SEQUENCE);
 203   ASSERT(*pc_ == kCallOpcode);
 204   return Code::GetCodeFromTargetAddress(
 205       Assembler::target_address_at(pc_ + 1, host_));
 206 }
 207
 208
 209 void RelocInfo::set_code_age_stub(Code* stub) {
 210   ASSERT(*pc_ == kCallOpcode);
 211   ASSERT(rmode_ == RelocInfo::CODE_AGE_SEQUENCE);
 212   Assembler::set_target_address_at(pc_ + 1, host_, stub->instruction_start());
 213 }
 214
 215
 216 Address RelocInfo::call_address() {
 217   ASSERT((IsJSReturn(rmode()) && IsPatchedReturnSequence()) ||
 218          (IsDebugBreakSlot(rmode()) && IsPatchedDebugBreakSlotSequence()));
 219   return Assembler::target_address_at(pc_ + 1, host_);
 220 }
 221
 222
 223 void RelocInfo::set_call_address(Address target) {
 224   ASSERT((IsJSReturn(rmode()) && IsPatchedReturnSequence()) ||
 225          (IsDebugBreakSlot(rmode()) && IsPatchedDebugBreakSlotSequence()));
 226   Assembler::set_target_address_at(pc_ + 1, host_, target);
 227   if (host() != NULL) {
 228     Object* target_code = Code::GetCodeFromTargetAddress(target);
 229     host()->GetHeap()->incremental_marking()->RecordWriteIntoCode(
 230         host(), this, HeapObject::cast(target_code));
 231   }
 232 }
 233
 234
 235 Object* RelocInfo::call_object() {
 236   return *call_object_address();
 237 }
 238
 239
 240 void RelocInfo::set_call_object(Object* target) {
 241   *call_object_address() = target;
 242 }
 243
 244
 245 Object** RelocInfo::call_object_address() {
 246   ASSERT((IsJSReturn(rmode()) && IsPatchedReturnSequence()) ||
 247          (IsDebugBreakSlot(rmode()) && IsPatchedDebugBreakSlotSequence()));
 248   return reinterpret_cast<Object**>(pc_ + 1);
 249 }
 250
 251
 252 void RelocInfo::WipeOut() {
 253   if (IsEmbeddedObject(rmode_) || IsExternalReference(rmode_)) {
 254     Memory::Address_at(pc_) = NULL;
 255   } else if (IsCodeTarget(rmode_) || IsRuntimeEntry(rmode_)) {
 256     // Effectively write zero into the relocation.
 257     Assembler::set_target_address_at(pc_, host_, pc_ + sizeof(int32_t));
 258   } else {
 259     UNREACHABLE();
 260   }
 261 }
 262
 263
 264 bool RelocInfo::IsPatchedReturnSequence() {
 265   return *pc_ == kCallOpcode;
 266 }
 267
 268
 269 bool RelocInfo::IsPatchedDebugBreakSlotSequence() {
 270   return !Assembler::IsNop(pc());
 271 }
 272
 273
 274 void RelocInfo::Visit(Isolate* isolate, ObjectVisitor* visitor) {
 275   RelocInfo::Mode mode = rmode();
 276   if (mode == RelocInfo::EMBEDDED_OBJECT) {
 277     visitor->VisitEmbeddedPointer(this);
 278     CPU::FlushICache(pc_, sizeof(Address));
 279   } else if (RelocInfo::IsCodeTarget(mode)) {
 280     visitor->VisitCodeTarget(this);
 281   } else if (mode == RelocInfo::CELL) {
 282     visitor->VisitCell(this);
 283   } else if (mode == RelocInfo::EXTERNAL_REFERENCE) {
 284     visitor->VisitExternalReference(this);
 285     CPU::FlushICache(pc_, sizeof(Address));
 286   } else if (RelocInfo::IsCodeAgeSequence(mode)) {
 287     visitor->VisitCodeAgeSequence(this);
 288   } else if (((RelocInfo::IsJSReturn(mode) &&
 289               IsPatchedReturnSequence()) ||
 290              (RelocInfo::IsDebugBreakSlot(mode) &&
 291               IsPatchedDebugBreakSlotSequence())) &&
 292              isolate->debug()->has_break_points()) {
 293     visitor->VisitDebugTarget(this);
 294   } else if (IsRuntimeEntry(mode)) {
 295     visitor->VisitRuntimeEntry(this);
 296   }
 297 }
 298
 299
 300 template<typename StaticVisitor>
 301 void RelocInfo::Visit(Heap* heap) {
 302   RelocInfo::Mode mode = rmode();
 303   if (mode == RelocInfo::EMBEDDED_OBJECT) {
 304     StaticVisitor::VisitEmbeddedPointer(heap, this);
 305     CPU::FlushICache(pc_, sizeof(Address));
 306   } else if (RelocInfo::IsCodeTarget(mode)) {
 307     StaticVisitor::VisitCodeTarget(heap, this);
 308   } else if (mode == RelocInfo::CELL) {
 309     StaticVisitor::VisitCell(heap, this);
 310   } else if (mode == RelocInfo::EXTERNAL_REFERENCE) {
 311     StaticVisitor::VisitExternalReference(this);
 312     CPU::FlushICache(pc_, sizeof(Address));
 313   } else if (RelocInfo::IsCodeAgeSequence(mode)) {
 314     StaticVisitor::VisitCodeAgeSequence(heap, this);
 315   } else if (heap->isolate()->debug()->has_break_points() &&
 316              ((RelocInfo::IsJSReturn(mode) &&
 317               IsPatchedReturnSequence()) ||
 318              (RelocInfo::IsDebugBreakSlot(mode) &&
 319               IsPatchedDebugBreakSlotSequence()))) {
 320     StaticVisitor::VisitDebugTarget(heap, this);
 321   } else if (IsRuntimeEntry(mode)) {
 322     StaticVisitor::VisitRuntimeEntry(this);
 323   }
 324 }
 325
 326
 327
 328 Immediate::Immediate(int x)  {
 329   x_ = x;
 330   rmode_ = RelocInfo::NONE32;
 331 }
 332
 333
 334 Immediate::Immediate(const ExternalReference& ext) {
 335   x_ = reinterpret_cast<int32_t>(ext.address());
 336   rmode_ = RelocInfo::EXTERNAL_REFERENCE;
 337 }
 338
 339
 340 Immediate::Immediate(Label* internal_offset) {
 341   x_ = reinterpret_cast<int32_t>(internal_offset);
 342   rmode_ = RelocInfo::INTERNAL_REFERENCE;
 343 }
 344
 345
 346 Immediate::Immediate(Handle<Object> handle) {
 347   AllowDeferredHandleDereference using_raw_address;
 348   // Verify all Objects referred by code are NOT in new space.
 349   Object* obj = *handle;
 350   if (obj->IsHeapObject()) {
 351     ASSERT(!HeapObject::cast(obj)->GetHeap()->InNewSpace(obj));
 352     x_ = reinterpret_cast<intptr_t>(handle.location());
 353     rmode_ = RelocInfo::EMBEDDED_OBJECT;
 354   } else {
 355     // no relocation needed
 356     x_ =  reinterpret_cast<intptr_t>(obj);
 357     rmode_ = RelocInfo::NONE32;
 358   }
 359 }
 360
 361
 362 Immediate::Immediate(Smi* value) {
 363   x_ = reinterpret_cast<intptr_t>(value);
 364   rmode_ = RelocInfo::NONE32;
 365 }
 366
 367
 368 Immediate::Immediate(Address addr) {
 369   x_ = reinterpret_cast<int32_t>(addr);
 370   rmode_ = RelocInfo::NONE32;
 371 }
 372
 373
 374 void Assembler::emit(uint32_t x) {
 375   *reinterpret_cast<uint32_t*>(pc_) = x;
 376   pc_ += sizeof(uint32_t);
 377 }
 378
 379
 380 void Assembler::emit(Handle<Object> handle) {
 381   AllowDeferredHandleDereference heap_object_check;
 382   // Verify all Objects referred by code are NOT in new space.
 383   Object* obj = *handle;
 384   ASSERT(!isolate()->heap()->InNewSpace(obj));
 385   if (obj->IsHeapObject()) {
 386     emit(reinterpret_cast<intptr_t>(handle.location()),
 387          RelocInfo::EMBEDDED_OBJECT);
 388   } else {
 389     // no relocation needed
 390     emit(reinterpret_cast<intptr_t>(obj));
 391   }
 392 }
 393
 394
 395 void Assembler::emit(uint32_t x, RelocInfo::Mode rmode, TypeFeedbackId id) {
 396   if (rmode == RelocInfo::CODE_TARGET && !id.IsNone()) {
 397     RecordRelocInfo(RelocInfo::CODE_TARGET_WITH_ID, id.ToInt());
 398   } else if (!RelocInfo::IsNone(rmode)
 399       && rmode != RelocInfo::CODE_AGE_SEQUENCE) {
 400     RecordRelocInfo(rmode);
 401   }
 402   emit(x);
 403 }
 404
 405
 406 void Assembler::emit(Handle<Code> code,
 407                      RelocInfo::Mode rmode,
 408                      TypeFeedbackId id) {
 409   AllowDeferredHandleDereference embedding_raw_address;
 410   emit(reinterpret_cast<intptr_t>(code.location()), rmode, id);
 411 }
 412
 413
 414 void Assembler::emit(const Immediate& x) {
 415   if (x.rmode_ == RelocInfo::INTERNAL_REFERENCE) {
 416     Label* label = reinterpret_cast<Label*>(x.x_);
 417     emit_code_relative_offset(label);
 418     return;
 419   }
 420   if (!RelocInfo::IsNone(x.rmode_)) RecordRelocInfo(x.rmode_);
 421   emit(x.x_);
 422 }
 423
 424
 425 void Assembler::emit_code_relative_offset(Label* label) {
 426   if (label->is_bound()) {
 427     int32_t pos;
 428     pos = label->pos() + Code::kHeaderSize - kHeapObjectTag;
 429     emit(pos);
 430   } else {
 431     emit_disp(label, Displacement::CODE_RELATIVE);
 432   }
 433 }
 434
 435
 436 void Assembler::emit_w(const Immediate& x) {
 437   ASSERT(RelocInfo::IsNone(x.rmode_));
 438   uint16_t value = static_cast<uint16_t>(x.x_);
 439   reinterpret_cast<uint16_t*>(pc_)[0] = value;
 440   pc_ += sizeof(uint16_t);
 441 }
 442
 443
 444 Address Assembler::target_address_at(Address pc,
 445                                      ConstantPoolArray* constant_pool) {
 446   return pc + sizeof(int32_t) + *reinterpret_cast<int32_t*>(pc);
 447 }
 448
 449
 450 void Assembler::set_target_address_at(Address pc,
 451                                       ConstantPoolArray* constant_pool,
 452                                       Address target) {
 453   int32_t* p = reinterpret_cast<int32_t*>(pc);
 454   *p = target - (pc + sizeof(int32_t));
 455   CPU::FlushICache(p, sizeof(int32_t));
 456 }
 457
 458
 459 Address Assembler::target_address_from_return_address(Address pc) {
 460   return pc - kCallTargetAddressOffset;
 461 }
 462
 463
 464 Displacement Assembler::disp_at(Label* L) {
 465   return Displacement(long_at(L->pos()));
 466 }
 467
 468
 469 void Assembler::disp_at_put(Label* L, Displacement disp) {
 470   long_at_put(L->pos(), disp.data());
 471 }
 472
 473
 474 void Assembler::emit_disp(Label* L, Displacement::Type type) {
 475   Displacement disp(L, type);
 476   L->link_to(pc_offset());
 477   emit(static_cast<int>(disp.data()));
 478 }
 479
 480
 481 void Assembler::emit_near_disp(Label* L) {
 482   byte disp = 0x00;
 483   if (L->is_near_linked()) {
 484     int offset = L->near_link_pos() - pc_offset();
 485     ASSERT(is_int8(offset));
 486     disp = static_cast<byte>(offset & 0xFF);
 487   }
 488   L->link_to(pc_offset(), Label::kNear);
 489   *pc_++ = disp;
 490 }
 491
 492
 493 void Operand::set_modrm(int mod, Register rm) {
 494   ASSERT((mod & -4) == 0);
 495   buf_[0] = mod << 6 | rm.code();
 496   len_ = 1;
 497 }
 498
 499
 500 void Operand::set_sib(ScaleFactor scale, Register index, Register base) {
 501   ASSERT(len_ == 1);
 502   ASSERT((scale & -4) == 0);
 503   // Use SIB with no index register only for base esp.
 504   ASSERT(!index.is(esp) || base.is(esp));
 505   buf_[1] = scale << 6 | index.code() << 3 | base.code();
 506   len_ = 2;
 507 }
 508
 509
 510 void Operand::set_disp8(int8_t disp) {
 511   ASSERT(len_ == 1 || len_ == 2);
 512   *reinterpret_cast<int8_t*>(&buf_[len_++]) = disp;
 513 }
 514
 515
 516 void Operand::set_dispr(int32_t disp, RelocInfo::Mode rmode) {
 517   ASSERT(len_ == 1 || len_ == 2);
 518   int32_t* p = reinterpret_cast<int32_t*>(&buf_[len_]);
 519   *p = disp;
 520   len_ += sizeof(int32_t);
 521   rmode_ = rmode;
 522 }
 523
 524 Operand::Operand(Register reg) {
 525   // reg
 526   set_modrm(3, reg);
 527 }
 528
 529
 530 Operand::Operand(XMMRegister xmm_reg) {
 531   Register reg = { xmm_reg.code() };
 532   set_modrm(3, reg);
 533 }
 534
 535
 536 Operand::Operand(int32_t disp, RelocInfo::Mode rmode) {
 537   // [disp/r]
 538   set_modrm(0, ebp);
 539   set_dispr(disp, rmode);
 540 }
 541
 542 } }  // namespace v8::internal
 543
 544 #endif  // V8_IA32_ASSEMBLER_IA32_INL_H_