Add utility for converting FunctionDef to GraphDef and _FuncGraph.

PiperOrigin-RevId: 198795625

[XLA:GPU] Specify cudnn conv algorithm via backend_config.

Gets rid of the tricky algorithm/use-tensor-cores operands to cudnn
convolution customcalls, using instead a backend_config.

PiperOrigin-RevId: 198794988

Fix one comment in prefetch_autotuner_test.cc.

PiperOrigin-RevId: 198794897

Putting stubs for function shape inference interface

PiperOrigin-RevId: 198794845

Add warning for gcs_config_ops

PiperOrigin-RevId: 198793502

Refactoring: Extract CombineHashes function into a shared module
PiperOrigin-RevId: 198793295

[XLA] Check for identical backend configs in HloInstruction::Identical.

PiperOrigin-RevId: 198789495

Move reorder-cast-and-transpose optimization to optimization stage.

PiperOrigin-RevId: 198788352

Internal change.

PiperOrigin-RevId: 198787391

Similar to cr/188652533, specify the `maximum_iterations` to tf.while_loop in tf.map_fn to be compatible with XLA.

PiperOrigin-RevId: 198786266

Write checkpoint path of evaluated checkpoint to the event file.

PiperOrigin-RevId: 198783364

Expose the ExponentialMovingAverage name as a public property.

PiperOrigin-RevId: 198782348

Mark XLAShapeForArgument as const.

PiperOrigin-RevId: 198778945

Move RemodeRedundantReshape optimization to a separate stage.

PiperOrigin-RevId: 198775276

Add attributes to TFLite Python API.

PiperOrigin-RevId: 198774775

[tf.data] Changing signature of `MakeIterator` to enable propagating error status.

PiperOrigin-RevId: 198772254

More eager notebooks.

PiperOrigin-RevId: 198768912

Moving generated API to tensorflow/.

PiperOrigin-RevId: 198767512

Add profiling statistics to benchmark.

PiperOrigin-RevId: 198767297

Fix links in the TensorFlow Security Advisories

PiperOrigin-RevId: 198762795

Making the tf.name_scope blocks related to the factor and weight vars configurable. By default they will not be scoped.

PiperOrigin-RevId: 198759754

RuntimeShapes class: minor tweak to fix builds.

PiperOrigin-RevId: 198755870

[XLA] Make HloInstruction::backend_config() a JSON-encoded protobuf.

PiperOrigin-RevId: 198754463

[XLA] Redesign: delete computation_tracker and user_computation.

PiperOrigin-RevId: 198743117

Initial implementation of a few of the list-specific operators.
This introduces an abstraction for a dispatch context, which allows passing local information through to the specialized operators.

PiperOrigin-RevId: 198742074

Suppress generation of the proto API's descriptor() method, it conflicts with the field name.

PiperOrigin-RevId: 198739727

Introduce runtime shape class.

PiperOrigin-RevId: 198739017

Another handle_data fix for graph-mode functions.

PiperOrigin-RevId: 198734229

Cleanup: update continue_statements.py to use the base transformer facilities for tracking local state and reindenting node blocks. Rearrange the error handling in base transformer to avoid chained exceptions.

PiperOrigin-RevId: 198727946

Standardize shifts in multiplication util functions.

PiperOrigin-RevId: 198725578

Make GraphConstructor create nodes in the same order as the GraphDef.

While technically the order of the created nodes doesn't matter, this
makes viewing and debugging graphs more sensible.

Fixes #19594.

PiperOrigin-RevId: 198721173

[tf.data] Scaling down the `batch_dataset_op_test`.

PiperOrigin-RevId: 198715407

implementation of sparse_to_dense

PiperOrigin-RevId: 198710452

[XLA] Redesign: delete the old service interface.
- Computation
- ComputeConstant
- Execute
- ExecuteAsync
- ExecuteParallel
- GetComputationStats
- GetComputationShape
- GetLocalShape
- IsConstant
- LoadComputationSnapshot
- Op
- SetReturnValue
- SnapshotComputation

PiperOrigin-RevId: 198669035

Improve ReshapeIsIdentity to work with symbolic shapes.

For example, with this CL, ArithmeticOptimizer can optimize the Reshape below
into a no-op.

  s = Shape(t)
  Reshape(t, Concat(s[0], s[1], s[2], s[3]))

PiperOrigin-RevId: 198668726

Add GCS_READ_CACHE_DISABLED explicit env var to GcsFileSystem

PiperOrigin-RevId: 198658074

Add a subclassed Model's attribute-assigned variables to Model.weights et al

Makes the Variable.trainable property public, which is sensible if we're discouraging use of the global collection (currently eager execution is using ResourceVariable._trainable in a bunch of places anyway). I'm leaving it read-only for now, since we should toggle in and out of the global collection when it changes.

Same change for checkpointable data structures with respect to gathering extra variables. They'll behave like subclassed Models.

I think this makes more sense than trying to have a distinction between "variables" and "weights". It's also more sensible than collecting everything that would get checkpointed, since that will include Optimizer slot variables and metrics. Collecting those is generally pointless, and accidentally adding them to gradient tapes would be horribly confusing.

PiperOrigin-RevId: 198656079

Automated g4 rollback of changelist 195379693

PiperOrigin-RevId: 198654780

Expose xla_disable_hlo_passes via ExecutableBuildOptions.

PiperOrigin-RevId: 198654099

Remove code returning bad status when the input pointer is nullptr in internal
functions. That should be a programmatic error and we have full control of
internal functions, so it is OK to crash if error happens.

PiperOrigin-RevId: 198651749

[XLA] Add parsers for Window and ConvolutionDimensionNumbers.

Also modify relevant ToString functions so we can have the property
Parse(ToString(x)) == x.

PiperOrigin-RevId: 198650340

Enable TOCO pip command line binding.

PiperOrigin-RevId: 198649827

Fix bug with renorm + virtual_batch_size.

PiperOrigin-RevId: 198648273

[XLA] Switch replay_computation to use LocalClient.

This lets replay_computation build an executable once and run it
multiple times.  This is particularly important because in XLA:GPU, the
first run of an executable does some autotuning and therefore is
unrepresentative.

This change removes --xla_hlo_profile_last_run, because I don't see how
to support it in LocalClient -- LocalClient wants the do-profile bit to
be set when we *compile*.  (There may not be an easy fix for this; it
worked with regular Client because we were recompiling every time we
ran.)

PiperOrigin-RevId: 198643577

[TF:XLA] Bump open source llvm revision to r333547

PiperOrigin-RevId: 198642698

Regard a path as a directory if it ends with "/" in GCS. This implies the assumption that if a real GCS object has file name ending with "/", it is always a directory mark rather than an object carrying actual contents.

PiperOrigin-RevId: 198640604

Always delete old while loop after LICM

Right now the old while loop can stick around if it had side effects, which is
incorrect.

PiperOrigin-RevId: 198639203

Add SerialDeviceBatchScheduler which offers similar performance as the AdaptiveSharedBatchScheduler, but increased reliablility and stability.

ASBS assumes request latency can be minimized at a specific number of batch processing threads. Under reasonable load, this is true and ASBS performs well, but under low load latency is basically unaffected by the number of threads, and ASBS can learn a wide variety of 'optimal' values.  If load resumes suddenly, these values can give very poor latencies.  In most cases, ASBS will recover, eventually rediscovering the correct value, but we have observed other cases where the latency is so large and noisy that ASBS can't get a good signal to guide its learning and the number of threads remains stuck at the bad value.

In addition, the incremental learning nature of this algorithm means that ASBS is always exploring to some extent, which can give rise to periods of non-optimal latency. This is most significant at high utilization where the wrong number of threads can potentially overload the system.

ASBS uses latency as a proxy for keeping the tensorflow processing pipeline optimally loaded. SDBS, on the other hand, uses a direct measurement of the pipeline fullness, and adjusts its number of batch processing threads accordingly. This solves the exploration problem. SDBS solves the low load problem by not adjusting its thread count when the threads pass some idleness threshold.

PiperOrigin-RevId: 198638918

Add a convenience function, build_supervised_input_receiver_fn_from_input_fn,
that takes an Estimator input_fn and returns an input receiver function.

PiperOrigin-RevId: 198638593

Automated g4 rollback of changelist 198444757

PiperOrigin-RevId: 198637528

Makes empty() support uint8 on cpu.

PiperOrigin-RevId: 198634986

Remove environment variable to disable C API.

This is staging for removing the _USE_C_API toggle altogether.

PiperOrigin-RevId: 198634886

Makes most variable writes depend on the cached value.

This disallows some undefined behavior with unordered reads and writes.

PiperOrigin-RevId: 198633444

Add HloProto support to replay_computation

PiperOrigin-RevId: 198631733

Avoid recursion in ExpandDomain() as stack is not happy.

PiperOrigin-RevId: 198629366

Add kwargs support for tpu.outside_compilation

PiperOrigin-RevId: 198625799

Move RemoveInvolution optimization to optimizer stage.

PiperOrigin-RevId: 198624394

Add GCS configure ops.

PiperOrigin-RevId: 198624285

Add `fill_triangular_inverse`, which flattens a triangular matrix in a way such that:
# Lower triangular matrix
x = tf.matrix_band_part(x, -1, 0)
x == fill_triangular(fill_triangular_inverse(x))
Code by srvasude@ which I'm submitting on his behalf.

PiperOrigin-RevId: 198623887

Add control dependencies to the correct graph when simplifying packing ops.

PiperOrigin-RevId: 198622727

Add `tf.contrib.distributions.bijectors.MatrixInverseTriL`: Bijector that inverts a lower-triangular matrix.

PiperOrigin-RevId: 198622553

Add include file which provides the proper std::string mapping.

PiperOrigin-RevId: 198620715

Skip errors in function optimizer if optimized graph was not modified before error happened.

Currently error can happen if function can't be instantiated as GrapplerFunctionItem.

PiperOrigin-RevId: 198595096

[tf.data] change batch dataset op test size to large to prevent timeout

PiperOrigin-RevId: 198592202

Let the swig wrapped builder to return the HloModuleProto.

PiperOrigin-RevId: 198588920

Add an option to propagate Status in GraphOptimizerStagePipelines.

PiperOrigin-RevId: 198585886

Internal change

PiperOrigin-RevId: 198582954

Disable flaky fused_rnn_cell_test

PiperOrigin-RevId: 198582181

KL divergence for two Dirichlet distributions.

PiperOrigin-RevId: 198573236

Adding tf.name_scope blocks to make the TensorBoard graph visualization usable.

PiperOrigin-RevId: 198569786

[tf.data] Adding a concurrency stress test for `map_and_batch`.

PiperOrigin-RevId: 198566777

internal

PiperOrigin-RevId: 198560342

beautify test output file name.

PiperOrigin-RevId: 198555383

Remove unused Make variables from tf_py_wrap_cc.

PiperOrigin-RevId: 198518885

Adds GPU kernel registration for igamma, igammac.

Switches use_gpu=True to force_gpu=True for cwise_ops_test.

PiperOrigin-RevId: 198515293

Improve error message when a missing feature name is passed as a unicode string.

PiperOrigin-RevId: 198514621

Fix GPU build on windows

PiperOrigin-RevId: 198513480

internal cleanup

PiperOrigin-RevId: 198504528

Introduced kDomain HLO instruction set isolation to bound connected sets of instructions with similar attributes (ie, sharding).
This CL simply adds the infrastructure, but leaves the wire-on to a separate CL.

PiperOrigin-RevId: 198503625

Add features to HloRunner for running while leaving buffers on the device and add option to test_utils for generating more-boring data much faster.

PiperOrigin-RevId: 198502753

Do not allow cross computation instruction lookups in HLO parser.

PiperOrigin-RevId: 198496653

[XLA] Minor HloSharding cleanups.

Delete dead code in HloSharding::ToString(), and add and use proper
hasher struct.

PiperOrigin-RevId: 198493972

Remove unnecessary shape registration fn from cudnn rnn ops.

The registered ones are the same as default.

PiperOrigin-RevId: 198489529

Making RPC op handle the case where cancellation manager is not initialized in OpKernelContext.

Fixes #19496

PiperOrigin-RevId: 198488860

Convenience functions to create TensorProto directly from data (std::vector).

PiperOrigin-RevId: 198486802

Use absolute indexing in `fill_triangular`.

PiperOrigin-RevId: 198485926

Fixing a bug in `map_and_batch_fusion` and improving test coverage.

PiperOrigin-RevId: 198481898

Add tf.keras programmer's guide.

PiperOrigin-RevId: 198480159

Fix documented numpy equivalent of matrix_triangular_solve.

PiperOrigin-RevId: 198478933

Automated g4 rollback of changelist 198137414

PiperOrigin-RevId: 198477942

Adjust TPUEstimator timeout for worker shutdown to 60 seconds.

PiperOrigin-RevId: 198477309

Wraps the FinalOp exection with a user-friendly error mssage.

PiperOrigin-RevId: 198476911

Update setup.py with project description and development status.

PiperOrigin-RevId: 198475440

Add microbenchmarks for the executor.

PiperOrigin-RevId: 198475385

  streaming trace viewer need to filter host.

PiperOrigin-RevId: 198471853

Adding a check in eager metrics to make sure that the shapes of labels and predictions are exactly the same. The issue is that math_ops.equal would do broadcasting and so even if the shapes weren't entirely equal it'll produce an output which would be incorrect rather that reporting an error.

PiperOrigin-RevId: 198468251

In TPUEstimator.export_savedmodel(), if saving TPU metegraph fails, issue a warning instead so that user can still use the CPU metagraph.

PiperOrigin-RevId: 198458571

[tf.data] better benchmarking code in tests for measuring improvements to csv parsing

PiperOrigin-RevId: 198457501

[TF:XLA] Implement Bucketize.

PiperOrigin-RevId: 198452289

Make the quantize_and_dequantize op use the full quantized range when possible.

PiperOrigin-RevId: 198450816