UNREG: use __builtin___clear_cache where available
[ghc.git] / rts / STM.c
index 568a401..5c8fd4f 100644 (file)
--- a/rts/STM.c
+++ b/rts/STM.c
@@ -1,38 +1,39 @@
 /* -----------------------------------------------------------------------------
  * (c) The GHC Team 1998-2005
- * 
+ *
  * STM implementation.
  *
  * Overview
  * --------
  *
- * See the PPoPP 2005 paper "Composable memory transactions".  In summary, 
- * each transcation has a TRec (transaction record) holding entries for each of the
- * TVars (transactional variables) that it has accessed.  Each entry records
- * (a) the TVar, (b) the expected value seen in the TVar, (c) the new value that
- * the transaction wants to write to the TVar, (d) during commit, the identity of
- * the TRec that wrote the expected value.  
+ * See the PPoPP 2005 paper "Composable memory transactions".  In summary, each
+ * transaction has a TRec (transaction record) holding entries for each of the
+ * TVars (transactional variables) that it has accessed.  Each entry records (a)
+ * the TVar, (b) the expected value seen in the TVar, (c) the new value that the
+ * transaction wants to write to the TVar, (d) during commit, the identity of
+ * the TRec that wrote the expected value.
  *
- * Separate TRecs are used for each level in a nest of transactions.  This allows
- * a nested transaction to be aborted without condemning its enclosing transactions.
- * This is needed in the implementation of catchRetry.  Note that the "expected value"
- * in a nested transaction's TRec is the value expected to be *held in memory* if
- * the transaction commits -- not the "new value" stored in one of the enclosing
- * transactions.  This means that validation can be done without searching through
- * a nest of TRecs.
+ * Separate TRecs are used for each level in a nest of transactions.  This
+ * allows a nested transaction to be aborted without condemning its enclosing
+ * transactions.  This is needed in the implementation of catchRetry.  Note that
+ * the "expected value" in a nested transaction's TRec is the value expected to
+ * be *held in memory* if the transaction commits -- not the "new value" stored
+ * in one of the enclosing transactions.  This means that validation can be done
+ * without searching through a nest of TRecs.
  *
  * Concurrency control
  * -------------------
  *
- * Three different concurrency control schemes can be built according to the settings
- * in STM.h:
- * 
- * STM_UNIPROC assumes that the caller serialises invocations on the STM interface.
- * In the Haskell RTS this means it is suitable only for non-THREADED_RTS builds.
+ * Three different concurrency control schemes can be built according to the
+ * settings in STM.h:
+ *
+ * STM_UNIPROC assumes that the caller serialises invocations on the STM
+ * interface.  In the Haskell RTS this means it is suitable only for
+ * non-THREADED_RTS builds.
  *
- * STM_CG_LOCK uses coarse-grained locking -- a single 'stm lock' is acquired during
- * an invocation on the STM interface.  Note that this does not mean that 
- * transactions are simply serialized -- the lock is only held *within* the 
+ * STM_CG_LOCK uses coarse-grained locking -- a single 'stm lock' is acquired
+ * during an invocation on the STM interface.  Note that this does not mean that
+ * transactions are simply serialized -- the lock is only held *within* the
  * implementation of stmCommitTransaction, stmWait etc.
  *
  * STM_FG_LOCKS uses fine-grained locking -- locking is done on a per-TVar basis
  *    lock_tvar / cond_lock_tvar
  *    unlock_tvar
  *
- * The choice between STM_UNIPROC / STM_CG_LOCK / STM_FG_LOCKS affects the 
- * implementation of these functions.  
+ * The choice between STM_UNIPROC / STM_CG_LOCK / STM_FG_LOCKS affects the
+ * implementation of these functions.
  *
  * lock_stm & unlock_stm are straightforward : they acquire a simple spin-lock
  * using STM_CG_LOCK, and otherwise they are no-ops.
  *
- * lock_tvar / cond_lock_tvar and unlock_tvar are more complex because they 
- * have other effects (present in STM_UNIPROC and STM_CG_LOCK builds) as well
- * as the actual business of maniupultaing a lock (present only in STM_FG_LOCKS
- * builds).  This is because locking a TVar is implemented by writing the lock
- * holder's TRec into the TVar's current_value field:
+ * lock_tvar / cond_lock_tvar and unlock_tvar are more complex because they have
+ * other effects (present in STM_UNIPROC and STM_CG_LOCK builds) as well as the
+ * actual business of manipulating a lock (present only in STM_FG_LOCKS builds).
+ * This is because locking a TVar is implemented by writing the lock holder's
+ * TRec into the TVar's current_value field:
  *
- *   lock_tvar - lock a specified TVar (STM_FG_LOCKS only), returning the value 
+ *   lock_tvar - lock a specified TVar (STM_FG_LOCKS only), returning the value
  *               it contained.
  *
- *   cond_lock_tvar - lock a specified TVar (STM_FG_LOCKS only) if it 
- *               contains a specified value.  Return TRUE if this succeeds,
- *               FALSE otherwise.
+ *   cond_lock_tvar - lock a specified TVar (STM_FG_LOCKS only) if it
+ *               contains a specified value.  Return true if this succeeds,
+ *               false otherwise.
  *
  *   unlock_tvar - release the lock on a specified TVar (STM_FG_LOCKS only),
  *               storing a specified value in place of the lock entry.
  *
- * Using these operations, the typcial pattern of a commit/validate/wait operation
- * is to (a) lock the STM, (b) lock all the TVars being updated, (c) check that 
- * the TVars that were only read from still contain their expected values, 
- * (d) release the locks on the TVars, writing updates to them in the case of a 
- * commit, (e) unlock the STM.
+ * Using these operations, the typical pattern of a commit/validate/wait
+ * operation is to (a) lock the STM, (b) lock all the TVars being updated, (c)
+ * check that the TVars that were only read from still contain their expected
+ * values, (d) release the locks on the TVars, writing updates to them in the
+ * case of a commit, (e) unlock the STM.
  *
- * Queues of waiting threads hang off the first_watch_queue_entry
- * field of each TVar.  This may only be manipulated when holding that
- * TVar's lock.  In particular, when a thread is putting itself to
- * sleep, it mustn't release the TVar's lock until it has added itself
- * to the wait queue and marked its TSO as BlockedOnSTM -- this makes
- * sure that other threads will know to wake it.
+ * Queues of waiting threads hang off the first_watch_queue_entry field of each
+ * TVar.  This may only be manipulated when holding that TVar's lock.  In
+ * particular, when a thread is putting itself to sleep, it mustn't release the
+ * TVar's lock until it has added itself to the wait queue and marked its TSO as
+ * BlockedOnSTM -- this makes sure that other threads will know to wake it.
  *
  * ---------------------------------------------------------------------------*/
 
 #include "STM.h"
 #include "Trace.h"
 #include "Threads.h"
+#include "sm/Storage.h"
+#include "SMPClosureOps.h"
 
 #include <stdio.h>
 
-#define TRUE 1
-#define FALSE 0
-
 // ACQ_ASSERT is used for assertions which are only required for
 // THREADED_RTS builds with fine-grained locking.
 
 
 /*......................................................................*/
 
-// If SHAKE is defined then validation will sometime spuriously fail.  They helps test
-// unusualy code paths if genuine contention is rare
-
 #define TRACE(_x...) debugTrace(DEBUG_stm, "STM: " _x)
 
-#ifdef SHAKE
-static const int do_shake = TRUE;
-#else
-static const int do_shake = FALSE;
-#endif
+// If SHAKE is defined then validation will sometimes spuriously fail.  They help test
+// unusual code paths if genuine contention is rare
+#if defined(SHAKE)
 static int shake_ctr = 0;
 static int shake_lim = 1;
 
 static int shake(void) {
-  if (do_shake) {
     if (((shake_ctr++) % shake_lim) == 0) {
       shake_ctr = 1;
       shake_lim ++;
-      return TRUE;
-    } 
-    return FALSE;
-  } else {
-    return FALSE;
-  }
+      return true;
+    }
+    return false;
 }
+#else
+static int shake(void) {
+    return false;
+}
+#endif
 
 /*......................................................................*/
 
@@ -156,11 +151,11 @@ static int shake(void) {
     __limit = TREC_CHUNK_NUM_ENTRIES;                                           \
   }                                                                             \
  exit_for_each:                                                                 \
-  if (FALSE) goto exit_for_each;                                                \
+  if (false) goto exit_for_each;                                                \
 } while (0)
 
 #define BREAK_FOR_EACH goto exit_for_each
-     
+
 /*......................................................................*/
 
 // if REUSE_MEMORY is defined then attempt to re-use descriptors, log chunks,
@@ -177,7 +172,7 @@ static int shake(void) {
 #if defined(STM_UNIPROC)
 #undef IF_STM_UNIPROC
 #define IF_STM_UNIPROC(__X)  do { __X } while (0)
-static const StgBool config_use_read_phase = FALSE;
+static const StgBool config_use_read_phase = false;
 
 static void lock_stm(StgTRecHeader *trec STG_UNUSED) {
   TRACE("%p : lock_stm()", trec);
@@ -187,7 +182,7 @@ static void unlock_stm(StgTRecHeader *trec STG_UNUSED) {
   TRACE("%p : unlock_stm()", trec);
 }
 
-static StgClosure *lock_tvar(StgTRecHeader *trec STG_UNUSED, 
+static StgClosure *lock_tvar(StgTRecHeader *trec STG_UNUSED,
                              StgTVar *s STG_UNUSED) {
   StgClosure *result;
   TRACE("%p : lock_tvar(%p)", trec, s);
@@ -195,17 +190,19 @@ static StgClosure *lock_tvar(StgTRecHeader *trec STG_UNUSED,
   return result;
 }
 
-static void unlock_tvar(StgTRecHeader *trec STG_UNUSED,
-                        StgTVar *s STG_UNUSED,
+static void unlock_tvar(Capability *cap,
+                        StgTRecHeader *trec STG_UNUSED,
+                        StgTVar *s,
                         StgClosure *c,
                         StgBool force_update) {
   TRACE("%p : unlock_tvar(%p)", trec, s);
   if (force_update) {
     s -> current_value = c;
+    dirty_TVAR(cap,s);
   }
 }
 
-static StgBool cond_lock_tvar(StgTRecHeader *trec STG_UNUSED, 
+static StgBool cond_lock_tvar(StgTRecHeader *trec STG_UNUSED,
                               StgTVar *s STG_UNUSED,
                               StgClosure *expected) {
   StgClosure *result;
@@ -217,10 +214,10 @@ static StgBool cond_lock_tvar(StgTRecHeader *trec STG_UNUSED,
 
 static StgBool lock_inv(StgAtomicInvariant *inv STG_UNUSED) {
   // Nothing -- uniproc
-  return TRUE;
+  return true;
 }
 
-static void unlock_inv(StgAtomicInvariant *inv STG_UNUSED) { 
+static void unlock_inv(StgAtomicInvariant *inv STG_UNUSED) {
   // Nothing -- uniproc
 }
 #endif
@@ -229,7 +226,7 @@ static void unlock_inv(StgAtomicInvariant *inv STG_UNUSED) {
 
 #undef IF_STM_CG_LOCK
 #define IF_STM_CG_LOCK(__X)  do { __X } while (0)
-static const StgBool config_use_read_phase = FALSE;
+static const StgBool config_use_read_phase = false;
 static volatile StgTRecHeader *smp_locked = NULL;
 
 static void lock_stm(StgTRecHeader *trec) {
@@ -239,36 +236,38 @@ static void lock_stm(StgTRecHeader *trec) {
 
 static void unlock_stm(StgTRecHeader *trec STG_UNUSED) {
   TRACE("%p : unlock_stm()", trec);
-  ASSERT (smp_locked == trec);
+  ASSERT(smp_locked == trec);
   smp_locked = 0;
 }
 
-static StgClosure *lock_tvar(StgTRecHeader *trec STG_UNUSED, 
+static StgClosure *lock_tvar(StgTRecHeader *trec STG_UNUSED,
                              StgTVar *s STG_UNUSED) {
   StgClosure *result;
   TRACE("%p : lock_tvar(%p)", trec, s);
-  ASSERT (smp_locked == trec);
+  ASSERT(smp_locked == trec);
   result = s -> current_value;
   return result;
 }
 
-static void *unlock_tvar(StgTRecHeader *trec STG_UNUSED,
-                         StgTVar *s STG_UNUSED,
+static void *unlock_tvar(Capability *cap,
+                         StgTRecHeader *trec STG_UNUSED,
+                         StgTVar *s,
                          StgClosure *c,
                          StgBool force_update) {
   TRACE("%p : unlock_tvar(%p, %p)", trec, s, c);
-  ASSERT (smp_locked == trec);
+  ASSERT(smp_locked == trec);
   if (force_update) {
     s -> current_value = c;
+    dirty_TVAR(cap,s);
   }
 }
 
-static StgBool cond_lock_tvar(StgTRecHeader *trec STG_UNUSED, 
+static StgBool cond_lock_tvar(StgTRecHeader *trec STG_UNUSED,
                                StgTVar *s STG_UNUSED,
                                StgClosure *expected) {
   StgClosure *result;
   TRACE("%p : cond_lock_tvar(%p, %p)", trec, s, expected);
-  ASSERT (smp_locked == trec);
+  ASSERT(smp_locked == trec);
   result = s -> current_value;
   TRACE("%p : %d", result ? "success" : "failure");
   return (result == expected);
@@ -276,10 +275,10 @@ static StgBool cond_lock_tvar(StgTRecHeader *trec STG_UNUSED,
 
 static StgBool lock_inv(StgAtomicInvariant *inv STG_UNUSED) {
   // Nothing -- protected by STM lock
-  return TRUE;
+  return true;
 }
 
-static void unlock_inv(StgAtomicInvariant *inv STG_UNUSED) { 
+static void unlock_inv(StgAtomicInvariant *inv STG_UNUSED) {
   // Nothing -- protected by STM lock
 }
 #endif
@@ -288,7 +287,7 @@ static void unlock_inv(StgAtomicInvariant *inv STG_UNUSED) {
 
 #undef IF_STM_FG_LOCKS
 #define IF_STM_FG_LOCKS(__X) do { __X } while (0)
-static const StgBool config_use_read_phase = TRUE;
+static const StgBool config_use_read_phase = true;
 
 static void lock_stm(StgTRecHeader *trec STG_UNUSED) {
   TRACE("%p : lock_stm()", trec);
@@ -298,7 +297,7 @@ static void unlock_stm(StgTRecHeader *trec STG_UNUSED) {
   TRACE("%p : unlock_stm()", trec);
 }
 
-static StgClosure *lock_tvar(StgTRecHeader *trec, 
+static StgClosure *lock_tvar(StgTRecHeader *trec,
                              StgTVar *s STG_UNUSED) {
   StgClosure *result;
   TRACE("%p : lock_tvar(%p)", trec, s);
@@ -307,20 +306,22 @@ static StgClosure *lock_tvar(StgTRecHeader *trec,
       result = s -> current_value;
     } while (GET_INFO(UNTAG_CLOSURE(result)) == &stg_TREC_HEADER_info);
   } while (cas((void *)&(s -> current_value),
-              (StgWord)result, (StgWord)trec) != (StgWord)result);
+               (StgWord)result, (StgWord)trec) != (StgWord)result);
   return result;
 }
 
-static void unlock_tvar(StgTRecHeader *trec STG_UNUSED,
+static void unlock_tvar(Capability *cap,
+                        StgTRecHeader *trec STG_UNUSED,
                         StgTVar *s,
                         StgClosure *c,
                         StgBool force_update STG_UNUSED) {
   TRACE("%p : unlock_tvar(%p, %p)", trec, s, c);
   ASSERT(s -> current_value == (StgClosure *)trec);
   s -> current_value = c;
+  dirty_TVAR(cap,s);
 }
 
-static StgBool cond_lock_tvar(StgTRecHeader *trec, 
+static StgBool cond_lock_tvar(StgTRecHeader *trec,
                               StgTVar *s,
                               StgClosure *expected) {
   StgClosure *result;
@@ -336,17 +337,17 @@ static StgBool lock_inv(StgAtomicInvariant *inv) {
   return (cas(&(inv -> lock), 0, 1) == 0);
 }
 
-static void unlock_inv(StgAtomicInvariant *inv) { 
+static void unlock_inv(StgAtomicInvariant *inv) {
   ASSERT(inv -> lock == 1);
   inv -> lock = 0;
 }
 #endif
 
 /*......................................................................*/
+
 static StgBool watcher_is_tso(StgTVarWatchQueue *q) {
   StgClosure *c = q -> closure;
-  StgInfoTable *info = get_itbl(c);
+  const StgInfoTable *info = get_itbl(c);
   return (info -> type) == TSO;
 }
 
@@ -356,7 +357,7 @@ static StgBool watcher_is_invariant(StgTVarWatchQueue *q) {
 }
 
 /*......................................................................*/
+
 // Helper functions for thread blocking and unblocking
 
 static void park_tso(StgTSO *tso) {
@@ -373,13 +374,20 @@ static void unpark_tso(Capability *cap, StgTSO *tso) {
 
     // Unblocking a TSO from BlockedOnSTM is done under the TSO lock,
     // to avoid multiple CPUs unblocking the same TSO, and also to
-    // synchronise with throwTo().
+    // synchronise with throwTo(). The first time the TSO is unblocked
+    // we mark this fact by setting block_info.closure == STM_AWOKEN.
+    // This way we can avoid sending further wakeup messages in the
+    // future.
     lockTSO(tso);
-    if (tso -> why_blocked == BlockedOnSTM) {
-       TRACE("unpark_tso on tso=%p", tso);
-        tryWakeupThread(cap,tso);
+    if (tso->why_blocked == BlockedOnSTM &&
+        tso->block_info.closure == &stg_STM_AWOKEN_closure) {
+      TRACE("unpark_tso already woken up tso=%p", tso);
+    } else if (tso -> why_blocked == BlockedOnSTM) {
+      TRACE("unpark_tso on tso=%p", tso);
+      tso->block_info.closure = &stg_STM_AWOKEN_closure;
+      tryWakeupThread(cap,tso);
     } else {
-       TRACE("spurious unpark_tso on tso=%p", tso);
+      TRACE("spurious unpark_tso on tso=%p", tso);
     }
     unlockTSO(tso);
 }
@@ -396,7 +404,7 @@ static void unpark_waiters_on(Capability *cap, StgTVar *s) {
   }
   q = trail;
   for (;
-       q != END_STM_WATCH_QUEUE; 
+       q != END_STM_WATCH_QUEUE;
        q = q -> prev_queue_entry) {
     if (watcher_is_tso(q)) {
       unpark_tso(cap, (StgTSO *)(q -> closure));
@@ -409,7 +417,7 @@ static void unpark_waiters_on(Capability *cap, StgTVar *s) {
 // Helper functions for downstream allocation and initialization
 
 static StgInvariantCheckQueue *new_stg_invariant_check_queue(Capability *cap,
-                                                            StgAtomicInvariant *invariant) {
+                                                             StgAtomicInvariant *invariant) {
   StgInvariantCheckQueue *result;
   result = (StgInvariantCheckQueue *)allocate(cap, sizeofW(StgInvariantCheckQueue));
   SET_HDR (result, &stg_INVARIANT_CHECK_QUEUE_info, CCS_SYSTEM);
@@ -419,7 +427,7 @@ static StgInvariantCheckQueue *new_stg_invariant_check_queue(Capability *cap,
 }
 
 static StgTVarWatchQueue *new_stg_tvar_watch_queue(Capability *cap,
-                                                  StgClosure *closure) {
+                                                   StgClosure *closure) {
   StgTVarWatchQueue *result;
   result = (StgTVarWatchQueue *)allocate(cap, sizeofW(StgTVarWatchQueue));
   SET_HDR (result, &stg_TVAR_WATCH_QUEUE_info, CCS_SYSTEM);
@@ -454,7 +462,7 @@ static StgTRecHeader *new_stg_trec_header(Capability *cap,
     result -> state = enclosing_trec -> state;
   }
 
-  return result;  
+  return result;
 }
 
 /*......................................................................*/
@@ -463,7 +471,7 @@ static StgTRecHeader *new_stg_trec_header(Capability *cap,
 // of closures that can be re-used
 
 static StgInvariantCheckQueue *alloc_stg_invariant_check_queue(Capability *cap,
-                                                              StgAtomicInvariant *invariant) {
+                                                               StgAtomicInvariant *invariant) {
   StgInvariantCheckQueue *result = NULL;
   if (cap -> free_invariant_check_queues == END_INVARIANT_CHECK_QUEUE) {
     result = new_stg_invariant_check_queue(cap, invariant);
@@ -477,7 +485,7 @@ static StgInvariantCheckQueue *alloc_stg_invariant_check_queue(Capability *cap,
 }
 
 static StgTVarWatchQueue *alloc_stg_tvar_watch_queue(Capability *cap,
-                                                    StgClosure *closure) {
+                                                     StgClosure *closure) {
   StgTVarWatchQueue *result = NULL;
   if (cap -> free_tvar_watch_queues == END_STM_WATCH_QUEUE) {
     result = new_stg_tvar_watch_queue(cap, closure);
@@ -490,7 +498,7 @@ static StgTVarWatchQueue *alloc_stg_tvar_watch_queue(Capability *cap,
 }
 
 static void free_stg_tvar_watch_queue(Capability *cap,
-                                     StgTVarWatchQueue *wq) {
+                                      StgTVarWatchQueue *wq) {
 #if defined(REUSE_MEMORY)
   wq -> next_queue_entry = cap -> free_tvar_watch_queues;
   cap -> free_tvar_watch_queues = wq;
@@ -510,7 +518,7 @@ static StgTRecChunk *alloc_stg_trec_chunk(Capability *cap) {
   return result;
 }
 
-static void free_stg_trec_chunk(Capability *cap, 
+static void free_stg_trec_chunk(Capability *cap,
                                 StgTRecChunk *c) {
 #if defined(REUSE_MEMORY)
   c -> prev_chunk = cap -> free_trec_chunks;
@@ -548,7 +556,7 @@ static void free_stg_trec_header(Capability *cap,
     StgTRecChunk *prev_chunk = chunk -> prev_chunk;
     free_stg_trec_chunk(cap, chunk);
     chunk = prev_chunk;
-  } 
+  }
   trec -> current_chunk -> prev_chunk = END_STM_CHUNK_LIST;
   trec -> enclosing_trec = cap -> free_trec_headers;
   cap -> free_trec_headers = trec;
@@ -560,8 +568,8 @@ static void free_stg_trec_header(Capability *cap,
 // Helper functions for managing waiting lists
 
 static void build_watch_queue_entries_for_trec(Capability *cap,
-                                              StgTSO *tso, 
-                                              StgTRecHeader *trec) {
+                                               StgTSO *tso,
+                                               StgTRecHeader *trec) {
   ASSERT(trec != NO_TREC);
   ASSERT(trec -> enclosing_trec == NO_TREC);
   ASSERT(trec -> state == TREC_ACTIVE);
@@ -585,11 +593,12 @@ static void build_watch_queue_entries_for_trec(Capability *cap,
     }
     s -> first_watch_queue_entry = q;
     e -> new_value = (StgClosure *) q;
+    dirty_TVAR(cap,s); // we modified first_watch_queue_entry
   });
 }
 
 static void remove_watch_queue_entries_for_trec(Capability *cap,
-                                               StgTRecHeader *trec) {
+                                                StgTRecHeader *trec) {
   ASSERT(trec != NO_TREC);
   ASSERT(trec -> enclosing_trec == NO_TREC);
   ASSERT(trec -> state == TREC_WAITING ||
@@ -606,10 +615,10 @@ static void remove_watch_queue_entries_for_trec(Capability *cap,
     s = e -> tvar;
     saw = lock_tvar(trec, s);
     q = (StgTVarWatchQueue *) (e -> new_value);
-    TRACE("%p : removing tso=%p from watch queue for tvar=%p", 
-         trec, 
-         q -> closure, 
-         s);
+    TRACE("%p : removing tso=%p from watch queue for tvar=%p",
+          trec,
+          q -> closure,
+          s);
     ACQ_ASSERT(s -> current_value == (StgClosure *)trec);
     nq = q -> next_queue_entry;
     pq = q -> prev_queue_entry;
@@ -619,16 +628,17 @@ static void remove_watch_queue_entries_for_trec(Capability *cap,
     if (pq != END_STM_WATCH_QUEUE) {
       pq -> next_queue_entry = nq;
     } else {
-      ASSERT (s -> first_watch_queue_entry == q);
+      ASSERT(s -> first_watch_queue_entry == q);
       s -> first_watch_queue_entry = nq;
+      dirty_TVAR(cap,s); // we modified first_watch_queue_entry
     }
     free_stg_tvar_watch_queue(cap, q);
-    unlock_tvar(trec, s, saw, FALSE);
+    unlock_tvar(cap, trec, s, saw, false);
   });
 }
+
 /*......................................................................*/
+
 static TRecEntry *get_new_entry(Capability *cap,
                                 StgTRecHeader *t) {
   TRecEntry *result;
@@ -662,22 +672,21 @@ static void merge_update_into(Capability *cap,
                               StgTRecHeader *t,
                               StgTVar *tvar,
                               StgClosure *expected_value,
-                              StgClosure *new_value) {
-  int found;
-  
+                              StgClosure *new_value)
+{
   // Look for an entry in this trec
-  found = FALSE;
+  bool found = false;
   FOR_EACH_ENTRY(t, e, {
     StgTVar *s;
     s = e -> tvar;
     if (s == tvar) {
-      found = TRUE;
+      found = true;
       if (e -> expected_value != expected_value) {
         // Must abort if the two entries start from different values
-        TRACE("%p : update entries inconsistent at %p (%p vs %p)", 
+        TRACE("%p : update entries inconsistent at %p (%p vs %p)",
               t, tvar, e -> expected_value, expected_value);
         t -> state = TREC_CONDEMNED;
-      } 
+      }
       e -> new_value = new_value;
       BREAK_FOR_EACH;
     }
@@ -696,32 +705,54 @@ static void merge_update_into(Capability *cap,
 /*......................................................................*/
 
 static void merge_read_into(Capability *cap,
-                           StgTRecHeader *t,
-                           StgTVar *tvar,
-                           StgClosure *expected_value) {
-  int found;
-  
-  // Look for an entry in this trec
-  found = FALSE;
-  FOR_EACH_ENTRY(t, e, {
-    StgTVar *s;
-    s = e -> tvar;
-    if (s == tvar) {
-      found = TRUE;
-      if (e -> expected_value != expected_value) {
-        // Must abort if the two entries start from different values
-        TRACE("%p : read entries inconsistent at %p (%p vs %p)", 
-              t, tvar, e -> expected_value, expected_value);
-        t -> state = TREC_CONDEMNED;
-      } 
-      BREAK_FOR_EACH;
-    }
-  });
+                            StgTRecHeader *trec,
+                            StgTVar *tvar,
+                            StgClosure *expected_value)
+{
+  StgTRecHeader *t;
+  bool found = false;
+
+  //
+  // See #7493
+  //
+  // We need to look for an existing entry *anywhere* in the stack of
+  // nested transactions.  Otherwise, in stmCommitNestedTransaction()
+  // we can't tell the difference between
+  //
+  //   (1) a read-only entry
+  //   (2) an entry that writes back the original value
+  //
+  // Since in both cases e->new_value == e->expected_value. But in (1)
+  // we want to do nothing, and in (2) we want to update e->new_value
+  // in the outer transaction.
+  //
+  // Here we deal with the first possibility: we never create a
+  // read-only entry in an inner transaction if there is an existing
+  // outer entry; so we never have an inner read and an outer update.
+  // So then in stmCommitNestedTransaction() we know we can always
+  // write e->new_value over the outer entry, because the inner entry
+  // is the most up to date.
+  //
+  for (t = trec; !found && t != NO_TREC; t = t -> enclosing_trec)
+  {
+    FOR_EACH_ENTRY(t, e, {
+      if (e -> tvar == tvar) {
+        found = true;
+        if (e -> expected_value != expected_value) {
+            // Must abort if the two entries start from different values
+            TRACE("%p : read entries inconsistent at %p (%p vs %p)",
+                  t, tvar, e -> expected_value, expected_value);
+            t -> state = TREC_CONDEMNED;
+        }
+        BREAK_FOR_EACH;
+      }
+    });
+  }
 
   if (!found) {
-    // No entry so far in this trec
+    // No entry found
     TRecEntry *ne;
-    ne = get_new_entry(cap, t);
+    ne = get_new_entry(cap, trec);
     ne -> tvar = tvar;
     ne -> expected_value = expected_value;
     ne -> new_value = expected_value;
@@ -734,39 +765,40 @@ static StgBool entry_is_update(TRecEntry *e) {
   StgBool result;
   result = (e -> expected_value != e -> new_value);
   return result;
-} 
+}
 
 #if defined(STM_FG_LOCKS)
 static StgBool entry_is_read_only(TRecEntry *e) {
   StgBool result;
   result = (e -> expected_value == e -> new_value);
   return result;
-} 
+}
 
 static StgBool tvar_is_locked(StgTVar *s, StgTRecHeader *h) {
   StgClosure *c;
   StgBool result;
   c = s -> current_value;
   result = (c == (StgClosure *) h);
-  return result;  
+  return result;
 }
 #endif
 
 // revert_ownership : release a lock on a TVar, storing back
 // the value that it held when the lock was acquired.  "revert_all"
-// is set in stmWait and stmReWait when we acquired locks on all of 
+// is set in stmWait and stmReWait when we acquired locks on all of
 // the TVars involved.  "revert_all" is not set in commit operations
 // where we don't lock TVars that have been read from but not updated.
 
-static void revert_ownership(StgTRecHeader *trec STG_UNUSED,
+static void revert_ownership(Capability *cap STG_UNUSED,
+                             StgTRecHeader *trec STG_UNUSED,
                              StgBool revert_all STG_UNUSED) {
-#if defined(STM_FG_LOCKS) 
+#if defined(STM_FG_LOCKS)
   FOR_EACH_ENTRY(trec, e, {
     if (revert_all || entry_is_update(e)) {
       StgTVar *s;
       s = e -> tvar;
       if (tvar_is_locked(s, trec)) {
-        unlock_tvar(trec, s, e -> expected_value, TRUE);
+          unlock_tvar(cap, trec, s, e -> expected_value, true);
       }
     }
   });
@@ -778,29 +810,30 @@ static void revert_ownership(StgTRecHeader *trec STG_UNUSED,
 // validate_and_acquire_ownership : this performs the twin functions
 // of checking that the TVars referred to by entries in trec hold the
 // expected values and:
-// 
+//
 //   - locking the TVar (on updated TVars during commit, or all TVars
 //     during wait)
 //
 //   - recording the identity of the TRec who wrote the value seen in the
-//     TVar (on non-updated TVars during commit).  These values are 
+//     TVar (on non-updated TVars during commit).  These values are
 //     stashed in the TRec entries and are then checked in check_read_only
 //     to ensure that an atomic snapshot of all of these locations has been
 //     seen.
 
-static StgBool validate_and_acquire_ownership (StgTRecHeader *trec, 
+static StgBool validate_and_acquire_ownership (Capability *cap,
+                                               StgTRecHeader *trec,
                                                int acquire_all,
                                                int retain_ownership) {
   StgBool result;
 
   if (shake()) {
     TRACE("%p : shake, pretending trec is invalid when it may not be", trec);
-    return FALSE;
+    return false;
   }
 
-  ASSERT ((trec -> state == TREC_ACTIVE) || 
-         (trec -> state == TREC_WAITING) ||
-         (trec -> state == TREC_CONDEMNED));
+  ASSERT((trec -> state == TREC_ACTIVE) ||
+         (trec -> state == TREC_WAITING) ||
+         (trec -> state == TREC_CONDEMNED));
   result = !((trec -> state) == TREC_CONDEMNED);
   if (result) {
     FOR_EACH_ENTRY(trec, e, {
@@ -810,7 +843,7 @@ static StgBool validate_and_acquire_ownership (StgTRecHeader *trec,
         TRACE("%p : trying to acquire %p", trec, s);
         if (!cond_lock_tvar(trec, s, e -> expected_value)) {
           TRACE("%p : failed to acquire %p", trec, s);
-          result = FALSE;
+          result = false;
           BREAK_FOR_EACH;
         }
       } else {
@@ -819,13 +852,13 @@ static StgBool validate_and_acquire_ownership (StgTRecHeader *trec,
           TRACE("%p : will need to check %p", trec, s);
           if (s -> current_value != e -> expected_value) {
             TRACE("%p : doesn't match", trec);
-            result = FALSE;
+            result = false;
             BREAK_FOR_EACH;
           }
           e -> num_updates = s -> num_updates;
           if (s -> current_value != e -> expected_value) {
             TRACE("%p : doesn't match (race)", trec);
-            result = FALSE;
+            result = false;
             BREAK_FOR_EACH;
           } else {
             TRACE("%p : need to check version %ld", trec, e -> num_updates);
@@ -836,9 +869,9 @@ static StgBool validate_and_acquire_ownership (StgTRecHeader *trec,
   }
 
   if ((!result) || (!retain_ownership)) {
-    revert_ownership(trec, acquire_all);
+      revert_ownership(cap, trec, acquire_all);
   }
-  
+
   return result;
 }
 
@@ -854,19 +887,23 @@ static StgBool validate_and_acquire_ownership (StgTRecHeader *trec,
 // this kind of algorithm.
 
 static StgBool check_read_only(StgTRecHeader *trec STG_UNUSED) {
-  StgBool result = TRUE;
+  StgBool result = true;
 
-  ASSERT (config_use_read_phase);
+  ASSERT(config_use_read_phase);
   IF_STM_FG_LOCKS({
     FOR_EACH_ENTRY(trec, e, {
       StgTVar *s;
       s = e -> tvar;
       if (entry_is_read_only(e)) {
         TRACE("%p : check_read_only for TVar %p, saw %ld", trec, s, e -> num_updates);
-        if (s -> num_updates != e -> num_updates) {
-          // ||s -> current_value != e -> expected_value) {
+
+        // Note we need both checks and in this order as the TVar could be
+        // locked by another transaction that is committing but has not yet
+        // incremented `num_updates` (See #7815).
+        if (s -> current_value != e -> expected_value ||
+            s -> num_updates != e -> num_updates) {
           TRACE("%p : mismatch", trec);
-          result = FALSE;
+          result = false;
           BREAK_FOR_EACH;
         }
       }
@@ -890,12 +927,12 @@ void stmPreGCHook (Capability *cap) {
 
 /************************************************************************/
 
-// check_read_only relies on version numbers held in TVars' "num_updates" 
+// check_read_only relies on version numbers held in TVars' "num_updates"
 // fields not wrapping around while a transaction is committed.  The version
 // number is incremented each time an update is committed to the TVar
-// This is unlikely to wrap around when 32-bit integers are used for the counts, 
+// This is unlikely to wrap around when 32-bit integers are used for the counts,
 // but to ensure correctness we maintain a shared count on the maximum
-// number of commit operations that may occur and check that this has 
+// number of commit operations that may occur and check that this has
 // not increased by more than 2^32 during a commit.
 
 #define TOKEN_BATCH_SIZE 1024
@@ -903,14 +940,14 @@ void stmPreGCHook (Capability *cap) {
 static volatile StgInt64 max_commits = 0;
 
 #if defined(THREADED_RTS)
-static volatile StgBool token_locked = FALSE;
+static volatile StgWord token_locked = false;
 
 static void getTokenBatch(Capability *cap) {
-  while (cas((void *)&token_locked, FALSE, TRUE) == TRUE) { /* nothing */ }
+  while (cas((void *)&token_locked, false, true) == true) { /* nothing */ }
   max_commits += TOKEN_BATCH_SIZE;
   TRACE("%p : cap got token batch, max_commits=%" FMT_Int64, cap, max_commits);
   cap -> transaction_tokens = TOKEN_BATCH_SIZE;
-  token_locked = FALSE;
+  token_locked = false;
 }
 
 static void getToken(Capability *cap) {
@@ -930,8 +967,8 @@ static void getToken(Capability *cap STG_UNUSED) {
 StgTRecHeader *stmStartTransaction(Capability *cap,
                                    StgTRecHeader *outer) {
   StgTRecHeader *t;
-  TRACE("%p : stmStartTransaction with %d tokens", 
-        outer, 
+  TRACE("%p : stmStartTransaction with %d tokens",
+        outer,
         cap -> transaction_tokens);
 
   getToken(cap);
@@ -947,10 +984,10 @@ void stmAbortTransaction(Capability *cap,
                          StgTRecHeader *trec) {
   StgTRecHeader *et;
   TRACE("%p : stmAbortTransaction", trec);
-  ASSERT (trec != NO_TREC);
-  ASSERT ((trec -> state == TREC_ACTIVE) || 
-          (trec -> state == TREC_WAITING) ||
-          (trec -> state == TREC_CONDEMNED));
+  ASSERT(trec != NO_TREC);
+  ASSERT((trec -> state == TREC_ACTIVE) ||
+         (trec -> state == TREC_WAITING) ||
+         (trec -> state == TREC_CONDEMNED));
 
   lock_stm(trec);
 
@@ -961,10 +998,10 @@ void stmAbortTransaction(Capability *cap,
     TRACE("%p : aborting top-level transaction", trec);
 
     if (trec -> state == TREC_WAITING) {
-      ASSERT (trec -> enclosing_trec == NO_TREC);
+      ASSERT(trec -> enclosing_trec == NO_TREC);
       TRACE("%p : stmAbortTransaction aborting waiting transaction", trec);
       remove_watch_queue_entries_for_trec(cap, trec);
-    } 
+    }
 
   } else {
     // We're a nested transaction: merge our read set into our parent's
@@ -974,7 +1011,7 @@ void stmAbortTransaction(Capability *cap,
       StgTVar *s = e -> tvar;
       merge_read_into(cap, et, s, e -> expected_value);
     });
-  } 
+  }
 
   trec -> state = TREC_ABORTED;
   unlock_stm(trec);
@@ -985,11 +1022,11 @@ void stmAbortTransaction(Capability *cap,
 /*......................................................................*/
 
 void stmFreeAbortedTRec(Capability *cap,
-                       StgTRecHeader *trec) {
+                        StgTRecHeader *trec) {
   TRACE("%p : stmFreeAbortedTRec", trec);
-  ASSERT (trec != NO_TREC);
-  ASSERT ((trec -> state == TREC_CONDEMNED) ||
-         (trec -> state == TREC_ABORTED));
+  ASSERT(trec != NO_TREC);
+  ASSERT((trec -> state == TREC_CONDEMNED) ||
+         (trec -> state == TREC_ABORTED));
 
   free_stg_trec_header(cap, trec);
 
@@ -1001,17 +1038,17 @@ void stmFreeAbortedTRec(Capability *cap,
 void stmCondemnTransaction(Capability *cap,
                            StgTRecHeader *trec) {
   TRACE("%p : stmCondemnTransaction", trec);
-  ASSERT (trec != NO_TREC);
-  ASSERT ((trec -> state == TREC_ACTIVE) || 
-          (trec -> state == TREC_WAITING) ||
-          (trec -> state == TREC_CONDEMNED));
+  ASSERT(trec != NO_TREC);
+  ASSERT((trec -> state == TREC_ACTIVE) ||
+         (trec -> state == TREC_WAITING) ||
+         (trec -> state == TREC_CONDEMNED));
 
   lock_stm(trec);
   if (trec -> state == TREC_WAITING) {
-    ASSERT (trec -> enclosing_trec == NO_TREC);
+    ASSERT(trec -> enclosing_trec == NO_TREC);
     TRACE("%p : stmCondemnTransaction condemning waiting transaction", trec);
     remove_watch_queue_entries_for_trec(cap, trec);
-  } 
+  }
   trec -> state = TREC_CONDEMNED;
   unlock_stm(trec);
 
@@ -1020,27 +1057,26 @@ void stmCondemnTransaction(Capability *cap,
 
 /*......................................................................*/
 
-StgBool stmValidateNestOfTransactions(StgTRecHeader *trec) {
+StgBool stmValidateNestOfTransactions(Capability *cap, StgTRecHeader *trec) {
   StgTRecHeader *t;
-  StgBool result;
 
   TRACE("%p : stmValidateNestOfTransactions", trec);
   ASSERT(trec != NO_TREC);
-  ASSERT((trec -> state == TREC_ACTIVE) || 
+  ASSERT((trec -> state == TREC_ACTIVE) ||
          (trec -> state == TREC_WAITING) ||
          (trec -> state == TREC_CONDEMNED));
 
   lock_stm(trec);
 
   t = trec;
-  result = TRUE;
+  StgBool result = true;
   while (t != NO_TREC) {
-    result &= validate_and_acquire_ownership(t, TRUE, FALSE);
+    result &= validate_and_acquire_ownership(cap, t, true, false);
     t = t -> enclosing_trec;
   }
 
   if (!result && trec -> state != TREC_WAITING) {
-    trec -> state = TREC_CONDEMNED; 
+    trec -> state = TREC_CONDEMNED;
   }
 
   unlock_stm(trec);
@@ -1070,18 +1106,18 @@ static TRecEntry *get_entry_for(StgTRecHeader *trec, StgTVar *tvar, StgTRecHeade
     trec = trec -> enclosing_trec;
   } while (result == NULL && trec != NO_TREC);
 
-  return result;    
+  return result;
 }
 
 /*......................................................................*/
 
 /*
- * Add/remove links between an invariant TVars.  The caller must have 
+ * Add/remove links between an invariant TVars.  The caller must have
  * locked the TVars involved and the invariant.
  */
 
 static void disconnect_invariant(Capability *cap,
-                                StgAtomicInvariant *inv) {
+                                 StgAtomicInvariant *inv) {
   StgTRecHeader *last_execution = inv -> last_execution;
 
   TRACE("unhooking last execution inv=%p trec=%p", inv, last_execution);
@@ -1089,29 +1125,30 @@ static void disconnect_invariant(Capability *cap,
   FOR_EACH_ENTRY(last_execution, e, {
     StgTVar *s = e -> tvar;
     StgTVarWatchQueue *q = s -> first_watch_queue_entry;
-    DEBUG_ONLY( StgBool found = FALSE );
+    DEBUG_ONLY( StgBool found = false );
     TRACE("  looking for trec on tvar=%p", s);
-    for (q = s -> first_watch_queue_entry; 
-        q != END_STM_WATCH_QUEUE; 
-        q = q -> next_queue_entry) {
+    for (q = s -> first_watch_queue_entry;
+         q != END_STM_WATCH_QUEUE;
+         q = q -> next_queue_entry) {
       if (q -> closure == (StgClosure*)inv) {
-       StgTVarWatchQueue *pq;
-       StgTVarWatchQueue *nq;
-       nq = q -> next_queue_entry;
-       pq = q -> prev_queue_entry;
-       if (nq != END_STM_WATCH_QUEUE) {
-         nq -> prev_queue_entry = pq;
-       }
-       if (pq != END_STM_WATCH_QUEUE) {
-         pq -> next_queue_entry = nq;
-       } else {
-         ASSERT (s -> first_watch_queue_entry == q);
-         s -> first_watch_queue_entry = nq;
-       }
-       TRACE("  found it in watch queue entry %p", q);
-       free_stg_tvar_watch_queue(cap, q);
-       DEBUG_ONLY( found = TRUE );
-       break;
+        StgTVarWatchQueue *pq;
+        StgTVarWatchQueue *nq;
+        nq = q -> next_queue_entry;
+        pq = q -> prev_queue_entry;
+        if (nq != END_STM_WATCH_QUEUE) {
+          nq -> prev_queue_entry = pq;
+        }
+        if (pq != END_STM_WATCH_QUEUE) {
+          pq -> next_queue_entry = nq;
+        } else {
+          ASSERT(s -> first_watch_queue_entry == q);
+          s -> first_watch_queue_entry = nq;
+          dirty_TVAR(cap,s); // we modified first_watch_queue_entry
+        }
+        TRACE("  found it in watch queue entry %p", q);
+        free_stg_tvar_watch_queue(cap, q);
+        DEBUG_ONLY( found = true );
+        break;
       }
     }
     ASSERT(found);
@@ -1120,8 +1157,8 @@ static void disconnect_invariant(Capability *cap,
 }
 
 static void connect_invariant_to_trec(Capability *cap,
-                                     StgAtomicInvariant *inv, 
-                                     StgTRecHeader *my_execution) {
+                                      StgAtomicInvariant *inv,
+                                      StgTRecHeader *my_execution) {
   TRACE("connecting execution inv=%p trec=%p", inv, my_execution);
 
   ASSERT(inv -> last_execution == NO_TREC);
@@ -1147,6 +1184,7 @@ static void connect_invariant_to_trec(Capability *cap,
       fq -> prev_queue_entry = q;
     }
     s -> first_watch_queue_entry = q;
+    dirty_TVAR(cap,s); // we modified first_watch_queue_entry
   });
 
   inv -> last_execution = my_execution;
@@ -1155,15 +1193,15 @@ static void connect_invariant_to_trec(Capability *cap,
 /*
  * Add a new invariant to the trec's list of invariants to check on commit
  */
-void stmAddInvariantToCheck(Capability *cap, 
-                           StgTRecHeader *trec,
-                           StgClosure *code) {
+void stmAddInvariantToCheck(Capability *cap,
+                            StgTRecHeader *trec,
+                            StgClosure *code) {
   StgAtomicInvariant *invariant;
   StgInvariantCheckQueue *q;
   TRACE("%p : stmAddInvariantToCheck closure=%p", trec, code);
   ASSERT(trec != NO_TREC);
   ASSERT(trec -> state == TREC_ACTIVE ||
-        trec -> state == TREC_CONDEMNED);
+         trec -> state == TREC_CONDEMNED);
 
 
   // 1. Allocate an StgAtomicInvariant, set last_execution to NO_TREC
@@ -1189,20 +1227,20 @@ void stmAddInvariantToCheck(Capability *cap,
 }
 
 /*
- * Fill in the trec's list of invariants that might be violated by the 
- * current transaction.  
+ * Fill in the trec's list of invariants that might be violated by the
+ * current transaction.
  */
 
 StgInvariantCheckQueue *stmGetInvariantsToCheck(Capability *cap, StgTRecHeader *trec) {
   StgTRecChunk *c;
-  TRACE("%p : stmGetInvariantsToCheck, head was %p", 
-       trec,
-       trec -> invariants_to_check);
+  TRACE("%p : stmGetInvariantsToCheck, head was %p",
+        trec,
+        trec -> invariants_to_check);
 
   ASSERT(trec != NO_TREC);
-  ASSERT ((trec -> state == TREC_ACTIVE) || 
-         (trec -> state == TREC_WAITING) ||
-         (trec -> state == TREC_CONDEMNED));
+  ASSERT((trec -> state == TREC_ACTIVE) ||
+         (trec -> state == TREC_WAITING) ||
+         (trec -> state == TREC_CONDEMNED));
   ASSERT(trec -> enclosing_trec == NO_TREC);
 
   lock_stm(trec);
@@ -1212,43 +1250,43 @@ StgInvariantCheckQueue *stmGetInvariantsToCheck(Capability *cap, StgTRecHeader *
     for (i = 0; i < c -> next_entry_idx; i ++) {
       TRecEntry *e = &(c -> entries[i]);
       if (entry_is_update(e)) {
-       StgTVar *s = e -> tvar;
-       StgClosure *old = lock_tvar(trec, s);
-               
-       // Pick up any invariants on the TVar being updated
-       // by entry "e"
-
-       StgTVarWatchQueue *q;
-       TRACE("%p : checking for invariants on %p", trec, s);
-       for (q = s -> first_watch_queue_entry;
-            q != END_STM_WATCH_QUEUE;
-            q = q -> next_queue_entry) {
-         if (watcher_is_invariant(q)) {
-           StgBool found = FALSE;
-           StgInvariantCheckQueue *q2;
-           TRACE("%p : Touching invariant %p", trec, q -> closure);
-           for (q2 = trec -> invariants_to_check;
-                q2 != END_INVARIANT_CHECK_QUEUE;
-                q2 = q2 -> next_queue_entry) {
-             if (q2 -> invariant == (StgAtomicInvariant*)(q -> closure)) {
-               TRACE("%p : Already found %p", trec, q -> closure);
-               found = TRUE;
-               break;
-             }
-           }
-           
-           if (!found) {
-             StgInvariantCheckQueue *q3;
-             TRACE("%p : Not already found %p", trec, q -> closure);
-             q3 = alloc_stg_invariant_check_queue(cap,
-                                                  (StgAtomicInvariant*) q -> closure);
-             q3 -> next_queue_entry = trec -> invariants_to_check;
-             trec -> invariants_to_check = q3;
-           }
-         }
-       }
-
-       unlock_tvar(trec, s, old, FALSE);
+        StgTVar *s = e -> tvar;
+        StgClosure *old = lock_tvar(trec, s);
+
+        // Pick up any invariants on the TVar being updated
+        // by entry "e"
+
+        StgTVarWatchQueue *q;
+        TRACE("%p : checking for invariants on %p", trec, s);
+        for (q = s -> first_watch_queue_entry;
+             q != END_STM_WATCH_QUEUE;
+             q = q -> next_queue_entry) {
+          if (watcher_is_invariant(q)) {
+            StgBool found = false;
+            StgInvariantCheckQueue *q2;
+            TRACE("%p : Touching invariant %p", trec, q -> closure);
+            for (q2 = trec -> invariants_to_check;
+                 q2 != END_INVARIANT_CHECK_QUEUE;
+                 q2 = q2 -> next_queue_entry) {
+              if (q2 -> invariant == (StgAtomicInvariant*)(q -> closure)) {
+                TRACE("%p : Already found %p", trec, q -> closure);
+                found = true;
+                break;
+              }
+            }
+
+            if (!found) {
+              StgInvariantCheckQueue *q3;
+              TRACE("%p : Not already found %p", trec, q -> closure);
+              q3 = alloc_stg_invariant_check_queue(cap,
+                                                   (StgAtomicInvariant*) q -> closure);
+              q3 -> next_queue_entry = trec -> invariants_to_check;
+              trec -> invariants_to_check = q3;
+            }
+          }
+        }
+
+        unlock_tvar(cap, trec, s, old, false);
       }
     }
     c = c -> prev_chunk;
@@ -1256,9 +1294,9 @@ StgInvariantCheckQueue *stmGetInvariantsToCheck(Capability *cap, StgTRecHeader *
 
   unlock_stm(trec);
 
-  TRACE("%p : stmGetInvariantsToCheck, head now %p", 
-       trec,
-       trec -> invariants_to_check);
+  TRACE("%p : stmGetInvariantsToCheck, head now %p",
+        trec,
+        trec -> invariants_to_check);
 
   return (trec -> invariants_to_check);
 }
@@ -1266,21 +1304,20 @@ StgInvariantCheckQueue *stmGetInvariantsToCheck(Capability *cap, StgTRecHeader *
 /*......................................................................*/
 
 StgBool stmCommitTransaction(Capability *cap, StgTRecHeader *trec) {
-  int result;
   StgInt64 max_commits_at_start = max_commits;
   StgBool touched_invariants;
   StgBool use_read_phase;
 
   TRACE("%p : stmCommitTransaction()", trec);
-  ASSERT (trec != NO_TREC);
+  ASSERT(trec != NO_TREC);
 
   lock_stm(trec);
 
-  ASSERT (trec -> enclosing_trec == NO_TREC);
-  ASSERT ((trec -> state == TREC_ACTIVE) || 
-          (trec -> state == TREC_CONDEMNED));
+  ASSERT(trec -> enclosing_trec == NO_TREC);
+  ASSERT((trec -> state == TREC_ACTIVE) ||
+         (trec -> state == TREC_CONDEMNED));
 
-  // touched_invariants is true if we've written to a TVar with invariants 
+  // touched_invariants is true if we've written to a TVar with invariants
   // attached to it, or if we're trying to add a new invariant to the system.
 
   touched_invariants = (trec -> invariants_to_check != END_INVARIANT_CHECK_QUEUE);
@@ -1310,16 +1347,16 @@ StgBool stmCommitTransaction(Capability *cap, StgTRecHeader *trec) {
 
       inv_old_trec = inv -> last_execution;
       if (inv_old_trec != NO_TREC) {
-       StgTRecChunk *c = inv_old_trec -> current_chunk;
-       while (c != END_STM_CHUNK_LIST) {
-         unsigned int i;
-         for (i = 0; i < c -> next_entry_idx; i ++) {
-           TRecEntry *e = &(c -> entries[i]);
-           TRACE("%p : ensuring we lock TVars for %p", trec, e -> tvar);
-           merge_read_into (cap, trec, e -> tvar, e -> expected_value);
-         }
-         c = c -> prev_chunk;
-       }
+        StgTRecChunk *c = inv_old_trec -> current_chunk;
+        while (c != END_STM_CHUNK_LIST) {
+          unsigned int i;
+          for (i = 0; i < c -> next_entry_idx; i ++) {
+            TRecEntry *e = &(c -> entries[i]);
+            TRACE("%p : ensuring we lock TVars for %p", trec, e -> tvar);
+            merge_read_into (cap, trec, e -> tvar, e -> expected_value);
+          }
+          c = c -> prev_chunk;
+        }
       }
       q = q -> next_queue_entry;
     }
@@ -1328,7 +1365,7 @@ StgBool stmCommitTransaction(Capability *cap, StgTRecHeader *trec) {
 
   // Use a read-phase (i.e. don't lock TVars we've read but not updated) if
   // (i) the configuration lets us use a read phase, and (ii) we've not
-  // touched or introduced any invariants.  
+  // touched or introduced any invariants.
   //
   // In principle we could extend the implementation to support a read-phase
   // and invariants, but it complicates the logic: the links between
@@ -1337,10 +1374,10 @@ StgBool stmCommitTransaction(Capability *cap, StgTRecHeader *trec) {
 
   use_read_phase = ((config_use_read_phase) && (!touched_invariants));
 
-  result = validate_and_acquire_ownership(trec, (!use_read_phase), TRUE);
+  bool result = validate_and_acquire_ownership(cap, trec, (!use_read_phase), true);
   if (result) {
     // We now know that all the updated locations hold their expected values.
-    ASSERT (trec -> state == TREC_ACTIVE);
+    ASSERT(trec -> state == TREC_ACTIVE);
 
     if (use_read_phase) {
       StgInt64 max_commits_at_end;
@@ -1353,12 +1390,12 @@ StgBool stmCommitTransaction(Capability *cap, StgTRecHeader *trec) {
       max_concurrent_commits = ((max_commits_at_end - max_commits_at_start) +
                                 (n_capabilities * TOKEN_BATCH_SIZE));
       if (((max_concurrent_commits >> 32) > 0) || shake()) {
-        result = FALSE;
+        result = false;
       }
     }
-    
+
     if (result) {
-      // We now know that all of the read-only locations held their exepcted values
+      // We now know that all of the read-only locations held their expected values
       // at the end of the call to validate_and_acquire_ownership.  This forms the
       // linearization point of the commit.
 
@@ -1366,21 +1403,21 @@ StgBool stmCommitTransaction(Capability *cap, StgTRecHeader *trec) {
       //    from the TVars they depended on last time they were executed
       //    and hook them on the TVars that they now depend on.
       if (touched_invariants) {
-       StgInvariantCheckQueue *q = trec -> invariants_to_check;
-       while (q != END_INVARIANT_CHECK_QUEUE) {
-         StgAtomicInvariant *inv = q -> invariant;
-         if (inv -> last_execution != NO_TREC) {
-           disconnect_invariant(cap, inv);
-         }
+        StgInvariantCheckQueue *q = trec -> invariants_to_check;
+        while (q != END_INVARIANT_CHECK_QUEUE) {
+          StgAtomicInvariant *inv = q -> invariant;
+          if (inv -> last_execution != NO_TREC) {
+            disconnect_invariant(cap, inv);
+          }
 
-         TRACE("%p : hooking up new execution trec=%p", trec, q -> my_execution);
-         connect_invariant_to_trec(cap, inv, q -> my_execution);
+          TRACE("%p : hooking up new execution trec=%p", trec, q -> my_execution);
+          connect_invariant_to_trec(cap, inv, q -> my_execution);
 
-         TRACE("%p : unlocking invariant %p", trec, inv);
+          TRACE("%p : unlocking invariant %p", trec, inv);
           unlock_inv(inv);
 
-         q = q -> next_queue_entry;
-       }
+          q = q -> next_queue_entry;
+        }
       }
 
       // 2. Make the updates required by the transaction
@@ -1389,7 +1426,7 @@ StgBool stmCommitTransaction(Capability *cap, StgTRecHeader *trec) {
         s = e -> tvar;
         if ((!use_read_phase) || (e -> new_value != e -> expected_value)) {
           // Either the entry is an update or we're not using a read phase:
-         // write the value back to the TVar, unlocking it if necessary.
+          // write the value back to the TVar, unlocking it if necessary.
 
           ACQ_ASSERT(tvar_is_locked(s, trec));
           TRACE("%p : writing %p to %p, waking waiters", trec, e -> new_value, s);
@@ -1397,14 +1434,14 @@ StgBool stmCommitTransaction(Capability *cap, StgTRecHeader *trec) {
           IF_STM_FG_LOCKS({
             s -> num_updates ++;
           });
-          unlock_tvar(trec, s, e -> new_value, TRUE);
-        } 
+          unlock_tvar(cap, trec, s, e -> new_value, true);
+        }
         ACQ_ASSERT(!tvar_is_locked(s, trec));
       });
     } else {
-      revert_ownership(trec, FALSE);
+        revert_ownership(cap, trec, false);
     }
-  } 
+  }
 
   unlock_stm(trec);
 
@@ -1419,15 +1456,14 @@ StgBool stmCommitTransaction(Capability *cap, StgTRecHeader *trec) {
 
 StgBool stmCommitNestedTransaction(Capability *cap, StgTRecHeader *trec) {
   StgTRecHeader *et;
-  int result;
-  ASSERT (trec != NO_TREC && trec -> enclosing_trec != NO_TREC);
+  ASSERT(trec != NO_TREC && trec -> enclosing_trec != NO_TREC);
   TRACE("%p : stmCommitNestedTransaction() into %p", trec, trec -> enclosing_trec);
-  ASSERT ((trec -> state == TREC_ACTIVE) || (trec -> state == TREC_CONDEMNED));
+  ASSERT((trec -> state == TREC_ACTIVE) || (trec -> state == TREC_CONDEMNED));
 
   lock_stm(trec);
 
   et = trec -> enclosing_trec;
-  result = validate_and_acquire_ownership(trec, (!config_use_read_phase), TRUE);
+  bool result = validate_and_acquire_ownership(cap, trec, (!config_use_read_phase), true);
   if (result) {
     // We now know that all the updated locations hold their expected values.
 
@@ -1436,27 +1472,27 @@ StgBool stmCommitNestedTransaction(Capability *cap, StgTRecHeader *trec) {
       result = check_read_only(trec);
     }
     if (result) {
-      // We now know that all of the read-only locations held their exepcted values
+      // We now know that all of the read-only locations held their expected values
       // at the end of the call to validate_and_acquire_ownership.  This forms the
       // linearization point of the commit.
 
       TRACE("%p : read-check succeeded", trec);
       FOR_EACH_ENTRY(trec, e, {
-       // Merge each entry into the enclosing transaction record, release all
-       // locks.
-       
-       StgTVar *s;
-       s = e -> tvar;
-       if (entry_is_update(e)) {
-         unlock_tvar(trec, s, e -> expected_value, FALSE);
-       }
-       merge_update_into(cap, et, s, e -> expected_value, e -> new_value);
-       ACQ_ASSERT(s -> current_value != (StgClosure *)trec);
+        // Merge each entry into the enclosing transaction record, release all
+        // locks.
+
+        StgTVar *s;
+        s = e -> tvar;
+        if (entry_is_update(e)) {
+            unlock_tvar(cap, trec, s, e -> expected_value, false);
+        }
+        merge_update_into(cap, et, s, e -> expected_value, e -> new_value);
+        ACQ_ASSERT(s -> current_value != (StgClosure *)trec);
       });
     } else {
-      revert_ownership(trec, FALSE);
+        revert_ownership(cap, trec, false);
     }
-  } 
+  }
 
   unlock_stm(trec);
 
@@ -1470,15 +1506,14 @@ StgBool stmCommitNestedTransaction(Capability *cap, StgTRecHeader *trec) {
 /*......................................................................*/
 
 StgBool stmWait(Capability *cap, StgTSO *tso, StgTRecHeader *trec) {
-  int result;
   TRACE("%p : stmWait(%p)", trec, tso);
-  ASSERT (trec != NO_TREC);
-  ASSERT (trec -> enclosing_trec == NO_TREC);
-  ASSERT ((trec -> state == TREC_ACTIVE) || 
-          (trec -> state == TREC_CONDEMNED));
+  ASSERT(trec != NO_TREC);
+  ASSERT(trec -> enclosing_trec == NO_TREC);
+  ASSERT((trec -> state == TREC_ACTIVE) ||
+         (trec -> state == TREC_CONDEMNED));
 
   lock_stm(trec);
-  result = validate_and_acquire_ownership(trec, TRUE, TRUE);
+  bool result = validate_and_acquire_ownership(cap, trec, true, true);
   if (result) {
     // The transaction is valid so far so we can actually start waiting.
     // (Otherwise the transaction was not valid and the thread will have to
@@ -1486,7 +1521,7 @@ StgBool stmWait(Capability *cap, StgTSO *tso, StgTRecHeader *trec) {
 
     // Put ourselves to sleep.  We retain locks on all the TVars involved
     // until we are sound asleep : (a) on the wait queues, (b) BlockedOnSTM
-    // in the TSO, (c) TREC_WAITING in the Trec.  
+    // in the TSO, (c) TREC_WAITING in the Trec.
     build_watch_queue_entries_for_trec(cap, tso, trec);
     park_tso(tso);
     trec -> state = TREC_WAITING;
@@ -1510,32 +1545,31 @@ StgBool stmWait(Capability *cap, StgTSO *tso, StgTRecHeader *trec) {
 
 
 void
-stmWaitUnlock(Capability *cap STG_UNUSED, StgTRecHeader *trec) {
-    revert_ownership(trec, TRUE);
+stmWaitUnlock(Capability *cap, StgTRecHeader *trec) {
+    revert_ownership(cap, trec, true);
     unlock_stm(trec);
 }
 
 /*......................................................................*/
 
 StgBool stmReWait(Capability *cap, StgTSO *tso) {
-  int result;
   StgTRecHeader *trec = tso->trec;
 
   TRACE("%p : stmReWait", trec);
-  ASSERT (trec != NO_TREC);
-  ASSERT (trec -> enclosing_trec == NO_TREC);
-  ASSERT ((trec -> state == TREC_WAITING) || 
-          (trec -> state == TREC_CONDEMNED));
+  ASSERT(trec != NO_TREC);
+  ASSERT(trec -> enclosing_trec == NO_TREC);
+  ASSERT((trec -> state == TREC_WAITING) ||
+         (trec -> state == TREC_CONDEMNED));
 
   lock_stm(trec);
-  result = validate_and_acquire_ownership(trec, TRUE, TRUE);
+  bool result = validate_and_acquire_ownership(cap, trec, true, true);
   TRACE("%p : validation %s", trec, result ? "succeeded" : "failed");
   if (result) {
     // The transaction remains valid -- do nothing because it is already on
     // the wait queues
-    ASSERT (trec -> state == TREC_WAITING);
+    ASSERT(trec -> state == TREC_WAITING);
     park_tso(tso);
-    revert_ownership(trec, TRUE);
+    revert_ownership(cap, trec, true);
   } else {
     // The transcation has become invalid.  We can now remove it from the wait
     // queues.
@@ -1570,15 +1604,15 @@ static StgClosure *read_current_value(StgTRecHeader *trec STG_UNUSED, StgTVar *t
 /*......................................................................*/
 
 StgClosure *stmReadTVar(Capability *cap,
-                        StgTRecHeader *trec, 
-                       StgTVar *tvar) {
+                        StgTRecHeader *trec,
+                        StgTVar *tvar) {
   StgTRecHeader *entry_in = NULL;
   StgClosure *result = NULL;
   TRecEntry *entry = NULL;
   TRACE("%p : stmReadTVar(%p)", trec, tvar);
-  ASSERT (trec != NO_TREC);
-  ASSERT (trec -> state == TREC_ACTIVE || 
-          trec -> state == TREC_CONDEMNED);
+  ASSERT(trec != NO_TREC);
+  ASSERT(trec -> state == TREC_ACTIVE ||
+         trec -> state == TREC_CONDEMNED);
 
   entry = get_entry_for(trec, tvar, &entry_in);
 
@@ -1593,7 +1627,7 @@ StgClosure *stmReadTVar(Capability *cap,
       new_entry -> expected_value = entry -> expected_value;
       new_entry -> new_value = entry -> new_value;
       result = new_entry -> new_value;
-    } 
+    }
   } else {
     // No entry found
     StgClosure *current_value = read_current_value(trec, tvar);
@@ -1612,15 +1646,15 @@ StgClosure *stmReadTVar(Capability *cap,
 
 void stmWriteTVar(Capability *cap,
                   StgTRecHeader *trec,
-                 StgTVar *tvar, 
-                 StgClosure *new_value) {
+                  StgTVar *tvar,
+                  StgClosure *new_value) {
 
   StgTRecHeader *entry_in = NULL;
   TRecEntry *entry = NULL;
   TRACE("%p : stmWriteTVar(%p, %p)", trec, tvar, new_value);
-  ASSERT (trec != NO_TREC);
-  ASSERT (trec -> state == TREC_ACTIVE || 
-          trec -> state == TREC_CONDEMNED);
+  ASSERT(trec != NO_TREC);
+  ASSERT(trec -> state == TREC_ACTIVE ||
+         trec -> state == TREC_CONDEMNED);
 
   entry = get_entry_for(trec, tvar, &entry_in);
 
@@ -1634,7 +1668,7 @@ void stmWriteTVar(Capability *cap,
       new_entry -> tvar = tvar;
       new_entry -> expected_value = entry -> expected_value;
       new_entry -> new_value = new_value;
-    } 
+    }
   } else {
     // No entry found
     StgClosure *current_value = read_current_value(trec, tvar);