8 weeks agorts: Assert that LDV profiling isn't used with parallel GC wip/memory-barriers
Ben Gamari [Fri, 14 Jun 2019 15:15:16 +0000 (11:15 -0400)] 
rts: Assert that LDV profiling isn't used with parallel GC

I'm not entirely sure we are careful about ensuring this; this is a
last-ditch check.

8 weeks agoCorrect closure observation, construction, and mutation on weak memory machines.
Travis Whitaker [Wed, 3 Apr 2019 22:26:16 +0000 (15:26 -0700)] 
Correct closure observation, construction, and mutation on weak memory machines.

Here the following changes are introduced:
    - A read barrier machine op is added to Cmm.
    - The order in which a closure's fields are read and written is changed.
    - Memory barriers are added to RTS code to ensure correctness on
      out-or-order machines with weak memory ordering.

Cmm has a new CallishMachOp called MO_ReadBarrier. On weak memory machines, this
is lowered to an instruction that ensures memory reads that occur after said
instruction in program order are not performed before reads coming before said
instruction in program order. On machines with strong memory ordering properties
(e.g. X86, SPARC in TSO mode) no such instruction is necessary, so
MO_ReadBarrier is simply erased. However, such an instruction is necessary on
weakly ordered machines, e.g. ARM and PowerPC.

Weam memory ordering has consequences for how closures are observed and mutated.
For example, consider a closure that needs to be updated to an indirection. In
order for the indirection to be safe for concurrent observers to enter, said
observers must read the indirection's info table before they read the
indirectee. Furthermore, the entering observer makes assumptions about the
closure based on its info table contents, e.g. an INFO_TYPE of IND imples the
closure has an indirectee pointer that is safe to follow.

When a closure is updated with an indirection, both its info table and its
indirectee must be written. With weak memory ordering, these two writes can be
arbitrarily reordered, and perhaps even interleaved with other threads' reads
and writes (in the absence of memory barrier instructions). Consider this
example of a bad reordering:

- An updater writes to a closure's info table (INFO_TYPE is now IND).
- A concurrent observer branches upon reading the closure's INFO_TYPE as IND.
- A concurrent observer reads the closure's indirectee and enters it. (!!!)
- An updater writes the closure's indirectee.

Here the update to the indirectee comes too late and the concurrent observer has
jumped off into the abyss. Speculative execution can also cause us issues,

- An observer is about to case on a value in closure's info table.
- The observer speculatively reads one or more of closure's fields.
- An updater writes to closure's info table.
- The observer takes a branch based on the new info table value, but with the
  old closure fields!
- The updater writes to the closure's other fields, but its too late.

Because of these effects, reads and writes to a closure's info table must be
ordered carefully with respect to reads and writes to the closure's other
fields, and memory barriers must be placed to ensure that reads and writes occur
in program order. Specifically, updates to a closure must follow the following

- Update the closure's (non-info table) fields.
- Write barrier.
- Update the closure's info table.

Observing a closure's fields must follow the following pattern:

- Read the closure's info pointer.
- Read barrier.
- Read the closure's (non-info table) fields.

This patch updates RTS code to obey this pattern. This should fix long-standing
SMP bugs on ARM (specifically newer aarch64 microarchitectures supporting
out-of-order execution) and PowerPC. This fixes issue #15449.

Co-Authored-By: Ben Gamari <>
8 weeks agotypo in the docs for DynFlags.hs
Artem Pelenitsyn [Wed, 26 Jun 2019 08:33:17 +0000 (04:33 -0400)] 
typo in the docs for DynFlags.hs

8 weeks agoFix GCC warnings with __clear_cache builtin (#16867)
Sylvain Henry [Tue, 25 Jun 2019 16:53:22 +0000 (18:53 +0200)] 
Fix GCC warnings with __clear_cache builtin (#16867)

8 weeks agotestsuite: Add more type annotations to perf_notes
Ben Gamari [Wed, 26 Jun 2019 16:58:42 +0000 (12:58 -0400)] 
testsuite: Add more type annotations to perf_notes

8 weeks agoFix #16805 by formatting warning message
nineonine [Wed, 26 Jun 2019 00:45:14 +0000 (17:45 -0700)] 
Fix #16805 by formatting warning message

8 weeks agogetExecutablePath: get path from sysctl on FreeBSD
Fraser Tweedale [Tue, 25 Jun 2019 02:17:30 +0000 (12:17 +1000)] 
getExecutablePath: get path from sysctl on FreeBSD

8 weeks agoFix Happy deps for Stack (#16825)
Sylvain Henry [Mon, 24 Jun 2019 16:36:07 +0000 (18:36 +0200)] 
Fix Happy deps for Stack (#16825)

8 weeks agoconfigure: prefer cc over gcc
Roland Zumkeller [Sun, 23 Jun 2019 17:15:16 +0000 (19:15 +0200)] 
configure: prefer cc over gcc

Fixes #16857.

8 weeks agoImprove doc for :type-at. (#14780)
Roland Senn [Sat, 22 Jun 2019 16:25:58 +0000 (18:25 +0200)] 
Improve doc for :type-at. (#14780)

8 weeks agorts: Do not traverse nursery for dead closures in LDV profile
Matthew Pickering [Thu, 6 Jun 2019 13:07:06 +0000 (14:07 +0100)] 
rts: Do not traverse nursery for dead closures in LDV profile

It is important that `heapCensus` and `LdvCensusForDead` traverse the
same areas.

`heapCensus` increases the `not_used` counter which tracks how many
closures are live but haven't been used yet.

`LdvCensusForDead` increases the `void_total` counter which tracks how
many dead closures there are.

The `LAG` is then calculated by substracting the `void_total` from
`not_used` and so it is essential that `not_used >= void_total`. This
fact is checked by quite a few assertions.

However, if a program has low maximum residency but allocates a lot in
the nursery then these assertions were failing (see #16753 and #15903)
because `LdvCensusForDead` was observing dead closures from the nursery
which totalled more than the `not_used`. The same closures were not
counted by `heapCensus`.

Therefore, it seems that the correct fix is to make `LdvCensusForDead`
agree with `heapCensus` and not traverse the nursery for dead closures.

Fixes #16100 #16753 #15903 #8982

8 weeks agorts: Correct assertion in LDV_recordDead
Matthew Pickering [Thu, 6 Jun 2019 13:05:43 +0000 (14:05 +0100)] 
rts: Correct assertion in LDV_recordDead

It is possible that void_total is exactly equal to not_used and the
other assertions for this check for <= rather than <.

8 weeks agorts: Correct handling of LARGE ARR_WORDS in LDV profiler
Matthew Pickering [Thu, 6 Jun 2019 13:03:50 +0000 (14:03 +0100)] 
rts: Correct handling of LARGE ARR_WORDS in LDV profiler

This implements the correct fix for #11627 by skipping over the slop
(which is zeroed) rather than adding special case logic for LARGE
ARR_WORDS which runs the risk of not performing a correct census by
ignoring any subsequent blocks.

This approach implements similar logic to that in Sanity.c

8 weeks agotestsuite: More type signatures wip/run-fragile-tests
Ben Gamari [Tue, 25 Jun 2019 22:19:42 +0000 (18:19 -0400)] 
testsuite: More type signatures

8 weeks agotestsuite: Run and report on fragile tests
Ben Gamari [Tue, 25 Jun 2019 22:16:32 +0000 (18:16 -0400)] 
testsuite: Run and report on fragile tests

This allows us to run (but ignore the result of) fragile testcases.
Hopefully this should allow us to more easily spot when a fragile test
becomes un-fragile.

8 weeks agotestsuite: Mark T5611 and T5611a as fragile
Ben Gamari [Tue, 25 Jun 2019 22:00:29 +0000 (18:00 -0400)] 
testsuite: Mark T5611 and T5611a as fragile

8 weeks agotestsuite: Add T5611a
Ben Gamari [Wed, 19 Jun 2019 16:17:10 +0000 (12:17 -0400)] 
testsuite: Add T5611a

This is the same as T5611 but with an unsafe call to sleep.

8 weeks agotestsuite: Use safe FFI call in T5611
Ben Gamari [Wed, 19 Jun 2019 15:58:42 +0000 (11:58 -0400)] 
testsuite: Use safe FFI call in T5611

The original issue, #5611, was concerned with safe calls. However, the
test inexplicably used an unsafe call. Fix this.

8 weeks ago[skip ci] add a blurb about the purpose of Printer.c
Siddharth Bhat [Tue, 25 Jun 2019 13:16:24 +0000 (15:16 +0200)] 
[skip ci] add a blurb about the purpose of Printer.c

8 weeks agotestsuite: Fix T16832
Ben Gamari [Wed, 26 Jun 2019 12:09:18 +0000 (08:09 -0400)] 
testsuite: Fix T16832

The test seems to have been missing the name of its script and didn't
build with HEAD. How it made it through CI is beyond me.

8 weeks agoAdd -Wmissing-safe-haskell-mode warning
Oleg Grenrus [Tue, 7 May 2019 09:02:15 +0000 (12:02 +0300)] 
Add -Wmissing-safe-haskell-mode warning

8 weeks agoAdd -Winferred-safe-imports warning
Oleg Grenrus [Mon, 6 May 2019 20:14:52 +0000 (23:14 +0300)] 
Add -Winferred-safe-imports warning

This commit partly reverts e69619e923e84ae61a6bb4357f06862264daa94b
commit by reintroducing Sf_SafeInferred SafeHaskellMode.

We preserve whether module was declared or inferred Safe.  When
declared-Safe module imports inferred-Safe, we warn.  This inferred
status is volatile, often enough it's a happy coincidence, something
which cannot be relied upon. However, explicitly Safe or Trustworthy
packages won't accidentally become Unsafe.

Updates haddock submodule.

8 weeks agoBump Cabal submodule to what will become
Ben Gamari [Tue, 25 Jun 2019 03:44:01 +0000 (23:44 -0400)] 
Bump Cabal submodule to what will become

Metric Increase:

8 weeks agoBump containers submodule to v0.6.2.1
Ben Gamari [Wed, 12 Jun 2019 15:53:57 +0000 (11:53 -0400)] 
Bump containers submodule to v0.6.2.1

8 weeks agoRemove unused UniqSupply functions
Ömer Sinan Ağacan [Tue, 25 Jun 2019 10:35:35 +0000 (13:35 +0300)] 
Remove unused UniqSupply functions

8 weeks agotestsuite: Unbreak T16608 tests
Ben Gamari [Tue, 25 Jun 2019 03:31:44 +0000 (23:31 -0400)] 
testsuite: Unbreak T16608 tests

Sleep to avoid non-determinism due to Darwin's poor mtime resolution.
Fixes #16855.

8 weeks agoDon't eta-expand unsaturated primops
Ben Gamari [Fri, 21 Jun 2019 16:42:53 +0000 (12:42 -0400)] 
Don't eta-expand unsaturated primops

Previously, as described in Note [Primop wrappers], `hasNoBinding` would
return False in the case of `PrimOpId`s. This would result in eta
expansion of unsaturated primop applications during CorePrep. Not only
did this expansion result in unnecessary allocations, but it also meant
lead to rather nasty inconsistencies between the CAFfy-ness
determinations made by TidyPgm and CorePrep.

This fixes #16846.

8 weeks agoCoreToStg: Enable CAFfyness checking with -dstg-lint
Ben Gamari [Fri, 21 Jun 2019 15:24:50 +0000 (11:24 -0400)] 
CoreToStg: Enable CAFfyness checking with -dstg-lint

The debugging involved in finding #16846 wouldn't have been necessary
had the consistentCafInfo check been enabled. However, :wq

8 weeks agotestsuite: Add test for #16846
Ben Gamari [Thu, 20 Jun 2019 17:40:13 +0000 (13:40 -0400)] 
testsuite: Add test for #16846

2 months ago[skip ci] Typo fix: b*ar*nches -> b*ra*nches
Siddharth Bhat [Tue, 25 Jun 2019 13:12:45 +0000 (15:12 +0200)] 
[skip ci] Typo fix: b*ar*nches -> b*ra*nches

2 months agotestsuite: Mark ghci058 as broken on Windows
Ben Gamari [Mon, 24 Jun 2019 22:31:50 +0000 (18:31 -0400)] 
testsuite: Mark ghci058 as broken on Windows

Due to #16858.

2 months agotestsuite: Fix expected output for caf_crash
Ben Gamari [Mon, 24 Jun 2019 17:29:50 +0000 (13:29 -0400)] 
testsuite: Fix expected output for caf_crash

2 months agotestsuite: Don't run T16525a with -DS unless compiler_debugged
Ben Gamari [Sun, 23 Jun 2019 15:23:15 +0000 (11:23 -0400)] 
testsuite: Don't run T16525a with -DS unless compiler_debugged

Originally I was thinking of just skipping the test unless
compiled_debugged==True. However, the test will likely be useful even
without -DS, so let's run it either way.

2 months agogitlab-ci: Add testsuite typechecking lint
Ben Gamari [Sun, 23 Jun 2019 14:28:31 +0000 (10:28 -0400)] 
gitlab-ci: Add testsuite typechecking lint

2 months agotestsuite: Fix a few issues in JUnit output
Ben Gamari [Sun, 23 Jun 2019 14:39:57 +0000 (10:39 -0400)] 
testsuite: Fix a few issues in JUnit output

 * Make it pass mypy
 * Fix a typo in test name field
 * Report more stderr output
 * Report stdout output

2 months agotestsuite: A major revamp of the driver
Ben Gamari [Wed, 19 Jun 2019 17:25:07 +0000 (13:25 -0400)] 
testsuite: A major revamp of the driver

This tries to put the testsuite driver into a slightly more maintainable

* Add type annotations where easily done
* Use pathlib.Path instead of str paths
* Make it pass the mypy typechecker

2 months agoSimplify link_caf and mkForeignLabel functions
Ömer Sinan Ağacan [Mon, 24 Jun 2019 11:24:58 +0000 (14:24 +0300)] 
Simplify link_caf and mkForeignLabel functions

2 months agoFix cyclic dependencies when using --configure
Andrey Mokhov [Sat, 22 Jun 2019 23:50:43 +0000 (00:50 +0100)] 
Fix cyclic dependencies when using --configure

This resolves #16809 (

This patch removes the unnecessary dependency on configure-generated
flags `windowsHost`, `osxHost` and `iosHost`, using the information
provided by the module `System.Info` instead.

We also take care to use the `CrossCompiling` flag generated by the
configure script only after the latter had a chance to run.

2 months agoAdd MonadFail instance for ParserM
Erik de Castro Lopo [Sat, 22 Jun 2019 03:50:14 +0000 (13:50 +1000)] 
Add MonadFail instance for ParserM

2 months agoFixes for LLVM 7
Erik de Castro Lopo [Sat, 22 Jun 2019 00:13:51 +0000 (10:13 +1000)] 
Fixes for LLVM 7

LLVM version numberinf changed recently. Previously, releases were numbered
4.0, 5.0 and 6.0 but with version 7, they dropped the redundant ".0".

Fix requires for Llvm detection and some code.

2 months agoRefactor UnliftedNewtypes-relation kind signature validity checks
Ryan Scott [Sun, 16 Jun 2019 00:21:34 +0000 (20:21 -0400)] 
Refactor UnliftedNewtypes-relation kind signature validity checks

This fixes three infelicities related to the programs that are
(and aren't) accepted with `UnliftedNewtypes`:

* Enabling `UnliftedNewtypes` would permit newtypes to have return
  kind `Id Type`, which had disastrous results (i.e., GHC panics).
* Data family declarations ending in kind `TYPE r` (for some `r`)
  weren't being accepted if `UnliftedNewtypes` wasn't enabled,
  despite the GHC proposal specifying otherwise.
* GHC wasn't warning about programs that _would_ typecheck if
  `UnliftedNewtypes` were enabled in certain common cases.

As part of fixing these issues, I factored out the logic for checking
all of the various properties about data type/data family return
kinds into a single `checkDataKindSig` function. I also cleaned up
some of the formatting in the existing error message that gets

Fixes #16821, fixes #16827, and fixes #16829.

2 months agoghci: Load static objects in batches
Ben Gamari [Fri, 14 Jun 2019 20:53:12 +0000 (16:53 -0400)] 
ghci: Load static objects in batches

Previously in the case where GHC was dynamically linked we would load
static objects one-by-one by linking each into its own shared object and
dlopen'ing each in order. However, this meant that the link would fail
in the event that the objects had cyclic symbol dependencies.

Here we fix this by merging each "run" of static objects into a single
shared object and loading this.

Fixes #13786 for the case where GHC is dynamically linked.

2 months agotestsuite: Test for #13786
Ben Gamari [Fri, 14 Jun 2019 21:38:04 +0000 (17:38 -0400)] 
testsuite: Test for #13786

2 months agotestsuite: Add caf_crash testcase
Ben Gamari [Tue, 18 Jun 2019 16:17:48 +0000 (12:17 -0400)] 
testsuite: Add caf_crash testcase

2 months agorts: Reset STATIC_LINK field of reverted CAFs
Ben Gamari [Tue, 18 Jun 2019 16:07:50 +0000 (12:07 -0400)] 
rts: Reset STATIC_LINK field of reverted CAFs

When we revert a CAF we must reset the STATIC_LINK field lest the GC
might ignore the CAF (e.g. as it carries the STATIC_FLAG_LIST flag) and
will consequently overlook references to object code that we are trying
to unload. This would result in the reachable object code being
unloaded. See Note [CAF lists] and Note [STATIC_LINK fields].

This fixes #16842.

Idea-due-to: Phuong Trinh <>

2 months agotestsuite: Mark T5611 as broken in ghci way
Ben Gamari [Wed, 19 Jun 2019 15:56:49 +0000 (11:56 -0400)] 
testsuite: Mark T5611 as broken in ghci way

As described in #16845.

2 months agotestsuite: Add test for #16563
Ben Gamari [Sun, 16 Jun 2019 21:13:15 +0000 (17:13 -0400)] 
testsuite: Add test for #16563

2 months agoghci: Don't rely on resolution of System.IO to base module
Ben Gamari [Sun, 16 Jun 2019 15:15:11 +0000 (11:15 -0400)] 
ghci: Don't rely on resolution of System.IO to base module

Previously we would hackily evaluate a textual code snippet to compute
actions to disable I/O buffering and flush the stdout/stderr handles.
This broke in a number of ways (#15336, #16563).

Instead we now ship a module (`GHC.GHCi.Helpers`) with `base` containing
the needed actions. We can then easily refer to these via `Orig` names.

2 months agotestsuite: Mark T16608_* as fragile on Darwin
Ben Gamari [Sat, 22 Jun 2019 13:36:53 +0000 (09:36 -0400)] 
testsuite: Mark T16608_* as fragile on Darwin

As noted in #16855.

2 months agolinker: Disable code unloading
Ben Gamari [Tue, 18 Jun 2019 18:55:45 +0000 (14:55 -0400)] 
linker: Disable code unloading

As noted in #16841, there are currently a variety of bugs in the
unloading logic. These only affect Windows since code unloading is
disabled on Linux, where we build with `GhcDynamic=YES` by default.

In the interest of getting the tree green on Windows disable code
unloading until the issues are resolved.

2 months agotestsuite: Mark T15633a and T15633b as fragile on Windows
Ben Gamari [Thu, 13 Jun 2019 14:14:03 +0000 (10:14 -0400)] 
testsuite: Mark T15633a and T15633b as fragile on Windows

As noted in #16813, these tests seem to be fragile on Windows.

2 months agotestsuite: Mark T7702 as broken on Windows
Ben Gamari [Tue, 11 Jun 2019 20:49:46 +0000 (16:49 -0400)] 
testsuite: Mark T7702 as broken on Windows

Due to #16799.

2 months agotestsuite: Mark T7170 as broken on Windows
Ben Gamari [Tue, 11 Jun 2019 20:47:54 +0000 (16:47 -0400)] 
testsuite: Mark T7170 as broken on Windows

Due to #16801.

2 months agotestsuite: Mark OldModLocation as broken on Windows
Ben Gamari [Fri, 7 Jun 2019 20:24:43 +0000 (16:24 -0400)] 
testsuite: Mark OldModLocation as broken on Windows

Strangely the path it emits contains duplicate path delimiters (#16772),
--- ghc-api/downsweep/ 2019-06-04 14:40:26.326075000 +0000
+++ ghc-api/downsweep/ 2019-06-04 14:40:26.328029200 +0000
@@ -1 +1 @@
-[Just "A.hs",Just "mydir/B.hs"]
+[Just "A.hs",Just "mydir//B.hs"]

2 months agotestsuite: Add stderr output for UnsafeInfered02 on Windows
Ben Gamari [Fri, 7 Jun 2019 20:16:27 +0000 (16:16 -0400)] 
testsuite: Add stderr output for UnsafeInfered02 on Windows

This test uses TemplateHaskell causing GHC to build dynamic objects on
platforms where dynamic linking is available. However, Windows doesn't support
dynamic linking. Consequently the test would fail on Windows with:

--- safeHaskell/safeInfered/ 2019-06-04 15:10:10.521594200 +0000
+++ safeHaskell/safeInfered/ 2019-06-04 15:10:10.523546200 +0000
@@ -1,5 +1,5 @@
-[1 of 2] Compiling UnsafeInfered02_A ( UnsafeInfered02_A.hs, UnsafeInfered02_A.o, UnsafeInfered02_A.dyn_o )
-[2 of 2] Compiling UnsafeInfered02  ( UnsafeInfered02.hs, UnsafeInfered02.o, UnsafeInfered02.dyn_o )
+[1 of 2] Compiling UnsafeInfered02_A ( UnsafeInfered02_A.hs, UnsafeInfered02_A.o )
+[2 of 2] Compiling UnsafeInfered02  ( UnsafeInfered02.hs, UnsafeInfered02.o )

     UnsafeInfered02_A: Can't be safely imported!

The other approach I considered for this issue is to pass `-v0` to GHC.
However, I felt we should probably do this consistently for all of the tests in
this directory and this would take more time than I currently have.

2 months agotestsuite: Mark T3372 as fragile on Windows
Ben Gamari [Fri, 7 Jun 2019 20:05:52 +0000 (16:05 -0400)] 
testsuite: Mark T3372 as fragile on Windows

On Windows we must lock package databases even when opening for
read-only access. This means that concurrent GHC sessions are very
likely to fail with file lock contention.

See #16773.

2 months agotestsuite: Skip dynamicToo006 when dynamic linking is not available
Ben Gamari [Fri, 7 Jun 2019 19:52:51 +0000 (15:52 -0400)] 
testsuite: Skip dynamicToo006 when dynamic linking is not available

This was previously failling on Windows.

2 months agoAdd HoleFitPlugins and RawHoleFits wip/D5373
Matthías Páll Gissurarson [Mon, 21 Jan 2019 00:44:15 +0000 (19:44 -0500)] 
Add HoleFitPlugins and RawHoleFits

This patch adds a new kind of plugin, Hole fit plugins. These plugins
can change what candidates are considered when looking for valid hole
fits, and add hole fits of their own. The type of a plugin is relatively

type FitPlugin = TypedHole -> [HoleFit] -> TcM [HoleFit]
type CandPlugin = TypedHole -> [HoleFitCandidate] -> TcM [HoleFitCandidate]
data HoleFitPlugin = HoleFitPlugin { candPlugin :: CandPlugin
                                   , fitPlugin :: FitPlugin }

data TypedHole = TyH { tyHRelevantCts :: Cts
                       -- ^ Any relevant Cts to the hole
                     , tyHImplics :: [Implication]
                       -- ^ The nested implications of the hole with the
                       --   innermost implication first.
                     , tyHCt :: Maybe Ct
                       -- ^ The hole constraint itself, if available.

This allows users and plugin writers to interact with the candidates and
fits as they wish, even going as far as to allow them to reimplement the
current functionality (since `TypedHole` contains all the relevant

As an example, consider the following plugin:

module HolePlugin where

import GhcPlugins

import TcHoleErrors

import Data.List (intersect, stripPrefix)
import RdrName (importSpecModule)

import TcRnTypes

import System.Process

plugin :: Plugin
plugin = defaultPlugin { holeFitPlugin = hfp, pluginRecompile = purePlugin }

hfp :: [CommandLineOption] -> Maybe HoleFitPluginR
hfp opts = Just (fromPureHFPlugin $ HoleFitPlugin (candP opts) (fp opts))

toFilter :: Maybe String -> Maybe String
toFilter = flip (>>=) (stripPrefix "_module_")

replace :: Eq a => a -> a -> [a] -> [a]
replace match repl str = replace' [] str
    replace' sofar (x:xs) | x == match = replace' (repl:sofar) xs
    replace' sofar (x:xs) = replace' (x:sofar) xs
    replace' sofar [] = reverse sofar

-- | This candidate plugin filters the candidates by module,
--   using the name of the hole as module to search in
candP :: [CommandLineOption] -> CandPlugin
candP _ hole cands =
  do let he = case tyHCt hole of
                Just (CHoleCan _ h) -> Just (occNameString $ holeOcc h)
                _ -> Nothing
     case toFilter he of
        Just undscModName -> do let replaced = replace '_' '.' undscModName
                                let res = filter (greNotInOpts [replaced]) cands
                                return $ res
        _ -> return cands
  where greNotInOpts opts (GreHFCand gre)  = not $ null $ intersect (inScopeVia gre) opts
        greNotInOpts _ _ = True
        inScopeVia = map (moduleNameString . importSpecModule) . gre_imp

-- Yes, it's pretty hacky, but it is just an example :)
searchHoogle :: String -> IO [String]
searchHoogle ty = lines <$> (readProcess "hoogle" [(show ty)] [])

fp :: [CommandLineOption] -> FitPlugin
fp ("hoogle":[]) hole hfs =
    do dflags <- getDynFlags
       let tyString = showSDoc dflags . ppr . ctPred <$> tyHCt hole
       res <- case tyString of
                Just ty -> liftIO $ searchHoogle ty
                _ -> return []
       return $ (take 2 $ map (RawHoleFit . text . ("Hoogle says: " ++)) res) ++ hfs
fp _ _ hfs = return hfs


with this plugin available, you can compile the following file

{-# OPTIONS -fplugin=HolePlugin -fplugin-opt=HolePlugin:hoogle #-}
module Main where

import Prelude hiding (head, last)

import Data.List (head, last)

t :: [Int] -> Int
t = _module_Prelude

g :: [Int] -> Int
g = _module_Data_List

main :: IO ()
main = print $ t [1,2,3]

and get the following output:

Main.hs:14:5: error:
    • Found hole: _module_Prelude :: [Int] -> Int
      Or perhaps ‘_module_Prelude’ is mis-spelled, or not in scope
    • In the expression: _module_Prelude
      In an equation for ‘t’: t = _module_Prelude
    • Relevant bindings include
        t :: [Int] -> Int (bound at Main.hs:14:1)
      Valid hole fits include
        Hoogle says: GHC.List length :: [a] -> Int
        Hoogle says: GHC.OldList length :: [a] -> Int
        t :: [Int] -> Int (bound at Main.hs:14:1)
        g :: [Int] -> Int (bound at Main.hs:17:1)
        length :: forall (t :: * -> *) a. Foldable t => t a -> Int
          with length @[] @Int
          (imported from ‘Prelude’ at Main.hs:5:1-34
           (and originally defined in ‘Data.Foldable’))
        maximum :: forall (t :: * -> *) a. (Foldable t, Ord a) => t a -> a
          with maximum @[] @Int
          (imported from ‘Prelude’ at Main.hs:5:1-34
           (and originally defined in ‘Data.Foldable’))
        (Some hole fits suppressed; use -fmax-valid-hole-fits=N or -fno-max-valid-hole-fits)
14 | t = _module_Prelude
   |     ^^^^^^^^^^^^^^^

Main.hs:17:5: error:
    • Found hole: _module_Data_List :: [Int] -> Int
      Or perhaps ‘_module_Data_List’ is mis-spelled, or not in scope
    • In the expression: _module_Data_List
      In an equation for ‘g’: g = _module_Data_List
    • Relevant bindings include
        g :: [Int] -> Int (bound at Main.hs:17:1)
      Valid hole fits include
        Hoogle says: GHC.List length :: [a] -> Int
        Hoogle says: GHC.OldList length :: [a] -> Int
        g :: [Int] -> Int (bound at Main.hs:17:1)
        head :: forall a. [a] -> a
          with head @Int
          (imported from ‘Data.List’ at Main.hs:7:19-22
           (and originally defined in ‘GHC.List’))
        last :: forall a. [a] -> a
          with last @Int
          (imported from ‘Data.List’ at Main.hs:7:25-28
           (and originally defined in ‘GHC.List’))
17 | g = _module_Data_List


This relatively simple plugin has two functions, as an example of what
is possible to do with hole fit plugins. The candidate plugin starts by
filtering the candidates considered by module, indicated by the name of
the hole (`_module_Data_List`). The second function is in the fit
plugin, where the plugin invokes a local hoogle instance to search by
the type of the hole.

By adding the `RawHoleFit` type, we can also allow these completely free
suggestions, used in the plugin above to display fits found by Hoogle.

Additionally, the `HoleFitPluginR` wrapper can be used for plugins to
maintain state between invocations, which can be used to speed up
invocation of plugins that have expensive initialization.

-- | HoleFitPluginR adds a TcRef to hole fit plugins so that plugins can
-- track internal state. Note the existential quantification, ensuring that
-- the state cannot be modified from outside the plugin.
data HoleFitPluginR = forall s. HoleFitPluginR
  { hfPluginInit :: TcM (TcRef s)
    -- ^ Initializes the TcRef to be passed to the plugin
  , hfPluginRun :: TcRef s -> HoleFitPlugin
    -- ^ The function defining the plugin itself
  , hfPluginStop :: TcRef s -> TcM ()
    -- ^ Cleanup of state, guaranteed to be called even on error

Of course, the syntax here is up for debate, but hole fit plugins allow
us to experiment relatively easily with ways to interact with
typed-holes without having to dig deep into GHC.

Reviewers: bgamari

Subscribers: rwbarton, carter

Differential Revision:

2 months agousers-guide: Update -Wsafe description for #16689
Ben Gamari [Tue, 18 Jun 2019 19:56:52 +0000 (15:56 -0400)] 
users-guide: Update -Wsafe description for #16689

We no longer emit a warning when a safe module is explicitly declared as

2 months agousers-guide: Fix a variety of broken links and syntax
Ben Gamari [Tue, 18 Jun 2019 19:56:33 +0000 (15:56 -0400)] 
users-guide: Fix a variety of broken links and syntax

2 months agoghc-pkg needs settings file to un-hardcode target platform
John Ericson [Fri, 31 May 2019 23:33:33 +0000 (19:33 -0400)] 
ghc-pkg needs settings file to un-hardcode target platform

This matches GHC itself getting the target platform from there.

2 months agoAdd 'stringEncodeArch' and 'stringEncodeOS' to GHC.Platform
John Ericson [Sat, 1 Jun 2019 19:54:56 +0000 (15:54 -0400)] 
Add 'stringEncodeArch' and 'stringEncodeOS' to GHC.Platform

2 months agoMove 'Platform' to ghc-boot
John Ericson [Fri, 31 May 2019 00:06:24 +0000 (20:06 -0400)] 
Move 'Platform' to ghc-boot

ghc-pkg needs to be aware of platforms so it can figure out which
subdire within the user package db to use. This is admittedly
roundabout, but maybe Cabal could use the same notion of a platform as
GHC to good affect too.

2 months agoComments and tiny refactor
Simon Peyton Jones [Fri, 7 Jun 2019 12:41:18 +0000 (13:41 +0100)] 
Comments and tiny refactor

* Added Note [Quantified varaibles in partial type signatures]
  in TcRnTypes

* Kill dVarSetElemsWellScoped; it was only called in
  one function, quantifyTyVars.  I inlined it because it
  was only scopedSort . dVarSetElems

* Kill Type.tyCoVarsOfBindersWellScoped, never called.

2 months agoFix typechecking of partial type signatures
Simon Peyton Jones [Wed, 5 Jun 2019 07:55:17 +0000 (08:55 +0100)] 
Fix typechecking of partial type signatures

Partial type sigs had grown hair.  tcHsParialSigType was
doing lots of unnecessary work, and tcInstSig was cloning it
unnecessarily -- and the result didn't even work: #16728.

This patch cleans it all up, described by TcHsType
  Note [Checking parital type signatures]

I basically just deleted code... but very carefully!

Some refactoring along the way

* Distinguish more explicintly between "anonymous" wildcards "_"
  and "named" wildcards "_a".  I changed the names of a number
  of functions to make this distinction much more apparent.

The patch also revealed that the code in `TcExpr`
that implements the special typing rule for `($)` was wrong.
It called `getRuntimeRep` in a situation where where was no
particular reason to suppose that the thing had kind `TYPE r`.

This caused a crash in typecheck/should_run/T10846.

The fix was easy, and actually simplifies the code in `TcExpr`
quite a bit.  Hooray.

2 months agoFix two places that failed the substitution invariant
Simon Peyton Jones [Wed, 5 Jun 2019 07:23:03 +0000 (08:23 +0100)] 
Fix two places that failed the substitution invariant

The substition invariant relies on keeping the in-scope
set in sync, and we weren't always doing so, which means that
a DEBUG compiler crashes sometimes with an assertion failure

This patch fixes a couple more cases.  Still not validate
clean (with -DEEBUG) but closer!

2 months agoFix #1620: ModBreaks.modBreaks_array not initialised
Roland Senn [Wed, 15 May 2019 18:55:16 +0000 (20:55 +0200)] 
Fix #1620: ModBreaks.modBreaks_array not initialised

After a :cd command and after setting some package flags,
GHCi unloads all loaded modules by resetting the list of targets.

This patch deletes eventually defined debugger breakpoints, before GHCi resets the target list.

The common code is factored out into the new function clearAllTargets.

2 months agoProperly trim IdInfos of DFunIds and PatSyns in TidyPgm
Ömer Sinan Ağacan [Fri, 3 May 2019 08:45:33 +0000 (11:45 +0300)] 
Properly trim IdInfos of DFunIds and PatSyns in TidyPgm

Not doing this right caused #16608. We now properly trim IdInfos of
DFunIds and PatSyns.

Some further refactoring done by SPJ.

Two regression tests T16608_1 and T16608_2 added.

Fixes #16608

2 months agoFix a Note name in CmmNode
Ömer Sinan Ağacan [Wed, 19 Jun 2019 11:59:43 +0000 (14:59 +0300)] 
Fix a Note name in CmmNode

("Continuation BlockIds" is referenced in CmmProcPoint)

[skip ci]

2 months agoMake sure mkSplitUniqSupply stores the precomputed mask only.
Andreas Klebinger [Mon, 17 Jun 2019 13:40:14 +0000 (15:40 +0200)] 
Make sure mkSplitUniqSupply stores the precomputed mask only.

mkSplitUniqSupply was lazy on the boxed char.

This caused a bunch of issues:
* The closure captured the boxed Char
* The mask was recomputed on every split of the supply.
* It also caused the allocation of MkSplitSupply to happen in it's own
(allocated) closure. The reason of which I did not further investigate.

We know force the computation of the mask inside mkSplitUniqSupply.
* This way the mask is computed at most once per UniqSupply creation.
* It allows ww to kick in, causing the closure to retain the unboxed

Requesting Uniques in a loop is now faster by about 20%.

I did not check the impact on the overall compiler, but I added a test
to avoid regressions.

2 months agogitlab-ci: Run alpine builds during nightly job
Ben Gamari [Mon, 17 Jun 2019 14:15:01 +0000 (10:15 -0400)] 
gitlab-ci: Run alpine builds during nightly job

2 months agotestsuite: Add test for #16832
Ben Gamari [Sun, 16 Jun 2019 13:59:17 +0000 (09:59 -0400)] 
testsuite: Add test for #16832

2 months agohadrian: Compile UserSettings with -O0
Ben Gamari [Fri, 14 Jun 2019 18:58:15 +0000 (14:58 -0400)] 
hadrian: Compile UserSettings with -O0

This guarantees that the interface file for `UserSettings` doesn't
contain any unfoldings, ensuring that a change in it requires minimal

2 months agoSafeHaskell: Don't throw -Wsafe warning if module is declared Safe
Ben Gamari [Fri, 14 Jun 2019 03:51:24 +0000 (23:51 -0400)] 
SafeHaskell: Don't throw -Wsafe warning if module is declared Safe

Fixes #16689.

2 months agotestsuite: Add testcase for #16689
Ben Gamari [Fri, 14 Jun 2019 03:47:31 +0000 (23:47 -0400)] 
testsuite: Add testcase for #16689

2 months agoAdd more newtype-derived instances to Data.Ord.Down
Fumiaki Kinoshita [Sun, 5 May 2019 04:26:36 +0000 (13:26 +0900)] 
Add more newtype-derived instances to Data.Ord.Down

Metric Increase:

2 months agoData.Ord: give a field name getDown to Down
Fumiaki Kinoshita [Sun, 5 May 2019 04:25:15 +0000 (13:25 +0900)] 
Data.Ord: give a field name getDown to Down

2 months agogitlab-ci: Run nofib on binary distributions wip/run-nofib
Ben Gamari [Thu, 21 Mar 2019 05:42:27 +0000 (01:42 -0400)] 
gitlab-ci: Run nofib on binary distributions

Updates docker images to ensure that the `time` utility is available.

2 months agoAdd link to in wip/gc/base wip/gc/factor-out-bitmap-walking wip/gc/printer-improvements wip/gc/unglobalize-gc-state
Siddharth Bhat [Sun, 16 Jun 2019 12:36:24 +0000 (14:36 +0200)] 
Add link to in

2 months agomake: Clean includes/settings file
Ben Gamari [Fri, 14 Jun 2019 21:23:20 +0000 (17:23 -0400)] 
make: Clean includes/settings file

Now since this is generated by the build system we should ensure that it
is properly cleaned.

[skip ci]

2 months agoUse TupleSections in CmmParse.y, simplify a few exprs
Ömer Sinan Ağacan [Sun, 16 Jun 2019 07:09:49 +0000 (10:09 +0300)] 
Use TupleSections in CmmParse.y, simplify a few exprs

2 months agogitlab-ci: Don't allow failure of deb9-dwarf job
Ben Gamari [Fri, 14 Jun 2019 02:53:37 +0000 (22:53 -0400)] 
gitlab-ci: Don't allow failure of deb9-dwarf job

This #16741 out of the way this should now pass.

2 months agotestsuite: Really fix #16741
Ben Gamari [Fri, 14 Jun 2019 02:51:53 +0000 (22:51 -0400)] 
testsuite: Really fix #16741

The previous fix, !1095, didn't work as `--show-iface` ignores
`-dsuppress-ticks`. Rework the test instead.

2 months agofix runghc's GHC detection logic to cover the "in-tree Hadrian build" scenario
Alp Mestanogullari [Fri, 14 Jun 2019 19:28:31 +0000 (21:28 +0200)] 
fix runghc's GHC detection logic to cover the "in-tree Hadrian build" scenario

Before this patch, runghc would only run the GHC detection logic on Windows and
assume that it was invoked through a wrapper script on all other platforms.
This patch lifts this limitation and makes that logic work for the scenario
where someone is calling the runghc executable directly, without passing an
explicit path to GHC.

2 months agogitlab-ci: Build alpine release bindists
Ben Gamari [Tue, 11 Jun 2019 01:00:57 +0000 (21:00 -0400)] 
gitlab-ci: Build alpine release bindists

2 months agotestsuite: Ensure that ffi005 output order is predictable
Ben Gamari [Tue, 11 Jun 2019 17:09:55 +0000 (13:09 -0400)] 
testsuite: Ensure that ffi005 output order is predictable

The libc output buffer wasn't being flushed, making the order

2 months agotestsuite: Flush conc059's printf buffer
Ben Gamari [Tue, 11 Jun 2019 17:04:05 +0000 (13:04 -0400)] 
testsuite: Flush conc059's printf buffer

Otherwise it the order out the Haskell and C output will be

2 months agotestsuite: Ensure T5423 flushes C output buffer
Ben Gamari [Tue, 11 Jun 2019 16:48:32 +0000 (12:48 -0400)] 
testsuite: Ensure T5423 flushes C output buffer

Previously T5423 would fail to flush the printf output buffer.
Consequently it was platform-dependent whether the C or Haskell print
output would be emitted first.

2 months agotestsuite: Fix T8602 on musl
Ben Gamari [Tue, 11 Jun 2019 16:45:24 +0000 (12:45 -0400)] 
testsuite: Fix T8602 on musl

Musl wants hash-bangs on all executables.

2 months agobase/Event/Poll: Drop POLLRDHUP enum item
Ben Gamari [Tue, 11 Jun 2019 04:51:53 +0000 (00:51 -0400)] 
base/Event/Poll: Drop POLLRDHUP enum item

Previously the Event enumeration produced by hsc2hs would sometimes
include a currently-unused POLLRDHUP item. This unused binding would
result in a build failure. Drop it.

2 months agoRemove dead code
Krzysztof Gogolewski [Wed, 26 Dec 2018 11:28:43 +0000 (12:28 +0100)] 
Remove dead code

2 months agoSynchronize ClsInst.doTyConApp with TcTypeable validity checks (#15862)
Ryan Scott [Fri, 14 Jun 2019 15:07:46 +0000 (11:07 -0400)] 
Synchronize ClsInst.doTyConApp with TcTypeable validity checks (#15862)

Issue #15862 demonstrated examples of type constructors on which
`TcTypeable.tyConIsTypeable` would return `False`, but the `Typeable`
constraint solver in `ClsInst` (in particular, `doTyConApp`) would
try to generate `Typeable` evidence for anyway, resulting in
disaster. This incongruity was caused by the fact that `doTyConApp`
was using a weaker validity check than `tyConIsTypeable` to determine
if a type constructor warrants `Typeable` evidence or not. The
solution, perhaps unsurprisingly, is to use `tyConIsTypeable` in
`doTyConApp` instead.

To avoid import cycles between `ClsInst` and `TcTypeable`, I factored
out `tyConIsTypeable` into its own module, `TcTypeableValidity`.

Fixes #15862.

2 months agotestsuite: Add assertions that way lists are in fact lists
Ben Gamari [Fri, 14 Jun 2019 00:21:03 +0000 (20:21 -0400)] 
testsuite: Add assertions that way lists are in fact lists

Previously there were a few cases where operations like `omit_ways`
were incorrectly passed a single way (e.g. `omit_ways('threaded2')`).
This won't work as the author expected.

2 months agoFix typo in error message
Aiken Cairncross [Fri, 14 Jun 2019 13:21:37 +0000 (14:21 +0100)] 
Fix typo in error message

2 months agotestsuite: Skip hDuplicateTo001 in concurrent ways
Ben Gamari [Fri, 14 Jun 2019 00:20:09 +0000 (20:20 -0400)] 
testsuite: Skip hDuplicateTo001 in concurrent ways

As noted in #16819, this operation is racy under concurrent execution.

2 months agotestsuite: Introduce concurrent_ways set
Ben Gamari [Fri, 14 Jun 2019 00:17:20 +0000 (20:17 -0400)] 
testsuite: Introduce concurrent_ways set

Previously we just tested for the threaded2 when determining whether to
skip tests which are fragile under concurrent execution. However, this
isn't the only way which is concurrent.

2 months agoDisable optimisation when building Cabal in development flavours
Ben Gamari [Thu, 13 Jun 2019 20:24:10 +0000 (16:24 -0400)] 
Disable optimisation when building Cabal in development flavours

This updates the make and Hadrian build flavours targetting developers
to disable optimisation when building the Cabal library. Cabal tends to
tickle some very bad compiler performance cases (e.g. #16577) so
disabling optimisation here makes a sizeable impact on overall build

See #16817.

2 months agoDisable optimisation when building Cabal lib for stage0
Ben Gamari [Thu, 13 Jun 2019 20:22:31 +0000 (16:22 -0400)] 
Disable optimisation when building Cabal lib for stage0

This disables optimisation when building Cabal for Hadrian and
stage0 `ghc-cabal`. Cabal is performance critical in neither case nor
will any performance difference here be visible to the end-user.

See #16817.

2 months agoBump unix submodule
Ben Gamari [Fri, 14 Jun 2019 20:04:13 +0000 (16:04 -0400)] 
Bump unix submodule

Skips `executeFile001` test in `threaded2` way. Fixes #16814.

2 months agoRemove duplicates from 'ghc --info' output
Alp Mestanogullari [Fri, 14 Jun 2019 09:57:38 +0000 (11:57 +0200)] 
Remove duplicates from 'ghc --info' output