5 months agoerr: clean up error handler
Tamar Christina [Mon, 31 Dec 2018 22:49:49 +0000 (22:49 +0000)] 
err: clean up error handler

5 months agogitlab-ci: Implement support for i386/Windows bindists
Ben Gamari [Tue, 5 Mar 2019 21:41:55 +0000 (16:41 -0500)] 
gitlab-ci: Implement support for i386/Windows bindists

6 months agogitlab-ci: Implement head.hackage jobs
Ben Gamari [Thu, 28 Feb 2019 04:33:12 +0000 (23:33 -0500)] 
gitlab-ci: Implement head.hackage jobs

6 months agogitlab-ci: Always build fedora27
Ben Gamari [Fri, 1 Mar 2019 15:39:22 +0000 (10:39 -0500)] 
gitlab-ci: Always build fedora27

This ends up being much easier to use than Debian 9 under NixOS.

6 months agoUpdate bug tracker link to point to gitlab instead of deprecated trac
Radosław Rowicki [Fri, 15 Mar 2019 22:20:42 +0000 (18:20 -0400)] 
Update bug tracker link to point to gitlab instead of deprecated trac

6 months agoExtract out use of UnboxedTuples from GHCi.Leak
Michael Sloan [Thu, 14 Mar 2019 23:12:09 +0000 (16:12 -0700)] 
Extract out use of UnboxedTuples from GHCi.Leak

See #13101 + #15454 for motivation.  This change reduces the number of
modules that need to be compiled to object code when loading GHC into

6 months agoghc-heap: Introduce closureSize
Ben Gamari [Wed, 13 Mar 2019 23:42:47 +0000 (19:42 -0400)] 
ghc-heap: Introduce closureSize

This function allows the user to compute the (non-transitive) size of a
heap object in words. The "closure" in the name is admittedly confusing
but we are stuck with this nomenclature at this point.

6 months agogitlab-ci: Generate source tarballs
Ben Gamari [Tue, 19 Feb 2019 15:00:02 +0000 (10:00 -0500)] 
gitlab-ci: Generate source tarballs

6 months agogitlab-ci: Generate documentation tarball
Ben Gamari [Wed, 6 Mar 2019 11:47:28 +0000 (06:47 -0500)] 
gitlab-ci: Generate documentation tarball

6 months agogitlab-ci: Explicitly set bindist tarball name
Ben Gamari [Wed, 6 Mar 2019 11:46:57 +0000 (06:46 -0500)] 
gitlab-ci: Explicitly set bindist tarball name

6 months agocompiler: Disable atomic renaming on Windows
Ben Gamari [Sat, 16 Mar 2019 12:57:43 +0000 (08:57 -0400)] 
compiler: Disable atomic renaming on Windows

As discussed in #16450, this feature regresses CI on Windows, causing
non-deterministic failures due to missing files.

6 months agoAdd location to the extra-constraints wildcard
Simon Peyton Jones [Wed, 13 Mar 2019 13:09:19 +0000 (13:09 +0000)] 
Add location to the extra-constraints wildcard

The extra-constraints wildcard had lost its location
(issue #16431).

Happily this is easy to fix.  Lots of error improvements.

6 months agoImprove error recovery in the typechecker
Simon Peyton Jones [Wed, 13 Mar 2019 11:15:20 +0000 (11:15 +0000)] 
Improve error recovery in the typechecker

Issue #16418 showed that we were carrying on too eagerly after a bogus
type signature was identified (a bad telescope in fact), leading to a
subsequent crash.

This led me in to a maze of twisty little passages in the typechecker's
error recovery, and I ended up doing some refactoring in TcRnMonad.
Some specfifics

* TcRnMonad.try_m is now called attemptM.

* I switched the order of the result pair in tryTc,
  to make it consistent with other similar functions.

* The actual exception used in the Tc monad is irrelevant so,
  to avoid polluting type signatures, I made tcTryM, a simple
  wrapper around tryM, and used it.

The more important changes are in

* TcSimplify.captureTopConstraints, where we should have been calling
  simplifyTop rather than reportUnsolved, so that levity defaulting
  takes place properly.

* TcUnify.emitResidualTvConstraint, where we need to set the correct
  status for a new implication constraint.  (Previously we ended up
  with an Insoluble constraint wrapped in an Unsolved implication,
  which meant that insolubleWC gave the wrong answer.

6 months agoAdd flavours link
Simon Peyton Jones [Thu, 14 Mar 2019 12:05:28 +0000 (08:05 -0400)] 
Add flavours link

6 months agoPPC NCG: Use liveness information in CmmCall
Peter Trommler [Tue, 11 Dec 2018 15:43:49 +0000 (16:43 +0100)] 
PPC NCG: Use liveness information in CmmCall

We make liveness information for global registers
available on `JMP` and `BCTR`, which were the last instructions
missing. With complete liveness information we do not need to
reserve global registers in `freeReg` anymore. Moreover we
assign R9 and R10 to callee saves registers.

Cleanup by removing `Reg_Su`, which was unused, from `freeReg`
and removing unused register definitions.

The calculation of the number of floating point registers is too
conservative. Just follow X86 and specify the constants directly.

Overall on PowerPC this results in 0.3 % smaller code size in nofib
while runtime is slightly better in some tests.

6 months agoReport better suggestion for GADT data constructor
Simon Peyton Jones [Wed, 13 Mar 2019 13:27:22 +0000 (13:27 +0000)] 
Report better suggestion for GADT data constructor

This addresses issue #16427. An easy fix.

6 months agoUpdate Trac ticket URLs to point to GitLab
Ryan Scott [Tue, 12 Mar 2019 22:15:38 +0000 (18:15 -0400)] 
Update Trac ticket URLs to point to GitLab

This moves all URL references to Trac tickets to their corresponding
GitLab counterparts.

6 months agoGit ignore .hadrian_ghci (generated by the ./hadrian/
David Eichmann [Tue, 12 Mar 2019 17:13:12 +0000 (17:13 +0000)] 
Git ignore .hadrian_ghci (generated by the ./hadrian/

[skip ci]

6 months agoHadrian: remove unneeded rpaths.
David Eichmann [Tue, 12 Mar 2019 17:06:04 +0000 (17:06 +0000)] 
Hadrian: remove unneeded rpaths.

Issue #12770

6 months agoHadrian: remove unneeded imports.
David Eichmann [Tue, 12 Mar 2019 12:00:18 +0000 (12:00 +0000)] 
Hadrian: remove unneeded imports.

6 months agoRemove the GHCi debugger's panicking isUnliftedType check
Ryan Scott [Tue, 12 Mar 2019 14:06:38 +0000 (10:06 -0400)] 
Remove the GHCi debugger's panicking isUnliftedType check

The GHCi debugger has never been that robust in the face of
higher-rank types, or even types that are _interally_ higher-rank,
such as the types of many class methods (e.g., `fmap`). In GHC 8.2,
however, things became even worse, as the debugger would start to
_panic_ when a user tries passing the name of a higher-rank thing
to `:print`. This all ties back to a strange `isUnliftedType` check
in `Debugger` that was mysteriously added 11 years ago
(in commit 4d71f5ee6dbbfedb4a55767e4375f4c0aadf70bb) with no
explanation whatsoever.

After some experimentation, no one is quite sure what this
`isUnliftedType` check is actually accomplishing. The test suite
still passes if it's removed, and I am unable to observe any
differences in debugger before even with data types that _do_ have
fields of unlifted types (e.g., `data T = MkT Int#`). Given that
this is actively causing problems (see #14828), the prudent thing
to do seems to be just removing this `isUnliftedType` check, and
waiting to see if anyone shouts about it. This patch accomplishes
just that.

Note that this patch fix the underlying issues behind #14828, as the
debugger will still print unhelpful info if you try this:

λ> f :: (forall a. a -> a) -> b -> b; f g x = g x
λ> :print f
f = (_t1::t1)

But fixing this will require much more work, so let's start with the
simple stuff for now.

6 months agotestsuite: Add testcase for #16394
Ben Gamari [Wed, 6 Mar 2019 01:33:51 +0000 (20:33 -0500)] 
testsuite: Add testcase for #16394

6 months agoFix #16411 by making dataConCannotMatch aware of (~~)
Ryan Scott [Sat, 9 Mar 2019 00:02:44 +0000 (19:02 -0500)] 
Fix #16411 by making dataConCannotMatch aware of (~~)

The `dataConCannotMatch` function (which powers the
`-Wpartial-fields` warning, among other things) had special reasoning
for explicit equality constraints of the form `a ~ b`, but it did
not extend that reasoning to `a ~~ b` constraints, leading to #16411.
Easily fixed.

6 months agoHadrian: build (and retrieve) binary distributions in CI
Alp Mestanogullari [Tue, 5 Mar 2019 18:01:54 +0000 (19:01 +0100)] 
Hadrian: build (and retrieve) binary distributions in CI

With all the recent fixes to the binary-dist rule in Hadrian, we can now run
that rule in CI and keep the bindists around in gitlab as artifacts, just like
we do for the make CI jobs.

To get 'autoreconf' to work in the Windows CI, we have to run it through the
shell interpreter, so this commit does that along the way.

6 months agotestsuite: Mark heapprof001 as fragile on all platforms
Ben Gamari [Sat, 2 Mar 2019 03:57:55 +0000 (22:57 -0500)] 
testsuite: Mark heapprof001 as fragile on all platforms

See #15382.

6 months agoRevert: Update ci-images commit
Matthew Pickering [Tue, 12 Mar 2019 13:44:45 +0000 (09:44 -0400)] 
Revert: Update ci-images commit

6 months agoCI: Update ci-images commit
Matthew Pickering [Tue, 12 Mar 2019 13:42:53 +0000 (09:42 -0400)] 
CI: Update ci-images commit

6 months agoAdd regression test for #16347
Ryan Scott [Mon, 11 Mar 2019 13:21:12 +0000 (09:21 -0400)] 
Add regression test for #16347

Commit 1f5cc9dc8aeeafa439d6d12c3c4565ada524b926 ended up
fixing #16347. Let's add a regression test to ensure that it stays

6 months agoRemove duplicate functions in StgCmmUtils, use functions from CgUtils
Ömer Sinan Ağacan [Mon, 11 Mar 2019 11:44:28 +0000 (14:44 +0300)] 
Remove duplicate functions in StgCmmUtils, use functions from CgUtils

Also remove unused arg from get_Regtable_addr_from_offset

6 months agoUse transSuperClasses in TcErrors
Simon Peyton Jones [Mon, 11 Mar 2019 10:02:31 +0000 (10:02 +0000)] 
Use transSuperClasses in TcErrors

Code in TcErrors was recursively using immSuperClasses,
which loops in the presence of UndecidableSuperClasses.

Better to use transSuperClasses instead, which has a loop-breaker
mechanism built in.

Fixes issue #16414.

6 months agoRemove trailing whitespace
Matthew Pickering [Sun, 10 Mar 2019 17:56:07 +0000 (17:56 +0000)] 
Remove trailing whitespace

6 months agoCI: Add ghc-in-ghci build job
Matthew Pickering [Sun, 10 Mar 2019 17:54:59 +0000 (17:54 +0000)] 
CI: Add ghc-in-ghci build job

This is a separate build job to the other hadrian jobs as it only takes
about 2-3 minutes to run from cold. The CI tests that the
`./hadrian/ghci` script loads `ghc/Main.hs` successfully.

6 months agoRemove training whitespace
Matthew Pickering [Sun, 10 Mar 2019 17:46:00 +0000 (17:46 +0000)] 
Remove training whitespace

6 months agoHadrian: Add ./hadrian/ script for fast development feedback
Matthew Pickering [Sun, 10 Mar 2019 17:43:10 +0000 (17:43 +0000)] 
Hadrian: Add ./hadrian/ script for fast development feedback

Running the `./hadrian/ghci` target will load the main compiler into
a ghci session. This is intended for fast development feedback, modules are only
typechecked so it isn't possible to run any functions in the repl.

You can also use this target with `ghcid`.

The first time this command is run hadrian will need to compile a few dependencies
which will take 1-2 minutes. Loading GHC into GHCi itself takes about 30 seconds.

Internally this works by calling a new hadrian target called `tool-args`.
This target prints out the package and include flags which are necessary
to load files into ghci. The same target is intended to be used by other
tooling which uses the GHC API in order to set up the correct GHC API
session. For example, using this target it is also possible to use HIE
when developing on GHC.

6 months agoHadrian: Fix rpath so shared objects work after being copied
Matthew Pickering [Sun, 10 Mar 2019 17:37:48 +0000 (17:37 +0000)] 
Hadrian: Fix rpath so shared objects work after being copied

After being copied all the shared objects end up in the same directory.
Therefore the correct rpath is `$ORIGIN` rather than the computed
path which is relative to the directory where it is built.

6 months agoHadrian: Make makeRelativeNoSysLink total
Matthew Pickering [Sun, 10 Mar 2019 17:36:32 +0000 (17:36 +0000)] 
Hadrian: Make makeRelativeNoSysLink total

makeRelativeNoSysLink would previously crash for no reason if the first
argument as `./` due to the call to `head`. This refactoring keeps the
behaviour the same but doesn't crash in this corner case.

6 months agoHadrian: Make libsuf and distDir stage aware
Matthew Pickering [Sun, 10 Mar 2019 17:34:42 +0000 (17:34 +0000)] 
Hadrian: Make libsuf and distDir stage aware

The version suffix needs to be the version of the stage 0 compiler
when building shared libraries with the stage 0 compiler.

6 months agoHadrian: Allow passing CABFLAGS into
Matthew Pickering [Sun, 10 Mar 2019 17:32:47 +0000 (17:32 +0000)] 
Hadrian: Allow passing CABFLAGS into

Setting `CABFLAGS=args` will pass the additional arguments to cabal
when it is invoked.

6 months agoAdd a test for Trac #13951
Krzysztof Gogolewski [Thu, 7 Mar 2019 18:08:59 +0000 (19:08 +0100)] 
Add a test for Trac #13951

It no longer gives a warning.

6 months agoChange the warning in substTy back to an assertion
Krzysztof Gogolewski [Thu, 7 Mar 2019 16:19:45 +0000 (17:19 +0100)] 
Change the warning in substTy back to an assertion

We'd like to enforce the substitution invariant (Trac #11371).
In a492af06d326453 the assertion was downgraded to a warning;
I'm restoring the assertion and making the calls that
don't maintain the invariant as unchecked.

6 months agoIgnore more version numbers in the testsuite
Alec Theriault [Mon, 4 Mar 2019 16:45:54 +0000 (08:45 -0800)] 
Ignore more version numbers in the testsuite

Prevents some tests from failing just due to mismatched version numbers.

These version numbers shouldn't cause tests to fail, especially since
we *expect* them to be regularly incremented. The motivation for this
particular set of changes came from the changes that came along with
the `base` version bump in 8f19ecc95fbaf2cc977531d721085d8441dc09b7.

6 months agoDrop utils/count_lines
Ben Gamari [Fri, 8 Mar 2019 15:29:42 +0000 (10:29 -0500)] 
Drop utils/count_lines

This doesn't appear to be used anywhere in the build system and it
relies on perl. Drop it.

6 months agoRip out perl dependency
Ben Gamari [Fri, 8 Mar 2019 15:24:17 +0000 (10:24 -0500)] 
Rip out perl dependency

The object splitter was the last major user of perl. There remain a few
uses in nofib but we can just rely on the system's perl for this since
it's not critical to the build.

6 months agoNCG: correctly escape path strings on Windows (#16389)
Sylvain Henry [Fri, 8 Mar 2019 11:53:43 +0000 (12:53 +0100)] 
NCG: correctly escape path strings on Windows (#16389)

GHC native code generator generates .incbin and .file directives. We
need to escape those strings correctly on Windows (see #16389).

6 months agoMake bkpcabal01 test compatible with new ordering requirements.
Edward Z. Yang [Fri, 8 Mar 2019 04:47:07 +0000 (23:47 -0500)] 
Make bkpcabal01 test compatible with new ordering requirements.

Previously, our test did something like this:

1. Typecheck p
2. Typecheck q (which made use of an instantiated p)
3. Build instantiated p
4. Build instantiated q

Cabal previously permitted this, under the reasoning that during
typechecking there's no harm in using the instantiated p even if we
haven't build it yet; we'll just instantiate it on the fly with p.

However, this is not true!  If q makes use of a Template Haskell
splice from p, we absolutely must have built the instantiated p
before we typecheck q, since this typechecking will need to
run some splices.  Cabal now complains that you haven't done
it correctly, which we indeed have not!

Reordering so that we do this:

1. Typecheck p
3. Build instantiated p
2. Typecheck q (which made use of an instantiated p)
4. Build instantiated q

Fixes the problem.  If Cabal had managed the ordering itself, it would
have gotten it right.

Signed-off-by: Edward Z. Yang <>
6 months agorts: Factor out large bitmap walking
Ben Gamari [Tue, 5 Feb 2019 15:59:32 +0000 (10:59 -0500)] 
rts: Factor out large bitmap walking

This will be needed by the mark phase of the non-moving collector
so let's factor it out.

6 months agocompiler: Refactor: extract `withAtomicRename`
Niklas Hambüchen [Sun, 17 Feb 2019 20:09:29 +0000 (21:09 +0100)] 
compiler: Refactor: extract `withAtomicRename`

6 months agocompiler: Write .o files atomically. See #14533
Niklas Hambüchen [Sun, 17 Feb 2019 19:48:45 +0000 (20:48 +0100)] 
compiler: Write .o files atomically. See #14533

This issue was reproduced with, and the fix confirmed with,
the `hatrace` tool for syscall-based fault injection:

The concrete test case for GHC is at

A previous, nondeterministic reproducer for the issue was provided by
Alexey Kuleshevich in

Signed-off-by: Niklas Hambüchen <>
Reviewed-by: Alexey Kuleshevich <>
6 months agoStop inferring over-polymorphic kinds
Simon Peyton Jones [Thu, 21 Feb 2019 15:27:17 +0000 (15:27 +0000)] 
Stop inferring over-polymorphic kinds

Before this patch GHC was trying to be too clever
(Trac #16344); it succeeded in kind-checking this
polymorphic-recursive declaration

    data T ka (a::ka) b
      = MkT (T Type           Int   Bool)
            (T (Type -> Type) Maybe Bool)

As Note [No polymorphic recursion] discusses, the "solution" was
horribly fragile.  So this patch deletes the key lines in
TcHsType, and a wodge of supporting stuff in the renamer.

There were two regressions, both the same: a closed type family
decl like this (T12785b) does not have a CUSK:
  type family Payload (n :: Peano) (s :: HTree n x) where
    Payload Z (Point a) = a
    Payload (S n) (a `Branch` stru) = a

To kind-check the equations we need a dependent kind for
Payload, and we don't get that any more.  Solution: make it
a CUSK by giving the result kind -- probably a good thing anyway.

The other case (T12442) was very similar: a close type family
declaration without a CUSK.

6 months agoFix #13839: GHCi warnings do not respect the default module header
Roland Senn [Sat, 2 Mar 2019 15:53:06 +0000 (16:53 +0100)] 
Fix #13839: GHCi warnings do not respect the default module header

6 months agoTH: support raw bytes literals (#14741)
Sylvain Henry [Fri, 18 Jan 2019 11:30:31 +0000 (12:30 +0100)] 
TH: support raw bytes literals (#14741)

GHC represents String literals as ByteString internally for efficiency
reasons. However, until now it wasn't possible to efficiently create
large string literals with TH (e.g. to embed a file in a binary, cf #14741):
TH code had to unpack the bytes into a [Word8] that GHC then had to re-pack
into a ByteString.

This patch adds the possibility to efficiently create a "string" literal
from raw bytes. We get the following compile times for different sizes
of TH created literals:

|| Size || Before || After  || Gain ||
|| 30K  || 2.307s || 2.299  || 0%   ||
|| 3M   || 3.073s || 2.400s || 21%  ||
|| 30M  || 8.517s || 3.390s || 60%  ||

Ticket #14741 can be fixed if the original code uses this new TH feature.

6 months agoUse captureTopConstraints in TcRnDriver calls
Simon Peyton Jones [Thu, 7 Mar 2019 09:09:13 +0000 (09:09 +0000)] 
Use captureTopConstraints in TcRnDriver calls

Trac #16376 showed the danger of failing to report an error
that exists only in the unsolved constraints, if an exception
is raised (via failM).

Well, the commit 5c1f268e (Fail fast in solveLocalEqualities)
did just that -- i.e. it found errors in the constraints, and
called failM to avoid a misleading cascade.

So we need to be sure to call captureTopConstraints to report
those insolubles.  This was wrong in TcRnDriver.tcRnExpr and
in TcRnDriver.tcRnType.

As a result the error messages from test T13466 improved slightly,
a happy outcome.

6 months agoTestsuite: use 'fragile' instead of 'skip' for T3424, T14697
Vladislav Zavialov [Thu, 7 Mar 2019 07:33:41 +0000 (10:33 +0300)] 
Testsuite: use 'fragile' instead of 'skip' for T3424, T14697

Also, replace some tabs with spaces to avoid a "mixed indent" warning that vim
gives me.

6 months agoHadrian: Drop remaining symlink traversal code from build scripts
Andrey Mokhov [Wed, 6 Mar 2019 13:42:27 +0000 (13:42 +0000)] 
Hadrian: Drop remaining symlink traversal code from build scripts

This partly resolves #16325 (

As previously discussed in,
we do not need the symlink traversal code in build scripts. However, it
appears we forgot to delete this code from our Stack-based build scripts,
which led to placing all build artefacts in an unexpected location when
using Hadrian in combination with symlink trees. This commit fixes this.

6 months agoHadrian: various improvements around the 'test' rule
Alp Mestanogullari [Tue, 5 Mar 2019 12:22:46 +0000 (13:22 +0100)] 
Hadrian: various improvements around the 'test' rule

- introduce a -k/--keep-test-files flag to prevent cleanup
- add -dstg-lint to the options that are always passed to tests
- infer library ways from the compiler to be tested instead of getting them
  from the flavour (like make)
- likewise for figuring out whether the compiler to be tested is "debugged"
- specify config.exeext
- correctly specify config.in_tree_compiler, instead of always passing True
- fix formatting of how we pass a few test options
- add (potential) extensions to check-* program names
- build check-* programs with the compiler to be tested
- set TEST_HC_OPTS_INTERACTIVE and PYTHON env vars when running tests

6 months agoAlways do the worker/wrapper split for NOINLINEs
Sebastian Graf [Tue, 19 Feb 2019 12:52:11 +0000 (13:52 +0100)] 
Always do the worker/wrapper split for NOINLINEs

Trac #10069 revealed that small NOINLINE functions didn't get split
into worker and wrapper. This was due to `certainlyWillInline`
saying that any unfoldings with a guidance of `UnfWhen` inline
unconditionally. That isn't the case for NOINLINE functions, so we
catch this case earlier now.

Nofib results:

        Program         Allocs    Instrs
 fannkuch-redux          -0.3%      0.0%
             gg          +0.0%     +0.1%
       maillist          -0.2%     -0.2%
        minimax           0.0%     -0.8%
            Min          -0.3%     -0.8%
            Max          +0.0%     +0.1%
 Geometric Mean          -0.0%     -0.0%

Fixes #10069.

Metric Increase:

6 months agoFix #16391 by using occCheckExpand in TcValidity
Ryan Scott [Wed, 6 Mar 2019 19:42:02 +0000 (14:42 -0500)] 
Fix #16391 by using occCheckExpand in TcValidity

The type-variables-escaping-their-scope-via-kinds check in
`TcValidity` was failing to properly expand type synonyms, which led
to #16391. This is easily fixed by using `occCheckExpand` before
performing the validity check.

Along the way, I refactored this check out into its own function,
and sprinkled references to Notes to better explain all of the moving
parts. Many thanks to @simonpj for the suggestions.

Bumps the haddock submodule.

6 months agoFix #16392: revertCAFs in external interpreter when necessary
Phuong Trinh [Tue, 5 Mar 2019 15:48:46 +0000 (15:48 +0000)] 
Fix #16392: revertCAFs in external interpreter when necessary

We revert CAFs when loading/adding modules in ghci (presumably to refresh
execution states and to allow for object code to be unloaded from the runtime).
However, with `-fexternal-interpreter` enabled, we are only doing it in the
ghci process instead of the external interpreter process where the cafs are
allocated and computed. This makes sure that revertCAFs is done in the
appropriate process no matter if that flag is present or not.

6 months agoTest Trac #16263
Simon Peyton Jones [Wed, 6 Mar 2019 10:17:12 +0000 (10:17 +0000)] 
Test Trac #16263

6 months agoAdd tests for Trac #16221 and #16342
Simon Peyton Jones [Wed, 6 Mar 2019 09:54:06 +0000 (09:54 +0000)] 
Add tests for Trac #16221 and #16342

6 months agogitlab-ci: Don't allow i386-deb9 to fail
Ben Gamari [Tue, 26 Feb 2019 15:14:15 +0000 (10:14 -0500)] 
gitlab-ci: Don't allow i386-deb9 to fail

Also account for testsuite metric drift.

Metric Increase:

6 months agotestsuite: Use fragile modifier for more tests
Ben Gamari [Tue, 26 Feb 2019 15:24:31 +0000 (10:24 -0500)] 
testsuite: Use fragile modifier for more tests

6 months agotestsuite: Mark heapprof001 as fragile on i386
Ben Gamari [Tue, 26 Feb 2019 15:14:02 +0000 (10:14 -0500)] 
testsuite: Mark heapprof001 as fragile on i386

6 months agotestsuite: Introduce fragile modifier
Ben Gamari [Tue, 26 Feb 2019 15:13:44 +0000 (10:13 -0500)] 
testsuite: Introduce fragile modifier

Now since we have been a bit more stringent in testsuite cleanliness we
have been marking a lot of tests as fragile using the `skip` modifier.
However, this unfortunately means that we lose the association with the
ticket number documenting the fragility.

Here we introduce `fragile` and `fragile_for` to retain this

6 months agoMove reifyGHCi function into GhciMonad type class
Zejun Wu [Tue, 22 Jan 2019 00:28:01 +0000 (16:28 -0800)] 
Move reifyGHCi function into GhciMonad type class

This was the suggested change in !176 but missed the batch merge (!263).

6 months agoFix #16385 by appending _maybe to a use of lookupGlobalOcc
Ryan Scott [Mon, 4 Mar 2019 14:52:14 +0000 (09:52 -0500)] 
Fix #16385 by appending _maybe to a use of lookupGlobalOcc

`instance forall c. c` claimed that `c` was out of scope because the
renamer was invoking `lookupGlobalOcc` on `c` (in
`RnNames.getLocalNonValBinders`) without binding `c` first. To avoid
this, this patch changes GHC to invoke `lookupGlobalOcc_maybe` on `c`
instead, and if that returns `Nothing`, then bail out, resulting
in a better error message.

6 months agoFix it
Ben Gamari [Tue, 5 Mar 2019 05:07:06 +0000 (00:07 -0500)] 
Fix it

6 months agorts: Unglobalize dead_weak_ptr_list and resurrected_threads
Ömer Sinan Ağacan [Tue, 5 Feb 2019 17:45:17 +0000 (12:45 -0500)] 
rts: Unglobalize dead_weak_ptr_list and resurrected_threads

In the concurrent nonmoving collector we will need the ability to call
`traverseWeakPtrList` concurrently with minor generation collections.
This global state stands in the way of this. However, refactoring it
away is straightforward since this list only persists the length of a
single GC.

6 months agoHandle absolute paths to build roots in Hadrian.
P.C. Shyamshankar [Thu, 24 Jan 2019 18:07:34 +0000 (13:07 -0500)] 
Handle absolute paths to build roots in Hadrian.

Fixes #16187.

This patch fixes various path concatenation issues to allow functioning
builds with hadrian when the build root location is specified with an
absolute path.


- The path concatenation operator (-/-) now handles absolute second operands
  appropriately. Its behavior should match that of POSIX (</>) in this

- The `getDirectoryFiles*` family of functions only searches for matches
  under the directory tree rooted by its first argument; all of the
  results are also relative to this root. If the first argument is the
  empty string, the current working directory is used.

  This patch passes the appropriate directory (almost always either `top`
  or `root`), and subsequently attaches that directory prefix so that
  the paths refer to the appropriate files.

- Windows `tar` does not like colons (':') in paths to archive files, it
  tries to resolve them as remote paths. The `--force-local` option
  remedies this, and is applied on windows builds.

6 months agoAdd regression test for #15918
Ryan Scott [Tue, 5 Mar 2019 10:58:29 +0000 (05:58 -0500)] 
Add regression test for #15918

The test case in #15918 no longer triggers an `ASSERT` failure on
GHC HEAD, likely due to commit
682783828275cca5fd8bf5be5b52054c75e0e22c (`Make a smart mkAppTyM`).
This patch adds a regression test for #15918 to finally put it to

6 months agorts/Printer: Print forwarding pointers
Ömer Sinan Ağacan [Tue, 5 Feb 2019 05:39:03 +0000 (00:39 -0500)] 
rts/Printer: Print forwarding pointers

6 months agorts/Printer: Introduce a few more printing utilities
Ömer Sinan Ağacan [Tue, 5 Feb 2019 05:37:57 +0000 (00:37 -0500)] 
rts/Printer: Introduce a few more printing utilities

These include printLargeAndPinnedObjects, printWeakLists, and
printStaticObjects. These are generally useful things to have.

6 months agoRip out object splitting
Ben Gamari [Mon, 26 Nov 2018 22:21:12 +0000 (17:21 -0500)] 
Rip out object splitting

The splitter is an evil Perl script that processes assembler code.
Its job can be done better by the linker's --gc-sections flag. GHC
passes this flag to the linker whenever -split-sections is passed on
the command line.

This is based on @DemiMarie's D2768.

Fixes Trac #11315
Fixes Trac #9832
Fixes Trac #8964
Fixes Trac #8685
Fixes Trac #8629

6 months agoFix map/coerce rule for newtypes with wrappers
Krzysztof Gogolewski [Tue, 26 Feb 2019 16:22:28 +0000 (17:22 +0100)] 
Fix map/coerce rule for newtypes with wrappers

This addresses Trac #16208 by marking newtype wrapper
unfoldings as compulsory.

Furthermore, we can remove the special case for newtypes
in exprIsConApp_maybe (introduced in 7833cf407d1f).

6 months agoTest Runner: don't show missing baseline warning for performance tests with expected...
David Eichmann [Mon, 25 Feb 2019 16:21:33 +0000 (16:21 +0000)] 
Test Runner: don't show missing baseline warning for performance tests with expected changes on the current commit.

Trac #16359

6 months agoBe more careful when naming TyCon binders
Simon Peyton Jones [Mon, 25 Feb 2019 08:31:33 +0000 (08:31 +0000)] 
Be more careful when naming TyCon binders

This patch fixes two rather gnarly test cases:
  * Trac #16342 (mutual recursion)
    See Note [Tricky scoping in generaliseTcTyCon]

  * Trac #16221 (shadowing)
    See Note [Unification variables need fresh Names]

The main changes are:

* Substantial reworking of TcTyClsDecls.generaliseTcTyCon
  This is the big change, and involves the rather tricky
  function TcHsSyn.zonkRecTyVarBndrs.

  See Note [Inferring kinds for type declarations] and
  Note [Tricky scoping in generaliseTcTyCon] for the details.

* bindExplicitTKBndrs_Tv and bindImplicitTKBndrs_Tv both now
  allocate /freshly-named/ unification variables. Indeed, more
  generally, unification variables are always fresh; see
  Note [Unification variables need fresh Names] in TcMType

* Clarify the role of tcTyConScopedTyVars.
  See Note [Scoped tyvars in a TcTyCon] in TyCon

As usual, this dragged in some more refactoring:

* Renamed TcMType.zonkTyCoVarBndr to zonkAndSkolemise

* I renamed checkValidTelescope to checkTyConTelescope;
  it's only used on TyCons, and indeed takes a TyCon as argument.

* I folded the slightly-mysterious reportFloatingKvs into
  checkTyConTelescope. (Previously all its calls immediately
  followed a call to checkTyConTelescope.)  It makes much more
  sense there.

* I inlined some called-once functions to simplify
  checkValidTyFamEqn. It's less spaghetti-like now.

* This patch also fixes Trac #16251.  I'm not quite sure why #16251
  went wrong in the first place, nor how this patch fixes it, but
  hey, it's good, and life is short.

6 months agoRevert "compiler: Write .o files atomically. See #14533"
Ben Gamari [Sun, 3 Mar 2019 05:16:08 +0000 (00:16 -0500)] 
Revert "compiler: Write .o files atomically. See #14533"

This reverts commit 0e2d300a59b1b5c167d2e7d99a448c8663ba6d7d.

6 months agoRevert "compiler: Refactor: extract `withAtomicRename`"
Ben Gamari [Sun, 3 Mar 2019 05:16:00 +0000 (00:16 -0500)] 
Revert "compiler: Refactor: extract `withAtomicRename`"

This reverts commit e8a08f400744a860d1366c6680c8419d30f7cc2a.

6 months agoHadrian: track mingw, ship it in bindists, more robust install script
Alp Mestanogullari [Thu, 28 Feb 2019 14:20:14 +0000 (15:20 +0100)] 
Hadrian: track mingw, ship it in bindists, more robust install script

6 months agoDon't leave .hi files after running Haddock tests
Alec Theriault [Thu, 28 Feb 2019 13:45:24 +0000 (05:45 -0800)] 
Don't leave .hi files after running Haddock tests

RyanGlScott observed in
that running Haddock tests in GHC's testsuite left some `.hi` files
around in `utils/haddock`. This should fix that problem.

6 months agodetect 'autoreconf' path during configure, and use it in hadrian
Alp Mestanogullari [Tue, 26 Feb 2019 10:21:55 +0000 (11:21 +0100)] 
detect 'autoreconf' path during configure, and use it in hadrian

6 months agogitlab-ci: A bit of reorganization
Ben Gamari [Fri, 1 Mar 2019 15:54:02 +0000 (10:54 -0500)] 
gitlab-ci: A bit of reorganization

6 months agogitlab-ci: Give deb9-unreg job a distinct cache key
Ben Gamari [Thu, 21 Feb 2019 15:51:19 +0000 (10:51 -0500)] 
gitlab-ci: Give deb9-unreg job a distinct cache key

6 months agotestsuite: Suppress ticks when comparing -ddump-simpl output
Ben Gamari [Sun, 24 Feb 2019 05:02:11 +0000 (00:02 -0500)] 
testsuite: Suppress ticks when comparing -ddump-simpl output

Otherwise these tests break spuriously when core libraries are compiled
with source notes.

6 months agogitlab-ci: Produce DWARF-enabled binary distribution
Ben Gamari [Tue, 19 Feb 2019 16:40:40 +0000 (11:40 -0500)] 
gitlab-ci: Produce DWARF-enabled binary distribution

6 months agoDrop Docker images
Ben Gamari [Fri, 22 Feb 2019 22:04:27 +0000 (17:04 -0500)] 
Drop Docker images

These have been moved to the ghc/ci-images project.

6 months agogitlab-ci: Pull docker images from ghc/ci-images registry
Ben Gamari [Fri, 22 Feb 2019 19:52:50 +0000 (14:52 -0500)] 
gitlab-ci: Pull docker images from ghc/ci-images registry

6 months agoFix parsing of expected performance changes for tests with non-alpha characters.
David Eichmann [Wed, 27 Feb 2019 18:35:15 +0000 (18:35 +0000)] 
Fix parsing of expected performance changes for tests with non-alpha characters.

Python's split() function is used to split on all white space.

6 months agouse --docs=no-sphinx in both Hadrian CI jobs
Alp Mestanogullari [Wed, 27 Feb 2019 16:41:10 +0000 (17:41 +0100)] 
use --docs=no-sphinx in both Hadrian CI jobs

6 months agoHadrian: introduce ways to skip some documentation targets
Alp Mestanogullari [Wed, 27 Feb 2019 16:23:48 +0000 (17:23 +0100)] 
Hadrian: introduce ways to skip some documentation targets

The initial motivation for this is to have a chance to run the binary
distribution rules in our Windows CI without having to install
sphinx-build and xelatex there, while retaining the ability to
generate haddocks. I just ended up extending this idea a little bit so
as to have control over whether we build haddocks, (sphinx) HTML manuals,
(sphinx) PDF manuals and (sphinx) manpages.

6 months agoLexer: turn some fatal errors into non-fatal ones
Alec Theriault [Tue, 26 Feb 2019 00:39:27 +0000 (16:39 -0800)] 
Lexer: turn some fatal errors into non-fatal ones

The following previously fatal lexer errors are now non-fatal:

  * errors about enabling `LambdaCase`
  * errors about enabling `NumericUnderscores`
  * errors about having valid characters in primitive strings

See #16270

6 months agoVisible dependent quantification
Ryan Scott [Tue, 18 Dec 2018 01:54:36 +0000 (20:54 -0500)] 
Visible dependent quantification

This implements GHC proposal 35
by adding the ability to write kinds with
visible dependent quantification (VDQ).

Most of the work for supporting VDQ was actually done _before_ this
patch. That is, GHC has been able to reason about kinds with VDQ for
some time, but it lacked the ability to let programmers directly
write these kinds in the source syntax. This patch is primarly about
exposing this ability, by:

* Changing `HsForAllTy` to add an additional field of type
  `ForallVisFlag` to distinguish between invisible `forall`s (i.e,
  with dots) and visible `forall`s (i.e., with arrows)
* Changing `Parser.y` accordingly

The rest of the patch mostly concerns adding validity checking to
ensure that VDQ is never used in the type of a term (as permitting
this would require full-spectrum dependent types). This is
accomplished by:

* Adding a `vdqAllowed` predicate to `TcValidity`.
* Introducing `splitLHsSigmaTyInvis`, a variant of `splitLHsSigmaTy`
  that only splits invisible `forall`s. This function is used in
  certain places (e.g., in instance declarations) to ensure that GHC
  doesn't try to split visible `forall`s (e.g., if it tried splitting
  `instance forall a -> Show (Blah a)`, then GHC would mistakenly
  allow that declaration!)

This also updates Template Haskell by introducing a new `ForallVisT`
constructor to `Type`.

Fixes #16326. Also fixes #15658 by documenting this feature in the
users' guide.

6 months agoCleanup iserv/iserv-proxy
Moritz Angermann [Wed, 30 Jan 2019 01:47:20 +0000 (09:47 +0800)] 
Cleanup iserv/iserv-proxy

This adds trace messages that include the processes name and as such
make debugging and following the communication easier.

It also adds a note regarding the fwd*Call proxy-communication logic
between the proxy and the slave.

The proxy will now also poll for 60s to wait for the remote iserv
to come up. (Alternatively you can start the remote process
beforehand; and just have iserv-proxy connect to it)

6 months agoFix intermittent hie002 failure
Vladislav Zavialov [Tue, 26 Feb 2019 13:54:07 +0000 (16:54 +0300)] 
Fix intermittent hie002 failure

hie002 is a performance test that used to fail unpredictably:

max_bytes_used Decrease from x86_64-linux-deb9-debug baseline @ HEAD~2:
    Expected    hie002 (normal) max_bytes_used: 1190923992.0 +/-20%
    Lower bound hie002 (normal) max_bytes_used:    952739193
    Upper bound hie002 (normal) max_bytes_used:   1429108791
    Actual      hie002 (normal) max_bytes_used:    726270784
    Deviation   hie002 (normal) max_bytes_used:        -39.0 %
peak_megabytes_allocated Decrease from x86_64-linux-deb9-debug baseline @ HEAD~2:
    Expected    hie002 (normal) peak_megabytes_allocated: 2538.0 +/-20%
    Lower bound hie002 (normal) peak_megabytes_allocated:   2030
    Upper bound hie002 (normal) peak_megabytes_allocated:   3046
    Actual      hie002 (normal) peak_megabytes_allocated:   1587
    Deviation   hie002 (normal) peak_megabytes_allocated:  -37.5 %
*** unexpected stat test failure for hie002(normal)

'max_bytes_used' and 'peak_megabytes_allocated' are too unstable without careful
control of the runtime configuration. We fix this by using a more predictable
metric, 'bytes allocated'.

6 months agoRTS: Add missing memory barrier
Peter Trommler [Sun, 24 Feb 2019 16:11:00 +0000 (17:11 +0100)] 
RTS: Add missing memory barrier

In the work stealing queue a load-load-barrier is required to ensure
that a read of queue data cannot be reordered before a read of the
bottom pointer into the queue.

The added load-load-barrier ensures that the ordering of writes enforced
at the end of `pushWSDeque` is also respected in the order of reads in
`stealWSDeque_`. In other words, when reading `q->bottom` we want to make
sure that we see the updates to `q->elements`.

Fixes #13633

6 months agoTreat kind/type variables identically, demolish FKTV
Vladislav Zavialov [Wed, 13 Feb 2019 14:15:49 +0000 (17:15 +0300)] 
Treat kind/type variables identically, demolish FKTV

Implements GHC Proposal #24: .../ghc-proposals/blob/master/proposals/0024-no-kind-vars.rst
Fixes Trac #16334, Trac #16315

With this patch, scoping rules for type and kind variables have been
unified: kind variables no longer receieve special treatment. This
simplifies both the language and the implementation.

User-facing changes

* Kind variables are no longer implicitly quantified when an explicit
  forall is used:

    p ::             Proxy (a :: k)    -- still accepted
    p :: forall k a. Proxy (a :: k)    -- still accepted
    p :: forall   a. Proxy (a :: k)    -- no longer accepted

  In other words, now we adhere to the "forall-or-nothing" rule more

  Related function: RnTypes.rnImplicitBndrs

* The -Wimplicit-kind-vars warning has been deprecated.

* Kind variables are no longer implicitly quantified in constructor

    data T a        = T1 (S (a :: k) | forall (b::k). T2 (S b)  -- no longer accepted
    data T (a :: k) = T1 (S (a :: k) | forall (b::k). T2 (S b)  -- still accepted

  Related function: RnTypes.extractRdrKindSigVars

* Implicitly quantified kind variables are no longer put in front of
  other variables:

    f :: Proxy (a :: k) -> Proxy (b :: j)

    f :: forall k j (a :: k) (b :: j). Proxy a -> Proxy b   -- old order
    f :: forall k (a :: k) j (b :: j). Proxy a -> Proxy b   -- new order

  This is a breaking change for users of TypeApplications. Note that
  we still respect the dpendency order: 'k' before 'a', 'j' before 'b'.
  See "Ordering of specified variables" in the User's Guide.

  Related function: RnTypes.rnImplicitBndrs

* In type synonyms and type family equations, free variables on the RHS
  are no longer implicitly quantified unless used in an outermost kind

    type T = Just (Nothing :: Maybe a)         -- no longer accepted
    type T = Just Nothing :: Maybe (Maybe a)   -- still accepted

  The latter form is a workaround due to temporary lack of an explicit
  quantification method. Ideally, we would write something along these

    type T @a = Just (Nothing :: Maybe a)

  Related function: RnTypes.extractHsTyRdrTyVarsKindVars

* Named wildcards in kinds are fixed (Trac #16334):

    x :: (Int :: _t)    -- this compiles, infers (_t ~ Type)

  Related function: RnTypes.partition_nwcs

Implementation notes

* One of the key changes is the removal of FKTV in RnTypes:

  - data FreeKiTyVars = FKTV { fktv_kis    :: [Located RdrName]
  -                          , fktv_tys    :: [Located RdrName] }
  + type FreeKiTyVars = [Located RdrName]

  We used to keep track of type and kind variables separately, but
  now that they are on equal footing when it comes to scoping, we
  can put them in the same list.

* extract_lty and family are no longer parametrized by TypeOrKind,
  as we now do not distinguish kind variables from type variables.

* PatSynExPE and the related Note [Pattern synonym existentials do not scope]
  have been removed (Trac #16315). With no implicit kind quantification,
  we can no longer trigger the error.

* reportFloatingKvs and the related Note [Free-floating kind vars]
  have been removed. With no implicit kind quantification,
  we can no longer trigger the error.

6 months agoSkip T3424 when fast()
Vladislav Zavialov [Tue, 26 Feb 2019 05:32:48 +0000 (08:32 +0300)] 
Skip T3424 when fast()

14586f5d removed this by accident.

6 months agoFix the ghci063 test on Darwin (Trac #16201)
Vladislav Zavialov [Sun, 24 Feb 2019 22:23:42 +0000 (01:23 +0300)] 
Fix the ghci063 test on Darwin (Trac #16201)

We use "touch -r" to set modification timestamps, which leads to precision loss
on Darwin. For example,

   before: 2019-02-25 01:11:23.807627350 +0300
   after:  2019-02-25 01:11:23.807627000 +0300
This means we can't trick GHCi into thinking the file hasn't been changed by
restoring its old timestamp, as we cannot faithfully restore all digits.

The solution is to nullify the insignificant digits before the first :load

6 months agoDisable fragile test cases: T14697 T5559 T3424
Vladislav Zavialov [Sat, 23 Feb 2019 22:03:35 +0000 (01:03 +0300)] 
Disable fragile test cases: T14697 T5559 T3424

See Trac #15072, Trac #16349, Trac #16350

6 months agobase: Allow fusion for zip7 and related
Alexandre [Thu, 21 Feb 2019 08:19:43 +0000 (08:19 +0000)] 
base: Allow fusion for zip7 and related

Fixes #14037.

Metric Decrease:

Reviewers: bgamari, simonpj, hvr

Reviewed By: simonpj

Subscribers: AndreasK, simonpj, osa1, dfeuer, rwbarton, carter

GHC Trac Issues: #14037

Differential Revision: