Black borders around object when masking.

Hello.

I'm new with this and I'm having troubles masking out objects in Fusion 8. I'm able to successfully remove all the greens but there is still black borders around my masked object. I've tried luma keying and regular masking but there are still black borders. If you look at the attached screenshot you will understand what I mean. Look at the right camera view window.

How do I get rid of these borders?

Edit: In considering your post again it looks more like there is an issue with your source image.
Not sure so need more information.

(previous response)
That is often a hint of incorrect setting with premultiplied or straight Alpha channels.
Check that in the settings of your input/source.

In my experience... and going from memory so I might have this reversed:
A white halo often suggests the image is not premulitplied but the application isn't accounting for that.
A black halo is where the image is premultiplied but the application isn't accounting for that.
At the root of this seems to be an earlier decision to accept the lesser of two evils and display the black halo rather than the white because it was less likely to be perceived or to distract.

Give this excellent video a look:
https://vimeo.com/ondemand/confusionsle ... /224978139

If that doesn't address your issue... What image format are you using?

The pixels at the edge or the canvas color are black, and your key color is green.

Try this:

Use a polygon mask around the plane, invert it, and connect it to the "Garbage Matte" input of the Chroma Key Node.

Thanks for the quick replies everyone! Super helpful

Try this:

Use a polygon mask around the plane, invert it, and connect it to the "Garbage Matte" input of the Chroma Key Node.

This did it!

The pixels at the edge or the canvas color are black, and your key color is green.

Hi guys,

I'm having this same issue, I've had it before but couldn't figure it out.

My colleague has keyed the footage in After Effects, looks fine on his end, he's exported a black and white mask for me to use in fusion. There is a dark ring around the talent when the mask is applied to the original footage.

When I do this same task on a still in photoshop the mask works perfectly.


Please have a look at the images attached and let me know if you have any clue how to make this mask work correctly like it is in photoshop.

I've played with the pre multiply settings but that won't help as there is no alpha...


Hope someone can help me!

Thanks guys

Hey,

This is all what the job is about

Depending on the file, you have multiple solutions but matte control - reducing blur there - is a must see... You also could use a filter node to isolate the borders, matte control with darken mode (which equals minimum), channel booleans, erode/dilate among others, where you may also play with their thresholds...
Also see all what is connected with light wrap, starting with the node itself (though it might come from Reactor).

If exact same mask works elsewhere it is not a question of eroding matte etc but applying it properly. What does the original footage look like and how exactly are you injecting the mask? Show the nodes.

Yes that's what I thought Hendrick. The AE guys here are rubbing it in that Adobe is better because it just works straight away

I'm sure I'm just doing it wrong.

I've basically just plugged the black and white mask into a bit map mask. You can see the settings on the right. Is that not right? The footage is r3d Raw

Thanks so much for taking a look! Really appreciate it.

Reducing the blur and tweaking the low matte threshold in matte control is the 1st thing to try. Also, try not post-multiplying again in the matte control node...
Believe me, I've been into this in a weekly basis for years, this occurs on almost any premultiplied clip I get (usually ProRes 4444 for me) and put in fusion. But the way you fix it differs.

You could use the core matte/edge matte technique (see a - maybe too much - detailed video here), or more basically try to find a simple way which sometimes works good. Like getting only the edges selection with a Filter node with sobel mode. See (copy & paste in Fusion node flow):

Code: Select all

{
   Tools = ordered() {
      Primatte1 = Photron.Primatte4 {
         CtrlWZoom = false,
         Inputs = {
            Select = Input { Value = 2, },
            FineTuneRed = Input { Disabled = true, },
            FineTuneGreen = Input { Disabled = true, },
            FineTuneBlue = Input { Disabled = true, },
            PrimatteData = Input {
               Value = Primatte4Data {
                  Value = HexData [[
                     78 DA 63 B8 E3 E4 C6 60 B0 C8 8D C1 E3 89 AB 00
                     03 23 03 08 B0 82 88 22 B1 98 FF F5 0C 0C 8A 07
                     85 BA 40 F4 85 BB 01 DC BB 80 F4 F4 89 10 35 0D
                     50 F9 DA 63 10 79 88 28 42 1D C3 3D 54 F5 02 17
                     1C 8B 41 EA 1E 54 9F 7D BA 13 48 73 14 43 F4 33
                     40 C5 2F 40 CD BB FF 6F 4F 33 58 1D 94 9F B0 FB
                     0A 2F C8 9C 06 A8 05 0D E7 20 EA 1D A0 FA 05 98
                     F7 82 D5 1F 28 85 F0 57 94 4D 8F 65 40 02 1C 0C
                     A8 C0 A0 0C A2 EE 10 23 2A 9F 23 7D DA 6B 06 2C
                     00 AE FF 59 2E D8 DD 30 E0 70 65 0D 0B C8 08 07
                     96 1E 30 FD E1 32 84 6F 00 E5 A3 83 D7 7C 0C 0C
                     DF 04 19 18 D6 8B 33 30 FC FF 0F 54 57 22 16 03
                     52 77 A1 04 62 FF 01 5D 23 29 B7 86 FF FF 27 3C
                     10 E1 02 87 DF 17 08 2D 10 D0 00 A6 17 43 C1 A7
                     C7 3D 7B 26 CE 64 68 98 11 04 11 67 80 CA 1B 54
                     40 CC 39 F2 0A 12 7E 05 50 73 7F 4F FD D3 0B F6
                     DF 81 AD A7 41 EE D0 80 BA 47 05 68 25 88 3E C4
                     C4 C0 A0 0D C5 60 C0 0C 89 CB FF F5 20 08 64 24
                     C8 BB 82 F0 CB B4 E7 60 DA 39 E7 8C 2B 4C 0C 86
                     67 58 F0 BA 23 F3 8B 14 F9 DC 1E F0 2F 00 B3 D5
                     73 16 BA CD 7A BC 04 43 0F 0C 2B 9F BF E7 2A 1A
                     F8 D5 0D 97 FC ED 07 7E 70 B9 53 F2 73 C0 F4 41
                     9B BD 60 5A F8 A8 B5 9B 83 DD 77 D7 3A 83 0B 38
                     CD 07 61 1E 51 53 30 7D 51 22 D1 B5 7C 6A A3 FB
                     85 90 67 28 EE 6D 67 B6 72 65 DF 3F D5 2D F8 B6
                     AA 9B D9 8F 70 D7 E0 65 27 5C 5D EA F9 DC CC 85
                     F8 DC 38 7D AF B9 76 AD 69 70 05 86 88 3B 08 DF
                     61 59 ED 06 A2 99 AF 71 BB C1 C4 70 61 50 38 C8
                     1B 9D 07 EB 65 89 38 E9 56 DD 27 8D 57 CF 97 CB
                     3F B0 CA 4F CB B1 77 17 92 0C 71 BB E0 E9 EC F6
                     A1 61 87 DB A5 B6 2F 60 33 F3 D6 F8 80 D5 83 C2
                     41 8E 5B CD 2D 80 9B 9D A0 9B 40 78 0F CF 51 B0
                     3A 50 38 3C 39 2A E1 FE 5D 7D 39 5C 1F 28 1C 40
                     B4 F9 8C 87 6E 77 9F 29 B9 AD 8D 49 76 63 CC 17
                     01 87 43 7D F5 37 AA 84 C3 C3 30 63 B2 C3 A1 64
                     6D 3B DE 70 B0 E7 08 73 3B 3B 5F 8A AA E1 C0 B9
                     DB 01 1C 0E 1F 1F 1B 22 85 03 B8 34 B2 87 60 64
                     00 13 43 C7 A4 A9 FF 8F 03 D8 3B F1 33 80 30 BA
                     F8 82 E7 C1 0B 40 18 00 91 A6 D4 DB ]],
                  EdgeData = HexData [[
                     78 DA 63 B8 E3 E4 C6 60 B0 C8 8D C1 E3 89 2B 03
                     14 B0 42 28 01 30 39 C1 75 07 84 CB C4 80 0C 1C
                     DE 4C E5 01 D3 FC F7 98 41 F4 5E B8 C4 9F 2B C8
                     DA E1 C2 8F A0 EA 79 21 EA B7 32 E0 06 1C 38 C4
                     8B 70 88 EF AC 67 60 10 63 DF C1 C2 88 2C E8 61
                     C0 BB 0B 28 FE E0 50 02 2B 58 3C 29 91 07 C4 4F
                     C8 15 8B F9 0F A4 05 39 6F B1 20 8B 17 1C 58 56
                     02 12 37 C8 87 C8 33 9C 2F 86 C8 37 FC 17 07 C9
                     4F 82 79 5F A5 15 CC 07 4A 40 69 27 B0 F0 1F C1
                     1A 88 3D 4E 6C 82 60 F1 16 06 30 FD 00 6A DF C6
                     9B AF 5B C0 E6 42 01 DC AD 50 75 2F 60 FA F3 20
                     EA 63 EB 5F 82 D5 2F D0 4D BF 0B F2 DF 03 98 3C
                     D4 7D 8F 82 CA C0 EE FB 00 13 67 68 B0 67 68 F8
                     EB CC C0 F0 D5 D9 F7 A4 88 ED A2 B2 A5 76 60 61
                     B7 F3 E0 F0 56 62 81 58 27 08 B3 17 2A CE A0 D4
                     01 F1 47 C2 59 30 5F 00 E6 7F 18 48 90 77 05 E1
                     97 69 CF C1 B4 73 CE 19 57 98 18 0C CF B0 E0 75
                     47 E6 17 29 F2 B9 3D E0 5F 00 66 57 5C 9C E5 36
                     EB F1 12 0C 3D 30 AC 7C FE 9E AB 68 E0 57 37 5C
                     F2 B7 1F F8 C1 E5 4E C9 CF 01 D3 07 6D F6 82 E9
                     F5 B9 CE 6E 0E 76 DF 5D EB 0C 2E E0 34 1F 84 79
                     44 4D C1 F4 45 89 44 D7 F2 A9 8D EE 17 42 9E A1
                     B8 B7 9D D9 CA 55 DB 7A 95 5B F0 6D 55 B7 1D 9F
                     23 5D B7 FD 3E E1 EA 52 CF E7 66 2E C4 E7 C6 E9
                     7B CD B5 6B 4D 03 30 6F FC 77 07 E1 3B 2C AB DD
                     40 F4 79 37 05 37 98 18 2E BC 75 5D 93 DB D4 0B
                     E5 60 75 2C 11 27 DD AA FB A4 F1 EA F9 72 F9 07
                     56 F9 69 39 F6 EE 42 92 21 6E AC 3D 6F DC 3E 34
                     EC 70 33 4D F2 02 AB 53 9F D1 0B A6 BB 77 79 BB
                     C9 71 AB B9 05 70 B3 13 74 13 08 9B 3C 38 09 A6
                     41 E1 F0 E4 A8 84 FB 77 F5 E5 70 7D A0 70 00 D1
                     E6 33 1E BA DD 7D A6 E4 B6 36 26 D9 8D 31 5F C4
                     CD 20 5F C0 2D E7 4A 9A 1B 39 E1 30 AB B1 1D 25
                     1C 1E 86 19 93 1D 0E 25 6B DB F1 86 83 3D 47 98
                     5B CD 2A 53 AA 86 03 E7 6E 07 70 38 7C 7C 6C 88
                     14 0E D0 3C 07 C6 C8 00 26 86 8E 49 53 FF 1F 07
                     B0 77 E2 67 00 61 74 71 00 E6 91 9E 5D ]],
                  BodyData = HexData [[
                     78 DA 63 B8 E3 E4 C6 60 B0 C8 8D C1 E3 89 2B 03
                     14 B0 82 88 74 B1 98 FF F5 0C 0C 4B 6F 3C E8 06
                     D1 30 C0 0C A5 1F A4 41 E4 B9 6F A1 CA C3 C0 06
                     A8 FE 3B DB 51 E5 61 E6 25 40 E5 2F ED 7B 04 E6
                     FF C8 80 F0 5F 40 69 16 28 7D 02 4A 33 94 9A 94
                     22 9B A3 FD 4D 95 95 11 48 F3 A3 D9 BB 20 F2 39
                     D8 BC 80 6C 88 BE E0 B4 C7 60 7E 3D D0 E1 20 F5
                     3F 15 6E DB 83 D4 29 40 D5 3B 94 38 83 CD E5 46
                     F7 00 D4 5E 01 F3 E9 4F 77 02 69 83 34 88 BA 4F
                     8F 7B F6 4C 9C C9 D0 F0 97 09 A2 4C 7F E2 89 7E
                     90 F8 07 A8 7F 18 A1 DA E5 A1 EE 83 F1 57 96 42
                     DC 05 E3 5B B0 A0 5A F7 21 0F A2 9F 1F 33 28 C1
                     7A 22 72 A0 E1 80 03 C0 EC 63 45 13 3F 04 74 A7
                     36 10 AF 90 61 14 DC 05 D2 7F 92 01 4C 83 C4 0E
                     31 61 9A 83 11 0E 09 F2 AE A3 58 DE D5 D1 79 A7
                     1B 03 C3 7F F7 25 EF 15 C1 74 CD 99 33 AE 20 1A
                     19 5F E9 B2 44 E1 2B A7 FF 70 9D 54 D4 E7 6A E0
                     D6 E6 F6 2F FF 99 EB 83 7F 57 31 F4 20 E3 09 AF
                     5E BB 16 CE 13 C6 10 9F 96 63 EF 7E FC CD 1B D7
                     25 7A 6F 5C F7 CE 10 77 73 EB 6D 07 9B B3 7B FF
                     41 30 ED D3 D9 E4 CA 67 FE C0 75 47 91 17 5E F3
                     61 F8 65 6E 26 D8 0F 91 91 19 6E A7 8E D5 BA AD
                     CC E3 75 83 C9 19 71 B3 BA E5 AC BE E2 66 3E E3
                     A1 DB 83 FD 35 AE 6B 63 92 DD 0E 3F 9C EB FA F9
                     51 88 6B B1 FC 14 B8 F9 77 58 56 83 F5 30 5F E3
                     76 23 64 DF 99 60 56 37 79 A3 F3 60 BD 2C 11 27
                     DD 1E 86 19 E3 D5 F3 E5 F2 0F AC F2 A0 70 28 59
                     DB EE 76 C1 D3 D9 ED 43 C3 0E B7 4B 6D 5F C0 66
                     E6 AD F1 01 AB 9F 6F 62 E0 66 CF 11 E6 76 76 BE
                     94 1B 31 E1 B0 87 E7 28 58 DD B2 D6 56 F7 27 47
                     25 DC BF AB 2F 87 EB 63 DF 3F 15 CC 06 85 03 E7
                     6E 07 37 50 38 7C 7C 6C E8 A6 C5 7E C2 B5 BE FA
                     1B B4 AC 6C B0 87 60 64 00 13 43 C7 A4 A9 FF 8F
                     03 D8 3B F1 33 80 30 BA 38 00 C4 7F 9E 4D ]],
                  RtData = HexData [[
                     78 DA 3B 7B C6 C7 56 77 D3 5D 7B 10 3E 8B C1 8E
                     B5 07 61 4A D8 00 7B D0 2A C1 ]],
                  EdgeRtData = HexData [[
                     78 DA 3B 7B C6 C7 56 77 D3 5D 7B 10 3E 8B C1 8E
                     B5 07 61 4A D8 00 7B D0 2A C1 ]],
                  BodyRtData = HexData [[
                     78 DA 3B 7B C6 C7 56 77 D3 5D 7B 10 3E 8B C1 8E
                     B5 07 61 4A D8 00 7B D0 2A C1 ]],
                  Version = 1
               },
            },
            ReplaceMode = Input { Value = 1, },
         },
         ViewInfo = OperatorInfo { Pos = { 440, 115.5 } },
         Version = 1
      },
      DeltaKeyer1 = DeltaKeyer {
         Inputs = {
            BackgroundRed = Input { Value = 0.027755279978126, },
            BackgroundGreen = Input { Value = 0.0563740975519798, },
            BackgroundBlue = Input { Value = 0.0189129834237215, },
            PreBlur = Input { Value = 0.002, },
            LowThreshold = Input { Value = 0.619, },
            CleanForeground = Input { Value = 0.00624, },
            CleanBackground = Input { Value = 0.002, },
            TuningRanges = Input {
               Value = ColorCurves {
                  Curves = {
                     {
                        Points = {
                           { 0, 1 },
                           { 0.4, 0.2 },
                           { 0.6, 0 },
                           { 1, 0 }
                        }
                     },
                     {
                        Points = {
                           { 0, 0 },
                           { 0.4, 0 },
                           { 0.6, 0.2 },
                           { 1, 1 }
                        }
                     }
                  }
               },
            },
            SolidReplaceMode = Input { Value = FuID { "Source" }, },
         },
         ViewInfo = OperatorInfo { Pos = { 440, 181.5 } },
      },
      MatteControl1 = MatteControl {
         Inputs = {
            MatteCombine = Input { Value = 4, },
            CombineOp = Input { Value = 6, },
            LowMatteThreshold = Input { Value = 0.211, },
            ["Solid.MaskNest"] = Input { Value = 1, },
            ["Garbage.Matte"] = Input {
               SourceOp = "Polygon1",
               Source = "Mask",
            },
            SpillColor = Input { Value = 1, },
            SpillSuppression = Input { Value = 1, },
            SpillMethod = Input { Value = 2, },
            FringeGamma = Input { Value = 0.6362, },
            Background = Input {
               SourceOp = "DeltaKeyer1",
               Source = "Output",
            },
            Foreground = Input {
               SourceOp = "Primatte1",
               Source = "Output",
            },
         },
         ViewInfo = OperatorInfo { Pos = { 623.5, 148.5 } },
         Colors = { TileColor = { R = 0.854901960784314, G = 0.498039215686275, B = 0.298039215686275 }, }
      },
      Polygon1 = PolylineMask {
         DrawMode = "InsertAndModify",
         DrawMode2 = "InsertAndModify",
         Inputs = {
            Invert = Input { Value = 1, },
            MaskWidth = Input { Value = 1920, },
            MaskHeight = Input { Value = 1080, },
            PixelAspect = Input { Value = { 1, 1 }, },
            ClippingMode = Input { Value = FuID { "None" }, },
            Polyline = Input {
               SourceOp = "Polygon1Polyline",
               Source = "Value",
            },
            Polyline2 = Input {
               Value = Polyline {
               },
               Disabled = true,
            },
         },
         ViewInfo = OperatorInfo { Pos = { 623.5, 82.5 } },
         Colors = { TileColor = { R = 0.854901960784314, G = 0.498039215686275, B = 0.298039215686275 }, }
      },
      Polygon1Polyline = BezierSpline {
         SplineColor = { Red = 173, Green = 255, Blue = 47 },
         NameSet = true,
         KeyFrames = {
            [5392] = { 0, RH = { 5418, 0.333333333333333 }, Flags = { Linear = true, LockedY = true }, Value = Polyline {
                  Closed = true,
                  Points = {
                     { Linear = true, X = -0.376712322235107, Y = 0.390434771776199, LX = 0.190802345673243, LY = 0.00521739323933919, RX = -0.0526262619319897, RY = -0.135809192448678 },
                     { X = -0.412356048822403, Y = -0.0149236684665084, LX = -0.0146536305959173, LY = 0.134670310123742, RX = 0.0136814907354866, RY = -0.125736172287732 },
                     { X = -0.373776912689209, Y = -0.392173916101456, LX = -0.000472450791375589, LY = 0.125959767795736, RX = 0.197977822820734, RY = -0.0144927526038626 },
                     { Linear = true, X = 0.22015655040741, Y = -0.435652166604996, LX = -0.197977822820734, LY = 0.0144927526038626, RX = -0.00778790814613721, RY = 0.165769821893478 },
                     { Linear = true, X = 0.196792825968998, Y = 0.0616572990754377, LX = 0.00778790814613721, LY = -0.165769821893478, RX = -0.00036603706145862, RY = 0.114809884139593 },
                     { Linear = true, X = 0.195694714784622, Y = 0.406086951494217, LX = 0.00036603706145862, LY = -0.114809884139593, RX = -0.190802345673243, RY = -0.00521739323933919 }
                  }
               } },
            [5470] = { 1, LH = { 5444, 0.666666666666667 }, RH = { 5489.66666666667, 1.33333333333333 }, Flags = { Linear = true, LockedY = true }, Value = Polyline {
                  Closed = true,
                  Points = {
                     { Linear = true, X = -0.376712322235107, Y = 0.390434771776199, LX = 0.190802345673243, LY = 0.00521739323933919, RX = 0.00050880511601766, RY = -0.135652708510558 },
                     { Linear = true, X = -0.375185906887054, Y = -0.0165233537554741, LX = -0.00050880511601766, LY = 0.135652708510558, RX = 0.000469664732615153, RY = -0.125216854115327 },
                     { Linear = true, X = -0.373776912689209, Y = -0.392173916101456, LX = -0.000469664732615153, LY = 0.125216854115327, RX = 0.197977822820734, RY = -0.0144927526038626 },
                     { Linear = true, X = 0.22015655040741, Y = -0.435652166604996, LX = -0.197977822820734, LY = 0.0144927526038626, RX = -0.00387401382128398, RY = 0.133306053777536 },
                     { Linear = true, X = 0.208534508943558, Y = -0.0357340052723885, LX = 0.00387401382128398, LY = -0.133306053777536, RX = -0.00427993138631185, RY = 0.147273652255535 },
                     { Linear = true, X = 0.195694714784622, Y = 0.406086951494217, LX = 0.00427993138631185, LY = -0.147273652255535, RX = -0.190802345673243, RY = -0.00521739323933919 }
                  }
               } },
            [5529] = { 2, LH = { 5509.33333333333, 1.66666666666667 }, RH = { 5538.66666666667, 2.33333333333333 }, Flags = { Linear = true, LockedY = true }, Value = Polyline {
                  Closed = true,
                  Points = {
                     { Linear = true, X = -0.376712322235107, Y = 0.390434771776199, LX = 0.165362032561697, LY = -0.00172705120510526, RX = -0.0123929620665714, RY = -0.135652708510558 },
                     { Linear = true, X = -0.413891208434822, Y = -0.0165233537554741, LX = 0.0123929620665714, LY = 0.135652708510558, RX = 0.0179376419608664, RY = -0.157624261522735 },
                     { Linear = true, X = -0.360078282552223, Y = -0.489396138323678, LX = -0.0179376419608664, LY = 0.157624261522735, RX = 0.197977821032206, RY = -0.0144927501678467 },
                     { Linear = true, X = 0.233855180544396, Y = -0.532874388827218, LX = -0.197977821032206, LY = 0.0144927501678467, RX = -0.00844022386694606, RY = 0.165713461184943 },
                     { Linear = true, X = 0.208534508943558, Y = -0.0357340052723885, LX = 0.00844022386694606, LY = -0.165713461184943, RX = -0.0297202444978578, RY = 0.140329207811091 },
                     { Linear = true, X = 0.119373775449984, Y = 0.385253618160884, LX = 0.0297202444978578, LY = -0.140329207811091, RX = -0.165362032561697, RY = 0.00172705120510526 }
                  }
               } },
            [5558] = { 3, LH = { 5548.33333333333, 2.66666666666667 }, RH = { 5576, 3.33333333333333 }, Flags = { Linear = true, LockedY = true }, Value = Polyline {
                  Closed = true,
                  Points = {
                     { Linear = true, X = -0.376712322235107, Y = 0.390434771776199, LX = 0.190802345673243, LY = 0.00521739323933919, RX = -0.0187345086478441, RY = -0.135652708510558 },
                     { Linear = true, X = -0.43291584817864, Y = -0.0165233537554741, LX = 0.0187345086478441, LY = 0.135652708510558, RX = 0.0197129784964769, RY = -0.125216854115327 },
                     { Linear = true, X = -0.373776912689209, Y = -0.392173916101456, LX = -0.0197129784964769, LY = 0.125216854115327, RX = 0.197977822820734, RY = -0.0144927526038626 },
                     { Linear = true, X = 0.22015655040741, Y = -0.435652166604996, LX = -0.197977822820734, LY = 0.0144927526038626, RX = -0.00387401382128398, RY = 0.133306053777536 },
                     { Linear = true, X = 0.208534508943558, Y = -0.0357340052723885, LX = 0.00387401382128398, LY = -0.133306053777536, RX = -0.00427993138631185, RY = 0.147273652255535 },
                     { Linear = true, X = 0.195694714784622, Y = 0.406086951494217, LX = 0.00427993138631185, LY = -0.147273652255535, RX = -0.190802345673243, RY = -0.00521739323933919 }
                  }
               } },
            [5612] = { 4, LH = { 5594, 3.66666666666667 }, RH = { 5623.33333333333, 4.33333333333333 }, Flags = { Linear = true, LockedY = true }, Value = Polyline {
                  Closed = true,
                  Points = {
                     { Linear = true, X = -0.378855042528513, Y = 0.512924890353274, LX = 0.179386820559088, LY = -0.00753622994906653, RX = -0.0180202685500423, RY = -0.176482748036249 },
                     { Linear = true, X = -0.43291584817864, Y = -0.0165233537554741, LX = 0.0180202685500423, LY = 0.176482748036249, RX = 0.0197129784964769, RY = -0.125216854115327 },
                     { Linear = true, X = -0.373776912689209, Y = -0.392173916101456, LX = -0.0197129784964769, LY = 0.125216854115327, RX = 0.197977822820734, RY = -0.0144927526038626 },
                     { Linear = true, X = 0.22015655040741, Y = -0.435652166604996, LX = -0.197977822820734, LY = 0.0144927526038626, RX = -0.00387401382128398, RY = 0.133306053777536 },
                     { Linear = true, X = 0.208534508943558, Y = -0.0357340052723885, LX = 0.00387401382128398, LY = -0.133306053777536, RX = -0.0164096965982689, RY = 0.175350068592821 },
                     { Linear = true, X = 0.159305419148751, Y = 0.490316200506075, LX = 0.0164096965982689, LY = -0.175350068592821, RX = -0.179386820559088, RY = 0.00753622994906653 }
                  }
               } },
            [5646] = { 5, LH = { 5634.66666666667, 4.66666666666667 }, RH = { 5712.33333333333, 5.33333333333333 }, Flags = { Linear = true, LockedY = true }, Value = Polyline {
                  Closed = true,
                  Points = {
                     { Linear = true, X = -0.386582360872269, Y = 0.52202897467475, LX = 0.190802345673243, LY = 0.00521739323933919, RX = -0.0154444957687901, RY = -0.179517442810075 },
                     { Linear = true, X = -0.43291584817864, Y = -0.0165233537554741, LX = 0.0154444957687901, LY = 0.179517442810075, RX = 0.0197129784964769, RY = -0.125216854115327 },
                     { Linear = true, X = -0.373776912689209, Y = -0.392173916101456, LX = -0.0197129784964769, LY = 0.125216854115327, RX = 0.197977822820734, RY = -0.0144927526038626 },
                     { Linear = true, X = 0.22015655040741, Y = -0.435652166604996, LX = -0.197977822820734, LY = 0.0144927526038626, RX = -0.00387401382128398, RY = 0.133306053777536 },
                     { Linear = true, X = 0.208534508943558, Y = -0.0357340052723885, LX = 0.00387401382128398, LY = -0.133306053777536, RX = -0.00756994426536582, RY = 0.191138386555052 },
                     { Linear = true, X = 0.18582467614746, Y = 0.537681154392768, LX = 0.00756994426536582, LY = -0.191138386555052, RX = -0.190802345673243, RY = -0.00521739323933919 }
                  }
               } },
            [5845] = { 6, LH = { 5778.66666666667, 5.66666666666667 }, RH = { 5879.33333333333, 6.33333333333333 }, Flags = { Linear = true, LockedY = true }, Value = Polyline {
                  Closed = true,
                  Points = {
                     { Linear = true, X = -0.417474428374153, Y = 0.509805152810847, LX = 0.183300714883941, LY = -0.0139130415432695, RX = -0.00514713993482895, RY = -0.175442835522107 },
                     { Linear = true, X = -0.43291584817864, Y = -0.0165233537554741, LX = 0.00514713993482895, LY = 0.175442835522107, RX = 0.0197129784964769, RY = -0.125216854115327 },
                     { Linear = true, X = -0.373776912689209, Y = -0.392173916101456, LX = -0.0197129784964769, LY = 0.125216854115327, RX = 0.197977822820734, RY = -0.0144927526038626 },
                     { Linear = true, X = 0.22015655040741, Y = -0.435652166604996, LX = -0.197977822820734, LY = 0.0144927526038626, RX = 0.0518989803078745, RY = 0.0706973581253618 },
                     { Linear = true, X = 0.375853491331033, Y = -0.22356009222891, LX = -0.0518989803078745, LY = -0.0706973581253618, RX = -0.0811419250177875, RY = 0.23054204013665 },
                     { Linear = true, X = 0.132427716277671, Y = 0.468066028181039, LX = 0.0811419250177875, LY = -0.23054204013665, RX = -0.183300714883941, RY = 0.0139130415432695 }
                  }
               } },
            [5948] = { 7, LH = { 5913.66666666667, 6.66666666666667 }, RH = { 5975.66666666667, 7.33333333333333 }, Flags = { Linear = true, LockedY = true }, Value = Polyline {
                  Closed = true,
                  Points = {
                     { Linear = true, X = -0.433463789945479, Y = 0.503478250037069, LX = 0.190802345673243, LY = 0.00521739323933919, RX = 0.000182647255613233, RY = -0.173333867930848 },
                     { Linear = true, X = -0.43291584817864, Y = -0.0165233537554741, LX = -0.000182647255613233, LY = 0.173333867930848, RX = 0.0197129784964769, RY = -0.125216854115327 },
                     { Linear = true, X = -0.373776912689209, Y = -0.392173916101456, LX = -0.0197129784964769, LY = 0.125216854115327, RX = 0.197977822820734, RY = -0.0144927526038626 },
                     { Linear = true, X = 0.22015655040741, Y = -0.435652166604996, LX = -0.197977822820734, LY = 0.0144927526038626, RX = -0.00387401382128398, RY = 0.133306053777536 },
                     { Linear = true, X = 0.208534508943558, Y = -0.0357340052723885, LX = 0.00387401382128398, LY = -0.133306053777536, RX = -0.0231970872897691, RY = 0.184954811675825 },
                     { Linear = true, X = 0.13894324707425, Y = 0.519130429755086, LX = 0.0231970872897691, LY = -0.184954811675825, RX = -0.190802345673243, RY = -0.00521739323933919 }
                  }
               } },
            [6031] = { 8, LH = { 6003.33333333333, 7.66666666666667 }, RH = { 6047, 8.33333333333333 }, Flags = { Linear = true, LockedY = true }, Value = Polyline {
                  Closed = true,
                  Points = {
                     { Linear = true, X = -0.433463789945479, Y = 0.503478250037069, LX = 0.190802345673243, LY = 0.00521739323933919, RX = -0.0321069809244259, RY = -0.17275415778592 },
                     { Linear = true, X = -0.529784732718757, Y = -0.0147842233206915, LX = 0.0321069809244259, LY = 0.17275415778592, RX = 0.052002606676516, RY = -0.125796564260255 },
                     { Linear = true, X = -0.373776912689209, Y = -0.392173916101456, LX = -0.052002606676516, LY = 0.125796564260255, RX = 0.197977822820734, RY = -0.0144927526038626 },
                     { Linear = true, X = 0.22015655040741, Y = -0.435652166604996, LX = -0.197977822820734, LY = 0.0144927526038626, RX = -0.00387401382128398, RY = 0.133306053777536 },
                     { Linear = true, X = 0.208534508943558, Y = -0.0357340052723885, LX = 0.00387401382128398, LY = -0.133306053777536, RX = -0.0231970872897691, RY = 0.184954811675825 },
                     { Linear = true, X = 0.13894324707425, Y = 0.519130429755086, LX = 0.0231970872897691, LY = -0.184954811675825, RX = -0.190802345673243, RY = -0.00521739323933919 }
                  }
               } },
            [6079] = { 9, LH = { 6063, 8.66666666666667 }, RH = { 6112, 9.33333333333333 }, Flags = { Linear = true, LockedY = true }, Value = Polyline {
                  Closed = true,
                  Points = {
                     { Linear = true, X = -0.433463789945479, Y = 0.503478250037069, LX = 0.190802345673243, LY = 0.00521739323933919, RX = -0.00340508920883557, RY = -0.176805083711846 },
                     { Linear = true, X = -0.443679057571986, Y = -0.0269370010984692, LX = 0.00340508920883557, LY = 0.176805083711846, RX = 0.034063924354272, RY = -0.122903045741736 },
                     { Linear = true, X = -0.34148728450917, Y = -0.395646138323678, LX = -0.034063924354272, LY = 0.122903045741736, RX = 0.18721461163886, RY = -0.0133353427604393 },
                     { Linear = true, X = 0.22015655040741, Y = -0.435652166604996, LX = -0.18721461163886, LY = 0.0133353427604393, RX = -0.00387401382128398, RY = 0.133306053777536 },
                     { Linear = true, X = 0.208534508943558, Y = -0.0357340052723885, LX = 0.00387401382128398, LY = -0.133306053777536, RX = -0.0231970872897691, RY = 0.184954811675825 },
                     { Linear = true, X = 0.13894324707425, Y = 0.519130429755086, LX = 0.0231970872897691, LY = -0.184954811675825, RX = -0.190802345673243, RY = -0.00521739323933919 }
                  }
               } },
            [6178] = { 10, LH = { 6145, 9.66666666666667 }, Flags = { Linear = true, LockedY = true }, Value = Polyline {
                  Closed = true,
                  Points = {
                     { Linear = true, X = -0.433463789945479, Y = 0.503478250037069, LX = 0.190802345673243, LY = 0.00521739323933919, RX = -0.00340508920883557, RY = -0.176805083711846 },
                     { Linear = true, X = -0.443679057571986, Y = -0.0269370010984692, LX = 0.00340508920883557, LY = 0.176805083711846, RX = 0.041876424354272, RY = -0.118273416112107 },
                     { Linear = true, X = -0.31804978450917, Y = -0.381757249434789, LX = -0.041876424354272, LY = 0.118273416112107, RX = 0.17940211163886, RY = -0.017964972390069 },
                     { Linear = true, X = 0.22015655040741, Y = -0.435652166604996, LX = -0.17940211163886, LY = 0.017964972390069, RX = -0.00387401382128398, RY = 0.133306053777536 },
                     { Linear = true, X = 0.208534508943558, Y = -0.0357340052723885, LX = 0.00387401382128398, LY = -0.133306053777536, RX = -0.0231970872897691, RY = 0.184954811675825 },
                     { Linear = true, X = 0.13894324707425, Y = 0.519130429755086, LX = 0.0231970872897691, LY = -0.184954811675825, RX = -0.190802345673243, RY = -0.00521739323933919 }
                  }
               } }
         }
      },
      Filter2 = Filter {
         Inputs = {
            FilterType = Input { Value = 3, },
            Red = Input { Value = 0, },
            Green = Input { Value = 0, },
            Blue = Input { Value = 0, },
            Input = Input {
               SourceOp = "MatteControl1",
               Source = "Output",
            },
         },
         ViewInfo = OperatorInfo { Pos = { 788.5, 148.5 } },
         Colors = { TileColor = { R = 0.854901960784314, G = 0.498039215686275, B = 0.298039215686275 }, }
      },
      Blur2 = Blur {
         Inputs = {
            XBlurSize = Input { Value = 1.7, },
            Input = Input {
               SourceOp = "MatteControl1",
               Source = "Output",
            },
            EffectMask = Input {
               SourceOp = "Bitmap1",
               Source = "Mask",
            }
         },
         ViewInfo = OperatorInfo { Pos = { 898.5, 214.5 } },
         Colors = { TileColor = { R = 0.854901960784314, G = 0.498039215686275, B = 0.298039215686275 }, }
      },
      Bitmap1 = BitmapMask {
         Inputs = {
            MaskWidth = Input { Value = 1920, },
            MaskHeight = Input { Value = 1080, },
            PixelAspect = Input { Value = { 1, 1 }, },
            ClippingMode = Input { Value = FuID { "None" }, },
            Image = Input {
               SourceOp = "Filter2",
               Source = "Output",
            },
         },
         ViewInfo = OperatorInfo { Pos = { 898.5, 148.5 } },
         Colors = { TileColor = { R = 0.854901960784314, G = 0.498039215686275, B = 0.298039215686275 }, }
      }
   }
}

I put 2 keyers at the beginning on purpose and the polygon is only a garbage matte, rather look at the rest...

I've basically just plugged the black and white mask into a bit map mask. You can see the settings on the right. Is that not right? The footage is r3d Raw

That is most likely not right, no. What you want to do is use the channel boolean tool and copy the mask to the alpha channel there and then most likely postmultiply the image to get rid of the background, or don't postmultiply and use a subtractive merge instead of the default additive. I think Photoshop does subtractive merges by default (not sure about that though)

Try this:

Use a polygon mask around the plane, invert it, and connect it to the "Garbage Matte" input of the Chroma Key Node.

This worked perfectly for me! Thank you for the tip, you have saved me from frustration!