O - центр круга BAD = 10 градусов

Попробую
{ x^2 + y^2 - 2z^2 = 2a^2
{ x + y + 2z = 4a^2 + 4
{ z^2 - xy = a^2
Умножим 3 уравнение на 2 и сложим с 1 уравнением.
x^2 + y^2 - 2z^2 + 2z^2 - 2xy = 2a^2 + 2a^2
x^2 - 2xy + y^2 = (x - y)^2 = 4a^2
x - y = +-2a; y = x -+ 2a
Получаем 2 уравнения
{ x + y + 2z = 4a^2 + 4 __ (1)
{ y = x -+ 2a _ _  _ _ _ _ _ (2)
Не обращайте внимания на нижние подчеркивания, они для выравнивания строк по горизонтали.
Подставляем уравнение (2) в уравнение (1)
x + x -+ 2a + 2z = 4a^2 + 4
Делим все на 2
x -+ a + z = 2a^2 + 2
x + z = 2a^2 +- a + 2 _ (3)
Сложим уравнения (3) и (2)
x + y + z = 2a^2 +- a + 2 + x -+ 2a = 2a^2 -+ a + 2 + x
В общем, я не могу это доказать, но у меня такое чувство, что
x + y + z = 3a^2
Тогда выражение x0 + y0 + z0 - 3a^2 = 0

Расстояние от точки М до точки F1 - это модуль вектора F1M(x1;y1).
Координаты вектора: x1=Xm-Xf1, y1=Ym-Yf1 или x1=Xm-4, y1=Ym-0.
|F1M| = √(х1²+y1²) или |MF1| = √[(Xm-4)²+(Ym-0)²].
Расстояние от точки М до точки F2 - это модуль вектора F2М(x2;y2).
И |F2M|=√[(Xm+4)²+Ym²].
Тогда наше условие можно выразить так:
√[(Xm-4)²+Ym²]-√[(Xm+4)²+Ym²]=|6|. =>
√[(Xm-4)²+Ym²]=|6|+√[(Xm+4)²+Ym²].
Возведем обе части уравнения в квадрат:
(Xm-4)²+Ym²=|6|²+2*|6|*√[(Xm+4)²+Ym²]+(Xm+4)²+Ym² =>
Xm²-8Xm+16=36+2*|6|*√[(Xm+4)²+Ym²]+Xm²+8Xm+16 =>
-8Xm=36+2*|6|*√[(Xm+4)²+Ym²]+8Xm  =>
-8Xm-18=|6|*√[(Xm+4)²+Ym²] - возводим еще раз в квадрат:
(-8Xm-18)²=36[(Xm+4)²+Ym²] =>
64Xm²+288Xm+324=36Xm²+288Xm+576+36Ym² =>
28Xm²-36Ym²=252. Или (разделим на 4) =>
7Xm²-9Ym²=63 - уравнение кривой 2-го порядка в общем виде.
Если разделим обе части на 63, то получим
Xm²/9-Ym²/7=1 или
Xm²/3²-Ym²/(√7)²=1 - каноническое уравнение гиперболы.
ответ: искомое уравнение для точек М - уравнение гиперболы
7Xm²-9Ym²=63 или Xm²/3²-Ym²/(√7)²=1

P.S. Исследование уравнения гиперболы выходит за рамки заданного вопроса.