Запишем матрицу в виде:

Главный определитель
Минор для (1,1):

Найдем определитель для этого минора.

∆1,1 = -6*(21*4 - 40*3) - 17*(12*4 - 40*2) + 8*(12*3 - 21*2) = 712
Минор для (2,1):

Найдем определитель для этого минора.

∆2,1 = 10*(21*4 - 40*3) - 17*((-3)*4 - 40*1) + 8*((-3)*3 - 21*1) = 284
Минор для (3,1):

Найдем определитель для этого минора.

∆3,1 = 10*(12*4 - 40*2) - (-6)*((-3)*4 - 40*1) + 8*((-3)*2 - 12*1) = -776
Минор для (4,1):

Найдем определитель для этого минора.

∆4,1 = 10*(12*3 - 21*2) - (-6)*((-3)*3 - 21*1) + 17*((-3)*2 - 12*1) = -546
∆=9*712-5*284+11*(-776)-9*(-546)=1366
Определитель отличен от нуля, следовательно, матрица является невырожденной и
для нее можно найти обратную матрицу A-1.
Обратная матрица будет иметь следующий вид:
=
где Aij - алгебраические дополнения.
Транспонированная матрица.

Найдем алгебраические дополнения матрицы AT.

∆1,1 = -6*(21*4 - 3*40) - 12*(17*4 - 3*8) + 2*(17*40 - 21*8) = 712

∆1,2 = -10*(21*4 - 3*40) - (-3)*(17*4 - 3*8) + 1*(17*40 - 21*8) = -284

∆1,3 = 10*(12*4 - 2*40) - (-3)*((-6)*4 - 2*8) + 1*((-6)*40 - 12*8) = -776

∆1,4 = -10*(12*3 - 2*21) - (-3)*((-6)*3 - 2*17) + 1*((-6)*21 - 12*17) = 546

∆2,1 = -5*(21*4 - 3*40) - 12*(11*4 - 3*9) + 2*(11*40 - 21*9) = -118

∆2,2 = 9*(21*4 - 3*40) - (-3)*(11*4 - 3*9) + 1*(11*40 - 21*9) = -22

∆2,3 = -9*(12*4 - 2*40) - (-3)*(5*4 - 2*9) + 1*(5*40 - 12*9) = 190

∆2,4 = 9*(12*3 - 2*21) - (-3)*(5*3 - 2*11) + 1*(5*21 - 12*11) = -102

∆3,1 = 5*(17*4 - 3*8) - (-6)*(11*4 - 3*9) + 2*(11*8 - 17*9) = 192

∆3,2 = -9*(17*4 - 3*8) - 10*(11*4 - 3*9) + 1*(11*8 - 17*9) = -161

∆3,3 = 9*((-6)*4 - 2*8) - 10*(5*4 - 2*9) + 1*(5*8 - (-6)*9) = -286

∆3,4 = -9*((-6)*3 - 2*17) - 10*(5*3 - 2*11) + 1*(5*17 - (-6)*11) = 247

∆4,1 = -5*(17*40 - 21*8) - (-6)*(11*40 - 21*9) + 12*(11*8 - 17*9) = -3286

 ∆4,2 = 9*(17*40 - 21*8) - 10*(11*40 - 21*9) + -3*(11*8 - 17*9) = 2293

∆4,3 = -9*((-6)*40 - 12*8) - 10*(5*40 - 12*9) + -3*(5*8 - (-6)*9) = 4226

∆4,4 = 9*((-6)*21 - 12*17) - 10*(5*21 - 12*11) + -3*(5*17 - (-6)*11) = -3153

Обратная матрица.
=
=
Проверим правильность нахождения обратной матрицы путем умножения исходной
матрицы на обратную. Должны получить единичную матрицу E.
=
E=A*A-1=
12+10*(-118)+(-3)*192+1*(- 9*(-284)+10*(-22)+(-3)*(- 9*(-776)+10*190+(-3)*(- 9*546+10*(-102)+(-
3286) 161)+1*2293 286)+1*4226 3)*247+1*(-3153)
12+(-6)*(-118)+12*192+2*(- 5*(-284)+(-6)*(-22)+12*(- 5*(-776)+(-6)*190+12*(- 5*546+(-6)*(-
3286) 161)+2*2293 286)+2*4226 102)+12*247+2*(-3153)
712+17*(-118)+21*192+3*(- 11*(-284)+17*(-22)+21*(- 11*(-776)+17*190+21*(- 11*546+17*(-102)+21*247+
3286) 161)+3*2293 286)+3*4226 3153)
712+8*(-118)+40*192+4*(- 9*(-284)+8*(-22)+40*(- 9*(-776)+8*190+40*(- 9*546+8*(-102)+40*247+4
3286) 161)+4*2293 286)+4*4226 3153)

Решение было получено и оформлено с помощью сервиса:

Обратная матрица онлайн
Вместе с этой задачей решают также:
Умножение матриц онлайн
Матричный калькулятор
Аналитическая геометрия и векторная алгебра
Определитель матрицы
Координаты вектора в новом базисе