Para a b, as questões foram resolvidas no octave.

Alguns comentários do código:

Para a extração das formas modais, utilizou-se de códigos manuais.

Na matriz diagonal de frequências, a frequência 3 resultou em valor negativo, o que me fez

questionar se não errei algo na dedução de [a], entretanto, não encontrei erro.

Formas modais para o sistema original:

No segundo caso, as massas foram alteradas para M1=10, M2=25 e M3=18. Assim, obteve-se:
No primeiro modo, com força menor, não se observou diferenças no gráfico. Já no segundo e
no terceiro, observaram-se maiores valores de amplitude de deslocamento em modos
diferentes, onde observa-se maior interferência da massa no deslocamento (vale lembrar que
estes valores servem como amplitude máxima para as equações de deslocamento no tempo).

Código utilizado (feito no octave online):

clc, clear all, close all

m1=15
m2=15

m3=15

A=[4,7,10;7,54,27;9,81,32]

Cte=2.571428571e-5

a=Cte*A

K=inv(a)

M=diag([m1, m2, m3])

[V, w] = eig(K,M)

X1 = [0 V(1,1) V(2,1) V(3,1)]

X2 = [0 V(1,2) V(2,2) V(3,2)]

X3 = [0 V(1,3) V(2,3) V(3,3)]

eixoX=[0 1 2 3]

Figure (1)

plot(eixoX,X1)

title("Forma Modal - X1","fontsize",18)

Figure (2)

plot(eixoX,X2)

title("Forma Modal - X2","fontsize",18)

Figure (3)
plot(eixoX,X3)

title("Forma Modal - X3","fontsize",18)