Note que para encontrar o conjunto de todos os vetores que são ortogonais as colunas da matriz precisamos fazer apenas \(BX=0\).
a) Como o conjunto de vetores é a solução de um sistema linear homogêneo, então é um subespaço vetorial. Veja aqui
b) Precisamos apenas resolver o sistema linear homogêneo.
Faça \(L_4\rightarrow L_4-L_3\), \(L_3\rightarrow L_3-L_2\) e \(L_2\rightarrow L_2-L_1\) para encontrar uma matriz com a primeira linha de \(B\) e as outras linhas iguais a 1. Agora faça
\(L_4\rightarrow L_4-L_2\) e \(L_3\rightarrow L_3-L_2\) para zerar as terceiras e quartas linhas. Para simplificar faça \(L_1\rightarrow L_1-11L_2\). Sobram duas equações:
\[x_2 + 2 x_3 + 3 x_4 =0\] \[x_1 + x_2 + x_3 + x_4 =0\]
Fazendo \(x_4=a\) e \(x_3=b\) temos \(x_2=-2b -3a\) e \(x_1=2b+3a -b - a=b+2a\).
Logo, o conjunto solução é da forma
\[(b+2a, -2b-3a,b,a)=a(2,-3,0,1) + b(1,-2,1,0)\]