어떤 정사각행렬에서 주대각원소를 제외한 모든 원소들이 0인 행렬을 말한다. 이때 주대각원소는 0이거나, 0이 아닐 수 있다. 즉, 행렬 D의 i행, j열에 있는 원소를 d^ij라고 할 때, i≠j일 때, d^ij = 0인 행렬이다. 예를 들어 3차 정사각행렬이면서 대각 행렬인 행렬은  같은 형태를 띠게 된다. 선형대수학에서 대각행렬은 행렬식, 고유값 등을 구할 때 매우 간단하게 나타나므로 복잡한 행렬의 경우 대각행렬로 변환하여 나타내는 경우가 많다.