Als Vektoroperator wird in der Quantenmechanik ein Operator bezeichnet, der unter Drehungen wie ein Vektor transformiert. Er ist ein Spezialfall eines Tensoroperators. In der Drehimpulsalgebra der Quantenmechanik können Erwartungswerte von Vektoroperatoren (und allgemein von Tensoroperatoren) mit Hilfe des Wigner-Eckart-Theorems auf wenige reduzierte Matrixelemente zurückgeführt werden.
Im Folgenden wird die abstrakte mathematische Definition näher erläutert. Ein Vektoroperator erzeugt Morphismen zwischen Zustandsvektorräumen und hat ein spezielles Transformationsverhalten unter Drehungen. Der Zustandsvektorraum sei der Hilbertraum $ {\mathcal {H}}:={\mathcal {L}}^{2}(\mathbb {R} ^{3};\mathbb {C} ) $ und die drehende Gruppe die $ \operatorname {SO} (3) $.
Die Drehgruppe operiere kanonisch (kovariant) auf $ \mathbb {R} ^{3} $, auf $ {\mathcal {H}} $ und auf deren Tensorprodukt. Ein Vektoroperator $ A $ ist dann ein Morphismus von Darstellungen
das heißt ein Vektorraumhomomorphismus, der mit Drehungen kommutiert.
Ist $ \{e_{i}\} $ die kanonische Basis von $ \mathbb {R} ^{3} $, so kann man schreiben: $ A\colon \psi \mapsto \sum _{i}e_{i}\otimes A_{i}\psi $. Unterdrückt man sämtliche Struktur so wird daraus: $ A\psi =(A_{1}\psi ,A_{2}\psi ,A_{3}\psi )\in {\mathcal {H}}^{3} $. Konjugiert man $ A $ mit einer Drehung (das ist die natürliche Operation von Drehungen auf solchen Morphismen), so liefert das in dieser Notation die Identität
Es ist nämlich $ R.A=D(R)\circ A\circ D(R^{-1})\colon \psi \mapsto D(R)\left(\sum _{i}e_{i}\otimes A_{i}\psi \right)\circ D(R^{-1}) $ $ =\sum _{i}Re_{i}\otimes A_{i}\psi =\sum _{ik}R_{ki}e_{i}\otimes A_{k}(\psi )=\sum _{i}e_{i}\otimes \left(\sum _{k}A_{k}R_{ki}\right)(\psi ) $.
Ein Tensoroperator der Stufe $ k $ ist ein Morphismus von Darstellungen
wobei hier die Drehgruppe auf $ \mathbb {R} ^{3k} $ operiert wie auf $ \mathbb {R} ^{3^{\oplus k}} $.
Dies liefert in der impliziten Notation die Gleichung