Le dictionnaire de la Gendarmerie française, publié en 1838, relate que:
Sous tous les gouvernements, anciens et modernes, il a existé un corps armé destiné à protéger la société contre les individus qui attentent à la sûreté des personnes et à la conservation des propriétés; aussi l'origine de la Gendarmerie, ou d'institutions analogues, se confond-elle avec l'origine des peuples (Cochet de Savigny).
Ancien régime
La première trace relative à une Maréchaussée, trouvée dans les archives du Gouvernement, date du 23 octobre 1732, époque de la domination autrichienne. Il s'agit d'une proposition des députés du Duché de Luxembourg et du Comté de Chiny tendant à la création d'une "Maréchaussée" de seize hommes, commandée par un officier, pour combattre le fléau des vagabonds et gens sans aveu. Cette Maréchaussée fut créée par règlement du 3 février 1733.
Régime français
De 1795 à 1813, le Luxembourg fut incorporé sous la dénomination de "Département des Forêts" à la France, et le système de la "Gendarmerie Nationale" fut introduit dans le pays. La loi du 28 Germinal An VI constitue encore aujourd'hui la loi de base de la Gendarmerie Grand-Ducale.
En 1805, la dénomination de "Gendarmerie Impériale" fut substituée à celle de "Gendarmerie Nationale".
Régime transitoire
Après la défaite de Napoléon à Leipzig en 1813, le Luxembourg fut incorporé à la province du Rhin-Moyen, administrée par la Prusse. La Gendarmerie étant en ce moment complètement désorganisée, une ordonnance du 18 février 1814 du Commissaire-Général des Puissances Alliées la remplaça par une "Milice gouvernementale" composée de 3 officiers et de 106 sous-officiers et soldats.
Régime néerlandais
A partir du 9 juillet 1815 jusqu'en 1830, le Luxembourg formait avec la Belgique et la Hollande le Royaume des Pays-Bas.
L'arrêté du 27 février 1814 portant création d'un Corps de Maréchaussée en Belgique, du reste entièrement constitué suivant le modèle de la Gendarmerie française, fut étendu au Luxembourg.
Lors de la révolution belge en octobre 1830, le Luxembourg fut scindé en deux parties; la plus grande partie forma la province de Luxembourg, partie intégrante de la Belgique actuelle, et l'autre, le Grand-Duché de Luxembourg, qui resta liée à la Hollande.
A partir de cette date jusqu'en 1839 notre territoire actuel fut contrôlé par la "Maréchaussée néerlandaise."
Indépendance
Le Luxembourg étant redevenu indépendant suite au traité de Londres du 19 avril 1839, la création d'un propre organisme de police s'imposait. La "Maréchaussée royale grand-ducale" est créée par l'ordonnance du 29 janvier 1840.
En 1842, la Gendarmerie perd son autonomie et se voit incorporée dans le contingent fédéral. Jusqu'en 1877 le Commandant de la Gendarmerie est placé sous les ordres du commandant du contingent.
L'arrêté royal grand-ducal du 25 août 1863 élève les effectifs à 108 hommes et le nom est changé en "Königlich Grossherzogliche Gendarmerie Kompagnie" (Compagnie de Gendarmerie Royale grand-ducale).
En mai 1877, la Gendarmerie se retrouve séparée du contingent. Cette autonomie fut cependant de courte durée. La loi du 16 février 1881 et l'arrêté royal grand-ducal du 2 mars 1881 décident de la création d'une "Force Armée", formée par une compagnie de gendarmes et une compagnie de volontaires, placées sous le commandement unique d'un major.
En 1903, on crée au sein de la Gendarmerie une brigade criminelle, appelée à seconder les autorités judiciaires dans la recherche des crimes et délits. Cette brigade est réorganisée et renforcée en 1911. Par arrêté grand-ducal du 30 novembre 1929 la brigade criminelle reçoit la dénomination de "Service de la Sûreté Publique". Par la loi du 29 mai 1992, ce service est dénommé "Service de Police Judiciaire".
La Force Armée du Grand-Duché est demeurée intacte et a continué à vivre durant toute la guerre de 1914 à 1918, et ceci malgré l'occupation permanente de notre territoire par les troupes allemandes, contrairement à ce qui s'est passé vingt-deux ans plus tard.
Période de la Deuxième Guerre mondiale
Le 10 mai 1940 l'armée du Reich allemand franchit les frontières du Luxembourg.
La Gendarmerie est dissoute et ses membres sont obligés de suivre des cours de recyclage en Allemagne. Sous la menace de mitrailleuses ils sont obligés de prêter collectivement le serment de fidélité au Reich. Ensuite ils sont intégrés dans les services de la police allemande et déplacés dans les pays occupés sur le front de l'Est. Beaucoup de gendarmes furent déportés et moururent dans les camps de concentration.
Après la guerre
La loi du 23 juillet 1952 pose les fondements légaux de la "Gendarmerie actuelle". Elle fait partie de la Force publique au même titre que l'Armée et la Police. Elle est placée dans les attributions du ministre de la Force publique pour tout ce qui concerne l'organisation, l'administration, l'instruction et la discipline, et elle relève du ministre de la Justice pour tout ce qui est relatif au maintien de l'ordre public et à l'exercice de la police judiciaire.