Die Gemeinde, die einst zur Güssinger Herrschaft gehörte, scheint im
Mittelalter mit Großmürbisch vereint gewesen zu sein, da die Schenkungsbriefe der Könige an die Güssinger Burgherren immer nur von einem "Medves" (Mürbisch) reden. Im Jahre 1599 kommt der Name "Kys-Medves" in einem Steuerausweis vor, nachdem verschiedene Adelige ebendort acht Häuser besaßen.

1609 werden sieben adelige Häuser genannt, für die sieben Gulden Steuer zu zahlen waren. Als die herrschaftlichen Güter zwischen den Brüdern Christoph und Paul Batthy?ny im Jahre 1662 geteilt wurden, erhielt Graf Paul den Fischteich von Kleinmürbisch. Dieser befand sich laut Urbar von 1779 nächst der Gemeinde. Obwohl Fische eingesetzt wurden, trug er jedoch kaum die Auslagen. Auch zwei Fischreservoire für den Winter, die sich allerdings in einem verwahrlosten Zustand befanden, waren vorhanden.

Ebenso weiß der Volksmund von einer in der Nähe des Hause Nr. 46 befindlichen "kroatischen Mühle" am Kleinmürbischer Bach zu berichten, von der heute jedoch nichts mehr vorhanden ist.

Im Verlauf der Türkenkriege des 16. und 17. Jahrhunderts war das ungarische Gebiet diesseits der Donau den Güssinger Batthy?nys zum Schutz anvertraut. Die Steuer hatte die Gemeinde bis 1582 nach St. Gotthard zu liefern, danach in das Steueramt Güssing. Bis 1856 gehörte Kleinmürbisch zum Stuhlrichteramt Güssing, danach zum Güssinger Notariat. Ab 1901 war es dem Notariat Güssing-Umgebung zugeteilt.

Im Jahre 1779 wurden im Ort 210 Einwohner gezählt, 280 im Jahre 1840 und schließlich 310 im Jahre 1928. Hinsichtlich seiner Pfarrzugehörigkeit wird Kleinmürbisch immer als Filiale von St. Nikolaus genannt, das im Jahre 1928 280 Jahre unter der Verwaltung der Güssinger Franziskaner stand.

Aus dem Jahr 1776 ist uns bekannt, das die Gemeinde eine 73 Pfund schwere Glocke anschaffte. Da die Glocke gegen Ende des Ersten Weltkrieges abgeliefert werden musste, wurde später eine neue angeschafft. Das öffentliche Kreuz, das noch heute erhalten ist, wird erstmals 1776 erwähnt. Über das Vorhandensein einer Kirche oder Kapelle gibt es keine Hinweise; die Gläubigen besuchten die Franziskanerkirche in Güssing. Bis 1822 mussten die Toten im Friedhof St. Nikolaus bestattet werden. Auch nach Anlage eines
eigenen Friedhofes verpflichtete sich die Gemeinde, alle in der kanonischen Visitation bezüglich des St. Nikolaus Schullehrers übernommenen Verbindlichkeiten auch fernerhin zu erfüllen und dem Geistlichen außer der gewöhnlichen Stolgebühr für den Gang und die Mühe einen Beitrag zu zahlen.

Bis zum Jahre 1824 mussten die Kinder von Kleinmürbisch die Pfarrschule in St. Nikolaus besuchen; von 1824 bis 1844 wirkte Johann Csaar in Kleinmürbisch als Ludirektor (Schullehrer) und Notar. Der aus Rotenturm stammende war unter der Bevölkerung sehr beliebt und starb 1844 im Alter von 56 Jahren. Obwohl von der Gemeinde ein eigener Lehrer unterhalten wurde, musste sie zur Erhaltung des Schulgebäudes in St. Nikolaus beitragen.
Zwischen 1844 und 1852 war Viktor Semler als Lehrer und Notar tätig, der von 1861 bis 1865 auch als Richter erwähnt wird. 1856 besuchten 18 Knaben und 12 Mädchen die Schule. Der Unterricht wurde in deutscher Sprache abgehalten. Da das Schulgebäude wegen seines schlechten Bauzustandes dem Einsturz nahe war, beschloss im Jahr 1855 eine Kommission den Neubau des Schulhauses. Zum Oberschulaufseher wurde im Jahre 1855 vom k. k. Statthalterei-Rat und Komitats-Vorstand in Steinamanger Peter Sommer ernannt. Ihm fiel beim Bau des neuen Schulhauses die größte Verantwortung zu. 1885 zählte man 45 schulpflichtige Kinder.

Wie in allen anderen Gemeinden gingen die beiden Weltkriege auch an Kleinmürbisch nicht spurlos vorbei. Im Zweiten Weltkrieg zogen die Kampftruppen durch den Ort; die Bevölkerung hatte drei Gefallene zu beklagen. Nach Kriegsende begann man mit dem Wiederaufbau.

In den Jahren 1949/1950 erfolge der Bau der Filialkirche; das Feuerwehrhaus wurde am 16. Mai 1950 eingeweiht. Die Elektrifizierung des Ortes erfolge 1951. Die Kirche war unter Bgm. Johann Ecker "Wagner" Eigentum der Gemeinde, da sich das Rüsthaus im selben Gebäude befand. Die Volksschule wiederum befand sich im Besitz der Kirche. 1987/1988 wurde die Besitzverhältnisse im Tauschwege geändert. 1974 wurde die einklassige Volksschule aufgelassen; die Kinder besuchen seither die Volksschule Großmürbisch.

Auf dem Platz der ehemaligen Schule wurde ein Feuerwehr- und Gemeindehaus errichtet, dessen feierliche Einweihung 1990 stattfand. Seit 1991 ist Kleinmürbisch wieder eine selbständige Gemeinde (nachdem sie von 1970 bis 1990 zur Großgemeinde Neustift bei Güssing gehörte). Mit dem Neubau des Gemeinde- und Feuerwehrhauses wurde einerseits ein Gemeindezentrum, andererseits eine zeitgemäße Unterkunft für die Freiwillige Feuerwehr und deren Geräte geschaffen. Die Verwaltung von Kleinmürbisch fand bis 1997 im Gemeindeverband in Güssing statt. Seit Jänner 1997 wird das eigene Gemeindehaus für diese Aufgaben genutzt. Im Jahr 2005 wurde das Gemeinde- und Feuerwehrhaus um einen Zubau zur Einstellung von kommunalen Fahrzeugen und für Lagerungszwecke erweitert.

Für die weitgehend ländlich strukturierte Gemeinde war ursprünglich der Güterwegeausbau vordringlich, damit der Landwirtschaft entsprechende Bewirtschaftungsmöglichkeiten geboten wurden.

Im letzten Jahrzehnt wurde die Ortskanalisation errichtet und zugleich die Wasserversorgung neu errichtet. Diese Bautätigkeiten hatten zur Folge, dass auch die Güterwege saniert werden mussten.

Heute ist die kleine Gemeinde Kleinmürbisch im Güssinger Hügelland eine Streusiedlung inmitten herrlicher Naturlandschaft. Während viele Gemeinden im südlichen Burgenland mit der Abwanderung kämpfen, haben sich in Kleinmürbisch im letzten Jahrzehnt viele junge Familien ihr Eigenheim gebaut und dazu beigetragen, dass dem Bevölkerungsschwund Einhalt geboten werden konnte. Laut Volkszählung 2001 zählt Kleinmürbisch 260 Einwohner.