Zowel rechtstaat als rechtsstaat is correct.

In samenstellingen waarvan het rechterdeel met een s begint, schrijven we een tussenletter -s- als er in vergelijkbare samenstellingen zonder s een tussenklank -s- te horen is. Samenstellingen met het zelfstandig naamwoord recht als eerste deel krijgen vrijwel altijd een tussenklank -s-, bijvoorbeeld rechtsbeginsel, rechtsbron, rechtscollege, rechtsfeit, rechtsgeleerdheid, rechtsgelijkheid. Maar er zijn ook samenstellingen zonder tussen-s, bijvoorbeeld rechtbank, rechthebbende, rechtmatig, rechtspraak, rechtvaardig. Daarom is zowel de spelling rechtsstaat als rechtstaat goed te verdedigen.

Vergelijkbare voorbeelden zijn rechtspraak / rechtsspraak, rechtstelsel / rechtsstelsel en rechtsysteem / rechtssysteem.