Hrad Rabštejn byl nejvýše položeným hradem historické Moravy. Z vlastního hradu se zachovaly jen nepatrné zbytky zdí, jimiž se procházelo do hradního dvora. Dominantou zříceniny jsou dvě skalní hradby 25 a 35 m vysoké. Na temeni nižší skály stála bašta k ochraně brány. Nahoře na východní, vyšší skále byla hradní věž - hláska, která se však již v 18. století až do základů sesula, takže po ní dnes není ani stopa. Podobný osud stihl zřejmě i malý a těsný hradní palác na jižní skále. Dále se zachovaly zbytky okružního zdiva předhradí a stopy hradního příkopu.
Z dálky působí hrad mohutným dojmem, protože oba strmé rozeklané skalní bloky, na nichž byl vybudován vlastní hrad, vypadají samy jako strážní věže se zdmi a cimbuřími. Dnes jsou ovšem z větší části zakryty hustým lesem.
Hrad se skládá ze dvou částí. Horní gotický byl založen někdy koncem 13. století pravděpodobně držitelem úsovského panství Hrabišem ze Švábenic. dva větší a jeden menší skalní blok jsou navzájem spojeny hradbou a uzavírají trojúhelníkovou plochu vnitřního hradu. Mezi skalami byly postaveny obytné budovy, brána se nacházela na jihovýchodní straně. Nový hrad byl zřejmě určen k ochraně severní části úsovského zeměpanského majetku, který tehdy zahrnoval značnou část dnešního Zábřežska a Šumperska. Původní rabštejnské panství zasahovalo více na Šumpersko a jeho hospodářským střediskem byl Frankštát, nynější Nový Malín.

Rabštejn patří k největší a nejznámější lezecké oblasti na severní Moravě. Jsou zde cesty všech stupňů obtížnosti (3 - 10- UIAA), takže si zde zalezou jak rekreační lezci tak lovci extrémů. Skála je pevná a bohatě členěná. Lezení je rozmanité, od stěnového lezení a převisů po komíny a spáry.