Voor het eerst officieel vermeld in het jaar 1727. Gebouwd als jachtslot en brouwerij met tapperij door Severin van Sterzinger, afkomstig uit Nassereith. Zo begon het verhaal van Ansitz Felsenheim. De familie Sterzinger, die door de zouthandel over de Fernpass welvarend werd, breidde geleidelijk haar bezit in Lermoos uit. De familieleden bekleedden belangrijke functies in het dorp en de latere eigenaar van het jachtslot, Dr. Jakob Josef Sterzinger, werd zelfs in 1767  met het predikaat „tot Felsenheim“ geadeld. Lange tijd opende het huis zijn deuren voor mensen uit alle windstreken. Een verbouwing in 1908 in de destijds moderne Jugendstil-stijl bracht het historische pand weer tot meer leven. Tijdens de Tweede Wereldoorlog fungeerde Felsenheim als lazaret en daarna werd het huis tot 1960 opnieuw als herberg bedreven.