Karłowicz był wielkim miłośnikiem Tatr. Zakopane odwiedził pierwszy raz w wieku 13 lat (1889 rok), a na stałe przeprowadził się na Podhale w 1906 roku. Był jednym z pionierów polskiego taternictwa, a wraz z Mariuszem Zaruskim – inicjatorem idei TOPR-u. 8 lutego 1909 roku Karłowicza porwała lawina, którą sam podciął na wschodnich stokach Małego Kościelca. W miejscu tragicznej śmierci postawiono pamiątkowy Kamień Karłowicza. O szczegółach tych tragicznych wydarzeń przeczytasz tutaj.