После основания Екатеринбурга значение Верхотурья стало снижаться. В 1753 году в России закрыли внутренние таможни, а в 1763 году вместо Бабиновской дороги открыли Московско-Сибирский тракт, прошедший через Екатеринбург. Развитие Верхотурья значительно замедлилось. Посетивший город в 1771 году И.И. Лепехин писал про верхотурский кремль: «Он огорожен каменной стеной с зубцами по роду деревянного укрепления. Две каменные башни с бойницами, но время много сие попортило, стены местами обвалились». В 1840-х годах часть западных стен кремля, стоявших на уклоне, постепенно наклонялась и затем рухнула. Во избежание несчастий власти решили сломать самую красивую часть западной стены, вместе с башнями. На фотографиях конца XIX века на Троицком камне уже не видно кремлевской стены. Из административного и торгового центра Верхотурье превратилось в центр православный. Во второй половине XIX века почитание праведного Симеона Верхотурского, всея Сибири чудотворца распространилось за пределы Урала. В Верхотурье прибывало всё больше паломников. В первой половине 1910-х годов их поток достигал 90-120 тысяч человек в год.