Воздвижению Смоленского собора предшествовала легенда о чудесном обретении образа Богоматери, называемого Смоленским.
На месте чудесного прославления иконы в бытность Преосвященного Иустина, Митрополита Белгородского и Обоянского, и с помощью воеводы князя генерала и губернатора Кольцова-Мосальского в 1705 была построена и освящена деревянная церковь. В 1727 году преосвященный Архиепископ Белгородский Петр заложил каменную двухэтажную церковь «в нижнем этаже во имя явления Смоленской иконы Пресвятой Богородицы Одигитрии, в верхнем этаже во имя святых первоверховных Апостолов Петра и Павла. И нижний этаж Преосвященным Митрополитом Белгородским Антонием освящен в 1743 году, а верхний освящен Святейшего Правительствующего Синода Членом, Епископом Белгородским Порфирием Крайским, 1763 года, мая 24 дня; которая церковь благодатью Божией до ныне существует, и притекающим к ней с верою от чудотворной иконы многие чудеса и исцеления подаются».
«В первые годы существования Смоленского собора производились достройки и переделки как нижнего, так и верхнего храмов. Начиная с 30-х годов прошлого столетия внутренний вид храма постепенно обновляется и украшается усердием Белгородских граждан и прежде всего на личные пожертвования известного именитого Белгородского гражданина и купца Михаила Константиновича Мачурина. На его средства в 1825 году верхняя церковь отделывается под мрамор, а в 1839 году его стараниями устраивается с северной стороны придел в честь его Ангела, Архистратига Михаила, «дабы иметь возможность и зимой совершать поздние литургии». На средства того же М.К.Мачурина в 1848 году возобновляется вообще нижняя церковь».
В результате ремонтных и больших строительных работ, на протяжении XIX века собор претерпел значительные изменения. В годы Великой Отечественной войны он был значительно разрушен. В 1958 и 1974 годах были предприняты попытки взорвать собор, но к счастью, это не
осуществилось. В конце 80-х годов были начаты работы по реконструкции Смоленского собора под органный зал, а после передачи здания собора епархии началось его восстановление в том виде, который собор приобрел в конце XIX века.
В 1994 году 23 декабря был освящен нижний храм Высокопреосвященнейшим архиепископом Курским и Рыльским Иувеналием, верхний же храм освящен Преосвященнейшим Иоанном, Епископом Белгородским и Старооскольским 11 июля 1996 года. Собор расположен в центре города. В квартале, ограниченном улицами: Императорская (ныне Гражданский пр-т), Магистратская (ныне ул. Чумичева), Смоленская (ныне пр-т Славы), Введенская (ныне ул. Князя Трубецкого).
Смоленский собор – редкий для Белгородского региона тип двухэтажного храма, его стены оштукатурены и окрашены в голубой цвет, детали в белый. В построении объемов и архитектурной пластике фасадов использованы декоративные приемы русской архитектуры конца XVII века. Это тип храма «восьмерик на четверике». Храм верхнего яруса двухсветный. Одночастная, полукруглая апсида, поднятая на два этажа, завершается световым восьмигранником с луковичной главкой на глухом восьмеричке; одноярусная восьмигранная колокольня поставлена на двухэтажный четверик притвора, равный по ширине храму. Все три восьмерика (на храме, апсиде и колокольне) имеют крыши, повторяющие форму восьмилотковых сводов. Западный фасад в 1862 году был закрыт вновь возведенной пристройкой для лестничных маршей, ведущих на второй этаж, «устроенной стараниями церковного старосты Гавриила Ивановича Муромцева». Пристройка выполнена в формах классицизма. Надобность в этой пристройке возникла из-за того, что открытые галереи и лестничные марши, охватывавшие здание собора с запада, севера и юга, обветшали и пришли в негодность.
Сложная многообъемная композиция с мощным четвериком храма, создающим главную вертикальную ось собора, производит впечатление монументальности и незыблемости архитектурного образа.