Иван Гранитов родился в 1875 году.
Был рукоположен во священника; со временем возведен в сан протоиерея и назначен настоятелем Николаевской церкви в станице Талгар Верненского уезда Семиреченской области.
11 февраля 1920 года, во время начавшихся безбожных гонений, протоиерей Иоанн был арестован большевиками по обвинению «в контрреволюционных выступлениях против советской власти... и в укрывании запасов хлеба». Во время ареста мучители вырвали у священника бороду и перед расстрелом выкололи ему глаза и цепью наперсного креста пилили шею. Во время пыток священник закричал, обращаясь к православным: «Не отрекайтесь от Бога!»
Увидев, сколь жестоким мучениям подвергается пастырь, за него вступился диакон Константин Зверев и тут же был изрублен шашками. Останки священномученика палачи сложили в мешок и бросили в овраг рядом с кладбищем, где проводились расстрелы.
Протоиерей Иоанн Гранитов был расстрелян в ночь на 12 февраля 1920 года. Вместе с ним тогда же было расстреляно еще шесть человек.