На редкость повезло вам со знакомыми.
Согласно переписи 1939 года, население СССР = 170млн человек, из них сидело 1,8 млн, ежегодно в среднем сидело около 1% или меньше. За исключением небольшого послевоенного скачка до 1,5%, в целом, за 30 лет через лагеря прошло 9,5 млн. чел, при этом надо учитывать, что далеко не все прошедшие лагеря были невиновны, к тому же большую часть заключенных Гулага составляли уголовники, а не осужденные по 58-й.
Более того, в то время отсидевший не считался изгоем, как сегодня, ровно наоборот, была воспитательная пропаганда "на свободу с чистой совестью". Если хотел работать, никто не запрещал. Иди хоть в маршалы, хоть в академики. И шли.