Всего год отец с матерью жили вместе. Отец усыновил маленького Виталика. Всё, казалось, складывалось отлично. Но счастье, как всегда бывает в жизни, длилось недолго. Вскоре им пришлось на годы расстаться. Случилось так, что секретарём райкома комсомола в Холме была молодая незамужняя женщина и, на ту беду, ей очень понравился отец. Но поскольку отец уже встретил Валю и они полюбили друг друга, то, естественно, он ей сделал от ворот поворот.
«Комсомолка» обиделась и попыталась «решить вопрос», как было принято тогда. То есть в духе того времени. Она была из местных и поэтому кое-что знала о дореволюционной жизни этого города. В тиши райкомовского кабинета эта «девушка» стала неторопливо писать в органы НКВД доносы на отца: мол, комсомолец Николай Егоров утратил классовое чутьё, в результате чего женился на дочке дворянина и внучке миллионера. Отец о родственниках мамы ничего не знал и до какого-то дня не подозревал о том, что над ним сгущаются тучи. Надо сказать, что отец дружил и ходил на охоту (а это больше, чем простая дружба) с председателем исполкома, начальником местного отдела НКВД и военкомом. Это были тоже молодые люди, немного постарше отца. Люди, так сказать, одного круга.
В конце 1939 года, глухой декабрьской ночью, в дом постучался посыльный из райисполкома и сказал, что отцу необходимо срочно явиться в исполком к председателю. Отец быстро оделся и пошёл.
Далеко за полночь, город спит, полная темнота. Только в исполкоме на втором этаже горит свет в кабинете председателя. Отец зашёл в кабинет. Там трое его друзей: председатель исполкома, военком и начальник городского НКВД. Все хмурые и расстроенные. На столе бутылка водки, закуска и какие-то бумаги. Сел за стол.
Председатель налил отцу водки и говорит:
— Коля, выпей сначала водки. Разговор будет серьёзный.
Отец выпил и приготовился слушать. Друзья выложили ему на стол доносы комсомолки, которых оказалось не так уж мало, показания людей, из которых было видно непролетарское происхождение его жены. Потом ещё выпили водки. Отец сидел как оглушённый. Такого он совершенно не ожидал.
Начальник отдела НКВД объяснил отцу, что они несколько месяцев как могли прикрывали его с риском для собственной жизни, не давали делу хода. Но вчера узнали, что эта комсомольская мадам не успокоилась и теперь пишет доносы в вышестоящие органы. А это конец.