В 1920 году Бабель присоединился к Первой Конной Армии под командованием Будённого в качестве военного корреспондента. В составе этой армии он стал участником Советско-Польской войны 1920 года. В ходе этой кампании Бабель вёл дневник, который, к сожалению, сохранился не полностью: из семи месяцев пребывания Бабеля в составе Первой Конной армии (май — ноябрь 1920 г.) дневник документирует менее трёх.
Работая над «Конармией», Бабель опирался на этот дневник.