По обычаю того времени, Николая рано, в три года, зачислили на военную службу в лейб-гвардии Преображенский полк. А действительную службу он начал в 1786 году, в 14 лет. Юный гвардейский прапорщик был определён в армию генерал-фельдмаршала Григория Александровича Потёмкина — своего двоюродного деда по материнской линии.

        Военная деятельность Раевского началась во время второй турецкой войны, продолжалась в Польше и на Кавказе. В 1807 году он получил назначение в отряд Багратиона в Восточной Пруссии, а в кампании 1808 года в Финляндии командовал дивизией. В 1810 году принимал участие в боях против турок на Дунае. В начале Отечественной войны — командир 7-го пехотного корпуса в армии Багратиона. Героически сражался у Салтановки с превосходящими силами французов.

4 августа 1812 года корпус Раевского целый день отражал атаки французов, пока не был сменен корпусом Дохтурова, сорвав этим план Наполеона взять Смоленск с ходу.

Необыкновенный героизм проявил генерал Раевский в Бородинской битве. Батарея из 18 орудий стояла на Курганной высоте на правом фланге. Она была обнесена бруствером высотой более двух метров, окружена широким рвом глубиной в два метра. Оборонял высоту пехотный корпус генерала Раевского, и потому батарею назвали «батареей Раевского». Французы атаковали, но встретив огонь наших пушек, отступили.

        Наполеон считал, что для победы ему непременно нужно захватить батарею. Он посылал в атаки отважных генералов. Погиб один генерал со своим отрядом, потом другой, трое ранены друг за другом. В наших войсках тоже потери: убит молодой генерал граф Александр Иванович Кутайсов, даже тело его не удалось найти. О гибели узнали, когда отыскался его конь с залитым кровью седлом. Раевский контужен. Курган устлан погибшими телами русских, немцев, французов. Французам удалось с очень большими потерями взойти на курган, но дальше их не пустила русская кавалерия. На батарее Раевского было много героев. Фельдфебель егерского полка Золотов увидел, что французский генерал Бонами пытается собрать солдат для новой схватки. Золотов, как кошка, прыгнул на спину генералу, свалил и потащил с курганной высоты. Солдаты Бонами, оставшись без командира, растерялись и бежали. Золотов доставил пленного Бонами на командный пункт, и Кутузов тут же произвел фельдфебеля в офицеры.

        А в историю это место боя вошло под названием «Курганной батареи», «Батареи Раевского».

        Почти ежегодно Раевский с семьёй путешествовал в Крым или на Кавказ. К этому времени относится знакомство семейства Раевских с А. С. Пушкиным. Молодой поэт стал близким другом генерала и его детей. С одной из дочерей Раевского — Марией Николаевной — поэта связывали романтические отношения. Ей он посвятил многие свои стихотворения.

        Осенью 1824 года Раевский по собственному прошению был уволен в отпуск «до излечения болезни». 1825 год стал самым печальным в жизни генерала. Сначала умерла нежно любимая мать — Екатерина Николаевна, а в декабре, после восстания на Сенатской площади, были арестованы сразу трое близких ему людей: брат Василий Львович и мужья дочерей — М. Ф. Орлов и С. Г. Волконский. Все они были высланы из столицы. К следствию по делу декабристов были привлечены и сыновья Раевского — Александр и Николай. Однако с них подозрения были сняты. В конце следующего года Николай Николаевич навсегда простился с любимой дочерью Марией, уехавшей в Сибирь к своему сосланному мужу.