Markus TOIVONEN arkadaşları ile birlikte «Dark Reflections» adında bir grupta çalmaya başladı. Bu grup genelde Megadeth, Pantera ve benzeri grupların şarkılarını çalıyordu. Sonradan Markus bu grupta istediği müziği yapamadığını ve daha değişik birşeyler yapmak istediğini farketti. Markus folk müzikten çok etkileniyordu ve yapmak istediği müzik türü melodik death metaldi.Amorphis ve Dark Tranquiltty’nin yaptığı müziği yapmak istiyordu. Markus grubun bateristi Kimmo Miettinen’e bu fikrini açtı ve beraber bir grup kurmaya karar verdiler. Aralarına arkadaşları Sauli Savolainen’de bas gitarist olarak katıldı. Tek sorunları kalmıştı grubun ismi. Birgün Markus Sauili’yi evinde ziyaret etmeye gittiğinde bir latince sözlük buldu. Gözünü kapatıp açtığı sayfada Ensiferum kelimesi gözüne çarpmıştı.
Ensiferum çalışmalarına Ocak 1996 yılında Helsinki yakınlarında Pasila gençlik merkezinde başladılar. ( Burası bir önceki grupları Dark Reflections’un çalışmalarını yaptıkları yerdi). Markus 1995 yılında şarkıları yazmaya başlamıştı. Bu şarkılar «Knigthood», ”Old Man (Väinämöinen)» ve Frost” parçaları idi. Aynı yılın içinde Markus Jari Mäenpää ile tanıştı. Jari Immemorial grubunun vokalisti idi ayrıca solo çalışmaları olan tecrübeli bir gitarist ve vokalist idi. Gruba vokalist ve ikinci gitarist olarak kabul edildi. Jari gruba gitar çalma tekniği ve harika fikirleri ile beraber gelmişti. Ensiferum artık 3 kişilik değil 4 kişilik bir gruptu. Jari «Old Man» şarkısına yazdığı sözler ile şarkı sözü yazma konusunda da çok yetenekli olduğunu gösterdi.
Jari ocak ayında askere gitti ve grup bir süre müziğe ara verdi. Kalan elemanlar zamanlarını kullandıkları enstrüman tekniklerini arttırmak için çalışmalarla geçirdiler. Jari 1997 yılında askerden dönmüş ve grup hemen demo çalışmalarına başlamıştı. Kasım ayında Kivi Stüdyolarında ilk demoları kayıt edildi. 3 şarkı içeren bu demoda ”Frost”, ”Old Man” ve ”Knighthood” şarkıları yer almaktaydı. Sene içinde bu demo 300 adet sattı.
İlk demolarını çıkarttıktan sonra Ensiferum Pasila’da iki konser verdiler. Bu arada şarkı yapmaya devam ediyordu. Sonra grup bir süre nefeslenmeye karar verdi. Kimmo Miettinen gruptan ayrılmış ve ArthmesiA grubuna katılmıştı. Sauli Savolainen ise kendini işine ve okuluna vermişti. Aynı sene içinde ArthemesiA grubundan ayrılan Oliver Fokin gruba katılmıştı. Yani Ensiferum ve ArthemesiA grupları bateristlerini takas etmişlerdi. Sauli’nin müziğe ayıracak vakti olmadığı anlaşıldığı zaman Kimmo Miettien’in ufak kardeşi Jukka-Pekka Miettinen gruba dahil edilmişti. Ensiferum grubu 14 yaşında bir batariste kavuşmuştu. Artık grup ikinci demoları için çalışma yapmaya hazırdı.
İkinci demoları Ocak 1999 yılında MD-Stüdyolarında kayıt edilmişti. Bu demo 4 şarkı içeriyordu. ”The Dreamer’s Prelude”, ”Little Dreamer (Väinämöinen II)”, ”Warrior’s Quest” ve ”White Storm”. Bu demo ilkine göre daha başarılı olmuş ve grup dikkatleri üstüne çekmeye başlamıştı. Enfiferum üçüncü ve son demolarını Kasım 1999 yılında yine MD-Stüdyolarında kayıt etmişlerdir. Bu demo 4+1 şarkı şeklinde piyasaya sürmüşlerdi. ”Intro”, ”Hero In A Dream”, ”Eternal Wait”, ”Battle Song” ve ekstra şarkı ”Guardians Of Fate”. Guardians Of Fate şarkısı Jari’lerin evinde elektronik davul ile beraber kayıt edilmişti ( drum machine olarak bilinir. Bateri kullanılmaz yerine bateri partisyonları bilgisayar ile yapılır ve diğer enstrümanlar bu kayıtın üzerine çalıp şarkıyı kayıt ederler.). Eternal Wait şarkısında misafir bayan vokalist kullanılmıştı Johanna Vakkuri. Grubun bu yeni demosu Tuomas Tahvanainen tarafından dizayn edilen yeni logosu ile piyasaya sürülmüştü.
Üçüncü demoları müthiş tepki almış ve pek çok müzik dergisi ve radyo tarafından ayın demosu olarak gösterilmişti. Bu demonun en büyük kazancı büyük firmaların gözlerini Ensiferum grubuna çevirmeleri olmuştu. Ve sonunda Spinefarm firması gruba demolarını yeniden kayıt etmelerini ve kendi etiketleri ile piyasaya sürmelerini önerdi.Bu harika öneri hemen kabul edildi. Bu arada Ensiferum Finlandiya’da düzenlenen yarışmada en yüksek puanla finale kalmıştı. Aynı zamanda Spinefarm firmasının desteği ile ilk albüm kayıtlarına başlamıştı. Albüm Kasım 2000’de Sundi-Coop stüdyolarında Tuomo Valtonen yapımcılığında kayıt edildi. Albüm kayıtlarında grup pek çok misafir müzisyen kullandı.B unlar Trollhorn (klavye), Johanna Vakkuri (misafir bayan vokal) and Marita Toivonen (kantele; Finlandiya’ya özgü bir çalgıdır.).
2001 yılının bahar aylarında ilk albümleri Tuomo Valtonen tarafından kendi stüdyosunda düzenlendi.Bu arada Ensiferum grubu kendisine yeni bir eleman daha almıştı. Meiju Enho gruba klavyeci olarak katıldı. İlk albümleri Haziran 2001 yılında
Yeni albümleri «Iron» Danimarka’nın Kopenhag şehrindeki Sweet Silence stüdyolarında 2003 yılının yaz aylarında kayıt edildi. Bu stüdyonun tercih edilmesinin sebebi yapımcı idi. Flemming Rasmussen geçmişte pek çok ünlü grubun kayıtlarını yapmıştı. Bunların içinde en önemlileri Metallica’nın «Master Of Puppets» ve «Ride The Lighting» albümleridir ( Metallica’nın bateristi Lars Ulrich bilindiği gibi Danimarka’lıdır ve Metallica’dan önce Diamond Head grubunda bateri çalmış ve Flemming ile bu dönemde tanışmıştır). «Iron» albümü Rasmussen tarafından kayıt edilip düzenlenmiştir. Bu kayıttan sonra Ensiferum grubunun gitarist/vokalisti Jari Mäenpää gruptan ayrılmıştır. Yeni vokalist arama çalışmaları hemen sonuca ulaşmış ve Norther grubunun vokalisti Petri Lindroos (mchtomen) gruba katılmıştır.