Kemah’ın Tarih öncesi çağları hakkında kesin bilgilere sahip değiliz. Ancak, Erzurum çevresi gibi komşu yörelerde yapılan bazı araştırmalar, bölge tarihinin umumi manada, insanlık tarihinin en eski devirlerine, yani “Paleolitik Çağ”a (Yontma Taş Devri) kadar götürmektedir. Müteakip devirlerde ise Kemah bölgesinin ön tarihi hakkında bilgilerimiz ilmi boyutlar kazanmaya başlar: “Son Kalkolitik” ve “İlk Tunç Çağ “ devrelerinde Doğu ve Güney-doğu Anadolu’da -Karaz türü çanak-çömlekleri adı ile tanımlanan- yaygın ve homojen, kendine has eserleriyle bir kültür grubu ortaya çıkar.^{[5][daha iyi kaynak gerekli]} Karaz Kültürü adının yanı sıra, buluntu yerlerine göre çeşitli isimler altında tarif edilen bu kültür, gerçekte çok mühim bir tarihi hadiseyi ve gelişmeyi yansıtmaktadır. Adı geçen arkeolojik materyal Hurrilere ait olup, dil yapısı bakımından Ural-Altay dil ailesi ile yakınlık gösteren bu kavmin çeşitli kollar halinde Trans-Kafkasya, Kura-Aras yöresinden Doğu Anadolu ve komşu bölgeler üzerine yaptıkları göç ve yayılmaları belgelemektedir.

Araştırmacılar Kemah’ın yer aldığı Erzincan yöresini de, bu kültürün gelişim bölgesi içinde zikrederler.“Tarihi Çağlar” da, Kemah ve çevresi hakkındaki aydınlatıcı bilgileri, Hittit ve Assur çivi yazılı kaynaklarından edinmekteyiz: MÖ 3. bindeki Hurri kabilelerinin ve Urartular gibi akraba boyların göçlerini müteakip, MÖ 2. binde Doğu Anadolu’da birtakım küçük feodal beyliklerin teşekkül ettiği görülür. Bunlardan birisi de Kemah yöresindeki beyliktir.

Hittit kaynaklarında, Erzurum ve Erzincan arasındaki bölge “Hayaşa/Hajaşa” olarak geçmektedir. Hititlerin amansız düşmanı olan Hayaşa beyliği’nin Kral I. Şuppiluliuma (MÖ 1375-1345) devrinde birçok çetin mücadelelerden sonra Hitit devletine tabi olduğu anlaşılmaktadır. Kaynaklara göre, bir ara durmuş olan Hitit-Hayaşa çekişmesi, Şuppiluliuma’nın ölümünden sonra tekrar alevlenmiştir. Bunun üzerine oğlu II. Murşillis, Hitit devletine karşı ayaklanan Hayaşalı’larla Kemah yakınlarında savaşmak zorunda kalmıştır. Anlaşıldığına göre Hititlerle mücadeleye devam eden Hayaşalılar, yeniden bağımsızlıklarını elde etmişlerdir.

MÖ 13. yüzyılın ilk çeyreğinden itibaren Assur devletinin Ön Asya’da gittikçe kuvvetlenmesi üzerine Doğu Anadolu’nun siyasi durumunda büyük değişikliler görülür: Doğu Anadolu ile Assur arasında bir “ tampon devlet” niteliğinde olan Hurri-Mitanni (Hanigalbat) devletinin zayıflayarak tarih sahnesinden çekilmesini fırsat bilen Assur, Doğu Anadolu’ya amansız akınlar düzenlemeye başlamıştır. Bunun üzerine yukarıda zikrettiğimiz Hurri kökenli ve akraba Urartu kabilelerinin meydana getirdikleri Feodal beylikler, Assur’a karşı birleşirler. Böylece Doğu Anadolu’da, merkezi Van Gölü olmak üzere gelecekteki Urartu devletinin temelini oluşturan “ Uruatri” ve “Nairi” konfederasyonları, yeni bir politik güç olarak ortaya çıkar. Hitit kaynaklarında “Hayaşa” adı altında tarif edilen Kemah bölgesi, Assur kaynaklarında zaman zaman Nairi konfederasyonunun hakim olduğu topraklar dahilinde zikredilmektedir. Bu feodal beylik, konfederasyonunun bir üyesidir.

MÖ 9. yüzyılın ikinci yarısında, Doğu Anadolu’ya yapılan Assur seferleri gittikçe yoğunlaşır. Bunun üzerine, Uriatri ve Nairi konfederasyonları, birleşerek Urartu devletini kurarlar. Bu sırada, Assur kralı III. Salmanassar’ın (MÖ 848-MÖ 824) Fırat’ın kaynaklarına kadar ulaşan seferleri sırasında Suhme bölgesini de fethederek yağmaladığı görülür. Urartu kralı II. Argişti (MÖ 714-MÖ 685) devrinde, Kemah ve Erzincan yörelerinin Urartu devletine ilhak edilerek batı sınırında güçlü bir eyalet merkezi haline getirildiği anlaşılmaktadır.

Medleri takiben Perslerin Doğu Anadolu’ya hakim olmaları ile- Kemah-Erzincan yöresi dahil-Doğu Anadolu'nun büyük bir kısmı, Pers Kralı I. Dareiros’un yeniden organizasyonu sonucunda -o çağlardaki adı ile- ”Armina/Arminyia” Satraplığına, yani XIII. Satraplık bölgesine dahil edilmiştir. Bilahare Roma İmparatorluğunun hakimiyeti altına giren bu bölge, Roma, Part krallığı ve yerli krallık arasındaki mücadelelerde, bir kilit noktası teşkil etmiştir. Bölgede, Roma hakimiyetinin zayıflaması üzerine birçok yeni prenslikler kurulmuştur. Birbirleriyle sürekli mücadele halinde olan bu prenslikler zaman zaman Doğu Roma'nın veya İran'ın nüfuzu altına girmiştir.

Kemah, eski çağlarda “Ani” ismiyle de bilinmektedir. I Theodosios (379-395) devrinde Kemah'ın bulunduğu bölgenin adı “Daranalis” olarak geçer. Yine onun zamanında şehre “Theodosiopolis” adı verilmiştir. Şehir daha sonraki devirde Anastasios tarafından yeniden kurulmuştur. İslamiyetin zuhurundan kısa bir müddet sonra, bu bölge Arapların akınlarına maruz kaldı. Araplar, burasını evvela H. 59 (MS 678/679)'da, sonra 710 senesinde, daha sonra H. 105 (MS 723/724)'te Mervan bin Muhammed kumandasında ve tekrar Mesleme bin Abdülmelik idaresinde zapt etmişlerdir. H.133 (MS 750/751)'de Bizans İmparatoru Konstantin tarafından kuşatılması üzerine, Abbasi halifesi Ebu Ca’fer el-Mensur, şehri Bizanslılara karşı tahkim etti. Bununla beraber 754/755'te Kemah, tekrar Bizanslıların hakimiyeti altına girdi. Bundan sonra burası, halifeler ile Bizanslılar arasında birkaç defa daha elden ele geçti. Sonraki asırlarda Bizanslılara tabi kaldı.

Arap tarihçisi Belazuri H.149-150(MS 766) yılında yapılan bir Kemah muhasarasını şöyle anlatır :”El-Mansur, H.149 da Bağdat’dan hareket edip,Hadisetü’l-Mavsıl (Musul) a geldi. İlk önce Hasan Bin Kahtebe’yi, onun arkasından da Muhammed bin Eş’as’ı kutsal savaşta (Bizans’a karşı cihad) bulunmak üzere gönderdi. İki komutanın emrindeki kuvvetlere Abbas bin Muhammed’i emir yaptı. Abbas’a onlarla beraber Kemh (Kemah) üzerine yürümeyi emretti. Muhammed bin Eş’as, Amid (Diyarbakır) de öldü. Hasan ile Abbas ilerlediler. Malatya’ya vardılar.Oradan yiyecek maddeleri yüklettiler. Oradan kalkıp, Kemah çevresine geldiler. Abbas, mancılıklar kurmayı emretti. Fakat kaledekiler mancılıklardan atılan taşlardan korunmak üzere, kalelerinin (duvarları) üstüne dikenli ardıç ağaçları yerleştirdiler, Müslümanları taşladılar. Bu taşların tesiriyle 200 müslüman şehid oldu. Müslümanlar Debbabe’ler (?) yaparak şiddetli bir surette savaştıktan sonra kaleyi fethettiler. Abbas bin Muhammed bin Ali ile birlikte Matar Varrak da, bu kutsal savaşlara katıldı.”

Kemah’ın Türklerin hakimiyeti altına geçmesi Malazgirt zaferinden (1071) kısa bir müddet sonra oldu. Alp Arslan, Malazgirt zaferini müteakib kumandanlarından Emir Saltuk’a Erzurum ve havalisini; Emir Artuk Bey’e Mardin, Amid, Malatya ve civarını; Emir Danişmend’e Kayseri, Sivas, Tokat, Niksar ve Amasya’yı; Emir Çavudur’a Maraş, Saros ve mülhakatını; Emir Mengücek’e ise Erzincan, Kemah, Şarki-Karahisar ve havalisini ıkta ederek bu memleketlerin fethedilmesini emretmiştir. Bunun üzerine Kemah, Erzincan ve mülhakatını zabteden Emir Ahmed Mengücek Gazi, Mengücek Beyliği’ni kurarak, müstahkem bir kaleye sahip bulunması dolayısıyla, Kemah’ı merkez yaptı.

Mengücek Gazi’nin ölümünden sonra yerine oğlu İshak geçti. İshak, Danişmend Ahmed Gazi’nin kızı ile evli idi. Artuklu emiri Belek Gazi’nin ülkesine saldırması üzerine ona karşı koyamayacağını anlayan İshak, Trabzon dukası Konstantinos Gavras’ın yanına giderek ondan yardım istedi (1119). Gavras, İshak’ın teklifini kabul etti ve her ikisi de, askerleri ile Belek’in karşısına çıktılar. Belek de bunlara karşı Danişmend Gazi ile ittifak yapmıştı. Her iki taraf Erzincan’a bağlı Şiran kalesi yakınlarında karşılaştılar. Burada yapılan savaşta Gavras ve Mengücek-oğlu ağır bir hezimete uğrayarak esir düşmüşlerdir (H.514/MS 1120). Gavras, fidye mukabilinde kurtulmuş, İshak ise Danişmend Gazi'nin damadı olduğundan serbest bırakılmıştır.

İshak'ın ölümünden (1142) sonra Mengücek ülkesi, oğulları arasında paylaştırıldı. Kemah, Melik Mahmud’a; Erzincan, Davud Şah’a; Divriği ise Süleyman Şah’a düştü. Mengücek devletinin Kemah kolunun, Melik Mahmud’un ölümünden sonra çökmesi üzerine Kemah, Erzincan beyliği idaresine geçti. Davud Şah’ın 1151’de öldürülmesini müteakip, Kemah ve Erzincan, Divriği hükümdarı Süleyman Şah'a tabi kılınmışsa da, çok geçmeden, Davud Şah’ın oğlu Fahreddin Behram Şah (1165-1125), babasının beyliğine sahip çıkmıştır (1165). Çok iyi bir hükümdar olan Fahreddin Behram Şah zamanında bilhassa Erzincan, mühim bir kültür ve ticaret merkezi haline gelmiştir. Burada, babası ve kendi adına basılmış paralar mevcut olduğu gibi, yine kendi ismini taşıyan bir medrese de bulunmaktadır.

Yağı-basan’ın ölümü (1164) üzerine II. Kılıç Arslan, Danişmend Beyliğini, ülkesine katarak Mengüceklileri de kendisine tabi kılmıştır. Bu suretle Mengücek oğulları Selçukluların himayesi altında uzun müddet emniyet içinde yaşadılar. Nihayet Harizmşah Celaleddin Mengübirti ve Moğol istilaları dolayısıyla Doğu Anadolu hudutlarını emniyet altına almak isteyen Selçuklu Sultanı I. Alaaddin Keykubad (1220-2237), Erzincan ve Kemah'ı ülkesine ilhak ederek Mengücek devletine son verdi (1228). Kösedağ savaşını (1243) müteakip Moğolların Anadolu’yu istilasından sonra, yapılan anlaşma gereğince Erzurum ve Bayburt havalisi ile birlikte Kemah ve Erzincan’da uzun bir müddet Selçukluların elinde kalmıştır. Nitekim H. 695 (M. 1295-96) yılında Erzincan’da II. Gıyaseddin Mes’ud adına basılmış paraların mevcudiyeti bu hususu teyit etmektedir.

Son İlhanlı hükümdarı Ebu Said Bahadır Han’ın ölümünden (1335) sonra Kemah ve Erzincan havalisinin, Sivas, Ankara, Kayseri ve Şarki- Karahisar’a hakim olarak bir devlet kurmaya muvaffak olan Eretna oğullarının idaresine geçtiği, gerek Alaaddin Eretna (öl. 1352) gerekse oğlu Gıyaseddin Mehmed (1352-1365) namına basılan paralarla sabittir. Eretna oğullarının zaafından istifade ederek harekete geçen Erzincan emirlerinin de zaman zaman Kemah’ı hakimiyetleri altına aldıkları görülmektedir. Nitekim Erzincan emiri Ahi Ayna Bey’in ölümünü (1361) müteakip Şarki-Karahisar’dan gelerek Erzincan’ı alan Emirzade Pir Hüseyin Bey’in Bayburt'a kadar uzanarak burasını fethettiği bilindiğine göre, bu arada Kemah'ı da almış olması kuvvetle muhtemeldir. Pir Hüseyin 1379 yılında ölünce, Erzincan emirliği Eretna oğullarından Mutahharten (Taharten)’in eline geçti. Mutahharten, emir olur olmaz Erzurum, Çemişgezek, İspir, Bayburt, Tercan, Kemah ve Şebinkarahisar (Şarki-Karahisar) şehirlerini idaresi altına aldı.

Kemah ve havalisi, bir müddet, Erzincan emiri Mutahharten ile son Eretna hükümdarı II.Mehmed Bey’i bertaraf ederek Sivas’ta hükümdarlığını ilan eden (1381) Kadı Burhaneddin Ahmed (öl. 1398) arasındaki mücadelelere sahne olmuştur. Kadı Burhaneddin, Erzincan emiri Mutahharten üzerine yürüdüğü sırada (1394) Kemah valisi, kendisini karşılayarak itaatini bildirdi. Kadı, Erzincan topraklarında büyük tahribat yaptıktan sonra geri Sivas’a döndü. Çok geçmeden Mutahharten’in tekrar Kemah’a karşı harekete hazırlandığını haber alan Kadı Burhaneddin, ikinci kez Erzincan’a yürüdü. Bu esnada Kemah, Akkoyunlu Kara Yülük Osman Bey’in katl ve yağma hareketleriyle neticelenen hücumuna maruz kaldı. Kadı Pulu savaşında (1395) Mutahharten’ yenilince, Kemah tekrar Erzincan emirinin eline geçti.

Kadı Burhaneddin’in Kara Yülük Osman Bey tarafından öldürülmesinden sonra (1398) Sivas'ı Osmanlı ülkesine katan Yıldırım Bayezid,Timur hakimiyetini kabul etmiş bulunan Erzincan emiri Mutahharten’in kendisine tabi olmasını istedi. Fakat Erzincan emiri, bunu kabul etmeyerek keyfiyeti Timur’a bildirdi.Bu sıralarda Karakoyunlu hükümdarı Kara Yusuf’la Sultan Ahmed Celayir’in Osmanlılara ilticalarından dolayı,Timur ile Bayezid’in arası açılmıştı. Timur, Erzincan emirinin bu müracaatı üzerine Sivas’a yürüdü. Ordusuna Kara Yülük ile Mutahharten rehberlik ediyorlardı. Sivas’ı yakıp yıktıktan sonra memleketine döndü (1400). Buna çok müteessir olan Bayezid, bizzat doğu hududuna gelerek Erzincan ile Kemah'ı Mutahharten’in elinden almış ve kendisinin hakimiyetini tanıması şartıyla Erzincan’ı tekrar ona vermiş ise de, Kemah Kalesi'ni iade etmeyerek buraya muhafız koymuş; Mutahharten’in ailesini de rehine alarak Bursa’ya göndermiştir. Fakat Timur, Yıldırım Bayezit'e karşı harekete geçince Kemah'ı raptederek yine eski sahibi Mutahharten’e verdi.

Kemah ve Erzincan civarı, bundan sonra, Akkoyunlu hükümdarı Uzun Hasan'ın 1467’de Karakoyunlu devletini ortadan kaldırarak buraları hakimiyeti altına almasına kadar geçen devrede, birbirlerine rakip bu iki Türkmen topluluğu arasında sık sık el değiştirmiştir. Bunların birbirleriyle olan amansız mücadeleleri yüzünden başta Erzurum, Erzincan, Tercan ve Bayburt olmak üzere Doğu Anadolu'nun birçok şehir, köy ve kasabaları, büyük ölçüde tahribata uğramıştır. Bu bölgeler ancak Uzun Hasan (1453-1478) zamanında istikrar ve huzura kavuşabilmiştir. Fakat Uzun Hasan'ın ölümünden sonra Akkoyunlu devleti, uzun süren taht kavgaları yüzünden acze düşmüştür. İşte bu kargaşalıkların devam ettiği bir sırada birçok Türkmen boy ve uluslarını etrafına toplayarak Safevi devletini kuran Şah İsmail, 1500’de Azerbaycan, 1507’de Diyarbakır, nihayet 1508’de Bağdat'ı alıp Akkoyunlu Türkmen devletine son verdi. Bu arada bütün Akkoyunlu şehir ve kaleleri gibi çok müstahkem olduğu bilinen Kemah kalesi 1503’ten itibaren Safevilerin emrine girdi. Öyle anlaşılıyor ki, bu tarihten itibaren kale ve civarında bulunan Akkoyunlu Türkmenleri şuraya buraya veya Osmanlı ülkesine sığınmış, yerlerine Safevi taraftarı Türkmenler yerleştirilmiştir. 19 Mayıs 1515 tarihinde Yavuz Sultan Selim'in Kemah Kalesini fethetmesiyle Kemah Osmanlı Topraklarına katılmıştır. Bundan sonra bir daha Türk hakimiyetinden çıkmamıştır.