Firma powstała w 1790 roku w Wiedniu. Jej założycielem był Joseph Hardtmuth. Ze względu na łatwiejszy dostęp do złóż grafitu oraz tańszą siłę roboczą została w 1848 roku przeniesiona do Czeskich Budziejowic.
Początki firmy związane są z opracowanym przez Franza Hardmutha ołówkiem 1500, który początkowo był wytwarzany w siedemnastu, a później dwudziestu stopniach twardości. Został on uhonorowany złotym medalem na wystawie światowej w Paryżu w roku 1889. Jako pierwszy z produkowanych na świecie ołówków został polakierowany farbą w kolorze żółtym oraz oznaczony kombinacją liter i cyfr oznaczających stopień twardości. Oznaczanie stopnia twardości zostało opracowane przez właściciela firmy Franza Hardtmutha i obowiązuje po dzień dzisiejszy.
Brytyjska królowa Wiktoria zezwoliła firmie na używanie nazwy KOH-I-NOOR (nazwa diamentu z korony Królowej). Od roku 1894 diament stał się oficjalnym symbolem marki a firma zaczęła się posługiwać nazwą KOH-I-NOOR. Nazwa istniejącej firmy Fabryka ołówków L & C Hardtmuth została zmieniona na KOH-I-NOOR fabryka ołówków L & C Hardtmuth, a później w 1957 roku nazwa została skrócona do KOH-I-NOOR HARDTMUTH.
Na początku XX wieku firma była jednym z największych producentów artykułów piśmienniczych na świecie i miała swoje oddziały w wielu krajach.
I i II Wojna Światowa znacznie ograniczyły zasięg sprzedaży i wielkość produkcji. Po II Wojnie Światowej firma została najpierw znacjonalizowana, a następnie sprywatyzowana.
Obecnym właścicielem skupiającym majątek Spółki i prawa do przedsięwzięć biznesowych jest Vlastislav Bříza.
Polski Oddział Firmy powstał w roku 2002 jako wyłączny dystrybutor marki KOH-I-NOOR HARDTMUTH w Polsce.
Od 2015 roku działa w Warszawie Sklep Firmowy KOH-I-NOOR, pełniący funkcję Show Room-u.
W 2016 roku powstała nowa siedziba firmy w Harbutowicach koło Skoczowa, dzięki czemu spółka zyskała nowoczesny magazyn wysokiego składowania oraz kolejny Sklep Firmowy KOH-I-NOOR.