La Orden de los Carmelitas tiene sus orígenes en el Monte Carmelo, en Palestina, en el norte del actual estado de Israel y próxima a la costa mediterránea, donde, como recuerda el II Libro de los Reyes, el gran Profeta Elías, en el siglo VIII a. C., luchó en defensa de la pureza de la fe en el Dios de Israel con los sacerdotes de Baal que habían llevado al pueblo al paganismo. Elías y los sacerdotes ofrecieron sacrificios, consumiéndose únicamente la ofrenda de Elías. El mismo profeta vio, durante su oración, aparecer una nubecilla portadora de benéfica lluvia después de la sequía. Desde siempre este monte ha sido considerado el jardín floreciente de Palestina y símbolo de fertilidad y belleza. "Karmel", vocablo hebreo, de hecho significa "jardín" y en el Antiguo Testamento aparece también como “Vergel de Dios”. Según la tradición, Elías se fue al Monte Carmelo con sus discípulos y estableció una tradición contemplativa viviendo como eremitas en oración. Las excavaciones han demostrado que ya desde el siglo III d.C. griegos cristianos se establecieron como eremitas en el área del Carmelo.
En el siglo XII (quizás después de la tercera cruzada, 1189-1191) algunos penitentes-peregrinos, provenientes de Europa, se establecieron junto a la "fuente de Elías", en una de las estrechas vaguadas del Monte Carmelo, para vivir en forma eremítica y en la imitación del Profeta Elías su vida cristiana en la misma tierra del Señor Jesucristo. Tanto entonces como después los Carmelitas no reconocieron a ninguno en particular con el título de fundador, permaneciendo fieles al modelo Elías ligado al Carmelo por episodios bíblicos y por la tradición patrística greco-latina, que veía en el Profeta uno de los fundadores de la vida monástica. Construyeron una pequeña iglesia en medio de las celdas, la dedicaron a María, Madre de Jesús, y desarrollaron el sentido de pertenencia a la Virgen como la Señora del lugar y como Patrona, y tomaron de ahí el nombre de "Hermanos de Santa María del Monte Carmelo".
Este grupo de ermitaños laicos para tener una cierta estabilidad jurídica se dirigió al Patriarca de Jerusalén, Alberto Avogadro (1150-1214), residente en aquel tiempo en San Juan de Acre, en las cercanías del Monte Carmelo. Este escribió para ellos una norma de vida, entre el 1206-1214: vida contemplativa, meditación de la Sagrada Escritura y trabajo. La aprobación definitiva de tal texto como Regla aconteció en 1247 por Inocencio IV.
Hacia el 1235, los Carmelitas debieron abandonar el lugar de origen, a causa de las incursiones y persecuciones de los sarracenos, que estaban reconquistando la Tierra Santa, retomándola a los cruzados. Una antigua tradición dice que la Virgen les prometió ser para ellos su Estrella del Mar. Muchos cruzados que regresaban a su patria también conocieron y llevaron con ellos la devoción a la Virgen del Carmelo.
En 1241 el Barón de Grey de Inglaterra regresaba de las Cruzadas en Palestina trayendo consigo un grupo de religiosos del Monte Carmelo a los que les obsequió una mansión en Aylesford. Diez años más tarde ocurrió allí la aparición de Nuestra Señora a Simón Stock dándole el Escapulario Carmelita que siempre llevan. Los Carmelitas buscaron desde Aylesford, Inglaterra, propagar su espiritualidad por el continente. En el siglo XIII, Inocencio IV concede a los Carmelitas el privilegio de ser incluidos entre las Órdenes mendicantes (junto con los Franciscanos y Dominicos). 
En el siglo XV y XVI la Orden Carmelita fue profundamente reformada. La más conocida es ciertamente la llevada a cabo en España por Santa Teresa de Jesús en Ávila para la reforma de las monjas y después de los religiosos, ayudada por San Juan de la Cruz. Se propaga con el beneplácito de Pío IV en 1562. La nueva regla elimina las concesiones hechas al mundo y retorna a la vida centrada en Dios con toda sencillez y pobreza como la de los primeros eremitas del Monte Carmelo. El fin de Santa Teresa fue darse del todo a Dios en profunda oración. Se tienen así dos Órdenes del Carmelo: la de "Los Carmelitas", llamados también de la "Antigua Observancia" o "Calzados", y la de "Los Carmelitas Descalzos" o "Teresianos", que consideran a Santa Teresa de Jesús como su reformadora y fundadora.
Al inicio de la Revolución Francesa la Orden Carmelita estaba ya establecida en todo el mundo con 54 Provincias y 13,000 religiosos. Precisamente a causa de la Revolución Francesa la Orden del Carmelo sufrió graves daños, de modo que al final del siglo XIX se vio reducida a 8 Provincias y 727 religiosos. Sin embargo fueron estos pocos religiosos los que durante el siglo XX, con valor y determinación, restablecieron la Orden en aquellos países donde habían estado presentes anteriormente, así como también implantaron el Carmelo en nuevos continentes. En la actualidad cuentan con aproximadamente 2.000 religiosos (calzados, descalzos y ermitaños) así como terciarios en los calzados (V.O.T.) y descalzos (seglares).