De forme ovale – on pourrait y déceler une figue – le bourg médiéval est entouré d’une enceinte construite au cours de la seconde moitié du XIVe siècle.
Les traces des premiers Carombais remontent à l'époque paléolithique. Ces nomades qui vivaient à la belle étoile se nourrissaient du produit de la chasse, de la pêche et de la récolte de fruits et baies sauvages. Le gibier abondait, le poisson pullulait dans le Brégoux et le Gouredon.
La première mention écrite de (Ad) Carumbum date de 1021.Le nom de Caromb viendrait de "car" (mot celtique signifiant pierre) et "umbo" (en latin, monticule). Le nom provençal "quairoun" ou "queiroun" (grosse pierre carrée) fait référence aux carrières de pierre exploitées sur le territoire de la commune.
De 1481 à 1553, la Seigneurie de Caromb appartint à Etienne de Vesc qui devint ministre de Charles VIII après avoir servi Louis XI. Très riche, Etienne de Vesc fit construire, en 1486, le château de Caromb, le plus beau du Comtat après le palais des Papes.
Plusieurs portes subsistent de nos jours : la porte ou portail du Rieu, la porte Neuve, la porte de Modène et la porte de l’Église.
Contrairement à d'autres villages du Comtat venaissin, l'église Saint-Maurice est construite hors les murs.
