Η ιστορία του Ποιμενικού Καυκάσου αποτελεί μυστήριο, αλλά είναι γνωστό ότι κατάγεται από αρχαίες φυλές. Αρχαιολογικά ευρήματα που ανακαλύφθηκαν πρόσφατα υποδεικνύουν ότι η φυλή πιθανόν να έχει προέλευσή από τη Μεσοποταμία, αν και ορισμένοι ειδικοί πιστεύουν ότι αυτά τα σκυλιά εκτράφηκαν για πρώτη φορά στο Θιβέτ ή κατάγονται από ποιμενικά των Βαλκανίων και στην πορεία των αιώνων έφτασαν έως τον Καύκασο.

Η οροσειρά του Καυκάσου της Ανατολικής Ευρώπης αποτέλεσε πατρίδα πολλών εθνών με διαφορετικούς πολιτισμούς ανά τους αιώνες. Τα εδάφη της Αρμενίας, της Γεωργίας, του Αζερμπαϊτζάν, της Καμπαρντίνο-Μπαλκαρίας, του Νταγκεστάν, της Οσετίας, της Τουρκίας, της Τσετσενίας, της Ινγκουσετίας και του Ιράν είναι επίσης πατρίδα του Ποιμενικού Καυκάσου ή αλλιώς Καυκάσιου Οβτσάρκα (ρώσικη λέξη που σημαίνει ποιμενικός σκύλος). Ιστορικά, οι σκύλοι αυτοί χρησιμοποιούνταν για τη φύλαξη και την ασφάλεια κοπαδιών και κατοικιών από αρπακτικά σε ακραίες κλιματικές και εδαφικές συνθήκες. Η πρώτη αναφορά ενός μεγάλου μολοσσοειδούς σκύλου που χρησιμοποιούσε ο στρατός του Αρμένιου τσάρου Tigran II χρονολογείται από τον 1o αιώνα π.Χ.

Υπήρχαν πολλοί διαφορετικοί “τύποι” που βρέθηκαν σε διάφορες περιοχές και χρησιμοποιούνταν σε διαφορετικές εργασίες. Στις υπερκαυκάσιες περιοχές ο τύπος του σκύλου ήταν συνήθως πιο συμπαγής και με πιο πυκνό τρίχωμα, ενώ στις στέπες είχε πιο ελαφρύ σωματότυπο, με μακρύτερα σκέλη και πιο κοντό τρίχωμα. Ωστόσο, τα σκυλιά που βλέπουμε σήμερα εκτρέφονται για να συμμορφώνονται με ένα συγκεκριμένο πρότυπο φυλής.

Η συστηματική και επιλεκτική αναπαραγωγή της φυλής ξεκίνησε στην ΕΣΣΔ τη δεκαετία του 1920. Υποχρεωτικές ιδιότητες όπως η σωματική δύναμη, η αυτοπεποίθηση, η έλλειψη φόβου, η οξεία ακοή και όραση καθώς και το πυκνό και αδιάβροχο τρίχωμα ξεχώρισαν και καλλιεργήθηκαν κατά τη διαδικασία επιλογής. Όλες αυτές οι ιδιότητες, καθώς και η απίστευτη αντοχή τους, επιτρέψε στους ανθρώπους να χρησιμοποιήσουν Ποιμενικούς Καυκάσου σε κάθε είδους κλιματολογικές συνθήκες, συμπεριλαμβανομένων των πιο ακραίων. Η προστασία και η αφοσίωση τους στην υπεράσπιση των ιδιοκτητών και των κοπαδιών τους είναι θρυλική.

Κάποτε η φυλή ήταν τόσο δημοφιλής και πολύτιμη που οι πρώην σοβιετικές αρχές δημιούργησαν κρατικά εκτροφεία όπου εξέτρεφαν σκύλους για να φυλάνε κυβερνητικές εγκαταστάσεις και εργοστάσια σε όλη τη χώρα. Στην Αμερική ο Ποιμενικός Καυκάσου χρησιμοποιήθηκε από τον στρατό ως σκύλος υπηρεσίας, λόγω της εμπιστοσύνης και αξιοπιστίας του.

Η φυλή αναγνωρίστηκε από τη Διεθνή Κυνολογική Ομοσπονδία (FCI) το 1984 και έχει ξεκινήσει να γίνεται αρκετά δημοφιλής παγκοσμίως, ακόμη και ως οικογενειακός σύντροφος.