Γεννήθηκε στην Αθήνα και καταγόταν από το χωριό Κουτήφαρι της μεσσηνιακής Μάνης. Είχε δύο μικρότερα αδέρφια, τον Τάσο και τον Νίκο. Κατά τη διάρκεια της κατοχής, μαθητής ακόμη, οργάνωσε την ανεξάρτητη αντιστασιακή ομάδα Ελεύθεροι Έλληνες με συνέπεια τη σύλληψή του από τους Ιταλούς και τη φυλάκισή του στο Spoleto της Ιταλίας το 1941. Απέδρασε δύο χρόνια αργότερα και κατέφυγε στην Αίγυπτο, όπου κατατάχτηκε στο Ελληνικό Πολεμικό Ναυτικό. Πήρε μέρος στο κίνημα της Μέσης Ανατολής και επέστρεψε στην Ελλάδα μετά την απελευθέρωση.

Το 1945 γράφτηκε στο Χημικό Τμήμα του Πανεπιστημίου Αθηνών, εγκατέλειψε όμως τις σπουδές του λίγο πριν το πτυχίο (1953) καθώς αποφάσισε να ασχοληθεί συστηματικά με την τέχνη του λόγου. Κατά τη διάρκεια του εμφυλίου εντάχθηκε στην Ε.Π.Ο.Ν., πέρασε στην παρανομία και εξορίστηκε στον Άη – Στράτη και τη Μακρόνησο. Επέστρεψε στην Αθήνα το 1953, όπου έζησε ως αδειούχος εξόριστος για λόγους υγείας ως το 1962, οπότε καταργήθηκαν τα στρατόπεδα. Ως μέλος του Κ.Κ.Ε. υπέστη νέες ταλαιπωρίες και εξορίες με την επιβολή της απριλιανής δικτατορίας.

Με την μεταπολίτευση συνέχισε την ενεργό πολιτική δράση του στο χώρο της Αριστεράς. Παντρεύτηκε την Σοφία Νέτουρα, με την οποία απέκτησε ένα γιο τον Πέτρο και σε δεύτερο γάμο την Μαρία Κωστάκου, με την οποία απέκτησε μια κόρη, τη Γεωργία. Πρωτοπαρουσιάστηκε στο χώρο της λογοτεχνίας το 1950 με τη δημοσίευση αποσπάσματος από την ποιητική συλλογή Στις έξη του Μάη στις σελίδες του περιοδικού Ελεύθερα Γράμματα. Η δημοσίευση έγινε με πρωτοβουλία του Γιάννη Ρίτσου, φίλου και συναγωνιστή του.

Ιδρυτικό μέλος και μέλος της συντακτικής επιτροπής του περιοδικού Επιθεώρηση Τέχνης, όπου διετέλεσε υπεύθυνος ύλης (1955-1962) και αρχισυντάκτης (1965-1967), ιδρυτής και διευθυντής του εκδοτικού οίκου Διογένης (1971), ιδρυτικό μέλος της Εταιρείας Ελλήνων Συγγραφέων και συνεργάτης του περιοδικού Ηριδανός ο Κουλουφάκος δημοσίευσε ποιήματα, βιβλιοκρισίες, μελέτες και μεταφράσεις. Ασχολήθηκε επίσης με το θέατρο, ως ιδρυτικό μέλος του θεατρικού οργανισμού Δεσμοί (1975 από κοινού με τη Βάσω Κατράκη την Ασπασία Παπαθανασίου και τον Αλέξανδρο Αργυρίου), ενώ εργάστηκε ως καθηγητής λογοτεχνίας στη δραματική σχολή του Λαϊκού Πειραματικού Θεάτρου του Λεωνίδα Τριβιζά και στην ιδιωτική εκπαίδευση.