То, что вы ответственный и исполнительный работник - это очень хорошие качества и хорошо характеризуют Вас, как человека, значит и в других ситуациях они проявляются. Найти баланс между такой работой и личной жизнью очень непросто,но можно. Вы для руководства очень удобный сотрудник, а надо стать нужным. А когда работник очень нужен с его личным временем начинают считаться, и надо показать руководству, что у Вас оно есть это личное время. Желаю удачи!

Если хорошо платят, то ни чего можно и подзависнуть пару часов.

Коллега абсолютно права. Вам необходимо лекарство под названием "пофигизм". Сначала в больших дозировках, затем всё меньше и меньше.
И ещё нужно учиться правильно докладывать руководству о проделанной работе. Если работу, которая у Вас заняла 15 минут Вы распишите так как-будто делали её час, то 45 минут у Вас в кармане. Если Вы не сделаете свою внеурочную работу в тот же день, случится что-то из рук вон плохое? Если руководство Вас ценит, то свои условия необходимо диктовать.
В конце концов работа дело наживное, а вот с личными отношениями не всё так просто. Я всегда ставлю в приоритет семью.

Учитесь делегировать полномочия и спрашивайте за результат по существу.
Если видите, что человек в принципе справится - прикажите ему взять на себя тот или иной процесс, пусть не систематически, а разово.
Это все равно придется делать, потому что у вас наверяка в лучшем случае будет отпуск, в худшем - нервный срыв.
Готовьте ситуацию к тому, что иногда вам все таки придется отсутствовать.
Это, между прочим тоже показатель руководителя, как работа идет в его отсутствие.

Думаю, нужно попробовать уволиться и поменять работу

Научитесь говорить НЕТ! http://kznportal.ru/forum/index.php?showtopic=4406

Ваша коллега права, надо приучить руководство к мысли, что у вас кроме работы есть еще и личная жизнь, а так - кто везет - на том и едут.