Интересная вещь сегодня получилась. Затребовалось мне логинится на свой SSH несколькими пользователями зарегестрированными в системе по паре ключей. В конфиге sshd было прописано местоположение authorized_keys для одного пользователя и я решил по простому и логичному методу добавить в конфиг authorized_keys другого. Примерно так:

AuthorizedKeysFile      /home/user1/authorized_keys

AuthorizedKeysFile      /home/user2/authorized_keys

Но сервер упорно отлупливал запросы на авторизацию этого пользователя сообщая "Server refused your key". Для того чтобы можно было авторизовываться от нескольких юзеров то содержимое их authorized_keys нужно добавить не в ~ а в глобальный файл авторизованных ключей с новой строки для каждого вновь созданного. Например так:

sudo cat /home/user1/authorized_keys > /etc/authorized_keys

sudo cat /home/user2/authorized_keys >> /etc/authorized_keys

После чего наслаждаемся результатом :) Возможно кому то поможет. Всем удачи.