sshd_configをいじってるうちに自宅サーバにsshログインできなくなって、四苦八苦してましたが、サーバ設置の寒い部屋でコンソール開いてログを見てみると「Address already in use.」とエラーが出てました。ぐぐってみると、

secureのsshdのログ – 教えて！goo

が出てきました。なるほど、ログをよく見てみると、

Feb 17 12:48:48 www sshd[3123]: Server listening on :: port 22.
Feb 17 12:48:48 www sshd[3123]: error: Bind to port 22 on 0.0.0.0 failed: Address already in use.

「::」って、そっか、IPV6で先にポート22を使ってしまってるわけですね。助かりました。