H.264 AVCと言えば、高画質で高圧縮の動画フォーマットです。ニコニコ動画もH.264に対応しました。
普通、これに変換する場合は、いろいろなツールを利用するのですが、MediaCoderは他のソフトは要りません。

これで変換すればすぐできます。
高画質にしたければ、モード:2passかQuarity-basedにしたり、ビットレートをあげたりしてください。
場合によっては、フレームレートが25.000になっている場合があるので、画像タブ→フレームレートにチェック→30000/1001にする。