他のエンコードツールとの比較 - つんでれんこ まとめ wiki

つんでれんこと他のエンコードツールとの比較

こちらの記事も参照してください → ニコニコ動画向けエンコードについて

つんでれんこでは、映像エンコードにはx264、音声エンコードには、NeroAAC (または、qtaacenc)を使用しており、これらにパラメータを渡すフロントエンドとして機能しています。
これは、ニコエンコや、AviUtlを使ったH264エンコードと同じです。

これらのツール間の主な違いは、「どこまでをツール(プリセット)任せにするか、どれだけユーザーが自由に動かせるパラメーターにするか」です。
デフォルトのインターフェースでいじれるパラメータの数は、x264の直接操作 ≧ AviUtlを使ったH264エンコード >> つんでれんこ > ニコエンコ、となります。
(ただし、ニコエンコやつんでれんこでも、設定ファイルを手でいじれば、AviUtlを使ったH264エンコードと設定の自由度は大差なくなり、ほぼ同等の画質でエンコードすることも可能ではあります。その変更や試行錯誤に手間がかかるかどうかという違いです。)

つんでれんこやニコエンコであれば、細かいことはツール任せにし、エンコード設定に関して、いくつかの質問に答えたり、選択肢から選んだりするだけで、それなりの品質でエンコードすることができます。

AviUtl自体は、動画の編集が本来の目的のツールなので、動画編集からエンコードまで一つのソフトで済ますことが可能というメリットがあります。また、各種フィルターを利用して、ビットレートを抑えてもきれいにエンコードできるように前処理を行なうことが可能です。
AviUtlを使ったH264エンコードでは、細かくパラメーターをいじれて、より動画に適したエンコード設定を探るのが容易になる代わりに、その最適値を得るためには、ある程度自分でエンコード設定について考えたり、試行錯誤したりする必要があります。どのようなエンコード設定にすれば良いのかわからないのであれば、aviとして書き出して、つんでれんこでエンコードしたほうが良い結果が得られる場合もあります。

つんでれんこ v2.71のx264設定を、拡張x264(GUI)Ex v1.43用の設定ファイルにしてみた: さまよう金の髭
x264でのニコニコ動画用エンコードで注意すべき設定(AviUtl) - パラダイス☆ケンジ
この2つの記事を参考に設定すれば、つんでれんこと同じ画質・軽さの動画にエンコードできるようになります。そこから先は、拡張 x264 出力（GUI）Exの設定項目とその機能について - ニコニコ動画まとめwikiを参考に設定をいじって、試行錯誤してみてください。

お手軽がいいけど、多少は設定をいじってみたい、という人は、つんでれんこ。
エンコードにこだわりたい人は、AviUtlを使ったH264エンコード、と自分の好みによって使い分けると良いでしょう。
(もちろん、つんでれんこを使う場合でも、設定ファイルを編集してもっと自分の動画に適した設定でエンコードする、というのもアリです。)
(なお、ニコエンコは開発が停止して時間がたっており、デフォルトのまま使用すると再生環境によっては問題が起こるのでオススメしません。(→ ニコエンコ v0.77を使う場合の注意点 - さまよう金の髭)
どうしても使いたい場合は、ニコニコ動画Zeroに対応させて、つんでれんこ2.71のプリセットmを移植した設定ファイルをまとめたニコエンコv0.77用設定ファイル詰め合せをダウンロードし、ニコエンコの変換先の設定ファイルを差し替えた上で、(特にプレミアム会員は)自動変換でなく、メニューの動画→手動変換で適切にビットレートを設定すれば、それほど問題のない動画にはなるはずです。