まぁ、既知の問題。それもUSBオーディオデバイス全般に言えるらしいが、「プツ」というノイズが乗る。

原因はUSBの通信品質によるものらしく、PC側のコントローラーまで絡むややこしい問題らしい。
ハブを挟んだり、帯域の大きいものを同一コントローラー上につなぐだけで通信が不安定になり、ノイズがのるというもの。

デジタルならノイズが「無条件で絶対に載らない」と思っている人がいるようだがこれは誤りである。
特にUSBはFullSpeed/HighSpeedで帯域保証がなくリアルタイムで再生するとバッファ切れによるノイズ(上記のプツ）が発生し、S/PDIFは一方通行でエラー訂正は元から信号に含まれている分のみだから、不完全になる可能性がある。
いずれにせよ、デジタルのデータ保証ができるのは、送信・検証・再送の仕組みを持つからであり、このサイクルを持たない場合は劣化が起き得る。
なお、一部には単純なデータコピー（TCP/IPでの転送など）でも劣化が起きるとか思い込んでる人がいるが、上記のサイクルを持つ限りは完全性が保証できるので問題はない。最近は早々データが壊れないのでMD5で確認する必要も低い。(普通は転送プロトコルで保証されるので、どこかにバグがない限り手動で見る必要はない）

前置きが長くなったが、ノイズの問題。USBオーディオデバイスではFullSpeedの帯域をほぼ使い切る。こういうことをすると大抵は通信品質の低下に対する問題が表面化しやすい。しかも、リアルタイム性が重視され、大容量のバッファリングが難しいオーディオデバイスでは致命傷になりやすい。
実際、私のPCはマザーボード上にPCI-E x2接続のUSB 3.0(5.0Gbps対応)コントローラーが別途搭載されており、こちらに単独搭載してもノイズが解消しなかった。もう、USBの通信品質が環境により低いとかいう問題ではない。

なお、プロユースの製品ではFireWireが一般的らしい。私のPCにも積んであるので、ぜひ３万～のクラスでFireWire接続の製品が欲しいのだが。

ところで、USBが原因だと切り分けできた理由が気になることだろう。
これは簡単な話で、S/PDIFで接続してみただけである。この状態だとノイズは消え、実に快適である。理屈上S/PDIFではUSBより劣化しうるが（例のサイクルを踏まない）、リアルタイム性でみればUSBより優秀であるため（最初から誤り訂正用のデータを載せている）、視聴上致命的な「プツ」という突発的なノイズが消える。幸い、マザーボードは24bit/192kHzステレオに対応しているので、規格上も劣化なしとなる。
一応、ジッターノイズなどが問題視されてはいるが、より致命的な問題がUSBにある以上、現状ではS/PDIF接続しかないだろう。

なお、SE-U55SXはPCとの接続にはUSBを想定しており、ボイスチャットなどではUSB接続以外の選択肢がない。
ヘッドフォンアンプがわりになるDACを挟んだ状態での運用を簡易化（PC側でデバイスを切り替えないで済ます）つもりで買ったのに、ずいぶん複雑になってしまった。
やはり、SE-U55SXはただの録音装置か、ボイスチャット装置になってもらうか。