iPhoneのApple TV Remoteでは、スワイプジェスチャの代わりにボタンを使うことができます。
「設定」 >「アクセシビリティ」>「Apple TV Remote」と選択してから、「方向ボタン」をオンにします。