28

更新：解決済み

FTPClient.setFileType() ログインする前に電話をかけていたため、FTPサーバーは何ASCIIに設定してもデフォルトモード（ ）を使用していました。一方、クライアントは、ファイルタイプが適切に設定されているかのように動作していました。モードは現在、希望どおりに機能しており、すべての場合にファイルをバイト単位で転送します。私がしなければならなかったのは、wiresharkでトラフィックをスニッフィングし、netcatを使用してFTPコマンドを模倣して、何が起こっているかを確認することだけでした。どうして2日前に考えなかったの！？みなさん、ありがとうございました！BINARY

utf-16でエンコードされたxmlファイルがあり、apacheのcommons-net-2.0javaライブラリのFTPClientを使用してFTPサイトからダウンロードしています。これは、2つの転送モードのサポートを提供します。ASCII_FILE_TYPEとBINARY_FILE_TYPE、違いは、ASCII行区切り文字を適切なローカル行区切り記号（または16進数の-またはちょうど）に'\r\n'置き換える'\n'こと0x0d0aです0x0a。私の問題はこれです：私は以下を含むテストファイル、utf-16でエンコードされています：

<?xml version='1.0' encoding='utf-16'?>
<data>
    <blah>blah</blah>
</data>

これが16進数です。
0000000: 003c 003f 0078 006d 006c 0020 0076 0065 .<.?.x.m.l. .v.e
0000010: 0072 0073 0069 006f 006e 003d 0027 0031 .r.s.i.o.n.=.'.1
0000020: 002e 0030 0027 0020 0065 006e 0063 006f ...0.'. .e.n.c.o
0000030: 0064 0069 006e 0067 003d 0027 0075 0074 .d.i.n.g.=.'.u.t
0000040: 0066 002d 0031 0036 0027 003f 003e 000a .f.-.1.6.'.?.>..
0000050: 003c 0064 0061 0074 0061 003e 000a 0009 .<.d.a.t.a.>....
0000060: 003c 0062 006c 0061 0068 003e 0062 006c .<.b.l.a.h.>.b.l
0000070: 0061 0068 003c 002f 0062 006c 0061 0068 .a.h.<./.b.l.a.h
0000080: 003e 000a 003c 002f 0064 0061 0074 0061 .>...<./.d.a.t.a
0000090: 003e 000a                                                            .>..

このファイルにモードを使用するとASCII、バイト単位で正しく転送されます。結果は同じmd5sumになります。素晴らしい。BINARYバイトをからにシャッフルする以外に何もしないはずの転送モードを使用するInputStreamとOutputStream、改行（0x0a）がキャリッジリターン+改行ペア（0x0d0a）に変換されます。バイナリ転送後の16進数は次のとおりです。

0000000: 003c 003f 0078 006d 006c 0020 0076 0065 .<.?.x.m.l. .v.e
0000010: 0072 0073 0069 006f 006e 003d 0027 0031 .r.s.i.o.n.=.'.1
0000020: 002e 0030 0027 0020 0065 006e 0063 006f ...0.'. .e.n.c.o
0000030: 0064 0069 006e 0067 003d 0027 0075 0074 .d.i.n.g.=.'.u.t
0000040: 0066 002d 0031 0036 0027 003f 003e 000d .f.-.1.6.'.?.>..
0000050: 0a00 3c00 6400 6100 7400 6100 3e00 0d0a ..<.d.a.t.a.>...
0000060: 0009 003c 0062 006c 0061 0068 003e 0062 ...<.b.l.a.h.>.b
0000070: 006c 0061 0068 003c 002f 0062 006c 0061 .l.a.h.<./.b.l.a
0000080: 0068 003e 000d 0a00 3c00 2f00 6400 6100 .h.>....<./.d.a.
0000090: 7400 6100 3e00 0d0a                                        t.a.>...

改行文字を変換するだけでなく（変換すべきではありません）、utf-16エンコーディングを尊重しません（変換する必要があることを認識しているとは限りません。単なるFTPパイプです）。結果は、バイトを再調整するための追加の処理なしでは読み取ることができません。モードを使用するだけASCIIですが、アプリケーションは実際のバイナリデータ（mp3ファイルとjpegイメージ）も同じパイプ上で移動します。BINARYこれらのバイナリファイルで転送モードを使用する0x0dと、コンテンツにランダムなsが挿入されますが、バイナリデータには正当な0x0d0aシーケンスが含まれていることが多いため、安全に削除することはできません。これらのファイルでモードを使用するASCIIと、「賢い」0x0d0a0x0a

私の質問は次のとおりだと思います：いまいましいバイトをそこからここに移動するだけのJava用の優れたFTPライブラリを知っている人はいますか、それともapachecommons-net-2.0をハックして維持する必要がありますかこの単純なアプリケーション専用の自分のFTPクライアントコード？他の誰かがこの奇妙な行動に対処しましたか？任意の提案をいただければ幸いです。

BINARYcommons-netのソースコードを確認しましたが、モードを使用した場合の奇妙な動作の原因ではないようです。しかし、モードInputStreamでの読み取りは、ソケットにラップされているだけです。これらの低レベルのJavaストリームは、奇妙なバイト操作を行うことがありますか？彼らがそうしたら私はショックを受けるでしょう、しかし私はここで他に何が起こっているのか分かりません。BINARYjava.io.BufferedInptuStreamInputStream

編集1：

これは、ファイルをダウンロードするために私が行っていることを模倣した最小限のコードです。コンパイルするには、

javac -classpath /path/to/commons-net-2.0.jar Main.java

実行するには、ファイルをダウンロードするためのディレクトリ/ tmp/asciiと/tmp/ binary、およびファイルが置かれたftpサイトが必要です。コードは、適切なftpホスト、ユーザー名、およびパスワードを使用して構成する必要もあります。このファイルをtest/フォルダーの下のtestingftpサイトに置き、ファイルtest.xmlを呼び出しました。テストファイルには、少なくとも1行以上が含まれ、utf-16でエンコードされている必要があります（これは必要ない場合もありますが、正確な状況を再現するのに役立ちます）。新しいファイルを開いた後にvimの:set fileencoding=utf-16コマンドを使用し、上記のxmlテキストを入力しました。最後に、実行するには、

java -cp .:/path/to/commons-net-2.0.jar Main

コード：

（注：このコードは、以下の「編集2」の下にリンクされているカスタムFTPClientオブジェクトを使用するように変更されています）

import java.io.*;
import java.util.zip.CheckedInputStream;
import java.util.zip.CheckedOutputStream;
import java.util.zip.CRC32;
import org.apache.commons.net.ftp.*;

public class Main implements java.io.Serializable
{
    public static void main(String[] args) throws Exception
    {
        Main main = new Main();
        main.doTest();
    }

    private void doTest() throws Exception
    {
        String host = "ftp.host.com";
        String user = "user";
        String pass = "pass";

        String asciiDest = "/tmp/ascii";
        String binaryDest = "/tmp/binary";

        String remotePath = "test/";
        String remoteFilename = "test.xml";

        System.out.println("TEST.XML ASCII");
        MyFTPClient client = createFTPClient(host, user, pass, org.apache.commons.net.ftp.FTP.ASCII_FILE_TYPE);
        File path = new File("/tmp/ascii");
        downloadFTPFileToPath(client, "test/", "test.xml", path);
        System.out.println("");

        System.out.println("TEST.XML BINARY");
        client = createFTPClient(host, user, pass, org.apache.commons.net.ftp.FTP.BINARY_FILE_TYPE);
        path = new File("/tmp/binary");
        downloadFTPFileToPath(client, "test/", "test.xml", path);
        System.out.println("");

        System.out.println("TEST.MP3 ASCII");
        client = createFTPClient(host, user, pass, org.apache.commons.net.ftp.FTP.ASCII_FILE_TYPE);
        path = new File("/tmp/ascii");
        downloadFTPFileToPath(client, "test/", "test.mp3", path);
        System.out.println("");

        System.out.println("TEST.MP3 BINARY");
        client = createFTPClient(host, user, pass, org.apache.commons.net.ftp.FTP.BINARY_FILE_TYPE);
        path = new File("/tmp/binary");
        downloadFTPFileToPath(client, "test/", "test.mp3", path);
    }

    public static File downloadFTPFileToPath(MyFTPClient ftp, String remoteFileLocation, String remoteFileName, File path)
        throws Exception
    {
        // path to remote resource
        String remoteFilePath = remoteFileLocation + "/" + remoteFileName;

        // create local result file object
        File resultFile = new File(path, remoteFileName);

        // local file output stream
        CheckedOutputStream fout = new CheckedOutputStream(new FileOutputStream(resultFile), new CRC32());

        // try to read data from remote server
        if (ftp.retrieveFile(remoteFilePath, fout)) {
            System.out.println("FileOut: " + fout.getChecksum().getValue());
            return resultFile;
        } else {
            throw new Exception("Failed to download file completely: " + remoteFilePath);
        }
    }

    public static MyFTPClient createFTPClient(String url, String user, String pass, int type)
        throws Exception
    {
        MyFTPClient ftp = new MyFTPClient();
        ftp.connect(url);
        if (!ftp.setFileType( type )) {
            throw new Exception("Failed to set ftpClient object to BINARY_FILE_TYPE");
        }

        // check for successful connection
        int reply = ftp.getReplyCode();
        if (!FTPReply.isPositiveCompletion(reply)) {
            ftp.disconnect();
            throw new Exception("Failed to connect properly to FTP");
        }

        // attempt login
        if (!ftp.login(user, pass)) {
            String msg = "Failed to login to FTP";
            ftp.disconnect();
            throw new Exception(msg);
        }

        // success! return connected MyFTPClient.
        return ftp;
    }

}

編集2：

さて、私はCheckedXputStreamアドバイスに従いました、そしてここに私の結果があります。FTPClientと呼ばれるapacheのコピーを作成し、チェックサムを使用してとのMyFTPClient両方をラップしました。さらに、出力をチェックサム付きで保存するために与えるものをラップしました。MyFTPClientのコードはここに投稿されており、このバージョンのFTPClientを使用するように上記のテストコードを変更しました（変更されたコードに要点URLを投稿しようとしましたが、複数のURLを投稿するには10レピュテーションポイントが必要です！）、そして結果はこうだった：SocketInputStreamBufferedInputStreamCheckedInputStreamCRC32FileOutputStreamFTPClientCheckOutputStreamCRC32test.xmltest.mp3

14:00:08,644 DEBUG [main,TestMain] TEST.XML ASCII
14:00:08,919 DEBUG [main,MyFTPClient] Socket CRC32: 2739864033
14:00:08,919 DEBUG [main,MyFTPClient] Buffer CRC32: 2739864033
14:00:08,954 DEBUG [main,FTPUtils] FileOut CRC32: 866869773

14:00:08,955 DEBUG [main,TestMain] TEST.XML BINARY
14:00:09,270 DEBUG [main,MyFTPClient] Socket CRC32: 2739864033
14:00:09,270 DEBUG [main,MyFTPClient] Buffer CRC32: 2739864033
14:00:09,310 DEBUG [main,FTPUtils] FileOut CRC32: 2739864033

14:00:09,310 DEBUG [main,TestMain] TEST.MP3 ASCII
14:00:10,635 DEBUG [main,MyFTPClient] Socket CRC32: 60615183
14:00:10,635 DEBUG [main,MyFTPClient] Buffer CRC32: 60615183
14:00:10,636 DEBUG [main,FTPUtils] FileOut CRC32: 2352009735

14:00:10,636 DEBUG [main,TestMain] TEST.MP3 BINARY
14:00:11,482 DEBUG [main,MyFTPClient] Socket CRC32: 60615183
14:00:11,482 DEBUG [main,MyFTPClient] Buffer CRC32: 60615183
14:00:11,483 DEBUG [main,FTPUtils] FileOut CRC32: 60615183

対応するファイルのmd5sumは次のとおりであるため、これは基本的にまったく意味がありません。

bf89673ee7ca819961442062eaaf9c3f  ascii/test.mp3
7bd0e8514f1b9ce5ebab91b8daa52c4b  binary/test.mp3
ee172af5ed0204cf9546d176ae00a509  original/test.mp3

104e14b661f3e5dbde494a54334a6dd0  ascii/test.xml
36f482a709130b01d5cddab20a28a8e8  binary/test.xml
104e14b661f3e5dbde494a54334a6dd0  original/test.xml

私は途方に暮れています。このプロセスのどの時点でもファイル名/パスを並べ替えていないことを誓います。また、すべてのステップをトリプルチェックしました。それは単純なことであるに違いありませんが、私は次にどこを見るべきかについて最も霧深い考えを持っていません。実用性のために、FTP転送を行うためにシェルに呼び出して続行しますが、何が起こっているのかを理解するまでこれを追求するつもりです。私はこのスレッドを私の発見で更新します、そして私は誰もが持っているかもしれないどんな貢献にも感謝し続けます。うまくいけば、これはいつか誰かに役立つでしょう！

4

3 に答える 3

34

ftpサーバーにログインした後

ftp.setFileType(FTP.BINARY_FILE_TYPE);

以下の行はそれを解決しません：

//ftp.setFileTransferMode(org.apache.commons.net.ftp.FTP.BINARY_FILE_TYPE);
于 2011-02-16T11:39:17.010 に答える
5

アプリケーション コードで ASCII モードと BINARY モードの選択が逆になっているように思えます。ASCII は変更されずに通過します。BINARY が行末文字変換を実行するのは、FTP が機能するはずの方法とは正反対です。

それが問題でない場合は、質問を編集してコードの関連部分を追加してください。

編集

他のいくつかの可能な（しかしIMOではありそうにない）説明：

  • FTP サーバーが壊れているか、正しく構成されていません。(Java 以外のコマンドライン FTP ユーティリティを使用して、ASCII / BINARY モードでファイルを正常にダウンロードできますか?)
  • 壊れているか、正しく構成されていないプロキシ経由で FTP サーバーと通信しています。
  • どうにかして、Apache FTP クライアント JAR ファイルの危険な (ハッキングされた) コピーを手に入れることができました。（ええ、ええ、非常にありそうもない...）
于 2010-06-30T01:25:48.913 に答える
3

ファイル サイズが特定の制限を超えると、Apache retrieveFile(...) が機能しないことがあることがわかりました。それを克服するために、代わりに retrieveFileStream() を使用しました。ダウンロードする前に、正しいファイルタイプを設定し、モードをパッシブモードに設定しました

したがって、コードは次のようになります

    ....
    ftpClientConnection.setFileType(FTP.BINARY_FILE_TYPE);
    ftpClientConnection.enterLocalPassiveMode();
    ftpClientConnection.setAutodetectUTF8(true);

    //Create an InputStream to the File Data and use FileOutputStream to write it
    InputStream inputStream = ftpClientConnection.retrieveFileStream(ftpFile.getName());
    FileOutputStream fileOutputStream = new FileOutputStream(directoryName + "/" + ftpFile.getName());
    //Using org.apache.commons.io.IOUtils
    IOUtils.copy(inputStream, fileOutputStream);
    fileOutputStream.flush();
    IOUtils.closeQuietly(fileOutputStream);
    IOUtils.closeQuietly(inputStream);
    boolean commandOK = ftpClientConnection.completePendingCommand();
    ....
于 2013-05-15T12:57:38.833 に答える