ソファベースのデータを HDFS に移行する必要がありますが、db と Hadoop クラスターに相互にアクセスできません。したがって、推奨される方法で sqoop を使用することはできません。sqoop を使用して (HDFS ではなく) ローカル ファイルにカウチベース データをインポートする方法はありますか。可能であれば、ローカル ファイルを ftp を使用して転送し、sqoop を使用してそれらを HDFS に転送できます。
それが悪い解決策である場合、すべての cb データをローカル ファイルに転送できる他の方法はありますか。この cb クラスターでビューを作成するのは難しい作業であり、使用は避けたいと思います。
Couchbase のインストールに付属する cbbackup ユーティリティを使用して、すべてのデータをバックアップ ファイルにエクスポートできます。デフォルトでは、バックアップは実際には SQLite 形式で保存されるため、バックアップを Hadoop クラスターに移動してから、任意の JDBC SQLite ドライバーを使用して、Sqoop を使用して各 *.cbb ファイルから個別にデータをインポートできます。この件については、以前ブログに書いたので、よろしければご覧ください。
手始めに、数多くあるJDBC SQLite ドライバーの 1 つを次に示します。
代替ソリューション（おそらくエレガントではありませんが、機能します）：
カウチベース カフカ アダプターを使用して、カウチベースからカフカにデータをストリーミングし、好きなファイル システムに格納できるカフカからデータをストリーミングできます。CouchbaseKafka アダプターは、TAP プロトコルを使用してデータを kafka にプッシュします。