hadoop - Sqoop を mysql に接続する

Question

sqoop をインストールしましたが、問題は sqoop を使用して mysql と対話する方法です。どんな助けでも感謝します。

Answer 1

対話型シェルで以下の手順に従ってください。

1. sudo mysql (mysql を起動するため)
2. データベースを表示します。
3. databasenameを使用(データベースを選択するコマンド)
4. テーブルを表示します。(前述のデータベースのテーブルのリストを表示し、hdfs にインポートするテーブル名をメモし、列に主キーがあることを確認します)
5. 出口;
6. sqoop import --connect jdbc:mysql://mysqlhost/テーブルが存在するデータベース名--username root --tableテーブル名--m 1

Answer 2

HBase は必要ありません。sqoop コマンドを実行すると、「HBASE_HOME」が設定されていないという警告が表示される場合がありますが、これは単なる警告です。無視してかまいません。

sqoop ヘルプを使用して、データのインポートまたはエクスポートに使用できるオプションを確認してください。

hadoop@master:~$ sqoop help
usage: sqoop COMMAND [ARGS]

Available commands:
  codegen            Generate code to interact with database records
  create-hive-table  Import a table definition into Hive
  eval               Evaluate a SQL statement and display the results
  export             Export an HDFS directory to a database table
  help               List available commands
  import             Import a table from a database to HDFS
  import-all-tables  Import tables from a database to HDFS
  job                Work with saved jobs
  list-databases     List available databases on a server
  list-tables        List available tables in a database
  merge              Merge results of incremental imports
  metastore          Run a standalone Sqoop metastore
  version            Display version information

「インポート」などの特定のコマンドの使用法をさらに取得できます

sqoop import --help

各コマンドには、操作をカスタマイズするためのいくつかのオプションがあります。