Scala/Spark では、次のことをしようとしています。
val portCalls_Ports =
portCalls.join(ports, portCalls("port_id") === ports("id"), "inner")
ただし、次のエラーが発生します。
Exception in thread "main" org.apache.spark.sql.AnalysisException:
binary type expression port_id cannot be used in join conditions;
これがバイナリ型であることは事実です:
root
|-- id: binary (nullable = false)
|-- port_id: binary (nullable = false)
.
.
.
+--------------------+--------------------+
| id| port_id|
+--------------------+--------------------+
|[FB 89 A0 FF AA 0...|[B2 B2 84 B9 52 2...|
そのままports("id")
。
次のライブラリを使用しています。
scalaVersion := "2.11.11"
libraryDependencies ++= Seq(
// Spark dependencies
"org.apache.spark" %% "spark-hive" % "1.6.2",
"org.apache.spark" %% "spark-mllib" % "1.6.2",
// Third-party libraries
"postgresql" % "postgresql" % "9.1-901-1.jdbc4",
"net.sf.jopt-simple" % "jopt-simple" % "5.0.3"
)
データベース テーブルの読み取りに JDBC を使用していることに注意してください。
この問題を解決する最善の方法は何ですか?