3

ローカル ファイルを spark に読み込みたい。私はWindowsを使用しています。次のコマンドを使用しました。

input = sc.textFile("D://sample.txt")

考えられるすべての組み合わせを試しましたが、常に次のエラーまたは非常に類似したエラーが発生します。

私は次のことを試しました：

  • file:/// と file:// を追加

  • file:\\ と file:\ を追加中

  • D:/sample.txt

  • D:\sample.txt

  • D:\sample.txt

現在の作業ディレクトリは D:\ で、ファイルは D:\ にあります。

誰でもアイデアはありますか？

>>> input = sc.textFile("D://sample.txt")
15/10/27 02:37:37 INFO MemoryStore: ensureFreeSpace(157288) called with curMem=7
891904, maxMem=556038881
15/10/27 02:37:37 INFO MemoryStore: Block broadcast_46 stored as values in memor
y (estimated size 153.6 KB, free 522.6 MB)
15/10/27 02:37:37 INFO MemoryStore: ensureFreeSpace(14276) called with curMem=80
49192, maxMem=556038881
15/10/27 02:37:37 INFO MemoryStore: Block broadcast_46_piece0 stored as bytes in
 memory (estimated size 13.9 KB, free 522.6 MB)
15/10/27 02:37:37 INFO BlockManagerInfo: Added broadcast_46_piece0 in memory on
localhost:52887 (size: 13.9 KB, free: 529.6 MB)
15/10/27 02:37:37 INFO SparkContext: Created broadcast 46 from textFile at null:
-1

また、Windows を使用する場合、コマンド ラインでは常にバックスラッシュを使用しますか? それともディレクトリ専用ですか？

どうもありがとう、コビー

4

1 に答える 1