問題タブ [tfx]

Kubeflow はすべての TFX コンポーネントを廃止したようです。現在、データ パイプラインの一部を立ち上げるのに役立つカスタム Kubeflow コンポーネントがいくつかあり、同じ kubeflow パイプラインでいくつかの TFX コンポーネントを使用できることを望んでいました。Kubeflow と Tfx コンポーネントを一緒に混合するための推奨されるアプローチはありますか?

TFX コンポーネントを廃止する Kubeflow からの古い PR を見ました: https://github.com/kubeflow/pipelines/issues/3853

それは述べています：

これらのコンポーネントは、ユーザーが KFP パイプラインで TFX コンポーネントを使用できるようにするために作成され、KFP と TFX コンポーネントを混在させることができます。パイプラインで TFX コンポーネントのみを使用する場合は、公式の TFX SDK を使用してください。

しかし、実際には KFP と TFX コンポーネントを混在させる必要があります。これを行う方法はありますか?

画像を tfrecords に変換できますが、キャプションと組み合わせる方法がわかりません。実際には、画像とキャプションのペア データで tfrecords を生成したいと考えています。このために 2d tfrecords を作成しようとしましたが、機能しませんでした。ここでは、TFX を使用して画像キャプション用の MLOPS パイプラインを作成しようとしています。MLOPS パイプラインを作成するための他のアイデアがある場合は、コメントしてください。

私はこのnumpy機能を持っています、私はそれを次のように単純化しました:

AutoGraph でサポートできる同等の TF 関数に変換したいと考えています。TF 2.4.1 を使用していますが、Beam コンテキストで実行する必要があるため、グラフ計算で実行する必要があります。

これは私の試みです：

次に、Beam コンテキストで呼び出します。

次のエラーが発生しました。

誰でも助けてもらえますか？ありがとう！