私はしばらくPsiturk、jspsych、および Pybossa を使用してきました。それぞれに取り組んだ後、Psiturk (jspsych を使用して設計された GUI インターフェイスを備えた) を使用して Amazon Mechanical Turk と直接統合できることを除いて、Pybossa が Psiturk と同じ作業を行っていることを経験しました。
私はこれらすべてのオープン ソース プラットフォームに不慣れで、マイクロタスクの評価を実行したいと考えています。それぞれが行っていることは、データを保存し、ユーザーを管理するためのプラットフォームを提供し、ワークフローを処理することです。私が必要としているのは、これらの実験の結果を評価して、コーエンのカッパ係数とフライスのカッパ係数と呼ばれるものを計算することです。これはどのように行うことができますか？