JPEG 画像のストリーム (MJPEG ストリーム) をリモート PC に送信するアプリケーションを開発しています。カメラ パラメータでプレビュー フレーム レートを変更できません。どのレートを設定しても、カメラは 15 fps のフレームしか表示しないようです。最初は、画像を圧縮してからデータを送信したためだと思いました。しかし、最初の圧縮された JPEG 画像を保存し、onPreviewFrame 関数が呼び出されるたびにその画像を送信するデバッグ インスタンスを作成しました。その結果、信頼できる 15 fps が得られますが、私は 30 fps に設定しています。なぜfpsがそれほど一貫していないのか、誰にも考えがありますか? すべてのプレビュー フレームを圧縮して Wi-Fi 経由で送信するように設定すると、5 ～ 40 FPS のレートが得られ、あちこちでジャンプします。
これが私のプレビュー用のコードです（フルスクリーンでカメラをセットアップします）
public class Preview extends SurfaceView implements PreviewCallback, SurfaceHolder.Callback {
SurfaceHolder mHolder;
Camera mCamera;
DatagramSocket udpSocket = null;
final int PORT = 1235;
final String IPAddress = "192.168.1.101";
int packetSize = 1024; // Specify max size of each UDP packet
int WIDTH = 640;
int HEIGHT = 480;
int FPS = 30;
int quality = 70;
/**
* Initialize the Camera Preview Holder and create a udpSocket.
* @param context
*/
Preview(Context context) {
super(context);
mHolder = getHolder();
mHolder.addCallback(this);
mHolder.setType(SurfaceHolder.SURFACE_TYPE_PUSH_BUFFERS);
try {
udpSocket = new DatagramSocket();
} catch (SocketException e) {
Log.e(tag, "Error creating UDP Socket!");
}
}
public void surfaceCreated(SurfaceHolder holder) {
mCamera = Camera.open();
try {
mCamera.setPreviewDisplay(holder);
} catch (IOException exception) {
mCamera.release();
mCamera = null;
Log.e(tag, "Error settign Camera Preview Holder!");
}
}
public void surfaceDestroyed(SurfaceHolder holder) {
mCamera.setPreviewCallback(null);
mCamera.stopPreview();
udpSocket.close();
mCamera.release();
udpSocket = null;
mCamera = null;
}
public void surfaceChanged(SurfaceHolder holder, int format, int w, int h) {
Camera.Parameters parameters = mCamera.getParameters();
parameters.setPreviewSize(WIDTH, HEIGHT);
parameters.setPreviewFrameRate(FPS);
parameters.setRotation(90);
mCamera.setParameters(parameters);
mCamera.setPreviewCallback(this);
mCamera.startPreview();
}
/** Compresses the preview framer (data) into a JPEG image and send to a host at
* the specified IPAddress and Port number for playback. Only sends frame if sendFrame
* is true.
* (non-Javadoc)
* @see android.hardware.Camera.PreviewCallback#onPreviewFrame(byte[], android.hardware.Camera)
* @see android.hardware.Camera
*/
public void onPreviewFrame(byte[] data, Camera camera) {
final YuvImage imgPreview = new YuvImage(data, ImageFormat.NV21, WIDTH, HEIGHT, null);
byte[] buffer;
ByteArrayOutputStream jpegOutStream = new ByteArrayOutputStream();
int offset = 0;
int TotalLength, lengthLeft;
DatagramPacket dgpout;
// Compress image into JPEG
imgPreview.compressToJpeg(new Rect(0, 0, imgPreview.getWidth(), imgPreview.getHeight()), quality, jpegOutStream);
buffer = jpegOutStream.toByteArray();
TotalLength = lengthLeft = buffer.length;
// Send frame out. Split into packets of desired length.
try {
while(lengthLeft>packetSize){
dgpout= new DatagramPacket(buffer, offset, packetSize);
offset+=packetSize;
lengthLeft-=packetSize;
dgpout.setAddress(InetAddress.getByName(IPAddress));
dgpout.setPort(PORT);
udpSocket.send(dgpout);
}
if(lengthLeft>0){
dgpout= new DatagramPacket(buffer,offset,lengthLeft);
offset+=lengthLeft;
lengthLeft-=lengthLeft;
dgpout.setAddress(InetAddress.getByName(IPAddress));
dgpout.setPort(PORT);
udpSocket.send(dgpout);
}
Log.i(tag, "Sent Successfully: frame size="+TotalLength +"Buffer Size: "+udpSocket.getSendBufferSize());
} catch (UnknownHostException e1) {
Log.e(tag , "UnknownHostException. Sending failed.");
} catch (IOException e) {
Log.e(tag , "IOException. Sending failed.");
}
}
}
そして、これは同じJPEGを何度も送信するための私のデバッグサンプルです
if(sendFrame){
sendFrame = false;
final YuvImage imgPreview = new YuvImage(data, ImageFormat.NV21, WIDTH, HEIGHT, null);
fixImage = data;
byte[] buffer;
ByteArrayOutputStream jpegOutStream = new ByteArrayOutputStream();
int offset = 0;
int TotalLength, lengthLeft;
DatagramPacket dgpout;
// Compress image into JPEG
imgPreview.compressToJpeg(new Rect(0, 0, imgPreview.getWidth(), imgPreview.getHeight()), quality, jpegOutStream);
buffer = jpegOutStream.toByteArray();
fixJPEG = buffer;
fixTotalLength = buffer.length;
}
int lengthLeft = 0;
int offset = 0;
DatagramPacket dgpout;
if(fixImage==null || fixJPEG==null)
return;
/* Compress Optional */
if(true){
final YuvImage imgPreview = new YuvImage(fixImage, ImageFormat.NV21, WIDTH, HEIGHT, null);
ByteArrayOutputStream jpegOutStream = new ByteArrayOutputStream();
imgPreview.compressToJpeg(new Rect(0, 0, imgPreview.getWidth(), imgPreview.getHeight()), quality, jpegOutStream);
fixJPEG = jpegOutStream.toByteArray();
}
fixTotalLength = lengthLeft = fixJPEG.length;
// Send frame out. Split into packets of desired length.
try {
while(lengthLeft>packetSize){
dgpout= new DatagramPacket(fixJPEG, offset, packetSize);
offset+=packetSize;
lengthLeft-=packetSize;
dgpout.setAddress(InetAddress.getByName(IPAddress));
dgpout.setPort(PORT);
udpSocket.send(dgpout);
}
if(lengthLeft>0){
dgpout= new DatagramPacket(fixJPEG,offset,lengthLeft);
offset+=lengthLeft;
lengthLeft-=lengthLeft;
dgpout.setAddress(InetAddress.getByName(IPAddress));
dgpout.setPort(PORT);
udpSocket.send(dgpout);
}
Log.i(tag, "Sent Successfully: frame size="+fixTotalLength +"Buffer Size: "+udpSocket.getSendBufferSize());
} catch (UnknownHostException e1) {
Log.e(tag , "UnknownHostException. Sending failed.");
} catch (IOException e) {
Log.e(tag , "IOException. Sending failed.");
}
誰かが効率を改善するためのアイデアを持っていますか? これはすべてのデバイスで発生しますか? 私はAndroid 2.2を実行しています。どんなアイデアでも大歓迎です。
*編集 Preview クラス全体を追加