0

アプリケーションのプロセスを自動化しようとしています。このプロセスを手動で Spy++ で表現すると、次のようになります。

WINDOW 002F0B08
002F0B08 P WM_LBUTTONDOWN fwKeys:MK_LBUTTON xPOS:# ypos:# (Start Pos)
002F0B08 P WM_MOUSEMOVE fwKeys:MK_LBUTTON xPOS:# ypos:#
...
002F0B08 P WM_LBUTTONUP fwKeys:MK_LBUTTON xPOS:# ypos:# (Final Pos)

WINDOW 007406BC
007406BC P WM_KEYDOWN fwKeys:VK_CONTROL ...
007406BC P WM_KEYDOWN fwKeys:VK_C ...
007406BC P WM_KEYUP fwKeys:VK_CONTROL ...
007406BC P WM_KEYUP fwKeys:VK_C ...

目標は、領域を選択し、その領域をクリップボードにコピーすることです。PostMessage を使用して最初の部分を実行できます。

PostMessage(PanelHandle, WM_LBUTTONDOWN, (int)MK_LBUTTON, new IntPtr(lParam)); //send left mouse button down

これはSpy++メッセージウィンドウに反映されますが、手動で行うとCTRL + Cを反映するウィンドウでは何らかの理由で機能しません。

コード全体は次のとおりです。

class MouseControl
    {
        [DllImport("user32.dll")]
        static extern bool PostMessage(IntPtr hWnd, uint Msg, int wParam, IntPtr lParam);

        [DllImport("user32.dll")]
        public static extern IntPtr FindWindow(string lpClassName, string lpWindowName);


        [DllImport("user32.dll", CallingConvention = CallingConvention.StdCall)]
        static extern void mouse_event(MouseEventFlags flags, uint dx, uint dy, uint delta, IntPtr extraInfo);

        public static void Select(AutomationElement window)
        {
            AutomationElement main = null;
            AutomationElement panel = window.FindFirst(TreeScope.Descendants, new PropertyCondition(AutomationElement.AutomationIdProperty, "2"));
            main = window.FindFirst(TreeScope.Descendants, new PropertyCondition(AutomationElement.NameProperty, "Session A - [24 x 80]"));
            Console.WriteLine("Got Panel: {0} , {1}", panel.ToString(), (new IntPtr(panel.Current.NativeWindowHandle)).ToString());
            Console.WriteLine("Got Main: {0} , {1}", main.ToString(), (new IntPtr(main.Current.NativeWindowHandle)).ToString());

            if (main == null)
                Console.WriteLine("Could not find main");

            // GET REF POINT IN WINDOW
            System.Windows.Point p = panel.GetClickablePoint();

           // LeftMouseDown();
           // LeftMouseUp();

            double new_X = p.X-400;
            double new_Y = p.Y-800;

            const uint WM_LBUTTONDOWN = 0x0201;
            const uint WM_LBUTTONUP = 0x0202;
            const uint MK_LBUTTON = 0x1;
            const uint WM_MOUSEMOVE = 0x0200;
            const uint WM_KEYDOWN = 0x100;
            const uint WM_KEYUP = 0x101;
            const uint VK_C = 0x043;
            const uint VK_CONTROL = 0x011;


            IntPtr PanelHandle = new IntPtr(panel.Current.NativeWindowHandle);
            IntPtr WindowHandle = new IntPtr(main.Current.NativeWindowHandle);

            Console.WriteLine("Press Return To Start");
            Console.ReadLine();

            //LeftMouseDown();
            int lParam = (((int)new_Y << 16) | ((int)new_X & 0xffff));
            PostMessage(PanelHandle, WM_LBUTTONDOWN, (int)MK_LBUTTON, new IntPtr(lParam));//send left mouse button down
            Console.WriteLine("Tried");
            while (new_X < p.X + 100)
            {

                lParam = (((int)new_X << 16) | ((int)new_Y & 0xffff));
                PostMessage(PanelHandle, WM_MOUSEMOVE, (int)MK_LBUTTON, new IntPtr(lParam));//send left mouse button down

                new_X += 1;
                new_Y += 1;
            }

            PostMessage(PanelHandle, WM_LBUTTONUP, (int)MK_LBUTTON, new IntPtr(lParam));//send left mouse button down
            Console.WriteLine("WM_LBUTTONUP, MK_LBUTTON, {1}  was sent to {0}", PanelHandle, lParam);

            PostMessage(WindowHandle, WM_KEYDOWN, (int)VK_CONTROL, IntPtr.Zero);
            Console.WriteLine("WM_KEYDOWN, VK_CONTROL  was sent to {0}", WindowHandle);

            PostMessage(WindowHandle, WM_KEYDOWN, (int)VK_C, IntPtr.Zero);
            Console.WriteLine("WM_KEYDOWN, VK_C was sent to {0}", WindowHandle);

            PostMessage(WindowHandle, WM_KEYUP, (int)VK_CONTROL, IntPtr.Zero);
            Console.WriteLine("WM_KEYUP, VK_CONTROL  was sent to {0}", WindowHandle);

            PostMessage(WindowHandle, WM_KEYUP, (int)VK_C, IntPtr.Zero);
            Console.WriteLine("WM_KEYUP, VK_C was sent to {0}", WindowHandle);
        }
    }

コンソールの表示:

Got Panel: ... , 3083016 (Spy++ で表示されるハンドル: 002F0B08

Got Main: ... , 0 (Spy++ で表示されるハンドル: 007406BC

スタートに戻るを押します

試した

WM_LBUTTONUP、MK_LBUTTON、61538539 は 3213992 に送信されました

WM_KEYDOWN、VK_CONTROL が 0 に送信されました

WM_KEYDOWN、VK_C が 0 に送信されました

WM_KEYUP、VK_CONTROL が 0 に送信されました

WM_KEYUP、VK_C が 0 に送信されました

領域は正常に選択されますが、領域をコピーできません。CTRL + C メッセージは、コピー機能を実行するウィンドウに送信されません。

編集：次を使用してSpy ++からハンドルを手動で取得することにより、なんとか動作させました（希望どおりではありませんが、今のところは問題ありません）。

var hwnd = new IntPtr(Convert.ToInt32(Console.ReadLine(), 16));
IntPtr WindowHandle = hwnd;

ただし、コピーは行いません。これは、Spy++ からの手動コピーです。

<00271> 00390640 P WM_KEYDOWN nVirtKey:VK_CONTROL cRepeat:1 ScanCode:1D fExtended:0 fAltDown:0 fRepeat:0 fUp:0
<00368> 00390640 P WM_KEYDOWN nVirtKey:'C' cRepeat:1 ScanCode:2E fExtended:0 fAltDown:0 fRepeat:0 fUp:0
<00375> 00390640 P WM_KEYUP nVirtKey:'C' cRepeat:1 ScanCode:2E fExtended:0 fAltDown:0 fRepeat:1 fUp:1
<00376> 00390640 P WM_KEYUP nVirtKey:VK_CONTROL cRepeat:1 ScanCode:1D fExtended:0 fAltDown:0 fRepeat:1 fUp:1

そして、これは私のプログラムが行うことです：

<00013> 00390640 P WM_KEYDOWN nVirtKey:VK_CONTROL cRepeat:0 ScanCode:00 fExtended:0 fAltDown:0 fRepeat:0 fUp:0
<00014> 00390640 P WM_KEYDOWN nVirtKey:'C' cRepeat:0 ScanCode:00 fExtended:0 fAltDown:0 fRepeat:0 fUp:0
<00015> 00390640 P WM_KEYUP nVirtKey:VK_CONTROL cRepeat:0 ScanCode:00 fExtended:0 fAltDown:0 fRepeat:0 fUp:0
<00016> 00390640 P WM_KEYUP nVirtKey:'C' cRepeat:0 ScanCode:00 fExtended:0 fAltDown:0 fRepeat:0 fUp:0

これが機能しない理由についてのアイデアはありますか?

4

1 に答える 1

2

ここでいくつか間違っています。

  1. NativeWindowHandle問題のコントロールがウィンドウなしの場合、多くの場合 0 になります。すべてのウィンドウレス コントロールは(最上位のウィンドウであっても)何らかのウィンドウでホストする必要があるため、Spy++ はメッセージが送信される (ホスト) ウィンドウを常に表示します。が本当に必要な場合は、 NULL ではないNativeWindowHandleが見つかるまでオートメーションの親チェーンをたどることができます。NativeWindowHandle
  2. マウス/キーボード メッセージを送信するのではなく、UI オートメーション メソッド (SetFocus など) を使用するか、少なくともSendInput を使用してマウス/キーボード イベントを送信する必要があります。メッセージを投稿するだけでは解決できない「隠れた」ことがたくさんあります。(例: アクティベーション、キーボードの状態管理など)
于 2013-09-11T16:48:59.253 に答える