Во-первых, виджеты ограничены по жестам, которые они могут обрабатывать. Доступны только touch и вертикальный swipe. Горизонтальный swipe доставляется приложению-хосту, например домашнему экрану.
Во-вторых, виджеты поддерживают только следующие лэйауты:
FrameLayout,
LinearLayout,
RelativeLayout,
GridLayout. Набор view тоже ограничен (полный список в
документации).
Причина этого в том, что лэйауты виджетов основаны на
RemoteViews.