مشكلة في تبديل العناصر في flutter

لدي تطبيق بسيط جداً يحتوي على Column يضم عنصرين Text يحملان قيمة عشوائية من 0 لـ 100 ويوجد أيضاً Button عند الضغط عليها من المفترض تبديل أماكن العناصر  في القائمة.
لا يوجد أي أخطاء أو تحذيرات ! لكن عند الضغط على الButton لا يتم تبديل العناصر كما يجب أن يحدث.
هذا هو الكود الخاص بالتطبيق:

import 'dart:math';
import 'package:flutter/cupertino.dart';
import 'package:flutter/material.dart';

void main() => runApp(new MaterialApp(home: HomePage()));
class HomePage extends StatefulWidget {
  @override
  State<StatefulWidget> createState() => HomePageState();
}
class HomePageState extends State<HomePage> {
  List<Widget> tiles = [
    MyRandomWidget(),
    MyRandomWidget(),
  ];
  @override
  Widget build(BuildContext context) {
    return Scaffold(
      body: Center(child: Column(
        mainAxisSize: MainAxisSize.max,
        crossAxisAlignment: CrossAxisAlignment.center,
        mainAxisAlignment: MainAxisAlignment.center,
          children: tiles
      )),
      floatingActionButton: FloatingActionButton(
          child: Icon(Icons.sentiment_very_satisfied), onPressed: swap),
    );
  }
  swap() {
    setState(() {
      tiles.insert(1, tiles.removeAt(0));
    });
  }
}
class MyRandomWidget extends StatefulWidget {
  @override
  ColorfulTileState createState() => ColorfulTileState();
}
class ColorfulTileState extends State<MyRandomWidget> {
  int myNo;
  @override
  void initState() {
    super.initState();
    myNo = Random().nextInt(100);
  }
  @override
  Widget build(BuildContext context) {
    return Text(myNo.toString());
  }
}